微信扫码
添加专属顾问
我要投稿
深入解析DeepSeek技术,掌握智能体搭建新思路。 核心内容: 1. DeepSeek现象级产品背后的四大关键词 2. 混合专家架构和优化注意力计算的技术亮点 3. 组相对策略优化算法在模型训练中的应用
春节这段时间,DeepSeek算是彻底爆了,出圈了,到全皆知的程度,连AI是什么东西都不知道的亲戚们,都开始在年夜饭以及餐桌上聊到了DeepSeek和他的创始⼈梁⽂峰。
太魔幻了,没想到DeepSeek有⼀天能成为⼈们茶余饭后的聊天对象,我是万万没有想到的,DeepSeek的影响⼒有多⼤。
为什么 DeepSeek 能成为现象级产品?四个关键词:国产・免费・开源・强大!
混合专家架构(MoE) :DeepSeek-R1 采用创新的混合专家架构,模型能够根据输入内容动态调用不同的专家网络,在保持相似计算成本的情况下,大幅提升模型的参数规模和性能 。
让一个专家团队协作解题:遇到法律合同翻译,激活「法律术语专家」;需要写诗歌时,调用「文学修辞专家」;分析财报时,启动「金融数据分析专家」。DeepSeek就像智能调度中心,实时匹配最擅长当前任务的"大脑"。
优化注意力计算 :对传统 Transformer 架构中的注意力计算方法进行优化,提高计算效率,并增强模型对长文本的处理能力 。
组相对策略优化(GRPO)算法 :
例如解方程「3x+5=20」,模型会生成10种解法(如代数法、图像法)。系统像老师批卷:选正确率最高的3种作为参考答案,淘汰错误方法。通过不断对比择优,模型解题准确率快速提升。
优势 :使模型参数量减少 40%-60%,无需单独的价值模型,显著降低内存和计算开销,增强模型的数学推理能力 。
原理 :GRPO 通过组内奖励对比直接优化策略网络,将同一问题生成的 N 条候选答案划分为组,以组内平均奖励为基线,计算相对优势值,避免了传统 RL 中复杂价值模型(Critic)的构建需求 。
双重奖励系统 :包含准确性和格式两个奖励,准确性奖励针对数学问题等确定性任务,格式奖励引导模型使用标准化的思考过程格式,提高输出的结构化程度和可解释性 。
模板化 RLHF 训练 :开发简洁有效的训练模板,提供清晰的推理过程生成指南,强调结构化输出格式,便于观察和评估模型的学习进展 。
多教师协同蒸馏 :
动态权重分配 :根据任务类型自动调整教师模型(R1-70B、R1-32B)的贡献权重,如在数学推理中赋予 70B 模型 80% 权重,而在代码生成中采用 50%-50% 均衡分配 。
注意力迁移技术 :将教师模型的交叉注意力分布作为软标签,指导学生模型学习长程依赖关系,使 7B 模型在 Codeforces 竞赛中的解题能力提升 29.4% 。
量化感知训练 :在蒸馏过程中引入 4-bit 量化模拟,确保小模型在边缘设备部署时精度损失不超过 2%,例如 1.5B 模型在树莓派 5 上运行耗时仅 3.2 秒 / 问题,功耗不足 5W 。
DeepSeek-R1 和 Alpha 在训练方式上。DeepSeek-R1 通过强化学习和多阶段训练策略,能够在较少的数据量和计算资源下达到较高的性能,特别适合需要复杂推理的任务。而 Alpha 则通过监督学习和强化学习相结合的方式,给出围棋规则,利用大量的人工标注数据和人类反馈来提升模型的性能,继承了人类的上限
https://metaso.cn/
如果不是写着671B 全尺寸 满血版 的基本都是被阉割过的
大厂薅羊毛
https://www.volcengine.com/
https://cloud.siliconflow.cn/i/2cGUfGEi(比较慢)
https://ppinfra.com/user/register?invited_by=AMAJ1C(比较快)
https://q05hlvbg0wa.feishu.cn/wiki/YJNgwOmrQiEkOpkMuswcLvWjnKc?from=from_copylink
链接:https://pan.quark.cn/s/b6c45c9911de
提取码:aqpM
V1.0版本:2025-2-9
1、基于ollama、open-webui,整合deepseek模型,不用配置环境变量、不用下载模型,解压即用。
from runtime import Args
from typings.deepseek_R1_siliconflow.deepseek_R1_siliconflow import Input, Output
import http.client
import json
def handler(args: Args[Input]) -> Output:
# 从输入参数中获取用户输入的内容和 API 密钥
user_input = args.input.user_input
api_key = args.input.api_key # 假设用户输入的 api_key 通过此字段传入
if not api_key:
return {"message": "API Key is missing. Please provide a valid API Key."}
# API 请求的 URL 和路径
conn = http.client.HTTPSConnection("api.siliconflow.cn")
payload = json.dumps({
"model": "deepseek-ai/DeepSeek-R1", # 使用 DeepSeek-R1 模型
"messages": [ {
"role": "user",
"content": user_input
}
],
"stream": False,
"max_tokens": 512,
"stop": ["null"],
"temperature": 0.7,
"top_p": 0.7,
"top_k": 50,
"frequency_penalty": 0.5,
"n": 1,
"response_format": {"type": "text"},
})
headers = {
"Authorization": f"Bearer {api_key}", # 使用用户提供的 API Key
"Content-Type": "application/json"
}
# 发送 POST 请求
conn.request("POST", "/v1/chat/completions", body=payload, headers=headers)
response = conn.getresponse()
# 检查请求是否成功
if response.status == 200:
# 解析响应数据
response_data = json.loads(response.read().decode("utf-8"))
# 提取 content 和 reasoning_content
content = response_data["choices"][0]["message"].get("content", "")
reasoning_content = response_data["choices"][0]["message"].get("reasoning_content", "")
# 返回 API 的响应内容,包括 reasoning_content
return {
"reasoning_content": reasoning_content,
"message": content
}
else:
# 如果请求失败,返回错误信息
return {"message": f"API request failed with status code {response.status}"}
硅基流动容易timeout
504 / 503:通常是由于服务系统负载较高,请稍后重试。对于聊天和文本转语音请求,请尝试使用流模式 (“stream” :true )。请参阅流模式。
https://ppinfra.com/user/register?invited_by=AMAJ1C
from runtime import Args
from typings.DeepSeek_R1.DeepSeek_R1 import Input, Output
import http.client
import json
def handler(args: Args[Input]) -> Output:
# 从输入参数中获取用户输入的内容和 API 密钥
user_input = args.input.user_input
api_key = args.input.api_key
if not api_key:
return {"message": "API Key is missing. Please provide a valid API Key."}
# API 请求的 URL 和路径
conn = http.client.HTTPSConnection("api.ppinfra.com")
payload = json.dumps({
"model": "deepseek/deepseek-r1/community",
"messages": [
{
"role": "system",
"content": "你是DeepSeek,你会以诚实专业的态度帮助用户,用中文回答问题。"
},
{
"role": "user",
"content": user_input
}
],
"response_format": {"type": "text"},
"max_tokens": 8192,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
})
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
# 发送 POST 请求
conn.request("POST", "/v3/openai/chat/completions", body=payload, headers=headers)
response = conn.getresponse()
# 检查请求是否成功
if response.status == 200:
# 解析响应数据
response_data = json.loads(response.read().decode("utf-8"))
# 获取完整的响应内容
full_content = response_data["choices"][0]["message"].get("content", "")
# 提取思维链内容和最终回答
reasoning_content = ""
message = full_content
# 如果内容中包含<think>标签
if "<think>" in full_content and "</think>" in full_content:
think_start = full_content.find("<think>") + len("<think>")
think_end = full_content.find("</think>")
# 提取思维链内容
reasoning_content = full_content[think_start:think_end].strip()
# 提取最终回答(移除思维链部分)
message = full_content[think_end + len("</think>"):].strip()
return {
"reasoning_content": reasoning_content,
"message": message
}
else:
# 如果请求失败,返回错误信息
return {"message": f"API request failed with status code {response.status}"}
设置好代码后设置元数据,别忘记保存
输入参数:user_input/api_key
输出参数:reasoning_content/message
{
"user_input": "9.11和9.9谁大",
"api_key": "这里填写你的api"
}
调试成功
点击右上角发布
在插件里手动填入api_key
记得引用出参为结束节点的变量
测试成功
也可以做成两次回复
手搓联网ds 自己的专家级ai搜索
学习完今天的图文教程,在感谢您一键三连评论区回复"YYDS"截图添加文章底部舰长微信,领取"Deepseek深度教学指南",加入舰长扣子智能体交流社群,一起进行deepseek讨论。
关注公众号并添加舰长微信,领取智能体学习资料,并参与Coze技术直播讲解
舰长积极创建智能体;工作流交流群,让我们在AI时代一起进步互相学习!每天会在群里分享智能体的搭建,欢迎各位小伙伴加入~
船长团队创作智能体专栏小册,里面有最新进阶的Coze智能体文章,在文章有收获的同时,可以分销而获取60%的小册费用,聚财成多
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-22
AI新手村:Hugging Face
2025-04-22
6.4K star!轻松搞定专业领域大模型推理,这个知识增强框架绝了!
2025-04-22
mcp-sse-webui可视化实战项目:基于MCP的webui服务,支持连接多个sse服务端(附完整源码)
2025-04-22
008-蹭了个热点,一次对内部普通人的DeepSeek培训课
2025-04-22
大模型部署框架Ollama和vLLM怎么选?一文讲透两大框架的优缺点和适用场景
2025-04-22
爬虫新宠Crawlee:解锁数据抓取与自动化的超能力
2025-04-21
AI大模型火热,将 Hugging Face大模型转换为 GGUF 为何受关注?
2025-04-21
82.9K star!全平台AI助手神器,一键部署轻松搞定!
2025-01-01
2024-07-25
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-06-12
2024-07-11
2024-08-13
2024-12-26
2025-04-21
2025-04-19
2025-04-17
2025-04-15
2025-04-13
2025-04-10
2025-04-07
2025-04-03