微信扫码
与创始人交个朋友
我要投稿
全网最详细的DeepSeek部署指南,腾讯云TI平台快速体验AI模型对话。核心内容:1. DeepSeek系列模型介绍及其应用领域2. 腾讯云TI平台支持的DeepSeek模型列表3. 实操部署DeepSeek-R1-Distill-Qwen-1.5B模型步骤详解
支持的模型列表
(如需要使用 HCCPNV6 机型,请联系您所对接的腾讯云销售或售前架构师进行开通)
限时免费体验
对于其他模型,可按下方模型部署实践自主部署对应模型后体验。
模型部署实践
模型:TI 平台已将 DeepSeek 模型内置在大模型广场中,您可直接选择模型并一键部署。
资源:1.5B的 DeepSeek 模型对算力需求较小,单张中端GPU卡即可支持其推理服务。您有多种计费模式选择:
—按量计费:对于仅需短时体验或所需算力较小的用户,机器来源推荐选用“从 TIONE 购买”,并选用“按量计费”模式。该模式无需提前准备算力。开始部署时,平台会自动分配资源并进行计费,本实践也将使用该模式进行展开。
—包年包月:对于已购买 CVM 机器或需较大、稳定算力的用户,机器来源推荐选用“从 CVM 机器中选择”,并选择对应的资源组。该模式下需要您提前购买好 CVM 机器并添加至 TI 平台资源组,详细操作步骤请参考资源组管理。
—请注意,如部署 DeepSeek R1、V3模型,需要使用 HCCPNV6 机型,该机型需联系您所对接的腾讯云销售或售前架构师进行开通。
1.登录腾讯云 TI 平台 ,在大模型广场页面,您可看到 TI 内置的开源大模型卡片。
2.单击进入“DeepSeek 系列模型”卡片,查看模型详细介绍。
服务名称:输入您的自定义的服务名称。如:“demo-DeepSeek-R1-Distill-Qwen-1_5B”。
机器来源:支持“从 CVM 机器中选择”和“从 TIONE 平台购买”两种模式。本例采用“从 TIONE 平台购买-按量计费”。如果您选择从“TIONE 平台购买”选项时无法选到您所需要的 GPU 机型,说明在 TI 平台中暂无该机型的库存,此时您须选择“从 CVM 机器中选择”,然后自行购买 CVM 机器并添加至 TI 平台资源组,详细操作步骤请参考资源组管理。
部署方式:选择“标准部署”。
—算力规格:单张中端GPU卡,推理资源配置建议详见大模型推理所需资源指南。
1.服务部署完成后,在“模型服务 > 在线服务”页面的列表中,其状态将显示为“运行中”。DeepSeek-R1-Distill-Qwen-1.5B 模型的部署时长预计为1-2分钟。
腾讯云 TI 平台在线服务模块内置了接口调用测试功能。此外,您还可以使用命令行等工具对测试 API 调用。测试完成后,您可以以 API 调用方式将模型接入 AI 应用。下文将对模型推理 API 的测试及接入进行示例说明。
1.在“模型服务 > 在线服务”页面的列表中,单击刚部署的服务的名称,跳转到服务详情页。
2.进入服务详情页的“服务调用”Tab,在页面底部可看到“接口信息”版块。
3.在“接口信息”版块的输入框中,输入接口和请求信息,进行接口测试。
备注:TI 平台为内置开源大模型配备的推理框架为 vLLM,兼容 OpenAI 接口规范,除对话接口以外的更多接口请参考 vLLM 官方文档。
{
"model": "ms-xxxxxxxx",
"messages":
[
{
"role": "user",
"content": "描述一下你对人工智能的理解。"
}
]
}
1.在上述的“接口信息”版块中,在下图位置1处输入接口名。输入完成后,单击位置2处的复制按钮,复制完整的 API 调用命令头。
2.在命令头最后追加参数 -d'{REQ_BODY}',得到完整命令。其中 {REQ_BODY} 为请求体,请按照上文中“使用平台在线测试功能调用 API”的第 3 点给出的格式填写。最终编写成的完整命令应如下方代码所示:
curl -X POST https://ms-xxxxxxxx-xxxxxxxx.gw.ap-shanghai.ti.tencentcs.com/ms-xxxxxxxx/v1/chat/completions -H 'Content-Type: application/json' -d'{
"model": "ms-xxxxxxxx",
"messages":
[
{
: ,
:
}
]
}'
3.将完整命令输入到已连接到公网的计算设备的命令行工具中并执行,命令行中将返回模型的输出。
完成模型部署后,如果您需要在您的 AI 应用中进行接入已部署的模型服务,可以将服务 API 的信息配置到相关平台或系统中。下文以Cherry Studio为例,介绍如何将服务 API 接入应用中。
Cherry Studio 是一个支持多模型服务的开源桌面客户端,可以将多服务集成至桌面 AI 对话应用中。本文仅以此为例介绍 API 调用。如您需要商用 Cherry Studio,请仔细阅读其开源软件协议。
1.进入您在 TI 平台已部署模型服务的“服务详情页 > 服务调用”Tab,在页面较上方位置找到“调用地址”字段,并单击最右侧复制按钮复制。
5.按照第4点要求成功添加提供商后,将自动跳转到该提供商的配置菜单,本文中示例为“腾讯云 TI 平台”。请注意:TI 平台当前的鉴权方式和 OpenAI 有所不同,因此仅支持以未开启鉴权方式将 API 接入 Cherry Studio。在未开启鉴权的前提下,进行如下配置:
不同部署模型的注意事项
大小模型的效果
基于已部署的“DeepSeek-R1-Distill-Qwen-1.5B”和“DeepSeek-R1”模型服务,我们尝试使用一个相同的问题,简要对比一下大小模型的推理效果。
在我的厨房里,有一张桌子,上面放着一个杯子,杯子里有一个球。我把杯子移到了卧室的床上,并将杯子倒过来。然后,我再次拿起杯子,移到了主房间。现在,球在哪里?
DeepSeek-R1-Distill-Qwen-1.5B?
DeepSeek-R1?
我们的往期内容
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-06
谷歌发布Gemini 2.0 Pro:综合评测超DeepSeekV3略低于DeepSeekR1,支持200万输入!开发者当前免费
2025-02-06
谷歌反击,最强Gemini 2.0全家桶砸场DeepSeek!物理模拟编码惊人Jeff Dean站台
2025-02-06
DeepSeek R1 给我的冲击
2025-02-06
大模型涉及到的精度有多少种?FP32、TF32、FP16、BF16、FP8、FP4、NF4、INT8都有什么关联,一文讲清楚
2025-02-06
“AI三杰”都是广东人,为何都没在广东发展?
2025-02-06
Google Gemini 2.0 Pro来袭,DeepSeek突然觉得不香了?
2025-02-05
Gemini 2.0 Flash小试牛刀
2025-02-05
DeepSeek 对国内互联网巨头的影响
2024-08-13
2024-09-23
2024-06-13
2024-05-28
2024-08-21
2024-04-26
2024-08-04
2024-07-09
2024-07-01
2024-09-17
2025-02-06
2025-02-06
2025-02-04
2025-02-01
2025-02-01
2025-02-01
2025-02-01
2025-01-29