微信扫码
与创始人交个朋友
我要投稿
快速搭建DeepSeek智能对话助手的实用指南,充分利用免费资源。核心内容:1. DeepSeek对话服务的问题及解决方案概述2. 使用Gitee AI Serverless API和Streamlit搭建步骤3. 实施细节,包括技术栈和前端后端的注意事项
DeepSeek的能力有目共睹,但是最近对话服务由于一些外部原因经常出现无法响应的情况,用起来不是很顺畅。作为一个工程师,今天我们尝试通过一些免费资源快速搭建一个自用的DeepSeek。
开发软件毋庸置疑是Cursor
,只有不断使用,我们才能更加准确的把握它的能力范围。
模型的话直接采用Gitee AI
提供的Serverless API,重要的是,每个账号每天有100次免费使用机会。
“Gitee AI 的 Serverless API 为您提供开箱即用的企业级的大模型 API 服务。”
Gitee AI 提供模型体验、推理、微调、部署和应用的一站式服务,支持便捷的Serverless API方式,也支持模型部署方式,同时,还支持很多国产硬件平台,大家有需要可以上去看看。
其中Serverless API每个模型可以在线体验,也有demo代码直接使用。
Streamlit是一个开源的Python框架,工程师只需几行代码即可用它构建交互式数据应用,支持实时交互,无需前端知识。
Cursor
打开文件夹。Ctrl+Shift+P
创建虚拟环境。需要注意以下几点:
使用Streamlit帮我实现一个类似ChatGPT的智能对话助手。
前端需要注意响应内容应该区分思考过程和最终结果。
后端模型采用GiteeAI的Serverless API,示例代码如下:
---
from openai import OpenAI
client = OpenAI(
base_url="https://ai.gitee.com/v1",
api_key="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX",
default_headers={"X-Failover-Enabled":"true","X-Package":"1910"},
)
response = client.chat.completions.create(
model="DeepSeek-R1-Distill-Qwen-7B",
stream=True,
max_tokens=2048,
temperature=0.6,
top_p=0.8,
extra_body={
"top_k": 20,
},
frequency_penalty=1.1,
messages=[
{
"role": "system",
"content": "You are a helpful and harmless assistant. You should think step-by-step."
},
{
"role": "user",
"content": "Can you please let us know more details about your "
}
],
)
---
依赖:
streamlit==1.41.1
openai==1.61.0
Gitee AI 的Serverless API demo:
该章节所有内容都是与Cursor协同完成。
在Cursor Composer模式下,使用以上提示词进行生成。
上图中可以看到,已经按照我们要求进行生成了,下图则是总结生成代码并给出后续建议。
按照Cursor给出的后续步骤进行执行。
运行后的界面如下:
拿一个问题测试下。
问题:
作为小学生家长,应该如何培养孩子学习的习惯。
结果:
思考过程有明显标识,优化显示效果。
提示词:
响应结果中思考过程通过<think></think>
进行分隔,请针对思考过程设置背景颜色进行明显区分。
生成结果:
修改效果:
借助Cursor和Gitee AI,整个过程非常顺利。
强调几个地方:
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-05
别被Deepseek低成本冲昏头!本地化部署后续的“甜蜜陷阱”,你真能扛住吗?
2025-02-05
DeepSeek-llm-7B-Chat微调教程
2025-02-05
如何用CAMEL从DeepSeek-R1蒸馏数学推理数据?手把手教你实现!
2025-02-05
完整的671B MoE DeepSeek R1怎么塞进本地化部署?详尽教程大放送!
2025-02-04
DeepSeek R1 671B 完整版本地部署教程来了!!!
2025-02-04
一文读懂DeepSeek-R1本地部署配置要求(建议收藏)
2025-02-03
本地Ollama部署DeepSeek R1模型接入Word
2025-02-02
白话科普 | 看完即可上手DeepSeek训练,构建专属大模型,LoRA技术让你轻松训练行业大模型
2024-09-18
2024-07-11
2024-07-11
2024-07-26
2024-07-09
2024-12-29
2024-06-11
2024-10-20
2024-09-06
2024-07-20