沉浸式翻译、Dify、NextChat“三连击”，B站Up主的SiliconCloud API接入实战｜视频教程
发布日期：2024-08-19 08:44:52
浏览次数： 1782
尽管沉浸式翻译的“翻译服务”直接提供可免费使用的SiliconCloud平台上的8款大模型，不过也有用户反馈，希望尽快接入SiliconCloud上的其他更高质量、更高性能的付费大模型，以满足需求。
实际上，目前你也可以通过自主配置API的方式来接入其他大模型，SiliconCloud API手册提供了相应指南（https://docs.siliconflow.cn/docs/use-siliconcloud-api-in-immersive-translate）。即便如此，难免有用户在使用过程中遇到问题。好在，手把手教你配置SiliconCloud API的视频教程终于来了。在最近举办的“SiliconCloud产品体验官招募”活动中，B站Up主“沧海九粟”在他的视频教程中分享了如何在沉浸式翻译中配置SiliconCloud API的。另外，他还介绍了如何在Dify与NextChat中接入SiliconCloud API。该视频作品已初步入选“SiliconCloud产品体验官招募”体验达人奖，并总计获得20亿Token（5亿Token/篇）。该活动仍在火热进行中，欢迎感兴趣的朋友继续投递体验SiliconCloud的内容作品，包括但不限于API调用、场景能力集成、上下游工具协作等（详情见文末海报）。原视频：https://www.bilibili.com/video/BV1PAYReKEqd/
SiliconCloud是硅基流动SiliconFlow推出的基于基础模型提供高性价比的GenAI云服务平台，目前10B以下的大模型永久免费使用。此外，SiliconCloud也提供非常多的向量与重排序模型、图片生成模型、语音模型，这些模型是限时免费，非常推荐大家使用这个平台来做应用。今天要介绍的是官方提供的在沉浸式翻译、Dify与NextChat中接入SiliconCloud的案例，让大家了解怎么在不同应用平台上接入API，帮助大家实现Token自由，更好地把大模型应用逐步构建起来。
在沉浸式翻译中使用SiliconCloud API
之前，我们需要自己在沉浸式翻译里自定义接口配置，现在SiliconCloud与沉浸式翻译官方有一个非常好的合作，用户点击“翻译服务”就可以直接找到SiliconCloud，基于它里面的八个免费大模型来使用翻译能力，基本上够用了。当然，你也可以选择自定义添加SIliconCloud上的其他付费模型，官方的模型页面能够找到，然后可以配置每秒最大请求数，选择翻译策略，当然你也可以定制化提示词。不过，基本上我们真正要做的是打开沉浸式翻译中的SiliconCloud的开关，翻译服务使用SiliconCloud就足够了，非常方便。
在Dify中使用SiliconCloud API
Dify平台是编排大模型实现工作流的平台，应该是目前业内最好的LLMOps平台之一，同类的还有FastGPT、Coze平台。那如何在Dify里接入SiliconCloud？非常简单，在Dify页面的右上角，点击名称找到设置，进入工作空间的第一个选项模型供应商，找到SiliconFlow，点击设置会要求输入API Key。我们从从快速上手SiliconCloud页面进入，找到API Key的页面，就可以很方便地找到自己的Key，输入并点击保存即可。然后，回到Dify模型提供商页面最开头，就可以在模型列表里面找到SiliconFlow，你可以点击下面的“显示模型”，就可以直接使用里面的模型。如果你觉得里面提供的模型偏少，想使用Llama 3.1这样的国际先进模型，这时要用OpenAI-API-compatible的方式加入这些模型，首先你需要选择添加大语言模型还是Embedding模型，模型名称可以从SiliconCloud的模型页面拷贝，然后填入从SiliconCloud上生成的API Key。需要注意，Endpoint URL填入的是https://api.siliconflow.cn/v1。然后根据平台所支持的相应模型上下文长度进行填写，最大Token上限指的是输出Token上限，一般是默认的4096，你也可以根据模型具体情况进行填写。目前SiliconCloud还不支持Function calling、Stream function calling，但相信未来会支持。其中的vision支持就根据你所要添加的模型是否支持进行选择。我们来看一下实际填写Llama3.1-8B的例子，不过不是所有平台的都填写一样的内容，你可以根据实际情况填写。在Dify上，向量化模型的填写就比较简单。填写你的Endpoint URL以及你的Key与上下文，基本上就可以使用。注意，模型名称和上下文长度一定得按照SiliconCloud模型页面的内容填写。如果我们要验证一下在Dify是否成功接入了SiliconCloud的API。关闭配置页面之后，你可以从应用模板创建一个应用，比如文章翻译助理，创建好之后，如果在右上角选择模型的地方看到硅基流动的八个模型，同时还会看到有OpenAI API Compatible的模型Llama3.1-8B。SiliconCloud提供的这些模型有一个非常好的优点，文本生成、向量模型都与OpenAI的接口兼容，这为我们提供了把这些模型直接接入到一些应用平台的非常好的基础。
在NextChat中使用SiliconCloud API
NextChat的原名称是ChatGPT-Next-Web，是一个开源的可以自己部署的网页页面，可以看成ChatGPT网页的平替。在NextChat中接入SiliconCloud API也非常方便，我们要做的是，找到对话框上方的机器人图形按钮，点击之后会有非常多的模型设置选项，我们要找到并打开自定义接口。在模型服务商这里选择OpenAI，因为SiliconCloud的接口地址（https://api.siliconflow.cn）与OpenAI接口兼容，然后填入API Key，模型名称也从SilionCloud的模型页面拷贝填入，可以填写多个模型。在实际使用时，可以找到对话框上方的机器人图形的按钮切换模型，这里会把你配置过的SiliconCloud上的模型都展示出来。NextChat的对话界面提供了一个非常快捷去测试SiliconCloud上的模型的效果，让大家可以更快速地做一个Playground。简单总结一下，硅基流动给我们提供了一个非常棒的GenAI云服务平台SiliconCloud，我们可以在很多的应用里接入大语言模型文本生成、图片生成能力，也希望大家能够找到更好、更多可接入的一些入口，可以把这样的GenAI云服务充分使用起来。非常推荐大家去注册SiliconCloud的账号（siliconflow.cn/zh-cn/siliconcloud），目前有非常多的免费模型和限时免费模型，并且注册后免费送大家2000万token，供大家做一些相关的应用实践
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
粤ICP备17114055号
支持私有云部署
