粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
还是在设置的弹窗中选择「模型供应商」，这次我们选择 Ollama，以 qwen2:7b 模型为例：
模型名称我们填入 qwen2:7b
基础 URL 填入 http://host.docker.internal:11434
其他选项可以根据自己的需求进行配置，或者也可以保持默认
然后保存即可
回到创建的应用中，在编排页面的右上角切换大模型为 qwen2:7b:
可以看到的，由于是本地大模型，所以响应速度非常快！
因为咱们本次使用 Ollama 来作为 Dify 的 AI 模型，所以在创建知识库时会有一些问题：
这是 因为 Dify 默认的系统 Embedding 模型是 OpenAI 的 text-embedding-3-large ，但是当我们使用本地大模型时，是无法连接到这个模型的，所以我们 还需要再拉取一个 Embeddinng 模型下来，这里以 nomic-embed-text 为例 ：
ollama pull nomic-embed-text
然后在 Ollama 模型设置中选择 Text Embedding：
保存之后，我们可以 修改 Dify 的默认系统模型，点击右上角的「系统默认设置」按钮进行设置 ：
再创建一个新的知识库进行测试：
也可以成功嵌入：
接下来我们将刚刚创建的知识库添加到应用中去，并给应用添加提示词。如果不知道怎么编写提示词，还可以点击右上角的自动编排让 AI 帮助我们完成：
点击右下角的「应用」按钮，就会自动为我们添加这些提示词和开场白到应用中了：
我们可以在知识库中添加大量的 K8s 相关的资料，打造一款 K8s 大师应用。是不是很棒?
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-01-17
从 Dify 到 Rill-Flow：大模型应用平台的进化之路
2025-01-13
前后端源码部署：Dify v0.15.0 升级 v1.0.0-beta.1 的尝试
2025-01-11
Dify v1.0.0-beta：插件开启公测
2025-01-07
Dify v0.15.0：全新父子检索策略 - 更精准，更全面的知识检索
2024-12-27
【场景驱动】企业的哪些重复性任务，最适合用Coze循环节点来解决？——慢慢学AI146
2024-12-24
Coze，Dify，FastGPT，哪个更强？全方位对比分析来了！
2024-12-19
打开日本市场背后，Dify 是怎么做 AI 全球化的？
2024-12-15
有了 NewAPI 之后，Dify 的可玩儿性又高了
2024-04-25
2024-04-24
2024-07-16
2024-07-20
2024-05-08
2024-05-07
2024-05-09
2024-06-21
2024-12-24
2024-04-25
回到顶部