AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Dify 上使用 Ollama 本地推理框架客户端
发布日期:2024-04-25 11:49:37 浏览次数: 3322 来源:字节笔记本


Ollama是一个本地推理框架客户端,允许一键部署诸如Llama 2、Mistral、Llava等大型语言模型(LLMs)。Dify支持集成通过Ollama部署的大型语言模型和文本嵌入能力。

快速集成

  1. 下载并启动Ollama

    对于其他模型,访问Ollama模型以获取更多详情。

  • 访问https://ollama.ai/download下载适用于您系统的Ollama客户端。
  • 运行Ollama并与Llava聊天:
    ollama run llava
  • 成功启动后,Ollama将在本地端口11434上启动API服务,可在http://localhost:11434访问。
  • 在Dify中集成Ollama

    点击“保存”以在应用程序中使用模型,之后确认没有错误。

    嵌入模型的集成方法与LLM相似,只需将模型类型更改为文本嵌入。

    • 模型名称:llava
    • 基础URL:http://<你的ollama端点域名>:11434
    • 输入Ollama服务可访问的基础URL。
    • 如果使用docker部署Dify,考虑使用本地网络IP地址,例如http://192.168.1.100:11434 或 docker主机机器IP地址,例如http://172.17.0.1:11434。
    • 对于本地源代码部署,使用http://localhost:11434。
    • 模型类型:聊天
    • 模型上下文长度:4096
    • 最大令牌限制:4096
    • 支持视觉:是
    • 在“设置 > 模型提供商 > Ollama”中填写:

      使用Ollama模型

      在需要配置的App的Prompt Eng.页面,选择Ollama提供商下的llava模型,并在配置模型参数后使用它。


      FAQ

      • 如果您使用docker部署Dify和Ollama,可能会遇到以下错误:

        httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

        这个错误是因为Ollama服务无法从docker容器中访问。localhost通常指的是容器本身,而不是宿主机或其他容器。要解决此问题,您需要将Ollama服务暴露给网络。

      • 设置Mac上的环境变量

        • 如果Ollama作为macOS应用运行,应使用launchctl设置环境变量:
          launchctl setenv OLLAMA_HOST "0.0.0.0"
          重启Ollama应用程序。
      • 设置Linux上的环境变量

        • 如果Ollama作为systemd服务运行,应使用systemctl设置环境变量:
          systemctl daemon-reload
          systemctl restart ollama
      • 设置Windows上的环境变量

        • 在Windows上,Ollama继承您的用户和系统环境变量。首先退出Ollama,然后从控制面板编辑系统环境变量,为您的用户帐户编辑或创建新变量(如OLLAMA_HOST, OLLAMA_MODELS等),点击OK/Apply保存,然后从新的终端窗口运行ollama。

      如何在我的网络上暴露Ollama?Ollama默认绑定127.0.0.1端口11434。使用OLLAMA_HOST环境变量更改绑定地址。




    53AI,企业落地应用大模型首选服务商

    产品:大模型应用平台+智能体定制开发+落地咨询服务

    承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

    联系我们

    售前咨询
    186 6662 7370
    预约演示
    185 8882 0121

    微信扫码

    与创始人交个朋友

    回到顶部

     
    扫码咨询