微信扫码
与创始人交个朋友
我要投稿
不过这两款产品在 AI 界的受欢迎程度还是远低于 本地部署大模型的鼻祖——Ollama ,Ollama 在 Github 上 拥有 76k 的 star ,star 数一直呈增长的趋势,那为啥三金之前没有介绍过它呢?
这是因为 Ollama 虽然很火,但是对于普通人而言有一定的上手难度,而且并没有直接提供可视化操作的界面,大多数情况下我们需要在终端命令行使用它。(虽然也可以搭配一些工具实现可视化,但是还是不如之前两个直接)
那为什么今天又突然要介绍它呢?是因为我们要使用它来 搭建一个中文版的斯坦福多智能体 AI 小镇 :
AI 小镇是麻省理工出品的开源项目,它是一个可以构建和定制属于自己的 AI 城镇的项目。有点像我的世界,但是里面的人物都是 AI 生成的。
废话不多说,我们先安装 Ollama,迈出搭建 AI 小镇的第一步!
首先,我们访问 Ollama 的官方:https://ollama.com/,直接点击 Download 开始下载安装:
下载好之后双击安装包进行安装即可,流程是「Next - Install Command - Finished」:
安装好之后,打开终端测试一下是否可以正常运行:
可以看到已经安装成功啦~
因为我们要 使用 Qwen2 7B 来搭建智能体小镇 ,所以这里我们以 Qwen2 7B 模型为例进行测试。
ollama 会帮我拉取大模型并开始运行,我们可以直接在终端和大模型进行交互:
不过对于非技术出身的小伙伴来说,可能还是更喜欢可视化的操作,这里给大家介绍一下 open-webui(https://docs.openwebui.com/),结合它可以实现白屏化交互:
open-webui 提供了 docker 部署的方式,也可以选择手动安装。
如果是 本地已经启动了 Ollama 的小伙伴,尤其是 MacOS 操作系统,推荐使用手动安装的方式 。对于 Linux 操作系统和 Windows 操作系统,则推荐 Docker 优先。
如果没有在本地启动 Ollama,则可以选择使用 docker-compose 一键部署。
详细教程可以阅读官方文档哦~
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-13
2024-03-30
2024-05-10
2024-05-28
2024-04-26
2024-04-12
2024-04-25
2024-07-25
2024-05-06
2024-05-14