AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


开源工具打造自己的AI编程助手 Continue + Ollama
发布日期:2024-06-12 20:23:12 浏览次数: 3048


Continue是一个由硅谷YC支持的AI代码编程助手,提供VSCode和JetBrains插件,类似Github Copilot。Continue是开源的,而且支持Ollama,这意味着我们可以定制自己的AI编程助手。

GitHub:https://github.com/continuedev/continue

VSCode插件:https://marketplace.visualstudio.com/items?itemName=Continue.continue

JetBrains插件:https://plugins.jetbrains.com/plugin/22707-continue

也可以IDE的插件市场搜索 continue

下一步准备好Ollama的本地模型,官网https://ollama.com,下载后启动,在命令行执行

ollama run deepseek-coder:6.7b

在插件config.json中配置好模型参数

{ "models": [ { "title": "DeepSeek Coder 6.7B", "provider": "ollama", "model": "DeepSeek Coder 6.7B" } ],   "tabAutocompleteModel": {   "title": "DeepSeek Coder 6.7B",   "provider": "ollama",   "model": "deepseek-coder:6.7b-base"   } }

Continue也支持利用 Ollama 运行多个模型和处理多个并发请求的能力,方法是使用DeepSeek Coder 6.7B进行自动完成,使用Llama 3 8B进行聊天。前提是你的机器足够强大。可以参考配置

{ "models": [ { "title": "Llama 3 8B", "provider": "ollama", "model": "Llama 3 8B" } ], "tabAutocompleteModel": { "title": "DeepSeek Coder 6.7B", "provider": "ollama", "model": "deepseek-coder:6.7b-base" } }

Continue 内置了@codebase上下文提供程序,可让自动从代码库中检索最相关的代码片段。假设已经设置了聊天模型(例如 Codestral、Llama 3),那么可以通过 Ollama 和LanceDB 的嵌入将整个体验保持在本地。建议使用nomic-embed-text嵌入。

ollama pull nomic-embed-text

然后配置config.json参数

{ "embeddingsProvider": { "provider": "ollama", "model": "nomic-embed-text" } }

根据代码库的大小,索引可能需要一些时间,然后可以直接提问,系统会自动找到重要的代码库部分并将其用于回答。

Continue 还内置了@docs上下文提供程序,可让您索引和检索来自任何文档站点的片段。假设您已经设置了聊天模型(例如 Codestral、Llama 3),您可以通过提供文档链接并提出问题以了解更多信息,从而让整个体验保持本地化。

@docs在聊天侧栏中输入内容,选择“添加文档”,复制并粘贴到 URL 字段中,然后在标题字段中输入查询的内容。

它应该快速索引已经上传的内容,然后你可以提出问题,它会自动找到重要部分并将其用于答案。

代码理解

代码自动补全

重写优化代码

查询代码库相关问题

把文档作为上下文的问答


Ollama的资源要求

根据 Ollama.ai 官方文档,运行 Ollama 的建议系统要求是:

操作系统: Linux:Ubuntu 18.04 或更高版本,macOS:macOS 11 Big Sur 或更高版本

RAM: 8GB 用于运行 3B 模型,16GB 用于运行 7B 模型,32GB 用于运行 13B 模型

磁盘空间:12GB 用于安装 Ollama 和基本模型,存储模型数据所需的额外空间,具体取决于您使用的模型。

CPU: 建议使用至少 4 核的任何现代 CPU,对于运行 13B 模型,建议使用至少 8 核的 CPU。

GPU(可选): 运行 Ollama 不需要 GPU,但它可以提高性能,尤其是运行较大的模型。如果您有 GPU,可以使用它来加速 定制模型的训练。

除了上述内容之外,Ollama 还需要有效的互联网连接来下载基本模型并安装更新。

不同模型大小的内存(RAM)要求参考

  • 运行3B模型需要至少8GB的RAM。

  • 运行7B模型需要至少8GB的RAM。

  • 运行13B模型需要至少16GB的RAM。

  • 运行33B模型需要至少32GB的RAM。

根据我自己的实际体验,MacBook M3 pro 18G,运行13B的模型会有点卡,运行7B的体验就很流畅。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询