微信扫码
与创始人交个朋友
我要投稿
随着 AI 编程工具的迅猛发展,从早期的 Code Copilot(代码辅助)到如今备受瞩目的 Cursor、v0、Windsurf 和Bolt.new 等全栈开发平台。这些创新工具旨在加速项目开发、简化工作流程并提高研发效率。然而,访问这些工具通常依赖于“通畅的网络”和海外 LLM 模型,在某些情况下可能成为使用这些工具的障碍。
作为一位大模型的爱好者和学习者,老牛同学今天分享一条不同的路径——如何利用本地 Ollama 和国内的大模型 API,在本地部署和使用 Bolt.new?
以下是老牛同学录制的本地部署和使用Bolt.new的视频:通过一句话,即可自动完成整个小项目的代码编写和部署预览。
Bolt.new是由 StackBlitz 推出的一款革新性的 AI 驱动全栈开发平台,它以几个关键特性脱颖而出:
尽管 Bolt.new 带来了诸多便利,但也存在一些局限:
对于快速原型设计和全栈功能开发,Bolt.new 凭借其完整的开发环境、智能化的辅助工具和简便的协作机制,是一个不错的选择。
Bolt.new 底层依赖 LLM,我们先准备 2 个 LLM 选项:本地运行 Ollama,和 API 调用的远程 LLM 服务(非必须)
ounter(lineollama run qwen2.5-coder:7b
官方提供的 Bolt.new 并不直接支持本地 LLM 或自定义 API 设置。幸运的是,社区牛人coleam00基于官方版本开发了一个增强版——bolt.new-any-llm,该版本不仅兼容多种 LLM,还能灵活配置 API 接口。
ounter(lineounter(linegit clone https://github.com/coleam00/bolt.new-any-llm bolt.new-any-LLMcd bolt.new-any-LLM
.env.example
为.env
,然后根据实际情况编辑.env
配置文件中的 API 地址和密钥。例如,Ollama 需要设置OLLAMA_API_BASE_URL
参数,国内模型 API 服务,则需要设置OPENAI_LIKE_API_BASE_URL
和OPENAI_LIKE_API_KEY
这 2 个参数。ounter(lineounter(line# 复制配置文件cp .env.example .env
然后,打开.env
配置文件,可以看到支持的模型列表,包括 GROQ、HuggingFace、Open AI 等,根据需要进行内容修改:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(line# Ollama配置OLLAMA_API_BASE_URL=http://localhost:11434# 【可选】 老牛同学使用的是百炼平台OPENAI_LIKE_API_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1OPENAI_LIKE_API_KEY=真实Key内容
说明:OPENAI_LIKE_API_BASE_URL
和OPENAI_LIKE_API_KEY
意思就是兼容 OpenAI 接口标准的大模型地址和 API Key,目前国内厂商基本都支持 OpenAPI 接口标准。
为了加快 Node.js 包下载速度,我们可以设置一下镜像源(老牛同学使用的是淘宝镜像):
ounter(linenpm config set registry https://registry.npmmirror.com
其他镜像源如下列表,请按需选择:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineNPM官方: https://registry.npmjs.org淘宝镜像: http://registry.npmmirror.com阿里云镜像: https://npm.aliyun.com腾讯云: https://mirrors.cloud.tencent.com/npm华为云: https://mirrors.huaweicloud.com/repository/npm网易: https://mirrors.163.com/npm中科大: http://mirrors.ustc.edu.cn清华: https://mirrors.tuna.tsinghua.edu.cn
然后,我们执行以下命令来安装依赖并启动 Bolt.new:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line# 安装pnpm包管理工具npm install -g pnpm# 安装项目依赖包pnpm install# 启动Bolt.newpnpm run dev
启动成功后,我们可以看到如下输出信息:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line>pnpm run dev> bolt@ dev D:\CodeSpace\bolt.new> remix vite:dev➜Local: http://localhost:5173/➜Network: use --host to expose➜press h + enter to show help
接下来,我们开始体验本地化的 Bolt.new!
通过浏览器打开 Bolt.new 本地地址:http://localhost:5173
首先可以看到如下页面,与官方相比,多了一个Model Settings的选项,在这里我们可以选择自己的模型:
我们可以选择 Ollama 模型(如上图),也可以选择配置过OPENAI_LIKE_API尝试模型(如老牛同学百炼平台 API 模型):
选择完模型,我可以输入我们的需求:写一个计算器页面
接下来的过程,就是老牛同学上面录制的视频所示了。
Bolt.new 可以根据我们的一句话内容,自动拆分成不同的小步骤:
然后,自动生成完整的项目结构和执行步骤,包括文件名等:
在右侧,显示源文件列表和动态展示每个文件生成过程:
最终,所有源代码研发完成,自动部署整个和提供预览:
接下来,如果我们觉得哪里需要修改、或者有什么报错,直接提问,Bolt.new 会自动进行修改并部署和预览!
Bolt.new只需通过自然语音,就能实现全栈研发和自动部署的能力,对于追求高效开发和快速交付的团队而言,这是一个值得尝试的工具。
友情提示:对于保密性较高、或数据安全要求较高的项目,通过调用外部大模型 API 服务使用 Bolt.new 工具时,请注意数据安全问题!
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-22
我对Multi-Agent集成业务场景设计
2024-12-21
一文回顾OpenAI系列发布会:从工具到AGI,OpenAI的12天进化论
2024-12-19
强化微调技术详解:开启AI模型定制的新篇章
2024-12-18
OpenAI 年底「百亿补贴」来了,满血 o1 API 开放,成本暴跌,定制升级
2024-12-18
腾讯AI团队:用Ray分布式计算效率提升800%
2024-12-18
OpenAI 新货详解:大量接口更新,还有 Go/Java SDK
2024-12-18
聊聊对强化微调(RFT)的理解及看法
2024-12-18
提升大模型 Function Calling 准确性
2024-09-18
2024-07-11
2024-07-11
2024-07-09
2024-06-11
2024-10-20
2024-07-23
2024-07-20
2024-07-26
2024-07-12