支持私有云部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


本地部署OpenManus对接QWQ-32B大模型并实现远程访问

发布日期:2025-03-20 07:33:22 浏览次数: 1550 来源:cpolar极点云
推荐语

探索AI技术的新突破,体验全自动AI助手的便利与强大。

核心内容:
1. Manus AI产品介绍及OpenManus开源项目的兴起
2. 本地部署OpenManus并对接QWQ-32B大模型的详细步骤
3. 使用cpolar内网穿透工具实现远程安全访问AI模型

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

前言

继DeepSeek全网出圈之后,一款名为 Manus 的AI产品在互联网掀起巨浪。它是由中国创业团队“蝴蝶效应”(Monica.im)推出的通用型AI Agent(自主智能体)产品,在用户输入指令后,它能够自主执行复杂任务并直接交付成果的AI代理,实现了AI从聊天助手到全自动行动助理的强大变化。不过遗憾的是现在还没有面向所有用户开放测试,不过让人没想到的是马上就出现了开源替代方案。

近日,来自MetaGPT团队的几位成员发布了开源项目OpenManus,无需邀请码即可实现任何创意。一经推出,瞬间爆火,而且可以通过Ollama直接对接本地开源AI大模型,绕过需要付费的api key,让这款强大的全自动AI助手实现了完全免费,想怎么用就怎么用。

本例中我将使用之间在本地部署的千问QWQ-32B模型作为全局大模型,尝试与OpenManus进行对接,本地测试这款开源智能体效果如何。并且因为OpenManus对模型性能要求较高,我们可以结合cpolar内网穿透工具,实现在高性能主机上部署大模型后,也能使用其他设备随时随地安全远程访问调用模型。

1. 环境准备

1.1 安装Python

本例使用Windows11专业版系统进行演示:

首先需要安装 python 3.12 下载地址:Python Release Python 3.12.0 | Python.org

image-20250318144358086

页面底部找到Windows版本,点击下载安装程序即可:

image-20250318144524182

安装时需要注意,勾选下边两个选项,不然后续有可能报错:

image-20250318144818801

安装结束后,如出现下图提示,点击该选项(更改您的机器配置,以允许程序(包括Python)绕过260字符的“最大路径”限制)同意即可:

image-20250318145149139

确认后,点击close关闭即可完成Python环境安装:

image-20250318145216752

1.2. 安装conda

然后安装conda环境,下载地址:Anaconda Installers and Packages

image-20250318145601089

点击查看所有安装文件,找到Windows版本,点击下载即可:

image-20250318145717565

下载好后,正常安装即可:

image-20250318150342939

需要注意的是在这一步,需要勾选第三个选项,自动加载刚才安装的Python3.12环境:

image-20250318150527896

点击确定,然后点击Install继续安装:

image-20250318150614488

安装完成后,点击Finish即可:

image-20250318150909756

2. 本地部署OpenManus

接下来开始在Windows系统使用conda本地部署OpenManus

2.1 创建一个新conda环境

首先在Windows中打开cmd或者powershell等终端工具,执行下方命令:

conda create -n open_manus python=3.12

image-20250318151109037

如果提示'conda' 不是内部或外部命令,也不是可运行的程序,我们需要配置一下环境变量:

image-20250318152656707

首先在电脑中找到conda的安装路径,本例中安装时选择的是只为我(just me)安装,那么路径是在C:\Users\[你的用户] 目录下:

image-20250318153248395

进入.conda文件夹,打开environments文档,复制这个路径:

image-20250318153332300

在Windows系统中搜索环境变量,打开:

image-20250318152610516

选择高级-环境变量-系统变量-path ,点击编辑:

image-20250318154638718

点击新建,粘贴刚才复制的Anaconda的地址加上\Scripts  比如:C:\Users\admin\anaconda3\Scripts

1742283957539

添加好环境变量后保存退出即可。

现在我们再打开cmd等终端工具,输入conda时,可以看到能正常识别命令了:

image-20250318155007411

再次执行刚才的命令:

conda create -n open_manus python=3.12

image-20250318155107953

输入y确认:

image-20250318155208551

环境创建好之后,执行下方命令:

conda init

image-20250318155520077

提示关闭并重启你的shell工具(关闭重新打开cmd)

然后执行下方命令激活这个新的conda环境:

conda activate open_manus

image-20250318155754091

如上图所示,这个conda环境就激活成功了。

2.2 克隆存储库

接下来,我们在终端中执行下方命令,将OpenManus拉取到本地:

git clone https://github.com/mannaandpoem/OpenManus.git

ps:使用git命令需要提前在Windows系统中下载并安装node.js

image-20250318160255841

如上图所示done即为拉取完成。

然后执行下方命令进入OpenManus项目根目录下:

cd OpenManus

image-20250318162751922

2.3 安装依赖环境

执行下方命令安装依赖环境:

pip install -r requirements.txt

image-20250318162948421

这个阶段安装时间较长,耐心等待安装完成即可:

image-20250318163120789

现在就安装好了:

image-20250318163440328

3. 安装Ollama

现在我们已经在本地部署好了OpenManus,但是我们还需要安装Ollama来接入本地大模型,之后再配置OpenManus 使用的 LLM API才能够使用。

下方为简略安装方法,详细的安装流程可以查看这篇文章:Windows本地部署Ollama

首先访问Ollama的官网:Download Ollama on Windows

下载适配你的操作系统的客户端,我这里使用的是Windows11系统,点击下载即可:

image-20250205152613479

安装好之后,打开cmd输入ollama回车,看到下面信息即为安装成功!

image-20250205154055584

4. 安装QwQ 32B模型

接下来使用Ollama下载本地AI大模型,不支持所有大模型,需要有函数调用能与OpenManus对接的才行。

恰好笔者之前下载的千问QwQ-32B模型就支持,这里就用它来演示。

下面为简略安装方法,详细的安装方式可以查看这篇文章:Windows本地部署QwQ32B

Ollama安装完成之后,就可以开始去下载 QwQ32B 这个模型了,使用这个命令就能下载:

ollama run qwq

需要预留20个G以上的储存空间,默认下载到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以自定义:

set OLLAMA_MODELS=d:\ollama

安装成功后会提示success:

image-20250307141047982

5. 修改OpenManus配置文件

接下来我们需要修改OpenManus配置文件,让它对接本地qwq32b模型。

需要修改的是全局模型配置Global LLM configuration和视觉模型配置configuration for specific LLM models

注意:里面的模型文件名称要改成你自己安装的,后面的视觉模型可以和上面的一致,也可以自定义其它的视觉模型!需要自己下载

首先进入我的电脑,打开C盘-用户-admin下的OpenManus文件夹:

image-20250318165826552

然后进入config文件夹:

image-20250318165916532

复制一份里边的config.example.toml文件,重命名为config.toml,使用记事本打开进行配置:

image-20250318171835136

1.首先将Global LLM configuration中的

model = "claude-3-7-sonnet-20250219" 替换为本地qwq32b的名称:model = "qwq:latest"

image-20250318172330485

PS:如何查看本地大模型名称:

新开一个cmd终端,输入ollama list进行查看,名称为 qwq:latest

image-20250318172122449

image-20250318172402805

2.将Global LLM configuration中的

base_url = "https://api.anthropic.com/v1/"   替换为 base_url = "http://localhost:11434/v1/"

image-20250318172557671

替换后:

image-20250318172630052

3.将Global LLM configuration中的

api_key = "YOUR_API_KEY" 替换为 api_key = "123"

image-20250318172735234

替换后:

image-20250318172830075

4.然后将下面的[llm] #OLLAMA:这部分整段删除:

image-20250318173113336

删除后:

image-20250318173156381

5.将Optional configuration for specific LLM models的

model = "claude-3-7-sonnet-20250219" 替换为 model = "qwq:latest"

image-20250318173458219

6.将Optional configuration for specific LLM models的

base_url = "https://api.anthropic.com/v1/"   替换为   base_url = "http://localhost:11434/v1/"

image-20250318173605483

7.将Optional configuration for specific LLM models的

api_key = "YOUR_API_KEY"  替换为 api_key = "123"

image-20250318173746749

8.将下面的[llm.vision] #OLLAMA VISION:这部分整段删除:

image-20250318173900270

删除后:

image-20250318174045632

配置完毕后保存关闭此文件即可。

6. 运行OpenManus

现在我们回到刚才创建好的OpenManus根目录下,执行一行命令运行 OpenManus:

python main.py

image-20250318174939069

可以看到提示我们输入指令来让它干活!

image-20250318175049907

输入命令后,可能会出现如下报错:

image-20250318182655140

这个问题是缺少了浏览器,那么需要先下载浏览器组件:

python -m playwright install chromium

image-20250318182826216

然后安装:

pip install playwright

image-20250318182920994

然后再次执行运行命令:

python main.py

并向它提出要求:

image-20250318183552703

根据本地硬件配置不同,执行操作的时间也不同,稍等后会自动打开浏览器进行查询操作并给出推理与回答:

image-20250318183651607

image-20250318184622373

image-20250318183718307

image-20250318184832254

image-20250318185011695

image-20250319101512541

PS:如果关闭终端后,不知道如何进入conda环境下的OpenManus根目录,可以执行下方操作:

首先执行:

conda activate open_manus

然后执行:

cd OpenManus

就可以进到根目录,使用 python main.py 运行 OpenManus 了!

[图片]

7.通过网页使用OpenManus

如果不喜欢在命令行中操作OpenManus,我们也可以在web网页中进行操作

首先,需要下载OpenManus的分支代码:

https://github.com/mannaandpoem/OpenManus/tree/front-end

image-20250319120248366

然后解压下载的包到自定义盘符目录,本例中为 D:\OpenManus-front-end

在终端中进入这个项目路径:

D:
cd OpenManus-front-end

image-20250319133713392

和上边的在命令行中运行OpenManus一样,我们需要先创建一个新的conda环境:

conda create -n open_manusui python=3.12

image-20250319133753855

然后激活环境:

conda activate open_manusui

image-20250319133825263

安装依赖:

pip install -r requirements.txt

在运行前,同样需要对config文件进行修改:()

image-20250319133854590

复制一个config.example.toml文件,重命名为config.toml,打开进行如下修改:

image-20250319121508931

保存后,回到终端中执行:

python app.py

image-20250319134252890

会自动打开浏览器访问:http://localhost:5172 打开OpenManus的web ui页面:

image-20250319134411862

在对话框中提问,可以在主界面中看到AI的操作流程:

image-20250319154547489

思考、调用工具、给出结果:

image-20250319154627756

不过这个UI版本似乎优化还有问题,处理速度比在终端中要慢很多,而且容易出现time out的情况。

image-20250319154745476

8. 安装内网穿透

现在我们已经成功在本地部署了OpenManus并使用WebUI在网页中与AI交互,但如果想实现不在同一网络环境下,也能随时随地在网页中远程使用本地部署的OpenManus处理问题,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

image-20250307152003085

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

8.1 配置随机公网地址

接下来配置一下 Open WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:openmanus(可自定义命名,注意不要与已有的隧道名称重复)

  • 协议:选择 http

  • 本地地址:5172 (本地访问的地址)

  • 域名类型:选择随机域名

  • 地区:选择China Top

image-20250319155705582

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250319155800449

使用上面的任意一个公网地址,在平板或其他电脑的浏览器进行登录访问,即可成功看到 OpenManus 的WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问本地部署的OpenManus了!

image-20250319160234840

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问OpenManus的WebUI使用QWQ-32B模型处理问题,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为WebUI配置一个公网地址。.

8.2  配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250319160557446

保留成功后复制保留成功的二级子域名的名称:myops,大家也可以设置自己喜欢的名称。

image-20250319160619724

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:openmanus,点击右侧的编辑:

image-20250319160733267

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名

  • Sub Domain:填写保留成功的二级子域名:myops

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250319160953756

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250319161105071

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的OpenManus的WebUI来让AI帮你全自动处理问题了!

image-20250319161223511

总结

通过以上步骤,我们实现了在Windows系统电脑本地部署OpenManus与新增的有WebUI版本的分支,结合cpolar内网穿透工具轻松实现在公网环境中使用浏览器远程使用AI自主处理问题,并配置固定不变的二级子域名公网地址的全部流程,经过简单测试,效果确实效果很惊艳,同时降低了使用门槛,非常期待它后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询