微信扫码
添加专属顾问
我要投稿
深入探索构建多用户Agent应用的实践指南,从Python代码执行器到浏览器自动化,手把手教你实现安全高效的容器化Agent应用。 核心内容: 1. 构建Python代码执行器:Docker版工具的实现细节 2. 浏览器自动化:Docker版工具的构建方法 3. 组装、测试及未来改进策略
再重复下我们关注的重点:
编码Agent与Web Agent是主要任务工具
它们需要在容器环境中执行以确保安全
多用户环境,每个用户有自己的Agent与容器
本篇将完成剩下的任务(代码地址在文末):
构建Tool:Python代码执行器(Docker版)
构建Tool:浏览器自动化(Docker版)
组装Prompts与ReAct Agent
测试与未来改进
01
构建Tool:Python代码执行器
这个工具的任务是把AI生成的代码在一个动态启动的容器中执行,并返回结果。它并不关心代码的目的,仅仅是纯粹的执行。首先准备一个工具函数:
...
def execute_code_docker(
code: str,
language: str,
user_id: str ,
task_id: str
) -> str:
"""
在Docker容器中执行代码的函数
Args:
code: 要执行的代码
language: 代码语言 ("python", "bash", "sh")
user_id: 用户ID,区分不同用户
task_id: 任务ID,如果不提供则创建新任务
Returns:
字符串结果,包含输出或错误信息
"""
.........此处省略.......
return json.dumps(result_data)
把这个函数转化为Agent需要的Tool,这里包装一个create函数:
def create_code_executor_docker_tool():
"""创建docker代码执行工具"""
return FunctionTool.from_defaults(
name="docker_code_executor",
description="在Docker容器中执行Python代码或Shell脚本。对于Python代码,使用language='python';对于Shell脚本,使用language='bash'或'sh'。需要提供user_id区分不同用户,可以指定task_id继续在特定任务上下文中执行,不指定则创建新任务。",
fn=execute_code_docker,
)
OK,这就是全部工作。如果不放心,你可以单独测试这个工具。
02
构建Tool:浏览器自动化
这个Tool依赖于一个Web Agent,用来完成浏览器自动化任务(参考:Web Agent技术揭秘:如何让DeepSeek接管与控制你的浏览器?)。常见的技术方案有微软的OmniParse视觉分析以及browser-use开源Agent框架。可以借助browser-use来快速实现这个Agent:
...
# 初始化浏览器
browser = Browser(config=browser_config)
# 创建代理,输入task即可,比如“上youtube看当前热点”
agent = Agent(
task=task,
llm=llm,
use_vision=use_vision,
max_failures=max_failures,
max_actions_per_step=max_actions,
browser=browser
)
result = await agent.run()
由于需要在容器中完成web浏览,为了方便,我们把这个Agent调试好再直接build到容器镜像中(参考上篇的Dockerfile)。而Tool只需要调用容器中的Agent即可:
所以这个工具函数就很简单了,无非是把输入任务转换成调用agent_browser的脚本并通过容器执行:
def execute_browser_task(
task_description: str,
user_id: str = "default",
task_id: Optional[str] = None
) -> str:
"""
执行浏览器任务并返回结果
Args:
task_description: 浏览器工作任务描述文本
user_id: 用户ID,区分不同用户
task_id: 任务ID,如果不提供则创建新任务
Returns:
str: JSON格式的任务执行结果
"""
shell_code = f'python /app/agent_browser.py -t "{task_description}"'
...此处省略...
result = container.execute(shell_code, "bash")
...
03
组装Prompts与ReAct Agent
除了上面两个以外,我们还有两个工具:
CodeGenerator: 为了各司其职,这里把生成代码的工作交给一个独立的Tool(也可以是Agent)完成,而不是由任务推理的LLM直接生成,这样有利于单独调试,并使用更擅长编码的模型。
WebpageCrawler: 采集指定网址的内容。主要用于测试。
【Prompts建议】
大模型”咒语“的重要性不言而喻。在这个Agent中,有两个主要的提示:
* 主任务推理提示:由于这里使用ReActAgent,因此使用其标准化提示,由框架内置。不过LlamaIndex允许插入一个Context_prompt,可以在这增加一些指令,以帮助更好的推理任务步骤与参数。我这里给了一些任务拆分的”Tips“,如:
* 编码提示:即LLM代码生成的提示。这个提示中可以根据实际需要给出一些编码的规则、约束以及环境信息等,帮助生成一次性成功的代码。如:
这些编码规则最后组装到完整的Prompt中:
...
prompt = f"""{CODE_GENERATION_PROMPT}
任务描述:{task_description}
额外上下文:{additional_context}
请直接返回代码,无需其他解释。
"""
【Agent组装】
为了简化,这里采用LlamaIndex中预置的ReActAgent抽象来实现这个Agent。把工具交给Agent,并设定LLM及部分参数即可:
...
# 创建用户专属的工具实例
tool_code_executor_docker = create_code_executor_docker_tool()
tool_browser_docker = create_browser_docker_tool()
tool_code_generator = create_code_generator_tool()
tool_webpage_crawler = create_webpage_crawler_tool() # 新增网页采集工具
# 创建用户专属的Agent
_agents[user_id] = ReActAgent.from_tools(
max_iterations=20,
tools=[
tool_code_generator,
tool_code_executor_docker,
tool_browser_docker,
tool_webpage_crawler # 添加到工具列表
],
llm=llm,
verbose=True,
context=REACT_AGENT_CONTEXT
)
...
【客户端模拟】
实际应用中,你需要借助Flask或者FastAPI让Agent对外提供服务接口。不过我们这里直接采用客户端程序做模拟。这个程序的输入有:
一个用户标识(模拟不同的登录用户)
一个任务描述(模拟用户的任务要求)
一个输入文件名(模拟用户上传的文件)
处理流程如下:
04
测试与改进
现在我们就完成了一个初具雏形的、支持多用户与容器环境的“Manus”,当然它的工具箱还不够丰富,任务规划能力也相对受限(ReAct),你需要在后期不断的完善。
我们做一些简单的测试验证:
" 帮我看一下youtube今天最火的视频有哪些?"
"演示汉诺塔算法的过程,并搜一下汉诺塔问题来源”
"解压我的zip文件,识别其中的PDF文件信息,输出到Excel中”
这个PDF是一张发票信息,因为我提示不够清楚,AI使用了普通的PDF解析,尽管信息被提取了出来,但并没有使用价值。
“创建一个测试的订单数据文件,模拟小米公司各种手机型号的销售数据,数据尽量仿真,至少100条数据”
“对我刚生成的模拟数据做个分析,输出一个分析图表到图片文件”
这里经历了多次调试。原因是大部分LLM会自作主张的假设数据格式直接进行分析,而不是首先学习文件中的数据内容与格式,然后选择合适的角度做分析。
【不足与后续改进】
首先是最大的问题,相信也是Agent的普遍问题:不可预测性。当然原因主要来自于LLM的不确定,体现在:
任务规划:长距任务的合理规划上能力不足。子任务什么时候要拆分,什么时候要合并,特别是步骤多了以后,后期很容易失控。
代码生成:很多通用任务依赖AI编程,这受限于LLM能力。常见问题是相似的任务有时候用方法A,有时候用方法B,导致过多的失败与反复迭代。
不可预测性很大程度上依赖于LLM能力的进化。可能的改进还有:
不直接依赖于ReAct思维链立即开始任务,而是借助LLM先生成全盘优化的任务执行计划,并在过程中迭代调整(Refine)。
对常见类型的任务过程进行一定程度的“固化”,即给予LLM一定的任务执行“指南”。这个指南可以通过Prompt、RAG甚至微调的方式注入。
企业环境下,针对业务场景可借助于Workflow编排来降低任务的不确定性,提高可预测性,因为对“通用性“要求没那么高。
长期记忆能力。即能够超越单次Agent的使用来理解甚至预测用户的行为、个性与偏好,从而提高任务理解的准确性与客户体验。比如这样的任务:“到我常去的购物网站查询下最新的折扣信息”。
更丰富的工具。依靠编码与浏览器是远远不够的,更何况这两种方式还存在一定的性能问题。很多任务需要更专一且高效的工具来完成,需要一个即插即用的让AI更方便的连接世界的手段(MCP?)
异步的任务处理。提交任务后可以离开,并在任务结束后得到通知。
任务过程中的人工参与。必要时任务可以暂停等待人工输入或者确认。
多用户环境下的性能优化。并发控制、容器管理机制、缓存机制等。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-16
轰飞RK3588?开发板中的小钢炮 |搭建你的私有机器人—用AIBOX-1684X高算力AI计算盒Llama3|DeepSeek
2025-04-16
全域智能操控:揭秘 AI 驱动下的浏览器、桌面与移动自动化先锋
2025-04-16
卧槽!!这才是MCP!两分钟做一个支付功能的智能体
2025-04-16
Apifox 全面支持 LLMs.txt:让 AI 更好地理解你的 API 文档
2025-04-16
Copilot Studio :新增“电脑操作 RPA”神技,让 AI 替你搞定繁琐的电脑任务
2025-04-16
斩获11.8k星!像人类一样使用浏览器,轻松实现浏览器自动化!
2025-04-15
将Dify接入到小米音箱:无需一行代码搭建你的专属语音助手
2025-04-15
低延迟小智AI服务端搭建-ASR篇
2024-03-30
2024-05-09
2024-07-07
2024-07-23
2025-02-12
2024-07-01
2024-06-24
2024-06-23
2024-10-20
2024-06-08
2025-04-13
2025-04-11
2025-04-03
2025-03-30
2025-03-28
2025-03-26
2025-03-13
2025-03-12