粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
OpenAI最新发布的AGI L3级智能体Operator，带你一探CUA技术背后的秘密。 核心内容： 1. OpenAI Operator智能体功能介绍 2. CUA技术挑战解析：安全性、点击操作、推理能力 3. LLM技术在智能体中的应用与展望
那么构建一个开源Computer-Using Agent，需要解决哪些技术挑战尼？
安全性：将操作系统隔离在安全、受控的环境中
点击事物：使人工智能能够精确点击以操纵 UI 元素
推理：让人工智能根据所见决定下一步做什么（或何时停止）
部署 LLM：以经济高效的方式托管开源模型
流式显示：寻找一种低延迟的方式来显示和录制沙箱视频
运行 AI Agent的理想环境应该易于使用、性能高且安全。让 AI Agent直接访问您的个人计算机和文件系统非常危险！它可能会删除文件或执行其他不可逆的操作。
挑战二：点击事物
挑战3：推理
基于 LLM 的Agent的强大之处在于它们可以在多个动作之间做出决定，并使用最新的信息做出明智的决策。
在过去的一年里， LLM 做出这些决定的能力逐渐增强。第一种方法是简单地提示 LLM 以给定的文本格式输出操作，并在再次调用 LLM 之前将操作结果添加到聊天历史记录中。所有后续方法大致相同，使用微调来补充系统提示，这种通用能力被称为函数调用。
在单个 LLM 调用中结合视觉来指导工具使用可以尝试的开源模型：
Llama-3.2-90B-Vision-Instruct：查看沙盒显示，并决定下一步要采取的步骤
Llama 3.3-70B-Instruct：根据 Llama 3.2 做出决定，并以工具使用格式重新表述
OS-Atlas-Base-7B：是一个工具，Agent可以根据提示调用该工具来执行点击操作
挑战 4：部署LLM
Agent运行速度要快，所以在云端运行 LLM 推理，还希望它能够提供开箱即用的功能。
Llama 3.2 和 3.3以及OpenRouter、Fireworks AI 和官方 Llama API 都是不错的选择。
挑战 5：流式显示
为了查看 AI 正在做什么，希望从沙盒的屏幕获取实时更新。
ffmpeg -f x11grab -s 1024x768 -framerate 30 -i $DISPLAY -vcodec libx264 -preset ultrafast -tune zerolatency -f mpegts -listen 1 http://localhost:8080
ffmpeg -reconnect 1 -i http://servername:8080 -c:v libx264 -preset fast -crf 23 -c:a aac -b:a 128k -f mpegts -loglevel quiet - | tee output.ts | ffplay -autoexit -i -loglevel quiet -
这在互联网上工作得很好。服务器是 FFmpeg 的某种内置功能，但有一个限制，即它一次只能向一个客户端传输数据。因此，客户端必须使用 tee 命令来分割数据流，以便可以保存和显示它。
OpenAI智能体Operator合并PDF的任务执行全流程
https://blog.jamesmurdza.com/how-i-taught-an-ai-to-use-a-computerhttps://openai.com/index/computer-using-agent/
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-25
OpenAI 白送 200 美元的深度研究功能？实测后发现这个「阉割版」不如不用
2025-04-25
为什么一定要做Agent智能体？
2025-04-25
哇！首个MCPBench来了，MCP竟然不比Function Calls更有优势？ | 最新
2025-04-25
医疗大模型案例分析（一）：Google Med-PaLM
2025-04-25
vLLM+Qwen-32B+Open Web UI构建本地私有大模型
2025-04-25
AI产品经理思考MCP（3）：MCP的未来可能
2025-04-25
AI产品经理思考MCP协议（2）：标准化的必要性
2025-04-25
AI产品经理思考MCP协议（1）：预见MCP——我的“万能库”与标准化之路
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
回到顶部