Copilot Studio ：新增“电脑操作 RPA”神技，让 AI 替你搞定繁琐的电脑任务

推荐语

微软Copilot Studio的AI新功能，让智能体直接操作电脑，突破传统自动化边界。

核心内容：
1. Copilot Studio新增“电脑操作”功能，AI直接与图形界面互动
2. AI智能体可模拟点击按钮、选择菜单项、输入文本等操作
3. 云端运行降低企业成本，支持多种桌面和浏览器应用自动化

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

如果你觉得 AI 离你的日常工作还很远，或者觉得配置 AI 工具太复杂，那么微软 Copilot Studio 带来的这项新功能，可能会让你眼前一亮。

人工智能技术正以前所未有的速度发展，而微软一直处在这个浪潮的前沿。他们的 Copilot Studio 平台，就是一个致力于将顶尖 AI 技术整合起来，帮助企业解决实际业务挑战的强大工具。

就在上个月，这个平台才刚刚引入了让 AI 助手拥有更强“深度推理”能力、支持新的模型交互协议（MCP），并正式推出了“智能体流程”（Agent flows）功能。

感兴趣的可以看我的往期视频。

而今天，微软的 Business & Industry Copilot CVP -Charles Lamanna 又宣布了一个激动人心的消息：Copilot Studio 即将推出一项名为“电脑操作”（Computer Use）的新功能，目前正处在早期研究预览阶段。

这项功能厉害在哪里？简单来说，它让你创建的 AI 智能体能够直接像人一样，去操作你的电脑！

没错，你没听错。有了“电脑操作”功能，AI 智能体不再仅仅是信息的搬运工或对话者，它们可以直接“看到”并“操作”网站和桌面应用程序的图形用户界面（GUI）——也就是我们平时用鼠标键盘交互的那个屏幕界面。

想象一下，你的 AI 助手可以做到：

点击按钮

选择菜单项

在输入框里打字

这意味着什么？即使某个软件或系统没有提供专门的应用程序接口（API）供程序调用，只要一个人能够通过界面手动操作它，那么现在，Copilot Studio 的 AI 智能体也能做到！ 这大大拓宽了 AI 自动化的边界。

这项新功能带来的好处是显而易见的：

最让人头疼的是，软件界面经常会更新，按钮位置变了、菜单改名了，传统的自动化脚本可能就“罢工”了。

但“电脑操作”功能具备实时适应能力。它内置了智能推理机制，能够实时理解屏幕上的变化并自我调整，确保自动化任务不被打断，工作流程持续顺畅。

这项功能建立在 Copilot Studio 成熟的安全措施和治理框架之上。企业数据会保留在微软云的边界内，并且不会被用来训练底层的 AI 大模型，有助于确保数据安全，并满足企业和行业的合规标准。

“电脑操作”功能运行在微软托管的基础设施上。这意味着企业用户无需自己购买、部署和维护服务器，可以直接使用。这不仅加快了部署速度，还减少了维护工作量和基础设施成本。它支持在多种桌面和浏览器应用（包括 Edge、Chrome、Firefox）上执行自动化任务。

解锁全新的自动化场景，告别繁琐重复

想象一下，企业需要将来自不同来源（比如各种表格、网页、旧系统）的大量数据录入到一个集中的新系统里。这项工作通常耗时耗力且容易出错。“电脑操作”功能可以自动模拟人工操作，准确无误地完成数据迁移和录入，解放人力。

市场部门需要定期从各种在线渠道（新闻网站、社交媒体、行业报告网站等）收集市场数据进行分析。“电脑操作”可以自动化这个过程，模拟人浏览网页、复制粘贴信息的操作，高效获取所需数据，而无需人工干预。

财务部门每天都要处理大量发票。利用“电脑操作”，AI 智能体可以自动打开扫描的发票文件（或电子发票网页），识别关键信息（如发票号、金额、日期、供应商），然后自动将这些数据输入到会计系统中，大大简化发票处理流程，减少手动错误。

如果你对 RPA（机器人流程自动化）有所了解，你可能会觉得这听起来有点像。确实，“电脑操作”功能正在革新传统的 RPA。

传统 RPA 的一个主要痛点在于其脆弱性——它往往依赖于固定的界面元素（如按钮的 ID 或位置）。一旦软件界面稍作修改，RPA 脚本就可能失效，需要专业人员进行维护。此外，传统 RPA 对于复杂的、动态变化的界面处理能力有限。

而 Copilot Studio 的“电脑操作”通过引入AI 的智能，克服了这些局限：

当界面元素变化时，AI 智能体凭借其“视觉”和“理解”能力，依然能找到正确的操作对象，自动化流程不易中断。

创建自动化任务变得更简单。你甚至可以用自然语言描述你希望 AI 完成的操作（比如“打开这个网站，找到最新的报告，下载下来”），然后通过实时的并排视频（一边是 AI 的推理过程，一边是实际的界面操作模拟）来测试和优化你的指令，无需编写复杂的代码。这使得非专业 RPA 开发者也能轻松创建自动化流程。

AI 智能体能够实时“看到”屏幕内容，并根据当前情况做出智能决策，即使在复杂或不断变化的环境中也能有效工作。

开发和管理人员可以随时查看“电脑操作”的活动历史记录，包括操作时的屏幕截图和 AI 的决策推理步骤，方便监控和调试。

总而言之，微软 Copilot Studio 正在朝着一个端到端的智能体平台发展，旨在帮助组织实现其 AI 目标和运营效率提升。通过“电脑操作”这样的创新功能，微软希望赋予用户更强大的能力，去简化流程、提高生产力，并最终推动业务创新。

想尝鲜吗？

如果你对这项强大的“电脑操作”新功能非常感兴趣，希望成为第一批体验者，可以填写微软提供的这个表单，表达你的参与意愿。

https://aka.ms/mcs-cua-preview

此外，微软也预告了，在 2025 年 5 月举行的 Microsoft Build 全球开发者大会上，他们将分享更多关于这项新功能的细节。感兴趣的朋友可以关注一下。