Agent 在现阶段是广受企业用户关注的方向，数字员工作为解放企业生产困境的重要路径，同样具有高价值，今天主要探究 Agent 技术在数字员工领域的落地实践。分享主要分为三个层面，1、数字员工的演进迭代，2、技术迭代过程中的技术困境与解决方法，3、Agent 数字员工的实际应用场景。

分享嘉宾｜陈伟  浙江实在智能科技有限公司解决方案中心总经理、咨询专家，Certified CMMI Associate（CMA）认证评估师

内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。

01

从RPA到Agent，数字员工再进阶

数字员工在人机协同的业务互动上，成效显著，可自动化执行流程任务或者智能化分析业务问题，同时通过实时人机互动协作完成特定任务。企业在前期的系统建设过程中，存在烟囱系统现象，如果要对这部分系统进行重构，重新开发 API 接口，成本非常高，且接口会随时根据业务需求改变。数字员工在这方面也能发挥非常好的效果，不需要数据接口，完全拟人化进行数据采集，利用集成 AI 能力对数据进行智能分析，最终可贴合数据同步目标，把数据传递到其他系统、接口，生成各类报表，最终的让内部数据通过数字员工的协同，及时、有效、快速地运转，更好地为企业做数字化赋能。

在第三阶段，有了大模型的能力加持后，数字员工工具变得人人可用，可通过语言描述命令的方式，让大模型自动生成 RPA 流程进行执行。

Agent在自动化领域的落地困境与解决方案

首先要给模型构建对流程的基础认知，因为每个人对流程的认知都不一致，要给大模型构建流程认知，让大模型把工作指令理解为操作计算机若干个步骤，是复杂的。对 13B 模型进行了指令微调，让它更好地理解人的指令，并且把指令关联到是拆解成动作上，同时通过泛化的流程学习，以及以往服务客户的操作流程，提前给到大模型，让它够理解日常工作中的流程，大模型可根据记忆当中的流程知识，编写计算机指令流。同时为大模型构建了操作计算机指令组件的动作库，大模型需要充分理解，并且根据业务需求灵活组合使用。

小的视觉模型不依赖网络环境，在 CPU 的环境里面就能跑。所以能快速有效地把窗口元素中的对象快速分析识别出来，结合视觉多模态能力，就能让数字员工动态识别当前桌面，并且一步步完成桌面软件操作。

3、不可避免的幻觉现象，我们将大模型定义为在抽象空间做创作的能力，无可避免地会因为创作习惯凑出完全不正确的答案。此问题困扰了很多。有个基于大模型的应用架构，叫做 RAG 检索增强生成，检索增强生成可以给大模型挂载标准可用的多元知识库，让大模型在生成时，不需要记忆搜出的无用消息组合成答案。大模型可根据任务指令，在标准知识库里面寻找最有用、最精准的答案，再把答案组合成最终想要的结果。实在智能预先对市面上常见软件中的场景，让垂直领域的流程大模型做预训练和学习，就可以让大模型在真实环境中去建立对软件与场景的基础认知和理解。例如，把用友、金蝶财务系统，通过人工辅助的方式训练给大模型，教它业务操作流程，当大模型掌握了这两个财务系统后，就会像财务人员一样，稍微研究一下新的系统也能快速使用。当  Agent 有了一定的流程泛化能力，当面对没有学习过的应用软件时，也能发挥出价值作用。以上是做 Agent 过程中的方向性的探索。

实际落地案例

Agent 在具体场景中的操作。首先是数据查询与下载场景，Agent 成了对话窗口，只需通过一句话把业务描述出来，大模型就能将业务拆解成若干个可执行流程，通过人员确认流程生成对与否，就可以指令大模型执行。执行过程中有个蓝色扫描过程，用了智能屏幕语义理解模型，让大模型理解当前界面的信息，把最有效、有用的元素发给大模型，让它作为操作元素对象的入参，找当前要操作的元素对象并进行执行。其中所有流程步骤，都可以用对话方式实现业务执行，效率较高。且执行完毕后，可以在知识库里构建起标准任务，第一次要交互 9 - 10 次，但再次提问时，同样的场景直接一次性地调用知识库里的组件，完成动作生成，直接执行任务。这样执行效率高、交互次数少，对后端算力的占用减少、成本较低。

Agent 在专业领域最先落地的实际应用是客服场景，传统客服没有人工来帮忙办理业务，运营商基于人力成本的考量，确实没有办法让更多的人工响应问题。那我们可把这项任务交给 Agent 数字员工，做客服知识库问答流程，以及根据知识问答结果衍生到业务系统里办理工单的场景。那么办理工单业务可全部交给 Agent 做。所有问题都可以用大模型问，问好所有信息后，就可以操作运营商的工单系统，把要解决的问题录入为一条工单，当工单系统在内部流转，处理人员收到信息后，能够为用户处理业务。同理，线上的金融业务、电商客户的订单调整，完全可以把对话及业务系统的处理交由 Agent 操作。

案例二：券商公司结合了训练的行业大模型。典型的客服场景，金融对服务有较高要求，例如不允许为客户推荐理财产品等特殊法律要求，再加上多服务高净值用户，所以服务要求非常严苛且人力成本非常高。实在智能把专业的金融知识以及相关规范，通过外挂知识库作为 Agent 的外挂执行标准，可实现更优质的客服对话问答，可能比人工客服回答的质量更高，因为模型掌握的知识更全面，还可以把优质回答模板沉淀为经验。训练好的模型一经上线就能达到专家水平，而传统客服，从入职到高级客服，会经历半年到一年的培训周期，所以客服这个运用专业知识解决问题的典型场景，在人的专业能力有短板时，Agent 就能发挥很大的作用。

案例四：现在客服里做了非常多的对话类客服数字人，但替代效果不佳，原本基于小模型能力的智能客服，经常出现答非所问、不理解问题、不理解情绪，且部分业务还需人工办理。我们在给省级运营商公司提供服务，每年 9 月份大批量大学新生在校园内开户，但由于每个人对套餐的使用习惯不同，会选择改套餐。这个时间段集中非常多套餐变更需求，这也是需动态规划的场景，因为套餐修改的界面，会联动前一个菜单的选择。

我们发现一个套餐，选择不同的流量、话费、短信数量，背后所有的操作完全无逻辑，如果按照原来的计划性工作，把它开发成固定的流程，光套餐办理一项业务就要开发数千个流程场景。我们发现大模型可及时响应客户需求，可根据当前的页面状态交互执行任务，例如话费通话时长页面，大模型可询问客户理想时长，Agent 可按照客户需求直接操作。根据客户每一步的需求做互动执行。原本该业务需要招将近 100 多名临时人员做业务支撑，场景上线后实现 Agent 完全取代人工完成订单修改工作。

总结来说，实在智能通过人工智能技术以及超自动化技术，打造不同业务场景中的 Agent 数字员工，这样的数字员工可以服务千行百业，帮助业务去提质、降本、增效，以及在特定领域创造数字化价值。