推荐语

AI agent在小爱同学语音助手场景下的应用实践，这是小贤看到的关于此领域最好的分享，没有之一。

核心内容：
1. 智能语音助手的变革步骤
2. Agent技术带来的新机遇
3. Agent在小爱同学中的成功实践与挑战

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

一、智能语音助手的变革

智能语音助手的核心在于其能够理解用户的意图，并做出相应的决策和执行。

这一过程可以简化为以下几个关键步骤：包括用户输入请求（Query）、意图理解、决策、执行以及将结果反馈给用户（Response）。

• Query：通过语音或文本输入请求。
• 理解：对用户的输入进行意图分类与实体识别。
• 决策：根据理解结果，进行任务拆解与选择。
• 执行：调用功能或服务，满足用户需求。
• Response：以语音或文本的形式反馈给用户。

Agent技术在帮助语音助手理解用户意图、进行复杂任务决策和执行方面发挥了很大重要性。

二、Agent技术带来的新机遇

传统语音助手架构复杂且有局限，Agent技术引入后，带来新架构和策略，使系统设计简化，智能化水平提升。

架构精简：

传统架构依赖文法规则和多个小模型，而Agent架构通过大语言模型实现语义理解，将复杂的多层架构简化为一个核心模型，降低了系统复杂性和维护成本。

垂域简化：

传统架构需维护80余个垂直领域，每个领域独立开发；Agent架构引入垂直Agent，将垂域数量简化为10个左右，提升了系统的灵活性和扩展性。

策略优化：

从依赖复杂人工调度策略的传统模式，转变为通过Planning + Action机制，Agent能够自主规划任务并执行动作，减少人工干预。

话术升级：

传统话术基于预设模板，生硬且缺乏灵活性；Agent话术通过大语言模型生成自然、流畅的回复，提升用户体验。

数据驱动：

传统模式依赖人工设计和维护规则、模板；而Agent模式通过数据驱动的方式，从海量数据中学习并优化自身能力，实现自我进化。

三、Agent在小爱同学中的成功实践

现存挑战：

Agent技术在小爱同学中的应用面临六大挑战：结合语义理解与Planning、掌握API使用并保证调用质量、融合判别与生成模型以实现自然交互、确保API质量和稳定性、通过数据驱动优化自身能力、保障毫秒级响应速度。

1、语义理解与Planning能力的结合

通过一系列技术手段，将语义理解与Planning机制相结合，提升对用户意图的理解和任务规划能力。

代码式语义表示提供了一种与人类语言相当的表示能力，这对于Agent的理解方式是一个显著的优势。这种方法能够发挥大语言模型（LLM）在推理规划中的优势，允许基于定义的动作与实体自由组合意图表示。

此外，LLM在Coding任务中的优势也得到了发挥，它可以根据指令输出代码，这是LLM的底层能力。这种表示方法提高了Agent在理解和执行任务时的灵活性和准确性。

多Agent框架通过分而治之、协同调度的方式，实现了Agent之间的有效合作。在这个框架中，中控Agent负责接收用户的查询并协调其他Agent的工作。

例如，中控Agent可以调用工具Agent来总结文档，然后将结果返回给中控Agent。接着，中控Agent可以调用控制Agent来发送微信，将总结结果发送给指定联系人。

这种协同工作方式提高了任务执行的效率和准确性，使得Agent能够更好地满足用户的需求。

2、提升Agent在垂直场景中的表现

优化Agent在特定垂直场景下的性能，更好地满足用户在不同领域的查询和操作需求。

提升Agent表现的另一个关键步骤是进行通用能力评估和领域能力训练。这包括语言建模、知识储备、上下文理解和推理能力的训练。通过这些训练，Agent可以更好地理解和处理垂直场景中的具体任务。

通过领域能力训练，Agent可以学习特定领域的业务划分和多轮会话理解，从而提高其在特定场景下的表现。

持续预训练可以显著提升模型效果。通过对比不同模型（如4B模型、7B模型和4B模型+持续训练）在单轮、多轮、鲁棒性、多指令和负例等不同场景下的表现，可以看出持续训练的模型在准确性上有明显提升。

这表明持续预训练是提升Agent在垂直场景中表现的有效方法。

3、Agent在与用户交互中成长

利用用户交互数据，不断优化Agent的能力，使其更加智能和贴合用户需求。

Agent在与用户交互中成长的过程中，环境反馈扮演着至关重要的角色。

用户通过显式反馈如点赞、点踩、投诉或提交反馈，以及隐式反馈如打断、辱骂、未听完或重说，向Agent传达其满意度和需求。这些反馈信息被Agent用来优化其性能和响应能力，确保未来能够提供更加准确和满意的服务。

Agent的成长还依赖于基于反馈的强化学习链路。这一过程涉及到业务能力训练，其中包括语义函数推理、意向性泛化和多指令拆解。

通过监督学习（SFT）和强化学习（RL），Agent能够学习如何更好地理解和响应用户的指令。此外，通过不断对齐数据和边界数据，Agent能够逐渐适应并优化其在特定业务场景中的表现。

4、提升Agent服务响应速度

优化系统架构和算法，提高Agent处理用户请求的速度，减少用户等待时间。