简介

目前对话系统的四种主流方法：对话问答、开放域对话、任务导向对话和对话推荐系统，每种方法都有它们的局限性。本文提出了一种新的对话框架——基于规划的对话代理（PCA），它可以实现对话的主动性、可控性和减少对人工干预的依赖。PCA利用大型语言模型（LLMs）进行规划，通过离线构建标准操作流程（SOP）来实现在线对话的控制。此外，还提出了一个四个步骤的LLM角色扮演系统来帮助构建对话数据集。未来需要解决的问题包括如何构建既具有主动性又具有可控性的对话数据集、如何实现PCA以及如何准确评估不同方案的效果。

本文提出了基于LLMs的主动性和可控性对话代理，通过离线规划和在线规划实现对话任务的SOP预测。同时，提出了半自动对话数据集策划框架和高质量的中文对话数据集PCA-D。通过ICL、SFT、CoT和MCTS的改进，实现了对SOP的离线规划和对话预测的在线规划，并在单轮对话和综合对话维度上进行了评估。本文从任务定义、数据创建和建模三个方面推进了这一问题的研究，提出了多个变体和评估指标，展示了优越的性能。

数据质量控制

为了确保PCAD的质量和一致性，招募了7名优秀的注释员。在注释之前，制定了培训手册，组织注释培训，并进行了预注释。在注释过程中，以20%的速率对数据进行批量采样，并由三名注释员进行交叉注释。任何交叉注释一致率低于95%的实例都将被删除。

数据统计

PCA-D是一个专门用于可控和主动对话的数据集，涵盖了45个领域和53个专业任务，具有更高的多样性和灵活性。PCA-D的场景和对话质量高，平均得分为0.98。与以往的数据集相比，PCA-D利用LLMs大大降低了对训练数据的依赖，具有更低的成本和更快的应用推广速度。

PCA框架

PCA框架包括一个CA控制器和五个计划组件。在对话前，CA读取用户配置的任务信息并将SOP顶点传递给离线规划器以获取SOP图的邻接表。在对话期间，CA首先调用工作记忆模块来组装对话所需的提示。然后，CA将提示输入在线规划模块以获取对话响应。每个模块使用的LLMs都在LLMs模块中统一管理和访问。

SOP预测

本文介绍了三种有效的基线模型：邻接表（AL）、翻译CoT（TCoT）和SFT。其中，AL直接输出JSON格式的邻接表；TCoT先让LLMs用自然语言描述每个顶点及其子顶点，然后将其翻译成JSON格式的邻接表；SFT则通过生成一个顶点的邻接顶点来实现。

对话预测

PCA-M是一种基于MCTS和SOP的对话路径在线规划方法PCA-M，旨在优化对话树的探索和模拟，以高效地找到满足约束条件的高回报对话路径。同时，使用CoT和ToT作为基线，这两种方法可以显著提高LLM的复杂推理能力。在添加SOP时，计算生成的对话路径与SOP子路径之间的编辑距离，以指导代理人遵循SOP。

基于SOP的MCTS计划

PCA-M基于蒙特卡罗树搜索进行对话管理算法，该算法通过构建对话树来预测下一步最佳动作。算法包括四个阶段：选择、扩展、模拟和反向传播。选择阶段使用UCT算法平衡探索和利用，扩展阶段使用LLM作为对话动作先验，并利用SOP约束图搜索本地子图。模拟阶段通过模拟未来对话来估计奖励，反向传播阶段使用UCT公式更新整个路径上的UCT值。最终，选择具有最高UCT值的子节点来指导下一轮对话。

人类评估

通过手动评估模型的可控性、知识正确性、主动性、任务完成率和逻辑连贯性等指标，发现SOP指导可以显著提高模型的可控性和主动性，同时提高任务成功率和逻辑连贯性。基于SOP的MCTS算法可以进一步提高模型的性能。此外，通过SFT和PCA-D的组合，可以将模型的对话能力成功推广到实际测试中。与其他模型相比，LLMs很少出现知识错误或幻觉，这为企业应用提供了希望。

案例分析

通过对比不同模型在相同情境下选择的对话行为和生成的回应，发现SOP能够使对话更加准确和可控，而MCTS则具有更强的规划能力，在SOP无法提供最佳行为时能够通过模拟和搜索选择更有利的行为。