随着人工智能技术的不断演进，语言代理Agent在处理复杂问题方面的角色变得愈发关键。这些代理依托于大型语言模型（LLMs），并通过任务分解、反思机制、协同工作分配以及外部工具的整合等多种策略来提升其任务规划的效能。尽管现有的提示技术在一些闭源语言模型中显示出良好的规划能力，但这些技术的应用往往受到模型固有认知能力和训练知识范围的限制。面对问答、网络信息检索、机器人操作等多个领域的广泛应用需求，通常通过Agent Tuning来提升模型的适应性和性能。这一过程涉及通过合成任务相关的轨迹来对模型进行微调，使其能够采取一系列高效的动作来完成特定任务，进而增强其在复杂环境下的适应能力。

然而，即使在开源模型中，执行规划任务依旧面临挑战。模型有时会产生与既定知识规则或常识相违背的计划，我们将这种现象称为“规划幻觉”。这一术语揭示了模型可能会生成不必要或相互冲突的动作序列，例如“未进行搜索即尝试检索信息”或“未确认桌子和苹果的存在即尝试从桌上取苹果”。

https://arxiv.org/abs/2403.03101

KnowAgent，旨在通过整合外部行动知识来优化合成轨迹，以减少规划幻觉的发生（参见上图）。该方法主要由三个关键步骤构成：首先，建立一个涵盖特定任务行动规划知识的广泛行动知识库，作为模型动作生成的参考；其次，将行动知识转化为文本形式，以便模型能够在创建行动轨迹时深入理解和运用这些知识；最后，通过一个知识驱动的自学习阶段，利用模型迭代过程中生成的轨迹来不断优化其对行动知识的理解和应用。这一过程不仅增强了代理的规划能力，也提升了它们在复杂环境中的应用潜力。

1.KNOWAGENT的总体框架

https://arxiv.org/abs/2403.03101

1.1 行动知识

在探讨行动知识的定义及其在大型语言模型（LLMs）中的作用时，我们首先明确了几个关键概念。

行动，在这里指的是大型语言模型（LLMs）为达成特定目标所必需执行的一系列独立动作。

行动规则，是对模型内部动作转换逻辑和次序的规定，它们明确规定了合法的动作转换，这些转换依据动作间的关系或特定任务的需求而定。

行动知识，则是一个综合概念，它包含了一系列明确定义的行动及其转换规则，()。针对不同任务的行动知识集合构成了行动知识库，简称行动KB。

https://arxiv.org/abs/2403.03101

1.2利用行动知识生成规划路径

如何运用行动知识来生成规划路径，涉及以下2个方面：

• 行动知识到文本的转化。如上图所示，这一过程始于识别与特定任务紧密相关的行动，并借助先前数据集分析和LLMs的内建知识，构建起行动知识库。接着，这些宝贵的信息被转换成文本格式，以便于模型进行后续处理。以HotpotQA（Yang et al., 2018）为例，引入一条行动规则：“搜索：（搜索，检索，查找，完成）”，这表明从搜索出发，有多条可行的路径可供选择，行动可以延续搜索本身，或者演变为检索、查找，直至达成任务的完成。

• 路径生成。该阶段是模型运用已转化行动知识的阶段，旨在简化任务的规划流程。模型依据行动规则来构建一条逻辑连贯的规划路径。

为了便于路径的生成，精心设计一系列提示，这些提示不仅涵盖了基本的任务描述，紧密围绕行动知识展开，分为四个关键部分：

（1）概述行动知识，确立基础概念和规则；（2）详细定义每个行动步骤，阐明其操作细节和重要性；（3）深入探讨规划路径生成的原则，明确输出限制；（4）提供规划路径的实例，作为在多种情境中应用策略的启发。每一个部分都在阐述行动知识、定义行动以及阐明如何运用行动知识进行规划路径生成方面扮演着关键角色。

1.3知识型自学习细化规划路径

在规划路径精细化的过程中，引入知识型自学习机制。知识型自学习通过迭代筛选、合并轨迹和微调模型，实现对行动知识的深入理解和应用，以持续提升模型性能，直至达到最优解。参照如下算法：

算法 1：轨迹合成与知识型自学习算法

这一过程始于一个未经训练的模型，通过合成初始轨迹，筛选出有效轨迹，并基于这些轨迹对模型进行微调。随着迭代的推进，模型的性能将逐渐提升，直至性能改善趋近于零，此时迭代过程结束。这一方法论不仅加强了模型对行动知识的理解和应用，也为在复杂任务中实现更高效的问题解决奠定了坚实基础。

2.总结

KnowAgent通过创新性地将外部行动知识与大型语言模型相结合，通过构建行动知识库和实施知识型自学习策略，实现了规划路径的高效迭代优化，实现对复杂任务规划路径的迭代优化和效率提升。

KnowAgent系统虽然在提升大型语言模型（LLMs）的规划能力方面取得了重要进展，但面临着多方面的局限性和挑战，如：面向复杂任务的多代理的协同合作、高效准确的行动知识库构建、大量长文本处理与推理。

参考文献：

Zhu Y, Qiao S, Ou Y, et al. Knowagent: Knowledge-augmented planning for llm-based agents[J]. arXiv preprint arXiv:2403.03101, 2024.

Yang Z, Qi P, Zhang S, et al. HotpotQA: A dataset for diverse, explainable multi-hop question answering[J]. arXiv preprint arXiv:1809.09600, 2018.

思源智谱(Thought Wisdom Profile)

聚焦城市发展的深度政策解读和创新案例分析；紧跟AI技术趋势及其在智慧城市建设中的应用；提供高质量的在线知识和资源整合服务
更多优质咨询，关注公众号-获取后台消息-扫码会员入群