先说结论，大模型Agent的核心不仅仅是prompt，但prompt确实是目前实现Agent的重要手段之一。要理解这一点，我们先得澄清什么是AI Agent。

作为一个智能体，AI Agent应当具备理解周围环境、做出决策和采取行动的能力。与传统AI依赖用户输入的Prompt与大模型交互不同，AI Agent融合了规划、记忆和工具使用等关键功能，在操作时不需要逐步的提示，我们只需设定一个目标，它就能够自主地进行思考和利用各种工具来分步实现。听起来很强大是不是，那么目前AI Agent的发展状况到底如何？有哪些技术挑战？它又将为未来带来哪些新的可能性？我们一起来看一看。

AI Agent的核心要素

目前业界普遍认为，AI Agent技术包括四大核心部分：

1. 角色定义模块。Agent在此阶段需要和人类一样，对任务执行中的背景资料和具体要求保持关注，这一环节实质上是构建角色定位的数据集合。

2. 记忆模块。其功能是信息的存储与检索，分为短期记忆和长期记忆两种形式。短期记忆基本上等同于模型处理的即时上下文，长期记忆则通常来源于外部存储如向量数据库。

3. 规划模块。它仿照人类处理问题时将复杂问题拆分为多个小问题并逐一击破的策略，将复杂任务细化为更易于管理和解决的小任务或小目标。

4. 执行模块。它关乎AI Agent与其所处环境的直接互动。这可能涉及到使用应用程序接口、激活其他功能模块或实施具体操作，具体执行方式将依据任务的具体需求而定。简单来说，AI Agent要学会使用工具。

以上模块中都要用到Prompt。好的Prompt在引导和优化大模型输出方面有着积极的作用，例如，一个清晰明确的Prompt可以显著提升大模型回答的效果，而结构化Prompt则通过提供模板指令和格式要求，帮助AI更准确地捕捉用户的意图。字节跳动推出的“扣子”平台，就是在上述技术的基础上构建Agent的。

当前面临的挑战

本质上，AI Agent还是依赖于底层的大模型，所以大模型存在的问题也是AI Agent要面对的。比如“幻觉”、“过拟合”，容易受到对抗性攻击和恶意输入的影响等等。抛开这些不谈，前面提到AI Agent包含了角色定义、记忆、规划和执行模块，此刻它们也都面临挑战。

在角色定义方面，我们需要关注的是输入。尽管大模型在文本生成方面表现出色，但在处理多模态数据（如图像、视频等）时仍存在不足。未来的Agent需要处理多模态输入，而不仅仅是文本，这就要求Agent具备更强大的多模态理解和生成能力。

在记忆方面，Agent经常需要处理长序列输入和输出，如何优化上下文长度和结构以提高模型的性能和效率是一个重要挑战。而在Agent与大模型交互时，怎样保持任务的上下文连贯性也是一个问题。

在规划方面，当前的Agent系统严重依赖于大模型对复杂任务的拆解和工具选择的能力。大模型要能够理解任务、进行任务拆解，并正确调用工具来执行任务。这不仅仅是语言能力的问题，可能还需要针对性地提升模型在任务拆解方面的能力。

在执行方面，目前的Agent主要解决特定场景的问题，如智能机器人、问答式交互、文档智能分类等，缺乏普适性的应用。而且大多数Agent仍处于“玩具”阶段，在工业、商业等实用化的复杂决策场景中的表现仍然不足。这是因为Agent需要有效的反馈机制来理解环境并调整行为，但目前这一点还没有很好的解决。在复杂工具使用场景中，仅仅依靠prompt难以达到足够高的成功率。Agent系统需要能够学习和适应如何调用不同的工具来完成任务，这涉及到工具调用学习的问题，目前即使是GPT-4，在工具使用方面的正确率也只有60.8%，专门针对工具使用进行微调的模型表现更差。

为了应对这些挑战，研究者们正在探索各种方法，包括改进Agent架构、开发更好的训练方法、提升模型的工具使用能力等。例如，为了帮助Agent更好地理解和适应不同环境，一种可能的解决方案是创建专门用于理解和适配环境的小模型，作为大模型的"小脑"。

评估AI Agent的方法

我们了解了AI Agent的现状，可怎样知道它是否在进步呢？如果要比较两个AI Agent，有没有一些可行的方法呢？答案是肯定的。尽管AI Agent是很新的技术，我们至少可以从主观和客观两个视角去评价它。业界一般采纳以下几种方法，每种方法都有其特定的优势和适用情况，综合这些方法可以更全面地掌握AI Agent的表现。当缺乏数据和人为标注时，我们不得不依赖个人的专业判断。这涉及到让领域专家对AI的答复进行打分，或者通过图灵测试来评估AI的回答与人类回答的区别。这类评价方式因为需要人工参与，成本较高，主要在早期阶段使用。而在数据充足的情况下，我们可以根据端到端的任务完成情况来评价AI Agent的效能。例如，在文档理解领域，可以考察OCR的识别精度等关键性能指标。这种方法关注于任务完成的具体情况，突出AI Agent在特定应用领域的表现。如果考虑更加通用的方法，我们可以使用标准数据集，例如ALFWorld、HotPotQA和HumanEval等，用于衡量AI Agent在决策制定、问题解答和编程等不同方面的表现。此方法注重AI Agent的整体表现，方便横向比较。另外，我们也可以使用跨领域的综合测试数据集，如清华大学推出的AgentBench等。这些数据集覆盖多个领域，对AI Agent进行全方位评价，增加了评价的广泛性。由于AI Agent本身是一个系统，它的表现不只取决于底层大模型，我们还需要从工程技术和系统的角度去评价它。工程技术方面，我们可以评价系统的稳定性，例如平均故障率、与基础API的交互频率等。这种方式着眼于AI Agent的技术实现，有助于评估系统的可靠性和效率。而从整个系统的角度考虑，我们可以引入性能指标，包括整体运行的效率、响应时间和成本等。这可以通过比较不同AI Agent在完成同一任务时所需的迭代和交互次数，以及总体耗时来实现。

AI Agent尽管依赖于大模型，但说到底还是一门工程技术，而任何的工程都离不开实践。怎样把提示词工程、大模型微调，包括LangChain这样的框架结合起来构建Agent应用。

未来趋势与展望

AI Agent作为AI领域的一个重要方向，正在快速发展，同时也带来了新的技术挑战。但近期多模态大模型的进步为我们提供了一个方向：假设我们拥有一个集成的多模态大模型，AI Agent在处理内部多模态任务时的难度将急剧降低，这将导致它所需的交互更少，同时错误发生的几率也会大幅降低。这种原生模型能够直接识别图像，无需额外的模型来将图像转换为文本，然后再进行解读。从经济的角度考虑，集成的多模态模型可以将管理多个模型的复杂性和成本，转化为管理单一模型的较低成本，显著减轻运营负担。

未来的Agent技术发展可能会朝着更通用、更智能、更高效的方向迈进。我们也可以期待当AI Agent作为一个群体表现出智能的时刻，那可能是我们迈向通用人工智能的重要一步。