基本构成和技术原理
从上面的架构中我们可以看到,AI Agent可能涉及的组件非常之多。我们无法一一列举,但可以对其中的一部分稍作探讨:感知:感知是人工智能主体从其环境中接收的感官输入。这些提供了关于代理操作的可观察环境的当前状态的信息。例如,如果人工智能代理是客户服务聊天机器人,感知可以包括:
Agent Function:智能体体系结构的核心是智能体的Function。它将代理对环境的感知映射到它应该采取的行动。换言之,代理功能允许人工智能根据收集到的信息确定应该采取什么行动。这就是代理的“智能”所在,因为它涉及推理和选择行动来实现其目标。软件Agent和AI tools具有学习元素和性能元素,这意味着当代理执行任务时,代理功能会根据代理的历史和训练数据进行改进。执行:执行器本质上是代理的“肌肉”,执行Agent功能所做的决策。这些动作可以是一系列广泛的任务,从驾驶自动驾驶汽车到在聊天机器人的屏幕上键入文本。
- 文本响应生成器:该执行器负责生成基于文本的响应并将其发送给用户。它接收聊天机器人基于文本的回复,并通过聊天界面将其发送给用户。
- 服务集成API:聊天机器人可能需要集成一个系统,如公司的CRM系统,以访问客户数据、创建支持票证或检查订单状态。这些集成涉及作为执行器的API调用,允许聊天机器人与外部系统交互,并根据需要检索或更新信息。
- 通知和提醒:通知执行器可以向用户的设备发送电子邮件通知、短信或推送通知,提醒他们即将到来的约会、订单状态更改、促销或其他相关更新。这些执行器有助于让用户了解情况并参与其中。
知识库:知识库是人工智能代理存储其关于环境的初始知识的地方。这些知识通常是预定义的或在训练期间学习的。它是代理人决策过程的基础。例如,自动驾驶汽车可能有一个包含道路规则信息的知识库,而客户服务的自动代理可以访问有关公司产品的详细信息。反馈:随着时间的推移,反馈对于人工智能代理的改进至关重要。这种反馈可以来自两个来源:评估者或环境本身。评估者可以是人类,也可以是用于评估Agent性能的另一个AI系统。或者,环境可以以由Agent的行动产生的结果的形式提供反馈。这种反馈循环使代理能够适应,从经验中学习,并在未来做出更好的决策。
需要强调的是,根据选择的不同具身方法,智能体能够以软件操作、机器人、自动驾驶汽车等多种形式表现。而并不是只有软件程序层面的Action(例如根据需要决定调用指定的插件/API)。
比如知名AI专家李飞飞团队推出的具身智能框架——VoxPoser,就是将大模型接入机器人,把复杂指令转化成具体行动规划(无需额外数据和训练),让其在模拟和现实世界的各种机器人操作任务中取得了很不错的表现:
而自动驾驶,则是迄今为止我心目中最为高级的具身智能形式了:
旨在完成指定目标的典型AI Agent基本遵循以下步骤(但步骤的顺序可能会因智能体设计的不同配置或目标而异):AI Agent的工作与其他流行的AI解决方案类似,即要求用户输入目标,然后智能体通过参与后台操作的核心语言学习模型来启动其迈向目标的旅程,以返回其第一个输出并展示其对手头任务的理解。接下来是精心制作任务清单。在既定的目标的驱动下,智能体制定一系列任务,按完成顺序排列优先级。一旦对其计划感到满意,它就会深入研究信息检索。Agent的功能就像一个实验性的计算机用户,在互联网的广阔领域中导航以收集相关信息。一些高级Agent与其他人工智能模型协作,实现图像生成、计算机视觉功能等专业任务的访问(即Function call和工具使用)。所有收集到的数据都由Agent精心管理,用于将信息传递回用户,并完善其策略以实现更优化的进度。当每项任务完成时,Agent都会积极寻求外部来源和内部思维过程的反馈,以估计其与最终目标的距离。在实现目标之前,代理会不断迭代,制定新的任务,并寻求更多的数据和反馈,以朝着目标前进。
AutoGPT是一个基于 GPT-4 的自动化生成内容的AI Agent框架,它最引人注目的地方在于其几乎可以完全独立工作(偏文本性的,例如搜集和整理行业信息、撰写市场研究报告、生成代码等),极少需要人为干预。下面,我们将通过一个简单的过程介绍来说明AutoGPT是如何接收任务、处理信息,并给出解决方案的:
- 初始化和目标设定:开始使用AutoGPT时,首先是为它设置一个标识(比如名字),并明确它需要完成的任务。这一步骤帮助AutoGPT明确目标方向,为后续的决策和任务执行奠定基础。
- 数据分析:AutoGPT从你提供的信息开始着手工作,它会深入分析这些数据,识别其中的模式和关键细节。这个过程加深了它对任务的理解,为生成解决方案的提示打下了基础。
- 生成提示:基于对数据的分析,AutoGPT能够生成用于解决任务的自生成提示。这些提示指导AutoGPT如何有效地达成目标。
- 自主信息搜集:AutoGPT不仅仅局限于开始时提供的数据,它还会主动在互联网上搜集更多信息,以丰富自己的知识库,从而提高任务处理的深度和准确度。
- 数据审查和优化:收集到的新信息会被系统仔细审查和评估,以确保所有信息的真实性和有效性。任何误导性或不准确的内容都会被排除,保证决策依据的可靠性。
- 持续学习和改进:AutoGPT注重从每个任务中学习和自我改进。通过分析执行结果和反馈,系统不断调整和优化,使其在处理后续任务时更加高效和精准。
- 输出结果:经过一系列的分析、学习和优化后,AutoGPT会提供一个综合了所有可用信息和分析的解决方案。这个输出是对任务的深入理解和全面回应。
应用场景与案例
AI Agent已经/可以在不通过的领域/场景中得到应用,例如:
- 虚拟助理:像Siri、Google Assistant和Alexa这样的虚拟助理就是比较常见的AI Agent例子(只不过它们诞生之初并不是基于LLM,但在未来一定会全面集成)。它们都能感知用户的语音,处理音频,并决定对任何特定询问的最佳回应。
- 机器人:机器人领域的AI智能体包括生产线上的工业机器人到自动驾驶汽车系统。这些智能体感知多种维度的事物,并将它们糅合在一起进行合理、快速的行动响应。
- 网络安全:用于网络安全的人工智能代理可以检测恶意软件、网络入侵和DDoS攻击。智能体能感知异常的网络流量等情况,并提醒运维人员注意。
- 游戏:游戏中的AI Agent通过为非玩家角色增加深度,让玩家在游戏世界中感觉到更大的NPC活力。
当然还有更多的其他例子,例如:提供个性化治疗计划的医疗保健Agent,在家和不在家时调整温度的智能家居监测Agent,以及跟踪天气模式和作物产量并提醒科学家变化的环境监测Agent。不过,如果结合目前学术界和产业界基于大型语言模型(LLM)开发的AI Agent应用情况,我们可以简单归纳为两种主要类型:
自主智能体:这类AI Agent专注于复杂流程的自动化。当给定一个目标后,它们可以独立地设计任务流程、执行任务,并在完成后继续生成和优先排序新任务,循环进行直到最终目标达成。这种智能体的特点是需要较高的执行准确度,因此,它们经常依赖外部工具来降低大型模型带来的不确定性,确保任务的顺利完成。智能体模拟:这类AI Agent旨在创造出更加逼真、可信的模拟智能体,它又可以细分为两个子类:一类是强调情感智能的智能体,旨在模拟人类的情感和情商;另一类是强调交互性的智能体,通常应用于多智能体环境中,能够产生超出设计者预期的场景和能力。对于这类智能体来说,大模型固有的不确定性反而可以转化为优势,增加智能体的多样性和逼真度,使其成为AI生成内容(AIGC)的重要组成部分。根据中国人民大学高瓴人工智能学院的研究团队在去年8月份的一篇论文,基于LLM的AI智能体领域产品增长情况如下:
我们可以看到有不同领域的智能体纷纷推出,其中很多都火出圈了。下面这张图片展示了更多:
腾讯前一阵子推出了AppAgent的Demo版本——一种多模态智能代理(Agent)框架,由大型语言模型提供支持,与传统的智能助手如 Siri 不同,AppAgent能够掌握和利用你手机上的任何应用程序来执行复杂的任务,通过模拟人类的点击、滑动、输入等操作与社交媒体、电子邮件、地图、购物和复杂的图像编辑工具等App交互。