02.

Altera vs Voyager，

Agent 的实现思路有何不同？

不少人好奇，Altera agents 和 Voyager bots 的区别和提升。简而言之，Altera 能够用更低的成本、更少的 LLM 依赖实现游戏中的复杂高阶的目标。创始人 Robert 号称 Altera 对比 Voyager 能够节约 10-20 倍的成本、可以通过更便宜的大模型（GPT-3.5）来完成任务、并实现了 agents 的完全自治。

各 agents 在 Minecraft 中的表现对比，来源 Robert twitter

Voyager 实现解析

Voyager 通过三个关键组件来满足 agents 达到人类玩家水平需要的三个能力：

1. 最大探索的自动课程表来实现 agents 能够以自主驱动的方式持续探索世界，并寻找新任务；

2. 可以存储和检索复杂行为、可增长的技能库实现 agents 根据环境调整技能并迁移的能力；

3. 通过迭代提示机制来满足 agents 能够根据当前技能水平和世界状态提出合适任务的能力。

Voyager 原理架构图

Voyager 实现了无需人工干预，能够在 Minecraft 以连续方式探索世界、获得多样技能并进行发现的 LLM-driven agents。Voyager 在 Minecraft 中能够持续发现新物品、解决技能树、穿越多样的地形并将其学习的技能库应用于未见过的任务。但 Voyager 的三个关键组件均对高成本模型 GPT-4 有较深的依赖，尤其是依赖 GPT-4 的代码生成能力。

尽管引入迭代提示机制，但仍存在无法生成正确技能的不确定性。另外大模型的幻觉会导致在自动课程提出无法实现的任务，代码生成过程中偶尔会调用 API 不存在的函数导致代码执行错误。

Altera 实现解析

在 创始人 Robert 实验室的研究论文（Lyfe agents）中，我们可以窥见 Altera 的实现原理，研究通过采用层级选择-行动框架、不断总结和遗忘的记忆机制尽量减少对于 LLM 的召回，能够较低成本的情况下实现 agents 目标一致性并具有行为自发性和一定的社会性。

研究中展示，通过一个高层次的总控、三个组件架构实现 agents 目标导向来获取、传递、推理信息的能力，类人的情绪和反思决策能力。

Lyfe agents 原理架构图

a. 整体架构中输入由感觉模块处理，并输出给 agent 内部状态并指导行动；agent 内部状态通过外部输入和内部循环处理持续更新，并与记忆系统联动。

b. Lyfe agents 采取类似大脑前叶层次化的方式决策行动，高层次的认知控制器接受信息，通过 LLM 输出一个行动选项和一个子目标指导下一层行动。

c. 自我监控模块，不断整合旧的总结和 agent 状态，针对新颖的、目标相关信息进行总结。在提高 agent 的目标遵循和行为一致性基础上，减少了信息处理的计算成本。该模块保持与行为模块异步执行，允许 agents 深思熟虑不影响及时的行动。

d. 记忆的关键不仅在于存储和检索，更重要的是识别到对有价值的信息、有选择性的决定信息的去留。Summarize-and-Forget 记忆机制，通过 Embedding 不断对信息进行聚合、评估和筛选，仅保留关键信息。

Lyfe agents 自主社交代理

实验在三个模拟的社会场景（谋杀、社团、病患紧急事件）中展现如上能力并完成最终目标：

在谋杀场景中 agent 在包含人类、其他 agents 的多角色交互中收集信息并推理出最终凶手；在社团选择场景下，agent 的选择倾向会受到社交关系中其他 agents 的偏好、决策影响。

值得一提的是，模拟的场景均为 3D 环境，允许 agents 实体化、具身化；agents 具有人类的邻近响应特性允许群聊场景发生；每个 agent 具有自己独特的个性和背景并在过程中不断积累形成自己独特的记忆。

目前 Altera 处于内测阶段（申请入口见前文），正与 750 名 Minecraft 的玩家测试中，预期在夏末正式发布。

不过，Minecraft 对于 Altera 来说只是一个起点，他们计划将模型引入更多游戏和虚拟体验中。他们正在积极开发 APIs 和 SDKs 为未来更大范围的使用打下基础。至于为什么选择游戏作为出发点，创始人说到“我们在游戏领域看到了构建 agents 的巨大潜力，这里有热切的用户，我们可以采集更多数据、更快地迭代产品，并且在游戏里，这些即兴的行为更是一个特性而不是 bug”。

- Generative agents 

模拟类游戏在上个世纪 90 年代开始兴起，生成式 AI 地使用让 agents 更加鲜活，以即兴的社会行为大幅度推进模拟游戏的发展。在 Voyager 和 Altera 之前，微软更早开始尝试在 Minecraft 游戏中引入 agents。在斯坦福和谷歌的最新研究中，利用 LLM 创建具备深度交互能力的游戏代理，这些代理不仅增强了游戏的沉浸感和趣味性，甚至有机会提供就像《楚门的世界》那样非预设剧本的观赏性，并打开 AI 陪伴的新纪元。

Generative Agents: Interactive Simulacra of Human Behavior

- 个性化

角色扮演游戏旨在提供独特的游戏体验，从“龙与地下城”到“原神”，游戏通常允许玩家选择角色外观、性别和职业。

当今 LLM 和 Midjourney 让玩家能够创建高度个性化的角色，如 Spellbrush 的“箭术师”允许玩家定制人物风格和战斗技能。此外，AI 的加入使 NPC 可以根据玩家历史行为动态生成对话和故事，大幅增强了游戏的沉浸感和重玩价值。

AI 叙事和栩栩如生的游戏场景共同塑造沉浸式体验。科幻小说《安德的游戏》中描述的心灵游戏能根据玩家兴趣实时变化，展示了生成式 AI 在游戏中创造独特世界的潜力。

未来，游戏可能通过 AI 在运行时实时生成每个场景，如同NVIDIA 的 DLSS 技术已能实时生成高分辨率游戏帧，朝着动态生成世界的方向迈进，但成功的游戏体验还需结合个性化和故事叙述。

- 音效

Suno.AI

- Copilots

Fortnite