个性化记忆需要世界模型来协助构建

为什么 Tool Use 很重要？

2024下半年的展望

GenAI应用的爆炸式增长显而易见，应用范围涵盖生产力、开发、云基础设施管理、媒体内容消费，甚至医疗保健收入周期管理等。这种爆炸性增长得以实现，得益于过去24个月快速改进的模型和底层平台基础设施，这些基础设施简化了托管、微调、数据加载和内存，并使构建应用变得更加容易。因此，许多创始人和投资者的目光都转向了软件栈的顶端，我们终于可以开始将最先进的技术用于终端用户。

但生成式AI开发的迅猛速度意味着很少有假设能够长期成立。应用程序现在正以一种新的方式构建，这将对底层基础设施提出新的要求。这些开发者正在一座只完成了一半的大桥上加速前进。如果我们的行业不能在软件栈的更低层次上，用一套新的AI智能体基础设施组件来支持他们，他们的应用程序就无法发挥全部潜力。

智能体的崛起

一个关键的变化是AI智能体的崛起：它们是能够规划和执行多步骤任务的自主参与者。如今，AI智能体——而不是直接面向底层模型的Prompt——正在成为终端用户常见的接口，甚至成为开发者构建的核心。这进一步加快了新应用程序的构建速度，并在平台层创造了一系列新的机会。

从2022年的MRKL项目以及2023年的ReAct、BabyAGI和AutoGPT等开始，开发者们开始发现，提示和响应的链条（chains of prompt and response）可以将大型任务分解为更小的任务（规划）并自主执行。LangChain、LlamaIndex、Semantic Kernel、Griptape等框架表明，智能体可以通过代码与API交互，而Toolformer和Gorilla等研究论文显示，底层模型可以学会有效使用API。微软、斯坦福和腾讯的研究表明，AI智能体协同工作比单独工作效果更好。

如今，“智能体”这个词对不同的人有不同的含义。如果你和足够多的从业者交谈，会发现一系列可以被称为智能体的概念。BabyAGI的创造者中岛洋平（Yohei Nakajima）有一种很好的看待这个问题的方式：

1. 定制化的智能体：由提示词和API调用组成的链条，具有一定的自主性，但在狭窄的约束内操作。

2. 专业智能体：在任务类型和工具的子集中动态决定要做什么。受到限制，但不如手工设计的智能体那么受限。

3. 通用智能体：智能体AGI（通用人工智能）——仍然处于地平线之上，与今天的实际应用相去甚远。

我们最先进的前沿模型（如GPT-4o、Gemini 1.5 Pro、Claude 3 Opus等）在推理上的局限性是制约我们构建、部署和依赖更高级智能体（专业和通用）的关键限制。智能体使用前沿模型来规划、确定优先级和自我验证，即将大型任务分解为小型任务并确保输出正确。因此，适度的推理水平意味着智能体也受到限制。随着时间的推移，具有更高级推理能力的新前沿模型（如GPT-5、Gemini 2等）将使智能体变得更加先进。

应用智能体

如今，开发人员表示，表现最佳的智能体都是高度定制的。开发人员正在研究在当前状态下哪些用例在适当的约束下有效，从而将这些技术应用于他们的工作中。尽管存在局限性，但智能体仍在激增。最终用户有时会意识到它们的存在，例如在Slack上的编码智能体。智能体也会越来越多地被埋没在其他UX抽象层之下，如搜索框、电子表格或画布。

以Matrices为例，这是一家成立于2024年的电子表格应用程序公司。Matrices构建的电子表格能够代表用户自动完成工作，例如，通过根据行和列标题，推断用户想要在A1:J100单元格中输入什么信息，然后搜索网络并解析网页以找到每条数据。Matrices的核心电子表格UX与Excel（1985年推出）甚至Visicalc（1979年推出）并没有太大区别。但是，Matrices的开发人员可以利用1000多个智能体来进行每一行、每一列甚至每一个单元格的独立多步骤推理。

再以Gradial为例，这是一家成立于2023年的营销自动化公司。Gradial让数字营销团队能够自动化他们的内容供应链，帮助创建资产变体，执行内容更新，并在各个渠道之间创建/迁移页面。Gradial提供了一个聊天界面，但也可以通过响应JIRA或Workfront等跟踪系统中的工单来满足市场营销人员现有的工作流程的需求。市场营销人员不需要将高级任务分解为单个动作。相反，Gradial智能体完成了这些工作，并代表市场营销人员在后台完成任务。

当然，今天的智能体还有很多局限性。它们经常出错。它们需要被管理。运行太多智能体会对带宽、成本、延迟和用户体验产生影响。开发人员仍在学习如何有效地使用它们。但读者们应该注意到，这些局限性反映了人们对基础模型的抱怨，这是正确的。验证、投票和模型集成等技术为AI智能体加强了近期GenAI整体所展示的内容：开发人员正指望科学和工程的快速改进，并着眼于未来状态进行构建。他们正在我上面提到的这座“半成品桥”上加速前进，假设它将迅速完工。

为智能体厂商提供基础设施支持

所有这些都意味着我们的行业需要努力构建支持AI智能体及其依赖的应用程序的基础设施。

今天，许多智能体几乎完全垂直集成，没有太多托管基础设施。这意味着：智能体自管理的云主机、用于内存和状态的数据库、从外部来源获取上下文的连接器，以及使用外部API的所谓函数调用、工具使用或工具调用。一些开发人员使用像LangChain这样的软件框架（尤其是其评估产品Langsmith）将东西拼接在一起。这种堆栈在今天效果最好，因为开发人员迭代速度很快，而且他们觉得自己需要端到端控制他们的产品。

但随着用例的巩固和设计模式的改进，未来几个月的情况将发生变化。我们仍然处于定制智能体和专业智能体的时代。因此，短期内最有用的基础设施将是那些能够满足开发人员需求，并让他们构建自己控制的定制智能体网络的工具。这种基础设施也可以具有前瞻性。随着时间的推移，推理能力将逐渐改善，前沿模型将引导更多的工作流程，开发人员将希望专注于产品和数据——这些使他们与众不同的东西。他们希望底层平台能够“无缝运行”，具备可扩展性、性能和可靠性。

确实，当你这样看待问题时，你会发现已经有一个丰富的生态系统开始形成，提供AI智能体基础设施。以下是其中的一些关键主题：

特定的智能体开发工具

像Flowplay、Wordware和Rift这样的工具本身支持常见的设计模式（投票、集成、验证、“团队”），这将帮助更多开发者理解这些模式，并将它们用于构建智能体。一个有用且具有指导性的开发工具，可能是解锁下一波基于这种强大智能体技术的应用程序的最重要基础设施之一。

智能体即服务

为特定任务而定制的智能体开始充当基础设施，开发人员可以选择购买而不是构建。此类智能体提供自定功能，如 UI 自动化（Tinyfish,Reworkd,Firecrawl,Superagent,Induced和Browse.ai）、工具选择（NPI,Imprompt）以及提示词创建和工程。一些最终客户可能会直接应用这些智能体，但开发者也会通过 API 访问这些智能体并将它们组装成更广泛的应用程序。

浏览器基础设施

阅读网页并对其采取行动是一个关键优先事项。开发者通过让智能体与API、SaaS应用程序和网页互动，使他们的智能体更加丰富。API接口相对简单，但网站和 SaaS 应用程序的访问、导航、解析和抓取却很复杂。这样做使得可以使用任何网页或 Web 应用程序，就像使用 API 以结构化形式访问其信息和功能一样。这需要管理连接、智能体和验证码。Browserbase 、Browserless、Apify、Bright Data、Platform.sh和Cloudflare Browser Rendering都是在此领域拥有产品的公司的例子。

个性化记忆

当智能体在多个模型之间分配任务时，提供共享内存并确保每个模型都能访问相关的历史数据和上下文变得重要。向量存储如Pinecone、Weaviate和Chroma对此很有用。但是，一类新的具有补充性、指导性功能的新公司出现了，包括WhyHow和Cognee、LangChain的一个名为LangMem的功能，以及一个流行的开源项目MemGPT。这些公司展示了如何为终端用户及其当前上下文个性化智能体记忆。

智能体授权

这些智能体代表最终用户与外部系统交互，并代表智能体管理身份验证和授权。如今，开发者使用 OAuth 令牌让智能体模拟最终用户（需谨慎），在某些情况下，甚至要求用户提供 API 密钥。但用户体验和安全隐患很严重，而且并非所有网络都支持 Oauth（这就是 Plaid 存在于金融服务领域的原因）。Anon.com 、Mindware和Statics.ai是开发者大规模需要的三个例子：为智能体本身管理身份验证和授权。

“智能体的 Vercel”

使用分布式系统无缝管理、编排和扩展智能体托管。如今，智能体托管(E2b.dev、Ollama、Langserve）、持久性（Inngest、Hatchet.run、Trigger.dev、Temporal.io）和编排（DSPy、AutoGen、CrewAI,Sema4.ai、LangGraph)有一组不同的集合。一些平台（LangChain 和Griptape）为这些事物的不同组合提供托管服务。为应用程序开发人员提供具有持久性和编排功能的可扩展托管的整合服务，将意味着开发者不再需要在多个抽象层次（应用程序和智能体）上思考，而是可以专注于他们希望解决的问题。

构建人工智能智能体基础设施的

人工智能智能体基础设施的发展还处于早期阶段，今天我们看到的是一系列运营服务和开源工具，这些工具尚未商业化或整合到更广泛的服务中。而且，谁是最后的赢家还远未明朗 —— 在这个领域，最终的赢家可能今天是年轻的，或者可能尚未存在。所以，让我们开始行动吧。