OpenAI揭秘，端到端训练是AI Agent的未来！

嘿，大家好！这里是一个专注于前沿AI和智能体的频道~

最近，OpenAI的DeepResearch产品还是非常受欢迎的，而且从群友们反馈，效果也是别的Deep Research产品不能比的。 （另外预告一下，下周会给家人们分享一个0基础，0成本构建类deep research产品；后续还会分享如何用R1的GRPO微调Agent实战。 最近在玩这块，获得了一些蛮不错的结果~）

回到今天的内容，今天推文分享的是，OpenAI Deep Research团队产品负责人Isa Fulford和Josh Tobin的最新播客采访，能接受英文播客的同学们，可以去网络上搜索 《OpenAI’s Deep Research Team on Why End-to-End Training is the Future of AI Agents》。

接下来是播客的笔记解读：

Deep Research：不只是另一个搜索工具

给不熟悉这块的同学介绍一下背景，Deep Research是OpenAI继Operator之后推出的第二款Agent产品。与普通的ChatGPT不同，它能够搜索网站，使用代码工具，创建全面的研究报告，快速完成需要人花费数小时才能完成的任务。

Josh Tobin在采访中表示："Deep Research不仅仅是为了节省时间，而是让那些原本需要花费数小时甚至数天的任务变得可行，让用户能够在几分钟内获得他们所需的90%的信息。"

端到端训练：AI Agent的未来方向

Deep Research最核心的突破是端到端的训练方法。传统的Agent构建方式通常是构建一个操作图表，其中一些节点是语言模型，但整体逻辑由人类定义，也就是workflow（工作流）。而Deep Research采用了完全不同的方法。

Josh Tobin表示："在这个领域，人们反复学到的一课是，我们认为自己能通过手写代码做得比模型更聪明，但实际上，随着领域的发展，模型往往能提出比人类更好的解决方案。"

到这里，感觉R1的训练方式是不是就突然涌入脑海了？

还是简单说下，传统工作流构建的局限性，常见的分为2大类，独立优化、难以应对复杂场景。

• 各组件独立优化，缺乏端到端协同
• 无法直接针对最终目标进行优化
• 人工定义的逻辑限制了模型潜力
• 人类很难预测所有可能的情况
• 无法灵活应对意外情况
• 决策节点的模型未经专门训练

看完这几点，这似乎跟新能源厂商在吹的端到端智能驾驶一个样子~

Deep Research的技术原理

Deep Research由OpenAI的最先进推理模型o3微调而来，专门针对困难的浏览任务进行了训练。

技术核心：

1. 高质量训练数据

• 团队投入大量精力构建高质量数据集
• 数据质量是决定模型最终表现的关键因素

• 直接针对最终任务进行优化
• 模型能够学习灵活的研究策略
• 能够根据实时网络内容反馈调整策略

• 浏览网络工具和Python工具无缝集成
• 模型通过训练学会了如何有效使用这些工具

Isa Fulford解释说："Deep Research的特别之处在于，通过端到端训练之后，模型能够学习到许多在研究过程中无法预先预测的行为。我不认为仅靠编写语言模型程序或脚本能达到这种灵活性。"

令人惊讶的使用案例

Deep Research的应用范围远超团队最初的预期。除了预期中的商业研究和学术探索外，twitter上用户还发了很多的创新用途：

1. 医疗应用

• 医生用它查找特定疾病的最新文献
• 帮助患者寻找临床试验
• 整合罕见病例的信息

• 查找最新的软件包文档
• 解决复杂的代码问题
• 整合多个代码库的信息

• 创建个性化学习材料
• 深入研究特定主题
• 整合多个来源的知识

• 比较产品的详细信息和评价
• 查找难以获取的产品信息
• 规划复杂的旅行行程

Isa Fulford分享了一个案例："我一个朋友的父亲有一个非常具体的问题，关于某个奥地利将军在某次战役中的情况。ChatGPT之前回答错了，他去公共图书馆查证后发现确实错了。而Deep Research能够正确回答这个问题，这让他非常兴奋。"

Sam Altman的态度

奥特曼对Deep Research的前景非常乐观，他认为这款产品将"占据知识任务的显著份额"。也表明OpenAI对Agent技术的长期愿景。

Josh Tobin解释："Deep Research不是要取代你的工作，而是让你能够节省大量时间。对于那些需要花费大量时间查找信息并得出结论的知识工作者来说，它将带来超能力。"

强化学习：Agent技术的回归

播客中，Josh Tobin还谈到了强化学习在Agent开发中的重要性。他表示："强化学习正在回归。现在我们有了在海量数据上预训练的语言模型，知道如何通过监督微调使它们擅长指令遵循。现在这些都运行良好，是时候通过强化学习针对特定用例进行调优了。"

这一观点同Yann LeCun的"蛋糕类比"一致：无监督学习是蛋糕本身，监督学习是糖霜，而强化学习是顶部的樱桃。Josh认为，过去我们试图在没有蛋糕的情况下添加樱桃，而现在基础已经具备，强化学习将发挥关键作用。

OpenAI的Agent路线图

Deep Research只是OpenAI Agent战略的一部分。团队透露，未来的发展方向包括：

1. 扩展数据源

• 除了公共信息外，还将支持搜索私有数据
• 增强浏览和分析能力

• 未来的Agent将整合多种能力
• Deep Research和Operator只是开始

Josh Tobin表示："我们的配方是，你拿一个最先进的推理模型，给它访问人类用来完成工作的相同工具的权限，然后直接针对你希望Agent能够完成的结果进行优化。这个配方没有什么能阻止它扩展到更复杂的任务。"

最后

从OpenAI Deep Research的成功可以看出，端到端训练正在成为构建高性能AI Agent的关键方法。这不仅是技术路线的选择，更是对AI发展方向的重要指引。

Josh Tobin提到："机器学习的第一课是，你得到的是你优化的结果。如果你能够设置系统，直接针对你想要的结果进行优化，结果将比拼凑未经端到端优化的模型好得多。"

好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，别忘了点赞、关注噢~