微信扫码
与创始人交个朋友
我要投稿
最近在reddit论坛中,有网友向Claude 提供了 OpenAI 发布的信息(包括系统信息、博客文章、GPT o1作者之一Noam Brown 等人的推文、ARC竞赛团队的测试评论)以及与 o1 模型相关的在线讨论(Reddit、YouTube 视频),最终通过逆向工程的方法推测出了OpenAI o1可能的架构流程:
https://www.reddit.com/r/LocalLLaMA/comments/1fgr244/reverse_engineering_o1_architecture_with_a_little/
下面是关于这张架构图的详细说明,主要包括四个阶段:
数据生成模块负责创建用于训练的数据,包括:
这些数据被汇集起来,形成训练数据,用于后续模型的训练阶段。
训练阶段主要由以下几个模块组成:
语言模型(Language Model),这是核心的AI模型,负责处理和理解语言数据。
RL环境(RL Environment),强化学习环境用于模型优化。
奖励函数(Reward Function),包括验证(Verification)和人类反馈(Human labeling),用来指导模型学习。
策略优化器(Policy Optimizer),包括梯度压缩、Panzar系统、探索与利用等,用于优化模型策略。在这个阶段,模型通过强化学习和高级技术进行训练,不断优化性能和效率。
训练好的模型(Trained Model),这个阶段已经是通过强化学习和高级技术优化后的模型。
多任务生成(Multi-tasking Generation),处理多个任务的能力。
最终响应(Final Response),生成最终的输出结果。
CoT生成和微调(Generated CoT and Refinement),根据链式思维生成并微调结果。
效率监控(Efficiency Monitoring):实时监控模型的性能。
4、关键注释
大规模CoT存储进入RL环境是作者自己的假设,作者认为OpenAI可能会使用从现实世界中生成的大量链式思维来进一步调整和优化RL模型。举例说明:假设你是一名研究员,想要构建一个能够进行多任务处理的AI系统。
我们可以通过参考这个o1架构按照上面三个模块进行以下工作:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-21
大模型的威力,远不只是聊天框
2024-09-21
RAG检索失败率降低49%?Anthropic-Contextual-RAG方案解析-兼看老刘的课堂三部曲
2024-09-21
Multi-Agent架构-CrewAI详解
2024-09-21
聊聊RLHF的奖励模型——上海人工智能书生大模型的RW实践
2024-09-21
文档大模型,能否真正解决非结构化数据难题
2024-09-21
全球首发:第二代 RAG 系统 auto-coder.rag 相比市面主流RAG系统 20%-60% 效果提升
2024-09-21
从 Data 到 Data + AI,必然之路还是盲目跟风?
2024-09-21
OpenAI 将 o1 AI 模型扩展到企业和教育领域,与 Anthropic 直接竞争
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2023-07-01
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21
2024-09-21