微信扫码
与创始人交个朋友
我要投稿
“o1发布后,一个新的范式产生了”。
其中关键,OpenAI研究科学家、o1核心贡献者Hyung Won Chung,刚刚就此分享了他在MIT的一次演讲。
演讲主题为“Don’t teach. Incentivize(不要教,要激励),核心观点是:
激励AI自我学习比试图教会AI每一项具体任务更重要
思维链作者Jason Wei迅速赶来打call:
Hyung Won识别新范式并完全放弃任何沉没成本的能力给我留下了深刻的印象。
2022年底,他意识到了强化学习的力量,并从那时起就一直在宣扬它。
技术人员过于关注问题解决本身,但更重要的是发现重大问题;
硬件进步呈指数级增长,软件和算法需要跟上;
当前存在一个误区,即人们正在试图让AI学会像人类一样思考;
“仅仅扩展规模” 往往在长期内更有效;
文章转载自量子位。
先简单介绍下Hyung Won Chung,从公布的o1背后人员名单来看,他属于推理研究的基础贡献者。
资料显示,他是MIT博士(方向为可再生能源和能源系统),去年2月加入OpenAI担任研究科学家。
加入OpenAI之前,他在Google Brain负责大语言模型的预训练、指令微调、推理、多语言、训练基础设施等。
在谷歌工作期间,曾以一作身份,发表了关于模型微调的论文。(思维链作者Jason Wei同为一作)
回到正题。在MIT的演讲中,他首先提到:
通往AGI唯一可行的方法是激励模型,使通用技能出现。
在他看来,AI领域正处于一次范式转变,即从传统的直接教授技能转向激励模型自我学习和发展通用技能。
理由也很直观,AGI所包含的技能太多了,无法一一学习。(主打以不变应万变)
具体咋激励呢??
他以下一个token预测为例,说明了这种弱激励结构如何通过大规模多任务学习,鼓励模型学习解决数万亿个任务的通用技能,而不是单独解决每个任务。
他观察到:
如果尝试以尽可能少的努力解决数十个任务,那么单独模式识别每个任务可能是最简单的;
如果尝试解决数万亿个任务,通过学习通用技能(例如语言、推理等)可能会更容易解决它们。
对此他打了个比方,“授人以鱼不如授人以渔”,用一种基于激励的方法来解决任务。
Teach him the taste of fish and make him hungry.(教AI尝尝鱼的味道,让他饿一下)
然后AI就会自己出去钓鱼,在此过程中,AI将学习其他技能,例如耐心、学习阅读天气、了解鱼等。
其中一些技能是通用的,可以应用于其他任务。
面对这一“循循善诱”的过程,也许有人认为还不如直接教来得快。
但在Hyung Won看来:
对于人类来说确实如此,但是对于机器来说,我们可以提供更多的计算来缩短时间。
换句话说,面对有限的时间,人类也许还要在专家 or 通才之间做选择,但对于机器来说,算力就能出奇迹。
他又举例说明,《龙珠》里有一个设定:在特殊训练场所,角色能在外界感觉只是一天的时间内获得一年的修炼效果。
对于机器来说,这个感知差值要高得多。
因此,具有更多计算能力的强大通才通常比专家更擅长特殊领域。
原因也众所周知,大型通用模型能够通过大规模的训练和学习,快速适应和掌握新的任务和领域,而不需要从头开始训练。
他还补充道,数据显示计算能力大约每5年提高10倍。
总结下来,Hyung Won认为核心在于:
此外,他还认为当前存在一个误区,即人们正在试图让AI学会像人类一样思考。
但问题是,我们并不知道自己在神经元层面是如何思考的。
机器应该有更多的自主性来选择如何学习,而不是被限制在人类理解的数学语言和结构中。
在他看来,一个系统或算法过于依赖人为设定的规则和结构,那么它可能难以适应新的、未预见的情况或数据。
造成的结果就是,面对更大规模或更复杂的问题时,其扩展能力将会受限。
回顾AI过去70年的发展,他总结道:
AI的进步与减少人为结构、增加数据和计算能力息息相关。
与此同时,面对当前人们对scaling Law的质疑,即认为仅仅扩大计算规模可能被认为不够科学或有趣。
Hyung Won的看法是:
在扩展一个系统或模型的过程中,我们需要找出那些阻碍扩展的假设或限制条件。
举个例子,在机器学习中,一个模型可能在小数据集上表现良好,但是当数据量增加时,模型的性能可能会下降,或者训练时间会变得不可接受。
这时,可能需要改进算法,优化数据处理流程,或者改变模型结构,以适应更大的数据量和更复杂的任务。
也就是说,一旦识别出瓶颈,就需要通过创新和改进来替换这些假设,以便模型或系统能够在更大的规模上有效运行。
除了上述,o1另一核心作者Noam Brown也分享了一个观点:
训练和推理对模型性能提升作用相似,但后者成本更低,便宜1000亿倍。
这意味着,在模型开发过程中,训练阶段的资源消耗非常巨大,而实际使用模型进行推理时的成本则相对较低。
有人认为这凸显了未来模型优化的潜力。
不过也有人对此持怀疑态度,认为二者压根没法拿来对比。
这是一个奇怪的比较。一个是边际成本,另一个是固定成本。这就像说实体店比其中出售的商品贵500000倍
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-23
AWS Bedrock:面向 AI 应用的端到端解决方案
2024-12-23
大模型应用系列:从MLOps到LLMOps
2024-12-22
Hugging Face 发布免费开放课程,微调本地LLMs模型
2024-12-22
我对Multi-Agent集成业务场景设计
2024-12-21
一文回顾OpenAI系列发布会:从工具到AGI,OpenAI的12天进化论
2024-12-19
强化微调技术详解:开启AI模型定制的新篇章
2024-12-18
OpenAI 年底「百亿补贴」来了,满血 o1 API 开放,成本暴跌,定制升级
2024-12-18
腾讯AI团队:用Ray分布式计算效率提升800%
2024-09-18
2024-07-11
2024-07-11
2024-07-09
2024-06-11
2024-10-20
2024-07-23
2024-07-20
2024-07-26
2024-07-12