粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
OpenAI 首席科学家@hwchung27 在MIT演讲中揭示 o1模型训练核心秘密：通过激励模型学习是培养 AGI 系统通用技能的最佳方式。
以下为详情：
Don’t teach. Incentivize.
Non-goal: share specific technical knowledge and experimental results
Goal: share how I think with AI being a running example
Closing
Compute cost is decreasing exponentially
AI researchers should harness this by designing scalable methods
Current generation of LLMs rely on next-token prediction, which can be thought of as weak incentive structure to learn general skills such as reasoning
More generally, we should incentivize models instead of directly teaching specific skills
Emergent abilities necessitate having the right perspective such as unlearning
结束语
计算成本正在呈指数级下降
人工智能研究人员应该通过设计可扩展的方法来利用这一点
当前一代的 LLM 依赖于下一个标记预测，这可以被认为是学习推理等一般技能的弱激励结构
更一般地说，我们应该激励模型，而不是直接教授特定技能
新兴能力需要有正确的观点，例如忘记
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-10-05
大模型开发的全景解析：如何找到最适合你的平台？
2024-10-05
推荐系统-重排序-阿里SRGA
2024-10-05
GPTs、扣子、Dify：为什么这些平台无法替代大模型开发技能？
2024-10-05
ChatGPT从今天开始，Plus 和Team 用户可以通过在模型选择器中选择“GPT-4o with canvas”
2024-10-03
OpenAI革新性功能："Prompt Caching"—— 提速降本的双赢之选
2024-10-02
OpenAI开发者日：实时API、模型蒸馏、视觉微调重磅发布！
2024-10-02
OpenAI DevDay公布五项重大创新，AI实时语音的时代来了！成本比GPT-3降低近1000倍！
2024-09-30
Word Embedding揭秘：如何用词嵌入提升NLP模型表现
2024-07-11
2024-07-09
2024-07-11
2024-06-11
2024-09-18
2024-07-23
2024-07-09
2024-07-20
2024-07-12
2024-07-11
回到顶部