微信扫码
与创始人交个朋友
我要投稿
o1模型发布后,有人花50美元重现了可能价值百万美元的实验结果。
OpenAI最近发布了o1模型家族,并公布了一张展示测试时计算量缩放规律的图表。这张图表引发了研究人员的极大兴趣,因为它揭示了模型性能如何随测试时计算量的增加而提升。
然而,不知是有意还是刻意还是无意,OpenAI并没有标注x轴!
这留下了一个巨大的悬念。
就像给了大家一张藏宝图,却不告诉你起点在哪里。
此时,主打一个不服 Hugh Zhang 跳了出来,他决定接受这个挑战!
并且他最终只用了公开的o1-mini API,就尝试重现出了这个图表。
左边是OpenAI的原图,右边是Hugh的复刻版。
算得上惊人的相似,对吧?
但是,怎么做到的呢?这就要说到token控制的艺术了。
Hugh发现,o1-mini API并不允许直接控制测试时使用的token数量。但他想出了一个巧妙的方法:告诉模型你希望它思考多长时间。
这张图展示了请求的token数量与实际使用的token数量之间的关系。有趣的是,在2^4到2^11的范围内,模型似乎能较好地"听话"。
而其他的请求token 数量下,o1 就不搭理他了。
但是,Hugh还发现了一个有趣的现象:
在这个范围内,o1-mini实际使用的token数量总是比请求的多约8倍!这就像你点了一份饭,餐厅总是给你上8份。
可能是新融资让OpenAI 太有钱了吧!
但是,仅靠这种方法,Hugh最多只能让模型使用到2^14(约16K)个token。为了进一步扩展,他借鉴了自一致性论文中的方法:多次采样,然后进行多数投票。
这个方法确实带来了一些初步的收益,但很快就遇到了瓶颈。
在这个过程中,Hugh发现了一件令人兴奋的事:重现这个图表的成本出奇地低。
对于最大规模的推理运行,每个问题使用2^17个token,乘以30个2024年AIME问题,总共约400万个token。按照每100万输出token 12美元的价格,最大规模的运行只花费了约50美元!
就这样,原本可能需要耗费数百万美元的实验,现在只需要50美元就能重现关键结果。
然而,Hugh的实验也揭示了一些局限性:
如图所示,自一致性方法似乎在达到约70%的准确率后就停止了增长,这与OpenAI原图的结果非常接近。
这个结果与过去的研究一致,表明多数投票法在某个点会达到饱和。这意味着,如果我们想要进一步提升模型性能,可能需要探索其他方法。
Hugh推测,强制模型在token空间中思考更长时间可能比重复采样和多数投票更有效。
考虑到重现实验的低成本,这可能是一个值得进一步探索的方向。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-25
Cursor小白必看:听说你还在安装配置环境?学会这个让你告别环境烦恼!
2024-12-25
微软变脸OpenAI,模型价值之争压不住了?
2024-12-25
GPT-5 研发一年半进度堪忧!每轮 5 亿美金训练成本打水漂,还得雇人从头“造数据”
2024-12-25
基于昇腾910B,使用XTuner微调一个InternLM个人小助手丨玩转书生大模型
2024-12-25
BERT新版本:ModernBERT -- Smarter, Better, Faster, Longer
2024-12-25
Cursor 0.44 重磅更新:全面提升 Agent 能力
2024-12-24
LLM微调系列:一篇超全的Lora综述,7大秘籍
2024-12-24
大模型时代的软件工程教育,路在何方?
2024-09-18
2024-07-11
2024-07-11
2024-07-09
2024-06-11
2024-10-20
2024-07-23
2024-07-26
2024-07-20
2024-07-12