微信扫码
与创始人交个朋友
我要投稿
OpenAI会在12月发布“GPT-5”,来保持自己的遥遥领先吗?
//
今天The Verge报道,OpenAI 计划于 12 月推出其下一个前沿模型 Orion 。
与 OpenAI 的最后两个模型GPT-4o和o1不同,Orion 最初不会通过 ChatGPT 广泛发布。据一位熟悉该计划的消息人士称,OpenAI 计划首先向与其密切合作的公司授予访问权限,以便他们构建自己的产品和功能。
另一位消息人士告诉The Verge,微软内部的工程师正准备最早于 11 月在 Azure 上托管 Orion。虽然 OpenAI 内部将 Orion 视为 GPT-4 的继任者,但目前尚不清楚该公司是否会在外部将其称为 GPT-5。与往常一样,发布计划可能会发生变化,并可能推迟。OpenAI 和微软拒绝就此事发表评论。
关于 Orion 或者 GPT-5 的更多信息,按照时间线整理如下:
1
2024 年 5 月,在法国举办的 VivaTech 大会上,OpenAI 开发者体验主管 Romain Huet 公开展示了 ChatGPT Voice 的功能,也就是当时刚发布的 GPT-4o 的语音模式。
其 PPT上 显示,2024 年 OpenAI 会发布一个名为“ GPT-Next ”的模型。
2
8 月,The Information 报道称,OpenAI 正在使用代号为 Strawberry 的 o1提供合成数据来训练 Orion。
9 月 3 日,OpenAI 日本负责人 Tadao Nagasaki 在“ KDDI SUMMIT 2024 ”大会上公布了“ GPT Next ”计划,承诺 GPT Next 的性能会实现数量级飞跃。
Nagasaki 表示,GPT Next 模型的目标是比 GPT-4 增加 100 倍的计算量,但使用的算力资源差不多,架构与效率有所改进。
Nagasaki 还提到了 Orion,它在一万张 H100 GPU 上进行训练,计算规模又增加了 10 倍。
3
9 月 13 日,OpenAI 发布 o1 模型。
现在来看,o1 模型 ≠ GPT Next。本周李开复在极客公园的直播活动里讲了一个八卦,OpenAI 在训练 GPT-5 时不太顺利,因为 10 万张集群很难搞定(注意 Nagasaki 说的是 1 万张)。出于融资目的,OpenAI 只好把 o1 模型发布。事实也是 OpenAI 在发布 o1 后不久就进行新的融资,估值高达 1500 亿美元。
GPT-5 到底在多大的集群中训练?今年 5 月,微软 CTO Kevin Scott 在 Build 大会上的演讲时提到,他们把 2020 年为 OpenAI 训练 GPT-3 而建造的硬件称作“鲨鱼”,把 2022 年为 GPT-4 建造的硬件称作“虎鲸”。为了训练下一代模型,其部署的系统在规模上与“鲸鱼”差不多大。
2022年,微软建设的超级计算机集群包含超过 285000 个处理器核心和 10000 个显卡,是世界上最大的超级计算机集群之一。OpenAI在此集群上训练了GPT-4。
如果结合 OpenAI 日本负责人 Tadao Nagasaki 的发言,GPT-Next 与GPT-4 的训练集群规模是一样的,也就是 1 万张卡。
但显然微软正在建设更大规模,也就是 10 万卡集群的超级计算机。在微软 CTO Kevin Scott 的另一张 PPT 里能看到,“鲸鱼”很有可能是用来训练2025年的模型。
4
9 月 14 日,o1 模型发布的第二天,谜语人 Sam Altman 上线,他发布一篇帖子,称:
“我喜欢呆在中西部的家里。
夜空真美丽。
很高兴冬季星座很快就要升起了;它们太棒了。
大家认为冬季的星座值得就是猎户座(Orion)。”
Sam Altman 每次在模型发布之前都会化身谜语人。他曾在今年 8 月发布草莓相关的帖子,就是在暗示后来的 o1 模型。
Orion 很有可能会在 ChatGPT 发布的两周年发布,也就是 11 月 30 日左右。
5
Sam Altman 今天在 The Verge 记者的 X 账号下留言,说这是一条假新闻。
不论真假,等待OpenAI的进一步动作。
END.
延伸阅读
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-08-13
2024-04-26
2024-08-21
2024-07-09
2024-06-13
2024-08-04
2024-04-11
2024-07-18
2024-07-01