AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


GPT-5 可能会颠覆一切!
发布日期:2025-01-23 08:17:07 浏览次数: 1543 来源:AI光子社
推荐语

这是一篇关于 GPT-5 的深度好文,揭示其惊人秘密。

核心内容:
1. GPT-5 可能带来的颠覆
2. 相关实验室的秘密项目
3. Open AI 不发布 GPT-5 的原因

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

传说中的GPT5可能会颠覆一切。

这条消息,最早是由Alberto Romano在一篇长篇大论的文章中详细阐述,深入探讨了GPT5目前的状态。

一些人工智能实验室,可能正在进行一些不为人知的秘密项目,而这些信息可能对你至关重要。

Alberto Romano这篇文章的核心观点就是关于GPT5,并指出它真的会改变一切。

这并非夸大其词,当我们深入了解细节后,你会发现它真的会带来颠覆性的变化。因为它意味着,未来,这些模型的发布方式将会彻底不同。

Alberto Romano在文章开头就提出了一个假设:如果我告诉你,GPT5是真实存在的,而且它已经在你看不见的地方,塑造着这个世界,你会怎么想?

这就是这篇文章,也是我们今天讨论的核心假设。

文章指出,open AI已经构建了GPT5,但他们选择将其保留在内部,因为这样做带来的投资回报率,远高于将其发布给数百万的Chat GPT用户。

而且,他们所获得的投资回报率不是金钱,而是其他的东西。这个想法很简单,但关键在于将各种线索串联起来。

这篇文章深入探讨了我为什么相信这一切都说得通。总而言之,这篇文章的核心论点是,open AI已经创造出了GPT5,而且它是一个令人惊叹的模型,真的是非常出色。

但他们决定不发布这个模型,原因将在文章中深入探讨。

提前卖个关子,这个原因相当的有!先来看看文章中提到的一个事情,那就是Anthropic cloud open 3.5的神秘消失。

在深入探讨GPT5之前,我们需要先关注一下它的“远房表亲”这个同样失踪的模型。众所周知,三大人工智能实验室open AI、Google Deepmind和Anthropic,提供了各种各样的模型,旨在覆盖价格、“颜值”和性能等不同领域的需求。

open AI提供了诸如GPT4O、GPT4、GPT4 Turbo以及O1和O1 Mini等选项;

Google DeepMind则提供了Gemini Ultra, Pro和Flash;

而Anthropic则有cloud OPUS ,Sonnet和haiku。基本上,拥有这么多不同的模型,是为了尽可能满足不同客户的需求。

有些客户优先考虑最高的性能,不在乎成本;而另一些客户则寻求价格实惠、足够好用的解决方案。现在我们回到OPUS 3.5模型的神秘消失。文章指出,2024年10月发生了一件奇怪的事情。

当时所有人都非常期待Anthropic发布cloud OPUS 3.5来回应GPT4O,然而,他们却发布了cloud Sonic 3.5的更新版本。

甚至有人开始基于3.6版本制作课程,而OPPOS 3.5却不见踪影。记住,这原本应该是一个类似GPT5级别的模型。

文章指出,这个模型不见踪影,似乎让Anthropic在与GPT4的竞争中,失去了直接的竞争对手。

但当我们仔细研究OPUS 3.5的情况时,会发现一些有趣的事情。

此前在10月份,作者在帖子中提到,有传言称Sonnet3.6,一个非常出色的模型,只是备受期待的OPUS 3.5训练失败后的一个检查点。

因为当时根据一些网页信息,很多人认为Cloud OPUS 3.5已经被取消了。

因为此前他们一直宣称Cloud OPUS 3.5即将到来,但后来却从很多网页上,删除了该模型即将发布的消息。最近,Anthropic的首席执行官接受了一次采访。

关于Cloud OPUS 3.5的所有这些信息,稍后都会与GPT5联系起来。

我们之所以讨论OPUS 3.5,是因为,它本应该是GPT5级别的竞争对手。

所以接下来我们要探讨的是,Anthropic是如何处理OPUS 3.5的,以及揭示Anthropic所做的事情,也同时揭示open AI可能采取的策略。

在采访中,Daro Amodi在谈到OPUS 3.5时表示,他没有给出确切的日期,但就他们所知,计划仍然是发布cloud OPUS 3.5。

他的回答谨慎而模棱两可,但也证实了计划仍然存在。可以看到,当时有很多彭博社的文章。

有趣的是,这些文章都谈到了open AI、Google和Anthropic,在构建更先进的人工智能方面,面临的挑战。当时,正处于从GPT4到GPT5级别模型的过渡期。

GML2令人失望,他们也认为GPT5令人失望,而OPUS 3.5虽然表现更好,但提升幅度并没有达到预期。

文章指出,彭博社在一篇文章中写道,Anthropic在训练后发现,作为GPT5竞争对手的OPUS 3.5评估中,表现优于旧版本,但提升幅度并没有达到模型规模和构件及运行成本所预期的程度。

似乎Daro避免给出具体日期的原因是,虽然OPUS3.5的训练运行并没有失败,但结果却不尽如人意。

基本上,他们想表达的是,很多人忽略了一个事实,那就是这些下一代迭代模型,比如GPT5、Gemini 2,他们虽然不错,但唯一的缺点是成本太高,性价比不高。

请记住这一点,因为这与他们没有发布这些模型的原因有关。接下来是一些内部消息或泄露的信息。

半导体专家Delan Patel在12月11日,提出了一个疯狂的理论,即Anthropic使用cloud OPUS 3.5生成合成数据,并进行奖励建模,从而显著改进了claude sonnet 3.5,同时也使用了用户数据。

这是一个非常疯狂的说法,但他来自业内一个可靠的消息来源。

此前他曾透露过一些尚未发布的信息,后来证明是真实的。

这也是许多人认为,GPT5仍然在内部良好运行的关键理论之一。Daro相信,不同的训练运行可以改善结果,因此避免给出具体日期。

彭博社证实,结果确实比现有模型更好,但不足以证明其推理成本的合理性,也就是用户使用这些模型的运行成本。

迪伦和他的团队发现了神秘的Sonnet 3.6和失踪的OPus 3.5之间的联系,后者被内部用于生成合成数据。

这意味着,他们可能拥有一个非常智能的人工智能系统,但他们可能还没有向公众发布。

可以看到,公开的版本是Sonnet3.6。接下来更疯狂。文章开始解释模型蒸馏。

他们说,更好、更小、更便宜,使用一个强大而昂贵的模型,来生成数据,从而提高一个性能稍逊的模型的能力的过程被称为蒸馏。

这是一种我们过去常用的范式。模型蒸馏对于人工智能公司来说,一直是一个相当有效的策略,并且将继续下去。

你需要记住的是,一个强大的模型,就像一位老师,可以将较弱的学生模型从小、便宜、快速但能力弱,变成小、便宜、快速且功能强大。

蒸馏将一个强大的模型,变成了一个金矿。如果运行Opus这样优秀的模型,成本太高,为什么不将它的很多能力“训练”到一个他们也很喜欢的Sonnet3.6模型中呢?

这非常有趣。当然,Anthropic选择不发布Opus,并非因为结果不佳,而是因为在内部使用它更有价值。

他们基本上使用这个人工智能,来训练下一代人工智能。Diner Patel认为,这就是开源社区如此迅速地赶上GPT4的原因。

他们基本上是从open AI的思想中,直接“窃取了黄金”。

人们本质上是将GPT4的能力,蒸馏到更小的模型中。这很有趣,因为GPT4O是一个更小的模型,速度更快,性能更好,而且非常有用。

这也是其他公司正在做的事情。他们谈到,更大更好不再是唯一的范式。

当这些顶级实验室不再强调更高的参数量,就意味着更好的性能。我们上次了解到的参数量信息是,GPT 3.5有1,750亿个参数,而有传言称,GPT4在专家混合模型中有1.8万亿个参数。

但最令人惊讶的是,他们现在推测,像GPT4O和Sonnet 3.6这样的未来模型,虽然比这个大模型小得多,但由于蒸馏技术性能更佳。

这意味着模型中的知识效率更高,模型也更智能。可以看到,文章指出,当前的模型,例如最初的GPT4O,可能比GPT4小一个数量级。

GPT4O大约有2,000亿个参数,而Sonnet3.5大约有4,000亿个参数。

尽管这个估计可能并不准确,但Anthropic训练了opus 3.5,并将该模型的知识蒸馏到Sonnet 3.6中。那么open AI做了什么呢?这就引出了GPT5的传闻。

open AI可能拥有一个非常神秘的内部模型,可能是GPT5。考虑到我们最近听到的所有消息,它可能是一个更智能的模型。

我们目前使用的这些较小的模型,它们所拥有的所有信息,很可能都是从这个秘密模型中,蒸馏而来的。

我们知道,Strawberry模型也进行了一些蒸馏操作,所以open AI对蒸馏过程非常熟悉。

这很像我们之前的O1模型和O1 previews模型,它们的效率非常高。当我们谈到表现不如预期时,这并不意味着它比你之前做的更差,只是意味着它没有达到你的预期。

想象一下,你期望在一场比赛中赢得1万美元,但你只赢了1,000美元。

虽然比你通常赢得的要多,这可能算是表现不如预期,但这并不意味着没有进步。你必须记住,对于智能而言,你获得的每一寸进步,都会解锁全新的能力。

文章指出,对于这些公司来说,推理成本非常重要,因为有太多人在使用,他们需要大量的服务器,而且这种需求每周都在持续增长,很难跟上需求。

这就是为什么他们认为,蒸馏非常有效的原因。

促使Anthropic将Sonnet 3.6蒸馏到Opus 3.5的原因,对open AI的影响更大。文章基本上指出,关于蒸馏,Ilia Saskaver最近几周也承认了这一点。

他说:“我们又回到了蒸馏的道路,我认为GPT4O和claude sonnet 3.5,都是从更大的模型中蒸馏而来的。”这是一个,他们都认为是现实存在的事情。

他们认为,我们现在达到更高水平模型的方式是,不能仅仅投入更多的数据,而需要新的创新。

而基本的事实是,蒸馏可能是实现这一目标的唯一途径。文章接着说,第一个开辟道路的人必须清理道路。

作者说:“我首先分析了Anthropic Opus 3.5的故事,因为我们掌握了更多关于它的信息,然后我通过蒸馏的概念,将它与open AI联系起来,并解释了推动Anthropic的潜在力量,也在推动open AI。” 但是现在又出现了一个新的障碍,那就是训练成本。

这不仅仅是推理的成本,还包括训练的成本。我们可能在谈论,耗资5亿美元的训练运行。使用当前的硬件进行这样的训练,是否可能呢?

答案是肯定的。但这其中最疯狂的事情是你将,无法对该模型进行推理。基本上,他们想表达的是,这些公司可能仍然在内部扩展模型,并进行疯狂的训练。

但他们能够真正为使用这些模型的客户,提供经济价值的唯一途径是,进行蒸馏。当然,这就是他们不发布完整模型的原因。

这非常有趣,因为我们知道,这些公司目前一直在努力解决推理成本的问题,因为他们需要进行大量的研究等等。

但了解幕后真正发生的事情,将会非常有趣。因为如果他们正在训练一个如此庞大的模型,他们可以用它做很多事情,但他们可能不会发布相关的研究论文。

文章还指出,花费如此巨大的推理成本,对于微软、Google或亚马逊来说也是难以承受的。

作者指出,如果open AI假设性的以尚未准备好为借口来保留GPT5,除了控制成本和防止公众强烈反对之外,他们还能实现一件事,那就是他们可以避免声明该模型是否达到了被归类为人工智能的门槛。

正如我们所知,人工智能的监管是一个非常复杂且敏感的问题。文章接近尾声,开始总结观点。

作者认为,即使以上说法都是真的,也没有怀疑论者会想到open AI可能有比外部应用更好的内部“用途”。

创建一个优秀的模型,和创建一个可以廉价的服务于3亿用户的优秀模型之间,存在巨大差异。

如果你做不到后者,你就不会去做;但是如果你不需要这样做,你也不会去做。文章指出,现在我们已经拥有了很多可以使用的简单产品,并且可以从中获得相当大的日常价值。

他们真的不再需要为我们提供最前沿的技术,仅仅因为,他们不再需要将这些技术提供给我们,他们只需要自己使用这些技术,以便开发更好的产品和技术。

这就像说,当open AI开发出自己的内部通用人工智能AGI系统时,他们只会自己使用它,以便实际进行进一步的开发。

open AI很可能在内部拥有可用的GPT5,就像Anthropic拥有Opus 3.5一样。

但极有可能的是,open AI永远不会向公众发布GPT5。现在公众衡量模型性能的标准,不再仅仅是GPT4或cloud sonnet 3.5,而是基于O1或O3。

随着测试时间的推移,新的缩放定律,使得GPT5需要跨越的门槛越来越高。他们如何才能发布一款真正超越O1和O3,以及即将推出的欧系列模型的GPT5呢?

像GPT5、GPT6这样的新型基础模型,对于open AI内部来说始终是有意义的,但不一定作为产品发布。这一部分可能已经结束了。

他们从现在开始,唯一的目标是不断为下一代模型生成更好的数据。

从现在开始,基础模型可能会在后台运行,使其他模型能够实现他们自身无法完成的壮举。

就像一位隐居者,从秘密的山洞中传授智慧一样,只是这个山洞是一个巨大的数据中心。open AI和Anthropic已经启动了通过人类参与的自我完善的运作。

他们公开发布什么并不重要,他们将越来越遥遥领先。

就像宇宙加速膨胀一样,遥远的星系再也无法到达我们。这可能就是他们如何在短短三个月内,从o1升到o3的原因,以及他们将如何从o4跳到o5的原因。

这可能就是为什么,他们在社交媒体上如此兴奋,因为通往日益强大的人工智能道路,就在你的指尖。

如果他们打算发布每一个进步供我们使用,那你肯定不会相信他们在说,他们的模型会让他们遥遥领先,以至于没有人能赶上他们。新一代新模型,都是一个逃离平流层的逃逸速度引擎。

他们已经在挥手告别了。他们基本上是在说,随着他们每次创造一个新模型,追赶open AI将变得越来越困难。

创新者来了。问题是,我们不知道他们是如何做到的。

我还没有真正看到有人反驳这种说法。不仅这个人一直在说这件事,我还在open AI的人那里,一次又一次地听到关于超级智能的疯狂言论。

open AI在他们的博客上说,他们现在正在追逐人工超级智能,而不是通用人工智能AGI,而且他们确切地知道如何实现它。

那么GPT5会比GPT4好多少呢?GPT系列会和o系列合并吗?作者表示,他仍在研究预计到来的时间和性能。

在2025年,他们实际上讨论了合并O1系列和GPT系列。总而言之,这仍然是一个非常模糊的回应,没有太多具体信息。

但考虑到他们确实创造了这些模型,他们无论如何都会制造这些模型,这绝对是有道理的。当然,我们知道他们还没有发布这些模型。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询