最近读了一篇讲人工智能的文章，题目是《Situational Awareness》，作者 Leopold Aschenbrenne，曾经在 OpenAI 的「超级对齐团队」工作。

讲的是什么呢？

他说，世人很快会觉醒。但现在，可能只有几百个人，看得清现状。

Before long, the world will wake up. But right now, there are perhaps a few hundred people, most of them in San Francisco and the AI labs, that have situational awareness.

他还说，旧金山的大佬们正在创造魔鬼，而且指望能掌控这个魔鬼。

Like many scientists before us, the great minds of San Francisco hope that they can control the destiny of the demon they are birthing.

他还说，他能看见，怎么造魔鬼，也就是 AGI（通用人工智能）。

I can see it. I can see how AGI will be built.

那么，他到底看到了什么，为什么说 AGI 是魔鬼。

从 GPT2 到 GPT4

GPT 是一个对话程序，由 OpenAI 开发。从2019年到2024年，开发了三个版本，分别是 GPT-2，GPT-3，GPT-4。

把 GPT 的智力跟人做对比。他说，GPT-2 是幼儿园水平，GPT-3 是小学生水平，GPT-4 是聪明的高中生。总之，越来越聪明。

那么，GPT 是怎么变聪明的？

他说有三个要素：一是芯片的算力（Compute）；二是算法的效率（Algorithmic Efficiency）；三是工程化（Unhobbling），比如 RLHF、CoT、Scafolding 等技术（篇幅有限，不做介绍）。

这三要素的提升，让 GPT 变得聪明。如下图所示，从 GPT-2 到 GPT-4，算力和算法共提升了4.5~6个数量级（OOM）。

说明：OOM 代表数量级，1个 OOM 是10倍，2个 OOM 是100倍，以此类推。

接下来，这三个要素，还能翻几倍？GPT 会进化成什么样子？

GPT-4 之后

他做了个预测。从2023年到2027年，算力和算法合在一起，很有可能提升5个OOM，即10万倍。

怎么来的呢？外推（Extrapolate）。即，用2019-2023年的进展，来推测2023-2027年的进展。

这样的预测，因为样本太少，误差可能很大。下图就是讽刺外推的预测逻辑。

当然，作者也知道。他做了进一步的分析。

如果要提升5个OOM，需要多少算力，需要多少电。他算了一笔账。数据和算法，有哪些挑战，能否解决。我没验证细节，反正证据不少。结论就是，5个OOM有挑战，但问题不大。

那么，这意味着什么？

他说，GPT 的智力，可以吊打博士，可以吊打专家。

Likely, it will take us to models that can outperform PhDs and the best experts in a field.

他说，2027年将实现通用人工智能。几乎所有的「认知工作」都会被人工智能系统取代。

We are on course for AGI by 2027. These AI systems will basically be able to automate basically all cognitive jobs.

通用人工智能来了，他反而害怕了。那他怕什么呢，是怕丢饭碗么。

他说，让他睡不着觉的，是智能爆炸。

What really keeps me up at night is the intelligence explosion.

一切会变得飞快，世界会变得疯狂。

Everything will just start happening incredibly fast. And the world will start going insane.

智能爆炸的超级智能初期，将是人类历史上最动荡、紧张、危险和疯狂的时期之一。

The intelligence explosion and the immediate post-superintelligence period will be one of the most volatile, tense, dangerous, and wildest periods ever in human history.

接下来，我们看一看，什么是智能爆炸。

智能爆炸

有了通用人工智能，故事可能会这么发展。

第一步，做算法研究。复制一亿个智能体，人类要研究几百年的问题，智能体只需要几个月。这种进化速度，就跟核反应一样快。智能体快速进化，成为超级智能体。

第二步，经济飞速发展。超级智能体开始做其他研究，比如机械、化工、生物、医疗等等，带来经济的飞速发展，GDP会成倍的增长。

第三步，军事压倒性领先。用它发明大规模杀伤性武器，就跟呼吸一样简单。

第四步，制造机器人。这样一来，它有智慧，也有身体，还能自我复制。因此，新物种诞生。

这就是智能爆炸，炸出一个新物种。这个东西，远超出人类的理解和控制。作者说，这个东西是超人，也是最强武器。

The superintelligence we get by the end of it will be vastly superhuman.

We’re developing the most powerful weapon mankind has ever created.

我做个小结。

研究的起点，是用数据和算法训练一个智能体。它刚开始很傻，不过没关系，只要提升算力，它就会变聪明。

持续提升算力，直到它能「自举」，即自己研究算法，并改进自己。

接下来，去复制它。它就会进化，成为超级智能体。它的智慧，远超人类。它是生物，也是武器。

这就可怕了。搞不好，人类会灭亡。

作者虽然怕，但是不悲观。他说，要尽快解决「超级对齐问题」。处理得好，人类就能活。

超级对齐

超级对齐的核心问题是，如何控制智慧远超人类的人工智能系统？

The core technical problem of superalignment is simple: how do we control AI systems (much) smarter than us?

我们先想一想，超级智能体是什么。

它本质上，就是一堆数据，或者说代码。代码哪里来的？它自己写的。什么语言写的？它自己发明的语言。

人类看不懂。这意味着，它想干啥，就可以干啥。你说怕不怕。因此，不解决超级对齐，人类可能有灭顶之灾。

作者强调，留给我们的时间不多了，建议适当减速「智能」研究，加速「对齐」研究。

他说，当前的对齐技术，无法解决超级智能的对齐问题，因此需要新的方法。他提了一个思路，认为能起作用，但需要业界一起来完善。

这个思路就是，用智能体「对齐」智能体。概念如下图所示，细节讨论请看原文。

说完超级对齐，还有一个问题。这个问题更严重，他说是国家安全。

国家安全

前面说了，通用人工智能很强，而且很快会实现。这么强的东西，敌人一定会盯上。谁是敌人呢，是专制国家。

他认为，美国能第一个实现通用人工智能。但是，要防止被敌人摘桃子。

又让他睡不着觉的是，敌人在智能爆炸的前夕，偷走了最新的人工智能模型。

Perhaps the single scenario that most keeps me up at night is if China or another adversary is able to steal the automated-AI-researcher model-weights on the cusp of an intelligence explosion。

如果被偷走，美国的优势就被拉平。这样一来，美国必须跟随手死磕科技。于是，超级对齐没资源搞。到最后，人工智能可能会失控。因此，人工智能要上升到国家安全。

他说，要保护算法秘密和模型的权重。这些秘密，能决定第三次世界大战的结果，以及自由世界的未来。他还批评了这些实验室，把国家秘密当儿戏。

We’re developing the most powerful weapon mankind hasever created. The algorithmic secrets we are developing, right now, are literally the nation’s most important national defense secrets—the secrets that will be at the foundation of the US and her allies’ economic and military predominance by the end of the decade, the secrets that will determine whether we have the requisite lead to get AI safety right, the secrets that will determine the outcome of WWIII, the secrets that will determine the future of the free world. And yet AI lab security is probably worse than a random defense contractor making bolts. It’s madness.

以上就是主要内容。