核心内容

从一次机器学习比赛开始投身 AI

Harry Stebbings：Aravind，我真的很期待这次访谈。首先，非常感谢你今天能来。

Aravind Srinivas：谢谢你邀请我，Harry。我看过你很多节目，非常期待这次访谈。

Harry Stebbings：我想先从你的经历开始聊起，你是怎么爱上 AI 的？你是怎么意识到这就是你想做的事情，并打算将你的职业生涯都投身于此的？

Aravind Srinivas：这更像是一场意外，我只是一个普通的学习电子工程和计算机科学的本科生。有一次一个朋友告诉我说「有个比赛，如果你能赢的话就能获得奖金。」我记得我当时需要钱，因为我不确定自己是否能找到实习，所以我试着参加了这个比赛。

这是一个机器学习比赛，但我当时甚至不知道机器学习是什么。我只知道你会拿到一些数据，你可以利用已知数据中的一些模式来对你未见过的数据进行预测，这些数据在服务器中，无法访问。你提交算法，它会根据正确答案和你的预测进行评分，预测得最准确的人赢得比赛，获得奖金。然后我去看了看一个非常流行的机器学习库 Scikit-learn。

我真的不知道这些词是什么意思，比如决策树和随机森林，这些对我来说没有什么意义，我就像 AI 那样进行了暴力随机搜索。最后我完成了所有任务，赢得了比赛。

我打败了那些真正懂机器学习的人，这让我非常有信心，我觉得这可能是我很擅长的事情。我记得 Sam Altman 曾告诉我，两三年前我曾经问他，怎么判断自己天生擅长的事情？他说「任何对你来说很容易，但对其他人来说很难的事情。」

这是一个很好的启发式方法，可以用来判断你在哪些方面可能比其他人强得多。我觉得机器学习是个好东西，当时它还不叫 AI，所以我开始研究它。我修了所有的课程，读了 Christopher Bishop 写的《模式识别与机器学习》。我在印度买了一本二手的，好像只花了两三美元。阅读后我真的很喜欢它，它很有数学的严谨性，又很直观。

这让我有机会接触到一位教授。他在我的本科学校教书，研究强化学习，我请他指导我。所以当我真正进入 AI 领域时，就是在研究强化学习。因为我们都为跳棋或井字游戏类似的东西写过 AI。当你小时候和电脑下棋对战时，你总是会问，电脑是怎么下棋的？然后别人就会说，它就像 AI 一样，你不用管它。他们很宽泛地使用「AI」这个词，但 AI 的真正定义是什么？它是智能体 agent，它接收奖励信号（reward signal）并针对目标进行优化的环境。

当我开始研究强化学习（RL）时，所有这些框架在数学上对我来说都变得有意义了。然后我的导师在课程结束时告诉我，他有一个从读博士的时候就认识的朋友，叫 David Silver。他的创业公司当时刚刚被谷歌以大约 5 亿美元收购，因为他们写了一篇论文，论文中模型通过学习屏幕上的像素来玩 Atari 游戏。

「他们已经开源了代码，你为什么不把它拿过来，研究如何同时玩所有的游戏，而非单个游戏。」如果你已经学会了玩 Pong，那么当你去学习玩 Breakout 时，你会学得比从零开始学快得多。这就是迁移学习，我工作的第一个项目就是这个。我很喜欢 DeepMind 里所有论文的想法，我就想一直在实验室里，不停地阅读论文，并试着去实现它们。

想要获得最大的收益

需要确保数据质量

Harry Stebbings：第一个浮现在我脑海中的问题是，当我上线访谈时很多人给我发消息，他们问的第一个问题总是关于收益递减的，你往里投入更多计算能力，就能得到更好的模型性能。你认为我们现在已经达到了一个收益递减的阶段了吗？

Aravind Srinivas：我觉得这是一个复杂的答案。我可以简单地说不是，然后你就会觉得可能使用蛮力仍然有效，但现实也并非如此。这也不是我突然来找你说：「嘿 Harry，拿我的 5 亿美元去建一个大型计算集群，处理数万亿 token，得到一个比 OpenAI 更好的模型」，事情也不是这样的。

让现在这些模型变得更大、用更多的 token 来训练它们仍然还是有价值的，但如果你想要获得最大的收益，你就需要付出很多努力确保数据质量等事情，否则就不值得了。

就好像我知道的很多研究实验室，它们用大量数据训练了非常大的模型，但最终一无所获。这很大程度上取决于你用什么数据来训练，如何混合英语和其他语言、代码和比如数学及所有的思维链推理，它是如何在 Scaling Law 中起作用的，以及接着如何让混合专家模型更加计算高效，所有这些都很重要。

我认为，那些把所有细节都做对的人，才能从更大的规模中获益更多。而现在只有三到四个实验室能做到这一点。我举个例子，当 xAI 发布 Grok-1 时，这个开源模型第一次亮相，Arthur 发推特说，这个模型有很多多余的参数，因为作为一个参数量 300B 的模型甚至还不如 Mistral 56B 参数量的模型效果。

你可能会训练一个比原来大六倍的模型，但最终得到一个更差的模型；你可能会花更多的钱，但最终得到一个更差的模型。

Harry Stebbings：所以如果你谈到数据管理（Data Curation）作为决定模型性能的中心因素。本周早些时候 Reid Hoffman 参加了我的节目，他说我们将会看到模型的垂直化，你会使用不同的模型来做不同的任务。这是你指的意思吗？

Aravind Srinivas：实际上我认为这个观点也是有缺陷的。我以前也认为会发生这种情况，但我可以再举一个例子来反驳这个观点。彭博（Bloomberg）花了很多钱来训练 Bloomberg GPT，他们甚至写了一篇论文来说他们训练了自己的基础模型，但这个模型在所有金融基准测试中都被 GPT-4 打败了。

Harry Stebbings：我们怎么知道这不是特定案例呢？可能是他们采取的方式不对，或者团队不够厉害，等等。这不一定能反驳模型的垂直化，对吧？

Aravind Srinivas：我想问的是，这些模型的魔法何在？它源自哪里？你在测试它们时使用的方式并不是你训练它们的方式，你在聊天窗口中像与真人互动一样去 prompt、去使用模型的方式，并不是它们被训练时在做的事情，训练过程中它们只是被训练来预测互联网上的下一个 token。当然，它们也进行了一些微调，变得擅长聊天、擅长遵循指令等等，但这只是应用的一小部分计算能力。

所以，让这些模型具有魔法的是它们通用的自发能力。它们可以在没有专门训练的情况下完成任务，或者通过简单的提示迅速理解并执行任务。这并不源于任何特定的领域，而是大量神经网络训练后的涌现。

这些神经网络非常神奇，你只用向它们输入一组非常多样的数据，就能够识别出在处理所有这些数据时所需的抽象技能。正是这种抽象技能，这种抽象的「智力」，让这些模型在实际生产用例中如此出色。

所以，当你说要去做一个特定领域的模型时，你可以想想在这个领域里有多少 token？代码可能是唯一实际拥有大量 token 的领域。你可以向模型输入大量企业数据，说我有很多其他人没有的内部数据。但这并不意味着这些模型会因此获得一种全新的、无法从互联网上获取的推理能力。

很少有人能理解，为什么这些模型如此擅长推理？目前对这个问题的理解仍然很有限，是因为模型接受了数学或代码的训练吗？如果模型仅仅通过教科书的内容进行训练，是否还能获得推理能力？这些问题目前还没有很好的答案。

当模型推理达到一定高度

将会打破月付 20 美金的商业模式

Harry Stebbings：你认为模型擅长推理吗？我认为，推理方面的一个突破将是下一波浪潮中最大的突破时刻之一。你觉得我们今天在推理质量方面处于什么水平？要在下一波推理质量上取得突破需要什么？

Aravind Srinivas：这取决于你所说的「擅长推理」是什么意思：比八年级学生更好吗？我认为是。它们比 75% 的 12 年级学生更好吗？很可能。它们能在国际数学或信息学奥林匹克竞赛中获胜吗？不，肯定不能。

所以这是一个范围。即使在人类中，也有很多人擅长推理。我肯定 AI 现在就像高中生的中位数一样。它能达到本科生中位数的水平吗？当然，看起来我们正在朝这个方向前进。与 AI 对话是否会像与法拉第或爱因斯坦这样的伟大科学家对话一样吗？短期内还无法达到这样的高度。有人称这种 AI 叫人工超级智能。

我认为，当我们达到这一点时，它将打破所有这种每月 20 美元的商业模式。你看过诺兰的《致命魔术》吗？里面的魔术师相互竞争，就好比有一个魔术师想从特斯拉那里偷学一个让东西消失的技巧。他愿意花重金，只为了学那一个技巧。

我认为，如果模型变得非常擅长推理，你就会得到这样的结果。为了输出，你甚至不付月费，你会为单独一次的会话、聊天、输出付费，你会付很多钱。Harry 你是投资者，如果我来告诉你，即便我没有任何内幕消息，如果我是如此擅长推理，我告诉你，Harry，两年后这将是一家真正重要的公司。这个信息你可能得花两个月时间与一百个人交谈才能得到。你会为这个答案付 1 万美元吗？

Harry Stebbings：可能会付 1000 万美元。

Aravind Srinivas：没错。所以即使你只支付回报的 1%，那也是值得的。像 Demis Hassabis 这样的人，他们非常聪明，谁能给 Demis 提建议？能数得出这样的人有几个？那么如果 Demis 觉得有一个人工智能可以给他建议，那这个人工智能的价值是多少？它会打破你所有关于每月 20 美元的思维模式。我认为这是现在我们在期待的。

如果推理能力的基准是一个给 Demis 提供建议的 AI，我们今天还没有这样的东西。但有现在的 AI 可以给英国一个年薪 12 万英镑的人提供建议。我认为我们可以做到这一点。你必须清楚地界定什么是好的推理。

Harry Stebbings：我理解你对好的推理的精确界定。当你考虑推理能力的轨迹时，你怎么看待它发展的时间线？你认为它是上升、平稳、再上升吗，还是一个持续逐渐增？你怎么看待推理改进速度的轨迹和斜率？

Aravind Srinivas：我认为我们还没有找到秘诀。至少根据媒体的说法，他们声称 OpenAI 有一个叫 Q* 的新东西，努力利用自身的数据进行自我学习和优化，进而提升其智能水平。xAI 最近聘请了斯坦福大学的 Eric Zelikman，他写过一些关于 STaR 的论文，即自学的自动推理器。基本上是让模型本身来解释自己的输出。你取正确的输出，让模型解释为什么那是正确的，并用它来训练。

你不仅是在训练输出，还在训练用来推导输出的过程。如果你能做到这一点，你基本上就是在训练一个模型，它可以思考、推理、得到输出，检查输出是否正确，然后再回去，再次推理，并且迭代。这是现在模型所缺乏的，它们只会给你输出。未来的模型将从一个输出开始，进行推理，从世界中获得反馈，再改进推理，直到它们收敛。它们会一直试图改进输出。

我不知道什么时候会实现。也许会在一年或两年内，也许需要三到四年。但我认为，当实现这一点时，那将是真正的推理时代的开始。我们让所有事情都更高效，我们将会投入很多资源。

唯一的问题是，这场比赛不会像以前那样由学术界来玩。为了推理，为了输出，再回去推理，构建一个逻辑，得到另一个输出，仅仅这个过程就需要大量的推理算力。

为此你得付很多钱。即使是单一的实验也会花你很多钱，直到你找到算法的真相，运行这个算法也会花费你很多钱，因为你需要得到所有的合成数据来进行训练。

拥有大量资本的公司将更有优势。如果最终只有四五个竞争者来做这件事，并且不管是谁最终得到了这个算法，第一个得到的人将有巨大的优势，一旦你破解了它，你就可以继续投入更多的计算能力，获得巨大的领先。

Harry Stebbings：我们后面肯定会谈到所需的资金，但我想先继续聊聊性能和功能。为什么有记忆能力的模型这么难实现？大家都说记忆能力是个挑战。我不明白为什么，可以解释一下吗？

Aravind Srinivas：这里要思考两件事。记忆是什么意思？是指对大多数用例都实用的足够长的上下文，还是指无限长的上下文？比如说有一个人工智能，它能记住你的一生、记住每一个细节，那就是无限记忆，我们甚至还没有这样的算法。还有另一种人工智能，就像 Gmail 一样，开始时就有足够大的存储空间，既实用又会随着时间不断扩展。到一定程度后，你可能需要每月支付 10 美元，这更像我们现在的趋势。

上下文长度从 32K 开始，正在扩展到一百万，然后 DeepMind 发布了两百万。我觉得这已经足够好了。至少我们可以选择优先处理的部分，抛弃不相关的部分，继续使用记忆。这并不难做到。

不过这里有一个小挑战，还没有完全解决。我们实现了长上下文，但是遵循指令的能力还不够好。因为你有记忆功能，你可以在 prompt 里输入很多内容，但由于信息太多，模型可能会产生幻觉或混淆。因此，你需要确保在增加了所有这些长上下文功能后，遵循指令的能力没有下降。

我认为现在还没有做到，这就是为什么这些模型还不够好。比如它们还不能写出一个完整的代码库。但我想这一切都会到来，只是时间问题。

在基础模型领域竞争

几乎是一场必输的游戏

Harry Stebbings：大家都在说，我们正在看到基础模型的商品化，我很想听听你的看法。你如何看待基础模型层的最终状态？它们真的像人们说的那样被商品化了吗？

Aravind Srinivas：我认为今天，「商品化」这个词在某种程度上是真实的。像 GPT-3.75 级别的模型已经被商品化了，今天市场上有太多这样的模型了，一些是开源的，一些是闭源的。

我认为像 GPT-4 质量的模型还没有被商品化，今天人们可能只有一两个选择，比如 Claude 3 Opus 或 Gemini。所以如果只有两三个选择，我还不会称之为商品。但将来会被商品化吗？我想是的。但是，当它被商品化的时候，会不会有 4.5 或 5 的版本，那会更好？这还有待观察，训练正在进行中。

我的预测是，在 4 之后还会有一个很棒的模型。我不会说 GPT-4 比 GPT-4 turbo 聪明很多。它更可靠、更好、更快、更便宜，但它并不像 4 比 3.5 那样有质的飞跃。5 是否能对 4 做到那种程度的提升，将回答你的问题，即是否这些模型正在被商品化。

Harry Stebbings：这并不像以前糟糕的商业模式那样，在那种模式下，核心产品每六个月就会被淘汰。

Aravind Srinivas：但这是真的吗？我是说，我看过你对 Altman 和 Brad Lightcap 的采访，但一个产品真的会因为模型的升级而变得多余吗？

Harry Stebbings：我认为是这样的。现在有了 GPT-4，GPT-3 不是已经变得不再被需要了吗？

Aravind Srinivas：但你的产品从来都不是模型。也许我们应该把这两者分开，如果有公司正在开发能与 OpenAI 竞争的基础模型，那么这绝对是最糟糕的领域之一。

我几乎认为，现在有五家公司站在这个领域。Google、Anthropic、Meta、Mistral，也许在 xAI 的新一轮融资后，你也可以把它们包括进来。但这是一场非常难打的游戏。我很佩服 Mistral，尽管它的资本比其他公司少 10 倍，但它仍然在这个领域里。

Harry Stebbings：你不是也在同一个领域吗？

Aravind Srinivas：我们后期训练模型，我们不训练基础模型。我们可以使用当今市场上的任何模型，塑造它们，让它们擅长我们的产品功能。当你说有一个 Llama 3-70B 时，那只是一个基础模型，第一部分只是训练来预测下一个 token；然后是监督式的微调和 RLHF 这一部分，把它们训练得非常擅长聊天、指令遵循、总结和翻译等所有这些技能。

第二部分是给产品增添魔法的部分，如果没有这一部分，你就不会有这么好的聊天机器人。但第一部分为这些模型建立了基本的智力。

我们不做第一部分，因为玩第一部分几乎是一场必输的游戏。每次你完成一次大型的训练后，你要烧掉很多钱，你有了一个很棒的模型，接着你就看着它在排行榜上被下一个新版本摧毁。然后你又得赶上去，你又得花更多的钱。

那么你如何收回所有的钱呢？你可能会通过 API。如果其他人只是以更便宜的价格和更快的速度提供更好的模型，那么没有人会想使用你的 API。这就是为什么我认为这是一场艰难的游戏。它之所以艰难，并不是因为训练这些模型很难。当然，背后的科学和人才是很难聚集的。但从投资回报率（ROI）和商业角度来看，竞争非常激烈。

Harry Stebbings：这不就是我们所说的模型的商品化吗？就是你到了一个阶段发现，糟了，每个人都到了这个阶段，我们必须再做一次，再做一次，你的模型就变得多余了。

Aravind Srinivas：是的，这就是为什么我认为排在第二梯队的模型，它们不是最前沿的模型，但足够便宜到可以在其基础上开展业务的，最终将成为通用商品。

但也会有一些非常智能的前沿模型，远远领先第二梯队的模型。我认为，今天仍然只有三四个人在玩这个游戏。

Harry Stebbings：最终会是三四个玩家，还是一个玩家？

Aravind Srinivas：我认为这个问题的答案真的取决于谁首先破解了自学推理（bootstrap reasoning）。我们之前稍微谈过一点，就是模型使用它们自己的输出来进行推理和改进。无论是谁首先破解了自学推理，如果他们把所有的资本都投入到扩大这种推理的规模上，我认为最终会是一个玩家。但如果他们一直在采取保守策略，那就不会是一个玩家。

Harry Stebbings：你认为谁最有可能是这个玩家？

Aravind Srinivas：很可能是 OpenAI 或 Anthropic。我可以为这两家公司都做出很好的论证。OpenAI 是因为他们遥遥领先。Anthropic 是因为他们在算法上是一家更优越的公司，他们用比 OpenAI 更少的资本就达到了 OpenAI 的水平，他们在后期训练等方面做得更好。而另一方面，OpenAI 在资本和速度上有优势。

所以这是一个问题，什么更重要？是聪明的头脑和一定数量的资本，还是好的头脑、很强的攻击性和大量的资本。如果是后者，那就是 OpenAI。如果是前者，那就是 Anthropic。

Harry Stebbings：如果 OpenAI 没有和微软合作，你会选择 Anthropic 吗？

Aravind Srinivas：Anthropic 也和 Amazon、Google 有合作，所以它们都很有钱。xAI 也有钱和人，但在时间线上落后太多了。

Harry Stebbings：我认为大型云服务提供商会意识到他们需要以不同的形式收购这些模型，他们会持续云服务提供这一核心的摇钱树业务，但他们将会收购这些模型并将它们添加到他们已经提供的免费功能中。你将会看到 Anthropic、Cohere、Adept 被这些大型云服务提供商收购。你同意我对未来三到五年内这一预测的看法吗？

Aravind Srinivas：我不这么认为。

Harry Stebbings：为什么？

Aravind Srinivas：我对 Cohere 没有预测，但我认为对于 OpenAI 和 Anthropic 这样的公司来说，它们的价值并不在于它们所拥有的模型。这只是一个非常初步的估值。

我认为第二层的估值是，它们的价值在于构建起这些模型的所有因素：那些拥有训练这些前沿模型所需的所有隐性知识，并能在算法上进行创新的人，以及他们所积累的计算能力。这就是这些公司估值如此高的原因，尽管它们的收入和估值看起来并不合理。重点不仅仅是产出，也包括给你输出的背后运作的机器。当我们考虑估值问题时，考虑的是重新组装整个系统的难易程度。

当你说模型正在被商品化，所以 OpenAI 和 Anthropic 并不那么有价值时，我不同意。因为这些是将会生产出下一个模型的人。这些人才正在被商品化吗？不。事实上，它正在变得与商品相反。公司花很多钱试图让他们留下来。知识只与他们同在，因为人们不再公开去发表文章了。

我最近和一个非常伟大的研究人员一起闲逛，他甚至开玩笑说最好的研究就是今天还没有发表的研究。存档里已经没有什么可读的了，即使是那些在斯坦福大学写了所有这些推理论文的人，现在马斯克花了很多钱雇他工作，他不会再发表论文了。

这就是正在发生的事情。价值不在于模型中，价值在于生产模型的人。这就是为什么我觉得这些公司的估值很高，拥有很多谈判筹码，所以不会被收购。

这些人不想去大公司工作，而大公司需要他们的成果来继续做生意，比如微软需要 GPT 来达成销售，使 Azure 成为市场第一的云服务。AWS 需要继续保持在云市场的领先地位。我认为 OpenAI 和 Anthropic 不会被收购。

现在另一方面是，模型并没有产生任何突破。从科学上讲，不可能一直往模型里塞越来越多的 token，并一直看到好的结果。如果，比如说一年后 OpenAI 没有一个更好的模型，那么他们的优势就消失了。因为你必须产出新东西，如果他们无法生产出来，价值就下降了。

我认为这两件事都可能是真的。但我相信这些人仍然会取得突破，所以我对此有不同的预测。但时间会告诉我们谁是对的。

每家筹集资金的公司

最终都得建立自己的商业模式

Harry Stebbings：我们刚刚提到了获得资本的问题，显然 OpenAI 比 Anthropic 稍微多一点。让我印象深刻的是，我听说 Mistral AI 新一轮的融资规模大约是微软 30 小时产生的自由现金流。微软每天的自由现金流是 3.3 亿美元。你筹集的相对资金量，与微软的自由现金流相比只是微不足道的。在这样的世界里，你要怎么与别人竞争？

Aravind Srinivas：这就是为什么你得建立商业模式。首先，我们把两件事分开。如果微软产生了那么多的现金流，为什么他们不能把所有 OpenAI 科学家或 Mistral 科学家都挖来为他们工作呢？他们可以用那笔钱，然后让那些人中的 10 个人来他们这里工作。说我会付给你们很多钱，不需要再在 OpenAI 工作了，直接在微软这里建立 AI，不管我给 OpenAI 什么 GPU，我都直接给你们。但这并没有发生，对吧？这是有原因的。

人们想和其他最优秀的人一起工作。所以光得到一个人是不够的，你得到整个团队。这就是为什么当整个董事会闹剧发生的时候，大家都在开玩笑说，微软以很低的价格收购了 OpenAI，把整个团队都挖走了。

我认为这是难点所在。现金流并不能改变依赖问题。如果他们能从除了这两家公司以外的其他人那里得到这些模型，情况就会大不相同。他们可以直接获取开源模型，用更少的支出赚同样的钱。这对基础模型来说是坏消息。

至于出路在哪里？我认为你得自己建立商业模式。从根本上说，每家筹集资金的公司最终都得建立自己的商业模式，或者希望他们的算法优势能永远保持下去。我会支持那些认真建立商业模式的人。OpenAI 正在用它的价值赚钱。他们每年的收入是 20 亿美元，这比 Snowflake 还要高。他们资本效率不如 Snowflake 高，但在经常性收入方面，他们和 Snowflake 在同一个水平线上，而且增长速度更快。

所以这表明，如果你不仅仅满足于训练这些模型，而且还要通过产品进入市场并从中获得收入，那么你就有可能实现独立和自给自足。

Harry Stebbings：你们今天在专注于建立商业模式吗？你说我们将不再依赖每个用户 20 英镑的收入了，但你现在正处于从每个用户每个月收 20 英镑的阶段。

Aravind Srinivas：我认为这门生意实际上没那么好，它的利润不够高。如果你能达到 YouTube 那样的水平，那当然可以。Netflix、YouTube 的用户基数有 5000 万到 1 亿人为你付费，那绝对是一门好生意。

我认为我们还没有达到这样一个阶段，即这些 AI 对人们的生活如此重要，以至于有 1 亿人订阅它们。

如果他们能达到这个程度，如果你能开发出一个不仅仅是 AI 的产品，而且还有很多其他功能，人们为此支付了很多月费，而且留存率接近 100%，这会是一门了不起的生意。我认为我们也会尝试这样做。但所有这些伟大的订阅服务做广告也是有原因的，为了利润率。

不管我们怎么批评谷歌，过去 50 年里最伟大的商业模式就是点击广告。这是一个非常好的商业模式，利润率高达 80%。

Harry Stebbings：当你和团队讨论加入广告作为盈利引擎时，你们的内部讨论是怎样的？对话是怎么进行的，怎么得出最后结果的？

Aravind Srinivas：Larry Page 和 Sergey Brin 那篇关于 PageRank 的论文说，广告从根本上与为用户提供好的搜索结果不兼容。我读过一些书，书上说他们尽可能地推迟引入广告，直到他们屈服于投资者的压力。我们就说，让我们实际点，这是有史以来利润率最高的商业模式，但我们不需要像谷歌那样追求那么高的利润率。

你不必瞄准 80% 的利润率，只要你能得到一个相当高利润率的业务，同时又不辜负用户的期望。可以开心点儿，但不要贪婪。

如何在不破坏搜索结果的情况下做广告？如果你能保证这一点，我认为这是一个很好的想法，值得去探索。这就是为什么我们还有其他展示广告的地方，比如「发现」功能等等，它每天都会有一堆有趣的帖子供人们阅读。这最终会变成一个无尽滚动的信息流，Instagram 和 TikTok 都以这种形式投放广告。

广告是一个很好的商业模式，当它提供的内容和用户相关时，它就很棒。没有一个人和我说过 Instagram 的广告很差劲。重点在于相关性，如果你能把握个性化和相关性的诀窍，广告体验就很棒了。

Harry Stebbings：你认为你已经把握相关性的诀窍了吗？

Aravind Srinivas：还没有，我们希望可以。如果我们掌握了，我觉得我们的估值应该会更高。这是一个鸡和蛋的问题。只有当你有很多用户的时候，你才能得到密码。所以广告是一件有趣的事情，当你没有足够的用户时，它就不可能很好地发挥作用。当你有很多用户的时候，如果你能把所有细节都做好，就可以发挥得很好。

我最近几个月和 Marc Andreessen 聊过，他告诉我广告有三个层次。最高层次的是谷歌，中间是 Meta。谷歌从其他所有人的广告中受益。因为最终，一旦你发现了一个品牌，你就会去谷歌搜索点击他们的链接。

再往下才是像 Twitter、Reddit 和 Snap 这样的公司。他说这两者的差距太大了。这就像山的顶峰和在山脚下一样，广告目前已被 Google 和 Meta 等公司主导。

我的观点是，如果我们能在旅程的早期就纠正谷歌犯下的根本性错误，不过度依赖单一的收入来源，而是通过订阅、广告、应用程序接口（API）、企业服务等多元化方式获得足够的收入，我认为我们就有机会建立一个能让股东和用户利益更加一致的东西。

Jeff Bezos 曾引用过这样一句话：股东和用户应该是利益逐渐趋向一致的。如果不是这样，那就不是一个以客户为中心的企业。谷歌在这方面犯了错，因为他们无法实现用户和股东之间的利益一致。华尔街喜欢谷歌投放更多的广告，但用户却讨厌这样。

基础模型商品化的最大受益者

将会是 AI 应用层公司

Harry Stebbings：你提到 OpenAI 的营收达到了 20 亿美元，其中大部分是来自企业，他们的企业业务做得相当不错。Perplexity 是什么时候觉得应该建立自己的企业部门的？

Aravind Srinivas：我们决定建立这个部门的首要观察是，企业如今最常用的工具是什么？是谷歌。你在工作中每天都会用到它来进行搜索。所有搜索时使用的数据都是你公司内部的，但没人会在意，因为你需要它、离不开它。你用你花费的时间和你的数据作为付费。

但在 AI 原生搜索的世界里情况就变了，人们总是担心数据会泄露给 AI。如果数据泄露给传统的搜索引擎，他们不会在意，但如果搜索引擎中融入了大量的 AI，他们就会感到担忧。

所以我们说，好吧，如果你想在工作中使用 Perplexity 而你的雇主不允许，我们会为你解决这个问题。我们将提供一款带有合规性、安全性和数据治理功能的企业专业版，实际上就是为你提供带有所有这些安全功能的相同产品，这就是我们的企业专业版。

但这只是一个开始，你还需要更多功能。这些功能需要更加针对企业，而不仅仅是消费者。这就是我们将要构建的，我们希望以一种差异化的方式来构建它并重新思考内部搜索的意义。

比如，我们不仅只是在企业工具（如 Slack 或 Notion）里集成，还可以真正思考一些更深层次的问题，比如排序问题是什么？为什么相比消费者，企业在这方面会更有困难？

如果我们能建立一个统一的界面，让所有专有数据、外部数据、内部数据，以及所有不同的模型、开源和闭源都集中在一个平台上，你可以把你的输出转换成易于阅读的页面，将其组织成知识库，自己进行索引，这会是一个很好的企业产品。我认为我们会朝这个方向努力，并不是说我们一定会成功，但我们会去尝试。

Harry Stebbings：这令人非常敬佩。你对于开发企业产品感到紧张吗，当你考虑到这些 GTM（Go-to-Market）的策略时，这个动作非常不同。企业是一只难以捉摸的巨大野兽，这是一个挑战，你也提到了 OpenAI 销售团队的规模。你怎么看待企业部门 GTM 策略构建工作？人们会购买 Perplexity 企业版还是 OpenAI 企业版，或者两者都购买？

Aravind Srinivas：我的感觉是，如今 AI 还处于非常早期的阶段，没有人对任何特定的 AI 企业产生锁定和忠诚，它们甚至都没有锁定效应。比如，让你的数据只在一个工具上运行。我甚至还没有谈到像从 Snowflake 迁移到 Databricks 为什么会很难这样的问题。因为 SQL 格式本身就有很大的不同。一旦你用一种格式编写了所有的 SQL 查询，就很难改变。在 AI 领域不是这样的。你为 ChatGPT 编写的自定义提示可以很容易地转移到 Perplexity 上。

我认为企业仍然愿意尝试和实验不同的工具。也就是说，如果没有差异化，一开始品牌更大、团队更大的企业会有优势。

但游戏结束了吗？不，游戏刚刚开始。我认为这完全是包装的事情，如果你产品的价值大部分是模型的价值，价值只存在于模型中，而你围绕它构建的所有东西都不专精，那你将会输掉这场游戏。

但是如果你在模型周围构建了足够的价值，以至于很难在没有协调一堆其他难以实现的工程输入（不仅仅是基于大语言模型，甚至涉及很多人为因素）的情况下做到这一点。我们很难想象一个没有价值的世界，人们不会想要这样的世界。这就是特定的搜索价值。

为什么谷歌 AI 的概述很糟糕？他们拥有世界上最伟大的索引，也拥有世界上最好的模型，但这还不够好。或者，为什么很多人仍然认为 ChatGPT 的浏览功能不如 Perplexity，尽管他们在过去一年里进行了如此多的更新？

Harry Stebbings：为什么 Perplexity 的浏览功能比 ChatGPT 更好？

Aravind Srinivas：我认为这是很多小细节的问题。我非常相信那些能够协调模型和数据源、构建出色的用户体验并一直在这里不断创新的人，将在这场包装的战争中生存下来。这会很困难，你创立了一个企业，但每个人都一直担心你会倒闭。

但是，随着你积累用户，随着你摸清业务，我觉得基础模型商品化的最大受益者是应用层的公司。

Harry Stebbings：为什么这么说？

Aravind Srinivas：如果模型被商品化，那么模型的价格就会下降。而那些直接使用这些模型接触用户、利用这些模型的公司，只要将其包装成伟大的产品体验，创造实用价值，直接与客户建立关系，他们会有更大的优势。因为他们能够让一种商品以高价出售。

这是一项伟大的业务。如果模型被商品化，我会很高兴。如果模型没有被商品化，我仍然想找出一种从中受益的方法，这就是为什么这是一家面临重重困难却伟大的公司。

这不是那种你只需要从 Twitter 或 Meta 聘请一位高级产品副总裁，让他们为你制定产品策略的事情。这并不容易。他们没有心智上的判断，比如当下一个 AI 模型变得更好时会发生什么，如何重新思考整个产品策略。同样，也不是那种你聘请一位出色的 AI 人才，让他们来构建产品的事情，因为他们总是会认为模型是最重要的，并一直试图通过模型来做所有的事情。

你需要的是设计、产品和 AI 以及搜索的完美结合。这种组合并不容易。这就是为什么我们能够做一些其他人无法做到的事情。

Perplexity 未来的主导盈利引擎会是广告

Harry Stebbings：你在融资过程中有感到意外吗？

Aravind Srinivas：融资过程很残酷。我想大多数人可能以为，只要你是 AI 领域的，人们就愿意给你写投资意向书，甚至不需要做任何尽职调查。

实际上相当困难，每个人都会问你在推特上看到的那些尖锐问题，比如「如果 OpenAI 这么做会怎样？」「如果谷歌这么做会怎样？」「他们为什么不停止给你模型？」「你打算如何建立自己的模型？」「你打算如何建立一个真正好的搜索索引？」「你打算如何在企业销售领域竞争？」

这些都是每个人都会问的问题，而你对未来还没有一个清晰的判断。你必须给他们有力的论据，但归根结底，这些都只是论据，并不是实际的东西。

对我们有利的一个因素是，我们有很好的执行状况。我们创立的时间还不到两年，但相比我们的团队规模和资金，我们已经产出了很多东西。

Harry Stebbings：在你们所筹集的资金中，有多少用于算力？

Aravind Srinivas：大部分。

Harry Stebbings：像 50%？还是 75%？

Aravind Srinivas：我想说两件事。首先，我们并没有花很多钱。不是说我们所筹集的大部分资金都用于算力了，而是在我们花的那部分钱中，大部分都用在了算力上。无论是我们购买 GPU 和服务模型或后期训练模型，还是我们为像 Anthropic 或 OpenAI 这样的 API 付费，这都没问题。

这就是为什么我们不训练自己的基础模型。因为如果我们也这么做，钱早就用完了。因为它的工作原理是，你必须提前三年支付费用才能得到一个大型计算集群。并不是一下花掉所有的钱，但你必须承诺三年，才能得到成千上万的 GPU，如果你想在这个游戏中竞争的话。

另一方面，我们从模型的商品化中受益，我们不做自己的基础模型，因此我们所有剩下的钱都用来获取用户，而且获取用户不仅仅是通过营销，实际上更多的是像亚马逊 Prime 那样的方式，以惊人的价格提供很多很棒的功能，通过卓越的产品执行来留住你，最终建立足够大的用户基础和品牌忠诚度。

这就是我们要追求的商业模式。在这样的世界里，广告的力量可以非常强大。

Harry Stebbings：每个企业都有一个核心盈利引擎。他们可能有辅助业务，但往往有一个是主导的。当你展望未来五年，你认为 Perplexity 的主导盈利引擎是什么？是消费者订阅吗？是广告吗？还是企业服务？

Aravind Srinivas：我预测会是广告。如果我们能破解广告的密码，那就是广告。如果我们没有破解它，如果我们的用户没有增长到那个水平，或者如果我们增长了却没有想出如何很好地做广告，那就会是另外两个。不管怎样，我们都可以盈利。我认为通过广告，我们可以做到很不错的盈利。

然后你可能会问我，嘿 Aravind，你为什么关心利润？Sam Altman 并不关心。但他并不关心，是因为他对产品作为一门生意不感兴趣，他在尝试建立 AGI。他已经在一次公开采访中说过，即使我们在 AGI 上花费 500 亿美元，也没关系。所以那是一家不同的公司。这就是为什么我们根本不应该被视为 OpenAI 的竞争对手，我们不是 AGI 实验室。

你可以说 Perplexity 和 ChatGPT 是相似空间中的产品，在互相争夺一些心智份额和用户。但即使这样，两年后也会非常清楚，你不会一直问，Perplexity 和 ChatGPT 有什么不同？今天你会这么问，但两年后，我认为不会了。如果到那时还是这样，那我们中的一个就只是在模仿另一个。

Harry Stebbings：你认为你从未被问过但最好的问题是什么？

Aravind Srinivas：我认为有人问我，你为什么在做现在做的事？这是一个你自己都不知道的问题。我认为很多人都会给出一些编造的答案，比如，哦，我经历了一次存在主义危机，我要拯救人类，我见过一些企业家这么回答。

对我来说现实是，你仰望一些人，你想成为他们，然后你试图根据你的榜样来塑造你的职业生涯。但最后你会发现自己真的喜欢一些事情，把它塑造成你想要的风格。至少对我来说是这样的。

我一直是 Larry Page 的粉丝，我一直想做一些有那种雄心壮志规模的事情。不过这并不是我们做搜索引擎的原因。我们完全是从别的东西开始的。这个问题我实际上没有明确的答案，但我真的很喜欢这个问题，因为这是一个值得你不断问自己的问题。

就像「你为什么在做这个？」乔布斯就有这样的想法，对吧？如果你把死亡内化，把死亡正常化，每天早上站在镜子前问自己，「如果今天是我最后一天，我还会这么做吗？」如果这个问题的答案是肯定的，那么今天就全力以赴。

如果这个问题的答案经常是否定的，你真的需要重新思考你的生活优先级。对我来说，在 Perplexity，每天都是 Yes。尽管很痛苦，压力很大，对我的身心都造成了影响，但我认为这是值得的。

Harry Stebbings：你看起来还非常年轻，所以别担心，它并没有让你变老，一切都很好。

Aravind Srinivas：谢谢。我很机智地掩藏了我的白发。

快问快答

Harry Stebbings：在过去 12 个月里，你对什么问题的看法改变最大？

Aravind Srinivas：对人的长期看法。我看到一些人没有高效迅速地改变，但给他们足够的时间，他们就能够真正地改变自己。这是我一开始没有正确态度的事情，我总是认为那些立即行动起来的人是最好的，但你知道不同的人有不同的方式来展示他们的真正才能。

Harry Stebbings：你认为在今天的 AI 领域，最大的误解是什么？

Aravind Srinivas：短期思维。任何时候有人发布更新，所有人都觉得另一家公司完了，通常是推特上的那群人。即使是消息灵通的人之间也存在最大的误解，那就是因为世界上大多数人都没有使用聊天机器人，他们就觉得这只是泡沫。但他们会惊讶地发现这不是泡沫，它没有被过度宣传，实际上它被低估了。

当你把它用在熟悉的工作流程和形式中，会产生很大的影响。聊天 UI 是一种新的 UI。我们还不习惯使用它。我们都习惯使用 WhatsApp 和 Signal 等等，但那不一样，那更像是一种短信服务。另一方面，Word、Docs、Gmail、谷歌搜索，甚至不是特指这些产品，而是更多关于使用形式、UI，你非常熟悉它们。当 AI 以一种让你觉得如此自然而然的工作流程呈现给你时，它将产生巨大的影响。这件事还没有真正发生。

Harry Stebbings：你们看过 WhatsApp 的集成功能吗？

Aravind Srinivas：我看过，这种做法不太对。

Harry Stebbings：为什么？

Aravind Srinivas：我用 WhatsApp 不是为了搜索什么东西，而是为了给人发信息或者回复……我的 WhatsApp 通知大多时候都有 20 到 30 条，等我把它们处理完，我只想离开这个应用。我不会点击 WhatsApp 图标去搜索什么东西。

Instagram 也是一样。我只是去那里看漂亮的图片，而不是去搜索比如谁赢得了 NBA 总冠军。打开应用时用户的意图很重要。这也是为什么他们多次尝试推出「动态」和「快拍」都失败的原因。最初，「动态」是作为一个单独的应用来模仿 Snapchat 的。但没起作用，然后他们又尝试了很多不同的变体。最终起作用的是顶部的气泡。这之所以有效，是因为它是基于现有的用户的流程，因为用户本来就要打开 Instagram 查看其他人的动态。

你必须认真考虑，不仅要考虑为什么要添加这个功能，还要考虑在你的应用中，用户现有的意图是什么？你如何确保新添加的功能与现有的意图相结合？这一点非常重要。

Harry Stebbings：你对未来浏览器的愿景是什么？

Aravind Srinivas：你可以重新构想浏览器。我们一直没有做浏览器是有原因的。我不认为浏览器会因为用户得到答案而不是链接而被颠覆。人们仍然想浏览并进入一个新的网站，进入特定的网站，输入细节，填写表格等等。这些都不会因为传统的聊天界面而被颠覆。仅仅因为你可以在 Perplexity 的搜索框中输入内容，比如说集成已经完成了，我不认为你就能让浏览器变得更好或者怎么样。它会更高效，但你仍然需要很多传统浏览器的功能。

不过，会发生变化的是，你打开一个浏览器，只需要说，开始播放 Aravind 的播客，它就会去 Riverside，自动填写你的登录信息，那会很神奇，那将改变一切。或者像在亚马逊上，给我买这个东西。

然后你可以更进一步，比如问，操作系统的未来是什么？Mac 的未来是什么？Windows 的未来是什么？浏览器也是一个操作系统，对吧？

Harry Stebbings：你认为操作系统的未来是什么？

Aravind Srinivas：像《Her》这样的电影可以成真。我不是在说语音，而是操作系统本身可以就是 AI，一个完全原生的 AI 操作系统，它不是以传统的方式组织的，你只需要和它交谈，它就会为你工作。这是一个很惊人的愿景。而这正是现在还没有实现的东西。GPT-4 还做不到。

Harry Stebbings：你认为你目前工作中最困难的，但大家都不知道的部分是什么？

Aravind Srinivas：一直在处理矛盾。大脑并不擅长处理矛盾，它实际上会让我们感到疲惫。当我们无法在某件事上达成共识，而初创公司的 CEO 们却都是面临很多矛盾的。你应该冒险还是应该重注坚持你已有的东西？你应该加快速度还是应该以一种可以扩展的方式来建立公司？是时候尝试这个功能了吗？仅仅因为它不是你的竞争对手会做的事情，还是继续做你擅长的事情，尽管你的竞争对手也在做同样的事情？你必须不断地在这些不同的维度上处理这些矛盾，这很累。

Harry Stebbings：倒数第二个问题。你知道，我们作为投资者会提前分析一家公司可能失败的原因。如果今天你要为 Perplexity 写下可能会失败的原因，你认为会是什么？是计算能力的问题，还是谷歌的创新将你击败？

Aravind Srinivas：执行力不够。竞争对手并不会打败初创公司，初创公司都是自己打败自己的。并不是说 Google Drive 打败了 Dropbox。人们会这样说，但 Dropbox 本来可以建立一个伟大的企业业务，但他们与其他公司相比行动并不够快。初创公司都是自己打败自己的。

所以，如果我们要写一个关于自己的失败原因，那就是 CEO 不够果断，公司的执行力不好，缺乏重点，资本使用效率低下。这很大程度上取决于所做的决策、决策的正确性、决策的速度以及执行的速度，还有我们是否专注。如果不能持续做到这些事情，那么我想我们就会失败。

Harry Stebbings：最后一个问题。现在是 2034 年。你最希望 Perplexity 是什么样？如果我们那时再做一期节目，公司那时会是什么样子？

Aravind Srinivas：这是一个好问题。我只希望它能成为你离不开的事实和知识助手。你可以问我，10 年后，人们还想要事实吗？我们总是要问这样一个问题，10 年后什么还会是真的？如果你致力于这个，那么你就是在做正确的事情。

我觉得，即使在一个 AI 占据主导，人类自主性减少的世界里，人们仍然想知道什么是真的，什么不是真的。我们正在致力于这件事。如果我们能成为事实、准确信息以及知识的首选助手，那么我认为 10 年后我们会做得很好。

Harry Stebbings：Aravind，我很喜欢这场对话，感谢你的时间。

Aravind Srinivas：谢谢你，Harry 。这很棒。