在过去的几年里，大型语言模型(LLM)的出现，为长达数十年的智能机器构建的探索中带来了巨大的飞跃。

这项基于试图模拟人类大脑的研究技术，也在近几年催生了一个新领域——Generative AI 生成式人工智能，简单理解就是可以

通过模仿人类能力和水平，生成合理且复杂的文本、好看图像甚至是计算机的代码。

2017年12月，Vaswani和研究团队用一篇“Attention is all you need”的论文彻底开启了AI的新纪元，论文提出了一种新的利用自注意力概念来处理顺序输入数据的变换器架构-Transformer，这使得对长距离依赖关系的更有效的处理成为可能。这个问题在之前一直是传统RNN架构难以克服的一个挑战。而这个Transformer就是大型语言模型(LLM)的基础，也是我们今天所见证的生成式人工智能强大能力的基础。

LLM一直为业内所公认的发力点，是通过撰写和分析文本提高生产力，而这个能力也恰恰是它对人类构成威胁的原因。高盛认为，这可能使大型经济体中相当于3亿全职工作者面临自动化的风险，导致大规模失业。

随着LLM以及所引领的生成式AI能力渐渐出现在我们生活的各个领域，了解LLM如何生成文本对我们来说意义重大，因为了解了它背后的原理，可以帮助我们理解这些模型是如何成就了各种多才多艺产品，同时也可以帮我们发现生成式AI还能在什么方面帮助到我们，与其担心被替代，不如主动出击，成为AI能力的驾驭者!

接下来我们用通俗易懂的语言，一步步看看LLM是怎么发挥威力的。

首先，一段文字被分解成一个个的标记(tokens)，这里用到的Embedding技术小纸条在之前的文章中为大家讲过，向量可以理解为就是大模型理解世界的语法。这些标记(tokens)是能够被编码的基本单元。在图中的例子中，我们将每个完整的单词视为一个独立的标记。

要弄清楚一个词的意思，比如例子中的“work”，大型语言模型(LLMs)会用大量的学习资料来研究它，同时关注它旁边的词。这些学习资料来源于网上的文本，量级非常的大，最新的GPT-4O甚至用到了1.8万亿。

最后，我们收集了一大堆词，其中一些在学习材料中是和“work”一起出现的(图中黄色的单词)，还有一些词是没和“work”挨着的(图中灰色的单词)。

模型在处理这些词的时候，会创建一个数值列表，我们称之为向量。它会根据每个词和“work”在训练材料里的距离来调整这个列表。这个列表就是词嵌入work embedding，它帮助模型捕捉到词的含义。

一个词嵌入可以包含数百个值，每个值代表单词意义的不同方面，就像是给单词拍一张多角度的照片。每个值都像是从不同角度捕捉到的特点，比如单词的用法、它通常出现的语言环境等，咱么国家这种用法就非常多，“我去方便一下”和“行个方便”。再举个例子，比如我们要描述一个房子，我们会提到它有多少卧室、浴室、它的位置和类型，词嵌入通过数值来描述单词的这些语言属性。

生成这些特征的方法让我们无法精确知道每个数值具体指代的内容，但那些我们认为在用法上相似的单词，它们的嵌入向量看起来会差不多。这就像是相似的单词在数学上也能找到它们的相似性。比如下面这张图，用颜色来直观的标记数据在词嵌入过程中的不同维度的数值，可以看出来意思相近的词，比如“sea”和“ocean”，呈现的大体色块更为相近。

如果我们把一个词嵌入里的成百上千个数值减少到只有两个，就像把复杂的地图简化成只有两个点，这样我们就能更容易地看出不同单词在意义上的距离。

小纸条在之前的文章中为大家详细讲过上述向量Embedding有关的知识，这是大模型理解世界的语法。但是仅仅靠向量化还不足以使LLM的能力像如今这般强大，这背后很重要的加持，就来自我们今天要讨论的Transformer，它的重要程度甚至可以被看作AI大模型的心脏。

Transformer变换器不是只看一个词，而是一次性看一整句话、一段文字，甚至是整篇文章，这样它就能更好地理解意思。让计算机在翻译或者写东西的时候更准确，让大型语言模型更有效率。

Transformer变换器架构的一个关键概念是自注意力(self-attention)。正是这种机制让大型语言模型(LLMs)能够理解单词之间的关系。它会观察文本中的每个标记(token)，它仔细查看一段话里的每一个单词，然后找出哪些词对理解这个词最有帮助，这样它就能更好地理解整个句子的意思。

在变换器出现之前，最先进的人工智能翻译方法是循环神经网络(RNNs)，它们会逐个扫描句子中的每个单词并顺序处理。

使用自注意力机制，变换器能够同时计算句子中的所有单词，模型能够一下子理解整个句子里的所有单词，而不是一个接一个地看。捕捉到这种上下文信息来全面理解句子的方式，让大型语言模型在分析语言的时候更加得心应手。

Transformer 由两个基本组件组成：编码器和解码器。编码器负责对输入数据进行编码，例如，可以是一个单词序列。然后它获取输入序列，再应用多层自注意力和前馈神经网络来，捕获句子中的关系和特征并学习有意义的表示。

编码器做的事就是理解，解码器就是生成。

在上面这个例子中，一次性评估整个句子意味着，Transformer变换器模型一下子看了整个句子，它就能明白“interest”这个词在这里是作为一个名词，用来表达一个人的观点或兴趣。

如果我们调整句子中的一些内容，模型也会知道这回“interest”不再代表兴趣，而是金融领域的收益的意思

如果我们把几个句子放在一起，模型还是能根据每个词周围的上下文来理解它们的意思。比如“interest”这个词第一次出现的时候，模型会特别注意它旁边的“no”和“in”，这样就能正确理解它的意思。

对于第二个“interest”，模型特别关注了“rate”和“bank”这两个词。

这个特性对于生成好的文章就非常关键。如果没有它，那些在不同情境下意思不同的词就可能被用错和理解错啦。

自注意力机制同时是有效的，这就意味着，当你在写有关“interest”对应是利率的意思时，就不会使用到“enthusiasm”(热情)这个词。

无论是哪种语言体系，代词都是贯穿上下文的关键内容。比如在下面这个句子里，模型通过自注意力机制就能分析出来，这里的“it”最可能提到的是一只狗(颜色越深代表关联或者说相似度越大)。

如果我们原本的句子中的“hungry”(饥饿的)换成“delicious”(美味的)，模型就会重新分析一下，然后它就会知道这回的“it”最可能在说骨头。

总结一下，自注意力在语言处理方面的好处随着规模的扩大而增加。它允许大型语言模型(LLMs)从超出句子边界的上下文中获取信息，给予模型对单词使用方式和时机更深入的理解，让大型语言模型能够不仅局限于一句话，而是能从更广阔的context上下文中学习，这样模型就能更懂一个词在什么时候、怎么用最合适。

以上理解环节讲差不多了，我们开始看看生成环节。上面我们也提到了编码器和解码器是组成Transformer的两个部分，理解学习还得靠编码器，这生成环节，就是解码器的主战场了。

解码器从编码器获取编码表示并产生输出序列。在机器翻译或文本生成等任务中，解码器根据从编码器接收到的输入，再生成翻译后的序列，再后面的生成环节会展开说说解码器是怎么工作的。简单来说与编码器类似，也由多层自注意力和前馈神经网络组成，只是额外包含一个注意力机制，使其能够专注于编码器的输出。然后，这允许解码器在生成输出时考虑来自输入序列的相关信息。

我们结合图来看，Transformer帮助大模型把一段文字分解成一个个小块，转换成机器能理解的代码后，我们就得到了一个数据块。这个数据块不仅包含了单词的意思，还有单词在句子中的位置，以及它们之间是如何相互联系的。

简单来说，模型的基本任务就是去预测序列中的下一个词，并且反复这样做，直到生成的输出完整为止。

在这个过程中呢，模型会计算每个单词(token)成为下一个词的机会有多大，给每个单词一个概率分，这个分数就代表着这个单词接下来出现的可能性有多高，模型会不断来做这个计算，直到它对于自己生成的文本非常的满意。

但这种单独预测下一个词的方法——被称为“贪婪搜索”——可能会引入问题。有时候，尽管每个单独的标记可能是最合适的下一个选择，但整个短语组合起来可能就不够相关。

并不是说这种方法总是错的，但有时它可能不会给出你期望的结果。

改写成易懂的语言：这种一次只猜一个词的方法，就像是在“贪心”地选词，被称为“贪婪搜索”。这种方式有时候可能会出问题。因为就算每个词单独看都是最合适的，但连在一起可能就不太对劲了。这并不是说它总是错的，只是有的时候会不太符合预期。

为了提高输出的质量，Transformer变换器采用很多聪明的方法来解决这个问题，其中一个就叫做“束搜索”。这种方法不会只关注序列中的下一个词，而是会看一组词整体出现的可能性有多大。

这样做能产生更好的结果，让模型写出更连贯、更像人类写出的文本了!