大模型面经——从prefix-decoder、casual-decoder、encoder-decoder角度深入聊聊大模型

作者：vivida

本篇主要以范围较宽的面试题形式，深入介绍大模型基础，大家可以参考着本篇内容进行查漏补缺。

下面是一个快捷目录。

1. 介绍一下大模型

2. 大模型的主流体系架构

3. 大模型的训练目标

4. 为什么大部分是decoder-only

5. 为什么有涌现能力

6. 大模型的优缺点

大模型：一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。

大语言模型（Large Language Model，LLM）是针对语言的大模型。

大模型后面跟的6B、13B等，这些一般指参数的个数，B是Billion/十亿的意思。

• 注意力机制方式：输入双向注意力，输出单向注意力 

• 特点：prefix部分的token互相能看到，属于causal Decoder 和 Encoder-Decoder 折中

• 代表模型：ChatGLM、ChatGLM2、U-PaLM

• 缺点：训练效率低

2. causal Decoder 系

这里提供两种常见的目标，一种是最通用的语言模型目标，一种是去噪自编码器。

1. 语言模型

根据已有词预测下一个词，训练目标为最大似然函数，公式如下

训练效率：Prefix Decoder < Causal Decoder

Causal Decoder 结构会在 所有 token 上计算损失，而 Prefix Decoder 只会在 输出上 计算损失。

2. 去噪自编码器

随机替换掉一些文本段，训练语言模型去恢复被打乱的文本段。目标函数为:

去噪自编码器的实现难度更高。采用去噪自编码器作为训练目标的任务有GLM-130B、T5。

这里简答一下，想要更细致的答案大家可以去看 为什么现在的LLM都是Decoder-only架构？从理论、训练效率与工程实现等多维度分析

因为decoder-only结构模型在没有任何微调数据的情况下，zero-shot的表现能力最好；而encoder decoder则需要在一定量的标注数据上做multitask-finetuning才能够激发最佳性能。

目前的Large LM的训练范式还是在大规模语料上做自监督学习，很显然zero-shot性能更好的 decoder-only架构才能更好的利用这些无标注的数据。

大模型使用decoder-only架构除了训练效率和工程实现上的优势外，在理论上因为Encoder的双向注意力会存在低秩的问题，这可能会削弱模型的表达能力。就生成任务而言，引入双向注意力并无实质的好处。

而Encoder-decoder模型架构之所以能够在某些场景下表现更好，大概是因为它多了一倍参数。所 以在同等参数量、同等推理成本下，Decoder-only架构就是最优的选择了。

1. 任务的评价指标不够平滑；

   
   

2. 宏观上看到了涌现现象，但是子任务效果其实是平滑增长的。

复杂任务 vs 子任务，这个其实好理解，比如我们假设某个任务 T 有 5 个子任务 Sub-T 构成，每个 sub-T 随着模型增长，指标从 40% 提升到 60%，但是最终任务的指标只从 1.1% 提升到了 7%。

这个问题比较发散，技术性没那么强，大家顺便看看就可以了。

1. 优点