图 2.3-1 语音大模型概况

随着语音技术的发展，在有标注的训练数据充足的情况下，使用深度神经网络训练语音识别等任务上已经能够取得非常好的性能；但是现实中有标注的训练数据获取的成本很高，在一些低资源的任务场景也很难获取足够多的有标注训练数据。

基于此背景，近些年来研究者们致力于从大量没有标签的数据中预先学习有效的语音特征，使模型学习到语音更深层次的特征表达，从而在低资源的下游语音任务中摆脱对训练数据量的依赖，并且获取更好的性能。近些年来研究者们常用的语音预训练方法主要有以下几类：基于自回归重构自监督特征学习方法、掩码重构方法、对比预测编码方法、掩码预测方法、多任务学习方法等。

1. 基于自回归重构自监督特征学习方法（AutoregressiveReconstruction）

自回归预测编码是一种生成式模型，即给定一段输入序列，来预测未来时段的频谱，通常使用 L1 损失函数。它构建了一种自我监督目标函数，能够从海量无标签数据集中学习丰富的特征表达并应用于下游任务。

2020 年麻省理工学院(MIT)人工智能实验室的 Yu-An Chung等人提出了一种生成式的自监督语音特征学习方法 APC (Autoregressive Predictive Coding)[46]，该方法受到文本生成模型的启发，主要通过对未来时刻的语音帧特征进行预测，从语音浅层的表达方式中学习到更高层次的语音特征。

同年 MIT 人工智能实验室又在 APC 自回归编码器的基础上提出了 APC 的离散化进阶版本矢量量化的自回归预测编码 VQ-APC(Vector-Quantized Autoregressive PredictiveCoding) [47]，通过在自回归层之间添加额外的矢量量化网络层，实现了从连续表征到离散化表征的转换。

图 2.3-2 矢量量化的自回归预测编码框架示意图

2. 掩码重构（Mask Reconstruction）

2019 年台湾大学 Andy T. Liu 等人提出了一种新的语音表示学习方法 Mockingjay[48]，该方法使用双向的 Transformer Encoder在大规模无标签语音数据集上进行预训练，该方法通过掩码（mask）的方式，根据过去和未来的帧来共同预测当前的帧。

通过这个方法得到的语音表示广泛地提高了下游任务的表现，例如音素分类、语音识别、基于语音的情感分析等。除此之外，实验证明用 Mockingjay 方法进行预训练，然后再用其他下游任务进行微调，能够极大得提高表现；在 Mockingjay 模型的基础上，该团队又提出了两种进阶优化版的模型 Audio Albert 与 TERA，其中 Audio Albert 是在 Mockingjay的基础上将多层 Transformer 都参数共享，通过这样的改进方式有效降低了模型需要训练的参数量，且性能能够和 Mockingjay 保持一致；

另一个 Mockingjay 的改进版 TERA 主要在输入端做了一系列改进，分别在时间维度和特征维度上都进行了掩码，此外还对整个输入增加了高斯白噪声，这一系列改进进一步提升了预训练模型的效果。

2019 年 Amazon 团队 Shaoshi Ling 等人也提出基于半监督上下文学习的语音预训练模型 DeCoAR[49]，如图 2.3-4 所示，DeCoAR 结合了 ELMo 的双向性和 APC 的重构目标,首先在编码网络，根据过去和将来的帧重建特征，得到的特征再送入基于 CTC 的说话人识别网络。相比 Mockingjay 使用 Transformer 作为编码网络，DeCOAR 使用双向LSTM作为编码网络。

2020年该团队提出了优化版本的DeCoAR 2.0[50]模型,如图 2.3-5 所示，将原先的 LSTM 网络替换成了 Transformer 网络，并且加入了一个 VQ 模块学习离散化的特征，在下游任务上取得了更好的性能。

图 2.3-4 DeCoAR 框架示意图

图 2.3-5 DeCoAR 2.0 框架示意图

除了上述介绍的一系列基于掩码重构的预训练方法，AlexanderH. Liu 等人提出一种使用两侧帧的信息预测中间帧信息的预训练方法，非自回归预测编码NPC

（Non-Autoregressive Predictive Coding）[51],通过感受野限制信息的前向传递过程来确保重建过程只依赖于目标语音的周围信息。NPC 与前述方法的区别是模型的输入为被掩码(mask)的帧前后的帧，从而可以进一步提升模型的速度。

图 2.3-6 非自回归预测编码(NPC)框架示意图

2.3.3 对比预测编码（Contrastive Predictive Coding, CPC）

对比预测编码是一种对比学习方法，将输入音频进行编码得到隐藏表征，再经过自回归网络后得到序列特征，选择距离目标点较近的隐藏表征作为正例，而距离较远的作为负例，在此基础上进行判别性训练。

2019 年 DeepMind 的 Aaron van den Oord 等人提出了基于对比学习的语音预训练模型 CPC[52]，模型直接使用原始音频数据作为模型的输入，基于语音短时平稳性的特质，模型通过对比学习的方法，令输出去接近未来几个时刻的潜在特征。CPC 是一种完全无监督的训练特征提取的方法，它的可移植性很强，能适用于多种任务，效果上在很多任务中能够媲美甚至超越当时的有监督方法。

图 2.3-7 对比预测编码（CPC）框架图

2019 年 Facebook 团队的 Steffen Schneider 和 Alexei Baevski等 人 提 出 了 另 一 种 基 于 对 比 学 习 的 语 音 无 监 督 预 训 练 模 型Wav2Vec[53]，如图 2.3-8 所示，将原始音频信号作为输入，然后应用两个网络。编码器网络将音频信号嵌入到一个潜在的空间中，上下文网络将编码器的多个时间步组合在一起以获得上下文表示。

Wav2Vec 首次尝试使用卷积神经网络用于 ASR 领域的无监督预训练，其训练方法与 CPC 模型类似，都是利用了语音的短时平稳性和规律性，通过对比学习令当前输出的特征去预测未来时刻的特征。通过Wav2Vec 学习到的特征在 ASR 任务上使用起到了明显的提升作用。

图 2.3-8 Wav2Vec 框架图

同年，Facebook 的 Alexei Baevski 等人再次提出了 Wav2Vec 的进阶优化版本 VQ-Wav2Vec，如图 2.3-9 所示，VQ-Wav2Vec 借鉴了同年自然语言处理 NLP 领域提出来的 BERT 中的思想，首先在Wav2Vec 的基础上加入了一个离散化的模块学习离散化的特征，然后将离散化的特征输入 BERT 中进行预训练，最终应用到下游任务中。该方法将语音和 BERT 很好地结合到了一起，同时利用了 BERT 强大的信息捕捉能力，在各种下游任务中都能达到当时的最佳性能。

图 2.3-9 VQ-Wav2Vec 框架图

2020 年 Facebook 该团队再次将 VQ-Wav2Vec 的训练流程做了进一步的改进和优化，将原先 VQ-Wav2Vec 两阶段的预训练合并到了一阶段，形成了 Wav2Vec2.0，然后将训练好的 Wav2Vec2.0 网络直接在下游任务进行微调。

Wav2Vec2.0 能够学习到用于解决自监督任务的基本语音单元，在 ASR 任务上只需要转录 10 分钟的语音就可以达到极佳的性能表现。

同时还为方言和细分领域的语音识别打开了大门，这些模型以往都需要更多的转录音频数据才可以达到可接受的性能；此外，Facebook 团队还开发了一种跨语言的方法 XLSR，可以学习到几种语言通用的语音单元。

图 2.3-10 Wav2Vec2.0 框架图

2.3.4 掩码预测（Masked Prediction）

2021 年 Facebook 团队的 Wei-Ning Hsu 等人又推出了学习自监督语音表征的新方法 HuBERT[56]，HuBERT 借鉴了自监督视觉表征方法 DeepCluster 中的思路，将端到端的深度学习方法与聚类相结合，模型采用离线 K-means 的聚类方法，为掩码语言模型的预训练产生噪声标签，模型通过预测掩码音频片段的正确聚类来学习语音输入的结构，在训练过程中聚类和预测步骤之间交替进行，逐步地提高模型学习到的离散表征。

HuBERT 通过学习未掩码音频的连续表征编码以及捕捉所学表征之间的长程时间关系，能够从连续的语音数据输入中同时学习到声学和语言模型，成功实现了对语音信号的直接语言建模，无需依赖任何词汇资源。HuBERT 在语音识别、语音生成、语音压缩等多种语音任务上都达到甚至超过同期最好模型的性能，为开发基于音频训练的自然语言处理系统提供了一种可能性。

图 2.3-11 HuBERT 框架图

2021 年 MIT 团队的 Yu-An Chung 等人提出了 w2v-BERT，将Wav2Vec 2.0 中对比学习与 HuBERT 中的掩码预测学习目标进行了结合，通过对比学习的方法学习将连续的语音信号离散化，再通过掩码预测的方法对离散化的语音进行建模。Wav2Vec-BERT 使用端到端的方法同时做了对比学习和掩码预测两种任务，在语音识别和语音搜索等下游任务上进一步刷新了同期最好模型的性能。

2.3.5 多任务学习（Multi-task）

2019 年，加泰罗尼亚理工大学的 Santiago Pascual 等人提出了一种利用多个自监督训练任务来学习语音表示的工作问题无关语音编码器 PASE(Problem-Agnostic Speech Encoder)，包括自编码重建输入特征、对数功率谱预测、梅尔倒谱系数预测、Prosody 特征预测等，这些任务从多个角度的语音中提取有用的信息，从而使得模型可以学习到问题无关的语音特征。通过 PASE 学习到的语音特征包含了原语音信号中的大量有意义的信息，实验结果证明 PASE 比传统语音特征可以更好地提升模型表现。

图 2.3-12 PASE 框架图