一文看懂预训练、微调和上下文学习

推荐语

掌握深度学习模型训练的核心技巧。

核心内容：
1. 预训练、微调和上下文学习的概念与区别
2. 大模型训练中这三种技术的应用实例
3. 无监督学习与有监督学习在模型训练中的作用和影响

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

先看一张介绍三者关系的图，广义上的训练包括预训练、微调和上下文学习，狭义上的训练专指预训练这个阶段。我们耳熟能详的大模型公司智谱AI、百川智能，他们提供的模型如GLM-130B、Baichuan-2-192K等，都是预训练好的模型，我们平常说的炼丹，一般也是指预训练。

预训练：打造通用特征提取器

预训练（Pre-training，PT）是指在大量数据上进行模型训练，使模型学习到通用的特征表示。这种训练方式可以让模型在特定任务上具备更好的泛化能力。预训练通常采用无监督学习方法，如自编码器、生成对抗网络等。在大模型中，预训练可以显著提高模型的性能，减少训练时间和计算资源。在预训练期间，模型会接触到大量未标记的文本数据，例如书籍、文章和网站。在大量未标记文本数据上训练语言模型。比如说在包含数百万本书、文章和网站的数据集上预训练像 GPT-3 这样的语言模型。预训练目标是捕获文本语料库中存在的底层模式、结构和语义知识。

微调：任务专属优化利器

微调（Fine-tuning，FT）是在预训练模型的基础上，针对特定任务进行进一步的训练。通过微调，模型可以在特定任务上实现更好的性能。微调通常采用有监督学习方法，利用标签数据对模型参数进行调整。在大模型中，微调可以充分利用预训练模型的通用特征表示，实现更高效的任务适应性。

所谓有监督学习（Supervised Learning）是在机器学习领域中使用的一种方法，其中模型通过使用已知标签的训练数据来进行学习。在监督学习中，我们有一个输入数据集和一个相应的标签或目标输出数据集。模型通过学习输入与输出之间的关系，尝试预测新数据的标签。这种方法称为“有监督”，因为模型在学习过程中受到训练数据中标签的监督。它依赖于标记好的训练数据，这些数据通常是经过人工分类或标注的。

有监督学习在许多任务中都很有用，如分类、回归、语音识别、图像识别等。常见的有监督学习算法包括支持向量机、决策树、逻辑回归等。其目标是训练出一个模型，该模型在给定新的未标记数据时，能够预测出相应的标签或输出。

SFT（Supervised Fine-Tuning）是一种常见的有监督学习方法。它基于预训练模型，利用有标签的数据进行微调，以适配特定的任务。通过微调，模型能够利用预先学到的知识，并快速适应新的任务，提高性能和效果。这种方法广泛应用于各种任务，如分类、回归等，并取得了显著的成功。

上下文学习：捕捉数据内在关联

预训练好的 GPT-3 模型拥有一项神奇的能力，后来被称为：上下文学习（In-Context Learning），也叫情境学习。

这项能力简单来说就是，预训练好的 GPT-3 模型在迁移到新任务上的时候并不需要重新训练，而只需要提供任务描述（这个任务描述是可选项）接着提供几个示例（任务查询和对应答案，以一对对的形式组织），最后加上要模型回答的查询。将以上内容打包一起作为模型的输入，则模型就能正确输出最后一个查询对应的答案。

举个例子：比如现在想用 GPT-3 来做个翻译任务，翻译英文为法文。输入的格式如下：