大模型对齐技术的综合评述：RLHF、RLAIF、PPO、DPO及更多（一）

1. 引言

背景

在过去的几十年里，自监督学习（Self-Supervised Learning，SSL）的迅速发展引领了大模型（Large Language Models，LLM）的进步。得益于海量语料库的预训练和大规模Transformer模型的应用，LLM在回答人类提问时，能够生成事实性和连贯性的响应。这些模型在自然语言处理、生成对话系统、机器翻译等多个领域展现出强大的能力。然而，由于训练数据质量参差不齐，LLM也会生成不期望的回应，例如提供非法活动的指导，这为其在实际应用中带来了巨大挑战。

目标

为了解决上述问题，近年来，研究人员从不同角度提出了多种方法，以增强LLM，特别是使其能够更好地对齐人类期望。Salesforce的研究人员们发表了一篇关于大模型对齐技术的综述性论文《A COMPREHENSIVE SURVEY OF LLM ALIGNMENT TECHNIQUES: RLHF, RLAIF, PPO, DPO AND MORE 》。

本文借助这篇论文，通过分类和详细解释这些对齐方法，力争能够帮助读者全面了解当前领域的发展状况。具体来说，将深入探讨包括奖励模型（Reward Model）、反馈机制（Feedback）、强化学习（Reinforcement Learning，RL）和优化方法（Optimization）在内的多种对齐技术。

这是原文中各类技术论文的表格清单，其中一些我还写过单篇论文的解读。

文章主要内容

本文将结构化地根据参考论文对对齐技术进行评述，内容包括：

1. 奖励模型：显性奖励模型与隐性奖励模型的对比，点奖励模型与偏好模型的差异，响应级奖励与令牌级奖励的应用，负偏好优化的方法。
2. 反馈机制：偏好反馈与二元反馈的区别，成对反馈与列表反馈的收集方式，人类反馈与AI反馈的来源及其效果。
3. 强化学习方法：基于参考的RL与无参考RL的对比，长度控制RL的技术，不同的发散性度量方法，On-policy RL与Off-policy RL的优缺点。
4. 优化方法：迭代/在线偏好优化与非迭代/离线偏好优化的比较，分离SFT与对齐和合并SFT与对齐的方法分析。
5. 个别论文阐述：对RLHF/PPO、RLAIF、直接人类偏好优化等多种方法的具体研究进行详细评述。
   
   

2.对齐技术的分类概述

在大模型（LLMs）的发展过程中，如何确保模型的输出符合人类预期和价值观一直是一个关键问题。本文通过对不同的对齐技术进行分类和深入分析，揭示了这些技术的核心原理、应用场景及其在模型对齐中的效果。

2.1 奖励模型（Reward Model）

奖励模型是确保大模型输出符合人类偏好和期望的核心机制之一。通过对模型输出进行评分，奖励模型为强化学习过程中的策略优化提供了关键依据。论文在分析奖励模型时，主要从以下几个方面进行了详细解读：

2.1.1 显式奖励模型与隐式奖励模型

显式奖励模型通过人工标注的数据进行训练，明确地为每个输入和输出对赋予一个分数。研究发现，这种方法在强化学习中具有很好的解释性和透明性。然而，显式奖励模型的构建和优化需要大量高质量的标注数据，这在实践中可能面临数据获取困难和标注成本高的问题。

隐式奖励模型则采取了一种更为灵活的方式，直接从策略中学习奖励，而无需明确的奖励函数。DPO（直接偏好优化）便是一种隐式奖励模型，它通过直接优化策略的偏好排序来实现对齐，而无需显式的奖励函数。这种方法不仅减少了对数据的依赖，也有效降低了训练过程中的计算开销。然而，隐式奖励模型在处理复杂任务时可能面临解释性不足的问题，这也是未来研究的一个重要方向。

2.1.2 点对点奖励模型与偏好模型

点对点奖励模型的核心思想是为每个输入和响应对生成一个独立的奖励分数。这种方法适用于评估单个响应的质量，但在面对多个响应的情况下，其局限性逐渐显现。尤其是在处理人类偏好时，单一的分数难以全面反映不同响应之间的细微差别。

偏好模型则采用了一种更为系统化的方法，通过比较多个响应来确定哪个响应更符合人类偏好。这种方法不仅能够更好地捕捉人类偏好中的细微差异，还能在面对复杂的对齐任务时表现出更强的鲁棒性。例如，在某些实验中，偏好模型能够显著提高模型输出的相关性和一致性，减少了由于误差传播导致的训练不稳定性。

2.1.3 响应级奖励与词级奖励

响应级奖励是对整个输出序列进行打分，这在许多自然语言处理任务中是非常直观的。然而，随着模型复杂度的增加，尤其是在处理长文本生成任务时，响应级奖励可能难以捕捉到细粒度的输出质量差异。

词级奖励则在每个生成的词后进行评分，能够更细致地指导模型生成过程。例如，在强化学习的应用中，词级奖励可以有效减少由于某个词的错误选择而导致的整体输出质量下降。这种方法在一些实验中展现出了显著的性能提升，尤其是在生成任务的准确性和流畅性方面。

2.1.4 负偏好优化

传统的奖励模型主要集中于识别和增强高质量的输出，而负偏好优化则关注如何处理和减少低质量或不符合预期的输出。研究表明，通过训练模型识别并避免生成不良输出，可以显著提升整体生成质量。

在某些实验中，负偏好优化不仅能够减少有害内容的生成，还能提升模型在未标注数据上的泛化能力。这种方法尤其适用于那些需要严格控制输出质量和内容安全的场景。

2.2 反馈机制（Feedback）

在强化学习框架中，反馈机制是驱动模型优化的关键因素。通过有效的反馈机制，模型可以不断调整和改进生成策略，以更好地满足人类的需求和期望。

2.2.1 偏好反馈与二元反馈

偏好反馈是一种通过比较两个或多个响应来获得反馈的机制。这种方法能够提供更为丰富的信息，从而帮助模型更好地理解和满足复杂的偏好需求。例如，在处理需要多轮对话或复杂决策的任务时，偏好反馈能够显著提升模型的表现。

相比之下，二元反馈则更为简单直接，通常以“好”或“坏”的形式提供反馈。这种方法虽然在信息量上有所不足，但由于其易于实现和高效的特点，在许多实际应用中仍然得到了广泛采用。研究发现，二元反馈特别适合那些反馈数据量有限或需要快速响应的场景。

2.2.2 成对反馈与列表反馈

成对反馈指的是通过比较两个响应来确定哪个更优。这种方法在早期的强化学习中应用广泛，但在面对复杂任务时，其效率和效果可能会受到限制。

列表反馈则通过同时比较多个响应来获得偏好排序。这种方法能够更全面地捕捉人类的偏好信息，特别是在处理需要细粒度判断的任务时表现尤为突出。研究显示，列表反馈在复杂的对齐任务中能够显著提升模型的效果，减少了由于误差累积导致的训练不稳定性。

2.2.3 人工反馈与AI反馈

人工反馈在模型对齐过程中起到了关键作用。通过收集和分析人类标注的数据，模型能够逐步调整生成策略，以更好地满足人类的期望。然而，人工反馈的获取成本高昂，且容易受到标注者主观偏见的影响。

AI反馈则利用预训练的模型来自动生成反馈，这在一定程度上解决了人工反馈的局限性。通过结合AI反馈与人工反馈，研究人员能够在减少标注成本的同时，保持对齐效果的稳定性和一致性。这种方法在处理大规模数据和复杂任务时，展现出了极大的潜力。

2.3 强化学习（Reinforcement Learning, RL）

强化学习是模型对齐过程中最为重要的技术之一。通过不断地与环境互动，模型能够逐步优化其生成策略，以最大化预期奖励。本文对强化学习在模型对齐中的应用进行了系统的分类和深入分析。

2.3.1 基于参考的RL与无参考的RL

基于参考的强化学习在对齐过程中起到了关键作用。通过设定一个参考策略，模型能够在优化过程中逐步接近或超越该策略，从而实现对齐目标。然而，这种方法在计算资源和内存占用上有较高的要求，尤其是在处理大规模模型时，基于参考的RL可能会面临较大的挑战。

无参考的强化学习则通过直接优化策略而无需依赖参考策略。这种方法在减少计算开销和提升训练效率方面展现出了显著优势，尤其是在处理复杂任务和大规模数据时，无参考的RL能够有效减少由于参考策略带来的限制和瓶颈。

2.3.2 长度控制的RL

在大模型生成过程中，响应长度的控制一直是一个关键问题。研究发现，模型往往倾向于生成冗长的响应，而这些冗长的响应往往不符合实际需求。因此，如何有效地控制生成长度成为了强化学习中的一个重要课题。

通过引入长度控制机制，研究人员能够在强化学习过程中对模型生成的响应长度进行精细化管理，从而提升生成质量和效率。实验表明，长度控制的RL在处理需要短小精悍的生成任务时，能够显著提升模型的表现，并减少不必要的计算开销。

2.3.3 不同散度在RL中的应用

散度是衡量两个概率分布之间差异的重要指标，在强化学习中，散度的选择直接影响到模型的优化效果。KL散度是最为常用的一种散度指标，通过最小化模型策略与参考策略之间的KL散度，研究人员能够有效约束模型的生成行为，确保其输出更符合人类的预期。

然而，KL散度的使用也存在一定的局限性，尤其是在处理多样性要求较高的任务时，KL散度可能会导致模型输出的多样性下降。为此，研究人员探索了其他形式的散度指标，如反向KL散度、Jensen-Shannon散度等，以更好地适应不同任务的需求。这些研究不仅丰富了强化学习的理论基础，也为实践中更为灵活的模型对齐提供了有效的工具。

2.3.4 策略内学习与策略外学习

策略内学习与策略外学习是强化学习中的两种基本策略。策略内学习通过实时更新策略来生成新的响应，从而最大化预期奖励。这种方法的优点在于能够确保生成的响应始终与最新的策略保持一致，适用于那些

需要持续优化和实时调整的任务。

策略外学习则依赖于先前生成的响应来进行策略更新，虽然这种方法在计算效率上有一定优势，但其最大的局限在于生成的响应可能与当前策略不完全匹配，从而影响优化效果。研究发现，通过结合策略内学习与策略外学习的优点，能够在保证生成质量的同时，显著提升计算效率和训练稳定性。

2.4 优化（Optimization）

优化是模型对齐过程中不可或缺的一环。通过合理的优化策略，研究人员能够在平衡计算资源和生成质量的基础上，最大化对齐效果。

2.4.1 在线/迭代偏好优化与离线/非迭代偏好优化

在线偏好优化通过不断获取新的反馈数据，实时调整模型的生成策略，从而确保模型输出始终符合最新的需求。迭代偏好优化则是在每轮优化后对模型进行评估，并基于评估结果进行进一步的优化。实验表明，这两种优化方法在处理复杂任务时，能够显著提升模型的对齐效果，减少由于训练数据不足导致的泛化误差。

离线偏好优化和非迭代偏好优化则适用于那些反馈数据量较少或反馈获取成本较高的场景。这种方法通过对现有数据进行充分利用，确保模型在有限的数据条件下依然能够实现较好的对齐效果。研究显示，离线和非迭代优化方法在某些特定任务上，表现出与在线和迭代优化方法相媲美的效果，且在计算资源的使用上更加高效。

2.4.2 将监督微调（SFT）与对齐分开或合并

在传统的强化学习框架中，监督微调（SFT）与对齐通常是分开进行的。然而，随着任务复杂性的增加，这种分离式的优化策略在效率和效果上逐渐暴露出一些问题。研究发现，将监督微调与对齐过程合并，能够显著提升模型的训练效率，减少由于独立训练阶段带来的误差累积。

通过将监督微调与对齐合并，研究人员能够在一个统一的框架下同时优化模型的生成质量和对齐效果。这种方法不仅简化了训练过程，还在多个实验中展现出了更为优越的性能表现，尤其是在处理大规模数据和复杂任务时，合并优化策略展现出了更强的适应性和鲁棒性。

根据以上分类概述的详细解读，我们可以大概看出不同对齐技术在模型优化和生成质量提升中的重要作用。这些技术不仅丰富了对齐的理论体系，也为实践中的应用提供了有力支持。在未来的研究中，这些技术的进一步发展和结合，将为大模型的高效对齐提供更为全面和深入的解决方案。

2.5 综合应用与技术关系

在实际应用中，奖励模型、反馈机制、强化学习方法和优化方法之间存在紧密的关系，经常是以组合的方式构成了LLM对齐技术的完整生态系统。

1. 奖励模型：奖励模型是对齐过程的核心，通过对生成响应进行评分，指导模型的优化。奖励模型可以是显性的（直接评分）或隐性的（间接优化），可以是点奖励模型（为单一响应评分）或偏好模型（比较多个响应）。

2. 反馈机制：反馈机制提供了奖励模型所需的数据，通过收集人类或AI的偏好反馈或二元反馈，为奖励模型提供训练数据。成对反馈和列表反馈是常见的数据收集方式。

3. 强化学习方法：RL方法通过奖励信号优化模型，基于参考的RL利用预训练模型作为基准，无参考RL直接优化策略。长度控制RL在优化过程中考虑生成响应的长度，不同的发散性度量用于衡量策略差异，On-policy RL和Off-policy RL则通过不同的数据使用策略进行优化。

4. 优化方法：优化方法决定了训练过程的具体实现，迭代/在线偏好优化通过实时反馈数据逐步优化模型，非迭代/离线偏好优化通过固定数据集进行一次性优化。分离SFT与对齐的方法通过独立阶段优化模型，合并SFT与对齐的方法同时进行微调和对齐优化。

2.5.1 典型应用范式

参照论文描述根据我个人的理解，提出了一个典型的LLM对齐应用范式如下：

1. 初始训练：通过自监督学习和指令微调，训练一个基础LLM。
2. 数据收集：使用偏好反馈或二元反馈机制收集成对或列表的响应数据。
3. 奖励模型训练：基于收集到的反馈数据，训练显性或隐性的奖励模型。
4. 强化学习优化：选择基于参考的RL或无参考RL方法，通过奖励模型提供的信号进行策略优化，同时考虑长度控制和发散性度量。
5. 优化方法应用：结合迭代/在线偏好优化和非迭代/离线偏好优化，通过分离SFT与对齐或合并SFT与对齐的方法，进一步优化模型。
6. 循环迭代：不断收集新数据，更新奖励模型和策略，迭代优化，逐步提升模型性能。

通过以上步骤，似乎就可以构建一个看起来高效、可靠的LLM对齐系统，使生成的内容更符合人类期望，提高模型的实用性和安全性。

未完待续
参考论文：arXiv:2407.16216v1 [cs.CL] 23 Jul 2024