Lora（Low-Rank Adaptation）是一种新的模型微调技术[1].，通过在预训练模型的基础上引入低秩矩阵，实现高效、快速的模型适配。Lora在保持预训练模型性能的同时，大大减少了微调所需的计算资源和存储空间，使得在资源有限的情况下也能够进行高质量的模型微调。

一、前置知识

1.什么是微调，为什么要微调

微调(Fine-tuning)是指在一个已经训练好的模型基础上,针对新的任务或数据,进行少量的训练,以适应新的需求。例如,OpenAI开发的大语言模型ChatGPT,经过在海量对话数据上的预训练,具备了强大的语言理解和生成能力。但如果我们想将ChatGPT应用于特定领域,如医疗、法律或金融,可能需要在相关领域的数据上进行微调。通过微调,ChatGPT可以快速适应特定领域的术语、写作风格和知识,生成更加准确、专业的回复。微调后的ChatGPT模型,可以更好地服务于特定领域的应用,如医疗咨询、法律问答、金融分析等。

2.矩阵的秩的概念讲解

在线性代数中，矩阵的秩（Rank）是指矩阵中线性无关的行或列的最大数目。一个矩阵的秩不会超过其行数或列数的最小值。秩反映了矩阵的信息量和独立性。例如，考虑以下两个矩阵：

A = [1 2; 3 4], rank(A) = 2

B = [1 2; 2 4], rank(B) = 1

矩阵A的两行（或两列）线性无关，所以其秩为2；而矩阵B的第二行是第一行的两倍，所以其秩为1。低秩矩阵意味着矩阵中存在较多线性相关的行或列，即矩阵的信息冗余度高。

3.权重矩阵的变化是低秩的假设

Lora微调的核心假设是，在微调过程中，权重矩阵的变化是低秩的。这意味着，尽管原始的权重矩阵可能是高维、复杂的，但在微调时，权重矩阵的变化可以用一个低秩矩阵来近似表示。例如，假设原始权重矩阵W₀的维度为1000×1000，在微调时，我们可以引入两个50×1000的低秩矩阵A和B，它们的乘积BA（50×50）可以近似表示W的变化。这里的50即是秩的可能最大值。这个假设减少了需要学习的参数数量，提高了微调的效率。

二、公式讲解

为了更好地理解Lora微调的数学原理,让我们首先看一下这张图片(图1)

Hu, Edward J., et al. “LoRA: Low-rank adaptation of large language models”, [1].

这张图片展示了Lora微调的重新参数化过程。在这个过程中,我们只训练低秩矩阵A和B,而保持预训练权重矩阵W不变。

图片的左侧显示了预训练权重矩阵W的维度信息:W ∈ Rd×d,即W是一个d×d的方阵。这个矩阵表示原始模型中的权重。

图片的右侧展示了Lora微调中引入的两个低秩矩阵A和B:

• W是原预训练模型中的权重矩阵,在适应过程中保持冻结,不进行训练和更新。它的形状为d×k。

• A是一个可训练的矩阵,形状为r×k,其中r<<min(d,k)称为LoRA的最大秩。A使用随机高斯分布进行初始化,其元素由均值为0的高斯分布采样得到。

  
  

• B也是一个可训练的矩阵,形状为d×r。B在初始化时为全0矩阵。

基于这种重新参数化，Lora微调的数学表达可以用以下公式表示：

• W₀表示预训练的权重矩阵，ΔW表示微调时的参数更新。 LoRA 限制权重更新，使得ΔW = BA

• W₀x表示原始的前向传播过程,即输入x通过权重矩阵W₀得到输出。例如,在语言模型中,x可以是词嵌入向量,W₀是词嵌入层到隐藏层的权重矩阵。

• BAx表示微调过程引入的修正项,A和B是两个低秩矩阵,它们的乘积BA表示对原始权重矩阵W的修正。例如,如果W的维度是1000×1000,A和B的维度分别是50×1000和1000×50,则BA的维度是50×50。

• (W₀ + BA)x表示将原始权重矩阵W和修正项BA相加,得到微调后的权重矩阵,再与输入x相乘,得到最终的输出h。

通过这种重新参数化,Lora微调可以在保持预训练权重不变的情况下,通过学习低秩矩阵BA来适应新的任务。这样可以大大减少需要训练的参数数量,提高微调的效率。同时,由于矩阵W0是预训练的，,并在训练过程中保持不变,因此可以进一步降低计算和存储成本。

通过引入低秩矩阵A和B,并采用重新参数化的方式,Lora微调可以在保持原始模型结构不变的情况下,通过少量参数的学习,实现模型的快速适配。

总结

通过上述讨论和示例，我们可以看到LoRA微调技术不仅有效地利用了预训练模型的强大能力，同时通过引入低秩更新，实现了对新任务的快速适应。这一过程通过一个简洁的公式h = (W₀+ BA)x被优雅地描述，展现了深度学习模型微调的潜力和效率。通过这种方式，我们可以在不牺牲模型性能的前提下，快速地将预训练的智能应用到广泛的新领域和任务中。