从LoRA到QLoRA：量化技术如何改变预训练模型的微调方式
发布日期：2024-08-22 06:12:06
浏览次数： 1877
来源：智能体AI
在现代人工智能的发展中，预训练语言模型（LLM）已成为各种自然语言处理任务中的关键技术。这些模型通常具有数十亿甚至数千亿的参数，因此需要巨大的计算和存储资源来进行微调。QLoRA提出了一种新方法，使得在单个48GB的GPU上微调具有65B参数的大模型成为可能，并且保持了16-bit微调任务的性能。本文将详细介绍QLoRA的方法及其带来的变革。一、 FFT vs LoRA vs QLoRA
在讨论QLoRA之前，有必要了解全量微调（Full Fine-Tuning，FFT）和低秩适配器（Low-Rank Adaptation，LoRA）这两种现有的方法。
1.1 全量微调（FFT）
全量微调是一种传统的方法，要求对预训练模型的所有参数进行更新。这意味着每次微调任务都需要大量的计算和存储资源。虽然这种方法可以在微调任务中达到最佳性能，但在处理大规模模型时，其资源消耗非常高。例如，微调一个具有数十亿参数的模型可能需要多个高性能GPU和大量的时间。1.2 LoRA
LoRA提出了一种低秩适配器的方法，通过引入低秩矩阵来调整预训练模型的参数，从而减少需要更新的参数数量。这样做的好处是显著降低了计算和存储需求，使得在相对有限的硬件资源上也能进行有效的微调。然而，LoRA在某些情况下的性能可能不如全量微调，因为它只对部分参数进行了调整。1.3 QLoRA
QLoRA在LoRA的基础上进一步优化，通过引入量化技术，使得在单个48GB GPU上微调65B参数模型成为可能。QLoRA通过冻结int4量化预训练语言模型，并将梯度反向传播到低秩适配器LoRA，实现了高效的微调。这种方法既保留了LoRA的低秩适配优势，又通过量化技术降低了计算和存储需求。
二、 QLoRA 提出新数据类型 4-bit NormalFloat (NF4)
QLoRA的一个关键创新在于其量化技术，尤其是新提出的4-bit NormalFloat (NF4) 数据类型。2.1 8-bit 量化和量化常数c
在传统的量化方法中，8-bit量化是一种常见的技术。它通过一个量化常数c将输入张量的值映射到8-bit的范围内，从而实现数据压缩。然而，8-bit量化在处理大规模模型时仍然需要大量的存储空间和计算资源。
2.2 NormalFloat (NF) 数据类型
NormalFloat (NF) 数据类型建立在分位数量化（Quantile Quantization）基础上。这是一种信息论最优的数据类型，能够确保每个量化区间中具有相同数量的值。分位数量化通过经验累积分布函数（ECDF）估计输入张量的分位数，虽然分位数估计过程较为昂贵，但快速分位数近似算法（如SRAM分位数）可以有效解决这一问题。2.3 4-bit NormalFloat (NF4)
由于预训练神经网络的权重通常具有标准差为σ的零中心正态分布，通过缩放σ可以将所有权重转换为单个固定分布，使其符合NF4的数据范围。在QLoRA中，NF4的数据范围被设定为[-1, 1]。通过归一化，神经网络权重的分位数能够匹配这一范围，从而实现高效的量化。具体来说，NF4通过以下步骤实现：估计标准正态分布N(0,1)的分位数，得到正态分布的k位分位数量化数据类型。
将这些分位数值归一化到[-1, 1]范围内。
将输入权重张量归一化到[-1, 1]范围内进行量化。
三、QLoRA 提出双量化技术：量化（量化常数）
除了数据类型的创新，QLoRA还提出了双量化技术，这种技术设计了存储数据类型（4-bit NormalFloat）和计算数据类型（16-bit BrainFloat）。3.1 双量化技术的应用
在QLoRA中，权重从存储数据类型（4-bit NormalFloat）反量化为计算数据类型（16-bit BrainFloat），以进行前向和后向传播。然而，只有16-bit BrainFloat的LoRA参数的权重梯度会被计算，这样一来，权重只有在需要时才会解压缩。这种方法在训练和推理期间保持了较低的内存使用率。
3.2 优化内存使用
双量化技术的应用使得在单个GPU上进行大规模模型的微调成为可能，同时显著降低了内存使用率。这对于资源有限但需要处理大规模模型的应用场景来说，具有重要意义。通过这种方法，可以在有限的硬件资源上实现高效的模型微调和推理，极大地提高了计算资源的利用效率。四、总结
QLoRA通过引入4-bit NormalFloat数据类型和双量化技术，成功在低资源条件下实现了大规模预训练模型的高效微调。这种方法不仅保留了LoRA的低秩适配优势，还进一步优化了内存使用和计算效率，为大规模模型的实际应用提供了新的可能性。未来，QLoRA有望在更多的自然语言处理任务中发挥重要作用，推动人工智能技术的进一步发展。
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
粤ICP备17114055号
支持私有云部署
