微信扫码
添加专属顾问
我要投稿
根据以上分析,步骤如下:
1. 冻结预训练模型的权重: LoRA 不会修改预训练模型的原始权重,而是将它们冻结。
2. 注入秩分解矩阵: 在 Transformer 的每一层,LoRA 向原始权重矩阵 W 添加一个低秩矩阵更新 ΔW,其中 ΔW = BA。
- A 是一个降维矩阵,将输入特征映射到一个低维空间。
- B 是一个升维矩阵,将低维空间的特征映射回原始特征空间。
- A 和 B 的秩远小于 W 的秩。
3. 训练秩分解矩阵: 在微调过程中,只有 A 和 B 的参数会被训练,而原始权重矩阵 W 保持不变。
4. 合并权重矩阵: 在推理阶段,可以将 ΔW 与 W 合并,得到最终的权重矩阵 W' = W + ΔW。
优势:
更少的内存需求: LoRA 只需要存储和更新低秩矩阵 `A` 和 `B`,大大减少了GPU内存需求,使得在单个GPU上微调大型语言模型成为可能。
更快的训练速度: 由于需要更新的参数数量减少,LoRA 的训练速度比全参数微调更快。
更好的性能: LoRA 在许多任务上都取得了与全参数微调相当甚至更好的性能。
易于合并和切换: 不同的LoRA权重可以轻松地与基础模型合并或切换,方便实验和部署。
劣势:
并非所有模型都适用:LoRA 最适合 Transformer 架构的模型,对于其他类型的模型可能需要进行修改。
低秩假设的限制: LoRA 的性能依赖于低秩假设,如果目标任务需要对模型进行大幅度的修改,LoRA 的性能可能会受到限制。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-04
60G内存+14G显存运行满血DeepSeek R1!Ktransformers+Unsloth联合部署方案实践!
2025-04-03
Ray 在 Bilibili 的场景探索与落地实践
2025-04-03
Spring AI+DeepSeek R1搭建企业私有化模型工具(直接使用)
2025-04-02
一文看懂预训练、微调和上下文学习
2025-04-02
将复杂HTML变成AI易读Markdown | MCP精选集
2025-04-02
我让DeepSeek设计了一个智能运维平台 -- 如何做数据准备和模型训练
2025-04-02
微调大模型!ModelScope 算力,实现Qwen2.5微调模型
2025-04-01
Cursor是越来越难用了!逼着我写mdc文档比代码还多
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-04-01
2025-03-31
2025-03-20
2025-03-16
2025-03-16
2025-03-13
2025-03-13
2025-03-11