粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
根据以上分析，步骤如下：
1. 冻结预训练模型的权重: LoRA 不会修改预训练模型的原始权重，而是将它们冻结。
2. 注入秩分解矩阵： 在 Transformer 的每一层，LoRA 向原始权重矩阵 W 添加一个低秩矩阵更新 ΔW，其中 ΔW = BA。
- A 是一个降维矩阵，将输入特征映射到一个低维空间。
- B 是一个升维矩阵，将低维空间的特征映射回原始特征空间。
- A 和 B 的秩远小于 W 的秩。
3. 训练秩分解矩阵: 在微调过程中，只有 A 和 B 的参数会被训练，而原始权重矩阵 W 保持不变。
4. 合并权重矩阵: 在推理阶段，可以将 ΔW 与 W 合并，得到最终的权重矩阵 W' = W + ΔW。
优势:
更少的内存需求: LoRA 只需要存储和更新低秩矩阵 `A` 和 `B`，大大减少了GPU内存需求，使得在单个GPU上微调大型语言模型成为可能。
更快的训练速度: 由于需要更新的参数数量减少，LoRA 的训练速度比全参数微调更快。
更好的性能: LoRA 在许多任务上都取得了与全参数微调相当甚至更好的性能。
易于合并和切换: 不同的LoRA权重可以轻松地与基础模型合并或切换，方便实验和部署。
劣势:
并非所有模型都适用:LoRA 最适合 Transformer 架构的模型，对于其他类型的模型可能需要进行修改。
低秩假设的限制: LoRA 的性能依赖于低秩假设，如果目标任务需要对模型进行大幅度的修改，LoRA 的性能可能会受到限制。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-10-05
ChatGPT从今天开始，Plus 和Team 用户可以通过在模型选择器中选择“GPT-4o with canvas”
2024-10-03
OpenAI革新性功能："Prompt Caching"—— 提速降本的双赢之选
2024-10-02
OpenAI开发者日：实时API、模型蒸馏、视觉微调重磅发布！
2024-10-02
OpenAI DevDay公布五项重大创新，AI实时语音的时代来了！成本比GPT-3降低近1000倍！
2024-09-30
Word Embedding揭秘：如何用词嵌入提升NLP模型表现
2024-09-30
DocChat：在几个小时内完成 GPT-4 级别对话QA训练！
2024-09-30
不要上来就大模型，从训练一个小模型开始
2024-09-30
o1的规划能力如何？LRM是未来吗？
2024-07-11
2024-07-09
2024-07-11
2024-06-11
2024-09-18
2024-07-23
2024-07-09
2024-07-20
2024-07-12
2024-07-11
回到顶部