• 我需要对大模型做微调吗？
• 想自定义大模型时，选择：微调还是RAG还是ICL？

需要对大模型做微调？

• 在人工智能的世界里，大型语言模型（LLM）已经成为了我们探索未知、解决问题的得力助手。
• 但是你想自己定义一个属于自己的大模型，它有自己特色的数据训练和回答方式。自己从头训练一个大模型的成本太高
• 这时候可能需要考虑在已有的大模型上做：微调
• 就像一个微整容手术一样，变得更帅

1. 定制化风格与格式

你是否需要一个能够模仿特定人物或服务于特定受众的聊天机器人？通过使用定制数据集对LLM进行微调，我们可以使其响应更加贴近受众的具体要求或预期体验。例如，你可能需要将输出结构化为JSON、YAML或Markdown格式。

2. 提高准确性，处理边缘案例

微调可以用来纠正那些通过提示工程和上下文学习难以修正的错误。它还可以增强模型执行新技能或任务的能力，这些任务在提示中难以表达。例如，Phi-2在金融数据分析上的准确率从34%提高到了85%，而ChatGPT在Reddit评论情感分析上的准确率提高了25个百分点。

3. 针对小众领域的优化

尽管LLM在大量通用数据上进行了训练，但它们可能并不总是精通每个小众领域的专业术语或特定细节。在法律、医疗或金融等多样化领域，微调已被证明可以提高下游任务的准确性。

4. 成本降低

微调可以将大型模型（如Llama 2 70B/GPT-4）的技能提炼到更小的模型中（如Llama 2 7B），在不牺牲质量的情况下降低成本和延迟。此外，微调减少了对长或特定提示的需求，从而节省了令牌，进一步降低了成本。

5. 新任务/能力

微调通常可以通过以下几种方式实现新的能力：

• 使LLM更好地使用给定检索器的上下文或完全忽略它。
• 评估其他LLM的指标，如基于事实的、合规性或有用性。
• 增加LLM的上下文窗口。

微调的五种方法：

微调的五大方法

1. Freeze 方法，即参数冻结，对原始模型部分参数进行冻结操作；

• 
  
1. P-Tuning 方法，参考 ChatGLM 官方代码 ，是针对于大模型的 soft-prompt 方法；
• 
  
1. LoRA 方法，的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练；
• 
  
1. AdaLoRA 方法是对 LoRA 的一种改进，并根据重要性评分动态分配参数预算给权重矩阵；
• 
  
1. QLoRA 方法，是使用一种新颖的高精度技术将预训练模型量化为 4 bit，并添加一小组可学习的低秩适配器权重。

微调方法对比

• 一般我们说的微调分类会简化成：
• 1.全参数微调：贵，慢，效果最佳
• 2.LoRa：快，偏宜，佳
• 3.改进LoRa：快，偏宜，佳

微调与其他技术对比

微调 vs. ICL

上下文学习（ICL）是一种强大的提高基于LLM系统性能的方法。鉴于其简单性，应该在进行任何微调活动之前尝试ICL。此外，ICL实验可以帮助你评估微调是否会提高下游任务的性能。

微调 vs. RAG

普遍的共识是，当LLM的基础性能不令人满意时，你可能会“从RAG开始，评估其性能，如果发现不足，转向微调”，或者认为“RAG可能优于微调”。然而，我们认为这种范式过于简单化了，因为有许多场景中，RAG不仅不是微调的替代品，而且更多地是微调的补充方法。

对比

特性/技术	微调 (Fine-tuning)	RAG (Retrieval-Augmented Generation)	上下文学习 (In-Context Learning, ICL)
定义	对预训练模型进行额外训练以适应特定任务或数据集。	结合检索系统和生成模型，以提供更准确的信息。	通过在输入中提供示例来指导模型完成特定任务。
使用成本	较高，因为需要额外的训练数据和计算资源。	较高，需要维护检索系统和训练成本。	较低，不需要额外训练，但可能需要更多的输入示例。
准确性	通常更高，特别是对于需要特定领域知识的复杂任务。	可能更高，特别是在需要外部信息的任务中。	可能因示例数量和质量而变化，但通常不如微调准确。
处理边缘案例	有效，可以专门针对边缘案例进行训练。	有效，可以通过检索相关信息来处理。	受限于提供的示例，可能无法覆盖所有边缘情况。
定制化	高度可定制，可以针对特定风格或格式进行优化。	可定制，但受限于检索系统的能力。	可定制，但需要精心设计的示例。
新任务/能力	可以学习新任务，但可能需要大量数据。	可以处理需要外部信息的新任务。	可以处理新任务，但通常需要更多示例。
数据依赖性	依赖于训练数据的质量和相关性。	依赖于检索系统提供的数据。	依赖于提供的示例数据。
更新频率	需要定期重新训练以保持知识更新。	需要更新检索系统以保持信息最新。	无需更新，但示例可能需要更新以反映新信息。
维护难度	较高，需要专业知识和资源进行训练和维护。	较高，需要维护检索系统和生成模型。	较低，主要涉及示例的更新和管理。
适用场景	适合需要高度定制化和准确性的场景。	适合需要结合大量外部信息的场景。	适合快速原型设计和探索性任务。
成本效益分析	对于需要高度定制化的应用，成本效益可能更高。	对于需要实时检索信息的应用，成本效益可能更高。	对于需要快速部署和较少资源投入的应用，成本效益最高。

结论

在大多数情况下，微调和RAG的混合解决方案将产生最佳结果。问题变成了进行两者的成本、时间和额外的独立收益。参考上述问题来指导你的决策，如果需要RAG和/或微调，并通过内部实验来理解通过分析错误可能获得的指标增益。最后，微调的探索确实需要一个健全的数据收集和数据改进策略，我们建议将其作为开始微调的前奏。

方法	成本	优势	劣势	特点	使用场景
全参数微调	高	- 能够捕捉到数据的细微特征 - 模型性能通常较好	- 需要大量计算资源 - 训练时间长 - 容易过拟合	- 所有参数都参与训练	- 需要大量标注数据 - 适用于对模型性能要求极高的场景
LoRA	中	- 减少参数量，节省计算资源 - 保持模型性能	- 可能不如全参数微调的性能	- 仅对部分参数进行微调	- 资源有限但需要微调的场景
QLoRA	中	- 比LoRA更灵活 - 可以更好地捕捉数据特征	- 计算资源需求比LoRA高	- 通过量化来减少参数量	- 需要在保持性能的同时减少参数量的场景
RAG	可高可低	- 能够进行检索增强学习 - 可以处理长文本和复杂任务	- 需要额外的检索系统 - 训练复杂度增加	- 结合检索和生成	- 需要处理大量信息和复杂查询的场景
ICL	低	- 通过对比学习提高模型鲁棒性 - 可以处理不同的数据分布	- 需要设计合适的对比样本	- 通过对比学习进行微调	- 需要提高模型泛化能力的场景