【#】LLaMA微调指南-文章目录

Methods for adapting large language models
【1】LLM适应方法-Approaches to LLM adaptation
【2】选择正确的适应方法-Choosing the right adaptation method
https://ai.meta.com/blog/how-to-fine-tune-llms-peft-dataset-curation/

To fine-tune or not to fine-tune
【3】微调or not ？To fine-tune or not to fine-tune
【4】与其他领域自适应技术的比较-Comparison with other techniques for domain adaptation
https://ai.meta.com/blog/when-to-fine-tune-llms-vs-other-techniques/

How to fine-tune: Focus on effective datasets
【5】Full fine-tuning vs. parameter-efficient fine-tuning (PEFT)
【6】数据集管理Dataset curation
https://ai.meta.com/blog/how-to-fine-tune-llms-peft-dataset-curation/

【1】LLM适应方法-Approaches to LLM adaptation

• 仅输入和输出文本—即少样本学习 
• 推理痕迹：添加中间推理步骤；参见链式思维（Chain-of-Thought，CoT）提示
• 计划和反思痕迹：添加教会LLM计划和反思其问题解决策略的信息；参见ReACT

【2】选择正确的适应方法-Choosing the right adaptation method

需要考虑的因素：所需模型能力、训练成本、推理成本、数据集类型等。

❌ 预训练

预训练是LLM训练的重要部分，使用token prediction variant 作为损失函数。其自监督特性允许在大量数据上进行训练。例如，Llama 2是在2万亿个标记上进行训练的。这需要巨大的计算基础设施：Llama 2 70B耗费了172万 GPU小时。因此，对于资源有限的团队，不推荐将预训练作为LLM适应的可行方法。

由于预训练计算成本高，因此更新已经预训练的模型权重可能是将LLM适应于特定任务的有效方法。任何更新预训练模型权重的方法都容易受到所谓的灾难性遗忘现象(catastrophic forgetting)的影响，即模型遗忘之前学到的技能和知识。例如，一项研究显示，在医学领域进行微调的模型在执行指令跟随和常见QA任务时性能下降。其他研究也表明，通过预训练获得的一般知识可能会在后续训练中被遗忘。例如，这项研究提供了一些关于LLM在领域知识、推理和阅读理解方面的知识遗忘的证据。

❌ 继续预训练

考虑到灾难性遗忘，最近的发展表明，继续预训练（CPT）可以在比预训练所需计算成本低得多的情况下进一步提升性能。CPT对那些需要LLM获得新转化技能的任务可能是有益的。例如，报告显示继续预训练在增加多语言能力方面取得了成功。

但CPT需要大量的数据和计算资源。例如，Pythia套件经历了第二阶段的预训练，产生了FinPythia-6.9B。这个专门针对金融数据设计的模型，在使用包含240亿个标记的数据集进行CPT的18天内完成。

此外，CPT也容易受到灾难性遗忘的影响。因此，对于资源有限的团队，不推荐继续预训练作为LLM适应的可行方法。

总之，使用自监督算法和未标注数据集进行LLM适应，如预训练和继续预训练，是资源和成本密集型的，不推荐将CPT作为可行的方法。

✅ 全参微调和参数高效微调（PEFT）

与使用未标注数据集的预训练相比，使用较小的标注数据集进行微调是一种更具成本效益的方法。通过将预训练模型适应于特定任务，微调模型在各种应用和特定领域（如法律、医学或金融）中显示出达到最先进的结果。

微调，特别是参数高效微调（PEFT），只需要预训练/继续预训练所需计算资源的一小部分。因此，PEFT是资源有限的团队适应LLM的可行方法。

✅ 检索增强生成（RAG）

如果您的应用需要从动态知识库中提取信息（例如QA机器人），RAG可能是很好的解决方案。

基于RAG的系统的复杂性主要在于检索引擎的实现。此类系统的推理成本可能更高，因为提示包括检索的文档，大多数提供商使用按标记计费的模式。

✅ 上下文学习（ICL）

ICL不需要额外的训练数据或计算资源，是适配LLM最具成本效益的方式。

然而，与RAG类似，随着推理时处理更多的token，推理的成本和延迟可能会增加。

https://ai.meta.com/blog/how-to-fine-tune-llms-peft-dataset-curation/

【3】微调or not ？To fine-tune or not to fine-tune

微调可能带来益处的典型场景

【4】与其他领域自适应技术的比较-Comparison with other techniques for domain adaptation

微调 vs. 通过上下文（少样本）学习

微调 vs. RAG

通常的共识是，当LLM的基础性能不够强时，可能“从RAG开始，评估其性能，如果发现效果不佳，再转向微调”，或者认为“RAG可能在某些方面优于微调”（来源）。然而，认为这种观点过于简单，因为在某些情况下，RAG不仅不是微调的替代方案，反而是微调的补充方法。

根据问题的特性，可能需要尝试其中一种或两种方法。采用本文的框架，以下是一些问题，您可以通过这些问题来判断微调或RAG（或两者兼而有之）是否适合您的问题：

• 您的应用是否需要外部知识？微调通常无法有效地注入新知识。

• 您的应用是否需要自定义语气/行为/词汇或风格？对于这些类型的要求，微调通常是正确的方法。

• 您的应用对幻觉（虚假生成内容）有多大的容忍度？在需要抑制错误和虚假内容的应用中，RAG系统提供了内置机制来最小化幻觉的产生。

• 可用的标注训练数据有多少？

• 数据的静态/动态性如何？如果问题需要访问动态的数据集，微调可能不适合，因为LLM的知识可能很快会变得过时。

• LLM应用需要多大程度的透明度/可解释性？RAG本质上可以提供参考，对于解释LLM输出非常有用。

• 成本和复杂性：团队是否具备构建搜索系统或先前微调的经验？

• 应用中的任务多样性如何？

在大多数情况下，微调和RAG的混合解决方案将产生最佳结果—此时的问题在于同时进行两者的成本、时间和额外独立效益。可参考上述问题来指导决策，以确定是否需要RAG和/或微调，并通过内部实验来了解通过错误分析可以获得的指标提升。最后，进行微调探索确实需要健全的数据收集和数据改进策略，建议将其作为开始微调的前置步骤。

https://ai.meta.com/blog/when-to-fine-tune-llms-vs-other-techniques/

【5】Full fine-tuning vs. parameter-efficient fine-tuning (PEFT)

无论是完全微调还是PEFT技术，在学术研究和实际应用中，应用于新领域时都展示了提升下游任务性能的能力。选择其中一种方法通常取决于可用的计算资源（GPU时间和GPU内存）、非目标下游任务的性能（即学习-遗忘权衡）以及人工标注的成本。

完全微调更容易遭遇两个问题：模型崩溃和灾难性遗忘。模型崩溃(model collapse )是指模型的输出趋于有限的一组结果，原始内容分布的尾部消失。灾难性遗忘(catastrophic forgetting)，是指会导致模型丧失某些能力。尽管需要更多研究，但一些早期的实证研究表明，与PEFT技术相比，完全微调技术更容易遇到上述问题。

PEFT本质上可以作为微调的自然正则化手段。PEFT通常训练下游模型所需的计算成本较低，对于数据集规模有限的资源受限场景，更具可操作性。在某些情况下，完全微调在特定任务上的表现更优，但通常伴随着遗忘原模型某些能力的代价。本文在比较LoRA与完全微调时深入探讨了在特定下游任务性能和其他任务性能之间的“学习-遗忘”权衡。

在资源受限的情况下，与完全微调相比，PEFT技术通常能提供更高的性能提升/成本比。如果下游任务的性能至关重要，完全微调将是最有效的选择。在任一场景中，关键在于创建一个高质量的数据集，并牢记以下重要原则。

【6】数据集管理Dataset curation

https://ai.meta.com/blog/how-to-fine-tune-llms-peft-dataset-curation/