引言

• Full Fine-tuning（微调）是指在预训练模型上，进一步训练以适应特定任务或数据集，全量调整模型参数，提高模型性能。
• PEFT（Prompt Engineering Fine-Tuning）通过降低模型训练规模，按照模型的输入要求，给到训练样本，调整部分参数，提高生成质量。
• RAG（Retrieval-Augmented Generation）结合了信息检索和生成技术，一般通过向量数据库，给提示词附加上上下文内容，提升生成质量。
• Prompt engineering（提示词工程），通过调整提示语的形式和内容，指导模型生成特定风格或内容的文本。

调优技术及其关键实现步骤

1. 全参数微调（Full Fine-tuning）

• 准备任务特定的标注数据集。

• 预处理数据，使其适用于模型输入。

• 配置模型超参数，如学习率、批量大小和训练周期。

• 使用任务数据对模型进行训练，监控验证集上的性能以防止过拟合。

• 在测试集上评估模型性能，使用如BLEU、ROUGE等指标。

• 根据评估结果迭代优化模型性能。

2.PEFT（Parameter-efficient Fine-tuning）

• 选择性地更新模型中的一小部分参数。

• 利用如LoRA（Low-Rank Adaptation）等技术减少可训练参数的数量。

• 保持预训练模型的大部分权重不变，只对选定参数进行更新。

• 进行训练，重点关注更新的参数部分。

• 评估并迭代模型以达到最佳性能。

3. 提示词工程（Prompt Engineering）

• 设计输入提示，引导模型输出期望的响应。

• 使用zero-shot或few-shots，根据需要提供示例。

• 通过链式思考提示引导模型进行详细的问题解决。

• 测试并调整提示词以提高模型的准确性和鲁棒性。

4. 检索增强生成（Retrieval Augmented Generation, RAG）

• 构建或访问一个与应用上下文相关的外部数据源。

• 实现检索组件，将数据转换为向量并存储在向量数据库中。

• 结合检索到的信息和用户查询，为模型提供额外的上下文。

• 将检索到的文档与原始查询合并，生成最终响应。

调优技术对比

适用场景

• 全参数微调：适用于需要模型完全理解特定领域知识的场景。

• 参数高效微调：适用于计算资源有限，但仍需模型适应特定任务的场景。

• 提示工程：适用于快速迭代和测试不同输出格式的场景。

• 检索增强生成：适用于需要结合外部最新数据源提供信息的场景。

实现成本

• 全参数微调：成本较高，需要大量计算资源和时间。

• 参数高效微调：成本较高，比全参数成本低一些，因为只更新模型的一小部分参数。

• 提示工程：成本最低，主要涉及编写和测试提示。

• 检索增强生成：成本中等，需要实现检索组件和处理外部数据源。

模型准确性

• 全参数微调：通常能提供最高的准确性，因为模型完全针对任务数据进行了优化。

• 参数高效微调：准确性接近全参数微调，但可能在某些任务上略有不足。

• 提示工程：准确性依赖于提示的设计，可能无法完全匹敌人工微调的结果。

• 检索增强生成：在需要最新信息的场景中准确性较高，但可能不如微调方法在特定领域的适应性强。

时效性

• 全参数微调：更新模型以反映最新数据成本最高，最慢，需要定期重新训练。

• 参数高效微调：可以较快地适应新数据，但仍需进行微调。

• 提示工程：几乎零成本，可以快速适应新的输出格式或结构要求。

• 检索增强生成：时效性最好，有一定的开发和信息维护的成本，适应动态变化的数据环境。