01 什么是微调（Fine-Tuning）？

02 强化微调RFT是什么？

强化微调不同于监督微调，其目标是让模型学会推理和解决问题，而不仅仅是复制模式。

• 该过程通过为模型提供一个问题，允许其思考解决方案，对最终答案进行评分，并使用强化学习鼓励成功的推理路径。

• 这种技术类似于训练 GPT-4 和其他前沿模型的方式，仅需少量的例子（几十个）即可有效学习。

科学研究中的应用：罕见遗传病的案例研究

伯克利实验室研究员 Justin Reese 讨论了强化微调在理解和治疗罕见遗传病中的潜力，这类疾病影响了全球大量人口。

• 研究重点是开发将医学专家知识与系统性生物医学数据推理结合的计算工具，使用“Zero-one”模型实现这一目标。

• Reese 解释了如何通过从科学出版物中提取疾病信息，创建包含症状、缺失症状和致病基因的数据集，以根据患者症状预测变异基因。

03 使用 RFT 相比传统微调方法有哪些关键优势？

• 提升推理能力：RFT 专注于增强模型的推理和解决问题的能力，使其能够在需要深入专业知识的复杂任务中表现出色。

• 高效的数据需求：RFT 即使在数据量有限的情况下（有时仅需几十个样本）也能实现显著性能提升，而标准微调通常需要大量数据集。

• 泛化能力：RFT 训练模型将学习成果推广到新的、未见过的数据中，避免仅仅记忆训练数据中的模式，从而使模型在实际场景中更加稳健和适应性强。

04 什么是“评分器（Graders）”，它们在 RFT 中的作用是什么？

“评分器”是 RFT 过程中的关键组件，它们作为评估函数，通过将模型输出与已知正确答案进行对比来评估输出质量。

• 评分器分配的分数范围从 0 到 1，其中 0 表示完全错误的答案，1 表示完美的答案。

• 这些分数为强化学习算法提供反馈，指导模型改进推理并生成更好的响应。

• OpenAI 提供了一系列用于常见任务的预建评分器，并计划未来允许用户定义自定义评分器。

05 RFT对数据的要求是什么？这些数据是如何构建的？

RF 需要以 JSONL 格式提供训练和验证数据集。文件中的每一行表示一个示例，包含以下内容：

• 病例报告：需要模型分析的场景描述，例如医学案例中的患者症状。

• 指令：明确解释任务的提示，包括所需的输出格式。

• 正确答案：已知的真实答案，用于评估模型的输出。在训练过程中不会向模型透露正确答案，但评分器会使用它。

  
  

验证数据集使用相同格式，但包含与训练集不重叠的不同示例，以确保模型的泛化能力。

06 RFT应用的真实案例

一个典型的案例是罕见遗传病研究。OpenAI 与伯克利实验室和德国 Charité 医院的研究人员合作，使用 RFT 训练 Zero-One Mini 模型。

• 该模型基于一个包含病例报告、患者症状和致病基因的数据集进行训练。

• 通过 RFT，该模型学会了有效推理罕见疾病的成因，并在性能上超越了更大的 Zero-One 模型，展示了其在诊断和理解复杂病情方面的潜力。

07 RFT的未来发展方向及其潜在影响是什么？

• 扩大访问范围：向研究人员和开发者广泛开放 RFT，将释放其潜在的应用范围。

• 自定义评分器：允许用户定义自己的评分器，将进一步提高 RFT 在各种任务中的灵活性和适用性。

• 与其他工具整合：将 RFT与其他 AI 技术和平台结合，创造更强大、通用的 AI 解决方案。

RFT 的持续发展与更广泛的采用，有望显著提升多个领域的 AI 能力，推动科学研究、医疗保健等行业的突破性进展。

强化微调的潜力不仅限于科学研究，还在多个领域表现出前景。

• OpenAI 正在扩展其 alpha 计划，为更多研究人员和开发者提供访问权限。

• 该计划鼓励处理复杂任务且需要专家级AI辅助的组织参与，旨在探索技术的全面潜能。

三、强化微调的实际操作：演示

在 OpenAI 开发平台上提供了强化微调过程的分步演示，包括：

1. 数据准备：上传 JSONLines 格式的训练和验证数据集，其中包含病例报告、症状、模型指令和正确答案。

2. 评分器实现：定义一个评分器，根据正确答案对模型输出进行评估，评分范围为 0 到 1，并提供多种任务意图的评分器。

3. 训练与评估：启动训练任务，利用 OpenAI 的基础设施和算法。微调模型显示验证奖励分数逐步上升，表明在任务上的泛化能力。

4. 与基线模型比较：评估仪表盘结果展示了微调后的 Zero-one Mini 模型与基础 Zero-one Mini 和更大 Zero-one 模型的性能对比。微调模型在“Top at One”准确率上表现出显著提升。