简介

方法

2.1 持续预训练

2.1.1 数据收集与去污染

为了构建持续预训练数据集Aquila-Med-cpt，智源从大规模通用预训练数据库中收集医学相关语料，包括从通用预训练语料库中提取医学相关的内容，并采用基于规则和大模型的语料质量过滤技术。

2.1.2 训练策略

持续预训练分为两个阶段。阶段一使用规则过滤的医学领域数据和一定比例的通用数据进行训练，数据量约为60B tokens。阶段二使用LLM质量模型过滤的高质量医学领域数据和开源医学SFT合成数据，数据量约为20B tokens。

2.1.3 训练细节

我们基于Aquila-7B模型进行训练，该模型具有70亿参数，最大长度为4096。第一阶段使用3*8 NVIDIA A100-40G GPU，batch size为768，学习率为1e-4，训练一个epoch。第二阶段保持其他设置不变，将batch size减少到384，学习率减少到1e-5，训练一个epoch。

2.2 监督微调（SFT）

为了提高语言模型的自然对话能力，首先进行监督微调（SFT），使预训练的LLM适应聊天风格的数据。SFT数据集包括多种问题类型，如医疗考试选择题、单轮疾病诊断、多轮健康咨询等。

2.2.1 数据构建

SFT数据集来自六个公开可用的数据集，包括Chinese Medical Dialogue Data、Huatuo26M、MedDialog、ChatMed Consult Dataset、CMB-exam和ChatDoctor。我们采用Deita方法 [1] 对数据进行自动过滤，确保从大量数据中筛选出高质量单轮数据。同时在Deita的基础上创新性地使用Context Relevance来筛选高质量多轮对话数据。

2.2.2 训练细节

Aquila-Med训练过程的超参数包括序列长度为2048，batch size为128，峰值学习率为2e-6，使用cosine learning rate scheduler。我们使用8个NVIDIA Tesla A100 GPU进行训练，AdamW优化器，bf16精度和ZeRO-3，并保留10%的训练集用于验证。

2.2.3 数据集统计

通过以上数据过滤方法，我们选择了320,000个高质量的SFT医疗数据集，其中中文和英文的比例为86%：14%。数据集包括单轮中文医疗对话、单轮英文医疗对话、多轮中文医疗对话和医疗主题知识选择题。

2.3 强化学习（RLHF）

在SFT阶段后使用RLHF算法(DPO) [2] 进一步增强模型的能力。为了确保模型输出与人类偏好一致，同时保证模型在预训练和SFT阶段获得的基础能力，我们构建了主观偏好数据和客观偏好数据。

2.3.1 数据构建

我们构建了12,727个DPO偏好对，其中包括9,019个主观数据和3,708个客观数据样本。主观偏好数据通过GPT-4生成和评估，客观偏好数据通过已知的正确答案构建。

2.3.2 训练细节

我们在8个NVIDIA Tesla A100 GPU上训练模型，设置学习率为2e-7，batch size为64，并使用cosine learning rate scheduler进行优化。

实验结果

4.1 持续预训练的结果

实验结果表明，Aquila-Med在多个基准测试上表现良好，特别是在MMLU上的表现显著提升。

4.2 模型对齐的结果

在对齐效果方法，我们从医学主题问题和医生-患者咨询两个方面进行评估。结果显示，Aquila-Med-Chat在指令跟随能力方面表现出色，Aquila-Med-Chat (RL)在C-Eval上以及单轮多轮对话能力的表现尤为突出。

结论