神经网络算法 - 一文搞懂模型微调Fine-tuning

几种微调CNN模型的方法：

方法一：仅修改最后一层（全连接层）

• 策略：保持预训练CNN模型中除最后一层外的所有层不变，仅替换或修改最后的全连接层以适应新任务的类别数。根据需要，可以选择是否冻结靠近输入的层。

• 效果：快速适应新任务的分类需求，同时保留预训练模型学到的有用特征。

方法二：修改最后几层

• 策略：除了最后一层外，还修改倒数第二层或更前面的几层，以适应新任务的特征需求。在修改过程中，可以根据需要选择是否冻结部分层。

• 效果：使模型学习更多与新任务相关的特征表示，提高在新任务上的性能。但需要注意过拟合的风险。

方法三：微调整个模型

• 策略：对预训练模型的所有层进行参数更新，以适应新任务的需求。在微调过程中，可以根据需要选择是否冻结部分层，以平衡新特征学习和保留有用特征的需求。

• 效果：使模型在新任务上达到更好的性能，但需要更多的计算资源和时间，并容易过拟合。

Transformer block with adapters：一种有效的参数高效微调技术，它通过在预训练的 Transformer 模型的主干网络中添加额外的适配器（adapters）或残差块，来实现对特定任务的微调。这些适配器通常是可训练的参数，而模型的其他部分则保持固定。

Transformer block with adapters 的微调方法通常包括以下步骤：

1. 加载预训练模型：首先，加载已经在大规模语料库上预训练好的 Transformer 模型。

2. 添加适配器：在模型的主干网络中，为每个 Transformer 层添加适配器。这些适配器可以是简单的线性层或更复杂的结构，具体取决于任务的需求。

3. 初始化适配器参数：为添加的适配器设置初始参数。这些参数通常是随机初始化的，也可以采用其他初始化策略。

4. 进行微调：使用特定任务的数据集对模型进行微调。在微调过程中，仅更新适配器的参数，而保持模型的其他部分不变。

5. 评估性能：在微调完成后，使用验证集评估模型的性能。根据评估结果，可以进一步调整适配器的结构或参数，以优化模型的性能。