一文彻底搞懂Fine-tuning - 超参数（Hyperparameter）

• 定义：决定神经元如何对其输入进行非线性变换。虽然激活函数本身不是直接改变网络结构的超参数，但不同的激活函数会影响网络的非线性能力和表达能力，从而间接影响网络的结构和性能。

• 常见类型：ReLU、Sigmoid、Tanh等。

• 选择策略：根据具体任务和网络架构选择合适的激活函数。例如，ReLU函数因其简单性和有效性而在许多深度学习任务中广泛使用。

直接影响神经网络训练过程的超参数包括学习率（Learning Rate）、批量大小（Batch Size）、迭代次数（Epochs）和优化算法（Optimizer）。这些超参数共同决定了训练过程中模型权重的更新方式、训练速度、稳定性和最终性能。

Directly control the training process of the neural network

1. 学习率（Learning Rate）

• 定义：学习率决定了在优化过程中更新模型权重的步长。
• 影响：较高的学习率可能导致模型在训练过程中超过最优解，甚至导致训练过程发散；而较低的学习率则可能使训练过程收敛缓慢，需要更多的迭代次数。
• 调整策略：通常需要通过实验找到合适的学习率，或者采用学习率调度策略，如动态调整学习率或使用学习率衰减。

• 定义：批量大小指的是每次梯度下降迭代中使用的训练样本数量。
• 影响：较大的批量大小可以加速训练过程，因为可以并行处理更多的样本，但可能导致内存不足和泛化能力下降；较小的批量大小可以引入更多的噪声，有助于模型跳出局部最优解，但训练过程可能不稳定且收敛速度较慢。
• 选择原则：需要根据硬件资源、数据集大小和训练时间来选择合适的批量大小。

• 定义：迭代次数指的是整个训练数据集被遍历和学习的次数。
• 影响：过少的迭代次数可能导致模型未能充分学习数据集中的特征，导致欠拟合；而过多的迭代次数则可能导致模型过拟合，即模型在训练集上表现很好，但在测试集上表现不佳。
• 调整策略：通常需要通过观察验证集上的性能指标来确定合适的迭代次数。

• 定义：优化算法决定了如何更新模型参数以最小化损失函数。
• 常见优化算法：包括随机梯度下降（SGD）、动量（Momentum）、RMSprop、Adam等。
• 影响：不同的优化算法具有不同的收敛速度和性能表现。例如，Adam优化器结合了动量和RMSprop的优点，能够自动调整学习率，通常比SGD具有更快的收敛速度和更好的性能。
• 选择原则：需要根据具体问题和数据集的特点选择合适的优化算法。

正则化系数（Regularization）是直接影响神经网络中过拟合问题的关键超参数。

• 定义：正则化方法用于防止模型过拟合，通过在损失函数中添加正则化项来约束模型的复杂度。

• 常见正则化方法：包括L1正则化、L2正则化、Dropout等。

• 影响：正则化方法可以有效地降低模型的复杂度，提高模型的泛化能力。但是，正则化强度过大会导致模型欠拟合。

• 调整策略：需要根据验证集上的性能指标来调整正则化强度。

正则化系数是控制正则化强度的超参数。较大的正则化系数会对模型权重施加更强的约束，降低模型的复杂度，从而减少过拟合。常见的正则化方法包括L1正则化和L2正则化、Dropout等。

• L1正则化（Lasso Regularization）：通过在损失函数中添加模型权重的绝对值之和作为惩罚项，鼓励模型产生稀疏的权重，即许多权重为零。这有助于模型的解释性，并可能减少过拟合。

• L2正则化（Ridge Regularization）：通过在损失函数中添加模型权重的平方和作为惩罚项，鼓励模型权重趋于较小的值，但不会像L1那样产生完全为零的权重。L2正则化有助于平滑模型的决策边界，减少过拟合。

• Dropout：虽然严格来说不是通过修改损失函数来实现的，但Dropout也是一种正则化技术。在训练过程中，它随机地将网络中一定比例的神经元输出置为零，这相当于在每次迭代时训练一个不同的网络子集。这有助于减少神经元之间的共适应性，从而提高模型的泛化能力。