• 深度学习调参大法
• trick 1：深度学习调参核心点
• trick 2：关于 深度学习Model选型问题
• trick 3：关于数据
• trick 4：关于调参
• 4.1 关于 Loss function 调参策略
• 4.2 关于 Learning rate 和 batch size 调参策略
• 4.3 关于 Epoch number 和 early stopping 调参策略
• 4.4 关于 Optimizer 调参策略
• 4.5 关于 Activation function 调参策略
• 4.6 关于 Weights initialization 调参策略
• 4.7 关于 Regularization 调参策略
• 4.8 关于 Validation 调参策略
• trick 5：模型训练过拟合和欠拟合问题？
• 5.1 欠拟合（Underfitting）
• 5.2 过拟合（Overfitting）
• trick 6：模型参数初始化方法
• trick 7：Normalization 选择问题
• trick 7：模型输出层选择问题
• trick 8：随机数种子设定问题
• trick 9：cross validation问题
• trick 10：新模型开发前期问题
• trick 11：badcase 分析问题

  
  

  

trick 1：深度学习调参核心点

首先需要牢记一个点：模型选型和数据质量决定了任务的底线，而调参只是锦上添花的工作；

先overfit 再trade off，首先保证你的模型capacity能够过拟合，再尝试减小模型，各种正则化方法;

trick 2：关于 深度学习Model选型问题

深度学习Model选型是一个综合考虑多个因素的过程，旨在找到最适合特定任务和数据集的模型。以下是一些关键步骤和考虑因素：

• 理解任务需求：

1. 任务类型：首先要明确任务是分类、回归、生成、排序还是其他，比如文本相似度计算、图像识别、自然语言处理等。
2. 数据特性：考虑数据的维度、规模、结构（如图像、文本、时序数据等）和质量。

• 模型容量：

1. 选择一个与数据复杂度相匹配的模型大小。模型过于简单可能导致欠拟合，而过于复杂则可能过拟合。
2. 考虑模型的参数数量和可调整范围。

• 数据复杂度：

1. 样本数量和特征维度会影响模型选择。大数据集通常能支持更复杂的模型。
2. 数据的时间或空间结构，以及多样性，也是选择模型时的重要考量。

• 先验知识与预训练模型：

1. 利用领域知识选择合适的模型结构，例如在NLP任务中，预训练的Transformer模型（如BERT, Sentence-BERT）常被用于文本相似度计算。
2. 预训练模型可以在特定任务上提供强大的初始化，加速训练过程并提高性能。

• 计算资源：

1. 考虑可用的GPU、内存和计算时间。复杂模型往往需要更多资源。
2. 在资源有限的情况下，轻量级模型或模型压缩技术可能是更好的选择。

• 模型可解释性：

对于某些应用，模型的可解释性至关重要。决策树、线性模型相对容易解释，而深度神经网络可能较难解释。

• 评估与验证：

1. 设计合适的评价指标，如准确率、F1分数、AUC-ROC等，确保模型性能可量化。
2. 使用交叉验证来可靠地估计模型泛化能力，并避免过拟合或欠拟合。
3. 实施正则化技术（如权重衰减、dropout）以控制模型复杂度。

• 实验与调优：

1. 初始可尝试几个不同的模型架构，进行快速原型设计。
2. 根据初步实验结果，逐步精细化调优选定的模型，包括调整超参数、网络结构等。

• 框架与工具：

选择合适的深度学习框架（如TensorFlow、PyTorch、Keras等），考虑其易用性、社区支持、生态系统等因素。

所以说深度学习模型选型是一个迭代且实践驱动的过程，需要不断地实验、评估与调整，直至找到满足特定需求的最佳模型。

trick 3：关于数据

• 数据量太大时，可以采取以下几种策略来有效管理和处理数据，确保模型训练的可行性：

1. 数据采样：
1. 随机采样：从整个数据集中随机抽取一部分作为训练数据，可以是无放回或有放回采样。
2. 分层采样：确保每个类别或重要属性在采样数据中都有代表性，适用于分类任务。
2. Mini-Batch训练：将数据集分成多个小批量（mini-batches），每次仅使用一个小批量数据来更新模型参数，减少了内存需求并加速了训练过程。
3. 在线学习或流式学习：不一次性加载所有数据，而是让数据一批批地通过模型，适合处理不断增长或内存限制严格的场景。
4. 硬盘/外部存储读取：只加载当前需要训练的数据到内存，其余数据存储在硬盘上，按需读取。例如，使用tf.data.Dataset（TensorFlow）或PyTorch的DataLoader实现。
5. 数据集划分与分布式训练：将数据集分割并在多个GPU或计算节点上并行训练，利用分布式训练框架如Horovod、PyTorch的torch.nn.parallel.DistributedDataParallel或TensorFlow的tf.distribute.Strategy。
6. 数据压缩与降维：对数据进行压缩处理，如图像的量化、特征选择或降维（PCA、t-SNE等），减少内存占用。
7. 增量学习或持续学习：模型不是一次性训练完成，而是逐步学习新数据，每次迭代只添加或更新部分数据，适用于数据流持续到来的情况。
8. 使用TFRecords或其他高效的文件格式：将数据序列化为高效的二进制格式，如TensorFlow的TFRecords，这有助于减少读取时间和内存使用。
9. 近似方法和算法优化：对于特定类型的模型（如推荐系统中的矩阵分解），使用近似算法减少计算复杂度和内存需求。
10. 硬件升级与云服务：如果条件允许，增加物理内存或使用高性能计算资源，甚至迁移到云服务，如Google Cloud、AWS或Azure，它们提供了灵活的计算和存储资源。

• 数据量太小时，可以采取以下几种策略来有效管理和处理数据，确保模型训练的可行性：

1. 数据增强：
1. 对现有数据进行变换以生成新的样本，如图像旋转、翻转、缩放、裁剪、色彩调整等，适用于计算机视觉任务。
2. 文本数据可以通过同义词替换、句式转换、文本摘要等方式增强。
3. 语音数据可以通过改变速度、音调、添加背景噪音等方法增加多样性。
2. 迁移学习：
1. 使用预训练模型作为起点，这些模型在大型数据集上已经学习到了通用特征，然后在自己的小数据集上进行微调。
2. 只对模型的最后一层或几层进行训练，保留前面的层不变，这样可以利用预训练模型的强大表示能力。
3. 集成学习：训练多个模型并将它们的预测结果结合起来，可以是bagging、boosting等方法，这有助于减少方差，提高模型稳健性。
4. 正则化：使用L1、L2正则化或Dropout等技术防止模型过拟合，使模型在小数据集上表现更好。
5. 半监督学习或自监督学习：半监督学习利用少量有标签数据和大量无标签数据进行训练；自监督学习则让模型从无标签数据中自我生成监督信号，减少对大量标注数据的依赖。
6. 生成模型：利用GANs（生成对抗网络）、VAEs（变分自编码器）等生成模型来合成新的数据样本，尤其是图像或文本数据。
7. 主动学习：一种迭代方法，模型在训练过程中主动选择最有价值的样本请求人工标注，从而高效增加数据质量和数量。
8. 模型精简：选择小型网络结构或进行模型剪枝，减少模型复杂度，使得小数据集也足以训练。
9. 重采样技术：对于类别不平衡的数据集，可以通过过采样少数类或欠采样多数类来平衡数据，提高训练效率。
10. 仿真数据生成：根据业务逻辑或领域知识创建仿真数据，尤其是对于难以收集真实数据的情况。

• 一定要进行数据预处理，把数据分布分散到均值为0，方差9为1的区间，利于训练模型

注：数据增强要结合任务本身来设计