正则化（Regularization）

正则化抑制过拟合：训练误差很低但验证/测试差。

常见手段

方法	作用
权重衰减 / AdamW	把权重往 0 拉，偏好更平滑函数
Dropout	训练时随机失活，近似子网络集成
数据增强	扩充有效数据分布（性价比通常最高）
Early Stopping	验证指标不再提升则停止
标签平滑	减轻过度自信
减小容量	变窄变浅、参数共享

怎么选

1. 先保证验证集可靠、无泄漏。
2. 图像/语音：优先强数据增强。
3. 加 weight decay，配合 early stopping。
4. 仍过拟合：Dropout、减模型或要更多数据。
5. 欠拟合：减弱正则、加大模型或训更久。

详细流程见 调参清单。