调参清单

先保证管道正确，再按影响面从大到小调，一次少改几个变量。

优先级

1. 数据与标签正确
2. 能过拟合小子集（证明可学）
3. 学习率（通常最敏感）
4. batch size（及有效 batch）
5. 正则强度（weight decay、增强、Dropout）
6. 结构容量、训练时长、调度器

学习率速查

起点	说明
Adam(W) 1e-4～3e-4	常见默认试探区间
SGD 0.01～0.1	常需配合 Momentum 与更细调度
Warmup + Cosine	大模型 / 大 batch 更稳

• loss 震荡或 NaN → 降 LR、加裁剪
• 极慢下降 → 升 LR，或检查正则/增强是否过猛

排错决策树

训练 loss 不降？
  ├─ 小子集也过拟合不了 → Bug（标签、loss、冻结、LR）
  └─ 能过拟合小子集
        ├─ 验证差、训练很好 → 过拟合 / 泄漏 / 分布偏移
        └─ 训验都差 → 欠拟合或任务太难

每次实验记录：数据版本、关键超参、最佳验证指标、代码 commit。