数据管道¶
多数「模型很差」其实是数据或划分有问题。
标准拆分¶
| 集合 | 用途 |
|---|---|
| 训练集 | 更新参数 |
| 验证集 | 选模型 / 早停 / 调超参 |
| 测试集 | 最终一次性报告 |
数据泄漏
增强、归一化统计、特征选择若用到了验证/测试信息,指标会虚高。
原则:所有拟合类操作只在训练集上 fit,再 transform 到其它集合。
Dataset / DataLoader¶
原始文件 → Dataset.__getitem__ → (x, y) → DataLoader 组 batch
关键参数:batch_size、shuffle(仅训练)、num_workers、pin_memory。
增强落点¶
- 训练:随机增强。
- 验证/测试:仅确定性预处理。
检查清单¶
- 打印 batch 的 shape、dtype、取值范围、标签分布。
- 反归一化可视化,确认数据可读。
- 固定划分种子,保证可复现。