跳转至

数据管道

多数「模型很差」其实是数据或划分有问题。

标准拆分

集合 用途
训练集 更新参数
验证集 选模型 / 早停 / 调超参
测试集 最终一次性报告

数据泄漏

增强、归一化统计、特征选择若用到了验证/测试信息,指标会虚高。
原则:所有拟合类操作只在训练集上 fit,再 transform 到其它集合。

Dataset / DataLoader

原始文件 → Dataset.__getitem__ → (x, y) → DataLoader 组 batch

关键参数:batch_size、shuffle(仅训练)、num_workers、pin_memory。

增强落点

  • 训练:随机增强。
  • 验证/测试:仅确定性预处理。

检查清单

  1. 打印 batch 的 shape、dtype、取值范围、标签分布。
  2. 反归一化可视化,确认数据可读。
  3. 固定划分种子,保证可复现。