实验设计与评测方法¶
1. 为什么要严肃做实验设计¶
没有正确实验设计，再高的分数也可能是偶然、泄漏或过拟合。
2. 基本规范¶
- 固定数据切分与随机种子；
- 明确对比基线（strong baseline）；
- 记录所有超参数与训练预算；
- 区分开发集（调参）与测试集（最终报告）。
3. Ablation（消融实验）模板¶
| 配置 | 改动项 | 指标A | 指标B | 训练时长 |
|---|---|---|---|---|
| Baseline | 无 | 0.812 | 0.745 | 4h |
| +Aug | 数据增强 | 0.829 | 0.761 | 4.4h |
| +Scheduler | 余弦退火 | 0.836 | 0.768 | 4.6h |
要求：一次只改一个变量，避免混杂因素。
4. 统计显著性¶
建议至少跑 3~5 个随机种子并报告均值与标准差：
\[
\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i,
\quad
s=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2}
\]
5. 实验记录建议¶
- 使用 YAML 统一保存配置；
- 每次实验绑定 git commit id；
- 保存训练日志、曲线、最终 checkpoint、评测脚本版本。
6. Wiki 不应出现的评测内容¶
- 只展示“最好的一次”而不报告方差；
- 模糊指标定义（例如不写 micro/macro）；
- 不公开实验设置却宣称 SOTA。