损失函数¶
损失函数 \(L(\hat{y}, y)\) 衡量「预测有多错」。训练的目标就是最小化它在数据上的平均。
回归¶
| 损失 | 公式直觉 | 特点 |
|---|---|---|
| MSE | 误差平方平均 | 对大误差敏感 |
| MAE / L1 | 绝对误差平均 | 更稳健 |
| Smooth L1 | 小误差平方、大误差线性 | 检测回归常用 |
分类¶
二元交叉熵（标签 \(y\in\{0,1\}\)，概率 \(p\)）：
\[
L = -\big[y\log p + (1-y)\log(1-p)\big]
\]
多类交叉熵（真实类 \(y^*\)）：
\[
L = -\log p_{y^*}
\]
PyTorch 的 nn.CrossEntropyLoss 接收未归一化 logits，内部做 log-softmax，数值更稳。
正则项¶
\[
L_{\mathrm{total}} = L_{\mathrm{data}} + \lambda\, R(\theta)
\]
\(R\) 可以是 L2 权重衰减等；\(\lambda\) 权衡拟合与复杂度。
许多损失可从最大似然导出，见 概率统计。