概率统计

分类模型的输出常常被解释为概率；交叉熵、Softmax、Dropout、贝叶斯深度学习，都建立在概率语言之上。

随机变量与分布

随机变量 \(X\)：取值带有不确定性的量。

期望（平均意义下的取值）：

\[ \mathbb{E}[X] = \sum_x x\, P(X=x) \quad \text{或} \quad \int x\, p(x)\, dx \]

方差：

\[ \mathrm{Var}(X) = \mathbb{E}\big[(X - \mathbb{E}[X])^2\big] \]

条件概率与贝叶斯

\[ P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)} \]

在深度学习里常以「先验 / 似然 / 后验」理解正则与生成模型，不必一开始就陷入完整贝叶斯推断。

几个必知分布

伯努利 / 类别分布

• 伯努利：二分类，成功概率 \(p\)。
• 类别分布（Categorical）：多分类，各类概率 \(p_1,\ldots,p_k\) 且 \(\sum p_i = 1\)。

神经网络分类头 + Softmax，输出的就是类别分布参数。

高斯（正态）分布

\[ p(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]

均方误差损失可从「观测服从高斯噪声」推导而来。

Softmax：把分数变成概率

\[ \mathrm{softmax}(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{k} e^{z_j}} \]

输出非负且和为 1；对 logits 整体加常数不变（数值实现常减最大值以防溢出）。

信息量、熵、交叉熵

熵：

\[ H(p) = -\sum_i p_i \log p_i \]

交叉熵：

\[ H(p, q) = -\sum_i p_i \log q_i \]

one-hot 标签下简化为 \(L = -\log q_{y^*}\)。

KL 散度

\(D_{\mathrm{KL}}(p\|q) = H(p,q) - H(p)\)。最小化交叉熵等价于最小化 KL（\(H(p)\) 与模型无关）。

最大似然与损失函数

假设	对应损失
标签 ~ 类别分布，模型输出 Softmax	交叉熵
目标 ~ 高斯，模型预测均值	均方误差 MSE
二分类 ~ 伯努利	二元交叉熵 BCE

偏差-方差权衡

• 偏差高：模型太弱，训/验都差（欠拟合）。
• 方差高：对训练细节过敏，训好验差（过拟合）。

正则化、更多数据、合适容量，都是在这条权衡上找甜点。