知识框架
贝叶斯分类器从概率角度处理分类问题：先估计先验概率和类条件概率，再由贝叶斯公式得到后验概率。重点包括贝叶斯决策论、极大似然估计、朴素贝叶斯、拉普拉斯修正、半朴素贝叶斯、贝叶斯网和 EM 算法。
贝叶斯决策论
对类别 $c_i$，把样本 $\mathbf{x}$ 判为 $c_i$ 的条件风险为
\[
R(c_i\mid \mathbf{x})=\sum_{j=1}^{N}\lambda_{ij}P(c_j\mid \mathbf{x}),
\]
其中 $\lambda_{ij}$ 是把真实类别 $c_j$ 判为 $c_i$ 的损失。最优决策为
\[
h^{*}(\mathbf{x})=\arg\min_{c_i}R(c_i\mid \mathbf{x}).
\]
在 $0$-$1$ 损失下，等价于最大后验概率：
\[
h^{*}(\mathbf{x})=\arg\max_c P(c\mid \mathbf{x}).
\]
贝叶斯公式：
\[
P(c\mid \mathbf{x})=\frac{P(\mathbf{x}\mid c)P(c)}{P(\mathbf{x})}.
\]
分类时 $P(\mathbf{x})$ 对所有类别相同，通常比较 $P(\mathbf{x}\mid c)P(c)$。
极大似然估计
假设样本独立同分布，似然函数为
\[
L(\theta)=\prod_{i=1}^{m}p(\mathbf{x}_i\mid \theta),
\]
常用对数似然
\[
\ell(\theta)=\sum_{i=1}^{m}\log p(\mathbf{x}_i\mid \theta).
\]
对高斯分布，极大似然估计下均值为样本均值，协方差为样本协方差的相应估计。贝叶斯分类中常先对每个类别估计 $P(\mathbf{x}\mid c)$ 的参数。
朴素贝叶斯
朴素贝叶斯作条件独立假设：
\[
P(\mathbf{x}\mid c)=\prod_{j=1}^{d}P(x_j\mid c).
\]
因此
\[
P(c\mid \mathbf{x})\propto P(c)\prod_{j=1}^{d}P(x_j\mid c).
\]
实际计算时常用对数形式避免下溢：
\[
\log P(c\mid \mathbf{x})=\log P(c)+\sum_{j=1}^{d}\log P(x_j\mid c)+\text{常数}.
\]
拉普拉斯修正
若某属性值在某类别中从未出现，未修正概率会变为 $0$，导致整类后验被置零。设类别数为 $N$，属性 $a_j$ 可能取值数为 $N_j$：
\[
\hat P(c)=\frac{|D_c|+1}{|D|+N},
\]
\[
\hat P(x_j=a\mid c)=\frac{|D_{c,x_j=a}|+1}{|D_c|+N_j}.
\]
半朴素贝叶斯
朴素贝叶斯假设过强，半朴素贝叶斯放松为独依赖假设：每个属性最多依赖一个其他属性。
- SPODE：所有属性依赖同一个超父属性。
- TAN：用最大带权生成树学习属性依赖结构。
- AODE：对多个 SPODE 结果进行平均。
贝叶斯网
贝叶斯网用有向无环图表达变量依赖关系，联合分布分解为
\[
P(x_1,x_2,\ldots,x_d)=\prod_{i=1}^{d}P(x_i\mid \operatorname{Pa}(x_i)),
\]
其中 $\operatorname{Pa}(x_i)$ 是 $x_i$ 的父结点。结构学习常结合评分函数和搜索，推断可用精确推断或采样近似，如吉布斯采样。
EM 算法
当数据含隐变量 $Z$ 时，直接最大化 $P(X\mid \theta)$ 往往困难。EM 交替执行：
- E 步
- 在当前参数 $\theta^{(t)}$ 下计算隐变量后验或期望充分统计量。
- M 步
- 最大化期望完整数据对数似然，更新 $\theta^{(t+1)}$。
高斯混合模型中的责任度：
\[
\gamma_{ji}=
\frac{\alpha_i\mathcal{N}(\mathbf{x}_j\mid \mathbf{\mu}_i,\mathbf{\Sigma}_i)}
{\sum_{\ell=1}^{k}\alpha_\ell\mathcal{N}(\mathbf{x}_j\mid \mathbf{\mu}_\ell,\mathbf{\Sigma}_\ell)}.
\]
常见问法
- 给先验概率和条件概率，代入贝叶斯公式计算后验概率并分类。
- 给离散训练表，数频次求 $P(c)$、$P(x_j\mid c)$，再做朴素贝叶斯预测。
- 说明朴素贝叶斯条件独立假设的优点和缺点。
- 解释拉普拉斯修正为什么能避免零概率问题。
- 比较朴素贝叶斯、半朴素贝叶斯和贝叶斯网。
- 写出 EM 的 E 步与 M 步，并解释其适用场景。