---
title: "朴素贝叶斯算法 讲解及示例（课程作业）"
description: 
date: 2026-04-12T22:10:40+08:00
image: 
math: 
license: 
rooms: 
    - '书房' 
hidden: false
comments: false
draft: false
---
### 朴素贝叶斯算法
#### 1.简介
朴素贝叶斯算法的原理，是通过贝叶斯公式$$\underbrace{P(Y|X)}_{{后验}} = \frac{\overbrace{P(X|Y)}^{{似然}}\cdot\overbrace{P(Y)}^{先验}}{\underbrace{P(X)}_{证据}}$$由
- “先验”$P(Y_j)$（样本中目标事件$Y_j$的发生频率）
- “似然”$P(X_i|Y_j)$（样本中目标事件$Y_j$发生时，各“证据”$X_i$的出现频率）

计算得到“后验”$P(Y_j|X_i)$（给定待判断的“证据”$X_i$，该“证据”出现的情况下目标事件$Y_j$的发生概率），通过比较后验的大小，来判断该“证据”出现的情况下最可能发生什么事件。  
由于$P(X_i)$固定，实际上只需要计算固定$i$下的$P(Y_jX_i)$（被称为“联合概率”）并比较大小，最大的$P(Y_jX_i)$对应的$Y_j$即为判断结果。  
#### 2.“朴素”的理解
“朴素”的含义，是各个“证据”$X_i$的发生是相互“条件独立”事件。也就是说，在“条件”事件$Y_j$发生下，各个“证据”$X_i$的发生是相互独立事件。公式为： $$P(X_mX_n|Y_j)=P(X_m|Y_j)\cdot P(X_n|Y_j)$$
这直接决定了给定多个待判断的“证据”$x_1,x_2,\cdots,x_n$时，“后验”$P(Y_j|x_1x_2\cdots x_n)$的计算公式：$$
P(Y_j|x_1x_2\cdots x_n)=P(Y_j)\cdot\frac{\Pi_{k=1}^nP(x_k|Y_j)}{P(x_1\cdots x_n)}
$$
（本文以“多项式”朴素贝叶斯算法为例，其它类别还有“高斯”（“证据”在区间内连续分布）以及“伯努利”（“证据”只有0和1））
实际上只需要计算“联合概率”$P(Y_j)\cdot\Pi_{k=1}^nP(x_k|Y_j)$。  
由于计算机的浮点数精度误差，为了防止过多连乘把上述结果约成0，一般取对数，比较不同$Y_j$下$\ln P(Y_j)+\Sigma_{k=1}^n\ln P(x_k|Y_j)$的大小，来判断给定证据$x_1,x_2,\cdots,x_n$下最可能出现哪个$Y_j$。  
简单来说，“朴素”决定多“证据”下“后验”的计算公式。
#### 3.“似然”的计算讲解
由于“先验”$P(Y_j)$可以直接通过统计得到，“后验”$P(Y_j|X_i)$由上述公式计算而得，因此算法的技术主要在于“似然”$P(X_i|Y_j)$的计算。  
一个比较常用的技术是：**拉普拉斯平滑**。这个技术被用来解决某个$P(X_i|Y_j)=0$的情况，也就是在样本中，某个事件$Y_j$下，某个“证据”$X_i$从未出现过的情况。  
若放任$P(X_i|Y_j)=0$，可能会在给出待判断“证据”$X_i$时，$\ln P(X_i|Y_j)$不存在，以及所有的$P(Y_jX_i)=0$，无法通过比较得出目标$Y_j$。  
为了解决这个问题，在计算“似然”$P(X_i|Y_j)$时，将每个$X_i$的出现频数增加1（被称为$\alpha=1$的拉普拉斯平滑，最为常用），得到新的“似然”计算公式：$$
P(X_i|Y_j)=\frac{N(X_i|Y_j)+1}{N(Y_j)+m}
$$
其中$m$表示所有会出现的“证据”$X_i$的种类数。
#### 4.示例与相关代码
问题：判断一封邮件是**垃圾邮件（Spam）**，还是**正常邮件（Ham）**。
已知的样本数据：
| 邮件 | 类别 | 包含的单词 |
|------|------|-----------|
| 邮件1 | Spam | 免费，优惠 |
| 邮件2 | Spam | 免费 |
| 邮件3 | Ham | 你好 |
| 邮件4 | Ham | 优惠，你好 |

所有“证据”：**免费、优惠、你好**$\to m=3$
1. 计算先验$P(Y_j)$
   根据样本数据：$P(Spam)=\frac{1}{2},P(Ham)=\frac{1}{2}$。
2. 计算似然$P(X_i|Y_j)$（使用$\alpha=1$的拉普拉斯平滑）：
   **Spam**：
$$\begin{align*}
P(免费|Spam)=\frac{2+1}{3+3}&=\frac{1}{2}\\
P(优惠|Spam)=\frac{1+1}{3+3}&=\frac{1}{3}\\
P(你好|Spam)=\frac{0+1}{3+3}&=\frac{1}{6}
\end{align*}
$$
**Ham**：
$$\begin{align*}
P(免费|Ham)=\frac{0+1}{3+3}&=\frac{1}{6}\\
P(优惠|Ham)=\frac{1+1}{3+3}&=\frac{1}{3}\\
P(你好|Ham)=\frac{2+1}{3+3}&=\frac{1}{2}
\end{align*}
$$
1. 用“朴素”条件独立假设计算后验
   1. 示例邮件：包含“证据”：**免费、你好**
    首先计算每个事件对应的“联合概率”$P(Y_j)\cdot\Pi_{k=1}^n(x_k|Y_j)$
    **Spam**事件：$$\begin{align*}
    &P(Spam)P(免费|Spam)P(你好|Spam)\\
    &=\frac{1}{2}\cdot\frac{1}{2}\cdot\frac{1}{6}\\
    &=\frac{1}{24}
    \end{align*}
    $$
    （使用对数：$\ln P(Spam)+\ln P(免费|Spam)+\ln P(你好|Spam)=-\ln24$）  
    **Ham**事件：$$\begin{align*}
    &P(Ham)P(免费|Ham)P(你好|Ham)\\
    &=\frac{1}{2}\cdot\frac{1}{6}\cdot\frac{1}{2}\\
    &=\frac{1}{24}
    \end{align*}
    $$
    （使用对数：$\ln P(Ham)+\ln P(免费|Ham)+\ln P(你好|Ham)=-\ln24$）  
    两者相等，说明有相等把握认为该邮件为Spam或Ham。
   2. 示例邮件：包含“证据”：**免费、优惠**
    首先计算每个事件对应的“联合概率”$P(Y_j)\cdot\Pi_{k=1}^n(x_k|Y_j)$
    **Spam**事件：$$\begin{align*}
    &P(Spam)P(免费|Spam)P(优惠|Spam)\\
    &=\frac{1}{2}\cdot\frac{1}{2}\cdot\frac{1}{3}\\
    &=\frac{1}{12}
    \end{align*}
    $$
    （使用对数：$\ln P(Spam)+\ln P(免费|Spam)+\ln P(优惠|Spam)=-\ln12$）  
    **Ham**事件：$$\begin{align*}
    &P(Ham)P(免费|Ham)P(优惠|Ham)\\
    &=\frac{1}{2}\cdot\frac{1}{6}\cdot\frac{1}{3}\\
    &=\frac{1}{36}
    \end{align*}
    $$
    （使用对数：$\ln P(Ham)+\ln P(免费|Ham)+\ln P(优惠|Ham)=-\ln36$）  
    $\frac{1}{12}>\frac{1}{36}$或$-\ln12>-\ln36$，表明最有可能是Spam。  

示例代码：
```matlab
X_train=[                   % 训练样本（每行代表一封邮件，每列代表一个关键词）
    1,      1,      0;  % Spam
    1,      0,      0;  % Spam
    0,      0,      1;  % Ham
    0,      1,      1;  % Ham
];%“免费”   “优惠”  “你好”
y_train=[1,1,0,0]';         % 标签：1表示垃圾邮件，0表示正常邮件
n_samples=length(y_train);
n_spam=sum(y_train==1);
n_ham=sum(y_train==0);      % 计算先验概率
P_spam=n_spam/n_samples;    % P(Spam)
P_ham=n_ham/n_samples;      % P(Ham)
alpha=1,m=3;                % 拉普拉斯平滑法计算似然概率
% 分别统计 Spam 和 Ham 类中每个特征的出现次数
spam_samples = X_train(y_train == 1, :);  % Spam类样本
ham_samples = X_train(y_train == 0, :);   % Ham类样本

% 计算各类别的总词数（分母 N(Y_j)）
N_spam = sum(sum(spam_samples));   % Spam类总词数 = 3
N_ham = sum(sum(ham_samples));     % Ham类总词数 = 3

% 计算每个特征在各类别中出现的次数（分子 N(X_i|Y_j)）
N_feat_spam = sum(spam_samples, 1);  % [2, 1, 0]
N_feat_ham = sum(ham_samples, 1);    % [0, 1, 2]

% 应用拉普拉斯平滑公式：P(X_i|Y_j) = (N(X_i|Y_j) + alpha) / (N(Y_j) + alpha*m)
P_feat_spam = (N_feat_spam + alpha) / (N_spam + alpha * m);  % [0.5, 0.333, 0.167]
P_feat_ham = (N_feat_ham + alpha) / (N_ham + alpha * m);     % [0.167, 0.333, 0.5]

% 测试邮件1：包含 [免费, 你好]
test_mail_1 = [1, 0, 1];  % 免费=是，优惠=否，你好=是
fprintf('测试邮件1：[免费, 你好]\n');

% 计算联合概率（非对数形式）
joint_spam_1 = P_spam * prod(P_feat_spam(test_mail_1 == 1));
joint_ham_1 = P_ham * prod(P_feat_ham(test_mail_1 == 1));

% 计算对数形式（防止数值下溢）
log_joint_spam_1 = log(P_spam) + sum(log(P_feat_spam(test_mail_1 == 1)));
log_joint_ham_1 = log(P_ham) + sum(log(P_feat_ham(test_mail_1 == 1)));

fprintf('  联合概率: Spam=%.4f, Ham=%.4f\n', joint_spam_1, joint_ham_1);
fprintf('  对数形式: Spam=%.4f, Ham=%.4f\n', log_joint_spam_1, log_joint_ham_1);
if joint_spam_1 > joint_ham_1
    fprintf('  → 预测结果: 垃圾邮件(Spam)\n');
elseif joint_spam_1 < joint_ham_1
    fprintf('  → 预测结果: 正常邮件(Ham)\n');
else
    fprintf('  → 预测结果: 无法判断（概率相等）\n');
end

fprintf('\n');

% 测试邮件2：包含 [免费, 优惠]
test_mail_2 = [1, 1, 0];  % 免费=是，优惠=是，你好=否
fprintf('测试邮件2：[免费, 优惠]\n');

joint_spam_2 = P_spam * prod(P_feat_spam(test_mail_2 == 1));
joint_ham_2 = P_ham * prod(P_feat_ham(test_mail_2 == 1));

log_joint_spam_2 = log(P_spam) + sum(log(P_feat_spam(test_mail_2 == 1)));
log_joint_ham_2 = log(P_ham) + sum(log(P_feat_ham(test_mail_2 == 1)));

fprintf('  联合概率: Spam=%.4f, Ham=%.4f\n', joint_spam_2, joint_ham_2);
fprintf('  对数形式: Spam=%.4f, Ham=%.4f\n', log_joint_spam_2, log_joint_ham_2);
if joint_spam_2 > joint_ham_2
    fprintf('  → 预测结果: 垃圾邮件(Spam)\n');
elseif joint_spam_2 < joint_ham_2
    fprintf('  → 预测结果: 正常邮件(Ham)\n');
else
    fprintf('  → 预测结果: 无法判断（概率相等）\n');
end
```
运行结果：
```
测试邮件1：[免费, 你好]
  联合概率: Spam=0.0417, Ham=0.0417
  对数形式: Spam=-3.1781, Ham=-3.1781
  → 预测结果: 无法判断（概率相等）

测试邮件2：[免费, 优惠]
  联合概率: Spam=0.0833, Ham=0.0278
  对数形式: Spam=-2.4849, Ham=-3.5835
  → 预测结果: 垃圾邮件(Spam)
```
与手动计算相吻合。
#### 5.应用场景
- 文本分类：垃圾邮件识别、情感分析、新闻分类
- 推荐系统：基于用户行为的兴趣分类
- 医疗诊断：根据症状初步判断疾病
- 信用评估：判断用户是否会违约