全概率公式与贝叶斯公式

在概率论和统计学中，全概率公式和贝叶斯公式是两个核心工具，它们帮助我们分析不确定性和更新信念。

全概率公式 (Law of Total Probability)

全概率公式用于计算一个事件发生的总概率，考虑了可能影响该事件的所有情形。设有事件 \(B_1, B_2, \dots, B_n\) 构成一个完备事件组，即这些事件是互斥且穷尽的，且任意两个事件 \(B_i\) 和 \(B_j\) (\(i eq j\)) 互斥，且 \(B_1, B_2, \dots, B_n\) 的并集是整个样本空间。对于任意事件 \(A\)，全概率公式可以表示为：

\[P(A) = \sum_{i=1}^{n} P(A \mid B_i) P(B_i) \]

其中，\(P(A \mid B_i)\) 表示在 \(B_i\) 发生的条件下事件 \(A\) 的条件概率，而 \(P(B_i)\) 表示事件 \(B_i\) 的概率。

全概率公式的推导

全概率公式的推导基于条件概率的定义。根据条件概率，我们有：

\[P(A \cap B_i) = P(A \mid B_i) P(B_i) \]

事件 \(A\) 的概率可以通过所有 \(B_i\) 对 \(A\) 的影响来求和，即：

\[P(A) = \sum_{i=1}^n P(A \cap B_i) = \sum_{i=1}^n P(A \mid B_i) P(B_i) \]

这样我们就得到了全概率公式。这个公式可以理解为事件 \(A\) 的总概率是通过所有可能情况下 \(A\) 发生的概率之和来计算的。

全概率公式的自然意义在于它帮助我们把一个复杂事件的概率拆分成若干个简单情形下的概率，并通过加权和的方式计算总概率。这在我们分析一个事件的各种可能情形时非常有用。例如，当我们不知道某个变量的具体取值时，可以通过所有可能取值的加权平均来求解另一个事件的概率。这符合我们的直觉，也容易理解。

全概率公式的例子

假设一个人可能从三个不同的渠道获取商品：渠道 \(B_1\) 是商店，渠道 \(B_2\) 是网上商店，渠道 \(B_3\) 是二手交易市场。我们已知从商店购买的概率为 \(P(B_1) = 0.5\)，从网上商店购买的概率为 \(P(B_2) = 0.3\)，从二手市场购买的概率为 \(P(B_3) = 0.2\)。现在我们想知道这个人购买到有缺陷商品（事件 \(A\)）的概率。

已知从商店购买的商品有缺陷的概率为 \(P(A \mid B_1) = 0.02\)，从网上商店购买的商品有缺陷的概率为 \(P(A \mid B_2) = 0.05\)，从二手市场购买的商品有缺陷的概率为 \(P(A \mid B_3) = 0.1\)。

根据全概率公式，我们可以计算这个人购买到有缺陷商品的总概率：

\[P(A) = P(A \mid B_1) P(B_1) + P(A \mid B_2) P(B_2) + P(A \mid B_3) P(B_3) \]

\[P(A) = (0.02\times 0.5) + (0.05\times 0.3) + (0.1 \times 0.2) \]

\[P(A) = 0.01 + 0.015 + 0.02 = 0.045 \]

因此，这个人购买到有缺陷商品的概率为 0.045，即 4.5%。

贝叶斯公式 (Bayes' Theorem)

贝叶斯公式是一种通过已有证据更新某个假设概率的工具。它的形式如下：

\[P(B \mid A) = \frac{P(A \mid B) P(B)}{P(A)} \]

其中，\(P(B \mid A)\) 是在事件 \(A\) 发生后事件 \(B\) 的后验概率，\(P(A \mid B)\) 是事件 \(A\) 在 \(B\) 发生的条件下的概率，\(P(B)\) 是事件 \(B\) 的先验概率，而 \(P(A)\) 是事件 \(A\) 的概率。而如果我们也将 \(B\) 划分为 \(B_1, B_2, \dots, B_n\)，那么 \(P(A)\)也可以用全概率拆分表示，我们得到：

\[P(B_j \mid A) = \frac{P(A \mid B_j) P(B_j)}{\sum_{i=1}^n P(A \mid B_i) P(B_i)}. \]

前一个公式看上去像是条件概率的简单变形，而后一个形式更触及其“由果及因”和“更新信念”的本质。我们可以把 \(P(B_j)\) 看作是先验概率，代表在没有新证据的情况下我们对事件 \(B_j\) 在所有\(B_i\)情况中的信念。而当我们观察到新证据 \(A\) 后，在我们已知全体\(P(B_i)\)和\(P(A \mid B_i)\)的情况下，我们能够更新这种信念，得到后验概率 \(P(B_i \mid A)\)。这种方法符合人类的认知过程，即我们在获取新信息后会调整对某个事件的判断。所以，此公式又叫做逆概率公式。

贝叶斯公式的推导

贝叶斯公式的推导基于条件概率的对称性。根据条件概率的定义，\(P(A \cap B_j)\) 可以表示为：

\[P(A \cap B_j) = P(A \mid B_j) P(B_j) = P(B_j \mid A) P(A) \]

将这两个表达式对比，移动到分母，我们可以得到：

\[P(B_j \mid A) = \frac{P(A \mid B_j) P(B_j)}{P(A)} \]

接下来可以选择展开\(P(A)\)，这样，我们便得到了贝叶斯公式。

贝叶斯公式的例子

贝叶斯公式的应用非常广泛，涵盖从医学诊断到机器学习的多个领域。

疾病诊断正确率问题

假设某种疾病的患病率为 1%，即 \(P(\text{患病}) = 0.01\)。
测试的灵敏度为 90%，即在患病情况下测试阳性的概率为 \(P(\text{阳性} \mid \text{患病}) = 0.9\)。
测试的特异性为 95%，即在健康情况下测试阴性的概率为 \(P(\text{阴性} \mid \text{健康}) = 0.95\)。
我们要计算在测试结果为阳性的情况下，患者实际患病的概率，即 \(P(\text{患病} \mid \text{阳性})\)。

根据贝叶斯公式：

\[P(\text{患病} \mid \text{阳性}) = \frac{P(\text{阳性} \mid \text{患病}) P(\text{患病})}{P(\text{阳性})} \]

其中 \(P(\text{阳性})\) 可以通过全概率公式计算：

\[P(\text{阳性}) = P(\text{阳性} \mid \text{患病}) P(\text{患病}) + P(\text{阳性} \mid\text{健康}) P(\text{健康}) \]

\[P(\text{阳性}) = (0.9 \times 0.01) + (0.05 \times 0.99) = 0.009 + 0.0495 = 0.0585 \]

因此：

\[P(\text{患病} \mid\text{阳性}) = \frac{0.9 \times 0.01}{0.0585} \approx 0.1538 \]

即在测试阳性的情况下，患者实际患病的概率约为 15.38%。这个数字相当反直觉，因为在检验正确的概率看似很高，但实际上很低。

天气预测问题

假设某地有三种天气状态：晴天、多云和下雨，且它们的先验概率分别为 \(P(\text{晴天}) = 0.5\)，\(P(\text{多云}) = 0.3\)，\(P(\text{下雨}) = 0.2\)。现在我们通过某种迹象（如湿度）得知今天很湿润，这种情况下的后验概率可以通过贝叶斯公式计算。

假设在晴天、多云和下雨情况下，今天湿润的概率分别为 \(P(\text{湿润} \mid \text{晴天}) = 0.1\)，\(P(\text{湿润} \mid \text{多云}) = 0.4\)，\(P(\text{湿润} \mid \text{下雨}) = 0.8\)。我们要计算在湿润的情况下今天是下雨的概率。

根据贝叶斯公式：

\[P(\text{下雨} \mid\text{湿润}) = \frac{P(\text{湿润} \mid\text{下雨}) P(\text{下雨})}{P(\text{湿润})} \]

其中 \(P(\text{湿润})\) 可以通过全概率公式计算：

\[P(\text{湿润}) = (0.1 \times 0.5) + (0.4 \times 0.3) + (0.8 \times 0.2) = 0.05 + 0.12 + 0.16 = 0.33 \]

因此：

\[P(\text{下雨} \mid\text{湿润}) = \frac{0.8 \times 0.2}{0.33} \approx 0.4848 \]

即在今天湿润的情况下，下雨的概率约为 48.48%。

通过此例子，我们可以更深刻理解贝叶斯公式。天气状态（如晴天、多云、下雨）是自变量，是原因（即\(B\)），而观察到的“湿润状态”是结果（即\(A\)）。通常我们可以很清晰的描述由因到果的条件概率（即\(P(A|B_i)\)），如下雨的湿润概率0.8，而晴天的湿润概率仅0.1。若再给出各个天气的先验概率（即\(P(B_i)\)），我们就可以用全概率公式计算湿润概率(\(P(A)\)）。

而反过来，贝叶斯公式允许我们反推：在已知“湿润”的情况下，今天的天气是“下雨”的概率是多少（即\(P(B_i|A)\)）？由于我们已推出等式的所有部分，这个结果可以计算得出，这就是由果推因。在没有其他条件的情况下，下雨概率是\(0.2\)，但是在已知结果湿润的条件下，下雨概率被更新到\(0.48\)，这就是更新信念。

两个孩子的性别

假设一个家庭有两个孩子，已知其中至少有一个是男性，求两个孩子都是男性的概率。

设事件 \(A\) 表示“至少有一个是男性”，事件 \(B\) 表示“两个孩子都是男性”。

\(P(B) = P(\text{两个都是男性}) = \frac{1}{4}\)，因为四种组合（男男、男女、女男、女女）中只有一种是两个都是男性。
\(P(A) = P(\text{至少一个是男性}) = \frac{3}{4}\)，因为四种组合中有三种包含至少一个男性。

根据贝叶斯公式：

\[P(B \mid A) = \frac{P(A \mid B) P(B)}{P(A)} \]

由于在 \(B\) 发生的情况下（两个都是男性），\(A\) 必然发生，因此 \(P(A \mid B) = 1\)。

因此：

\[P(B \mid A) = \frac{1 \times \frac{1}{4}}{\frac{3}{4}} = \frac{1}{3} \]

即在已知至少有一个是男性的情况下，两个孩子都是男性的概率为 \(\frac{1}{3}\)。

此问题计算简单，但是常被作为文字游戏。如果将题设改为已知家庭中的 "一个指定的孩子" 是男性（例如，明确指出“大儿子是男性”），求两个孩子都是男性的概率就是 1/2。