贝叶斯公式学习笔记 | Leo的技术分享

贝叶斯公式有着广泛的应用。最近重新拿起上学时的教科书——浙大《概率论与数理统计（第三版）》，复习了一遍全概率公式与贝叶斯公式，算是捡起了一些记忆。本文从条件概率出发，推导出全概率公式以及贝叶斯公式，并以例子说明贝叶斯公式的应用。

条件概率

条件概率研究如何计算事件 $A$ 已发生的条件下事件 $B$ 发生的概率。例如，将一枚硬币抛掷两次，观察其出现正反面的情况，设事件 $A$ 为“至少一次为正面”，事件 $B$ 为“两次掷出同一面”。求已知事件 $A$ 已经发生的条件下事件 $B$ 发生的概率。我们以 $H$ 表示硬币掷出正面， $T$ 表示硬币掷出反面，则上述随机试验的样本空间为 $S=\{HH, HT, TH, TT\}$ ， $A=\{HH,HT, TH\}$ ， $B=\{HH,TT\}$ 。由于已知事件 $A$ 已经发生，即已知试验所有可能结果所组成的集合就是 $A$ ， $A$ 中共有 3 个元素，其中只有 $HH \in B$ 。因此，在 $A$ 发生的条件下 $B$ 发生的概率（记为 $P(B|A)$ ）为

P(B|A) = \frac{1}{3}

另外，我们易知

P(A)=\frac{3}{4}, P(AB)=\frac{1}{4}, P(B|A)=\frac{1}{3}=\frac{1/4}{3/4}

其中， $P(AB)$ 为事件 $A$ 与事件 $B$ 同时发生的概率。

一般地，

P(B|A) = \frac{P(AB)}{P(A)}

乘法定理

由条件概率的计算公式，可以得到

P(AB) = P(A)P(B|A)

上式可以推广到多个事件的积事件，即

P(ABC) = P(AB)P(C|AB)=P(A)P(B|A)P(C|AB)

例如，设某光学仪器厂制造的透镜，第一次落下时打破的概率为 1/2，若第一次落下未打破，第二次落下打破的概率为 7/10，若前两次落下未打破，第三次落下打破的概率为 9/10，试求透镜落下三次而未打破的概率。以 $A_i(i=1,2,3)$ 表示事件“透镜第 $i$ 次落下打破”，以 $B$ 表示事件“透镜落下三次而未打破”。因为 $B=\overline{A_1} \ \overline{A_2} \ \overline{A_3}$ ，故有

P(B)=P(\overline{A_1} \ \overline{A_2} \ \overline{A_3})=P(\overline{A_1})P(\overline{A_2}|\overline{A_1})P(\overline{A_3}|\overline{A_1} \ \overline{A_2})\\ = (1- \frac{1}{2})(1- \frac{7}{10})(1- \frac{9}{10}) = \frac{3}{200}

全概率公式

定义设 $S$ 为试验 $E$ 的样本空间， $B_1, B_2, ..., B_n$ 为 $E$ 的一组事件，若（i） $B_iB_j=\varnothing,i \neq j,i,j=1,2,...,n;$ （ii） $B_1 \cup B_2 \cup ... \cup B_n=S$ 则称 $B_1, B_2, ..., B_n$ 为样本空间 $S$ 的一个划分。

即如果 $B_1,B_2,...,B_n$ 是样本空间的一个划分，那么，对每次试验，事件 $B_1,B_2,...,B_n$ 中必有一个且仅有一个发生。例如，设试验 $E$ 为“掷一颗骰子观察其点数”。它的样本空间为 $S=\{1,2,3,4,5,6\}$ 。 $E$ 的一组事件 $B_1 = \{1,2,3 \},B_2=\{4,5\},B_3=\{6\}$ 是 $S$ 的一个划分，而事件组 $C_1=\{1,2,3\},C_2=\{3,4\}, C_3=\{5,6\}$ 不是 $S$ 的划分。

定理设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_1, B_2,...,B_n$ 为 $S$ 的一个划分，且 $P(B_i) > 0(i=1,2,...,n)$ ，则

P(A)=P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + ... + P(A|B_n)P(B_n)

该式子称为 全概率公式。

证明因为

$A=AS=A(B_1 \cup B_2 \cup ... \cup B_n) = AB_1 \cup AB_2 \cup ... \cup AB_n$ ，由假设 $P(B_i)>0$ ，且 $(AB_i)(AB_j)=\varnothing$ ，得到

P(A)=P(AB_1) + P(AB_2) + ... + P(AB_n)\\ =P(A|B_1)P(B_1) + P(A|B_2)P(B_2)+...+P(A|B_n)P(B_n)

贝叶斯公式

设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2,...,B_n$ 为 $S$ 的一个划分，且 $P(A) > 0,P(B_i)>0 (i=1,2,...,n)$ ，则

P(B_i|A)= \frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^{n}{P(A|B_j)P(B_j)}},i=1,2,...,n

该式称为 贝叶斯公式。

证明由条件概率的定义和全概率公式，有

P(B_i|A)=\frac{P(B_iA)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^{n}{P(A|B_j)P(B_j)}},i=1,2,...,n

特别地，当 $n=2$ 时，将 $B_1$ 记为 $B$ ，则 $B_2$ 就是 $\overline B$ ，全概率公式为

P(A) = P(A|B)P(B) + P(A|\overline B)P(\overline B)

贝叶斯公式为

P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B) + P(A|\overline B)P(\overline B)}

例子

例1 某电子设备厂所用的元件由三家元件制造厂提供，根据以往的记录有以下数据：

元件制造厂	次品率	提供元件的份额
1	0.02	0.15
2	0.01	0.80
3	0.03	0.05

设这三家工厂的产品在仓库中是均匀混合的，且无区别的标志。（1）在仓库中随机取一只元件，求它是次品的概率；（2）在仓库中随机地取一只元件，若已知取到的是次品，为分析次品出自何厂，需求出此次品由三家工厂生产的概率分别是多少。

解设 $A$ 表示“取到的是一只次品”， $B_i(i=1,2,3)$ 表示“所取到的产品是由第 $i$ 家工厂提供的”。 $B_1,B_2,B_3$ 是样本空间 $S$ 的一个划分，且有 $P(B_1)=0.15,P(B_2)=0.80,P(B_3)=0.05$ ， $P(A|B_1)=0.02,P(A|B_2)=0.01,P(A|B_3)=0.03$ 。

（1）由全概率公式

P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+P(A|B_3)P(B_3) = 0.0125

（2）由贝叶斯公式

P(B_1|A)= \frac{P(A|B_1)P(B_1)}{P(A)}=\frac{0.02 \times 0.15}{0.125}=0.24

P(B_2|A)=0.64, \quad P(B_3|A)=0.12

即这只次品来自第 2 家工厂可能性最大。

例2 对以往数据分析结果表明，当机器调整得良好时，产品的合格率为 98%，而当机器发生某种故障时，其合格率为 55%。每天早上机器开动时，机器调整良好的概率为 95%。试求已知某日早上第一件产品是合格品时，机器调整良好的概率是多少？

解设 $A$ 为事件 “产品合格”， $B$ 为事件 “机器调整良好”，已知 $P(A|B)=0.98,P(A|\overline B)=0.55$ , $P(B)=0.95,P(\overline B)=0.05$ ，所求概率为 $P(B|A)$ ，由贝叶斯公式

P(B|A)=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline B)P(\overline B)} =\frac{0.98 \times 0.95}{0.98 \times 0.95 + 0.55 \times 0.05} = 0.97

这就是说，当第一件产品是合格品时，机器调整良好的概率为 0.97。这里， $P(B)=0.95$ 是由以往的数据分析得到的，叫做 先验概率，而得到信息之后再重新加以修正的概率（0.97）叫做 后验概率。有了后验概率，我们对机器情况有了进一步了解。

参考资料

概率论与数理统计，第三版，浙江大学，盛骤，谢式千，潘承毅