概率与期望
1.事件
i.实验，结果与结局
事件 A 是否发生取决于一系列影响它的因素，这些因素影响 A 的 过程称为一次 实验(experiment) 或 试验(trial)。
一次试验的 结果(result) 称为它的 结局(outcome)
-
result 指由原因所引起的结果
-
outcome 强调事件特有的结局，表示最终的结果。
在通常情况下，我们不能在试验结束前提前预知它的结果，我们只能列出有可能出现的结果。
ii.样本空间
一次试验所有可能产生的结果的集合称为 样本空间(sample space)，记作 \(\Omega\)。
事件本质是集合，也就是样本空间的一个子集。
若 $A= \varnothing $，则称 \(A\) 为不可能事件。
若 \(A=\Omega\)，则称 \(A\) 为必然事件。
同样可以用集合语言描述其他事件：
- \(A \cup B\)：\(A,B\) 至少有一个发生。
- \(A\cap B\)：\(A,B\) 同时发生。
- \(\overline{A}\)：\(A\) 不发生。
- \(A \setminus B\)： \(A\) 发生，\(B\) 不发生。
2.概率
i.定义
在同一条件下，我们进行多次完全相同的试验。
设进行了 \(N\) 次试验，\(N(A)\) 表示 \(A\) 发生的次数，\(P(A)\) 为 \(A\) 发生的概率，则：
\[P(A) = \lim_{N \to \infty} \dfrac{N(A)}{N} \]可以发现，\(P(A)\) 是个介于 \([0,1]\) 之间的实数。
若 \(A=\varnothing\)，则 \(P(A)=0\)，但当 \(P(A)=0\) 时，\(A\) 却不一定为 \(\varnothing\)。
例如，设事件 \(A\) 为在数轴上随机选择一个点，且这个点是 \(0\)，那么 \(P(A)=0\)，但 \(A\) 是确实有可能发生的。
ii.互斥（不相容）
若 \(A\cap B=\varnothing\)，则称 \(A,B\) 互斥（不相容），或 \(A,B\) 是两个 互斥（不相容）事件。
若有 \(A,B\) 互斥，则有 \(N(A)+N(B)=N(A \cup B)\)，即 \(P(A)+P(B)=P(A \cup B)\)。
若 \(A_1,A_2,A_3,\dots,A_n\) 两两互斥，且 \(\bigcup\limits_{i=1}^n A_i = \Omega\)，则称它们为 \(\Omega\) 的一个 划分。
iii.有穷可加性
若 \(A_1,A_2,A_3,\dots,A_n\) 两两互斥（并不要求是一个划分），则有
\[P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i) \]iv.概率的容斥
概率同样满足容斥原理：
\[P(A \cup B) = P(A)+P(B)-P(A\cap B) \]推广到一般情况：
\[P(\bigcup_{i=1}^nA_i)=\sum_{J\subseteq\{1,2,\dots,n\}} (-1)^{\left| J\right|+1} P(\bigcap_{j\in J}A_j) \]3.条件概率
i.定义
我们重复进行 \(N\) 次完全相同的试验，只关注 \(A,B\) 是否发生。
我们只考虑 \(B\) 发生了的试验，则 \(A\) 发生的次数占比为：
\[\dfrac{N(A\cap B)}{N(B)} \]若 \(P(B) \neq 0\)，则称在 \(B\) 已经发生这一条件下，\(A\) 发生的条件概率为：
\[P(A|B) = \dfrac{P(A \cap B)}{P(B)} \]对于两个事件 \(A,B\)，其中 \(P(A)\neq 0,P(B) \neq 0\)，有
\[P(A|B)P(B) =P(B|A)P(A)=P(A\cap B) \Leftrightarrow P(A|B)=\dfrac{P(B|A)P(A)}{P(B)} \]ii.全概率公式
若 \(A_1,A_2,A_3,\dots,A_n\)为 \(\Omega\) 的一个划分，则有：
\[P(B) = \sum_{i=1}^n P(B|A_i) P(A_i) \]- 证明：由于 \(B=\bigcup\limits_{i=1}^n(B\cap A_i)\)，且对于 \(\forall i,j \ i \neq j,(B\cap A_i)\cap(B\cap A_j)=\varnothing\)，根据概率的有穷可加性可得原式，命题成立。
iii.贝叶斯公式
若 \(A_1,A_2,A_3,\dots,A_n\)为 \(\Omega\) 的一个划分，则有：
\[P(A_i|B) =\dfrac{P(B|A_i)P(A_i)}{P(B)} =\dfrac{P(B|A_i)P(A_i)}{\sum_{j=1}^n P(B|A_j)P(A_j)} \]全概率公式是把 \(B\) 划分为若干个两两互斥的子事件，而贝叶斯公式则是利用 \(B\) 这一个大事件计算 \(A_i|B\) 这一个子事件。
4.独立性
i.定义
对于两个事件 \(A,B\)，若 \(A\) 发生后对 \(B\) 发生的概率没有影响，则称 \(A,B\) 是 独立的，或 \(A,B\) 为两个 独立事件。
更形式化地，若 \(P(B|A)=P(B)\)，则 \(A,B\) 是独立的。
ii.性质
若 \(A,B\) 独立，当且仅当
\[P(A)P(B)=P(A\cap B) \]iii.独立与互斥
请注意，独立与互斥并不等价。
例如，连续掷两枚骰子，\(A\) 事件表示第一次掷骰子掷出偶数，\(B\) 事件表示第二次掷骰子掷出奇数，那么 \(A,B\) 是独立事件，但不是互斥事件。
独立强调两个事件互不影响，而互斥强调两者交集为空。
iv.例子
-
Lemma：设某次试验的样本空间为 \(\Omega={1,2,3,\dots,p}\)，其中 \(p\) 为质数，且对于任意的 \(A\subseteq \Omega\)，有 \(P(A)=\dfrac{|A|}{p}\)，则对于任意的两个独立事件 \(A,B\)，至少有一个是 \(\varnothing\) 或 \(\Omega\)。
-
Proof：由独立事件的性质得，\(P(A)P(B)=P(A \cap B)\)。设 \(x=|A|,y=|B|,z=|A\cap B|\)，则有
\[\dfrac{x}{p} \cdot \dfrac{y}{p} = \dfrac{z}{p} \Rightarrow xy=zp \]若 \(xy=0\)，则 \(A,B\) 中至少有一个为 \(\varnothing\)；
若 \(xy>0\)，则 \(p \mid xy\)。由于 \(x,y \leq p\)，则 \(x,y\) 中至少有一个等于 \(p\)，即 \(A,B\) 中至少有一个为 \(\Omega\)。
5.例题
i.假阳性试验
-
某疾病在人群中的发病率是 \(10^{-5}\)，仪器检测患者时有 \(99\%\) 的概率结果为阳性，检测正常人时有 \(1\%\) 的概率结果为阳性，求某人检验为阳性时患此病的概率。
-
Solution：设 \(Y\) 表示此人检测为阳性，\(H\) 表示此人健康，\(I\) 表示此人患病。根据贝叶斯公式：
\[P(I|Y) = \dfrac{P(Y|I)P(I)}{P(Y|I)P(I)+P(Y|H)P(H)}=\dfrac{99\% \times 10^{-5}}{99\% \times 10^{-5}+(1-10^{-5})\times 1\%}=\dfrac{11}{11122}\approx 9.8\times 10^{-4} \] -
由于发病率过低，即使检验为阳性，发病概率也极低。
ii.赌徒破产
-
有个赌徒想要攒钱购买售价 \(N\) 的捷豹汽车，他现在的存款共有 \(k\) 美元，且 \(0<k<N\)，他想通过和银行经理赌博的方式赢取剩下的钱。游戏规则是这样的，每次投掷一枚均匀的硬币，若正面朝上，银行经理付给他 \(1\) 美元，若反面朝上，他付给银行经理 \(1\) 美元，游戏重复 进行，直到他能够买得起汽车或者输光了所有的钱为止，求此人最终破产的概率。
-
Solution： 设 \(P_k\) 为此人初始存款为 \(k\) 时，最终破产的概率。不难得到：
\[P_k=\begin{cases} 0 &(k=N) \\ 1 &(k=0) \\ \frac{1}{2}P_{k-1}+\frac{1}{2}P_{k+1} &otherwise \end{cases} \]第三个式子意为，考虑第一次游戏此人是输是赢。
若此人获胜，相当于下一轮的初始存款变为 \(k+1\)；反之变为 \(k-1\)。
将第三个式子变形，得到 \(2P_k=P_{k-1}+P_{k+1} \Rightarrow P_{k-1}-P_k = P_{k}-P_{k+1}\)。
所以 \(P\) 为一个公差为 \(\dfrac{1}{n}\) 的等差数列，则有 \(P_k = n-\dfrac{k}{n}\)。
iii.蒙提霍尔问题（三门问题）
-
在一场真人秀中，参赛者面前有三扇关闭着的门，其中一扇的后面藏着一辆汽车，另外两扇门后面则各藏有一只山羊，选中后面有车的那扇门 就可以赢得该汽车。当参赛者选定了一扇门，但未去开启它的时候，事先知道情况的主持人会开启剩下两扇门中的一扇，露出藏着的一只山羊。主持人其后问参赛者要不要更换选择，选另一扇仍然关着的门。如果你是参赛者，你将如何选择？
-
Solution 1：列举所有的情况：
- 参赛者挑山羊一号，主持人挑山羊二号，更换赢得汽车；
- 参赛者挑山羊二号，主持人挑山羊一号，更换赢得汽车；
- 参赛者挑汽车，主持人挑任意一头山羊，更换结果失败；
故更换后赢得汽车的概率为 \(\dfrac{2}{3}\)，应该更换。
-
Solution 2：设 \(A,B,C\) 分别为汽车在 \(1,2,3\) 门后，\(b\) 表示主持人开启 \(2\) 门。假设参赛者选择 \(1\) 门，那么更换后获胜的概率为：
\[P(C|b)=\dfrac{P(b|C)P(C)}{P(b)}=\dfrac{P(b|C)P(C)}{P(b|A)P(A)+P(b|B)P(B)+P(b|C)P(C)}=\dfrac{\frac{1}{3}}{\frac{1}{6}+0+\frac{1}{3}}=\dfrac{2}{3} \] -
请注意，主持人打开一扇有山羊的门 与 主持人打开一扇门里面有山羊 不等价。
前者相当于改变了样本空间，但后者并没有。
6.随机变量
i.定义
我们通常对一些试验的结果更感兴趣，而不是试验本身，正如赌徒们更关心游戏的输赢，而不是游戏本身的乐趣。
也就是说，我们希望把试验的结果用实数来表示。
我们把用实数表示试验结果的过程看成一种函数，其定义域为 \(\Omega\)， 值域为 \(\mathbb{R}\)，这样的函数被称为 随机变量。
随机变量是函数，我们可以直接用函数符号 \(X\) 表示一个随机变量， 而不必写成 \(X(\omega)\)，通常我们用大写字母 \(X,Y,Z\)
ii.例子
投掷一枚均匀的硬币两次，则
\[\Omega=\{00,01,10,11\} \]对于 \(\omega \in \Omega\)，设 \(X(\omega)\) 为表示正面朝上的次数，则
\[X(00)=0,X(01)=X(10)=1,X(11)=1 \]对于随机变量 \(X\)，其概率分布为
\[P(X=0)=\dfrac{1}{4},P(X=1)=\dfrac{1}{2},P(X=2)=\dfrac{1}{4} \]7.数学期望
i.定义
对于一个随机变量 \(X\)，其数学期望为
\[E(X)=\sum_{x}x\cdot P(X=x) \]在 6-ii 的例子中，\(E(X)=0\times \dfrac{1}{4}+1\times \dfrac{1}{2} + 2\times \dfrac{1}{4}=1\)；
设随机变量 \(Y\) 为随机掷一枚骰子掷出的点数，则 \(E(Y)=\dfrac{1}{6}\times (1+2+3+4+5+6)=3.5\)。
ii.数学期望的性质
-
Theorem 1：对于随机变量 \(X\) 与函数 \(g\)，有
\[E(g(X))=\sum_x g(x) \cdot P(X=x) \] -
Proof 1：利用数学期望的定义式变形：
\[E(g(X))=\sum_y y\cdot \sum_{x:g(x)=y} P(X=x)=\sum_y \sum_{x:g(x)=y} y\cdot P(X=x) = \sum_xg(x)P(X=x) \]最后一步的变形：由枚举 \(g(x)\) 的取值变成枚举 \(x\) 并计算 \(x\) 的贡献。
-
Theorem 2：数学期望是线性函数，即 \(E(aX+bY)=aE(X)+bE(Y)\)。
-
Proof 2：
\[\begin{aligned}E(aX+bY) &= \sum_x\sum_y (ax+by)P(X=x)P(Y=y) \\&= \sum_x\sum_y axP(X=x)P(Y=y) + byP(X=x)P(Y=y) \\ &= \sum_x\sum_y axP(X=x)P(Y=y) + \sum_x\sum_y byP(X=x)P(Y=y) \\&= [\sum_x axP(X=x)\sum_y P(Y=y)] + [\sum_y byP(Y=y)\sum_x P(X=x)] \\&= [a\sum_x xP(X=x)] + [b(\sum_y yP(Y=y))] \\ &= aE(X)+bE(Y)\end{aligned} \]