一、概率论准备知识
1.1 概率空间
\(\sigma\) 代数(事件体)
可测空间\((\Omega, F)\)
概率公理化定义
- 非负性 \(0\le P(A)\le 1\)
- 规范性 \(P(\Omega)=1\)
- 可列可加性 (事件不相交时)
\(P\)是\((\Omega, F)\)上的概率(测度)，三元体\((\Omega, F, P)\)称为概率空间
乘积样本空间
\(\Omega_1 \times \Omega_2 \times \cdots \times \Omega_n=\{(\omega_1, \omega_2, ..., \omega_n), \omega_i \in \Omega_i, i=1,2, ..., n\}\)
\((\Omega, F, P)\)下，概率\(P\)的性质
- \(P(\phi)=0\)
- 有限可加性
- 连续性
- 容斥定理(多除少补原理)
条件概率
\(P(A|B)=\frac{P(AB)}{P(B)}, P(B)>0\)
全概率和Bayes公式
- \(P(B)=\sum_{i=0}^{\infty}P(A_iB)=\sum_{i=0}^{\infty}P(B|A_i)\cdot P(A_i)，其中A_i是样本空间的划分\)
- \(P(A_j|B)=\frac{P(B|A_j)\cdot P(A_j)}{P(B)}=\frac{P(B|A_j)\cdot P(A_j)}{\sum_{i=0}^{\infty}P(B|A_i)\cdot P(A_i)}\)
1.2 随机变量及其分布
随机变量
将样本点映射到实数域上的单值实函数，且满足 \(\forall x\in R, \{\omega: X(\omega)<=x\}\in F\)
分布函数
\(F(x)=P\{X\le x\}, \forall x\in R\)
- 单调不减
- 0, 1之间
- 右连续
二维随机变量
如果X 和Y 是定义在同一概率空间(Ω, F, P)上的两个随机变量, 称(X,Y )为二维随机变量(向量).
(X, Y)的联合分布函数
\(F(x,y)=P\{\omega: X(\omega) \le x, Y(\omega) \le y\}\)
条件分布函数，X=x条件下，随机变量Y的条件分布函数
\begin{align}
F(Y|X=x)&=P{Y\le y | X=x} \
&=\frac {P{X=x, Y\le y}}{P{X=x}}\
&=\lim_{\alpha \to 0^{+}} \frac {F(x, y) - F(x-\alpha, y)} {F(x, +\infty) - F(x-\alpha, +\infty)}
\end{align}
离散型随机变量的条件分布函数
(X, Y)在y=\(y_k\)条件下，X的条件分布函数
\begin{align}
F_{X|Y}(x|y=y_k)&=P{X\le x|Y=y_k}\
&=\frac{P{X\le x,Y=y_k}}{P{Y=y_k}}\
&=\frac{\sum_{x_i\le x}P{X=x_i,Y=y_k}}{P{Y=y_k}}
\end{align}
条件分布率
\(y = y_k\) 条件下X的条件分布律
\begin{align}
P{X=x_i|Y=y_i}=\frac{P{X=x_i, Y=y_i}}{P{Y=y_i}}
\end{align}
条件密度函数
连续型(X, Y),有
\begin{align}
F_{Y|X}(y|x)&=P{Y\le y|X=x}\
&=\frac{P{X=x, Y\le y}}{P{X=x}}\
&=\frac{\int_{-\infty}^{y}f(x, v)dv}{f_{X}(x)}
\end{align}
称\(f_{Y|X}(y|x)=F'_{Y|X}(y|x)=\frac {f(x, y)}{f_X(x)}\)为X=x条件下，随机变量Y的条件密度函数。
随机变量独立性
随机变量相互独立的等价条件
\begin{align}
X与Y相互独立&\Leftrightarrow P{X\le x,Y\le y}=P{X\le x}P{Y\le y}\
&\Leftrightarrow F(x,y)=F_X(x)F_Y(y)\
&\Leftrightarrow F_{X|Y}(x|y)=F(x)\
&\Leftrightarrow P{X=x_i|Y=y_i}=P{X=x_i}\
&\Leftrightarrow f_{X|Y}(x|y)=f_X(x)
\end{align}
扩展至 n 维 随机变量的独立性
\begin{align}
F(x_1,x_2,...,x_n)=F_{X_1}(x_1)\cdot F_{X_2}(x_2) \cdot \cdot \cdot F_{X_n}(x_n)
\end{align}
多维随机变量独立，自分量同样独立
若随机变量\(X_1, X_2 ,…, X_n\)相互独立，则其中任意k(2≤k≤n)个随机变量 \(X_(i_1),X_(i_2 ),⋯,X_(i_k)\)也相互独立.
随机变量函数的独立
设有\(n_1+n_2+...+n_k\)维随机变量，\((X_{1,1},...,X_{1,n_1},X_{2,1},...,X_{2,n_2},...,X_{k,1},...,X_{k,n_k})\)，若\(\Psi_i\)是\(n_i\)元实变实值连续函数，令\(Y_i=\Psi_i(X_{i,1},...,X_{i,n_i})\)，其中\((i=1,2,...,k)\)
有1）\(Y_1,Y_2,...,Y_k\)必为同一概率空间的随机变量
2) 若\((X_{1,1},...,X_{1,n_1},X_{2,1},...,X_{2,n_2},...,X_{k,1},...,X_{k,n_k})\)相互独立，那么\(Y_1,Y_2,...,Y_k\)也相互独立。
1.3 随机变量的函数
随机变量的函数仍为同一概率空间上的随机变量
设已知\((X_1,X_2,…,X_n)\)的联合分布,并有\(k\)个\(n\)元连续函数：
\(y_1=g_1(x_1,…,x_n) ,…, y_k=g_k(x_1,…,x_n)\)，则 \(Y_i=g_i(X_1,…,X_n),(i=1,2,…,k)\)是随机变量. \((Y_1,Y_2,…,Y_k)\)的联合分布函数为：
\begin{align}
F(y_1, y_2, ..., y_k)&=P{Y_1 \le y_1, ..., Y_k \le y_k}\
&=P{g_1(X_1,...,X_n)\le y_1, ..., g_k(X_1, ..., X_n) \le y_k}
\end{align}
当\((X_1, X_2, ..., X_k)\)是连续型随机变量时
\(F(y_1, y_2, ..., y_k)=\int_{\quad D} \cdot \int f(x_1, \cdots, x_n)dx_1\cdots dx_n\)，其中\(D=\{(x_1, \cdots, x_n):g_i(x_1, \cdots, x_n) \le y_i, i=1, 2, \cdots, k\}\)
当\((X_1, X_2, ..., X_k)\)是离散型随机变量时
\(p(y_1, y_2, \cdots, y_k)=\sum_{(x_1, \cdots, x_n)\in D} P\{X_1=x_1,\cdots,X_n=x_n\}\)，其中\(D=\{(x_1, \cdots, x_n):g_i(x_1, \cdots, x_n) = y_i, i=1, 2, \cdots, k\}\)
二维随机变量的变换
设\((X_1,X_2)\)的联合密度为\(f(x_1,x_2)\)，若函数
\begin{cases}
y_1=g_1(x_1,x_2)\
y_2=g_2(x_2,y_2)
\end{cases}
满足下述条件
- 存在唯一反函数
\begin{cases}
x_1=x_1(y_1,y_2)\
x_2=x_2(y_1,y_2)
\end{cases}
2. 有联系一阶偏导数
3. Jacobi 行列式
\begin{matrix}
J=\begin{vmatrix}
\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2}\
\frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2}
\end{vmatrix}\neq 0
\end{matrix}
则\(Y_1=g_1(X_1,X_2), Y_2=g_2(X_1,X_2)\)的联合概率密度为
\(f(x_1(y_1,y_2),x_2(y_1,y_2))\cdot |J|\)
1.4 随机变量函数的数字特征
R-S(黎曼-斯蒂阶)积分简介
R-S积分定义
设f(x), g(x)为定义在[a, b]上的实值函数
f(x)关于g(x)在[a, b]上的R-S积分,简记为\(I=\int_a^bf(x)dg(x)\)
若
\begin{align}
\int_{-\infty}^{+\infty}f(x)dg(x)=lim_{\begin{matrix} a \to -\infty \
b \to +\infty
\end{matrix} }\int_a^bf(x)dg(x)
\end{align}
存在，成为广义的R-S积分。注黎曼积分\(\int_a^b f(x)dx\)是R-S积分的特例
R-S积分的性质
-
\(\int_a^bf_1(x)\pm f_2(x)dg(x)=\int_a^bf_1(x)dg(x)\pm \int_a^bf_2(x)dg(x)\)
-
\(\int_a^bf(x)d(g_1(x)\pm g_2(x))=\int_a^bf(x)dg_1(x)\pm \int_a^bf(x)dg_2(x)\)
-
\(\int_a^b\alpha f(x)d\beta g(x)=\alpha \cdot \beta \int_a^bf(x)dg_(x), \alpha, \beta\)为任意常数
以上三个等式成立的意义是: 当等号右边存在时, 左边也存在并相等 -
\(\int_a^b f(x)dg(x)=\int_a^cf(x)dg(x)+\int_c^bf(x)dg(x), a<c<b\)
-
\(\int_a^bf(x)dg(x)=[f(x)g(x)]_a^b-\int_a^bg(x)df(x)\)。有点像分部积分。
上述性质完全可以推广到广义积分。
广义R-S积分定理
若f(x)在R上连续且有界, g(x)在R上单调有界, 则积分
存在，并且
1）若\(g'(x)\)在R上存在, 在任意有限区间[a, b]上黎曼可积, 则
- 若存在实数列\(C_k,k=0,\pm 1,...\)，使得 \(...<C_{-1}<C_0<C_1<...\)，并且\(g(x)\)在\([C_i, C_{i+1})\)上取常数，那么
随机变量分布函数的广义R-S积分形式
若F(x)是离散型随机变量的分布函数， g(x)关于F(x) 的广义R-S积分形式。利用广义R-S积分定理 2) 的条件，可得
\begin{align}
\int_{-\infty}^{+\infty}g(x){\rm d}F(x)&=\sum_{k=-\infty}^{+\infty}g(x_k)[F(x_k+0)-F(x_k-0)]\
&=\sum_{k=-\infty}^{+\infty}g(x_k)p_k
\end{align}
特别的，当g(x)=x时，离散型随机变量x的数学期望为
随机变量分布函数的广义R-S积分形式
若F(x)是连续型随机变量的分布函数， g(x)关于F(x) 的广义R-S积分形式。
因连续型随机变量的分布函数绝对连续，有\(\frac {{\rm d} F(x)}{{\rm d}x}=F'(x)=f(x)\ge 0\)，若R-S积分存在，则
二元R-S积分简介
假定二元函数\(F(x, y)\)满足下述条件:
-
对于平面上任意矩形\(a_1\le x \le b_1, a_2 \le y \le b_2\)有
\(\Delta F(a_1,b_1;a_2,b_2)=F(a_2,b_2)-F(a_1,b_2)-F(a_2,b_1)+F(a_1, b_1)\ge 0\)
\begin{align}
\lim_{\begin{matrix}x\to +\infty\
y\to +\infty\end{matrix}}F(x,y)=1
\end{align}
且对任意x与y，\(\lim_{x\to -\infty}F(x,y)=\lim_{y\to -\infty}F(x,y)=0\)
\(g(x,y)\)关于\(F(x,y)\)在整个平面上的R-S积分为
\begin{align}
\iint\limits_{
\begin{matrix}
a\le x \le b\
c\le y \le d
\end{matrix}
}
g(x,y){\rm d}F(x,y)
\end{align}
广义的二维R-S积分
\begin{align}
\lim\limits_{
\begin{matrix}
a,c\to -\infty\
b,d\to +\infty\
\end{matrix}
} \iint\limits_{
\begin{matrix}
a\le x \le b\
c\le y \le d
\end{matrix}
}
g(x,y){\rm d}F(x,y)
\end{align}
数学期望与方差
数学期望
离散型和连续型随机变量的数学期望
\begin{align}
if \int_{-\infty}^{+\infty}& |x| {\rm d}F(x)<+\infty, \hspace{0.8em}then \hspace{0.5em} exits\
E(X)&=\int_{-\infty}^{+\infty} x{\rm d}F(x)\
&=\begin{cases}
\int_{-\infty}^{+\infty} xf(x){\rm d}x, when \hspace{0.5em} continous\
\sum\limits_{k=0}^{+\infty}x_k\cdot p_k, when \hspace{0.5em} discrete
\end{cases}
\end{align}
设F(x)是随机变量X的分布函数, g(x)在R上连续, 若\(\int_{-\infty}^{+\infty}|g(x)|{\rm d}F(x)<+\infty\)存在，那么Y=g(X)的数学期望存在，且
随机变量X分布函数为F(x)，其方差为
\[D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2\text{d}F(x) \]柯西-许瓦兹不等式
对任意的随机变量\(X,Y\)。若\(E(X^2) ,E(Y^2)\)有限, 则有
当且仅当\(P{Y=\alpha X}=1\)时，等号成立，其中\(\alpha \in R\)。
E(X)和D(X)关系
对随机变量X，若有\(\int_{-\infty}^{+\infty}x^2\text{d}F(X)<+\infty\)，则\(E(X),D(X)\)存在，并且
\begin{align}
&\hspace{2em} 0\le D(X)=E(X2)-[E(X)]2\
&\Rightarrow [\int_{-\infty}^{+\infty}x{\rm d}F(x)]^2\le \int_{-\infty}{+\infty}x2{\rm d}F(x)
\end{align}
条件数学期望
设(X, Y)是二维随机变量, 条件分布函数\(F_{Y|X}(y|x)\)存在，又若\(\int_{-\infty}^{+\infty}|y|{\rm d}F_{Y|X}(y|x)<+\infty\)，称
为随机变量Y在X=x条件下的数学期望
条件数期望为
设函数g(x)在R上连续，若\(\int_{-\infty}^{+\infty}|g(x)|{\rm d}F_{X|Y}(x|y)<+\infty\)，则随机变量g(X)在“Y=y”条件下的条件数期望为
随机变量X的条件方差
\begin{align}
D(X|Y=y)&=E[X-E(X|Y=y)]^2\
&=\int_{-\infty}{+\infty}[x-E(X|Y=y)]2{\rm d}F_{X|Y}(x|y)
\end{align}
一般\(E(X|Y=y)=\mu(y), E(Y|X=x)=\delta(x)\)是实值函数，可以证明随机变量的函数
\[\mu(X)=E(Y|X)，\delta(Y)=E(X|Y) \]仍是随机变量。
注意这个大小写
关于一般数字特征的性质
设X,Y,Z是(Ω,F, P)上的随机变量, g(·)和h(·)为R上连续函数, 且各数学期望存在,有
- \(E(c|Y)=c, c\)是常数
- \(E(aX+bY|Z)=aE(X|Z)+bE(Y|Z), a, b\)是常数
- 若X和Y相互独立，则\(E(X|Y)=E(X)\)
- \(E[g(X)h(Y)|X]=g(X)E[h(Y)|X]\)
- \(E\{E[g(X,Y)|Y]\}=E[g(X,Y)]\)，类似于二重积分和二次积分的关系
- \(E[X-E(X|Y)]^2\le E[X-g(Y)]^2\)，之前的\(D(X)\le E[(X-c)^2]\)
全数学期望公式
上诉性质5的特例
- \(E(X)=E[E(X|Y)]\)
- \(E[g(X)]=E\{E[g(X)|Y]\}\)
1.5 特征函数
复随机变量的数学期望
设X, Y, Z 是定义在同一概率空间上的随机变量，其中X Y为实随机变量，Z是复随机变量
\(Z=X+jY\)，那么\(E(Z)=E(X)+jE(Y), j=\sqrt{-1}\)
\(E(e^{jtX})\)是实变量t的复值函数
特征函数定义
设X是定义在(Ω,F, P )上的随机变量,称 \(\phi(t)=E(e^{jtX})=\int_{-\infty}^{+\infty}e^{jtx}{\rm d}F(x)=E(costX)+jE(sintX)\)为X的特征函数。
当X是连续性随机变量
\(\phi(t)=\int_{-\infty}^{+\infty}e^{jtx}f(x){\rm d}x\)
当X是离散型随机变量
\(\phi(t)=\sum_{k}e^{jtx_k}p_k\)
常见分布的\(\phi\)函数
单点分布 \(P\{X=c\}=1 \Longrightarrow \phi(t)=e^{jtc}\)
两点分布 \(\phi(t)=q+p\cdot e^{jt}\)
二项分布 \(\phi(t)=(q+p\cdot e^{jt})^n\)
泊松分布 \(\phi(t)=e^{\lambda(e^{jt}-1)}\)
指数分布 \(\phi(t)=\lambda \frac{\lambda}{\lambda^2+t^2} + j\lambda \frac{t}{\lambda^2+t^2}=(1-\frac{jt}{\lambda})^{-1}\)
均匀分布 U[-a, a] \(\phi(t)=\frac{\sin at}{at}\)
正态分布 \(\phi(t)=e^{jt\mu}\cdot e^{-\frac{\sigma^2 t^2}{2}}, speicially \hspace{0.2cm} \phi(t)=e^{-\frac{t^2}{2}}\)
特征函数的性质
- \(|\phi(t)|\le 1=\phi(0)\)
- \(\bar{\phi(t)}=\phi(-t)\)
随机变量X的特征函数为\(\phi_{X}(t)\), 则\(Y= aX+b\)的特征函数是\(\phi_{Y}(t)=e^{jtb}\cdot \phi_X(at)\), a, b 是常数
特征函数的充要条件
(波赫纳—辛钦) 函数