1. 大数定律
1. 依概率收敛
- 依概率收敛:设\(Y_1,Y_2,\dots,Y_n,\dots\)为一随机变量序列,\(a\)是是常数,若对任意整数\(\varepsilon\),有\(\lim_{n\to\infty}P(|Y_n-a|<\varepsilon) = 1\),则称随机变量序列\(Y_1,Y_2,\dots,Y_n,\dots\) 依概率收敛于\(a\),记为\(Y_n\stackrel{P}{\longrightarrow}a\)
- 依概率收敛的性质
- 设\(X_n\stackrel{P}{\longrightarrow}a,Y_n\stackrel{P}{\longrightarrow}b\),又设函数\(g(x,y)\)在点\((a,b)\)连续,那么\(g(X_n,Y_n)\stackrel{P}{\longrightarrow}g(a,b)\)
- \(\{Y_n\}\)依概率收敛于\(Y\),意味着对任意给定的\(\varepsilon>0\) ,当\(n\)充分大时,事件\(|Y_n-Y|<\varepsilon\)的概率很大,接近于1;并不排除事件\(|Y_n-Y|\ge\varepsilon\)的发生,而只是说它发生的可能性很小
- 依概率收敛不一定收敛,收敛一定是依概率收敛
2. 大数定律
- 切比雪夫定理的特殊情况
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立,且具有相同的数学期望和方差:\(E(X_k)=\mu,D(X_k)=\sigma^2\),则对任意的\(\varepsilon>0\),有\(\lim_{n\to\infty}(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon) = 1\),即\(\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i\stackrel{P}{\longrightarrow}\mu\)
- 含义:相互独立具有相同期望和方差的随机变量\(X_1,X_2,\dots,X_n,\dots\)的算术平均值依概率收敛于其数学期望值
- 伯努利大数定律
-
设\(n_A\)是\(n\)次独立重复试验中\(A\)发生的次数. \(p\) 是事件\(A\)在每次试验中发生的概率, 则对任意\(\varepsilon > 0\),有
\[\lim_{n\to\infty}P(|\frac{n_A}{n}-p|<\varepsilon)=1 \Longleftrightarrow \lim_{n\to\infty}P(|\frac{n_A}{n}-p|\ge\varepsilon)=0 \] -
含义:\(\frac{n_A}{n}\stackrel{P}{\longrightarrow}P(A),(n\to\infty)\),事件\(A\)发生的频率依概率收敛于事件的概率\(p\),这个定理以严格的数学形式表达了频率的稳定性
-
- 辛钦定理(弱大数定理)
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立,且具有相同的分布,数学期望:\(E(X_k)=\mu\),则对任意正数\(\varepsilon\),有$$\lim_{n\to\infty}P(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|<\varepsilon)=1$$
- 辛钦定理不要求随机变量的方差存在
- 其它一些一般情况
- 设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立但是不具有相同的分布,设数学期望\(E(X_i)=\mu_i,D(X_i)=\sigma_i^2,i=1,2,\cdots\),则对任意正数\(\varepsilon\)有
- 马尔科夫大数定律:如果随机变量序列\(X_1,X_2,\dots,X_n,\dots\)不相互独立,则只要
2. 中心极限定理
1. 独立同分布(林德贝格-列维)中心极限定理
- 定理:设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立,且具有相同的分布,数学期望:\(E(X_k)=\mu,D(X_k)=\sigma^2\ne 0\),则$$Y_n=\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}$$的分布函数\(F_n(x)\)满足对于任意实数\(x\),有$$\bar{X} = \frac{1}{n}\sum_{i=1}^nX_i\sim N(\mu,\sigma^2/n)$$
- 含义:当\(n\)很大的时候,\(Y_n\)近似服从 标准正态分布
2. 李雅普诺夫定理
- 定理:设随机变量序列\(X_1,X_2,\dots,X_n,\dots\)相互独立,且具有数学期望和方差\(E(X_k)=\mu_k,D(X_k)=\sigma_k^2\ne0\),记\(B_n^2=\sum_{k=1}^n\sigma_k^2\),如果存在\(\delta>0\),使得\[\lim_{n\to\infty}\frac{1}{B_n^{2+\delta}}\sum_{k=1}^{n}E(|X_k-\mu_k|^{2+\delta})\to0 \]则随机变量\[Z_n = \frac{\sum_{k=1}^nX_k-E(\sum_{k=1}^nX_k)}{\sqrt{D(\sum_{k=1}^nX_k)}}=\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{B_n} \]的分布函数\(F_n(x)\)对任意\(x\)有\[\lim_{n\to\infty}F_n(x) = \lim_{n\to\infty}P(\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{B_n}\le x)=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x) \]
- 含义:当\(n\)充分大的时候,\(Z_n\)的分布近似于 标准正态分布
3. 棣莫弗-拉普拉斯定理
- 定理:设\(\eta_n\)服从参数为\(n,p(0<p<1)\)的 二项分布,则对任意\(x\),恒有
- 含义:正态分布是二项分布的 极限分布,所以当\(n\)充分大时,我们可以用标准正态分布近似二项分布
- 二项分布近似于正态分布:\(n\)充分大
- 二项分布近似于泊松分布:\(n\)充分大并且\(p\)要小(一般要求\(n\ge20,p\le0.05\))