大数定律

标签：le frac 定律 epsilon sum 大数 ge EX

大数定律

大数定律的内涵是在大量的重复实验中，可以以统计上的指标代替概率上的指标，相关定理等描述的都是这么做的合理性

切比雪夫不等式

定义:

\[P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2} \]

证明:

\[P\lbrace [|X-EX| \ge \epsilon] \rbrace = \int_{|X-EX|\ge \epsilon} f(x)dx \quad 因为|X-EX| \ge \epsilon\\ 故\quad(X-EX)^2 \ge \epsilon^2; \frac{(X-EX)^2}{\epsilon^2} \ge 1 \\ 故 \int_{|X-EX|\ge \epsilon} f(x)dx \le \int_{|X-EX|\ge \epsilon} \frac{(X-EX)^2}{\epsilon^2} f(x)dx=\frac{1}{\epsilon^2}\int_{|X-EX|\ge \epsilon}(X-EX)^2f(x)dx \le \frac{1}{\epsilon^2}\int_{-\infty}^{\infty}(X-EX)^2f(x)dx = \\ \frac{DX}{\epsilon^2} \quad 即\\ P\lbrace [|X-EX| \ge \epsilon] \rbrace \le \frac{DX}{\epsilon^2} \]

概念 依概率收敛

对于任意的\(\epsilon\), 存在N，使得\(n \ge N\)时，\(|x_n - a| \le \epsilon\)， 记作\(x_n{\xrightarrow{P}}a\), 数学表达为:

\[\forall \epsilon \gt 0, \lim_{n->\infty}P[|x_n - a| \le \epsilon] = 1 \]

伯努利大数定律

对于n重伯努利实验, 有以下结论:

\[\forall \epsilon \gt 0\quad \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1 \]

即当试验次数趋于无穷时，事件频率依概率收敛于事件概率
证明:

\[由 Em_n = np;Dm_n = npq \quad\quad得 E(\frac{m_n}{n}) = p ; D(\frac{m_n}{n})=\frac{(Dm_n)}{n^2} \\ 所以, P[\frac{m_n}{n} - p \le \epsilon] \ge 1 - \frac{D(\frac{m_n}{n})}{\epsilon} = 1 - \frac{npq}{n^2 \epsilon } =1-\frac{pq}{n\epsilon} \\ 当 n \rightarrow \infty时， 1-\frac{pq}{n\epsilon} = 1, 而 P[\frac{m_n}{n} - p \le \epsilon] \le 1 故：\\ \lim_{n\rightarrow \infty}P[\frac{m}{n} - p \le \epsilon] = 1 \]

切比雪夫大数定律

设变量\(x^0 ... x^n\) 互相独立，且\(Ex_i, Dx_i\)均存在且有界，那么:

\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i\rbrace = 1 \]

切比雪夫大数定律表明\(n \rightarrow \infty\)时，独立随机变量的平均值依概率收敛于期望的平均值，特别的，当这些变量满足同分布时，就是平均值依概率收敛于期望
证明
设\(Y=\frac{1}{n}\sum x_i\)，则\(EY=\frac{1}{n}\sum Ex_i\) 方差\(DY=\frac{1}{n^2}\sum{Dx_i}\)
所以由切比雪夫不等式，

\[P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace \ge 1- \frac{DY}{\epsilon^2} = 1-\frac{\sum Dx_i}{n^2\epsilon} \ge1 - \frac{nM}{n^2\epsilon} \\ 故\quad\quad \lim_{n \rightarrow \infty} P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - \frac{1}{n}\sum_{i=1}^{n}Ex_i \le \epsilon \rbrace =1 \]

辛钦大数定律

设\(x_1 ...x_n\) 为独立同分布，若\(x\)期望\(Ex=u\)存在，则

\[\lim_{n \rightarrow \infty}P\lbrace \frac{1}{n} \sum_{i=1}^n x_i - u\rbrace = 1 \]

切比雪夫大数定律要求方差存在且有界但对随机变量不要求同分布。辛钦大数定律指明了在方差不存在但随机变量同分布时，均值依概率收敛于期望

标签：le,frac,定律,epsilon,sum,大数,ge,EX
From： https://www.cnblogs.com/fyyy94/p/18133224