本文已参与「新人创作礼」活动，一起开启掘金创作之路。
大数定律与中心极限定理
一、切比雪夫不等式
设随机变量$X$具有期望$E(X)=\mu$，方差$D(X)=\sigma^{2}$，则对于任意正数$\xi$，不等式$P{|X-EX|\geq \xi}\leq \frac{DX}{\xi^{2}}$或$P{|X-EX|< \xi}\geq1- \frac{DX}{\xi^{2}}$成立
二、大数定律
1. 依概率收敛定义
设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$，对于$\forall \xi>0$，都有$\lim_{n\to \infty}P{|X_{n}-a|<\xi}=1$，则称$X_{n}$依概率收敛于$a$，记作$X_{n}\overset{p}{\rightarrow=}a$
2. 辛钦大数定律
设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且服从于统一分布，数学期望为$E(X_{i})=\mu,i=1,2,\cdots$，则$\frac{1}{n}\sum\limits^{n}{i=1}X{i}\overset{p}{=}\mu$。即$\frac{1}{n}\sum\limits^{n}{i=1}f(X{i})\overset{p}{\rightarrow}E(f(X_{i}))$
3. 伯努利大数定律
设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且均服从于$B(1,p)$，则$\frac{1}{n}\sum\limits^{n}{i=1}X{i}\overset{p}{\rightarrow}p$
三、中心极限定理
1. 林德贝格-列维中心极限定理
设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且均服从于同一分布，$E(X_{i})=\mu,D(X_{i})=\sigma^{2}$，则$\sum\limits^{n}{i=1}X{i}\overset{\cdot}{\sim}N(n \mu,n \sigma^{2})$（$\overset{\cdot}{\sim}$意为近似服从），且对于$\forall x$，有$\lim_{n \to \infty}P\Big{\frac{\sum\limits^{n}{i=1}X{i}-n \mu}{\sqrt{n}\sigma}\leq x\Big}=\Phi (x)$
2. 棣莫弗-拉普拉斯中心极限定理
设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，均服从于$B(1,p)$，则$\sum\limits^{n}{i=1}X{i}\overset{\cdot}{\sim}N[np,np(1-p)]$
参数估计
总体$X$的概率密度（概率分布）含有未知数$\theta$
一、矩估计量
令$EX=\bar{X}$，解得$\theta$的矩估计量
二、最大似然估计量
1. 定义
使得似然函数取得最大值的$\theta$值
2. 做法
-
对样本值$x_{1},x_{2},\cdots,x_{n}$，则似然函数为$\begin{aligned}L(\theta)=\left{\begin{aligned}&\prod^{n}{i=1}P(x{i};\theta)\&\prod^{n}{i=1}f(x{i};\theta)\end{aligned}\right.\end{aligned}$
-
似然函数两端取对数，求导数
-
令$\begin{aligned}\frac{d\ln(L(\theta))}{d \theta}=0\end{aligned}$，得$\theta$的最大似然估计量
例1：设$X\sim B(1,p)$，$X_{1},X_{2},\cdots,X_{n}$是来自总体$X$的样本，试求参数$p$的最大似然估计量
设$x_{1},x_{2},\cdots,x_{n}$为$X_{1},X_{2},\cdots,X_{n}$中的样本值
则$X$的分布律为$P{X=x}=p^{x}(1-p)^{1-x},x=0,1$
则似然函数$L(p)=\prod^{n}{i=1}p(x{i};p)=\prod^{n}{i=1}p^{x{i}}\cdot (1-p)^{1-x_{i}}=p^{\sum\limits^{n}{i=1}x{i}}\cdot (1-p)^{\sum\limits^{n}{i=1}(1-x{i})}$
取对数$\ln(L(p))=\sum\limits^{n}{i=1}x{i}\ln p+(n-\sum\limits^{n}_{i=1})\ln(1-p)$
$\frac{d\ln(L(p))}{dp}=\frac{\sum\limits^{n}{i=1}x{i}}{p}-\frac{n-\sum\limits^{n}{i=1}x{i}}{1-p}=0$
解得$\hat{p}=\frac{1}{n}\sum\limits^{n}{i=1}x{i}=\bar{x}$
则$p$的最大似然估计量为$\hat{p}=\bar{x}$
例2：设$X\sim N(\mu,\sigma^{2})$，$\mu,\sigma^{2}$为未知参数，$x_{1},x_{2},\cdots,x_{n}$是来自$X$的一个样本值，求$\mu,\sigma^{2}$的最大似然估计量
$f(x;\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{-(x-\mu)^{2}}{2\sigma^{2}}}$
则$L(\mu,\sigma^{2})=\prod^{n}{i=1}f(x{i};\mu,\sigma^{2})=2\pi^{-\frac{n}{2}}\cdots (\sigma^{2})^{-\frac{n}{2}}\cdot e^{-\frac{\sum\limits^{n}{i=1}(x{i}-\mu)^{2}}{2\sigma^{2}}}$
$\ln L(\mu,\sigma^{2})=-\frac{n}{2}\ln (2\pi)-\frac{n}{2}\ln(\sigma^{2})--\frac{\sum\limits^{n}{i=1}(x{i}-\mu)^{2}}{2\sigma^{2}}$
令$\frac{\partial\ln L}{\partial\mu}=0,\frac{\partial\ln L}{\partial\sigma^{2}}=0$
解得$\hat{\mu}=\frac{1}{n}\sum\limits^{n}{i=1}=\bar{x},\hat{\sigma^{2}}=\frac{1}{n}\sum\limits^{n}{i=1}(x_{i}-\bar{x})^{2}$
故解得$\mu,\sigma^{2}$的最大似然估计量分别为$\hat{\mu}=\frac{1}{n}\sum\limits^{n}{i=1}=\bar{x},\hat{\sigma^{2}}=\frac{1}{n}\sum\limits^{n}{i=1}(x_{i}-\bar{x})^{2}$
标签：frac,limits,大数,sum,mu,cdots,参数估计,概率论,sigma From： https://blog.51cto.com/u_15767241/5727058