常用分布列
| 名称 | 分布列/密度函数 | 期望 | 方差 |
|---|---|---|---|
| 二项分布 \(B(n,p)\) | \(P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}\) | \(np\) | \(np(1-p)\) |
| 超几何分布 | \(nM/N\) | ||
| 几何分布 | \(P(X=k)=(1-p)^kp\) | \(\frac{1}{p}\) | \(\frac{1-p}{p^2}\) |
| 负二项分布 | |||
| Poisson 分布 \(\operatorname{Poi}(\lambda)\) | \(P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!}\) | \(\lambda\) | \(\lambda\) |
| 均匀分布 \(U(a,b)\) | \(f(x)=\frac{b-a}{12}\) | \(\frac{a+b}{2}\) | \(\frac{(a-b)^2}{12}\) |
| 指数分布 \(\mathcal{E}(\lambda)\) | \(f(x)=\lambda e^{-\lambda x}\) | \(\frac{1}{\lambda}\) | \(\frac{1}{\lambda^2}\) |
| 正态分布 \(N(\mu,\sigma^2)\) | \(f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-(x-\mu)^2/ 2\sigma^2}\) | \(\mu\) | \(\sigma^2\) |
| 标准 Cauchy 分布 | \(f(x) = \frac{1}{\pi(1+x^2)}\) | / | / |
事实上，Poisson 分布，正态分布、Cauchy 分布都有可加性。
复合随机变量的密度函数计算
例：\(X \sim N(0,1)\)，\(Y = X^2\)，求 \(Y\) 的密度函数 \(f_Y(y)\)
先求分布函数再求导
\[F(y) = P(X^2 \le y)= P(X \le \sqrt{y}) - P(X< -\sqrt{y}) \\ =\int_{-\infty}^\sqrt{y} \varphi(u) du - \int_{-\infty}^{-\sqrt{y}}\varphi(u) du\\ = \varphi(\sqrt y)(\sqrt {y})' - \varphi(-\sqrt y)(-\sqrt y)' \]Chebyshev 不等式
设 \(X\) 为随机变量，且 \(\alpha\) 阶矩存在，则 \(\forall \epsilon > 0\) 有
\[P(|X-EX| \ge \epsilon) \le \frac{E(|X-EX|^\alpha)}{\epsilon^\alpha} \]特别地 \(\alpha = 2\) 时
\[P(|X-EX| \ge \epsilon) \le \frac{DX}{\epsilon^2} \]二维正态分布
\[f(x,y) = \frac{1}{2\pi \sigma_1\sigma_2 \sqrt{1-\rho^2}}\\ \times \exp \left(\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_1}{\sigma_1})^2+(\frac{y-\mu_2}{\sigma^2})^2 - 2\rho \frac{x-\mu_1}{\sigma_1} \frac{y-\mu_2}{\sigma_2}] \right) \]其中 \(|\rho| < 1\) 是相关系数（标准化后的协方差）
联合分布
协方差
\(\operatorname{Cov}(X,Y) = E((Y-EY)(X-EX))=E(XY)-E(X)E(Y)\)
正相关、负相关、不相关。
独立一定不相关，但反过来不一定。
\(D(X) = \operatorname{Cov}(X,X)\)
\[\operatorname{Cov}\left(\sum_{k=1}^{n} a_kX_k ,\sum_{j=1}^m b_jY_j\right) = \sum_{k=1}^{n}\sum_{j=1}^{m} a_kb_j\operatorname{Cov}(X_k,Y_j) \]协方差矩阵是半正定矩阵。
PGF
\[G_X(s) = E(s^X) = \sum_{k=0}^{\infty} s^k p_k \]- \(G_X(1) = 1\)
- \(G'_X(1) = E(X)\)
- 和分布列一一对应
特征函数
\[\psi_X(t) = E(e^{itX}) = E\cos(tX)+iE\sin(tX) \]-
\(\psi\) 关于 \(t\) 一致连续
-
\(\dfrac{\psi_X^{(k)}(0)}{i^k}= E(X^k)\)
-
独立的变量相加，特征函数相乘。
特殊函数的特征函数
- 正态分布 \(\exp(i\mu t - \frac{\sigma^2}{2}t^2)\)
大数定律
- 弱大数：均值依测度收敛到某个值。
- 如果 \(\operatorname{Cov}(X_i,X_j)\le 0\)（\(i\ne j\)） 且 \(\frac{1}{n^2}\sum_{i=1}^{n}DX_i \to 0\)，那么 \(X_i-EX_i\) 服从弱大数定律
- 如果独立同分布且方差有限，那么服从弱大数定律。
- 强大数：均值几乎处处收敛到某个值。
- （Kolmogorov）如果 \(X_n\) 独立且 \(\sum_{n=1}^{\infty}\frac{DX_n}{n^2} < \infty\)，那么 \(X_i-EX_i\) 服从强大数定律
- 如果独立同分布且期望有限，那么 \(X_i\) 服从强大数定律。
中心极限定理
\(X_k\) 独立同分布，方差期望存在，则
\[\lim_{n\to+\infty} P\left(\frac{1}{\sigma \sqrt{n}}\sum_{k=1}^n (X_k-\mu) \le x\right) = \Phi (x) \]一般证明都用特征函数趋近证明。
记 \(B_n^2 = \sum_{k=1}^{n} \sigma_k^2\)
- Lindeberg 条件
\(\forall \tau > 0\)
\[\lim_{n\to +\infty} \frac{1}{B^2_n} \sum_{k=1}^n E\left((X_k-\mu_k)^2I_{\{|X_k-\mu_k| \ge \tau B_n\} }\right) = 0 \]
- Lyapunov 条件
\(\exist \delta > 0\) s.t.
\[\lim_{n \to +\infty} \frac{1}{B_n^{2+\delta}} \sum_{k=1}^{n} E(|X_k-\mu_k|^{2+\delta}) = 0 \]
收敛
若 \(X_n\to^d X\)，\(Y_n \to^p a\)，\(b_n\to b\) 则
- \(b_nX_n+Y_n \to_d bX+a\)
- \(X_nY_n \to^p 0\)（\(a=0\)）
- \(X_nY_n \to ^d Xa\)（\(a\ne 0\)）
- \(X_n/Y_n \to^d X/a\)