2.2 随机变量的数字特征
离散型随机变量的数学期望
设离散型随机变量\(X\)的可能值为\(x_i(i=1,2,\cdots)\)，其概率分布为
\[P\{X=x_i\}=p_i,\quad i=1,2,\cdots, \]若\(\sum\limits_{i=1}^\infty x_ip_i\)绝对收敛，则记\(E(X)=\sum\limits_{i=1}^\infty x_ip_i\)为随机变量\(X\)的数学期望。
连续型随机变量的数学期望
推导过程
设\(X\)是连续型随机变量，密度函数为\(f(x)\).
根据密度函数的特点，有：
\[P\{x_i<X<x_{i+1}\}\approx f(x_i)\Delta x_i \]其中，\(\Delta x_i=x_{i+1}-x_i\)趋向于\(0\).
因而，概率分布为：
| \(x_i\) | \(x_0\) | \(x_1\) | \(\cdots\) | \(x_n\) |
|---|---|---|---|---|
| \(p_i\) | \(f(x_0)\Delta x_0\) | \(f(x_1)\Delta x_1\) | \(\cdots\) | \(f(x_n)\Delta x_n\) |
将其视为\(X\)的离散近似，而离散型随机变量的数学期望为：
\[\sum\limits_{i=0}^nx_if(x_i)\Delta x_i \]当\(\Delta x_i \to0\)时，根据定积分的定义，上述和式以定积分：
\[\int_a^b xf(x)dx \]为极限（如果积分存在），于是该定积分的值便是连续型随机变量\(X\)的数学期望。
定义
若\(X\)为连续型随机变量，\(f(x)\)为其密度函数，如果广义积分：
\[\int_{-\infty}^{+\infty}xf(x)dx \]绝对收敛，则称\(E(X)=\int_{-\infty}^{+\infty}xf(x)dx\)为随机变量\(X\)的数学期望。
随机变量函数的数学期望
一元函数
设\(X\)为随机变量，\(Y=g(X)\)是随机变量函数.
| \(E(X)\) | \(E(Y)\) | |
|---|---|---|
| 离散 | \(\sum\limits_ix_ip_i\) | \(\sum\limits_ig(x_i)p_i\) |
| 连续 | \(\int_{-\infty}^{+\infty}xf(x)dx\) | \(\int_{-\infty}^{+\infty}g(x)f(x)dx\) |
为什么连续型随机变量函数的数学期望只将\(x\)改为\(g(x)\)，而\(f(x)\)不用改？
解析：数学期望可以简单概括为\((变量的值\times概率)\)的和式，根据上文中连续型随机变量的数学期望的推导过程，\(f(x)\)属于概率的部分，而随机变量函数其实只改变了变量的值这一部分，所以只将式子前面的\(x\)改为\(g(x)\).
二元函数
设\(X,Y\)为随机变量，\(Z=g(X,Y)\)是二元随机变量函数。
离散
\[E(Z)=\sum\limits_i\sum\limits_jg(x_i,y_j)p_{ij} \]举例：
| \(X\quad\backslash\quad Y\) | 0 | 1 | 2 |
|---|---|---|---|
| 1 | 0.1 | 0.1 | 0.2 |
| 2 | 0.2 | 0.2 | 0.2 |
设\(Z=X-Y\)，则：
\[\begin{align*} E(Z)= &\ (1-0)\times0.1+(1-1)\times0.1+(1-2)\times0.2\\ &\ (2-0)\times0.2+(2-1)\times0.2+(2-2)\times0.2\\ =&\ 0.5 \end{align*} \]连续
二元连续型随机变量函数的数学期望需要计算二重积分：
\[E(Z)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y \]数学期望的性质
- \(E(C)=C\)，其中\(C\)为常数.
- \(E(kX+b)=k\cdot E(X)+b\).
- \(E(X\pm Y)=E(X)\pm E(Y)\).
- \(E(\sum\limits_i C_iX_i)=\sum\limits_i C_iE(X_i)\)
- \(E(\frac{1}{n}\sum\limits_i X_i)=\frac{1}{n}\sum\limits_i E(X_i)\)
- 若\(X,Y\)独立，有\(E(XY)=E(X)\cdot E(Y)\)
条件期望
定义
一个变量取了某值之后，另一变量的数学期望。
离散：
- \(E(X|Y=y_j)=\sum\limits_i x_iP(X=x_i|Y=y_j)\)
- \(E(Y|X=x_i)=\sum\limits_j y_jP(Y=y_j|X=x_i)\)
连续：
- \(E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx\)（计算结果带有\(y\)）
- \(E(Y|X=x)=\int_{-\infty}^{+\infty}yf(y|x)dy\)（计算结果带有\(x\)）
随机变量的方差
方差的定义
方差描述了一组数据的偏离程度，计算每个值与平均值的距离\(\frac{1}{n}\sum|x_i-\overline{x}|\)，使用绝对值是为了描述偏离的距离(非负值)，但是绝对值的计算是复杂的，使用平方会更简便：\(\frac{1}{n}\sum(x_i-\overline{x})^2\).
随机变量的方差
-
离差：\(X-EX\)
-
方差：\(D(X)=E(X-EX)^2\)
-
标准差：\(\sqrt{DX}\)
\(X\)是随机变量，离差\(X-EX\)也是一个随机变量，为了消除正负符号影响并且考虑计算方便，使用\((X-EX)^2\)来衡量\(X\)对\(EX\)的偏离，从而方差\(D(X)=E(X-EX)^2\)即为\(X\)对\(EX\)的平均偏离。
计算
离散型：
\[DX=E(X-EX)^2=\sum\limits_i(x_i-EX)^2p_i \]连续型：
\[DX=E(X-EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx \]常用计算公式：
\[DX=E(E-EX)^2=EX^2-(EX)^2 \]证明：
\[\begin{align*} \quad E(X-EX)^2 &= E[X^2-2X\cdot EX+(EX)^2] \\ &= EX^2-2EX\cdot EX + (EX)^2 \quad \quad \quad (*)\\ &= EX^2 - (EX)^2 \end{align*} \]步骤\((*)\)使用了数学期望的性质，这里将\(X\)视为变量，将\(EX\)视为常数，直接提出。
性质
- \(D(a)=0\)
- \(D(X+a)=DX\)
- \(D(aX)=a^2DX\)
- \(D(kX+b)=k^2DX\)
结合上面两个性质即可证明.
- 若\(X,Y\)独立，有\(D(X\pm Y)=DX+DY\)
这个性质有两点要注意：
- 在数学期望的性质中有类似的性质：\(E(X\pm Y)=EX\pm EY\)是在任何时候都成立，而方差的性质需要前提条件：\(X,Y\)独立
- 数学期望的性质的数学符号是\(\pm\)拆开来也是\(\pm\)，但是方差的性质的符号，内部是\(\pm\)，分开后的符号都是\(+\).
证明：
\[D(X\pm Y)=E(X\pm Y-E(X\pm Y))^2=E(X\pm Y- EX\mp EY)^2 \]\[上式= E((X-EX)\pm(Y-EY))^2 \]这一步主要在于将\(E(X\pm Y)\)拆分，注意符号变化\(\pm\to\mp\).
\[上式 = E[(X-EX)^2\pm2(X-EX)(Y-EY)+(Y-EY)^2] \]这一步的关键在于将上一步中的\(\pm Y\mp EY\)合并成\(\pm(Y-EY)\)，这里虽然有两个正负号，但是并不是有4种情况（\(++,+-,-+,--\)）。
事实上，从源头\(D(X\pm Y)\)看来，只有两种情况，再沿着计算步骤算下来，也只有两种情况：
- \(+Y-EY\)
- \(-Y+EY\)
所以可以合并为\(\pm(Y-EY)\).
\[\begin{align*} 上式 &= E(X-EX)^2+E(Y-EY)^2\pm2E[(X-EX)(Y-EY)] \\ &= DX+DY\pm2E[(X-EX)(Y-EY)] \end{align*} \]这一步就是简单的二项式展开。
\[\begin{align*} E[(X-EX)(Y-EY)] &= E(XY-X\cdot EY-Y\cdot EX+EX\cdot EY)\\ &= E(XY)-EX\cdot EY-EX\cdot EY+EX\cdot EY \\ &= EX\cdot EY-EX\cdot EY-EX\cdot EY+EX\cdot EY \\ &= 0 \end{align*} \]利用数学期望的性质展开。
显然，接下来只需要证明\(E[(X-EX)(Y-EY)]=0\)。
此时，因为前提条件为\(X,Y\)独立，根据数学期望的性质有：\(E(XY)=EX\cdot EY\)
综上，当\(X,Y\)独立时，有\(D(X\pm Y)=DX+DY\).
- \(DX=0\Leftrightarrow P\{X=EX\}=1\)
标准化随机变量
定义
标准化随机变量(standardized random variable)是指经过处理，从而具有一些较好性质的随机变量。设\(X\)为随机变量，称\(X^*=\frac{X-EX}{\sqrt{DX}}\)为标准化随机变量。
性质
- 数学期望为0.
- 方差为1.
\(EX,DX\)视为常数.
随机变量的矩
原点矩
定义
\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在（即绝对收敛），则称\(EX^k\)为\(X\)的\(k\)阶原点矩，称\(E|X|^k\)为\(X\)的\(k\)阶绝对矩。
- 标准化后的三阶矩：\(S=E(\frac{X-EX}{\sqrt{DX}})^3\)称为\(X\)的分布的偏度（skewness），用来比较不同分布的非对称程度。
- 标准化后的四阶矩：\(K=E(\frac{X-EX}{\sqrt{DX}})^4\)称为\(X\)的分布的峰度(kurtosis)，用来比较分布的扁平程度。
计算
- 离散：\(\sum x_i^kp_i\)
- 连续：\(\int_{-\infty}^{+\infty}x^kf(x)dx\)
定理
若随机变量\(X\)的 \(t\) 阶矩存在，则其 \(s\) 阶矩也存在。( \(s<t\) 为正整数 )
推论
设\(k\)为正整数，\(C\)为常数，如果\(EX^k\)存在，则\(E(X+C)^k\)存在，\(E(X-EX)^k\)存在.
中心距
定义
\(X\)为随机变量，\(k\)为正整数，如果\(EX^k\)存在，则称\(E(X-EX)^k\)为\(X\)的\(k\)阶中心距，称\(E|X-EX|^k\)为\(X\)的\(k\)阶绝对中心距。
- 数学期望是\(X\)的一阶原点矩。
- 方差是\(X\)的二阶中心矩。
如果\(EX^2<\infty\)，则\(X\)的数学期望和方差都存在。
计算
- 离散：\(\sum(x_i-EX)^kp_i\)
- 连续：\(\int_{-\infty}^{+\infty}(x-EX)^kf(x)dx\)
与矩相关的不等式
定理
设\(h(x)\)是\(x\)的一个非负函数，\(X\)是一个随机变量，且\(Eh(X)\)存在，则对任意\(\varepsilon>0\)，有
\[P\{h(X)\ge\varepsilon\}\le\frac{Eh(x)}{\varepsilon} \]推论
推论1（马尔可夫不等式）设\(X\)的\(k\)阶矩存在（\(k\)为正整数），即\(E|X|^k<\infty\)，则对任意\(\varepsilon>0\)有
\[P\{|X|\ge \varepsilon\}\le\frac{E|X|^k}{\varepsilon^k} \]推论2（切比雪夫不等式）设\(X\)的方差存在，则对任意\(\varepsilon>0\)有
\[P\{|X-EX|\ge\varepsilon\}\le\frac{DX}{\varepsilon^2} \]推论3 随机变量\(X\)的方差为0当且仅当存在一个常数\(a\)，使得\(P\{X=a\}=1\)，且该常数\(a=EX\).
标签：infty,数理统计,EY,EX,DX,2.2,随机变量,pm From： https://www.cnblogs.com/feixianxing/p/numerical-characteristics-of-random-variables.html使用教材：
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社