目录
一、随机变量及其分布
1、定义
随机变量是一个从样本空间（所有可能结果的集合）到实数集的函数。
样本空间中的每个结果都对应于随机变量的一个值。随机变量的值可以是离散的，也可以是连续的。随机变量通常用大写字母表示，如 X、Y 或 Z。
定义事件：事件可以定义为随机变量取特定值的集合。一般用{X=?}表示。
概率分布：随机变量的概率分布描述了它取每个可能值的概率。这个分布可以用来计算事件的概率。在随机变量表示的事件前加上P来表示：P{X=?}或者P(X=?)。
2、离散型随机变量及其概率分布
特点
-
可数性：随机变量的取值是可数的，即有限个或可数无限个。
-
离散性：取值之间有“间隔”，不是连续变化的。
-
概率分布：每个取值都有一个特定的概率，且所有取值的概率之和等于1。
离散型随机变量的概率分布通常由概率质量函数（Probability Mass Function, PMF）描述。PMF 定义了随机变量每个可能取值的概率。对于离散型随机变量 X，其概率质量函数为：，其中 x* 是 X 可能取的值。PMF 满足以下条件：
-
非负性：对于所有的 x，有 P(X=x)≥0。
-
归一性：所有可能取值的概率之和等于1。
3、连续型随机变量及其概率分布
特点
-
连续性：随机变量的取值是连续的，可以在一个或多个区间内取任意值。
-
不可数性：取值是不可数的，即有无限多个可能的取值。
-
概率分布：每个取值区间都有一个特定的概率，且整个取值范围的概率密度函数积分等于1。
-
连续型的随机变量取值在任意一点的概率都是0。在函数曲线上某个点的概率其实是取的该点附近值的大小。
-
连续情况下，端点无所谓。P{a≤x≤b}=P{a＜x＜b}
连续型随机变量是取值可以是某个区间内任意实数的随机变量。与离散型随机变量不同，连续型随机变量的取值是连续的，不可数的。
连续型随机变量的概率分布通常由概率密度函数（Probability Density Function, PDF）描述。对于一维实随机变量X，如果存在非负可积函数f(x)，使得对于任意实数x， 有：
，则称f(x)为随机变量X的概率密度函数。
PDF同样满足：
-
非负性：对于所有的 x，有
。
-
归一性：概率密度函数在整个取值范围的积分等于1 。
概率密度函数的积分其实就是求曲线在某个区间内的面积。
4、分布函数
分布函数是描述随机变量取值分布情况的函数，无论是离散型随机变量还是连续型随机变量，都可以通过分布函数来描述其概率特性。
分布函数通常指的是累积分布函数（Cumulative Distribution Function, CDF），用 F(x) 表示。
累积分布函数（CDF）
对于随机变量 X，其累积分布函数 F(x) 定义为随机变量 X 取值小于或等于 x 的概率：
CDF 的性质
-
非减性：随着 x 的增加，F(x) 是非减的，即 F(x1)≤F(x2)对于所有的 x1≤x2 成立。
-
范围：F(x)的值域在 0 到 1 之间，即 0≤F(x)≤1。
-
边界条件：
-
右连续：F(x) 在任意点 x 都是右连续的。对于离散型随机变量，F(x) 在任意点 x 是右连续，对于连续型随机变量，F(x) 在任意点 x 是连续的。
公式
离散型随机变量的CDF
-
对于离散型随机变量，CDF 是阶梯式的，每个可能的取值点都有一个跳跃。
-
累积分布函数 F(x) 可以表示为：
连续型随机变量的CDF
-
对于连续型随机变量，CDF 是概率密度函数（PDF）的积分，并且是连续且光滑的（除非在某些点上有跳跃）。
-
累积分布函数 F(x) 可以表示为：
分布函数其实就是求曲线在某个区间内的面积。
5、常见分布
5.1 0-1分布
也称为伯努利分布，是一种特殊的离散概率分布。它描述了在单次伯努利试验中只有两种可能结果的随机变量，通常这两种结果被称为“成功”和“失败”。
对于伯努利随机变量 X，其概率质量函数为：
如果是n重伯努利试验，分布函数则为（详见事件概率的伯努利公式）：
5.2 几何分布
描述在成功之前需要进行的试验次数的离散型概率分布。具体来说，几何分布描述的是在独立重复的伯努利试验中，首次成功所需的试验次数。
如果随机变量 X 表示获得第一次成功所需的试验次数，那么几何分布的概率质量函数为：
5.3 二项分布
如果随机变量 X 表示 n 次伯努利试验中成功的次数，那么 X 服从参数为 n 和 p 的二项分布，记作 X∼B(n,p)。二项分布的概率质量函数为：
5.4 泊松分布
泊松分布（Poisson Distribution）是描述在固定时间或空间内事件发生次数的离散型概率分布。它适用于事件发生的概率较小且事件之间相互独立的情况。
设随机变量 X 服从泊松分布，其参数为 λ，表示单位时间或空间内事件发生的平均次数。则 X 的概率质量函数（PMF）为：
5.5 均匀分布
在连续均匀分布中，所有可能的结果是连续的，并且在相同长度间隔的分布概率是相同的。
均匀分布的概率密度函数（PDF）：
对于连续型随机变量 X，如果它服从区间 [a,b]上的均匀分布，其概率密度函数为：
累积分布函数（CDF）：
5.6 指数分布
指数分布（Exponential Distribution）是一种连续概率分布，它描述了在两个连续事件发生之间的时间间隔，这两个事件是完全随机的，且具有恒定的平均发生率。
概率密度函数
其中：
-
x 是随机变量，表示事件发生的时间间隔。
-
λ 是率参数，表示单位时间内事件发生的平均次数。
分布函数
5.7 正态分布
正态分布（Normal Distribution），也称为高斯分布（Gaussian Distribution），是连续概率分布的一种。它是统计学中最重要的概率分布之一，因为许多自然和社会现象的分布都近似于正态分布。记作：
概率密度函数
其中：
-
x 是随机变量。
-
μ 是均值。
-
σ是标准差。
-
σ^2是方差。
性质
- y=f(x)以x=u为对称轴
- x=u时，f(x)取到最大值
- y=f(x)以x轴为渐近线，x±σ为拐点
- σ固定，u变化，图像左右移动；u固定，σ变小，最高点上移，σ变大，最高点下移
分布函数
5.7.1标准正态分布
标准正态分布的均值为0，标准差为1
概率密度函数
分布函数
5.7.2正态分布标准化
假设 X 是一个服从正态分布的随机变量，记作
标准化的步骤如下：
-
中心化：将 X 减去均值 μ，得到一个新的随机变量 Y：Y=x−μ，此时，Y 的均值为0，方差仍为 σ^2。
-
标准化：将 Y 除以标准差 σ，得到一个新的随机变量 Z：
此时，Z 的均值为0，方差为1，即 Z∼N(0,1)。
标准化正态分布和正态分布的关系
概率密度函数：
f(x)：标准正态密度函数：
分布函数：
F(x)：标准正态分布函数：
6、离散型随机变量函数的分布
离散型随机变量函数的分布通常指的是如何从已知的离散型随机变量出发，通过某种函数关系得到新的随机变量，并确定这个新随机变量的概率分布。
假设有一个离散型随机变量 X，其概率质量函数（PMF）为 P(X=x)，现在我们定义一个新的随机变量 Y=g(X)，其中 g 是一个函数。我们想要找到 Y 的概率分布。
计算方法：直接法、间接法
7、连续型随机变量函数的分布
连续型随机变量函数的分布是指通过一个连续型随机变量 X的函数 Y=g(X)得到的新的随机变量 Y 的分布。
计算方法：
- 计算 Y 的分布函数：
- 求导得到概率密度函数：
二、多维随机变量及其分布
1、二维随机变量及其分布
假设E是随机试验，Ω是样本空间，X、Y是Ω的两个变量；(X,Y)就叫做二维随机变量或二维随机向量。X、Y来自同一个样本空间。
联合分布函数
性质：
- 0≤F(x,y) ≤1
- F(x,y) 不减，例如：y固定，x1<x2，F(x1,y)<F(x2,y)
- F(-∞,y)=F(x,-∞)=F(-∞,-∞)=0，F(+∞,+∞)=1
- F(x,y)分别关于x和y右连续
2、二维离散型随机变量的联合分布和边缘分布
联合概率质量函数 P(X=x,Y=y) 描述了随机变量 X 和 Y 同时取特定值 x 和y 的概率。联合PMF满足以下性质：
-
非负性：对于所有的 x 和 y，有 P(X=x,Y=y)≥0。
-
归一性：所有可能的 x 和 y 值的概率之和等于1，即：
联合分布函数
F(x,y)的值就是在分布表中找到对应的（x，y）对应的位置，然后将其左上角的概率相加。
边缘分布
边缘概率质量函数可以通过对联合PMF的适当求和得到。
1、边缘PMF
表示随机变量 X 取特定值 x 的概率，不考虑 Y的值。计算方法为：
其中，求和是对所有可能的 y 值进行。
2、边缘PMF
表示随机变量 Y取特定值 y 的概率，不考虑 X 的值。计算方法为：
其中，求和是对所有可能的 x 值进行。
概率分布表解释：
对行求和，得到对X的边缘分布。
对列求和，得到对Y的边缘分布。
3、二维连续随机变量的联合分布和边缘密度函数
对于二维连续随机变量 X 和 Y，其分布函数为：
则F(x,y)是分布函数，f(x,y)是联合密度函数。
f(x,y)的性质：
-
非负性：对于所有的 x 和 y，有 f(x,y)≥0。
-
归一性：在整个 x 和 y 的取值范围上的积分等于1。
边缘密度函数
边缘分布函数：
求导，得出边缘密度函数：
求X的边缘密度函数就是对y求积分，对Y的边缘密度函数就是对x求积分。
4、条件分布
条件分布是指在已知另一个随机变量或事件的条件下，该随机变量的概率分布。
5、离散型随机变量的条件分布
条件概率质量函数定义为：
其中 P(X=x,Y=y)是 X 和 Y的联合概率质量函数，P(Y=y) 是 Y 的边缘概率质量函数。
从分布表来理解：
P(Y=y) 是 Y 的边缘概率质量函数，Y 的边缘概率质量函数是对列求和；
P(X=x) 是 X 的边缘概率质量函数，X 的边缘概率质量函数是对行求和。
6、连续型随机变量的条件分布
在Y=y条件下，条件概率密度函数为：
其中 f(x,y) 是 X 和 Y 的联合概率密度函数， 是 Y的边缘概率密度函数。
同理，在X=x条件下，条件概率密度函数为：
其中 f(x,y) 是 X 和 Y 的联合概率密度函数， 是 X的边缘概率密度函数。
在Y=y的条件下，X的条件分布函数：
在X=x的条件下，Y的条件分布函数：
7、随机变量的独立性
两个随机变量 X 和 Y 被称为独立的，如果它们满足以下条件：
对于连续型随机变量：它们的联合概率密度函数f(x,y)可以表示为各自边缘概率密度函数的乘积：
对于离散型随机变量：它们的联合概率质量函数P(X=x,Y=y)可以表示为各自边缘概率质量函数的乘积：
8、二维随机变量函数的分布
8.1 二维离散型随机变量函数的分布
二维离散型随机变量函数的分布指的是在给定两个离散型随机变量 X 和 Y的情况下，它们函数 Z=g(X,Y)的分布。这里g(X,Y)是一个定义在 X和 Y取值范围内的函数。
要找到函数 Z 的分布，我们需要确定 Z 的每一个可能值的概率。具体步骤如下：
-
确定函数的输出值：列出函数 Z=g(X,Y)可能的所有输出值。
-
计算每个输出值的概率：对于每一个可能的输出值 z，计算 Z=z的概率。这通常涉及到对 X 和 Y的联合概率质量函数 P(X=x,Y=y)进行求和。
-
构建概率质量函数：构建函数 Z 的概率质量函数，即对于每一个可能的 z，确定 P(Z=z)。
8.2 二维连续型随机变量函数的分布
二维连续型随机变量函数的分布是指由两个连续型随机变量 (X,Y)构成的联合分布，并通过某种函数关系 Z=g(X,Y)得到一个新的随机变量 Z的分布。
假设 (X,Y)是一个二维连续型随机变量，其联合概率密度函数为 f(x,y)。设 Z=g(X,Y) 是一个函数关系，其中 g 是一个已知的函数。我们需要
找到 Z 的概率密度函数，具体步骤如下：
1、计算 Z的累积分布函数
这可以通过对联合分布函数进行积分得到：
2、求导得到概率密度函数
对于某些特定的函数 g(X,Y)，可以直接求出 Z 的概率密度函数。例如，如果 g(X,Y)=X+Y，则可以通过以下步骤求出 Z 的概率密度函数：
-
确定 Z 的范围：
Z=X+Y 确定 Z 的可能取值范围。
-
计算 Z的概率密度函数：
这称为卷积公式。
1、数学期望
数学期望是概率论中的一个重要概念，它描述了一个随机变量的平均值或中心值。数学期望也被称为期望值或均值。它是对随机变量可能取值的加权平均，其中权重是每个可能取值的概率。
1.1离散型随机变量的期望
对于离散随机变量 X ，其可能的取值为 x1,x2,…,xn，对应的概率为
，则 X 的数学期望定义为：
其中 xi是随机变量 X 的可能取值，pi是 X取值为 xi的概率。
1.2连续型随机变量的期望
对于连续随机变量 X ，其概率密度函数为 f(x) ，则 X 的数学期望定义为：
1.3随机变量函数的期望
1.3.1离散型随机变量函数的期望
如果 X 是一个离散随机变量，其可能的取值为 x1,x2,…,xn，对应的概率为 P(X=xi)=pi，那么函数 Y=g(X) 的期望值定义为：
g(xi)：X的取值xi带入函数Y=g(X)得到的新的取值。
计算逻辑：将X的取值直接带入Y=g(X)函数得出新的取值，然后新值乘以对应的概率，将所有新取值与对应概率乘积相加即可。
1.3.2连续型随机变量函数的期望
如果 X 是一个连续随机变量，其概率密度函数为 f(x)，那么函数 Y=g(X)的期望值定义为：
1.3.3二维离散型随机变量函数的期望
如果 (X,Y) 是离散随机变量，其取值集合为 {(xi,yj)} ，对应的概率为
，那么函数 Z=g(X,Y) 的数学期望定义为：
表示将X、Y的所有取值按照Z=g(X,Y) 计算出新的取值。
1.3.4二维连续型随机变量函数的期望
如果 (X,Y) 是连续随机变量，其联合概率密度函数为 f(x,y)，那么函数 Z=g(X,Y)的数学期望定义为：
这里，g(X,Y) 是 X和 Y的函数。
1.4数学期望的性质
-
常数的期望等于常数，EC=C
-
E(X+C)=EX+C
-
E(CX)=C*EX
-
E(kX+b)=k*EX+b
-
E(X±Y)=EX+EY (任何时候都成立 ) E(∑CiXi) = ∑CiEXi
-
X、Y独立，E(XY)=EX*EY
2、方差
方差是统计学中一个重要的概念，用于衡量随机变量或一组数据的离散程度。它反映了数据点与其平均值之间的偏离程度。方差越大，数据点越分散；方差越小，数据点越集中。
对于一个随机变量 X，其方差 Var(X)或DX定义为：
叫做标准差。
2.1离散型随机变量的方差
对于离散型随机变量 X，其方差可以表示为：
2.2连续型随机变量的方差
对于连续型随机变量 XX，其方差可以表示为：
2.3方差的性质
-
常数的方差：DC = 0
-
D(X+C) = DX
-
-
-
X、Y独立,D(X±Y) = DX+DY
-
X、Y不独立，D(X±Y) = DX+DY±2Cov(X,Y)