伯努利实验

伯努利实验概念及性质

定义：事件域为：\(\mathcal F = \{ \varnothing ,A,\bar A,\Omega \}\)，只两种可能结果的试验称为伯努利实验。
现考虑重复n次独立试验的伯努利实验（这里每个\(A\)概率不变），这种实验称之为n重伯努利实验，记为\(E^n\)。
其样本点形如：

\[(\hat A_1,\hat A_2,...,\hat A_n) \]

其中每个都有两种可能取值。易得样本点一共有\(2^n\)。概率空间易得不再赘述。

伯努利分布

伯努利分布（Bernoulli Distribution）是一种离散型概率分布，它用于描述只有两种结果（例如成功和失败）的随机试验。伯努利分布可以用一个参数\(p\)来描述成功的概率。概率分布可简单表示为：

\[P(X=k) = kp+(1-k)(1-p) \]

其中k仅有0，1两个取值。这样写概率的好处在于：可以用于最大似然估计中的求导。
伯努利分布的期望和方差分别为：

\[E(X)=p \cdot 1 + (1-p) \cdot 0=p \]

\[Var(X)=(EX)^2 -EX^2= p(1-p) \]

伯努利分布通常用于二元分类问题中，例如预测一个事件是否发生、一次抛硬币的结果等。

二项分布

如果有多次独立的伯努利试验，可以使用二项分布（Binomial Distribution）来描述（简记为B）。
若记\(B_k\)为n重伯努利实验中事件\(A\)正好出现\(k\)次。则：

\[P(B_k) = C_n^kp^kq^{n-k} \]

二项分布的重要性质

概率函数的形状：二项分布的概率函数呈现出类似钟形曲线的形状，当\(p=0.5\)时，概率函数的峰值达到最高。
期望和方差：二项分布的期望和方差分别为\(E(X)=np\)和\(Var(X)=np(1-p)\)
由于每次试验独立，期望与方差可以简易地由伯努利分布的期望与方差推出。
若要依据其概率分布来推，则二项分布期望推导如下：

\[E(X) = \sum^n_{k=0}kP(B_k) = \sum^n_{k=0}kC_n^kp^k(1-p)^{n-k} \]

而

\[\sum^n_{k=0}kC_n^kp^k(1-p)^{n-k} =\sum^n_{k=0} \frac{kn!}{k!(n-k)!}p^k(1-p)^{n-k} \]

\[= np\sum^{n}_{k=1}\frac{(n-1)!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k} \]

上式右边部分是\(n-1\)次实验抽到\(k-1\)个的概率对k求和，从而为1。
二项分布的方差推导如下：

\[E(X^2) = k(k-1)\sum^n_{k=0}C_n^kp^k(1-p)^{n-k}+k\sum^n_{k=0}C_n^kp^k(1-p)^{n-k} \]

与上面求期望的同理，把\(k(k-1)\)乘进\(C\)的表达式即可。这个构造我认为非常有用，这样的话即便是\(E(X^3)\)，也可以拆成\(k(k-1)(k-2)+ak(k-1)+bk\)的形式进一步求解。回到原话题，由上易得

\[E(X^2) = n(n-1)p^2+np \]

从而最终得到\(Var(X)= np(1-p)\)

大数定律：二项分布具有大数定律，即当试验次数\(n\)趋近于无穷大时，二项分布的概率函数逐渐趋近于正态分布
中心极限定理：二项分布满足中心极限定理，即当试验次数\(n\)足够大时，二项分布可以近似看作正态分布

几何分布

现在讨论在伯努利实验中手册成功出现在第k次实验的概率。记第k次实验出现\(A\)的事件为\(W_k\)，有：

\[P(W_k)=q^{k-1}p \]

几何分布性质

无记忆性：几何分布具有无记忆性，即在已知前\(k\)次试验失败的情况下，下一次试验仍然是独立的伯努利试验，成功的概率仍然是\(p\)
概率函数的形状：几何分布的概率函数呈现出右偏斜的单峰形状，随着等待次数\(k\)的增加，概率逐渐减小
期望和方差：几何分布的期望为\(E(X)=\frac{1}{p}\)，方差为\(Var(X)=\frac{1-p}{p^2}\)
期望可由高中数列错位相减法处理，是比较易得的。方差稍微有些变化：

\[E(X^2)= \sum^{\infty}_{k=1}k^2pq^{k-1}=p(\sum^{\infty}_{k=1}kq^k)' \]

接下来的部分就不写了，总之容易得到\(Var(X)\)。

帕斯卡分布

让我们以\(C_k\)表示第r次成功发生在第k次实验这一事件。

\[P(C_k) = C_{k-1}^{r-1}p^rq^{k-r} \]

这个概率分布被称之为帕斯卡分布。
典中典的就是分赌注问题。

帕斯卡分布与分赌注问题（Gambler's Ruin Problem）有着密切的联系。分赌注问题的确是一个比较正统的概率论问题，它也被看做是概率论诞生的事件。问题描述很简单，说甲乙两人下赌注，然后反复进行双人赌局，约定谁先赢\(

标签：概率,frac,sum,分布,随机,游走,伯努利
From： https://www.cnblogs.com/hejz/p/17245684.html

伯努利分布及衍生分布、随机游走

伯努利实验