最大后验估计MAP

标签：似然 MAP 概率 后验 ... 硬币 估计 theta

目录

• 贝叶斯定理
• 最大似然估计MLE
• 最大后验估计MAP
• 参考

贝叶斯定理

• P(A)表示A发生的概率
• P(B)表示B发生的概率
• P(A|B)表示A在B条件下发生的概率
• P(B|A)表示B在A条件下发生的概率

\[P(A|B)=\frac{P(B|A)\times P(A)}{P(B)} \]

最大似然估计MLE

最大似然估计是求估计的方法之一。简单来讲，极大似然估计就是给定模型，然后通过收集数据，求该模型的参数。
比如例如，投10次特殊的硬币（给定模型），出现6次正面4次反面（请注意，这里10次结果有顺序，后面所有的投硬币结果，都有顺序）（收集数据），现在要估计投这枚硬币出现正面的概率（求参数）。
我们根据平常的知识知道，一枚普通硬币出现正面的概率是0.5。但是这里是一枚特殊的硬币，所以出现正面的概率不一定是0.5.根据直觉猜一下可能是0.6。但是，我们缺乏了一个数学描述，而最大似然估计就是给了一个这样的描述：

• 使用\(\theta\)表示出现正面的概率
• 则似然函数可以表示为

\[f(\theta )=\theta^6(1-\theta )^4 \]

• 最大化这个似然函数，也就是求这个函数的极大值点:

\[argmax_\theta f(\theta ) \]

• 对数化：

\[argmax_\theta lnf(\theta ) \]

• 最终可以求得\(\theta\)=0.6
  如果未知参数有多个，则需要用取对数的似然函数对每个参数进行求偏导，使得所有偏导均为0的值，即为该函数的极值点，一般也是其最大似然估计值。

最大后验估计MAP

对于最大后验概率估计，我们先进行通俗简单的理解，还是以刚才的那个问题为例，投10次硬币，结果分别是x0,x1,…,x9，出现了6次正面，4次反面。
  现在，有两个人A和B，其中A觉得那枚硬币，它就是一个一般的硬币，出现正面的概率θ = 0.5。而B觉得，它是一个特殊的硬币，出现正面的概率θ = 0.6。
  最大后验概率就是把他们的假设都进行计算（验算），然后选择其中假设最好的一个，当作最大后验概率。
假设1：

\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.5^6*0.5^4\approx 0.00097656 \]

假设2：

\[P(x_0,x_1,x_2,...,x_9|\theta)=\theta^6(1-\theta )^4=0.6^6*0.4^4\approx 0.00119439 \]

所以我们认为假设2比假设1的可能性更大。
最大后验概率估计就是在已知一系列结果的情况下，求参数可能的最大的那一个，也就是求解下面式子：

\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n) \]

可以转换为贝叶斯求解：

\[argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)=\frac{P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)}{P(x_0,x_1,x_2,...,x_n)} \]

有的时候，\({P(x_0,x_1,x_2,...,x_n)}\)是已知的或者固定的，可以视为
\(argmax_\theta P(\theta |x_0,x_1,x_2,...,x_n)\)等价于\(P(x_0,x_1,x_2,...,x_n|\theta )\times P(\theta)\)

参考

https://blog.csdn.net/fq_wallow/article/details/104383057

标签：似然,MAP,概率,后验,...,硬币,估计,theta
From： https://www.cnblogs.com/code-fun/p/16843789.html