EM算法
简介
EM算法的核心分为两步
- E步(Expection-Step)
- M步(Maximization-Step)
因为在最大化过程中存在两个参量,其中若知道,则知道;若知道,则知道。且两个量未存在明显的关系,但又互相依存可以采用EM算法
其中主要思想为:
- 首先随机初始化参数
- 然后求的在参数下按照极大似然估计求得参数
- 然后根据参数按照极大似然估计求得参数
- 循环至收敛
算法示例
如下图所示存在A,B两种硬币,其中抛出正反面的概率未知,其中H
表示正面,F
表示反面
根据统计可得
可得
若更改条件,不知道此时抛出是哪一枚硬币,只知道抛出的结果,即
首先初始化,设
若当抛出的第一枚硬币为A时
此时的出现该情况的概率为
若当抛出的第一枚硬币为B时
此时的出现该情况的概率为
其中
同理可得
计算其数学期望
并计算其总共的期望
可得
由此循环直至收敛
得到最终