标签：状态 模型 观测 HMM 马尔可夫 序列 时刻 隐藏
隐马尔可夫模型
文章目录
定义
隐马尔科夫模型(Hidden Markov Model, HMM)是建模序列数据的图模型
在HMM模型存在隐藏状态%2Cx(t)%2Cx(t%2B1)%2C%5Cdots%5C%7D%20)
，以及观测状态%2Cy(t)%2Cy(t%2B1)%2C%5Cdots%5C%7D%20)
设
为所有隐藏状态的集合，
为所有观测状态的集合，即
设存在长度为
的序列，其中
对应的状态序列，是对应的观察序列
其中HMM满足齐次马尔科夫链假设，即即任意时刻的隐藏状态只依赖于它前一个隐藏状态，一般来说, 给定状态
，对于时刻
和
， 则
与
相互独立。同时满足观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态，即给定状态，对于输出状态
与
也相互独立
定义在
时刻隐藏状态为
到
时刻隐藏状态为
的转移概率为
，即
%20)
同时可以组成马尔科夫链的状态转移矩阵
定义在时刻隐藏状态为
观测到
的概率为%20)
，即
%3DP(o_t%3Dv_k%7Ci_t%3Dq_j)%20)
同时可以组成马尔科夫链的观测概率矩阵
%5Cright%5D_%7BN%5Ctimes%20M%7D%20)
并定义在
时刻的隐藏状态概率分布
%5Cright%5D_N%5Ctext%7B%E5%85%B6%E4%B8%AD%20%7D%5Cpi(i)%3DP(i_1%3Dq_i)%20)
可知一个HMM模型可以由隐藏状态初始概率分布 , 状态转移概率矩阵 和观测状态概率矩阵 决定。
决定状态序列， 决定观测序列。因此，HMM模型可以由一个三元组
表示如下： %20)
HMM模型的应用
其中HMM主要设计到三个经典问题
problem 1： 在给定HMM模型的的情况下，预测
出现的概率
problem 2： 在给定HMM模型与观测状态的情况下，预测相应的隐状态
problem 3：
Problem 1
直接计算
当给定模型HMM模型和观测序列，求观测序列
在HMM中出现的概率%20)
计算
出现的概率
%3D%5Cpi_%7Bi_1%7Da_%7Bi_1i_2%7Da_%7Bi_2i_3%7D%5Ccdots%20a_%7Bi_%7BT-1%7Di_T%7D%20)
其中观测序列在情况下出现的概率
%3Db_%7Bi_1%7D(o_1)b_%7Bi_2%7D(o_2).%5Cldots%20b_%7Bi_T%7D(o_T)%20)
根据联合概率公式可得
%3DP(I%7C%5Clambda)P(O%7CI%2C%5Clambda)%3D%5Cpi_%7Bi_1%7Db_%7Bi_1%7D(o_1)a_%7Bi_1i_2%7Db_%7Bi_2%7D(o_2)%5Cldots%20a_%7Bi_%7BT-1%7Di_T%7Db_%7Bi_T%7D(o_T)%20)
然后计算边缘概率
%3D%5Csum_%7BI%7DP(O%2CI%7C%5Clambda)%3D%5Csum_%7Bi_1%2Ci_2%2C..%2Ci_T%7D%5Cpi_%7Bi_1%7Db_%7Bi_1%7D(o_1)a_%7Bi_1%2Ci_2%7Db_%7Bi_2%7D(o_2)%5Cldots%20a_%7Bi_%7BT-1%7D%20i_T%7Db_%7Bi_T%7D(o_T)%20)
虽然直接计算方法有效，但是如果隐藏状态数
非常多，此时预测状态有
种组合，算法的时间复杂度是 %20)
前向计算
前向概率：时刻部分观测序列为
，且隐藏状态为
的概率为
%3DP(o_%7B1%7D%2Co_%7B2%7D%2C%5Cldots%20o_%7Bt%7D%2Ci_%7Bt%7D%3Dq_%7Bi%7D%7C%5Clambda)%20)
可得时刻部分观测序列为 ，隐藏状态为
且时刻隐藏状态为的概率为a_%7Bji%7D%20)
，可推出时刻部分观测序列为 ，且时刻隐藏状态为的概率为a_%7Bji%7D%20)
，若时刻的观测状态为
，则可以得到时刻观测序列为
且时刻隐藏状态为的概率为：
%3D%5Cleft%5B%5Csum_%7Bj%3D1%7D%5E%7BN%7D%5Calpha_%7Bt%7D(j)a_%7Bji%7D%5Cright%5Db_%7Bi%7D%5Cleft(o_%7Bt%2B1%7D%5Cright.)%20)
由此得到了从前向概率的递推表达式
算法描述
输入：HMM模型 ,观测序列%20)
输出：观测序列概率 。
- 初值
%3D%5Cpi_ib_i(o_1)%2C%5Cquad%20i%3D1%2C2%2C%5Ccdots%2CN%5Cend%7Baligned%7D%20)
- 递推 对
%3D%5Cleft%5B%5Csum_%7Bj%3D1%7D%5E%7BN%7D%5Calpha_%7Bt%7D(j)a_%7Bji%7D%5Cright%5Db_%7Bi%7D%5Cleft(o_%7Bt%2B1%7D%5Cright.)%2C%5Cquad%20i%3D1%2C2%2C%5Cdots%2CN%20)
- 终止
%3D%5Csum_%7Bi%3D1%7D%5EN%5Calpha_T(i)%20)
算法时间复杂度是%20)
后向计算
后向概率：时刻到最后时刻的部分观测序列为
，且时刻的隐藏状态为的概率为
%3DP(o_%7Bt%2B1%7D%2Co_%7Bt%2B2%7D%2C%5Cldots%20o_T%7Ci_%7Bt%7D%3Dq_%7Bi%7D%2C%5Clambda)%20)
可得
到最后时刻观测状态为
，时刻隐藏状态为，时刻隐藏状态为的概率为%20)
，当时刻观测到的状态，此时概率为%5Cbeta_%7Bt%2B1%7D(j)%20)
，可得时刻到最后时刻的部分观测序列为 ，且时刻的隐藏状态为的概率为
%5Cbeta_%7Bt%2B1%7D(j)%20)
算法描述
输入：HMM模型 ,观测序列
输出：观测序列概率
- 初始化时刻
的各个隐藏状态后向概率：
%3D1%2C%5C%3Ai%3D1%2C2%2C%5Cldots%20N%20)
- 递推时刻
%3D%5Csum_%7Bj%3D1%7D%5ENa_%7Bij%7Db_j(o_%7Bt%2B1%7D)%5Cbeta_%7Bt%2B1%7D(j)%2C%5C%3Ai%3D1%2C2%2C%5Cldots%20N%20)
- 计算最终结果：
%3D%5Csum_%7Bi%3D1%7D%5EN%5Cpi_ib_i(o_1)%5Cbeta_1(i)%20)
算法时间复杂度是
Problem 2
在给定HMM模型与观测状态的情况下，预测相应的隐状态
这里主要采用Viterbi算法
设在时刻观测序列为，隐状态为
，其中隐状态集合为
设在时刻隐藏状态为
在观测序列为且所有可能的状态转移路径
中的概率最大值为%20)
%3D%5Cmax_%7Bi_%7B1%7D%2Ci_%7B2%7D%2C%5Cldots%20i_%7Bt-1%7D%7DP(i_%7Bt%7D%3Di%2Ci_%7B1%7D%2Ci_%7B2%7D%2C%5Cldots%20i_%7Bt-1%7D%2Co_1%2Co_2%2C%5Cldots%20o_t%7C%5Clambda)%2Ci%3D1%2C2%2C%5Cldots%20N%20)
此时可以推导出时刻
%3D%5Cmax_%7Bj%7D%5Cdelta_%7Bt%7D(j)a_%7Bji%7Db_i(o_%7Bt%2B1%7D)%20)
为了能够回溯，定义在时刻隐藏状态为（其中为所有可能的状态转移路径 中的概率最大的）从时刻
隐藏状态为%20)
，则存在
%3D%5Carg%20%5Cmax_j%20%5Cdelta_%7Bt-1%7D(j)a_%7Bji%7Db_i(o_%7Bt%7D)%20)
因为在时刻的观测状态
确定所以%20)
确定，于是存在
%3D%5Carg%20%5Cmax_j%20%5Cdelta_%7Bt-1%7D(j)a_%7Bji%7Db_i(o_%7Bt%7D)%3D%5Carg%20%5Cmax_j%20%5Cdelta_%7Bt-1%7D(j)a_%7Bji%7D%20)
算法描述
输入：HMM模型 ,观测序列
输出：最有可能的隐藏状态序列
- 初始化
%3D%5Cpi_ib_i(o_1)%2Ci%3D1%2C2...N%5C%5C%5C%5C%5CPsi_1(i)%3D0%2Ci%3D1%2C2...N%5Cend%7Bgathered%7D%20)
- 递推 对
%3D%5Cmax_j%5Cleft%5B%5Cdelta_%7Bt-1%7D(j)a_%7Bji%7D%5Cright%5Db_%7Bi%7D(0_%7Bt%7D)%2Ci%3D1%2C2...N%20%5C%5C%20%5CPsi_t(i)%3D%5Carg%5Cmax_j~%5B%5Cdelta_%7Bt-1%7D(j)a_%7Bji%7D%5D%2C~i%3D1%2C2...N%20%5Cend%7Bgathered%7D%20)
- 计算时刻最大的
%20)
即为隐藏状态出现最大的概率，%20)
为时刻最有可能出现的隐藏状态
%5C%5C%5C%5Ci_T%5E*%26%3Darg%5Cmax_%7B1%5Cleq%20j%5Cleq%20N%7D%5B%5Cdelta_T(i)%5D%5Cend%7Baligned%7D%20)
- 利用进行回溯得到最有可能的隐藏状态序列
%20)
最有可能的隐藏状态序列
标签：状态,
模型,
观测,
HMM,
马尔可夫,
序列,
时刻,
隐藏
From： https://blog.51cto.com/u_14189203/8963524