一:马尔可夫链
(一)什么是马尔可夫链
又称离散时间马尔可夫链,那就是某一时刻状态转移的概率只依赖于它的前一个状态。 举个简单的例子,假如每天的天气是一个状态的话,那个今天是不是晴天只依赖于昨天的天气,而和前天的天气没有任何关系。 马尔科夫链在很多时间序列模型中得到广泛的应用,比如循环神经网络RNN,隐式马尔科夫模型HMM等 假设状态序列为 由马尔科夫链定义可知,时刻Xt+1 的状态只与Xt 有关,用数学公式来描述就是: 既然某一时刻状态转移的概率只依赖前一个状态,那么只要求出系统中任意两个状态之间的转移概率,这个马尔科夫链的模型就定了。(二)案例,看马尔可夫收敛性
这个马尔科夫链是表示股市模型的,共有三种状态:牛市(Bull market), 熊市(Bear market)和横盘(Stagnant market)。 每一个状态都以一定的概率转化到下一个状态。比如,牛市以0.025的概率转化到横盘的状态。这个状态概率转化图可以以矩阵的形式表示。如果我们定义矩阵阵P某一位置P(i, j)的值为P(j|i),即从状态i变为状态j的概率。另外定义牛市、熊市、横盘的状态分别为0、1、2,这样我们得到了马尔科夫链模型的状态转移矩阵为: 当这个状态转移矩阵P确定以后,整个股市模型就已经确定!整个马尔可夫链模型的核心是状态转移矩阵P。那这个矩阵P有一些什么有意思的地方呢?
- 以股市模型为例,假设初始状态为t0=[0.1,0.2,0.7] ,然后算之后的状态。
- 如果我们换一个初始状态t0 ,比如[0.2,0.3.0.5] 继续运行上面的代码,只是将init_array变一下,最后结果为: