马氏模型的含义马尔科夫链观察式子当P{En=i，En-1=in-1，...,}=p{En=i},n-1之前发生的事都和现在无关例子：转移概率矩阵练习：第3条说的是不管初始状态是什么只要j趋于无穷，最后极限与初始状态无关，极限趋于一个定值正则矩阵：1、方阵，2、逆矩阵存在例题：这道

逆向过程考虑一个具有转移概率\(P_{ij}\)和平稳概率\(\pi_i\)的已经达到平稳状态的遍历的(不可约+非周期+正常返)马尔科夫链。假设这个马氏链在平稳态的状态序列是\(\{X_m,X_{m+1},\cdots\}\),现在我们沿时间的反方向来看这条链，具体地，我们希望考察\(P(X_m=j|X_{m+1}=i,X_{

MonteCarlo方法假设我们要求一个原函数并不明确的函数\(f(x)\)的在某个区间\([a,b]\)上的积分\(\theta=\int_{a}^bf(x)dx\)因为\(f(x)\)的原函数不知道，所以无法用牛顿-莱布尼茨公式计算。这里采用一种称为montecarlo的方法来模拟近似求解，它的思想如下，首先将待求的式子化

马氏链的长程性质主要关心马氏链在一段长时间的转移后，在每个状态上停留过的时间的比例，这个比例被称为长程比例，也就是常说的平稳概率，而马氏链的极限概率指的是转移矩阵在长时间演变后的一个极限。马氏链的长程性质马氏链长程性质关心的是在长时间后，马氏链在每个状态上停留过的时

可达和互通如果\(P_{ij}^n>0\)，则说状态\(i\)可达状态\(j\);并且如果\(P_{ji}^m>0\)则说状态\(i,j\)是互通的，记为\(i\leftrightarrowj\)状态类根据互通的概念，将互通的两个状态划分到一个状态类中，并且根据互通的传递性可以知道，不同的状态类要么相等，要么不相交。这么一来就可以