马尔可夫链
定义
马儿可夫过程：给定随机过程X(t), 如果对于任意个n个时刻\(t_{1}<t_2<...<t_n\), 有\(P\left\{X(t_n)<x| X(t_1),X(t_2),...,X(t_{n-1})\right\}= P\left\{X(t_n)| X(t_{n-1}) \right\}\)则成随机过程X(t) 为马儿可夫过程
马儿可夫链（马氏链）：给定随机序列X(t), 如果对于任意个n个时刻\(t_{1}<t_2<...<t_n\), 有\(P\left\{X(t_n)<x| X(t_1),X(t_2),...,X(t_{n-1})\right\}= P\left\{X(t_n)|\ X(t_{n-1}) \right\}\)则成随机过程X(t) 为马儿可夫过程
其实就是下一时刻的状态只与当前状态有关，而与此时之前的状态无关
条件概率 \(P\left\{ \xi(k+1) = j/ \xi(k)=i \right\} = P_{ij}(k)\) 是时刻 k 马尔可夫链的一步转移概率，它完全描述了马尔可夫链的有限维概率
打公式也太累了，凸(艹皿艹 ) 上图
例题
1.假设明天是否有雨仅与今天是否有雨有关，而与过去的天气无关。假设今天有雨明天有雨的概率为\(\alpha\)，今天无雨明天有雨的概率为\(\beta\)；假设把有雨称为 0 状态天气，把无雨称为 1状态天气。这是一个有两个状态的马尔可夫链，它的一步状态转移概率矩阵是
\[P = \begin{pmatrix} P_{00}& P_{01}\\ P_{00}& P_{01} \end{pmatrix}= \begin{pmatrix} \alpha& 1- \alpha\\ \beta& 1 - \beta \end{pmatrix} \]2.设有一个质点在 x 轴上作随机游动，在 t=1,2,3,…时沿 x 轴正方向或反方向移动一个单位距离，沿正方向移动一个单位距离的概率为p，沿反方向移动一个单位距离的概率为q=1-p。若以\(\xi(n)\) 表示时刻 n 质点的位置，则\(\xi(n),n=0,1,2,...,L\)是一个随机过程，$\xi (n +1),\xi(n + 2),...,ξ (n + k),L $ \(等 n 时刻以后质点所处的位置只与\)\(\xi (n)= i\)有关，而与质点在 n 以前是如何到达 I 的无关。它是一个马尔可夫链.
其状态空间是\(I:\) {0,1,2,..., a}。但质点一旦到达状态 0 和 a，它就停留在状态 0 和 a 上， 0 和 a 是两个吸收壁。 求其一步转移概率
