卡尔曼滤波器
卡尔曼滤波器是一种有效的递归滤波器，它估计线性动态系统的状态，即使在噪声的影响下也能做到这一点。它由Rudolf E. Kalman于1960年提出，广泛应用于工程和经济学领域，特别是在信号处理和数据分析中。
核心思想：卡尔曼滤波器通过一系列测量观察（包含统计噪声）来估计过程的内部状态，它利用预测和更新两个步骤交替进行，以此来优化对系统状态的估计。
- 预测步骤：基于先前的状态估计和过程模型来预测当前状态。
- 更新步骤：当新的测量数据可用时，将其与预测状态结合，更新状态估计。
卡尔曼滤波器特别适用于连续的、由线性方程描述的系统，并且需要系统模型、噪声统计特性（如均值和方差）已知。
隐马尔可夫模型（HMM）
隐马尔可夫模型是一种统计模型，用于描述一个系统在某些不可观察（隐）状态下的马尔可夫过程。这些隐状态通过可观察的事件序列间接表现出来。HMM广泛应用于语音识别、自然语言处理、生物信息学等领域。
核心组成：
● 状态集合：系统可能存在的隐状态。
● 观测集合：每个隐状态下可能产生的观测。
● 状态转移概率：从一个状态转移到另一个状态的概率。
● 观测概率：在某一状态下生成某一观测的概率。
● 初始状态概率：系统开始时各个状态的概率。
基本问题： - 评估：给定模型参数和观测序列，计算该序列出现的概率。
- 解码：给定模型参数和观测序列，推断最可能的状态序列。
- 学习：调整模型参数以最大化观测数据的概率。
HMM处理的是离散时间序列数据，特别适合处理那些状态不直接可见，但状态影响可见行为的情况。
隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，它假设系统可以用一个马尔可夫过程（具有不可观察或“隐”状态的过程）来描述，而观测序列则是这些隐状态的函数。HMM 被广泛应用于序列数据的建模，如语音识别、生物信息学中的基因预测、自然语言处理等领域。
HMM 的组成部分
- 状态集合：这是模型中所有可能的隐状态的集合。状态本身在实际应用中是不可观察的。
- 观测集合：每个隐状态可以生成观测，这些观测构成了观测集合。
- 状态转移概率矩阵：表示从一个状态转移到另一个状态的概率。这通常表示为一个矩阵，其中矩阵的元素 (a_{ij}) 表示从状态 (i) 转移到状态 (j) 的概率。
- 观测概率矩阵：也称为发射概率，表示在给定某个隐状态的情况下生成某个观测的概率。
- 初始状态概率：表示模型在开始时各个状态的概率。
HMM 的基本假设 - 马尔可夫性假设：系统的下一个状态只依赖于当前状态，与之前的状态无关（无记忆性）。
- 观测独立性假设：任何时刻的观测只依赖于该时刻的状态，与其他时刻的状态或观测无关。
HMM 的基本问题 - 概率计算问题（评估）：给定模型参数和一个观测序列，计算这个观测序列在模型下出现的概率。这通常通过前向算法或后向算法来解决。
- 解码问题：给定模型参数和一个观测序列，找出最有可能产生这个观测序列的隐状态序列。这通常通过维特比算法（Viterbi algorithm）来解决，该算法是一种动态规划算法。
- 学习问题：给定一个观测序列，调整模型参数（状态转移概率、观测概率、初始状态概率）以最大化观测序列的概率。这通常通过Baum-Welch算法（一种特殊的EM算法）来解决。
应用实例
在语音识别中，隐状态可能代表某种语音单元（如音素），而观测则可能是从语音信号中提取的特征。通过训练HMM来识别不同的语音模式，可以有效地进行语音到文本的转换。
隐马尔可夫模型因其在处理序列数据方面的强大能力而成为许多领域的重要工具，尽管它有一定的局限性，如处理非线性问题时的复杂性增加，以及在某些情况下需要大量的数据来准确估计模型参数。