1.6 - 朴素贝叶斯及概率图模型

1. 模型理念

　　利用 条件概率&全概率公式，由果推因，从已知的某个现象特征求得目标属性的方法。

所谓朴素：概率求解的过程中，假设数据特征之间是互相独立的，联合概率可以直接概率密度相乘。

2. 模型构建及特性

2.1 模型推理以及训练参数

_{由 条件概率公式 可以得知，在已知数据的各项特征前提下，求解当前数据的所属类别，只需要求解：数据集中  各个类别的概率P(yi}) & 各个特征值的类别条件概率P(x_i=a|y=y_i) 即可得到当前数据所属各个类别概率的大小。而这也是朴素贝叶斯模型在 fit 过程中需要计算的内容。由此，【朴素贝叶斯模型是天然的多分类模型。】

　　1）高斯朴素贝叶斯：当数据的某个特征值连续且符合高斯分布时，该项特征的类别条件概率可直接用对应的高斯概率公式计算。

　　2）伯努利朴素贝叶斯：当 ....

　　3）多项式朴素贝叶斯：数据的某个特征服从多项分布，可将类别数据占比看作概率。

2.2 平滑项

　　朴素贝叶斯模型在 fit 的过程，会统计数据集中的 所有类别和每个特征的所有特征值，【为了防止特征的某个特征值只在部分类别中存在导致对应的特征值类别条件概率为0的情况】，会对所有先验概率的求解过程引入平滑项λ，当 λ=1 时，称 拉普拉斯平滑。 

3. 概率图模型

　　对于一些分类任务，如：标注句子单次的词性，词性判断需要联合上下文判断，数据之间不是互相孤立的。对于 存在着相关关系的非独立的特征，可用 概率图模型来解决，常见的概率图模型：贝叶斯网络，马尔科夫链。

3.1 贝叶斯网络

　　贝叶斯网络中，节点表示随机变量，→ 表示因果关系，多个随机变量的联合概率：.....

贝叶斯网络是一个 有向无环图，如：学生网络等。

3.2 马尔科夫链

　　马尔可夫性质：随机过程在某一时刻的状态 S_t 只和它前一时刻的状态有关，而和更前面的所有时刻的状态没有关系。虽然自然界很多现象并不符合马尔可夫性质，但是我们可以假设符合这个性质，这就为很多时序问题如：语音识别，视频处理、NLP等很多无解的问题提供了一种解法。

　　马尔可夫过程：符合马尔可夫性质的随机过程。

3.3 隐马尔可夫

　　假设随机过程中的状态无法被直接观测到，但是每个状态都有一个只和状态相关的输出，我们可以通过输出来间接得到此时的状态，称为：隐马尔可夫。

如：赌场老千换骰子模型。对应的骰子的状态不可直接观测，但是可以通过统计对应的点数出现概率得到对应的状态。