生成式与判别式
区别
二者的区别主要就是由于一个是***联合概率分布P(x,y)***，另一个估计***条件概率分布P(y|x)***，而生成式模型能够根据贝叶斯公式得到判别式模型也是根据公式而来。联合概率分布，则是特征值对应某标签的概率，现在要判断一个特征值对应的标签，根据联合概率，只能算出其对应各标签的概率值，而只有通过比较全部的值才能知道属于哪个标签；而条件概率分布则是输入特征直接出来对应的标签值。
特点
生成式特点
对联合概率建模，学习所有分类数据的分布。
学习到的数据本身信息更多，能反应数据本身特性。
学习成本较高，需要更多的计算资源。
需要的样本数更多，样本较少时学习效果较差。
推断时性能较差。
一定条件下能转换成判别式。
判别式特点
对条件概率建模，学习不同类别之间最优边界。
捕捉不同类别特征的差异信息，不学习本身分布信息，无法反应数据本身特性。
学习成本较低，需要的计算资源较少。
需要的样本数可以较少，少样本也能很好学习。
预测时拥有较好性能。
无法转换成生成式。
典型例子
常见的判别式模型有：
Logistic regression（logistical 回归）
Linear discriminant analysis（线性判别分析）
Supportvector machines（支持向量机）
Boosting（集成学习）
Conditional random fields（条件随机场）
Linear regression（线性回归）
Neural networks（神经网络）
常见的生成式模型有:
Gaussian mixture model and othertypes of mixture model（高斯混合及其他类型混合模型）
Hidden Markov model（隐马尔可夫）
NaiveBayes（朴素贝叶斯）
AODE（平均单依赖估计）
Latent Dirichlet allocation（LDA主题模型）
Restricted Boltzmann Machine（限制波兹曼机）
生成式模型是根据概率乘出结果，而判别式模型是给出输入，计算出结果。
混合高斯模型，估计了不同输入和类别的联合分布。
朴素贝叶斯，模型训练时采用联合概率分布积。
隐马尔科夫模型，建立了状态序列和观察序列的联合分布。
贝叶斯网络，概率图模型中的有向图网络，对联合分布建模，由各自局部条件概率分布相乘。
马尔科夫随机场，概率图模型中无向图网络，同样对联合分布建模，分解为极大团上势函数的乘积。
————————————————
版权声明：本文为CSDN博主「NongfuSpring-wu」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_41690708/article/details/101099881