基础概念

先验概率

根据先前的经验，也就是对某些类别预先知道的知识，对样本进行预测的概率。

似然概率

先验概率描述的根据现有知识，预测样本属于某一类的概率，是一个统计信息量。比如5个球中，有3个黑球，则黑球的概率是3/5。

似然概率描述的是已知样本属于某一类，预测样本特征x分布的概率。

后验概率

后验概率是对先验概率的修正，描述的是已知样本特征x，预测其属于某一类的概率。

极大似然估计

在传统问题中，通常概率分布模型的参数θ是已知的，而样本x是未知的。但是在机器学习中相反，通常是样本x已知，需要估计模型的参数θ，这就是似然估计。

极大似然估计就是在给定样本x情况下，根据其分布，计算概率最大的θ。

过程

对于已知样本x，x的概率为，极大似然估计是将θ看成变量，求使得p(x|θ)最大的参数θ.

x关于θ的似然函数 L(θ)=p(x|θ)

假设现在有样本X={x₁,b₂,...,x_n}，需要估计模型参数θ={θ₁,θ₁,...,θn}，则在给参数θ下，X的条件概率为：

现在求函数L(θ)的极值，为了便于求导，对L(θ)取对数，将L(θ)从连乘变成相加：

之后对参数求导求极值即可：

对于不同分布，计算方式也不同。

正态分布，但是参数均值μ未知的情况

对于均值μ求导并求极值：

高斯分布：均值μ和方差Σ均未知

根据上述得到：

对ln p(x_i | μ，Σ)求梯度算子：

得到极值：

贝叶斯公式

贝叶斯公式建立了先验概率和后验概率之间的联系。

p(x)为全概率公式，描述的是根据所有类别预测样本x的概率。

通常在同一概率分布下进行分类，p(x)是归一化因子，是一个常数，可以忽略，得到贝叶斯公式常用的形式。