3.3 贝叶斯估计与贝叶斯学习

贝叶斯估计

贝叶斯估计是把待估计的参数本身也看做随机变量，根据观测数据对参数分布进行估计。即把概率密度函数的参数估计问题看作贝叶斯决策问题，决策连续空间里的参数取值。

步骤：
1、确定θ的先验分布密度 p(θ) [对标先验概率]

2、形式上求出样本集的联合分布 [对标条件概率密度]

3、利用贝叶斯公式求θ的后验概率分布

4、θ的贝叶斯估计量

贝叶斯学习

把贝叶斯估计的原理用于直接从数据对概率密度函数进行迭代估计。

随着样本数的增加递推的贝叶斯估计（一系列对概率密度函数参数的估计）

的后验概率序列逐渐尖锐，逐步趋向于以θ的真实值为中心的一个尖峰，当样本无穷多时收敛于在参数真实值上的脉冲函数，这一随着数据的增加θ预测值逐渐收敛于真实值的过程称作贝叶斯学习。