机器学习-白板推导-系列（一）笔记：频率派/贝叶斯派

文章目录

• ​​0 笔记说明​​
• ​​1 数据与参数​​
• ​​2 频率派：θ为未知常量​​
• ​​3 贝叶斯派：θ为随机变量​​
• ​​4 最大后验概率（MAP）估计​​
• ​​5 贝叶斯预测​​
• ​​6 总结​​

0 笔记说明

，我在学习时会跟着up主一起在纸上推导，博客内容为对笔记的二次书面整理，根据自身学习需要，我可能会增加必要内容。

注意：本笔记主要是为了方便自己日后复习学习，而且确实是本人亲手一个字一个公式手打，如果遇到复杂公式，由于未学习LaTeX，我会上传手写图片代替（手机相机可能会拍的不太清楚，但是我会尽可能使内容完整可见），因此我将博客标记为【原创】，若您觉得不妥可以私信我，我会根据您的回复判断是否将博客设置为仅自己可见或其他，谢谢！

本博客为（系列一）的笔记，对应的视频是：【(系列一) 绪论-资料介绍】、【(系列一) 绪论-频率派vs贝叶斯派】。

下面开始即为正文。

1 数据与参数

记数据集为X，X中有N个样本实例，每个样本有p个维度。用符号表示为X = (x₁,x₂,…,x_N)^T，x_i∈R^p，i=1…N。则X为N*P阶矩阵。

参数为θ时，X服从分布P(X|θ)，记作X～P(X|θ)。下面将分别介绍频率派与贝叶斯派对θ的不同看法。

2 频率派：θ为未知常量

频率派认为θ为未知常量，数据X为随机变量；频率派的做法是通过数据X去估计θ。

通过极大似然估计（Maximum Likelihood Estimate，MLE）去求θ：

3 贝叶斯派：θ为随机变量

贝叶斯派认为θ为随机变量，并且θ服从某随机分布P(θ)，即θ～P(θ)，称P(θ)为先验。

下面是贝叶斯估计（Bayesian estimation）：

4 最大后验概率（MAP）估计

MAP（最大后验概率）估计的思想与MLE（极大似然估计）一样，认为θ服从某随机分布，MAP估计做的也是找一个θ，使后验概率P(X|θ)最大：

5 贝叶斯预测

首先给一个公式，本节后续会用到：P(X=a,Y=b|Z=c)=P(X=a|Y=b,Z=c)P(Y=b|Z=c)。

数据集为X = (x₁,x₂,…,x_N)^T，x_i∈R^p，i=1…N。设x’为新数据，下面通过桥梁——θ来搭建X与x’的关系：

上面的公式中，由①到②用到了本节刚开始提到的那个公式；由②到③x’与X是独立的，因此可以直接省略X得到P(x’|θ)。

贝叶斯预测计算P(x’|X)时，必须先得到后验概率P(θ|X)，而贝叶斯估计就是计算P(θ|X)，这就是贝叶斯估计的意义所在。

6 总结

（1）贝叶斯派得到的模型叫做概率图模型，其本质为求积分；

（2）频率派得到的模型称为统计机器学习，其本质为优化问题（模型-损失函数-算法）。

END