课程 1 Supervised Machine Learning: Regression and Classification
Week 1: Introduction to Machine Learning
监督学习
监督学习是输入 \(x\) 到输出标签 \(y\) 映射的算法。算法从事先给的“正确答案”中学习。
第一种监督学习算法，回归，从无限多个可能的数中预测出一个数。如预测房价。
第二种监督学习算法，分类，预测类别在一个小的、有限的输出类别集合。如判断猫狗。
无监督学习
在数据集中找到一些结构或者模式。不事先给“正确答案”。
聚类算法，一种无监督学习算法，将未标记的数据放在不同的簇中。
其他的无监督学习算法：异常检测，降维。
线性回归
方差代价函数：
\[\begin{aligned} J(w,b)&=\frac{1}{2m}\sum_{i=1}^m(\hat y^{(i)}-y^{(i)})^2 \\ \hat y^{(i)}&=f_{w,b}(x^{(i)})=wx^{(i)}+b \end{aligned} \]梯度下降
\[\begin{aligned} w&=w-\alpha \frac{\partial}{\partial w}J(w,b) \\ b&=b-\alpha \frac{\partial}{\partial b}J(w,b) \end{aligned} \]这里的 \(=\) 是赋值。\(\alpha\) 为学习率，取值应适当，不能太小太大。因为在梯度下降的过程中，导数会自动变小，所以更新的步幅也会自动变小。
\[\begin{aligned} \frac{\partial}{\partial w}J(w,b)&=\frac{1}{m}\sum_{i=1}^m(f_{w,b}(x^{(i)})-y^{(i)})x^{(i)} \\ \frac{\partial}{\partial b}J(w,b)&=\frac{1}{m}\sum_{i=1}^m(f_{w,b}(x^{(i)})-y^{(i)}) \end{aligned} \]批量梯度下降指的是每一步梯度下降，都会考虑到所有的训练样本。