吴恩达机器学习-第三周
学习视频参考b站：吴恩达机器学习
本文是参照视频学习的随手笔记，便于后续回顾。
分类（Classification）
分类回顾
输出结果y能分为两大类true or false
线性回归并不适合分类
癌症探测： 线性函数所得结果值大于0.5判定为yes，小于0.5判定为no（蓝色线）
若但在右侧多加一个数据，会导致决策边界（Decision Boundary）右移，预测的不准确（绿色线）
逻辑回归（Logistic Regression -- for Classification!）
用到下图的sigmoid函数（逻辑函数logistic function），得到0~1之间的阈值，来分类
z是横坐标，z=wx(向量) + b
癌症探测模型及式子的一些解释：
右边式子意思为，输入为x，参数为w，b时，y为1的可能性值
决策边界（Decision Boundary--z=wx(向量) + b = 0）
设计一个阈值（threshold）来分类，判定是1还是0，一步一步推，到最后发现wx+b>=0，那么y=1，反之y=0
非线性决策边界（Non-linear decision boundaries）
两个输入时，如下图，在决策边界左边y为0，右边y为1
或者如下图决策边界为圆，在圆外时y为1，圆内为0，等等其他函数
逻辑回归中的代价函数（Cost Function for logistic Regression）
逻辑回购模型示例：
平方误差成本函数不是很适合逻辑回归
线性回归所用的损失函数不是很适合逻辑回归，会导致出现很多局部最小值，是非凸函数
逻辑损失函数（Logistic loss function）
log函数只取到了定义域0~1之间的值
当y为1时，如果函数f的值越接近1说明损失越小，越接近0说明损失越大
当y为0时，如果函数f的值越接近0说明损失越小，越接近1说明损失越大
示例：如果模型预测有99.9％的概率是恶性的，但事实上不是，就会用非常高的损失值惩罚模型
简化代价函数（Simplified Cost Function）
通过标签值为1或0来选择用哪个损失函数（方框内为简化损失函数）
得到逻辑归回的代价函数
逻辑回归实现梯度下降（Gradient Descent Implementation）
准备逻辑回归函数，然后训练获得所对应标签的概率，像是y=1的概率
通过代价函数，递归w，b参数，实现梯度下降
可以通过之前讲过的方法判断函数是否收敛、矢量化和特征放缩（具体见第二周随笔）
过拟合（The Problem of Overfitting）
什么是过拟合
房价预估模型：
使用一个特征值输入（图一），导致欠拟合（Underfit），具有高偏差（high bias）
使用两个特征值输入（图二），比较适合模型，恰到好处（just right）
使用四个特征值输入（图三），完美通过所有训练集，但是导致过拟合（Overfit），具有高方差（high variance）
分类的过拟合
如下图示例欠拟合（图一），适合（图二），过拟合（图三）
如何解决过拟合（Addressing Overfitting）
Method1： 使用更大的数据集来训练模型（可能实际并没有这么多数据，而且花费时间长，所以不总是合适的）
Method2： 使用更少的特征输入来训练模型
缺点：会丢弃一些信息（之后会讲其他方法解决这个问题）
Method3： 正则化（Regularization），通过使参数值接近于0来使参数对模型的影响不是那么大
也可以正则化b，但没太大区别
总结
使用正则化的代价函数（Cost Function with Regularization）
如下图，如果想降低w3和w4的影响，就给代价函数中加w3和w4，并且乘一个很大的系数，这样就会导致代价函数很大来惩罚模型，然后w3，w4参数就会变很小，然后对代价函数中w3，w4乘系数这个部分的值就会变小，影响也变小
简述： 想不要哪个参数就给他乘一个很大的数，然后这个参数就会变很小，然后对代价函数的影响也会变小（一步一步迭代逐渐影响变小）
通常你不知道惩罚哪一个参数，所以一般所有参数都惩罚，引入正则化参数λ
一般也不会惩罚b，没什么区别
正则化参数λ取不同值的区别
λ为0时过拟合，λ为很大时欠拟合
用于线性回归的正则化方法（Regularization Linear Regression）
正则化的具体工作原理：像是下面的wj(1-α*λ/m),wj每次都乘一个小于1的数，这就起到wj的收缩作用（shrink）
用于逻辑回归的正则化方法（Regularization Logistic Regression）
逻辑回归的代价函数：
逻辑回归的梯度下降：
Summary
这周主要学习了以下内容：
1.线性回归不适合分类，引入了逻辑回归和sigmoid函数（for Classification）
2.决策边界是什么，线性决策边界（不适合分类）和非线性决策边界（适合分类）
3.逻辑回归中的代价函数，线性回归的平方误差成本函数不适合回归--->逻辑损失函数（Loss Function）
4.逻辑回归实现梯度下降
5.欠拟合、过拟合是什么，=解决过拟合的三种方法==
6.具体说明正则化方法，使用正则化的代价函数，和分别用于线性回归和逻辑回归的正则化方法