1.分类，回归区别
分类：有类别，如对错：1，0；去银行贷款：贷，不贷
回归：和具体数值或范围相关：如：去银行贷款多少钱：10000元（在具体范围中的取值：1到1000取99）
2.有监督和无监督区别
有无标签进行监督，而回归就是有监督的问题，需要x1,x2特征,y标签
3.回归问题:银行贷款额度预测
特征：年龄（x1），工资(x2)
预测：额度（y）
思考：x1，x2在贷款额度所占权重不同，可得公式 y=x1θ1+x2θ2,而θ1，θ2即权重，即是需要求的未知变量。
求解思路：*首先：
线性方程不能满足所有的数据点只能尽可能拟合出一个平面去拟合大部分的数据点如：
注意θ0为偏置项，其作用为控制平面上下浮动微调，去拟合大部分数据点.（微调）
*其次：
因为我们处理的数据大部分是矩阵类型的，但是上述公式中由于θ0的出现不能去拟合矩阵公式，故而增加x0，这就是为什么在数据处理时有时增加一列特征x0并且值为1
*再其次
因为真实值和预测值是存在差异的，用ε表示，而ε称为误差（均值为0，方差为θ平方，独立且具有相同的分布的高斯分布）
又因为服从正态分布，故
而
可以替换为
得到
越大越好
为什么越大越好：因为P概率是θ与x(i)组成的预测值成为y真实值的概率，所以一定是越大越好
*再其次
因为每个预测值都是独立分布的，所以我们要得到累乘概率（似然函数），但是由于计算原因，需要取对数（对数似然），如：
* 然后
化简得
越大越好,即
越小越好
* 然后
* 注意
此时逆不一定存在，而且还没有学习的过程，对于可以写出函数表达式的（可直接求解θ）可以直接用以上方法得到θ，但是大部分不使用该方法。使用梯度下降方法（常规套路）得到θ。
4.求解θ套路（梯度下降）
目标函数： 
方法: 1.求方向
2.走小步
3.迭代更新参数
具体操作：
* 批量梯度法（需要数据量最多，但可以得到最优解）注意：m：越大越好，为什么平方：因为将原本差异变大，求偏导θj后可以得到一个方向，然后（-）反方向+θj开始走一小步，寻找最低点
* 随机梯度法 随机找一个数据（得到的不够准确，但是快）
* 小梯度批量下降法（常用） 找部分数据，α为学习率：越小越好，为走小步的意思
