二、单变量的线性回归 univariate linear regression——预测问题

2.1 单变量线性函数

假设函数 hθ(x) = θ0 + θ1x
代价函数：平方误差函数或者平方误差代价函数

h(x(i))是预测值，也写做y帽，y(i)是实际值，两者取差分母的2是为了后续求偏导更好计算。

目标： 最小化代价函数，即minimize J(θ0, θ1)

• 得到的代价函数的 三维图如下

• 将三维图平面化 等高线图 contour plot
  等高线的中心对应最小代价函数

2.2 

梯度下降算法 Gradient Descent algorithm

算法思路

• 指定θ0 和 θ1的初始值
• 不断改变θ0和θ1的值，使J(θ0,θ1)不断减小
• 得到一个最小值或局部最小值时停止

梯度： 函数中某一点(x, y)的梯度代表函数在该点变化最快的方向
（选用不同的点开始可能达到另一个局部最小值）

梯度下降公式

• θ0和θ1应同步更新，否则如果先更新θ0，会使得θ1是根据更新后的θ0去更新的，与正确结果不相符

关于α的选择
如果α选择太小，会导致每次移动的步幅都很小，最终需要很多步才能最终收敛
如果α选择太大，会导致每次移动的步幅过大，可能会越过最小值，无法收敛甚至会发散

2.3 用于线性回归的梯度下降 ——Batch梯度下降

• 梯度回归的局限性： 可能得到的是局部最优解
  线性回归的梯度下降的函数是凸函数，bowl shape，因此没有局部最优解，只有全局最优解

• 批量梯度下降 代码实现
  批处理是指在一次迭代中运行所有的例子
  验证梯度下降是否正常工作的一个好方法是看一下

  标签：function,linear,gradient,梯度,cost,alpha,univariate,regression,函数
  From： https://www.cnblogs.com/pgl6/p/18336179