1 线性回归

就是给你一堆数据[[x0,y0],[x1,y1],[x2,y2]-----[xn,yn]]然后得出一个y=wx+b来，这里我们引入损失函数loss=\(\sum\)（wxi+b-yi）^2,然后我们就是最小化这个loss从而使得w'x+b'->y

2 梯度下降法

在这里w'=w-lr*\({dy\over dw}\)

在这里为什么是减呢，例如：x'=x-0.005*\({dy\over dw}\)，就是这里如果一个数在x1这个点的话，他的\({dy\over dw}\)是负的，然后再加上一个负号的话导致这个x'是增大的，朝x=5这个方向走，如果这个x一直增大到x2这个位置，导致其\({dy\over dw}\)是正的，然后有一个负号，所以x'下次会减小到靠近5的方向，从而导致它不断逼近极小值，这里同样的把x换成w,b是一样的，都是为了求w,b的极小值

然后Step1. 计算 Loss


然后Step2Compute Gradient and update.

Set w=w’ and loop