[神经网络]线性回归

引言

有时候，可以用线性模型模拟数据的分布情况。比如房价与面积之间的关系。

示例

假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。

有了这个函数之后，我们要考虑的就是怎样让这个函数的参数调整为接近实际情况的值。

(①)引言

首先可以想到随机生成。让随机生成值，最后保留表现最好的。

考虑到具有本质上的连续性，可以通过迭代的方式让从较差的值逐渐变为较好的值。

通过迭代，我们容易联想到导数的性质。

导数本质上是斜率，即指定方向的变化速度。在极值点处，变化速度为0；在其他点，导数值大的方向函数值逐渐变大、导数值小的方向函数值逐渐变小。

(②)误差函数

 (③)参数迭代

由①、②知，当误差函数正在变大时，要调整参数使之向相反的方向运动；当误差函数变小时，要使之向当前方向运动。

考虑到导数的性质：导数为正数时，函数增大；导数为负数时，函数减小。

那么将参数减去导数，即可以使误差函数向变小的方向移动。