问题汇总
什么是回归？
关于回归问题，首先了解最简单的利用机器学习算法实现的线性回归问题
观察下图，可以看出数据点的分布总体呈现正相关，对于这些数据点，我们能够利用直觉找出一条反映数据分布的直线。而找到这条直线的过程便称为回归（Regression）。
求解线性回归问题，一种最简单的方法就是最小二乘法。如下图所示，对于明显有线性相关关系的数据，我们可以任意找到一条直线，让尽可能多的点都分布在这条直线上，但是显而易见，不可能所有的点都分布在这条直线上，最理想的状态应该是数据点均匀分布在这条直线的两侧，那么怎样达到这个目的呢？
对于直线的表示，我们使用线性方程进行表示，如可以使用\(y_i=x_i^Tw; i=1,..,n\) 来表示这条直线，\(x_i=\left[\begin{array}{c}x\\1\end{array}\right]\)，\(w=\left[\begin{array}{c}k\\b\end{array}\right]\)
