2. 单变量线性回归(Linear Regression with One Variable)
文字部分来自这位大佬的字幕合集
2.1 模型表示
我们的第一个学习算法是线性回归算法.在这段视频中,你会看到这个算法的概况,更重要的是你将会了解监督学习过程完整的流程.
让我们通过一个例子来开始:这个例子是预测住房价格的,我们要使用一个数据集,这个数据集包含俄勒冈州波特兰市的住房价格.在这里,我要根据不同房屋尺寸所售出的价格.比方说,如果你朋友的房子是1250平方尺大小,你要告诉他们这房子能卖多少钱.那么,你可以做的一件事就是构建一个模型,也许可以用直线拟合,从这个数据模型上来看,也许你可以告诉你的朋友,他能以大约220000(美元)左右的价格卖掉这个房子.这就是监督学习算法的一个例子.
上面举的例子是一个监督学习算法,因为每个输入都有一个正确的输出\(y\).也是一个回归问题,因为我们根据之前的数据预测出一个准确的输出值,对于这个例子就是价格.同时，还有另一种最常见的监督学习方式，叫做分类问题,当我们想要预测离散的输出值,例如,我们正在寻找癌症肿瘤,并想要确定肿瘤是良性的还是恶性的,这就是0/1离散输出的问题.
更进一步来说,在监督学习中我们有一个数据集,这个数据集被称训练集.在本课程中,我们使用\(m\)来作为训练集的数目.
以之前的房屋交易问题为例,假使我们回归问题的训练集(Training Set)如下表所示:
我们约定用如下变量来描述数据集:
m:训练集中样本的数量x:特征/输入变量y:目标变量/输出变量(x,y):训练集中的实例- \((x^{(i)},y^{(i)})\):第i个观察实例
h:学习算法的解决方案或函数也称为假设(hypothesis)
这是一个监督学习算法的工作方式.我们可以看到这里有我们的训练集里房屋价格.我们把它喂给我们的学习算法,学习算法输出一个函数,通常表示为小写\(h\)表示.\(h\)代表\(hypothesis\)(假设),表示一个函数.输入是房屋尺寸大小,就像你朋友想出售的房屋,因此\(h\)根据输入的\(x\)值来得出\(y\)值,\(y\)值对应房子的价格,因此,\(h\)是一个从\(x\)到\(y\)的函数映射.
我将选择最初的使用规则\(h\)代表\(hypothesis\),因而,要解决房价预测问题,我们实际上是要将训练集"喂"给我们的学习算法,进而学习得到一个假设\(h\),然后将我们要预测的房屋的尺寸作为输入变量\(x\)输入给\(h\),预测出该房屋的交易价格作为输出变量\(y\)输出为结果.那么,对于我们的房价预测问题，我们该如何表达\(h\)?
一种可能的表达方式为:
,因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题
2.2 代价函数
在这段视频中我们将定义代价函数的概念,这有助于我们弄清楚如何把最有可能的直线与我们的数据相拟合.如图:
在线性回归中我们有一个像这样的训练集,\(m\)代表了训练样本的数量,比如\(m=47\).而我们的假设函数,也就是用来进行预测的函数,是这样的线性函数形式:\(h_{\theta}(x) = \theta_0 + \theta_1 x\).
接下来,我们引入如下术语:\(\theta_0\)和\(\theta_1\),我们把它们称为模型参数.在本节我们要讨论的是如何选择这两个参数.
我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度,模型所预测的值与训练集中实际值之间的差距(下图中蓝线所指)就是建模误差(modeling error).
我们的目标便是选择出\(\theta_1\)和\(\theta_0\)可以使得建模误差的平方和能够最小的模型参数.即使得代价函数(或者平方误差函数)最小:
\[J(\theta_0,\theta_1) = \frac{1}{2m}\sum_{i=1}^m (h_{\theta}(x^{(i)})-y^{(i)})^2 \] 特别提醒:\(\frac{1}{2m}\)的\(\frac{1}{2}\)是为了消除求导时下来的平方2
我们之所以要求出误差的平方和,是因为误差平方代价函数,对于大多数问题,特别是回归问题,都是一个合理的选择.还有其他的代价函数也能很好地发挥作用,但是平方误差代价函数可能是解决回归问题最常用的手段了.
2.3 简单代价函数的直观理解
在上一节中,我们给了代价函数一个数学上的定义.在这个视频里,让我们通过一些例子来获取一些直观的感受,看看代价函数到底是在干什么,以及为什么我们使用它.
上一节的内容概况如下:
为了理解函数我们取一个简单的情况,当\(\theta_0 = 0\)时,假设就只是正比例函数,而此时代价函数也得到了化简,让我们来看根据\(\theta_1\)取不同值,都可以得到一个不同的假设\(h\),也有不同的代价函数\(J\),这两个函数的图像.
2.4 代价函数的直观理解
这节课中,我们将更深入地学习代价函数的作用,这段视频的内容假设你已经认识等高线图,如果你对等高线图不太熟悉的话,这段视频中的某些内容你可能会听不懂,但不要紧,如果你跳过这段视频的话,也没什么关系,不听这节课对后续课程理解影响不大.
之前是\(\theta_0 = 0\)的情况,这里可变的参数有两个\(\theta_0\)和\(\theta_1\).我们分别画出\(h\)和\(J\)在取不同参数的变化图像:
这里的\(J\)图是等高线图(所有圆圈弧上的\(J\)值都相同),以立体的形式其实是碗状,当只有一个参数时,碗的形状在平面上是这样的.但当有两个参数,图像就比较立体.
通过这些图形,我希望你能更好地理解这些代价函数\(J\)所表达的值是什么样的,它们对应的假设是什么样的,以及什么样的假设对应的点更接近于代价函数的最小值.
当然，我们真正需要的是一种有效的算法,能够自动地找出这些使代价函数\(J\)取最小值的参数\(\theta_1\)和\(\theta_0\).
我们会遇到更复杂、更高维度、更多参数的情况,而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的是编写程序来找出这些最小化代价函数的\(\theta_1\)和\(\theta_0\)的值,在下一节视频中,我们将介绍一种算法,能够自动地找出能使代价函数\(J\)最小化的参数\(\theta_1\)和\(\theta_0\)的值.