一、概念

线性回归是机器学习中有监督机器学习下的一种算法。
回归问题主要关注的是因变量y（需要预测的值，可以是一个也可以是多个）和一个或多个数值型的自变量x（预测变量）之间的关系。

• 需要预测的值：目标变量（target，y，连续值预测变量）。
• 影响目标变量的因素：X1..Xn，可以是连续值也可以是离散值。
• 因变量和自变量之间的关系：即模型（model，算法，y=wx+b），w，b是我们要求解的。

二、简单的线性回归

1.一个x的y：

• ŷ=wx+b

2.多元线性回归（多个x组成的y）:

三、最优解

• 真实值：y
• 预测值：ŷ
• 误差：一般使用ε表示。
• 最优解：尽可能的找到一个模型使得整体的误差最小。
• 整体的误差：叫做Loss。Loss通过损失函数Loss Function计算得到。（Loss Function：最小二乘法）

四、最小二乘法

公式：

• i表示第i个数据。
• y表示真实值。
• 平方表示二乘法的二。
• hθ(x)表示ŷ（它是预测值。也是模型、是算法、是线性回归、是方程）

五、正规方程

根据最小二乘法推导出正规方程。

正规方程如下：

利用正规方程求解方程

作业

参考资料来源：
【【全463集】入门到精通，一口气学完线性回归、逻辑回归、梯度下降、SVM支持向量机、随机森林、决策树、贝叶斯、聚类算法、朴树贝叶斯、神经网络等十二大机器学习算法】https://www.bilibili.com/video/BV1wa4y117PC?p=2&vd_source=d9625f3776768ee06e798b468c3ea994