机器学习 多元线性回归
文章目录
前言
本文作为自己学习人工智能的开端，学习并掌握及机器学习的相关内容，逐渐了解机器学习，掌握相关的技术，从零开始，逐渐成长
一、基本概念
线性回归是机器学习中有监督机器学习下的一种算法，回归问题主要关注的是因变量（需要预测的值，可以是一个或者多个）和一个或多个数值型的**自变量（预测变量）**之间的关系。
需要预测的值：即目标变量，target,y,连续值预测变量
影响目标变量的因素：X1…Xn,可以是连续值也可以是离散值
因变量和自变量之间的关系：也就是模型，model，是我们要求解的
1. 连续值
连续的，不间断变化的值，表现在坐标系上可以表示为连续的不间断的线
2. 离散值
间断的，表现在坐标系上可以表示为各自独立的点。
3. 简单线性回归
y
=
ω
x
+
b
\ y={\omega}x+b
y=ωx+b为对应的公式。
- 其中
y
y
y是目标变量，也就是未来要预测的值
-
x
x
x是影响
y
y
y的因素，w,b是公式上的参数也就是要求的模型
4. 最优解
Actual value:真实值，一般用y来表示。
Predicted value:预测值，是把已知的
x
x
x带入到公式里面和猜出来的参数w，b计算得到的，一般用
y
y
y表示
Error:误差，预测值与真实值的差距，一般采用
ε
{\varepsilon}
ε表示
最优解：尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失Loss
Loss:整体的误差，Loss通过损失函数Loss function计算得到
5. 多元线性回归
现实生活中，往往影响结果y的因素不止一个，这时x就从一个变成了n个，
X
1
X_1
X1…
X
n
X_n
Xn同时简单线性回归的公式也就不再适用了，多元线性回归公式如下：
y
=
ω
1
X
1
+
ω
2
X
2
+
.
.
.
+
ω
n
X
n
+
b
y = {\omega}_1X_1 + {\omega}_2X_2 + ... + {\omega}_nX_n + b
y=ω1X1+ω2X2+...+ωnXn+b
b是截距，也可以用
w
0
w_0
w0表示
y
=
ω
1
X
1
+
ω
2
X
2
+
.
.
.
+
ω
n
X
n
+
ω
0
y = {\omega}_1X_1 + {\omega}_2X_2 + ... + {\omega}_nX_n + {\omega}_0
y=ω1X1+ω2X2+...+ωnXn+ω0
y
=
ω
1
X
1
+
ω
2
X
2
+
.
.
.
+
ω
n
X
n
+
ω
0
∗
1
y = {\omega}_1X_1 + {\omega}_2X_2 + ... + {\omega}_nX_n + {\omega}_0 * 1
y=ω1X1+ω2X2+...+ωnXn+ω0∗1
使用向量来表示，X表示所有的变量，是一维变量，W表示所有的系数（包含
w
0
w_0
w0）,是一维向量，根据向量乘法规律，可以这么写
y
=
W
T
X
y = W^TX
y=WTX
二、正规方程
1.最小二乘法矩阵表示
y
i
y_i
yi表示真实值，
h
θ
(
x
i
)
h_\theta(x_i)
hθ(xi)表示预测的值，模型、算法，线性回归，方程
最小二乘法可以将误差方程转化为有确定解的代数方程组（其方程式的数目正好等于未知数的个数），从而可以求接触这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程。公式如下：
θ
=
(
X
T
X
)
−
1
X
T
y
\theta = (X^TX)^{-1}X^{T}y
θ=(XTX)−1XTy
W
=
(
X
T
X
)
−
1
X
T
y
W = (X^TX)^{-1}X^Ty
W=(XTX)−1XTy
最小二乘法的公式表示：
J
(
θ
)
=
1
2
∑
i
=
0
n
(
h
θ
(
x
i
)
−
y
i
)
2
J(\theta) = \frac{1}{2}\sum_{i=0}^{n}(h_{\theta}(x_i)-y_i)^2
J(θ)=21i=0∑n(hθ(xi)−yi)2
其中：
y
=
h
θ
(
X
)
=
X
θ
y=h_{\theta}(X)=X\theta
y=hθ(X)=Xθ表示全部数据，是矩阵，X表示多个数据，进行矩阵乘法时，放在前面
y
i
=
h
θ
(
X
(
i
)
)
=
θ
T
x
(
i
)
y_i=h_\theta(X^{(i)}) = \theta^Tx^{(i)}
yi=hθ(X(i))=θTx(i)表示第i个数据，是向量，所以进行乘法时，其中一方需要进行转置
因为最大似然公式中有个负号，所以最大总似然成了最小化负号后面的部分，到这里，我们就已经推导出来了。
使用矩阵表示：
J
(
θ
)
=
1
2
∑
i
=
0
n
(
h
θ
(
x
i
)
−
y
)
(
h
θ
(
x
i
)
−
y
)
J(\theta) = \frac{1}{2}\sum_{i = 0}^{n}(h_\theta(x_i) - y)(h_\theta(x_i) - y)
J(θ)=21i=0∑n(hθ(xi)−y)(hθ(xi)−y)
J
(
θ
)
=
1
2
(
X
θ
−
y
)
(
X
θ
−
y
)
J(\theta) = \frac{1}{2}(X\theta -y )(X\theta - y)
J(θ)=21(Xθ−y)(Xθ−y)
2.多元一次方程举例
- 二元一次方程组如下：
{ x + y = 14 2 x − y = 10 \begin{cases} x+y=14\\ 2x-y=10 \end{cases} {x+y=142x−y=10
3.三元一次方程组如下：
{ x − y + z = 100 2 x + y − z = 80 3 x − 2 y + 6 z = 256 \begin{cases} x - y + z = 100 \\ 2x + y - z = 80 \\ 3x -2y + 6z = 256 \end{cases} ⎩ ⎨ ⎧x−y+z=1002x+y−z=803x−2y+6z=256