1.2线性模型(Datawhale X 李宏毅苹果书 AI 夏令营)
如图,可以先设一个方程:
$$
y=b+wx_{1}
$$
而通过观察可以得到每隔7天就有一个循环,所以可以通过观察得到新的模型:
$$
y=b+\sum_{j=1}^{7} w_{j}x_{j}
$$
而采用该模型预估时,由于考虑了7天,所以训练数据上会得到比考虑1天较低的损失。
同理我可以考虑14天,28天...当考虑到更多天是没有办法降低损失,则可能达到极限。这些模型都是将输入的x乘一个权重,在加上一个编制得到结果,这样的模型称为线性模型。之后便是线性模型的优化。
1.2.1分段线性曲线
如图所示,红色曲线=常数+一组蓝色线的总和。(线0+线1+线2+线3)
而当蓝色的函数足够多时,把他们加起来就可以变成任何连续曲线。
如图:
而当x与y关系复杂时,则可以写一个带有未知数的函数表示。如图:
Sigmoid函数的表达式:
$$
y=c\frac{1}{1+e^{-(b+wx_{1})}}
$$
我们可以通过调整参数、制造不同的Sigmoid函数。
如图1.12,红色的线可以为0+1+2+3,(1、2、3)为蓝色函数,可以去做Sigmoid再乘$c_{i}$.
可以得到公式:
$$
y=b+\sum_ic_i\sigma(b_i+w_ix_1)
$$
1、2、3代表有个Sigmoid函数:
$$
b_1+w_{11}x_1+w_{12}x_2+w_{13}x_3
$$
采用矩阵跟向量相乘的到:
$$
\left[\begin{array}{c}r_1\r_2\r_3\end{array}\right]=\left[\begin{array}{c}b_1\b_2\b_3\end{array}\right]+\left[\begin{array}{ccc}w_{11}&w_{12}&w_{13}\w_{21}&w_{22}&w_{23}\w_{31}&w_{32}&w_{33}\end{array}\right]\left[\begin{array}{c}x_1\x_2\x_3\end{array}\right]
$$
$$
r=b+Wx
$$
$$
a=\sigma(r)
$$
得到:
$$
y=b+c^{\mathrm{T}}a
$$
可以做一个比较灵活的函数:
接下来计算每一个未知的参数对L的微分,得到向量9,即可以让损失变低的函数
$$
\left.\boldsymbol{g}=\nabla L\left(\boldsymbol{\theta}{0}\right)\\boldsymbol{g}=\left[\begin{array}{c}\frac{\partial L}{\partial\theta{1}}\\frac{\partial L}{\partial\theta_{2}}\\\theta=\theta_{0}\\vdots\end{array}\right.\right]
$$