前言
前面我们已经学习的最小二乘法属于多元线性回归的主要概念，所以在看这篇文章之前,请确保你已经了解了最小二乘法,详情请见我的博客动手学机器学习入门之Day1。
在机器学习领域，梯度下降和多元线性回归是两个至关重要的概念，它们为我们理解和构建复杂模型提供了基础。梯度下降作为一种优化算法，帮助我们调整模型参数以最小化损失函数，从而使模型更好地拟合数据。而多元线性回归则是一种经典的回归分析方法，用于建立因变量与多个自变量之间的线性关系。
在本文中，我们将深入探讨梯度下降算法的工作原理，以及如何应用它来优化模型参数。我们还将探讨多元线性回归模型的基本概念，包括如何建立模型、估计回归系数以及评估模型性能。
最后,我会用skicit-learn中SGDRegressor模型来搭建一个可以进行二元回归的模型,并且使用plotly库来对数据进行一个可视化。
通过学习梯度下降和多元线性回归，您将能够更好地理解机器学习模型的训练过程，并掌握构建和优化模型的关键技能。让我们一起深入探讨梯度下降和多元线性回归，为您的机器学习之旅增添新的知识和技能。
原理
梯度下降（Gradient Descent）
直观解释
想象你站在一座大山的某个位置，你的目标是走到山脚。但是你眼睛被蒙上了，你只能通过脚下的感觉来判断前进的方向。梯度下降就好比你在尝试走下山的过程。
-
起点选择：你从某个位置开始下山，这个位置对应于初始的模型参数。
-
下山步骤：你每向前迈出一步，都会感受到脚下坡度的陡峭程度，这个坡度就好比函数在当前位置的梯度（斜率）。
-
调整方向：如果你感觉坡度变陡了，你就朝着坡度最陡的方向走；如果坡度变缓了，你就朝着坡度变陡的方向走。这样，你会逐渐朝着山脚走去。
-
调整步长：你可以控制每一步的大小，这就是学习率。步子太大可能会导致你跨过山脚，步子太小可能会让你走的太慢。
-
收敛：最终，当你走到山脚时，你就找到了函数的最小值，也就是模型的最佳参数。
梯度下降就是通过不断调整模型参数，沿着损失函数梯度的反方向，逐步优化模型，使其更好地拟合数据。这个过程就像是在找到函数的最低点，从而使模型的预测能力达到最优。
主要概念：
梯度下降是一种优化算法，用于最小化函数的值。在机器学习中，它通常用于调整模型参数以最小化损失函数。
-
学习率（Learning Rate）：控制每次参数更新的步长，过大可能导致震荡，过小可能导致收敛速度慢。
-
损失函数（Loss Function）：衡量模型预测值与真实值之间的差异，常见的损失函数包括均方误差（MSE）和交叉熵损失等。
梯度下降公式：
梯度下降的更新规则通常如下所示：
其中：
- θ 是要更新的参数向量。
- α 是学习率。
- J(θ) 是损失函数。
- ∇J(θ) 是损失函数关于参数向量的梯度。
多元线性回归（Multiple Linear Regression）
多元线性回归是一种回归分析方法，用于预测因变量与一个或多个自变量之间的关系。
主要概念：
- 多元线性回归模型：用于描述因变量与多个自变量之间线性关系的模型
其中：