使用同步更新来执行更新的办法 罗杰斯特回归的梯度下降
这张图片展示了逻辑回归中的梯度下降算法。逻辑回归是一种广泛使用的分类算法,它使用一个逻辑函数来预测事件发生的概率。梯度下降是一种优化算法,用于最小化损失函数,从而找到最佳的模型参数。
图片中的内容可以分为几个部分:
-
梯度下降的迭代更新公式:
- 对于权重 ( w_j ) 的更新公式是:
[
w_j = w_j - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y{(i)})x_j \right]
] - 对于偏置 ( b ) 的更新公式是:
[
b = b - \alpha \left[ \frac{1}{m} \sum_{i=1}^{m} (f_{\mathbf{w},b}(\mathbf{x}^{(i)}) - y^{(i)}) \right]
]
其中,( \alpha ) 是学习率,( m ) 是样本数量,( f_{\mathbf{w},b}(\mathbf{x}^{(i)}) ) 是逻辑回归模型的预测值,( y^{(i)} ) 是实际值,( x_j^{(i)} ) 是第 ( i ) 个样本的第 ( j ) 个特征。
- 对于权重 ( w_j ) 的更新公式是:
-
逻辑回归与线性回归的对比:
- 线性回归的预测函数是:
[
f_{\mathbf{w},b}(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b
] - 逻辑回归的预测函数是:
[
f_{\mathbf{w},b}(\mathbf{x}) = \frac{1}{1 + e^{-(\mathbf{w} \cdot \mathbf{x} + b)}}
]
- 线性回归的预测函数是:
-
梯度下降的相同概念:
- 监控梯度下降(学习曲线)
- 向量化实现
- 特征缩放
双语对照翻译:
- Gradient descent for logistic regression: 逻辑回归中的梯度下降
- repeat: 重复
- looks like linear regression!: 看起来像线性回归!
- simultaneous updates: 同时更新
- Same concepts: 相同的概念
- Monitor gradient descent (learning curve): 监控梯度下降(学习曲线)
- Vectorized implementation: 向量化实现
- Feature scaling: 特征缩放
- Linear regression: 线性回归
- Logistic regression: 逻辑回归
梯度下降的实现;
梯度下降的最后结果是损失/成本函数,也就是最后逻辑回归误差loss最小的函数,可见输入数据集和函数几乎相贴,其相距距离也就是loss损失,梯度下降得到w,b,此时在该算法中得到最佳的逻辑回归函数