逻辑回归入门介绍

本文所有内容整理自网络。完整内容可以点击这里获取：完整资料下载地址

Logistic回归是一种监督式机器学习算法，主要用于分类任务，其目标是预测一个实例属于给定类别的概率。它是一种统计算法，用于分析一组自变量与依赖的二进制变量之间的关系。它是一种强大的决策工具，例如用于判断电子邮件是否为垃圾邮件。其名称中之所以有"regression"，是因为它将线性回归函数的输出作为输入，并使用Sigmoid函数来估计属于给定类别的概率。线性回归和logistic回归之间的区别在于，线性回归的输出是连续值，可以是任何值，而logistic回归预测一个实例属于给定类别的概率。

Logistic函数（Sigmoid函数）：

Sigmoid函数是一种数学函数，用于将预测值映射到概率。它将任何实数映射到0和1之间的范围内。Logistic回归值必须在0和1之间，不能超出这个限制，因此它形成了一个类似"S"形状的曲线。这个S形曲线被称为Sigmoid函数或Logistic函数。在Logistic回归中，我们使用阈值的概念，该值定义了0或1的概率。例如，高于阈值的值趋向于1，低于阈值的值趋向于0。

Logistic回归的类型：

根据分类的基础，Logistic回归可以分为三种类型：

二项式（Binomial）：在二项式Logistic回归中，依赖变量只有两种可能的类型，例如0或1，通过或失败等。

多项式（Multinomial）：在多项式Logistic回归中，依赖变量可以有3个或更多个无序的可能类型，例如“猫”，“狗”，或“羊”。

有序（Ordinal）：在有序Logistic回归中，依赖变量可以有3个或更多个有序的可能类型，例如“低”，“中”，或“高”。

线性回归与逻辑回归的比较：

逻辑回归中常用的术语：

自变量（Independent variables）：应用于应变量预测的输入特征或预测因素。

应变量（Dependent variable）：逻辑回归模型中的目标变量，我们试图预测的变量。

逻辑函数（Logistic function）：用于表示自变量和应变量之间关系的公式。逻辑函数将输入变量转换为介于0和1之间的概率值，表示应变量为1或0的可能性。

几率（Odds）：事件发生与不发生的比率。

对数几率（Log-odds）：对数几率，也称为对数几率函数，是概率的自然对数。在逻辑回归中，应变量的对数几率被建模为自变量和截距的线性组合。

系数（Coefficient）：逻辑回归模型的估计参数，显示自变量和应变量之间的关系。

截距（Intercept）：逻辑回归模型中的常数项，表示当所有自变量等于零时的对数几率。

最大似然估计（Maximum likelihood estimation）：用于估计逻辑回归模型系数的方法，它最大化了在给定模型的情况下观察到数据的可能性。