机器学习算法原理——逻辑斯谛回归

文章目录

逻辑斯谛回归
二项逻辑斯谛回归模型
极大似然估计
多项逻辑斯谛回归模型
总结归纳

逻辑斯谛回归

写在前面：逻辑斯谛回归最初是数学家 Verhulst 用来研究人口增长是所发现的，是一个非常有趣的发现过程， b 站有更详细的背景及过程推导，在此不再赘述：https://www.bilibili.com/video/BV1No4y1o7ac/?p=59

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k9DMmgs6-1677676936475)(逻辑斯谛回归.assets/image-20230301153119470.png)]

逻辑斯谛分布的标准形式：
$机器学习算法原理——逻辑斯谛回归_算法$

$机器学习算法原理——逻辑斯谛回归_概率密度函数_02$

分布函数是一条 $机器学习算法原理——逻辑斯谛回归_算法_03$ 形曲线，该曲线也被称为 sigmoid 曲线，关于点 $机器学习算法原理——逻辑斯谛回归_算法_04$
概率密度函数一条钟型曲线，中间高两端低，关于 $机器学习算法原理——逻辑斯谛回归_上传_05$

逻辑斯谛回归的一般形式：

设 $机器学习算法原理——逻辑斯谛回归_算法_06$ 是连续随机变量， $机器学习算法原理——逻辑斯谛回归_算法_06$ 服从逻辑斯谛分布是指 $机器学习算法原理——逻辑斯谛回归_算法_06$ 具有下列分布函数和概率密度：
$机器学习算法原理——逻辑斯谛回归_概率密度函数_09$

$机器学习算法原理——逻辑斯谛回归_上传_10$

式中， $机器学习算法原理——逻辑斯谛回归_算法_11$ 为位置参数， $机器学习算法原理——逻辑斯谛回归_算法_12$

分布函数是一条 $机器学习算法原理——逻辑斯谛回归_算法_03$ 形曲线，该曲线也被称为 sigmoid 曲线，关于点 $机器学习算法原理——逻辑斯谛回归_回归_14$
概率密度函数一条钟型曲线，中间高两端低，关于 $机器学习算法原理——逻辑斯谛回归_算法_15$ 对称，在此处取得最大值 $机器学习算法原理——逻辑斯谛回归_回归_16$

二项逻辑斯谛回归模型

$机器学习算法原理——逻辑斯谛回归_上传_17$

$机器学习算法原理——逻辑斯谛回归_算法_18$

其中， $机器学习算法原理——逻辑斯谛回归_概率密度函数_19$ 是输入， $机器学习算法原理——逻辑斯谛回归_回归_20$ 是输出， $机器学习算法原理——逻辑斯谛回归_算法_21$ 和 $机器学习算法原理——逻辑斯谛回归_机器学习_22$ 是参数， $机器学习算法原理——逻辑斯谛回归_上传_23$ 称为权值向量， $机器学习算法原理——逻辑斯谛回归_回归_24$ 称为偏置， $机器学习算法原理——逻辑斯谛回归_上传_25$ 为 $机器学习算法原理——逻辑斯谛回归_概率密度函数_26$ 和 $机器学习算法原理——逻辑斯谛回归_概率密度函数_26$

为了方便，将权重向量和输入向量加以扩充，仍记为 $机器学习算法原理——逻辑斯谛回归_上传_23$ 和 $机器学习算法原理——逻辑斯谛回归_概率密度函数_26$ ，则有：
$机器学习算法原理——逻辑斯谛回归_概率密度函数_30$
逻辑分布函数重写为：
$机器学习算法原理——逻辑斯谛回归_回归_31$

$机器学习算法原理——逻辑斯谛回归_机器学习_32$

极大似然估计

二项分布：
$机器学习算法原理——逻辑斯谛回归_算法_33$
对于 $机器学习算法原理——逻辑斯谛回归_上传_34$ ，有：
$机器学习算法原理——逻辑斯谛回归_回归_35$
其中：
$机器学习算法原理——逻辑斯谛回归_机器学习_36$
对于数据集 $机器学习算法原理——逻辑斯谛回归_算法_37$ 出现的概率：
$机器学习算法原理——逻辑斯谛回归_机器学习_38$
该概率只与 $机器学习算法原理——逻辑斯谛回归_上传_23$ 有关，即可得关于 $机器学习算法原理——逻辑斯谛回归_上传_23$ 的似然函数：
$机器学习算法原理——逻辑斯谛回归_机器学习_41$
对数似然函数：
$机器学习算法原理——逻辑斯谛回归_回归_42$
代入（12）（13）式：
$机器学习算法原理——逻辑斯谛回归_上传_43$
这样，问题就变成了以对数似然函数为目标函数的最优化问题，可以应用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。

多项逻辑斯谛回归模型

二项逻辑斯谛回归模型可将其推广到多项逻辑斯谛回归模型（multi-nominal logistic regression model），用于多类分类。假设离散型随机变量 $机器学习算法原理——逻辑斯谛回归_机器学习_44$ 的取值集合是 $机器学习算法原理——逻辑斯谛回归_上传_45$ ，那么多项逻辑斯谛回归模型是：
$机器学习算法原理——逻辑斯谛回归_算法_46$
这里， $机器学习算法原理——逻辑斯谛回归_概率密度函数_47$ ， $机器学习算法原理——逻辑斯谛回归_上传_48$

总结归纳

逻辑斯谛回归归根结底是将分类问题用回归模型来解决。
正态分布是在给定均值和方差的情况下具有最大熵的分布，这样的假设可以使得数据携带的信息量最大。通常在没有任何假设的情况下，连续型数据常被假设为正态分布，离散型数据常被假设为等概率分布。
$机器学习算法原理——逻辑斯谛回归_概率密度函数_49$
逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。
逻辑回归模型不局限于输入变量和输出变量之间是否存在线性关系，可以通过 sigmoid 函数代替非连续型函数，当 sigmoid 函数大于等于 0.5时即可判断类别。
逻辑回归的输入变量可以是连续变量，也可以是离散变量。
参数估计：说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。
极大似然估计：极大似然估计就是建立在参数估计的思想上，已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
sigmoid 激活函数在深度学习中应用广泛，逻辑斯谛回归更是在分类问题中被大量使用。

标签：似然,逻辑,函数,回归,算法,斯谛,模型
From： https://blog.51cto.com/u_15251606/6254901