Logistic Regression
logistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起
Logistic distribution
设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如下:
分布函数
其中,μ为位置参数,s为形状参数
分布函数即为通常所说的logistic函数,其图像关于(μ,0.5)对称,满足:
F(-x+μ)+F(x-μ)=1
曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
形状参数s的值越小,曲线在中心附近增长得越快
概率密度函数
其中,μ为位置参数,s为形状参数
二项logistic回归
二项logistic回归(binomial logistic regression)是一种分类模型,由条件概率分布P(Y|X)表示,形式为参数化的logistic分布.这里,随机变量X取值为实数,随机变量Y取值为1或0.通过监督学习的方法来估计模型参数
概率的公理化定义
柯尔莫哥洛夫给出了概率的公理化定义:
+ 0≤P(A)≤1
+ P(Ω)=1,P(∅)=0,必然事件概率为1,不可能事件概率为0
+ 加法定理:若干个互斥事件之和的概率等于各事件的概率之和,即P(A1+A2+…)=P(A)+P(B)+…事件的个数可以是有限的或无限的
条件概率分布
二项logistic回归模型是如下的条件概率分布(该条件概率分布满足上述公理化定义,所以可以作为概率,通过训练使得这个概率值更准确):
P(Y=1|x)=F(X≤x),P(Y=0|x)=1-F(X≤x)=F(X>x)
或表示成如下形式
logistic回归采用的是logistic分布函数,对于任意x,F(x)最小值为0,最大值为1,相当于把实数域R映射到(0,1)上.
对于给定的输入实例x,按照上式求出P(Y=1|x)和P(Y=0|x),比较两个条件概率的大小,将实例x分到概率值较大的那一类.
logistic回归模型的特点
事件发生的概率与不发生的概率之比称作事件的几率(odds),考察logistic回归的对数几率(log odds)或logit函数:
这就是说,在logistic回归模型中,输出Y=1的对数几率是输入x的线性函数.或者说,输出Y=1的对数几率是由输入x的线性函数表示的模型.(同样地,输出Y=0的对数几率是-wx,x越大则Y=0的对数几率越小,x越小则Y=0的对数几率越大.这样说不满足几率的定义,但是这样解释没有问题,嗯)
换一个角度看,考虑对输入x进行分类的线性函数wx,其值域为实数域.注意这里x∈R_(n+1),w∈R_(n+1).通过logistic回归模型可以将wx转换为概率.这时,线性函数wx的值越接近正无穷,概率值越接近1;线性函数wx的值越接近负无穷,概率值越接近0
这样的模型就是logistic回归模型
模型参数估计
关于极大似然法(Maximum Likelihood Estimation),可以参考之前的文章极大似然估计
求得使L(w)取得最大值的w也就得到logistic回归模型了
logistic回归学习中通常采用的方法是梯度下降法(Gradient descent)和拟牛顿法(Quasi Newton method),见之前的文章梯度下降和拟牛顿法
多项logistic回归
之前介绍的是二项logistic回归,用于二分类.可以将其推广为multi-nomial logistic regression model.用于多类分类.
假设离散型随机变量Y的取值集合是{1,2,…,K},那么多项logistic回归模型是:
二项logistic回归的参数估计方法也可以推广到多项logistic回归中
总结
曲线在中心附近增长速度较快,在两端增长速度较慢.(这个特性将使得使用梯度下降优化模型时,可以对误分样本快速调整)
1. 形式为参数化的logistic分布,即μ和s变成了w和b
2. P(Y=1|x)=F(X≤x),P(Y=0|x)=1-F(X≤x)=F(X>x)
3. logistic回归的对数几率是线性的:wx+b,所以logistic回归属于对数线性模型
4. 对数似然中对于单个样本的表达形式要有清晰的认识:P(yi|xi)=π(xi)^yi · [1-π(xi)]^(1-yi),决定这个式子形式的是yi
参考:
李航,统计学习方法