逻辑回归

Logistic回归是一种广义的线性回归分析模型。它是一种分类方法，可以适用于二分类问题，也可以适用于多分类问题，但是二分类的更为常用，也更加容易解释。实际中最为常用的就是二分类的logistic回归，常用于数据挖掘，疾病自动诊断，经济预测等领域。

基本思想

a. 寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果；
b. 构造代价函数，即损失函数，用以表示预测的输出结果与训练数据的实际类别之间的偏差；
c. 最小化代价函数，从而获取最优的模型参数。

注意：Logistic回归算法是一种分类算法，它适用于标签取值离散的情况，它的输出值永远在0到1之间。
不推荐将线性回归用于分类问题，线性回归模型的预测值可超越[0,1]范围。

逻辑回归模型的假设

 其中X代表特征向量, g 代表Logistic函数。

h_θ​(x)的作用是: 对于给定的输入变量，根据选择的参数计算输出变量=1的可能性.  即h_θ​(x) = P(y=1|x;θ) 所以有P(y=0|x;θ) +P(y=1|x;θ) = 1。

常用的Logistic函数为S形函数 (Sigmoid function)：

 决策边界

分类： 线性决策边界  非线性决策边界

下图为线性决策边界的例子，红色代表正类, 蓝色代表负类。

其中参数 θ 为向量[-3,1,1] ,则当 -3 + x₁ +x₂ ≥ 0，即 x₁ +x₂ ≥ 3时，模型将预测y =1.我们可以绘制直线 x₁ +x₂ = 3，这条线便是我们模型的决策边界，它能将预测为1的区域和预测为0的区域分隔开。