原文链接：http://tecdat.cn/?p=22410
最近我们被客户要求撰写关于逻辑回归的研究报告，包括一些图形和统计输出。 本文介绍了逻辑回归并在R语言中用逻辑回归（Logistic回归）模型分类预测病人冠心病风险数据
逻辑回归是机器学习借用的另一种统计分析方法。当我们的因变量是二分或二元时使用它。
视频：R语言逻辑回归（Logistic回归）模型分类预测病人冠心病风险
**，时长06:48
它只是表示一个只有 2 个输出的变量，例如，预测抛硬币（正面/反面）的情况。结果是二进制的：如果硬币是正面，则为 1，如果硬币为反面，则为 0。这种回归技术类似于线性回归，可用于预测分类问题的概率。
为什么我们使用逻辑回归而不是线性回归？
我们现在知道它仅在我们的因变量是二元的而在线性回归中该因变量是连续时使用。
现在，如果我们使用线性回归来找到旨在最小化预测值和实际值之间距离的最佳拟合线，这条线将是这样的：
这里的阈值为 0.5，这意味着如果 h(x) 的值大于 0.5，则我们预测为恶性肿瘤（1），如果小于 0.5，则我们预测为良性肿瘤（0）。
这里一切似乎都很好，但现在让我们稍微改变一下，我们在数据集中添加一些异常值，现在这条最佳拟合线将移动到该点。像这样：
你看到这里有什么问题吗？蓝线代表新阈值，此处可能为 0.2。为了保持我们的预测正确，我们不得不降低我们的阈值。因此，我们可以说线性回归容易出现异常值。现在如果预测值大于 0.2，那么只有这个回归会给出正确的输出。
线性回归的另一个问题是预测值可能超出范围。我们知道概率可以在 0 和 1 之间，但是如果我们使用线性回归，这个概率可能会超过 1 或低于 0。
Sigmoid函数
为此，我们最好有一个函数将任何实际值映射到 0 和 1 之间的区间内的值。您一定想知道逻辑回归如何将线性回归的输出压缩在 0 和 1 之间。
Sigmoid 函数是一种数学函数，用于将预测值映射到概率。该函数能够将任何实际值映射到 0 和 1 范围内的另一个值。
规则是逻辑回归的值必须在 0 和 1 之间。由于它不能超过值 1 的限制，在图形上它会形成一条“S”形的曲线。这是识别 Sigmoid 函数或逻辑函数的简单方法。
关于逻辑回归，使用的概念是阈值。阈值有助于定义 0 或 1 的概率。例如，高于阈值的值趋于 1，低于阈值的值趋于 0。
这就是所谓的 sigmoid 函数，它是这样定义的：
最远离 0 的 x值 映射到接近 0 或接近 1 的 y值。x接近 0 的值 将是我们算法中概率的一个很好的近似值。然后我们可以选择一个阈值并将概率转换为 0 或 1 预测。
Sigmoid 是逻辑回归的激活函数。
成本函数
成本函数是用于计算误差的数学公式，它是我们的预测值和实际值之间的差异。它只是衡量模型在估计 x 和 y 之间关系的能力方面的错误程度。当我们考虑成本函数时，首先想到的是经典的平方误差函数。
m - 示例数，
x(i) - 第i个示例 的特征向量 ，
y(i) - 第i个示例 的实际值 ，
θ - 参数向量。
如果我们有一个线性激活函数h θ (x) 那就没问题了。但是使用我们的新 sigmoid 函数，我们没有平方误差的正二阶导数。这意味着它是非凸函数。我们不想陷入局部最优，因此我们定义了一个新的成本函数：
这称为交叉熵成本。如果您仔细观察，您可能会注意到，当预测值接近实际值时，0 和 1 实际值的成本都将接近于零。
让我们看看当 y=1 和 y=0 时成本函数的图形是什么
这里的蓝线代表1类（y=1），代价函数的右项会消失。现在，如果预测概率接近 1，那么我们的损失会更小，当概率接近 0 时，我们的损失函数会达到无穷大。
红线代表 0 类（y=0），左项将在我们的成本函数中消失，如果预测概率接近 0，那么我们的损失函数会更小，但如果我们的概率接近 1，那么我们的损失函数会达到无穷大。
此成本函数也称为对数损失。它还确保随着正确答案的概率最大化，错误答案的概率最小化。此成本函数的值越低，精度越高。
如果我们结合这两个图，我们将得到一个只有 1 个局部最小值的凸图，现在在这里使用梯度下降很容易。
梯度下降优化
我们将尝试了解如何利用梯度下降来计算最小成本。
梯度下降以这样一种方式改变我们的权重值，它总是收敛到最小点，或者我们也可以说，它旨在找到最小化模型损失函数的最优权重。它是一种迭代方法，通过计算随机点的斜率然后沿相反方向移动来找到函数的最小值。
R语言逻辑回归（Logistic回归）模型分类预测病人冠心病风险
本文的目的是完成一个逻辑回归分析。使你对分析步骤和思维过程有一个基本概念。
library(tidyverse)
library(broom)
这些数据来自一项正在进行的对镇居民的心血管研究 （ 查看文末了解数据获取方式 ） 。其目的是预测一个病人是否有未来10年的冠心病风险。该数据集包括以下内容。
- 男性：0=女性；1=男性
- 年龄。
- 教育。1 = 高中以下；2 = 高中；3 = 大学或职业学校；4 = 大学以上
- 当前是否吸烟。0=不吸烟；1=吸烟者
- cigsPerDay: 每天抽的烟数量（估计平均）。
- BPMeds: 0 = 不服用降压药；1 = 正在服用降压药
- 中风。0 = 家族史中不存在中风；1 = 家族史中存在中风
- 高血压。0 =高血压在家族史上不流行；1 =高血压在家族史上流行
- 糖尿病：0 = 没有；1 = 有
- totChol: 总胆固醇(mgdL)
- sysBP: 收缩压(mmHg)
- diaBP: 舒张压(mmHg)
- BMI: 体重指数
- 心率
- 葡萄糖：总葡萄糖mgdL
- TenYearCHD: 0 = 患者没有未来10年冠心病的风险; 1 = 患者有未来10年冠心病的风险
加载并准备数据
read_csv("fraingha") %>%
drop_na() %>% #删除具有缺失值的观察值
ageCent = age - mean(age),
totCholCent = totChol - mean(totChol),
拟合逻辑回归模型
glm(TenYearCHD ~ age + Smoker + CholCent,
data = data, family = binomial)
预测
对于新病人
data_frame(ageCent = (60 - 49.552),
totCholCent = (263 - 236.848),
预测对数几率
predict(risk_m, x0)
预测概率
根据这个概率，你是否认为这个病人在未来10年内有患冠心病的高风险？为什么？
risk
混淆矩阵
risk_m %>%
group_by(TenYearCHD, risk_predict) %>%
kable(format="markdown")
mutate( predict = if_else(.fitted > threshold, "1: Yes", "0: No"))
有多大比例的观察结果被错误分类？
依靠混淆矩阵来评估模型的准确性有什么缺点？
ROC曲线
ggplot(risk_m_aug,
oc(n.cuts = 10, labelround = 3) +
geom_abline(intercept = 0) +
auc(roc )$AUC
一位医生计划使用你的模型的结果来帮助选择病人参加一个新的心脏病预防计划。她问你哪个阈值最适合为这个项目选择病人。根据ROC曲线，你会向医生推荐哪个阈值？为什么？
点击标题查阅往期内容
R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集
左右滑动查看更多
01
02
03
04
假设
为什么我们不绘制原始残差？
ggplot(data = risk aes(x = .fitted, y = .resid)) +
labs(x = "预测值", y = "原始残差")
分级的残差图
plot(x = fitted, y = resid,
xlab = "预测概率",
main = "分级后的残值与预测值的对比",
## # A tibble: 2 x 2
## currentSmoker mean_resid
## <fct> <dbl>
## 1 0 -2.95e-14
## 2 1 -2.42e-14
检查假设：
- 线性？- 随机性？- 独立性？
系数的推断
currentSmoker1的测试统计量是如何计算的？
在统计学上，totalCholCent是否是预测一个人患冠心病高风险的重要因素？
用检验统计量和P值来证明你的答案。
用置信区间说明你的答案。
偏离偏差检验
glm(TenYearCHD ~ ageCent + currentSmoker + totChol,
data = heart_data, family = binomial)
anova
AIC
根据偏离偏差检验，你会选择哪个模型？
基于AIC，你会选择哪个模型？
使用step逐步回归选择模型
step(full_model )
kable(format = "markdown" )
数据获取
在下面公众号后台回复“冠心病数****据”，可获取完整数据。
点击文末 “阅读原文”
获取全文完整资料。
本文选自《R语言逻辑回归（Logistic回归）模型分类预测病人冠心病风险》。
点击标题查阅往期内容
R语言逻辑回归Logistic回归分析预测股票涨跌
matlab用马尔可夫链蒙特卡罗 (MCMC) 的Logistic逻辑回归模型分析汽车实验数据
R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
PYTHON集成机器学习：用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
R语言集成模型：提升树boosting、随机森林、约束最小二乘法加权平均模型融合分析时间序列数据
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化
R语言基于树的方法：决策树，随机森林，Bagging，增强树
R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测
spss modeler用决策树神经网络预测ST的股票
R语言中使用线性模型、回归决策树自动组合特征因子水平
R语言中自编基尼系数的CART回归决策树的实现
R语言用rle，svm和rpart决策树进行时间序列预测
python在Scikit-learn中用决策树和随机森林预测NBA获胜者
python中使用scikit-learn和pandas决策树进行iris鸢尾花数据分类建模和交叉验证
R语言里的非线性模型：多项式回归、局部样条、平滑样条、 广义相加模型GAM分析
R语言用标准最小二乘OLS，广义相加模型GAM ，样条函数进行逻辑回归LOGISTIC分类
R语言ISLR工资数据进行多项式回归和样条回归分析
R语言中的多项式回归、局部回归、核平滑和平滑样条回归模型
R语言用泊松Poisson回归、GAM样条曲线模型预测骑自行车者的数量
R语言分位数回归、GAM样条曲线、指数平滑和SARIMA对电力负荷时间序列预测R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
如何用R语言在机器学习中建立集成模型？
R语言ARMA-EGARCH模型、集成预测算法对SPX实际波动率进行预测在python 深度学习Keras中计算神经网络集成模型R语言ARIMA集成模型预测时间序列分析R语言基于Bagging分类的逻辑回归(Logistic Regression)、决策树、森林分析心脏病患者
R语言基于树的方法：决策树，随机森林，Bagging，增强树
R语言基于Bootstrap的线性回归预测置信区间估计方法
R语言使用bootstrap和增量法计算广义线性模型（GLM）预测置信区间
R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
R语言随机森林RandomForest、逻辑回归Logisitc预测心脏病数据和可视化分析
R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化
Matlab建立SVM，KNN和朴素贝叶斯模型分类绘制ROC曲线
matlab使用分位数随机森林（QRF）回归树检测异常值