|20大数据三班|实验二：逻辑回归算法实验 - 作业 - 20级大数据3班机器学习 - 班级博客 - 博客园 (cnblogs.com)|
|学号|201613328|实验二：逻辑回归算法实验 - 胡辛原 - 博客园 (cnblogs.com)|
【实验目的】
理解逻辑回归算法原理，掌握逻辑回归算法框架；
理解逻辑回归的sigmoid函数；
理解逻辑回归的损失函数；
针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。
【实验内容】
1.根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：
建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求：
(1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。
2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。
要求：
（1）使用seaborn库进行数据可视化；（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测；（3）输出分类结果的混淆矩阵。
【实验报告要求】
对照实验内容，撰写实验过程、算法及测试结果；
代码规范化：命名规则、注释；
实验报告中需要显示并说明涉及的数学原理公式；
查阅文献，讨论逻辑回归算法的应用场景；
2、绘制数据观察数据分布情况
3、sigmoid函数
4、逻辑回归代价函数
5、梯度函数
6、寻找最优化参数
7、模型预测输出预测准确率
8、画出决策边界直线图
二：
1针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测
2、将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测
3、输出分类结果的混淆矩阵
本次实验使用到的数学原理公式
1、sigmoid函数公式
2、逻辑回归代价函数
3、梯度函数
实验小结
优点：
实现简单，广泛的应用于工业问题上；
分类时计算量非常小，速度很快，存储资源低；
便利的观测样本概率分数；
对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题；
计算代价不高，易于理解和实现；
缺点：
当特征空间很大时，逻辑回归的性能不是很好；
容易欠拟合，一般准确度不太高
不能很好地处理大量多类特征或变量；
只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；
对于非线性特征，需要进行转换；
可用于场景：
- 广告点击率
- 是否为垃圾邮件
- 是否患病
- 金融诈骗
- 虚假账号
参考文献原文链接：https://blog.csdn.net/qq_36222979/article/details/111497927