【实验目的】
1.理解逻辑回归算法原理,掌握逻辑回归算法框架;
2.理解逻辑回归的sigmoid函数;
3.理解逻辑回归的损失函数;
4.针对特定应用场景及数据,能应用逻辑回归算法解决实际分类问题。
【实验内容】
1.根据给定的数据集,编写python代码完成逻辑回归算法程序,实现如下功能:
建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员,您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据,可以用作逻辑回归的训练集。对于每个培训示例,都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型,根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求:
(1)读取数据;(2)绘制数据观察数据分布情况;(3)编写sigmoid函数代码;(4)编写逻辑回归代价函数代码;(5)编写梯度函数代码;(6)编写寻找最优化参数代码(可使用scipy.opt.fmin_tnc()函数);(7)编写模型评估(预测)代码,输出预测准确率;(8)寻找决策边界,画出决策边界直线图。
2. 针对iris数据集,应用sklearn库的逻辑回归算法进行类别预测。
要求:
(1)使用seaborn库进行数据可视化;(2)将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测;(3)输出分类结果的混淆矩阵。
【实验报告要求】
1.对照实验内容,撰写实验过程、算法及测试结果;
2.代码规范化:命名规则、注释;
3.实验报告中需要显示并说明涉及的数学原理公式;
4.查阅文献,讨论逻辑回归算法的应用场景;
一:建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员,您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据,可以用作逻辑回归的训练集。对于每个培训示例,都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型,根据这两门考试的分数估计申请人被录取的概率。
1.导入包
1 import numpy as np
2 import pandas as pd
3 import matplotlib.pyplot as plt
2.读取数据
1 data=pd.read_csv("D:课程/机器学习/ex2data1.txt",delimiter=',',header=None,names=['exam1','exam2','isAdmitted']) 2 print(data) 3 data.head()
3.绘制数据,查看数据分布情况
1 admittedData=data[data['isAdmitted'].isin([1])] 2 noAdmittedData=data[data['isAdmitted'].isin([0])] 3 fig,ax=plt.subplots(figsize=(12,8)) 4 ax.scatter(admittedData['exam1'],admittedData['exam2'],marker='+',label='addmitted') 5 ax.scatter(noAdmittedData['exam1'],noAdmittedData['exam2'],marker='o',label="not addmitted") 6 ax.legend(loc=1) 7 ax.set_xlabel('Exam1 score') 8 ax.set_ylabel('Exam2 score') 9 ax.set_title("Scatter plot of training data") 10 plt.show()
4.数据预处理
1 data.insert(0, 'ones',1) 2 loc=data.shape[1] 3 X=np.array(data.iloc[:,0:loc-1]) 4 Y=np.array(data.iloc[:,loc-1:loc]) 5 theta=np.zeros(X.shape[1]) 6 X.shape,Y.shape,theta.shape
5.sigmoid函数
1 def sigmoid(z):
2 return 1/(1+np.exp(-z))
6.代价函数
1 def computeCost(theta,X,Y): 2 theta = np.matrix(theta) #不能缺少,因为参数theta是一维数组,进行矩阵想乘时要把theta先转换为矩阵 3 h=sigmoid(np.dot(X,(theta.T))) 4 a=np.multiply(-Y,np.log(h)) 5 b=np.multiply((1-Y),np.log(1-h)) 6 return np.sum(a-b)/len(X) 7 computeCost(theta,X,Y)
7.梯度函数
1 def gradient(theta,X,Y): 2 theta = np.matrix(theta) #要先把theta转化为矩阵 3 h=sigmoid(np.dot(X,(theta.T))) 4 grad=np.dot(((h-Y).T),X)/len(X) 5 return np.array(grad).flatten() #因为下面寻找最优化参数的函数(opt.fmin_tnc())要求传入的gradient函返回值需要是一维数组,因此需要利用flatten()将grad进行转换以下 6 7 gradient(theta,X,Y)
8.寻找最优化函数
1 import scipy.optimize as opt 2 result = opt.fmin_tnc(func=computeCost, x0=theta, fprime=gradient, args=(X, Y)) 3 print(result) 4 theta=result[0]
9.模型评估
1 def predict(theta, X): 2 theta = np.matrix(theta) 3 temp = sigmoid(X * theta.T) 4 #print(temp) 5 return [1 if x >= 0.5 else 0 for x in temp] 6 7 predictValues=predict(theta,X) 8 hypothesis=[1 if a==b else 0 for (a,b)in zip(predictValues,Y)] 9 accuracy=hypothesis.count(1)/len(hypothesis) 10 print ('accuracy = {0}%'.format(accuracy*100))
10.决策评估
1 def find_x2(x1,theta): 2 return [(-theta[0]-theta[1]*x_1)/theta[2] for x_1 in x1] 3 x1 = np.linspace(30, 100, 1000) 4 x2=find_x2(x1,theta) 5 6 #数据可视化 7 #数据可视化 8 admittedData=data[data['isAdmitted'].isin([1])] 9 noAdmittedData=data[data['isAdmitted'].isin([0])] 10 fig,ax=plt.subplots(figsize=(12,8)) 11 ax.scatter(admittedData['exam1'],admittedData['exam2'],marker='+',label='addmitted') 12 ax.scatter(noAdmittedData['exam2'],noAdmittedData['exam1'],marker='o',label="not addmitted") 13 ax.plot(x1,x2,color='r',label="decision boundary") 14 ax.legend(loc=1) 15 ax.set_xlabel('Exam1 score') 16 ax.set_ylabel('Exam2 score') 17 ax.set_title("Training data with decision boundary") 18 plt.show()
二.针对iris数据集,应用sklearn库的逻辑回归算法进行类别预测
1 import seaborn as sns 2 from sklearn.datasets import load_iris# 我们利用 sklearn 中自带的 iris 数据作为数据载入,并利用Pandas转化为DataFrame格式 3 data=load_iris() #得到数据特征 4 iris_target=data.target #得到数据对应的标签 5 iris_features=pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式 6 iris_features.describe() 7 iris_all=iris_features.copy() 8 iris_all['target']=iris_target 9 #利用value_counts函数查看每个类别数量 10 pd.Series(iris_target).value_counts() 11 sns.pairplot(data=iris_all,diag_kind='hist',hue= 'target') # pairplot用来进行数据分析,画两两特征图。 12 plt.show()
2.将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测
1 from sklearn.model_selection import train_test_split 2 X_train,X_test,y_train,y_test = train_test_split(iris_features,iris_target,test_size=0.2,random_state=2020) 3 from sklearn.linear_model import LogisticRegression 4 clf=LogisticRegression(random_state=0,solver='lbfgs') 5 # 在训练集上训练逻辑回归模型 6 clf.fit(X_train,y_train) 7 print('the weight of Logistic Regression:\n',clf.coef_) 8 print('the intercept(w0) of Logistic Regression:\n',clf.intercept_) 9 train_predict=clf.predict(X_train) 10 test_predict=clf.predict(X_test)
3.输出分类结果的混淆矩阵
1 from sklearn import metrics 2 #利用accuracy(准确度)【预测正确的样本数目占总预测样本数目的比例】评估模型效果 3 print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict)) 4 print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict)) 5 #查看混淆矩阵(预测值和真实值的各类情况统计矩阵) 6 confusion_matrix_result=metrics.confusion_matrix(y_test,test_predict) 7 print('The confusion matrix result:\n',confusion_matrix_result) 8 # 利用热力图对于结果进行可视化,画混淆矩阵 9 plt.figure(figsize=(8,6)) 10 sns.heatmap(confusion_matrix_result,annot=True,cmap='Reds') 11 plt.xlabel('Predictedlabels') 12 plt.ylabel('Truelabels') 13 plt.show()
设计的数学公式有:
决策边界
应用场景:
- 用于分类场景, 尤其是因变量是二分类(0/1,True/False,Yes/No)时我们应该使用逻辑回归。
- 不要求自变量和因变量是线性关系
标签:iris,逻辑,test,算法,实验,ax,np,theta,data
From: https://www.cnblogs.com/wangpengfei201613312/p/16848905.html