实验二：逻辑回归算法实验
| 20大数据三班 | 20大数据三班 |
| ---- | ---- | ---- |
|作业要求|作业链接|
| 学号 | 201613336 |
# 【实验目的】
- 理解逻辑回归算法原理，掌握逻辑回归算法框架；
- 理解逻辑回归的sigmoid函数；
- 理解逻辑回归的损失函数；
- 针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。
【实验内容】
- 根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：
建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求：
(1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。
- 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。
要求：
- 使用seaborn库进行数据可视化
- 将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测
- 输出分类结果的混淆矩阵。
【实验报告要求】
- 对照实验内容，撰写实验过程、算法及测试结果；
- 代码规范化：命名规则、注释；
- 实验报告中需要显示并说明涉及的数学原理公式；
- 查阅文献，讨论逻辑回归算法的应用场景；
问题一的解决方案：
1、读取数据
点击查看代码
import pandas as pd
import matplotlib.pyplot as plt
path = 'ex2data1.txt'
data = pd.read_csv(path, header=None, names=['score1', 'score2', 'result'])
data
2、绘制数据观察数据分布情况
点击查看代码
positive = data[data['result'].isin([1])]
negative = data[data['result'].isin([0])]
fig, ax = plt.subplots(figsize=(20,12))
ax.scatter(positive['score1'], positive['score2'], s=50, c='b', marker='o', label='Admitted')
ax.scatter(negative['score1'], negative['score2'], s=50, c='r', marker='x', label='Not Admitted')
ax.legend()
ax.set_xlabel('Score1')
ax.set_ylabel('Score2')
plt.savefig("result.png")
plt.show()
3、编写sigmoid函数代码并可视化
点击查看代码
def sigmoid(z):
return 1 / (1 + np.exp(-z))
nums = np.arange(-10, 10, step=1)
fig, ax = plt.subplots(figsize=(12,8))
ax.plot(nums, sigmoid(nums), 'r')
plt.show()
4、编写逻辑回归代价函数代码
点击查看代码
def cost(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X * theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))
return np.sum(first - second) / (len(X))
# 原始数据新建一列更易使用代价函数代码
data.insert(0, 'Ones', 1)
cols = data.shape[1]
X = data.iloc[:,0:cols-1]#训练集
y = data.iloc[:,cols-1:cols]#label
#转换numnp数组
X = np.array(X.values)
y = np.array(y.values)
theta = np.zeros(3)
X.shape, theta.shape, y.shape
cost(theta, X, y)
5、编写梯度函数代码
点击查看代码
def gradient(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
parameters = int(theta.ravel().shape[1])
grad = np.zeros(parameters)
error = sigmoid(X * theta.T) - y
for i in range(parameters):
term = np.multiply(error, X[:,i])
grad[i] = np.sum(term) / len(X)
return grad
gradient(theta, X, y)
6、编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）
点击查看代码
import scipy.optimize as opt
result = opt.fmin_tnc(func=cost, x0=theta, fprime=gradient, args=(X, y))
result
7、模型评估预测代码
点击查看代码
def predict(theta, X):
probability = sigmoid(X * theta.T)
return [1 if x >= 0.5 else 0 for x in probability]
theta_min = np.matrix(result[0])
predictions = predict(theta_min, X)
correct = [1 if ((a == 1 and b == 1) or (a == 0 and b == 0)) else 0 for (a, b) in zip(predictions, y)]
accuracy = (sum(map(int, correct)) % len(correct))
print ('accuracy = {0}%'.format(accuracy))
8、寻找决策边界，画出决策边界直线图
点击查看代码
import numpy as np
def find_x2(x1,theta):
return [(-theta[0]-theta[1]*x_1)/theta[2] for x_1 in x1]
x1 = np.linspace(30, 100, 1000)
x2=find_x2(x1,theta)#找出x1的决策边界值
admittedData=data[data['result'].isin([1])]
noAdmittedData=data[data['result'].isin([0])]
fig,ax=plt.subplots(figsize=(12,8))
ax.scatter(admittedData['score1'],admittedData['score2'],marker='+',label='addmitted')
ax.scatter(noAdmittedData['score2'],noAdmittedData['score1'],marker='o',label="not addmitted")
ax.plot(x1,x2,color='r',label="decision boundary")
ax.legend(loc=1)
ax.set_xlabel('Exam1 score')
ax.set_ylabel('Exam2 score')
ax.set_title("Training data with decision boundary")
plt.show()
问题二的解决方案
1、使用seaborn库进行数据可视化
点击查看代码
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式
# 合并标签和特征信息
iris_all = iris_features.copy() ## 进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target
# 特征与标签组合的散点可视化
# 在2D情况下不同的特征组合对于不同类别的花的散点分布，以及大概的区分能力。
sns.pairplot(data=iris_all,diag_kind='hist', hue= 'target')
plt.savefig("iris.png")
plt.show()
2、将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测
点击查看代码
# 将训练集测试集按照8：2比例划分
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(iris_features,iris_target,test_size=0.2)
from sklearn.linear_model import LogisticRegression
clf=LogisticRegression(random_state=0,solver='lbfgs')
#train
clf.fit(X_train,y_train)
#查看权重weight
print('wieght:\n',clf.coef_)
## 查看偏置
print('(w0):\n',clf.intercept_)
#predict
train_predict=clf.predict(X_train)
test_predict=clf.predict(X_test)
print(train_predict,test_predict)
3、输出分类结果的混淆矩阵
点击查看代码
from sklearn import metrics
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))
confusion_matrix_result=metrics.confusion_matrix(y_test,test_predict)
print('The confusion matrix result:\n',confusion_matrix_result)
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_result,annot=True,cmap='Wistia')
plt.xlabel('Predictedlabels')
plt.ylabel('Truelabels')
plt.show()
tips
1、sigmoid函数
sigmoid优点
1、 值域在0和1之间；
2 、 函数具有非常好的对称性。
3、sigmoid的优点在于输出范围有限，所以数据在传递的过程中不容易发散。当然也有相应的缺点，就是饱和的时候梯度太小。
4、求导容易。
5、公式：
2、代价函数
对于回归问题，我们需要求出代价函数来求解最优解，常用的是平方误差代价函数。
3、梯度下降
首先我们可以把梯度下降拆解为梯度+下降，那么梯度可以理解为导数（对于多维可以理解为偏导），那么合起来变成了：导数下降，那问题来了，导数下降是干什么的？这里我直接给出答案：梯度下降就是用来求某个函数最小值时自变量对应取值，其中这句话中的某个函数是指：损失函数（cost/loss function），直接点就是误差函数。一个算法不同参数会产生不同拟合曲线，也意味着有不同的误差。损失函数就是一个自变量为算法的参数，函数值为误差值的函数。所以梯度下降就是找让误差值最小时候算法取的参数。
