2020年10月4号,依然在家学习。
今天是我写的第二个 Pytorch程序,从今天起也算是入门了。
这里是简单的实现了逻辑回归开始。
回顾线性回归,线性模型如下 y = wx + b,图画的丑了,意思到了就行。
回顾逻辑回归,线性模型如下 y =σ(wx + b) ,图画的丑了,意思到了就行。
也就是逻辑回归其实就是在之前的线性回归的基础上增加了一个 sigmoid函数层。而且误差损失函数也会发生变化,需要使用二分类的误差损失函数,具体细节在很早的博文机器学习里面有介绍,这里就不多赘述了。
话不多说,我就直接上代码实例描述,代码的注释我都是用中文直接写的。
import torch
import torch.nn.functional as F
# Step 1: ========创建模型========
# 定义一个类,继承自 torch.nn.Module,torch.nn.Module是callable的类
# 在整个类里面重新定义一个逻辑回归模型 y = sigmod(wx+b),也可以理解成内置一个线性层。
# 整个子类需要重写forward函数,
class LogisticRegressionModel(torch.nn.Module):
def __init__(self):
# 调用父类的初始化函数,必须要的
super(LogisticRegressionModel, self).__init__()
# 创建一个线性层,作为内置层,也是实例化一个torch.nn.Linear对象,输入数据是一维的,输出数据也是一维的,默认包含偏置参数
# torch.nn.Linear也是callable的类
self.linearLayer = torch.nn.Linear(1, 1)
def forward(self, x):
# 使用这个包下面的sigmoid函数做激活
y_out = F.sigmoid(self.linearLayer(x))
return y_out
# 创建和实例化一个整个模型类的对象
Logistic_Model = LogisticRegressionModel()
# 打印出整个模型
print(Logistic_Model)
# Step 2: ========定义损失函数和优化器========
# 定义一个均方差误差损失函数 binary classification error loss
Logistic_Criterion = torch.nn.BCELoss(size_average=True)
# 创建一个优化器,是用来做参数训练的,或者说是反向传播后更新参数,线性回归一般选择随机梯度下降,当然还有其他的梯度下降的方式。
# lr 就是learning rate,把模型的所有参数都交给优化器,反向传播中,优化器会递归地计算参数的偏导数以及做参数更新。
Logistic_Optimizer = torch.optim.SGD(Logistic_Model.parameters(), lr=0.01)
# Step 3: ========得到数据========
# 为了方便演示和学习,这里我随意构造几个数据
x_data = torch.Tensor([[1.0], [2.0], [3.0], [4.0], [5.0], [6.0], [7.0], [8.0]])
y_data = torch.Tensor([[0], [0], [0], [0], [1], [1], [1], [1]])
# Step 4: ========开始训练========
# 迭代进行训练
iteration = 100
for itr in range(iteration):
# 计算前向传播,也就是计算输出
# 由于模型是callable的,最后会自动调用__callable__函数,再其中就有一个是forward函数调用。
y_output = Logistic_Model(x_data)
# 得到损失值
loss = Logistic_Criterion(y_output, y_data)
print("in the ", itr, "th iteration, loss is", loss.item())
# 反向传播,也就是对参数进行训练,需要注意的是,需要把优化其中上一次计算的梯度值清0
Logistic_Optimizer.zero_grad()
# 计算反向的各个参数的偏导数
loss.backward()
# 更新参数
Logistic_Optimizer.step()
# 打印出参数
print("w is: ", Logistic_Model.linearLayer.weight.item())
print("b is: ", Logistic_Model.linearLayer.bias.item())