一、课堂代码
1.torch.nn.linear
构造linear对象,对象里包含了w和b,即直接利用linear实现wx+b(linear也继承自module,可以自动实现反向传播)
2.torch.nn.MSELoss
损失函数MSE包含2个参数:size_average(求均值,一般只考虑这个参数)、reduce(求和降维)
3.torch.optim.SGD
SGD优化器,设置需要更新的模型参数和学习率并在训练过程中迭代优化
import torch
import numpy as np
import matplotlib.pyplot as plt
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])
'''
1.把模型定义成一个类,继承自Module
2.最少要实现两个函数:
一是构造函数__init__(),是初始化对象的时候默认调用的函数
二是forward(),是前馈过程中需要执行的计算
3.继承自Module的对象会自动地根据你构建的计算图帮你实现backward
'''
class LinearModel(torch.nn.Module):
def __init__(self):
super(LinearModel, self).__init__() #这一行照着做就行,别管
self.linear = torch.nn.Linear(1, 1) #构造linear对象,对象里包含了w和b,即直接利用linear实现wx+b(linear也继承自module,可以自动实现反向传播)
def forward(self, x):
y_pred = self.linear(x) #nn.Linear已经包含了让实例可像函数一样调用的方法,通常是调用forward()
return y_pred
model = LinearModel() #同上,model也是可以调用的 model(x)
critertion = torch.nn.MSELoss(size_average=False) #损失函数MSE包含2个参数:size_average(求均值,一般只考虑这个参数)、reduce(求和降维)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
'''
训练循环过程:
1.y_predict
2.loss
3.backward
4.更新权重
'''
l_list = []
epoch_list = []
for epoch in range(100):
y_pred = model(x_data)
loss = critertion(y_pred, y_data)
print(epoch, loss.item())
epoch_list.append(epoch)
l_list.append(loss.item())
optimizer.zero_grad() #.backward()计算的梯度会累积,因此在反向传播前记得梯度归零
loss.backward() #反向传播
optimizer.step() #更新权重
#Output weight and bias
print('w =', model.linear.weight.item())
print('b =', model.linear.bias.item())
#画图
plt.plot(epoch_list, l_list)
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.savefig('线性回归.png')
#Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred =', y_test.data)
二、课后作业
尝试使用其他优化器并画出损失:
我已经在上面的代码中添加了绘制loss曲线的功能,本模型使用SGD优化器和adam优化器迭代100个epoch的loss曲线如下,大家可以尝试一下使用其他优化器,其他epoch并画出图像,对比一下效果~