PyTorch 深度学习实践第四讲（反向传播）

简单回顾

关于w的更新

神经网络原理

备注：最后加入惩罚项

反向传播原理

备注：后期对权重进行更新，先进行前馈过程，再反向

相应代码

import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w = torch.Tensor([1.0])
w.requires_grad = True    #需要计算梯度，默认是不计算的

def forward(x):
    return x * w      #进行Tensor与Tensor之间的数乘，对x进行自动类型转换

def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y) ** 2    #构建计算图

print("predict (before training)",4,forward(4).item())

for epoch in range(100):
    for x,y in zip(x_data,y_data):     #采用随机梯度下降
        l = loss(x,y)
        l.backward()   #内置函数，计算梯度，存入w，自动释放计算图
        print('\tgrad:',x,y,w.grad.item())    #拿出梯度中的数值，变成python中的标量
        w.data = w.data - 0.01 * w.grad.data   #取data，不会建立计算图
        w.grad.data.zero_()    #显示清零，释放之前计算的梯度
        
    print("progress:",epoch,l.item())
    
print("predict (after training)",4,forward(4).item())

课后作业

import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w1 = torch.Tensor([1.0])
w1.requires_grad = True    #需要计算梯度，默认是不计算的
w2 = torch.Tensor([1.0])
w2.requires_grad = True    #需要计算梯度，默认是不计算的
b = torch.Tensor([1.0])
b.requires_grad = True    #需要计算梯度，默认是不计算的


def forward(x):
    return w1 * x ** 2 + w2 * x + b      #进行Tensor与Tensor之间的数乘，对x进行自动类型转换

def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y) ** 2    #构建计算图

print("predict (before training)",4,forward(4).item())

for epoch in range(100):
    for x,y in zip(x_data,y_data):     #采用随机梯度下降
        l = loss(x,y)
        l.backward()   #内置函数，计算梯度，存入w，自动释放计算图
        print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())    #拿出梯度中的数值，变成python中的标量
        w1.data = w1.data - 0.01 * w1.grad.data   #取data，不会建立计算图
        w2.data = w2.data - 0.01 * w2.grad.data   #取data，不会建立计算图
        b.data = b.data - 0.01 * b.grad.data   #取data，不会建立计算图
        w1.grad.data.zero_()    #显示清零，释放之前计算的梯度
        w2.grad.data.zero_()    #显示清零，释放之前计算的梯度
        b.grad.data.zero_()    #显示清零，释放之前计算的梯度
        
    print("progress:",epoch,l.item())
    
print("predict (after training)",4,forward(4).item())