首页 > 其他分享 >Lnton羚通PyTorch快速入门基础知识

Lnton羚通PyTorch快速入门基础知识

时间:2023-08-18 10:06:26浏览次数:50  
标签:loss torch nn dataloader test PyTorch 60000 羚通 Lnton

working with data (处理数据)

PyTorch 提供了两个基本方法用于数据处理,torch.utils.data.DataLoader 和 torch.utils.data.Dataset。DataSet 存储样本及其对应的标签,DataLoader 在 Dataset 基础上封装了一个可迭代的对象。

PyTorch 提供了不同应用领域的库,例如 TorchText, TorchVision 和 TorchAudio ,它们都包含了 datasets, 这个教程主要以 TorchVision 为主;

torchvision.datasets 包含了 CIFAR 与 COCO 等 ,本教程使用 FashionMNIST 数据集,每个 TorchVision 数据集包含了参数 transform 和 target_transform 用于修改样本和标签。

我们将 Dataset 作为参数传递给 DataLoader, 这样就可以封装一个可迭代的访问器,支持自动批处理,采样,打乱顺序和多进程数据加载。这里我们定义 batch size 为 64, 这样就可以每次访问获得 64 个样本和对应的标签。

import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor


# 下载FashionMNIST训练数据
training_data = datasets.FashionMNIST(
    root = "../../data",
    train = True,
    download = True,
    transform = ToTensor(),
)
# 下载FashionMNIST测试数据
test_data = datasets.FashionMNIST(
    root = "../../data",
    train = False,
    download = True,
    transform = ToTensor(),
)

batch_size = 64

# 创建 DataLoader 
train_dataloader = DataLoader(training_data, batch_size=batch_size, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=batch_size, shuffle=True)

for X, Y in test_dataloader:
    print(f"Shape of X[N, C, H, W]: {X.shape}")
    print(f"Shape of Y[N]: {Y.shape}")
    break
Shape of X[N, C, H, W]: torch.Size([64, 1, 28, 28])
Shape of Y[N]: torch.Size([64])

Creating Models (创建模型)

为了在 PyTorch 里定义神经网络,我们创建一个类从 nn.Module里继承,在 __init__ 里定义网络层,在 forward 里定义数据传输的过程,如果有 GPU,可以将数据迁移到 GPU上加速神经网络的训练。

device = "cuda" if torch.cuda.is_available() else "cpu"
print(f"Using {device} device")

# 定义模型
class FirstNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.linear_relu_stack = nn.Sequential(
            nn.Linear(28 * 28, 512),
            nn.ReLU(),
            nn.Linear(512, 512),
            nn.ReLU(),
            nn.Linear(512, 10),      
        )
  
    def forward(self, x):
        output = self.flatten(x)
        output = self.linear_relu_stack(output)
        return output

model = FirstNN().to(device)
print(model)
Using cuda device
FirstNN(
  (flatten): Flatten(start_dim=1, end_dim=-1)
  (linear_relu_stack): Sequential(
    (0): Linear(in_features=784, out_features=512, bias=True)
    (1): ReLU()
    (2): Linear(in_features=512, out_features=512, bias=True)
    (3): ReLU()
    (4): Linear(in_features=512, out_features=10, bias=True)
  )
)

Optimizing the Model Parameters ( 优化模型参数 )

训练一个模型需要 loss function 和优化器 optimizer.

在一个单独的训练循环中,模型预测训练过程会进行预测,并将预测结果的偏差反向传播从而调整训练模型参数。

训练过程需要进行多次迭代(epoch)。在每个 epoch 中,模型会学习参数使得预测效果更好,我们打印每次的准确率和 loss 。

loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)

# 定义训练函数
def train(dataloader, model, loss_fn, optimizer):
    size = len(dataloader.dataset)
    model.train()
    for batch, (X, y) in enumerate(dataloader):
        X, y = X.to(device), y.to(device)
      
        # 计算误差
        pred = model(X)
        loss = loss_fn(pred, y)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
      
        if batch % 100 == 0:
            loss, current = loss.item(), batch * len(X)
            print(f"loss: {loss:>7f}  [{current:>5d}/{size:>5d}]")

def test(dataloader, model, loss_fn):
    size = len(dataloader.dataset)
    num_batches = len(dataloader)
    model.eval()
    test_loss, correct = 0, 0
    with torch.no_grad():
        for X, y in dataloader:
            X, y = X.to(device), y.to(device)
            pred = model(X)
            test_loss += loss_fn(pred, y).item()
            correct += (pred.argmax(1) == y).type(torch.float).sum().item()

    test_loss /= num_batches
    correct /= size
    print(
        f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")


epochs = 5
for t in range(epochs):
    print(f"Epoch {t+1} \n-----------------------")
    train(train_dataloader, model, loss_fn, optimizer)
    test(test_dataloader, model, loss_fn)
print("Done!")
Epoch 1 
-----------------------
loss: 2.309391  [    0/60000]
loss: 2.306924  [ 6400/60000]
loss: 2.277485  [12800/60000]
loss: 2.252887  [19200/60000]
loss: 2.247070  [25600/60000]
loss: 2.228895  [32000/60000]
loss: 2.207972  [38400/60000]
loss: 2.216034  [44800/60000]
loss: 2.187572  [51200/60000]
loss: 2.134164  [57600/60000]
Test Error: 
 Accuracy: 41.2%, Avg loss: 2.160574 

Epoch 2 
-----------------------
loss: 2.162140  [    0/60000]
loss: 2.163433  [ 6400/60000]
loss: 2.128148  [12800/60000]
loss: 2.115601  [19200/60000]
loss: 2.057952  [25600/60000]
loss: 2.054668  [32000/60000]
loss: 2.031033  [38400/60000]
loss: 1.978136  [44800/60000]
...
Test Error: 
 Accuracy: 65.4%, Avg loss: 1.092799 

Done!

Lnton羚通专注于音视频算法、算力、云平台的高科技人工智能企业。 公司基于视频分析技术、视频智能传输技术、远程监测技术以及智能语音融合技术等, 拥有多款可支持ONVIF、RTSP、GB/T28181等多协议、多路数的音视频智能分析服务器/云平台。

Lnton羚通PyTorch快速入门基础知识_Test

标签:loss,torch,nn,dataloader,test,PyTorch,60000,羚通,Lnton
From: https://blog.51cto.com/LNTON/7131859

相关文章

  • Pytorch 并行:DistributedDataParallel
    Pytorch并行:DistributedDataParallel一个节点上往往有多个GPU(单机多卡),一旦有多个GPU空闲(当然得赶紧都占着),就需要合理利用多GPU资源,这与并行化训练是分不开的。O、数据并行化按《深入浅出Pytorch》的话来说,pytorch模型的并行化,主要分为两类:模型并行:一个GPU容纳不了一......
  • Lnton羚通关于如何使用nanoPC-T4 安装OpenCV
    nanoPC-T4安装OpenCVNote:OpenCVhasbeenpre-installedinFriendlyCore/FriendlyDesktop(Versionafter201905)anddoesnotrequiremanualinstallation.PleasedownloadthelatestFriendlyCore/FriendlyDesktopImagefilefromthefollowingURL:http://downl......
  • Lnton羚通关于安装 Visual Studio 2022 Community 卡住了&& 安装 Windows SDK(Softwar
    【问题原因】a.系统升级了;b.之前卸载没卸载干净,注册表里存在旧的信息;【解决过程】1.查看日志在资源管理器中输入%TEMP%\windowssdk,查看日志文件,找到最新的日志文件,在文件中搜索Warning出现了一组长串数字,用 {} 括起来的一串,这串数字后面要用;2.微软官方工具微软官方的工具(Micr......
  • PyTorch神经网络工具箱-新手笔记
    训练模型构建模型后,接下来就是训练模型。PyTorch训练模型的主要步骤包括加载和预处理数据集、损失计算、定义优化算法、反向传播、参数更新等主要步骤。1)加载和预处理数据集:可以使用PyTorch的数据处理工具,如torch.utils和torchvision等。2)定义损失函数:通过自定义的方法或使用PyTorc......
  • Pytorch中使用Embedding报错'IndexError'的解决方法
    简介  Pytorch中nn.Embedding为针对词向量的层,其用来实现词与词向量的映射。其调用形式如下nn.Embedding(num_embeddings:int,embedding_dim:int,padding_idx:int|None=None,max_norm:float|None=None,norm_type:float=2.,scale_grad_by_freq:b......
  • PyTorch神经网络工具箱-新手笔记
    神经网络核心组件利用PyTorch神经网路工具箱设计神经网络就像搭积木一样,可以极大简化构建模型的任务。神经网络核心组件如下:层:神经网络的基本结构,将输入张量转换为输出张量。模型:由层构成的网络。损失函数:参数学习的目标函数,通过最小化损失函数来学习各种参数。优化器:如在使损失值......
  • 实践教程|源码级理解Pytorch中的Dataset和DataLoader
    前言 本文30分钟带你达到对Pytorch中的Dataset和DataLoader的源码级理解,并提供构建数据管道的3种常用方式的范例,扫除你构建数据管道的一切障碍。本文转载自算法美食屋作者|梁云1991仅用于学术分享,若侵权请联系删除欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最......
  • Anaconda+PyCharm+Pytorch/tensorflow环境配置个人总结
    Anaconda是一个非常方便的python版本管理工具,可以很方便地切换不同版本的Python进行测试。同时不同版本之间也不存在相互的干扰。PyCharm是一款常见的PythonIDE,pytorch和TensorFlow是目前两个主流的深度学习框架。Anaconda安装前往官方网址下载最新版即可,安装教程 PyCharm......
  • 国标GB28181视频平台LntonGBS(源码版)国标视频平台在网络不稳定的强况下重复申请视频拉
    LntonGBS是基于国标GB28181协议的视频云服务平台,支持将国标协议的设备统一接入并进行集中管理。平台具备优秀的视频能力,包括视频监控直播、录像、云存储、回放、平台级联、语音对讲、智能告警等功能,在线下场景中已有大量落地应用。我们在项目测试中发现,LntonGBS通过web页面请求拉流......
  • 国标GB28181视频平台LntonGBS(源码版)国标视频云服务平台主子码流都为H.265时,切换出现花
    国标视频云服务LntonGBS平台是基于国标GB28181协议的平台,可实现的视频能力有:实时直播、视频录像、语音对讲、云存储、检索及回放、告警、级联等。平台支持将接入的视频流进行全终端、全平台分发,分发的视频流包括RTSP、RTMP、FLV、HLS、WebRTC等格式。最近有用户反馈,在LntonGBS平台......