首页 > 其他分享 >pytorch自带数据集MNIST

pytorch自带数据集MNIST

时间:2024-02-04 11:56:21浏览次数:22  
标签:datasets torchvision pytorch 自带 数据 MNIST

一、简介

pytorch自带的数据集由两个上层api提供,分别是torchvision和torchtext,其中:

1、torchvision提供了对图片数据处理相关的api和数据

      数据位置:torchvision.datasets,例如:torchvision.datasets.MNIST(手写数字图片数据)

2、torchtext提供了对文本数据处理相关的api和数据

     数据位置:torchtext.datasets,例如:torchtext.datasets.IMDB(电影评论文本数据)

也Mnist手写数据为例,看pytorch如何加载自带数据集

1、准备好Dataset实例

2、把dataset交给dataloader打乱顺序,组成batch

二、torchvieriosn.datasets

torchversion.datasets中的数据集类(比如torchvision.datasets.MNIST),都是继承自Dataset,意味首:直接对torchvision.datasets.MNIST进行实例化就可以得到Dataset的实例,但是MNIST API中的参数需要注意一下:

 torchvision.datasets.MNIST(root='./data',train=True,download=True,transform=)

1、root参数表示数据存放的位置、

2、trani:bool类型,表示是使用训练集的数据还是测试集的数据

3、download:bool类型,表示是否需要下载数据到root目录

4、transform:实现对图片的处理函数

三、MNIST数据集的介绍

MNIST是由Yann LeCun等人提供的免费的图像识别数据集,其中包括60000个训练样本和10000个测试样本,其中图片尺寸已经进行标准化处理,都是黑白的图像,大小为28*28,,

执行以下代码,可以下载数据集

import torchvision
from torchvision.datasets import MNIST

#pytorch自带手写数字数据集
mnist = MNIST(root='./data',train=True,download=True)
#print(mnist)

print(mnist[0])
img = mnist[0][0]
img.show()

 

标签:datasets,torchvision,pytorch,自带,数据,MNIST
From: https://www.cnblogs.com/handsomeziff/p/18005926

相关文章

  • pytorch数据集加载Dataset
    一、Dataset基类介绍在torch中提供了数据集的基类torch.utils.data.Dataset,继承这个基类,可以快速实现对数据的加载torch.utils.data.Dataset的源码如下:classDataset(Generic[T_co]):r"""Anabstractclassrepresentinga:class:`Dataset`.Alldatasetsthatrep......
  • 手撸代码:从零开始的 AlexNet 图像分类(PyTorch框架)
    摘要:本文在PyTorch框架下搭建了AlexNet,并在CIFAR10上完成了图片分类。同时,更正了一些原论文中的小错误(如:输入图像尺寸)。由于CIFAR10没有验证集,本文将训练集的10%当作验证集。完整代码已上传至GitHub:https://github.com/TiezhuXing01/AlexNet_in_PyTorch1.引入库i......
  • win10自带的linux系统是什么?怎么打开?
    Windows10自带的Linux系统称为适用于Linux的Windows子系统(WSL)。启用和打开这个系统,需要进行一系列的设置。首先,需要启用"适用于Linux的Windows子系统"的可选功能。这可以通过搜索PowerShell并以管理员身份运行,然后输入特定的命令来完成。接着,用户需要选择并安装自己喜欢的Linux发......
  • PyTorch神操作:一图秒懂Tensor变形记!
    亲爱的码农小伙伴们,你们是否还在为Tensor的各种变换头大如斗?别怕,今天给大家送上一张超实用的PyTorch变换秘籍图,让你的Tensor操作如行云流水,CPU和GPU之间的切换如穿梭自如!......
  • Python中用PyTorch机器学习神经网络分类预测银行客户流失模型|附代码数据
    阅读全文:http://tecdat.cn/?p=8522最近我们被客户要求撰写关于神经网络的研究报告,包括一些图形和统计输出。分类问题属于机器学习问题的类别,其中给定一组特征,任务是预测离散值。分类问题的一些常见示例是,预测肿瘤是否为癌症,或者学生是否可能通过考试在本文中,鉴于银行客户的某些......
  • tacotron2:深度学习语音合成模型--pytorch
    https://www.python100.com/html/83067.html 一、tacotron2环境搭建如要安装tacotron2环境,需要完成以下步骤:1、安装CUDA。CUDA是Nvidia开发的并行计算平台和编程模型,需要前往官网下载并安装对应版本的CUDA,同时保证显卡支持CUDA。2、安装cuDNN。cuDNN是针对深度神经网络加速......
  • pytorch的模型推理:TensorRT的使用
    相关教程视频:TRTorch真香,一键启用TensorRT图片来源:https://www.bilibili.com/video/BV1TY411h7xC/图片来源:https://www.bilibili.com/video/BV1TY411h7xC/......
  • 华为显卡已经支持pytorch计算框架
    相关链接:https://support.huawei.com/enterprise/zh/doc/EDOC1100079287/a21c08dehttps://www.zhihu.com/question/624955377/answer/3240350483https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/pies/pies_00004.htmlAscend/pytorch项目地址:https:......
  • PyTorch中实现Transformer模型
    前言关于Transformer原理与论文的介绍:详细了解Transformer:AttentionIsAllYouNeed对于论文给出的模型架构,使用PyTorch分别实现各个部分。引入的相关库函数:importcopyimporttorchimportmathfromtorchimportnnfromtorch.nn.functionalimportlog_softmax......
  • 如何将PyTorch模型迁移到昇腾平台
    https://bbs.huaweicloud.com/blogs/399602?utm_source=cnblog&utm_medium=bbs-ex&utm_campaign=other&utm_content=content如何将PyTorch模型迁移到昇腾平台举报 昇腾CANN 发表于2023/04/1809:54:50  5k+  0  1 【摘要】本文介绍将PyTorch网络模型迁移到昇......