一、Python学习两大道具
1. dir()工具
-
作用：支持打开package，看到里面的工具函数
-
示例：
(1) 输出torch库包含的函数
dir(torch)
(2) 输出torch.AVG函数中的参数
dir(torch.AVG)
2. help()工具
-
作用：说明书，查看库中函数某个参数的说明或使用方法
-
示例：
(1) 输出torch库中AVG函数的AVG参数使用方法
help(torch.AVG.AVG)
二、Pytorch读取图像数据
0. 写在前面：
（1）PIL库中Image函数的基本使用方法
-
PIL的安装：win+r → cmd → 选择环境 → pip install Pillow
-
使用方法：
from PIL import Image
#选择图像路径
#注意：在复制图像路径后，在windows环境下，需要将\变为\\
img_path="E:\\Desktop\\hymenoptera_data\\hymenoptera_data\\train\\ants\\0013035.jpg"
#打开并标识给定的图像文件。
#image.open()是一个懒惰的操作；此函数可识别文件，但文件保持打开状态，直到尝试处理数据(或调用load()方法)，才会从文件中读取实际图像数据。
img=image.open(img_path)
#输出图像大小
print(img.size)
#打开图像(指的是直接根据该地址打开一个窗口显示这个图像)
img.show()
（2）os库中函数的基本使用方法
-
os.path.join(path1, path2, ... ,pathn)：合并路径，在一定程度上可以避免因python语法问题，造成的\t或\n之类的错误。
比如说，图片路径为：”hymenoptera_data\hymenoptera_data\train“，如果直接输入路径，那么会出现以下结果：
path="hymenoptera_data\hymenoptera_data\train"
print(path)
'''
[Run]
hymenoptera_data\hymenoptera_data rain
'''
此时的处理方法有两种：
方法一：在\后面加个\
path="hymenoptera_data\\hymenoptera_data\\train"
print(path)
'''
[Run]
hymenoptera_data\hymenoptera_data\train
'''
方法二：os.path.join
import os
path1="hymenoptera_data\hymenoptera_data"
path2="train"
path=os.path.join(path1,path2)
print(path)
'''
[Run]
hymenoptera_data\hymenoptera_data\train
'''
-
os.listdir(path)：将path中包含的图片名称变为一个列表。
比如说，路径为”hymenoptera_data\hymenoptera_data\train\ants“的文件夹中有0013035.jpg、5650366_e22b7e1065.jpg、6240329_72c01e663e.jpg三张图片，那么此时有：
import os
path="hymenoptera_data\\hymenoptera_data\\train\\ants"
path_list=os.listdir(path)
print(path_list)
'''
[Run]
['0013035.jpg', '5650366_e22b7e1065.jpg', '6240329_72c01e663e.jpg']
'''
1. Dataset
-
作用：提供一种方式去获取数据及其label
-
功能：
-
如何获取每一个数据及其label
-
告诉我们总共有多少数据（作用：神经网络要对同一个数据迭代多次，只有当我们知道总共有多少个数据，训练的时候我们才知道要训练多少次，才能把这个数据集迭代完然后进行下一次的迭代）
-
-
详解：
-
getitem：获取数据对应的label
-
len：返回数据的size
-
使用示例：
数据下载地址：百度网盘 请输入提取码 (baidu.com)
提取码：zsh8
（1）读取、简单处理图像数据
from torch.utils.data import Dataset
from PIL import Image
import os
class MyData(Dataset):
#参数说明：
#root_dir:数据集的路径，如"E:\Desktop\hymenoptera_data\hymenoptera_data\train"(最好还是都加上\\，像其中的\train由于\t的存在会导致错误)
#label_dir:数据的标签，如"ants"
def __init__(self,root_dir,label_dir):
self.root_dir=root_dir
self.label_dir=label_dir
# 使用os.path.join的方法是为了避免\和\\错误的问题
# self.path='E:\\Desktop\\hymenoptera_data\\hymenoptera_data\\train\\ants'
self.path=os.path.join(self.root_dir,self.label_dir)
#将文件夹内所有图片的地址变成一个列表，并按先后顺序排列
self.img_path=os.listdir(self.path)
#输入：图像对应的索引
#返回：idx索引对应的打开并标识过后的图像文件img；图像对应的标签label
def __getitem__(self,idx):
img_name=self.img_path[idx] #根据索引idx，读取列表self.img_path中的图像名称
img_item_path=os.path.join(self.root_dir,self.label_dir,img_name) #读取该索引对应图像的存储路径
img=Image.open(img_item_path) #打开并标识给定的图像文件
label=self.label_dir #label=数据标签,在该数据集中为ant或bee
return img,label
#返回图像数据集的长度，也就是说所读取的数据集中有多少张图片
def __len__(self):
return len(self.img_path)
root_dir="E:\\Desktop\\hymenoptera_data\\hymenoptera_data\\train"
ants_label_dir="ants"
bees_label_dir="bees"
ants_dataset=MyData(root_dir,ants_label_dir)
bees_dataset=MyData(root_dir,ants_label_dir)
img,label=ants_dataset[0]
print(img,label) #根据索引，获取标识过后的图像img，以及对应的标签
img.show() #显示对应索引的图像
train_dataset=ants_dataset+bees_dataset #将两个数据集进行拼接
print(len(ants_dataset),len(bees_dataset),len(train_dataset))
（2）存储图像数据
首先新建一个文件夹，在该文件夹中：.txt文件名表示.jpg的图片名称，.txt文件中存储的数据为对应图像的label。用下面代码将文件名、label实现写入：
import os
root_dir="E:\\Desktop\\hymenoptera_data\\hymenoptera_data\\train"
target_dir="ants"
img_path=os.listdir(os.path.join(root_dir,target_dir)) #将target_dir文件夹中的图片名称存到img_path的列表中
label=target_dir #标签为target_dir(根据实际情况读取标签)
out_dir="ants_label" #输出图片的地址
for i in img_path: #遍历每一张图片的名字
file_name=i.split(".jpg")[0] #除去.jpg后缀，取出图片名字
with open(os.path.join(root_dir,out_dir,"{}.txt".format(file_name)),'w') as f: #以图片名命名.txt文件
f.write(label) #将相应图片的标签，写入.txt文件中
2. Dataloder
- 作用：为后面的网络提供不同的数据形式（对其中几条数据进行打包）