cv2, pil.image, plt.image 读图的差异

人是习惯性动物，当我们第一次用opencv时，肯定会觉得opencv的imread()方式很奇怪，做图像出来天天说图像是RGB图RGB图，可opencv读出来的图，却是BGR的顺序。是不是很奇怪，还不止这一点，opencv读进来的图，你在使用shape函数时，返回的是h,w,c，也就是height是第一个维度，然后是宽度，最后是通道数，就是彩色图是RGB三通道。但是我们在使用的时候，第一个维度又是width的，第二个维度是height。然后利用opencv进行保存和show的时候，也一定要保证是BGR通道的顺序，否则保存和显示出来的图是不对的。

可以跑一下以下代码试试。

import cv2

cv2_img=cv2.imread('./demo.jpg')

print(type(cv2_img) )

print(cv2_img.shape)# h,w,c

print(cv2_img[0,0,:]) # print左上角位置的像素值，一定要看清楚三个通道的值

cv2.imwrite('./test_cv2.jpg', cv2_img)

cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道

print(cv2_img_ch[0,0,:])

cv2.imwrite('./test_cv2_ch.jpg', cv2_img_ch) # 看一下保存的图像是不是和原图一样？

正是因为这些原因，深度学习的处理图像时会存在是使用BGR还是使用RGB的图这个问题。还有一个另外的原因，那就是早起的深度学习平台caffe是基于opencv来读图的，读图顺序是BGR。

当然有人不喜欢opencv这种读图模式，那就换一种方式，比如最近发现在AGI领域，大家更倾向于用PIL库，用这个库来读图，更符合大家平常习惯的RGB模式，但是这个库也有问题，你如果想像opencv读进来的图像那样用，还要借助numpy进行转一下，因为本身这个函数读进来的并不是一个图向量，可以理解为一个索引。

from PIL import Image

import numpy as np

pil_img=Image.open('./demo.jpg').convert('RGB')

#关于此处convert('RGB')的使用， 如果不使用.convert('RGB')进行转换,读出来的图像是RGBA四通道的,A通道为透明，通过convert('RGB')转成只有RGB三通道的数据。可以不加convert('RGB')打印出来看看。

print(type(pil_img) )

print(pil_img.size)# w,h 没有c

print(np.array(pil_img).shape)# h,w,c 但是c是RGB通道的，这里通过np.array转成可以读写的数据结构，原来读进来的是无法直接print打开的

print(pil_img[0,0,:]) # print左上角位置的像素值，一定要看清楚三个通道的值

#保存图

pil_img.save('./pil_img.jpg')

目前在diffusers的库中，有个load_image，也就是基于PIL.Image来实现的。

另外还有一个做可视化时，大家常常用到的matplotlib.pyplot，这个库也可以读图

import matplotlib.pyplot as plt

import numpy as np

plt_img=plt.imread('./demo.jpg')

print(type(plt_img) )

print(plt_img.shape) # h,w,c c上是RGB通道

print(plt_img[0,0,:]) # print左上角位置的像素值，一定要看清楚三个通道的值

#保存图

plt.imsave('./plt_img.jpg', plt_img)

但是通常深度学习模型，进模型时，通常是b,c,h,w这样的顺序，因此，以上几种方式都需要在维度上对数据进行转换。转换的时候，可以使用transpose()，也可以使用permute()，这两个函数的具体使用方式这里也简单介绍一下。

其中，transpose这个函数，在numpy中，是可以进行超过2个维度的转置的。比如我们对opencv的图进行转置。

import cv2

cv2_img=cv2.imread('./demo.jpg')

print(type(cv2_img) )

print(cv2_img.shape)# h,w,c

print(cv2_img[0,0,:]) # print左上角位置的像素值，一定要看清楚三个通道的值

cv2.imwrite('./test.jpg', cv2_img)

cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道

print(cv2_img_ch[0,0,:])

cv2.imwrite('./test_ch.jpg', cv2_img_ch) # 看一下保存的图像是不是和原图一样？

t_cv2_img=cv2_img.transpose(2,0,1)

print(cv2_img.shape)# c,h,w

此时最后一行打印出来是c,h,w这样的顺序。numpy的transpose很强大，根据官方的介绍，参数传递时，可以这样的，也就是可以对各个维度进行交换。

Parameters:

a array_like

Input array.

axes tuple or list of ints, optional

If specified, it must be a tuple or list which contains a permutation of [0, 1, …, N-1] where N is the number of axes of a. Negative indices can also be used to specify axes. The i-th axis of the returned array will correspond to the axis numbered axes[i] of the input. If not specified, defaults to range(a.ndim)[::-1], which reverses the order of the axes.

但是我们在做深度学习，通常是基于torch工作时，常常会碰到transpose和permute()这两个函数，这两个和numpy中的tranpose用途是基本一致的。但是torch.transpose只能对两个维度进行交换，而permute可以对多个维度进行交换。比如上面的实验，我们可以这么做。

import cv2

import torch

cv2_img=cv2.imread('./demo.jpg')

print(type(cv2_img) )

print(cv2_img.shape)# h,w,c

print(cv2_img[0,0,:]) # print左上角位置的像素值，一定要看清楚三个通道的值

cv2.imwrite('./test.jpg', cv2_img)

cv2_img_ch = cv2_img[:, :, ::-1] # 更改为RGB通道

print(cv2_img_ch[0,0,:])

cv2.imwrite('./test_ch.jpg', cv2_img_ch) # 看一下保存的图像是不是和原图一样？

t_cv2_img=cv2_img.transpose(2,0,1)

print(cv2_img.shape)# c,h,w

tt_cv2_img=torch.from_numpy(cv2_img).permute(2,0,1)

print(tt_cv2_img.shape)# c,h,w

tt_cv2_img=torch.from_numpy(cv2_img).transpose(2,0,1) # 此处会提示出错，torch的transpose只能交换两个维度

也就是说，如果是numpy的维度交换，可以随意用transpose()实现。但是如果你操作的对象是torch.tensor这种数据结构,尽量用permute()函数，用法其实和numpy的transpose()基本上完全一样。