深度学习--卷积神经网络基础
1.卷积操作
卷积操作简单来说就是矩阵对应位置相乘求和，这样不仅可以减少模型的参数数量，还可以关注到图像的局部相关特性。
import torch
import torch.nn as nn
import torch.nn.functional as F
#卷积操作（Input_channel:输入的通道数，kernel_channels:卷积核的数量，kernel_size:卷积核的大小，stride：步长，padding：边缘补足）
layer = nn.Conv2d(1,3,kernel_size=3,stride=1,padding=0)
x=torch.rand(1,1,28,28)
out=layer.forward(x)
out.shape
#torch.Size([1, 3, 26, 26])
layer = nn.Conv2d(1,3,3,1,1)
out=layer.forward(x)
out.shape
#torch.Size([1, 3, 28, 28])
layer = nn.Conv2d(1,16,3,2,1)
out=layer.forward(x)
out.shape
#torch.Size([1, 16, 14, 14])
layer.weight
#Parameter containing:
#tensor([[[[-0.1798, -0.1656, 0.1464],
# [ 0.1882, 0.2773, -0.3111],
# [-0.1793, 0.0608, 0.0770]]],
#
#
# [[[-0.3308, -0.0402, -0.3012],
# [-0.1773, -0.1429, 0.2020],
# [-0.0483, -0.0098, 0.3240]]],
#
#
# [[[-0.2946, 0.2950, -0.1390],
# [-0.2534, -0.2021, 0.3280],
# [-0.1135, 0.1895, -0.3254]]]], requires_grad=True)
2.池化与采样
池化操作是卷积神经网络中的一个特殊操作，主要就是在一定区域内提取出该区域的关键性信息，其操作往往出现在卷积层之后，其能起到减少卷积层输出特征量数目的作用，从而能减少模型参数，同时能改善过拟合现象。
根据不同的操作分为：
- pooling(下采样)：把图像变小，例如 4 * 4 -> 2 * 2
- upsample(上采样)：把图像变大
- ReLU
#池化与采样 nn.MaxPool2d(池化窗口的大小,stride：步长)
x=torch.rand(1,16,28,28)
layer=nn.MaxPool2d(2,2)
out=layer(x)
out.shape
#torch.Size([1, 16, 14, 14])
#上采样，放大
x=out
out = F.interpolate(x,scale_factor=2,mode='nearest')
out.shape
#torch.Size([1, 16, 28, 28])
3. normlization
这个地方没有太清楚是在干啥！！！
#特征缩放
#图片特征Image Normalization mean=[R ,G,B]的normalize
#normalize = transforms.Normalize(mean=[0.485 ,0.456,0.406],std=[0.229,0.224,0.225])
#批标准化 Batch Normalization
#Batch Norm , Layer Norm ，Instance Norm ，Group Norm
#一些好处：收敛更快，性能更好，鲁棒性好
x=torch.randn(1,16,7,7)
x.shape
#torch.Size([1, 16, 7, 7])
layer=nn.BatchNorm2d(16)
out=layer(x)
layer.weight
#Parameter containing:
#tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.],
# requires_grad=True)
layer.weight.shape
#torch.Size([16])
layer.bias.shape
#torch.Size([16])
vars(layer) #可以查看相关信息