首页 > 其他分享 >个人学习笔记7-5:动手学深度学习pytorch版-李沐

个人学习笔记7-5:动手学深度学习pytorch版-李沐

时间:2024-09-14 22:24:41浏览次数:13  
标签:输出 卷积 torch 矩阵 学习 转置 pytorch 李沐 tconv

#人工智能# #深度学习# #语义分割# #计算机视觉# #神经网络#

计算机视觉

13.10 转置卷积

例如,卷积层和汇聚层,通常会减少下采样输入图像的空间维度(高和宽)。然而如果输入和输出图像的空间维度相同,在以像素级分类的语义分割中将会很方便。转置卷积(transposed convolution)可以增加上采样中间层特征图的空间维度。

13.10.1 基本操作

转置卷积的实现:

import torch
from torch import nn
from d2l import torch as d2l

对输入矩阵X和卷积核矩阵K实现基本的转置卷积运算trans_conv:

def trans_conv(X, K):#K表示卷积核
    h, w = K.shape
    Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i: i + h, j: j + w] += X[i, j] * K
    return Y

转置卷积通过卷积核“广播”输入元素,从而产生大于输入的输出。验证上述实现输出。

X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)

结果输出:

当输入X和卷积核K都是四维张量时,我们可以使用高级API获得相同的结果。

X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)#(输入通道数,输出通道数,卷积核,是否具有偏差)
tconv.weight.data = K
tconv(X)

结果输出:

13.10.2 填充、步幅和多通道

在转置卷积中,填充被应用于的输出(常规卷积将填充应用于输入)。例如,当将高和宽两侧的填充数指定为1时,转置卷积的输出中将删除第一和最后的行与列。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

结果输出:

在转置卷积中,步幅被指定为中间结果(输出),而不是输入。使用相同输入和卷积核张量,将步幅从1更改为2会增加中间张量的高和权重。


 

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data = K
tconv(X)

结果输出:

对于多个输入和输出通道,转置卷积与常规卷积以相同方式运作。如果我们将X代入卷积层f来输出Y = f(X),并创建一个与f具有相同的超参数、但输出通道数量是X中通道数的转置卷积层g,那么g(Y )的形状将与X相同。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(
                10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(
                20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape

结果输出:

13.10.3 与矩阵变换的联系

定义一个3x3的矩阵和2 × 2卷积核K,然后使用corr2d函数计算卷积输出Y:

X = torch.arange(9.0).reshape(3, 3)#构造一个3x3的一个0-8的矩阵
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)
Y

结果输出;

接下来,我们将卷积核K重写为包含大量0的稀疏权重矩阵W。权重矩阵的形状是(4,9),其中非0元素来自卷积核K。

def kernel2matrix(K):
    k, W = torch.zeros(5), torch.zeros((4, 9))
    k[:2], k[3:5] = K[0, :], K[1, :]
    W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
    return W

W = kernel2matrix(K)
W

结果输出:

逐行连结输入X,获得了一个长度为9的矢量。然后,W的矩阵乘法和向量化的X给出了一个长度为4的向量。重塑它之后,可以获得与上面的原始卷积操作所得相同的结果Y:我们刚刚使用矩阵法实现了卷积。

Y == torch.matmul(W, X.reshape(-1)).reshape(2, 2)

结果输出:

同样,可以使用矩阵乘法来实现转置卷积。将上面的常规卷积2 × 2的输出Y作为转置卷积的输入。想要通过矩阵相乘来实现它,只需要将权重矩阵W的形状转置为(9, 4)。

Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

结果输出:

如何将转置卷积换算成正常卷积:

填充为0步幅为1:

填充为p步幅为1:(例子p=1)

填充为p步幅为s:(例子p=0)

标签:输出,卷积,torch,矩阵,学习,转置,pytorch,李沐,tconv
From: https://blog.csdn.net/2301_79619145/article/details/142262314

相关文章

  • 新电脑安装和配置pytorch、anaconda、CUDA、cuDNN、pycharm、OpenCV的过程记录
    显卡驱动和CUDA一、升级显卡驱动到官方最新版    1、打开英伟达官网,输入显卡芯片型号,手动搜索并下载显卡驱动。 NVIDIA官方驱动 ​    2、下载完成后安装驱动。 二、确认显卡支持的最高CUDA版本    1、键盘"win+R",调出运行输入cmd后点”......
  • CMake构建学习笔记16-使用VS进行CMake项目的开发
    目录1.概论2.详论2.1创建工程2.2加载工程2.3配置文件2.4工程配置2.5调试执行3.项目案例4.总结1.概论在之前的系列博文中,我们学习了如何构建第三方的依赖库,也学习了如何去组建自己的CMake项目,尤其是学习了CMake的核心配置文件CMakeLists.txt如何编写。长期以来,CMakeLis......
  • 【办公类】大组工会学习(文心一言+Python批量)
    背景需求:每学期要写一份工会大组学习读后感(9月-1月,共5次)学习内容9月、10月、11月、12月、1月的学习内容文字稿在班级里,我擅长电脑工作,所以这种写的工作都包了。中2班三位老师一共写3篇,加上上个班级的搭档也让我写一份,本次我要写4份学习读后感。随着AI技术的深入,我想......
  • AI大语言模型LLM学习-本地部署大语言模型(Ollama)
    系列文章1.AI大语言模型LLM学习-入门篇2.AI大语言模型LLM学习-Token及流式响应3.AI大语言模型LLM学习-WebAPI搭建4.AI大语言模型LLM学习-基于Vue3的AI问答页面5.AI大语言模型LLM学习-语义检索(RAG前导篇)6.AI大语言模型LLM学习-RAG技术及代码实现7.AI大语言模型LL......
  • fpga学习日志
    学习目标:高速、复杂协议或算法、神经网络加速本学习是以赛灵思Xilinx的Vivado为开发1.底层结构:FPGA主要有六部分组成:可编程输入输出单元(IO)、可编程逻辑单元(CLB)、完整的时钟管理、嵌入块状RAM、布线资源、内嵌的底层功能单元和内嵌专用硬件模块。其中最为主要的是可编程输出......
  • checkpoint 学习分析1 —— 1. SimPoint
    背景现代计算机架构研究需要理解处理器在执行应用程序时的周期级行为。这需要模拟器模型化每一个周期。但是,这样做是以牺牲速度为代价的。更糟糕的是,为了在性能、复杂性、面积、和功耗之间做权衡,benchemark需要在不同的架构配置上模拟运行。做计算机架构研究就绕不过simpoint,为了......
  • 全面的 Java 学习路线:从零基础到高级开发
    全面的Java学习路线:从零基础到高级开发Java是一门经典且广泛使用的编程语言,不仅用于企业级应用开发,也在Android开发、分布式系统、云计算等领域中占据重要地位。对于想要学习或深入掌握Java的开发者来说,清晰的学习路线至关重要。本文将为你详细梳理从初学到高级的J......
  • 最短路之 $dijekstra$ 学习笔记
    最短路之\(dijekstra\)学习笔记复习\(dijekstra!\)怎么说,就写一下\(dij\)的实现过程吧\(dij\)的思路就是,将结点分成两个集合:已确定最短路长度的点集(记为$S$集合)的和未确定最短路长度的点集(记为$T$集合)。一开始所有的点都属于$T$集合。初始化$dis(s)=0$,其......
  • 学习资料
    二分答案递归与分治深搜差分和前缀和贪心背包STL双指针图和树的基础和遍历最短路算法最小生成树线段树和树状数组ST表组合数学树形DP线性代数树剖树剖......
  • 最小生成树之 Prim 算法学习笔记
    最小生成树之Prim算法学习笔记emm...在一通瞎搞奋战之后,prim被我收入囊中!\(prim\)的思路其实非常简单,和\(dij\)有一丝相似之处,可能会搞混设最小生成树上的集合为\(S\),所有点一开始到\(S\)的距离都是\(+\infty\)从任意一个点开始,将其放入\(S\),然后更新与这个点相邻......