首页 > 其他分享 >【最优化】优化中的转置卷积

【最优化】优化中的转置卷积

时间:2024-01-22 15:12:54浏览次数:24  
标签:right 转置 overline 卷积 mathcal 最优化 left

本篇使用的符号说明,在卷积优化函数求导中我们得到了结论

\[\frac{\partial}{\partial K}\|A*K-B\|_F^2=2\mathcal{F}^{-1}\left[\overline{\mathcal{F}(A)}\odot\left(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B) \right)\right]. \]

现在考虑另一种形式

\[\begin{aligned} \frac{\partial}{\partial K}\|A*K-B\|_F^2&=2\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)*\mathcal{F}^{-1}\left(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B) \right) \\ &=2\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)*(A*K-B) \end{aligned} \]

这里的\(\mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)\)在一些文章中通常会被称为转置卷积,我们考虑转置卷积为\(B\),于是

\[\begin{aligned} \mathcal{F}^{-1}\left(\overline{\mathcal{F}(A)}\right)&=\mathcal{F}^{-1}\left({\mathcal{F}(B)}\right) \\ \overline{\mathcal{F}(A)}&=\mathcal{F}(B) \\ F^H\overline{A}F^H&=FBF \end{aligned} \]

观察傅里叶矩阵\(F\)和共轭\(F^H\)的关系,可以发现实际上只改变了行或列的排列顺序,因此\(B\)实际上是\(\overline{A}\)重排列后的结果。可以得到

\[B(i,j)=\overline{A}(n-i,n-j) \]

即\(A\)的转置卷积\(B\)是共轭后再旋转180°得到的。

标签:right,转置,overline,卷积,mathcal,最优化,left
From: https://www.cnblogs.com/edlinf/p/17980082

相关文章

  • 数学和CNN里面的卷积和互相关
    卷积和互相关nndl上CNN这章的互相关讲的比较晦涩,简单辨析一下书上的互相关A.1数学意义上的卷积就是将卷积核进行翻转之后再进行我们熟悉CNN上的卷积运算同时互相关就是不将卷积核翻转直接CNN卷积运算说到这里就明白了,做如下总结\(数学上的互相关=CNN卷积\)$数学上的卷积......
  • E2. Minibuses on Venus (medium version)(卷积加速dp)
    数的范围是在k进制下的n位数一个数是lucky的当且仅当在k进制下,存在一个数位上的数,等于其他数位上的数在模k意义下的和。利用减法原理假设一个数的数位和为s,如果存在一个数,那么有s-x%k=x%k->s%k=2x%k那么我们找到这样的x,就是说在计算和为s的方案数是不能使用这些x类似于dp......
  • 【动手学深度学习_李沐】笔记:(六)现代卷积神经⽹络
    【六、现代卷积神经⽹络】1.深度卷积神经⽹络(AlexNet)在2012年以前,神经⽹络往往被其他机器学习⽅法超越,如支持向量机(supportvectormachines)。而AlexNet在2012年ImageNet挑战赛中取得了轰动⼀时的成绩,在⽹络的最底层,模型学习到了⼀些类似于传统滤波器的特征抽取器。论......
  • 【动手学深度学习_李沐】笔记:(五)卷积神经⽹络(convolutional neural network,CNN)
    【五、卷积神经网络】笔记1.从全连接层到卷积特点(沃尔多检测器):①平移不变性:不管出现在图像中的哪个位置,神经⽹络的底层应对相同图像区域做出类似的响应,因此能够以相同的⽅式处理局部图像②局部性:神经⽹络的底层只探索输⼊图像的局部区域,这些局部特征可以融会贯通,在整个......
  • 二维卷积计算:解析其原理和应用领域
    卷积计算是深度学习中常见的一种操作,它广泛应用于图像处理、语音识别、自然语言处理等领域。其中,二维卷积计算是卷积计算的一种形式,专门针对二维数据,如图像、矩阵等。一、二维卷积计算基本原理二维卷积计算是指对两个二维矩阵进行运算,得到一个新的矩阵。具体来说,给定两个矩阵A和B,其......
  • 深度学习的基本概念:从线性回归到卷积神经网络
    1.背景介绍深度学习是一种人工智能技术,它旨在模拟人类大脑中的神经网络,以解决复杂的问题。深度学习的核心思想是通过多层次的神经网络来学习数据的复杂关系,从而实现自主学习和决策。深度学习的发展历程可以分为以下几个阶段:1980年代:人工神经网络的基础研究,主要关注神经网络的结构和......
  • 探索半监督图卷积网络在医学图像分析中的应用
    1.背景介绍医学图像分析是一种利用计算机科学方法处理、分析和解释医学图像的技术。医学图像分析涉及到的领域包括影像诊断、影像生成、影像处理、影像检测和影像识别等。随着医学图像数据的快速增长,传统的医学图像分析方法已经无法满足现实中的需求。因此,医学图像分析需要借鉴深度......
  • 鱼类识别Python+深度学习人工智能+TensorFlow+卷积神经网络算法
    一、介绍鱼类识别系统。使用Python作为主要编程语言开发,通过收集常见的30种鱼类('墨鱼','多宝鱼','带鱼','石斑鱼','秋刀鱼','章鱼','红鱼','罗非鱼','胖头鱼','草鱼','银鱼','青鱼','马头鱼'......
  • 卷积神经网络在图像分割与段落中的应用
    1.背景介绍卷积神经网络(ConvolutionalNeuralNetworks,CNNs)是一种深度学习算法,它在图像处理领域取得了显著的成功。在这篇文章中,我们将探讨卷积神经网络在图像分割和段落检测领域的应用。图像分割是将图像划分为多个部分,以表示图像中的各个对象或区域。段落检测是识别图像中的段......
  • 深度学习的基础知识:从线性回归到卷积神经网络
    1.背景介绍深度学习是人工智能领域的一个重要分支,它旨在模仿人类大脑中的学习和认知过程,以解决复杂的问题。深度学习的核心思想是通过多层次的神经网络来学习数据的复杂结构,从而实现自主地对输入数据进行抽象、表示和理解。深度学习的发展历程可以分为以下几个阶段:1980年代:深度学习......