首页 > 其他分享 >【矩阵论】含卷积求导和优化问题闭式解

【矩阵论】含卷积求导和优化问题闭式解

时间:2023-08-29 16:33:12浏览次数:33  
标签:卷积 闭式 odot overline 变换 求导 mathcal gamma

本篇使用的符号说明,考虑优化问题

\[\min\limits_{K} \frac12\|A*K-B\|_F^2+\gamma\|K\|_F^2,\tag{1} \]

其中\(A,B\in M_{m,n}\),通常卷积核我们认为是\(K\in M_{k}\),为了保证傅里叶变换后维度一致,我们将\(K\)用零元素填充至\(M_{m,n}\)。

由于傅里叶变换是酉变换,因此\((1)\)等价为

\[\min\limits_{K} \frac12\|\mathcal{F}(A*K)-\mathcal{F}(B)\|_F^2+\gamma\|\mathcal{F}(K)\|_F^2,\tag{2} \]

由于傅里叶变换满足\(\mathcal{F}(A*B)=\mathcal{F}(A)\odot\mathcal{F}(B)\),同时变换前和变换后一一对应,因此\((2)\)等价为

\[\min\limits_{\mathcal{F}(K)} \frac12\|\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B)\|_F^2+\gamma\|\mathcal{F}(K)\|_F^2.\tag{3} \]

最后参考hadamard求导,将优化函数对\(\mathcal{F}(K)\)求导可得

\[\overline{\mathcal{F}(A)}\odot(\mathcal{F}(A)\odot\mathcal{F}(K)-\mathcal{F}(B))+2\gamma\mathcal{F}(K)=0. \]

最后整理得到

\[\begin{aligned} \overline{\mathcal{F}(A)}\odot\mathcal{F}(A)\odot\mathcal{F}(K)+2\gamma\mathcal{F}(K) &= \overline{\mathcal{F}(A)}\odot\mathcal{F}(B) \\ (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\odot\mathcal{F}(K) &= \overline{\mathcal{F}(A)}\odot\mathcal{F}(B) \\ \mathcal{F}(K)&=(\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)) \oslash (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\\ K&=\mathcal{F}^{-1}\left[(\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)) \oslash (\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma)\right] \\ &=\mathcal{F}^{-1}\left[\frac{\overline{\mathcal{F}(A)}\odot\mathcal{F}(B)}{\overline{\mathcal{F}(A)}\odot\mathcal{F}(A)+2\gamma}\right]. \end{aligned} \]

标签:卷积,闭式,odot,overline,变换,求导,mathcal,gamma
From: https://www.cnblogs.com/edlinf/p/17664923.html

相关文章

  • 学习笔记414—Sigmoid函数求导
    Sigmoid函数求导基础知识: Sigmoid函数: Sigmoid图形: 生成Sigmoid图形代码:importtorchfromd2limporttorchasd2l%matplotlibinlinex=torch.arange(-8.0,8.0,0.1,requires_grad=True)sigmoid=torch.nn.Sigmoid()y=sigmoid(x)d2l.plot(x.detach(),y.detach(......
  • 理解图傅里叶变换和图卷积
    图神经网络(GNN)代表了一类强大的深度神经网络架构。在一个日益互联的世界里,因为信息的联通性,大部分的信息可以被建模为图。例如,化合物中的原子是节点,它们之间的键是边。图神经网络的美妙之处在于它们能够在不牺牲重要细节的情况下直接对图结构数据进行操作。这一点在处理复杂的数......
  • 什么是卷积神经网络
    卷积神经网络是一种深度学习模型或类似于人工神经网络的多层感知器,常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家YannLeCun,目前在Facebook工作,他是第一个通过卷积神经网络在MNIST数据集上解决手写数字问题的人。卷积神经网络最早出现在图像处理和图像识别领域,它......
  • ArcMap栅格重采样:最邻近分配、众数算法、双线性插值、三次卷积插值
      本文介绍在ArcMap软件中,实现栅格图像重采样的具体操作,以及不同重采样方法的选择依据。  在文章ArcPy批量掩膜、重采样大量遥感影像中,我们介绍了基于Python中Arcpy模块对栅格图像加以批量重采样的方法;而在ArcMap软件中,我们可以实现不需要代码的栅格重采样操作;本文就对这一操......
  • 卷积神经网络
    卷积神经网络整体架构卷积层涉及参数激活函数每个区域提取的特征要尽可能的多?卷积大量提取特征,让下游有的选择,特征的多样性,第一层有丰富信息,第二层才有得做256512每个区域提取的特征要尽可能的多每个区域都有256个特征卷积核的层数和输入是一样的?刚刚输入的彩色图......
  • 6.3 填充和步幅 & 卷积层的输出形状公式
    一.填充1.作用:为了防止丢失边缘像素。如240x240的像素图像,经过10层5x5卷积,变成了200x200像素。可以根据输出形状计算公式(w-k+1)x(h-k+1)计算得出。2.方法:最常用的方法是填充0。如下:3.公式:计算填充原图像后的输出形状假设填充p行(上面填充p/2行,下面填充p/2行),p列。输出大小为:w......
  • 头疼!卷积神经网络是什么?CNN结构、训练与优化一文全解
    本文全面探讨了卷积神经网络CNN,深入分析了背景和重要性、定义与层次介绍、训练与优化,详细分析了其卷积层、激活函数、池化层、归一化层,最后列出其训练与优化的多项关键技术:训练集准备与增强、损失函数、优化器、学习率调整、正则化技巧与模型评估调优。旨在为人工智能学者使用卷......
  • 【深度学习 | CNN】“深入解析卷积神经网络与反卷积:从生活案例到原理的全面指南” (从
    ......
  • 无涯教程-TensorFlow - 卷积神经网络
    了解机器学习概念之后,无涯教程现在可以将重点转移到深度学习概念上,深度学习是机器学习的一个分支,被认为是近几十年来研究人员迈出的关键一步。深度学习实现的示例包括图像识别和语音识别等应用。以下是深度神经网络的两种重要类型-卷积神经网络递归神经网络在本章中,将重点介......
  • 卷积层
    卷积层卷积操作torch.nn是对torch.function的封装pytorch官网详细介绍了常用的卷积操作函数:conv1d、conv2d、conv3d等,其中Conv1d针对一维的向量,Conv2d针对二维的向量,Conv3d针对三维的向量。在图像处理中,Conv2d的使用次数较多,因此以conv2d为例说明卷积操作(torch.nn.Conv2d和torc......