首页 > 其他分享 >卷积/池化、全连接、矩阵乘法/行列式乘法

卷积/池化、全连接、矩阵乘法/行列式乘法

时间:2024-04-16 11:12:39浏览次数:21  
标签:begin right end matrix 卷积 times 池化 left 乘法

卷积

https://zhuanlan.zhihu.com/p/76606892
不考虑padding填充input矩阵,左边是卷积核,右边是输入:

\[\left[ \begin{matrix} 1 & 2 \\ 3 & 4 \\ \end{matrix} \right] * \left[ \begin{matrix} 11 & 22 & 33 \\ 44 & 55 & 66 \\ 77 & 88 & 99 \\ \end{matrix} \right] \]

\[= \left[ \begin{matrix} 1\times 11+2\times 22+3\times 44+4\times 55 & 1\times 22+2\times 33+3\times 55+4\times 66\\ 1\times 44+2\times 55+3\times 77+4\times 88 & 1\times 55+2\times 66+3\times 77+4\times 88 \end{matrix} \right] = \left[ \begin{matrix} 407 & 517 \\ 737 & 770 \end{matrix} \right] \]

池化

有2种:maxPool最大 和 avgPool平均
以maxPool举例:设窗口大小为2x2,每次向下1步向右1步

maxpool2d = nn.MaxPool2d(kernel_size=(2,2),stride=(1,1),padding=0,dilation=1)

\[\left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \\ \end{matrix} \right] → \left[ \begin{matrix} max(1,2,4,5) & max(2,3,5,6) \\ max(4,5,7,8) & max(5,6,8,9) \\ \end{matrix} \right] = \left[ \begin{matrix} 5 & 6 \\ 8 & 9 \\ \end{matrix} \right] \]

矩阵乘法

https://www.zhihu.com/question/353784279
矩阵≠行列式,行列式=一个数

\[\left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ \end{matrix} \right] \cdot \left[ \begin{matrix} 11 & 22 \\ 33 & 44 \\ 55 & 66 \\ \end{matrix} \right] = \left[ \begin{matrix} 242 & 308\\ 539 & 704\\ \end{matrix} \right] \]

标签:begin,right,end,matrix,卷积,times,池化,left,乘法
From: https://www.cnblogs.com/nolca/p/18137607

相关文章

  • m基于FPGA的217卷积编码维特比译码verilog实现,包含testbench不使用IP核
    1.算法仿真效果Vivado2019.2   编码部分:   译码部分输出:   RTL图:   2.算法涉及理论知识概要2.1卷积编码       卷积编码是一种前向纠错编码方式,特别适用于无线通信和其他信道条件恶劣的应用场景。它主要通过卷积算子将信息序列映射成......
  • 移位相加乘法器
      在硬件设计中,乘法器是非常重要的一个器件,乘法器的种类繁多,常见的有并行乘法器、移位相加乘法器和查找表乘法器,并行乘法器的实现非常简单,在Verilog中只需要通过*实现,若要进行有符号的乘法,需使用系统函数$signed。查找表乘法器实际上是先将乘法的计算结果提前算好,这样就可以......
  • 卷积神经网络调参之学习率
    原文链接:https://blog.csdn.net/hzqgangtiexia/article/details/80509211学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,大多数优化算法(SGD、RMSprop、Adam)对其都有所涉及。学习率越小,损失梯度下降的速度越慢,收敛的时间更长,如公式所示:new_wei......
  • 卷积神经网络基础---批量归一化(BN层、 Batch Normalization)
    原文链接:https://blog.csdn.net/weixin_43972154/article/details/1201998331.BN层的作用BN层使得神经网络能够设定较高的初始学习率,加速模型收敛过程;将数据进行归一化处理,即在网络的每一层输入的时候,插入了一个归一化层,然后再进入网络的下一层。这样能提高网络的泛化能力,使得网......
  • 卷积神经网络——残差网络(ResNet)
    原文链接:https://blog.csdn.net/weixin_52963585/article/details/124903050在实际的试验中发现,随着卷积层和池化层的叠加,不但没有出现学习效果越来越好的情况,反而两种问题:梯度消失和梯度爆炸梯度消失:若每一层的误差梯度小于1,反向传播时,网络越深,梯度越趋近于0梯度爆炸:若每一层的......
  • 深度可分离卷积
    https://blog.csdn.net/zml194849/article/details/117021815一些轻量级的网络,如mobilenet中,会有深度可分离卷积depthwiseseparableconvolution,由depthwise(DW)和pointwise(PW)两个部分结合起来,用来提取特征featuremap。相比常规的卷积操作,其参数数量和运算成本比较低。深度......
  • 卷积神经网络中的 “全连接层”
    原文链接:https://blog.csdn.net/nanhuaibeian/article/details/100532038、https://cloud.tencent.com/developer/article/2299601改进:https://www.bilibili.com/read/cv28976895/    CNN中的逐点卷积:替换全连接层它利用转置卷积层来替换CNN最后的全连接层,从而可以实现......
  • 卷积神经网络-激活函数
    原文链接:https://zhuanlan.zhihu.com/p/508741909?utm_id=0、https://zhuanlan.zhihu.com/p/476373735?utm_id=0、https://blog.csdn.net/purple_love/article/details/134620930https://www.zhihu.com/question/60650016/answer/2441796198?utm_id=0卷积神经网络中的卷积和池化......
  • 卷积神经网络中池化层的详细介绍
    原文链接:https://blog.csdn.net/a486259/article/details/131311587https://zhuanlan.zhihu.com/p/476242144池化层的本质是一个下采样,因为数据经过卷积之后维度越来越高,而且特征图没有多大改变,在连续多个卷积之后,会产生一个很大的参数量,不仅会大大的增加网络训练的难度,还容易造......
  • 数据是一维数据,利用tensorflow深度学习框架,写一个带自注意力机制的卷积神经网络,并进行
    下面是一个使用TensorFlow框架的带有自注意力机制的卷积神经网络(Self-AttentionConvolutionalNeuralNetwork)的示例代码,包括数据处理、模型定义和训练过程:importtensorflowastffromtensorflow.keras.layersimportConv1D,Dense,GlobalMaxPooling1D,Concatenate#......