首页 > 其他分享 >全连接网络的类Resnet结构

全连接网络的类Resnet结构

时间:2022-12-27 15:57:43浏览次数:34  
标签:skip BN 网络 Resnet 维度 网络结构 连接

最初设想

因为最近在学习深度学习框架,并且在做一个DQN的自寻路问题。题目中输入就两个特征维度,输出也只有八个特征维度,那肯定就是使用全连接网络来做。之后再搭建网络时突发奇想,把Resnet网络结构应用在全连接神经网络上。

img

我选择了网络结构简单且效果好的Resnet V2网络结构,并以此为基础改动了一下输入侧,原Resnet V2的skip部分在处理输入输出维度不一致的情况下,是会有一个权重层和BN层,而skip的前端没有BN层规约作用,而主线部分是由开始就有一个BN层。由此我就想把主线的第一个BN层结果分给主线和skip线一起用,这样两条线就都有规约效果,由于每一个block前端都会有BN层规约,这样就可以省去skip线的BN层,简化网络。运用leaky relu主要是避免relu神经元坏死问题。

网络头部 and 输入输出特征维度一致

img

输入输出特征维度不一致

img

标签:skip,BN,网络,Resnet,维度,网络结构,连接
From: https://www.cnblogs.com/ly-bear/p/17008229.html

相关文章