最初设想
因为最近在学习深度学习框架,并且在做一个DQN的自寻路问题。题目中输入就两个特征维度,输出也只有八个特征维度,那肯定就是使用全连接网络来做。之后再搭建网络时突发奇想,把Resnet网络结构应用在全连接神经网络上。
我选择了网络结构简单且效果好的Resnet V2网络结构,并以此为基础改动了一下输入侧,原Resnet V2的skip部分在处理输入输出维度不一致的情况下,是会有一个权重层和BN层,而skip的前端没有BN层规约作用,而主线部分是由开始就有一个BN层。由此我就想把主线的第一个BN层结果分给主线和skip线一起用,这样两条线就都有规约效果,由于每一个block前端都会有BN层规约,这样就可以省去skip线的BN层,简化网络。运用leaky relu主要是避免relu神经元坏死问题。