首页 > 编程语言 >Dropout终于要被替换 (文末有下载链接及源码)

Dropout终于要被替换 (文末有下载链接及源码)

时间:2022-10-07 10:34:22浏览次数:82  
标签:剪枝 Weight 权重 Targeted Dropout 源码 文末 Unit

从深度学习被大家开始重视的时候,后续就出现一个神操作到现在还值得大家去使用,那就是“Dropout”的出现,为大家带来了很多优势,但是今年2018年NIPS开始搞事情了,更新换代的机会终于出现了,Hinton教授又为大家带来了新的发现,构建更新的架构——名为:Targeted Dropout

想必,大家都对Dropout有所了解了吧,它已经是许多经典网络的标配,主要操作是随机删除部分神经元获得不同的输出。而新的方法——Targeted Dropout其实很类似于将剪枝嵌入到了学习过程,因此训练后再用剪枝操作会有更好的性质。


计算机视觉战队”在之前也很认真为大家说过“剪枝”的知识,有兴趣的您可以通过下面的链接回顾下。

​链接:简单聊聊压缩网络​

                   Dropout终于要被替换 (文末有下载链接及源码)_权重


现在开始我们今天Targeted Dropout的学习!!!

标签:剪枝,Weight,权重,Targeted,Dropout,源码,文末,Unit
From: https://blog.51cto.com/u_15726357/5734262

相关文章