DropPath

标签：DropPath conv self drop 随机 path

DropPath 类似于Dropout，不同的是 Drop将深度学习模型中的多分支结构随机 “失效”
而Dropout 是对神经元随机 “失效”

1. DropPath在网络中的应用
   假设在前向传播中有如下的代码：

x = x + self.drop_path( self.conv(x) )

那么在drop_path分支中，每个batch有drop_prob的概率样本在 self.conv(x) 不会 “执行”，会以0直接传递。

若x为输入的张量，其通道为[B,C,H,W]，那么drop_path的含义为在一个Batch_size中，随机有drop_prob的样本，不经过主干，而直接由分支进行恒等映射。

注意：Drop Path不能直接这样使用：
x = self.drop_path(x)

标签：DropPath,conv,self,drop,随机,path
From： https://www.cnblogs.com/sxq-blog/p/17764806.html