非结构化剪枝,对每个参数进行选择性的剪枝,不考虑网络的特定结构或模式。
先训练一个完整的模型,然后再根据设置的剪枝率来选择保留每个矩阵中最重要的参数。简而言之,剪的是参数,而非通道channel和卷积核。
结构化剪枝,是针对整体的网络考虑,不是独立地对每个参数进行剪枝。而是对整个通道channel或者卷积核进行剪枝。去除不必要的channel或者卷积核。
对于循环层中的通道剪枝,我们可以通过衡量每个通道的重要性来确定要剪枝的通道。
重要性可以使用各种度量方法计算,如通道的平均激活值或梯度大小。
根据设定的剪枝率,选择保留重要性较高的通道,而剩下的通道则被剪枝掉。剪枝后的网络将具有更少的通道和参数。