首页 > 其他分享 >结构化剪枝 之 L1 剪卷积核 笔记

结构化剪枝 之 L1 剪卷积核 笔记

时间:2023-09-22 17:59:41浏览次数:52  
标签:剪枝 修剪 删除 卷积 计算成本 稀疏 L1

论文:https://arxiv.org/pdf/1608.08710.pdf

摘要

CNN 在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近减少这些开销的努力包括在不损害原始精度的情况下修剪和压缩各个层的权重。然而,基于大小的权值修剪减少了完全连接层的大量参数,并且由于修剪后的网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本。我们提出了一种cnn的加速方法,我们从cnn中修剪那些被认为对输出精度影响很小的滤波器。通过去除网络中的整个过滤器及其连接的特征映射,大大降低了计算成本。与修剪权重相反,这种方法不会产生稀疏的连接模式。因此,它不需要稀疏卷积库的支持,可以使用现有的高效BLAS库进行密集矩阵乘法。我们表明,即使是简单的过滤器修剪技术也可以在CIFAR10上将VGG-16的推理成本降低高达34%,将ResNet-110的推理成本降低高达38%,同时通过重新训练网络恢复接近原始精度。

剪枝过程:

  1. 对于每个卷积核,假设有 m 个卷积核,每个卷积核的维度为 n*k*k ,n 为上一层特征图的通道数,k 为卷积核的大小,把 n 个 k*k 个数分别求绝对值,然后加起来。所以每个卷积核都得到一个 正数。

  2. 对这 m 个卷积核的值进行排序

  3. 删除,假设删除 a 个卷积核:

    • 最小的 a 个卷积核
    • 通过这些删除的 a 个卷积核得到的 a个 特征图也需要删除
    • 下一层的卷积核的 对应的那些通道
  4. 创建新的卷积核,当前层的卷积核和下一层的卷积核,里面的值是由 原来的 copy 过来的。

  5. 微调新的模型

基于卷积核的权值去修建 weight 的缺点:

  • 阈值不好卡,不知道剪了多少
  • 稀疏的卷积核很难加速

标签:剪枝,修剪,删除,卷积,计算成本,稀疏,L1
From: https://www.cnblogs.com/odesey/p/17723025.html

相关文章

  • 循环卷积
    P3321[SDOI2015]序列统计问有多少个值域为\([0,m-1]\)的序列\(A\)满足\(\prod_{i=1}^{n}A_i\equivx(\operatorname{mod}m)\).答案对\(1004535809\)取模。\(1\len\le10^9\),\(3\lem\le8000\),\(1\lex<m\).保证\(m\)为质数。最朴素的卷积显然是\[f_{2i,c}=\sum......
  • 可分离卷积(Separable Convolution)等价转换为传统卷积(Ordinary convolution)的方法,
    写在前面:可分离卷积提出的原因  卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数,应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件,显著降低神经网络的运算量依旧是网络结构优化的目......
  • 基于Xines广州星嵌OMAPL138 DSP+ARM+FPGA无人机避障系统
    基于Xines广州星嵌OMAPL138 DSP+ARM+FPAGA硬件平台、毫米波雷达平台以及大疆的无人机平台,开发了一套将毫米波雷达与单目视觉相融合的无人机自主避障演示系统;并利用该无人机自主避障演示系统做了避障飞行实验,初步验证了融合方案在无人机自主避障飞行中的可行性。    ......
  • 模型压缩-剪枝算法详解
    近年来主流的模型压缩方法包括:数值量化(DataQuantization,也叫模型量化),模型稀疏化(Modelsparsification,也叫模型剪枝ModelPruning),知识蒸馏(KnowledgeDistillation),轻量化网络设计(LightweightNetworkDesign)和张量分解(TensorDecomposition)。其中模型剪枝是一种应用非常......
  • Xines广州星嵌全新FPGA开发板—OMAPL138/C6748 DSP+ARM+FPGA
    1  开发板简介    XQ138F-EVM是一款基于广州星嵌TIOMAP-L138(浮点DSPC6748+ARM9)+XilinxSpartan-6FPGA核心板SOM-XQ138F设计的开发板,它为用户提供了SOM-XQ138F核心板的测试平台,用于快速评估SOM-XQ138F核心板的整体性能。 XQ138F-EVM底板采用沉金无铅工艺的四层板设计......
  • 《动手学深度学习 Pytorch版》 6.6 卷积神经网络
    importtorchfromtorchimportnnfromd2limporttorchasd2l6.6.1LeNetLetNet-5由两个部分组成:-卷积编码器:由两个卷积核组成。-全连接层稠密块:由三个全连接层组成。模型结构如下流程图(每个卷积块由一个卷积层、一个sigmoid激活函数和平均汇聚层组成):全连接......
  • 《动手学深度学习 Pytorch版》 6.2 图像卷积
    importtorchfromtorchimportnnfromd2limporttorchasd2l6.2.1互相关计算X=torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])K=torch.tensor([[0.0,1.0],[2.0,3.0]])此处应为:012345678*0123=......
  • Xines广州星嵌全新FPGA开发板—OMAPL138/C6748 DSP+ARM+FPGA
    1  开发板简介    XQ138F-EVM是一款基于广州星嵌TIOMAP-L138(浮点DSPC6748+ARM9)+XilinxSpartan-6FPGA核心板SOM-XQ138F设计的开发板,它为用户提供了SOM-XQ138F核心板的测试平台,用于快速评估SOM-XQ138F核心板的整体性能。 XQ138F-EVM底板采用沉金无铅工艺的四层板设......
  • 电动取暖器、加热器、暖风机上架亚马逊有哪些标准要求? UL1278测试报告
    UL1278测试报告介绍UL1278是针对电气安全方面的测试报告标准,主要用于评估各种电器的安全性能,以确保它们在使用过程中不会对人身安全造成威胁。桌面暖风机作为一款加热设备,需要满足UL1278标准才能进入美国市场。每年的十月份开始国外气温转寒,电加热器销量也随即剧增。电加热器外贸市......
  • BL102网关连接西门子S7-1200 PLC的详细教程
    一、软硬件描述西门子PLCS7-1215钡铼BL102网关mosquittoMQTT服务器(腾讯云上搭建)可以上网的路由器一套二、需要使用的软件。西门子Portalv15.1(西门子PLC编程软件)钡铼BL102调试软件及说明书。说明书下载链接:http://rtu-m2m.com/Download/Manual/中文/BL102_......