摘要大规模视觉预训练显著提高了大规模视觉模型的性能。现有的低FLOPs模型无法从大规模预训练中受益。在本文中，作者提出了一种新的设计原则，称为ParameterNet，旨在通过最小化FLOPs的增加来增加大规模视觉预训练模型中的参数数量。利用DynamicConv动态卷积将额外的参

单精度浮点算力通常用每秒浮点运算次数（FLOPS,FloatingPointOperationsPerSecond）来衡量。比如：GFLOPS：每秒十亿次浮点运算（GigaFLOPS）。TFLOPS：每秒万亿次浮点运算（TeraFLOPS）。单精度浮点算力的用途单精度浮点数在很多计算任务中有广泛应用，包括：深度学习：训练和推理过程中，很

原论文摘要目前，神经网络架构设计主要依赖于计算复杂度的间接指标，即浮点运算次数（FLOPs）。然而，直接指标（如速度）还取决于其他因素，如内存访问成本和平台特性。因此，本研究建议在目标平台上评估直接指标，而不仅仅考虑FLOPs。基于一系列受控实验，本研究提出了若干高效网络设计的实用

计算强度=运算数/访存数运算数有很多库可以算，例如thop的profilefromthopimportprofilemodel=torchvision.models.resnet18(weights=None)flops,params=profile(model,inputs=(torch.randn(1,3,224,224),))print("flops:{:.2f}Gflops".format(flops/1000/10

CPU上的快速多维矩阵乘法（草稿）Numpy可以在大约8毫秒内将4核IntelCPU上的两个1024x1024矩阵相乘。考虑到这归结为18FLOPS/核心/周期，一个周期需要三分之一纳秒，这是非常快的。Numpy使用高度优化的BLAS实现来实现这一点。BLAS是BasicLinearAlgebra子程序的缩写。这些库提供快速实

1.ShuffleNetV1论文：ShuffleNet:AnExtremelyEfficientConvolutionalNeuralNetworkforMobileDevices网址：https://arxiv.org/abs/1707.01083提出了``ChannelShuffle`的思想，在ShuffleUnit中全是GConv和DWConv。GConv虽然能够减少参数与计算量，但GConv中不同组之间信

#--coding:utf-8--importtorchimporttorchvisionfromthopimportprofile#Modelprint('==>Buildingmodel..')model=torchvision.models.alexnet(pretrained=False)dummy_input=torch.randn(1,3,224,224)flops,params=profile(model,(dumm

Params(参数量)、Model_size(模型大小)和Flops(计算量)参数量（params）：参数的数量，通常以M为单位。params=Kh×Kw×Cin×Cout模型大小(模型大小)：在一般的深度学习的框架中（如PyTorch），一般是32位存储，即一个参数用32个bit来存储。所以，一个拥有1M（这里的M是数量单位一百万）参

FLOPS：注意全大写，是floatingpointoperationspersecond的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。FLOPs：注意s小写，是floatingpointoperations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。注意在深度学习中，我们用

什么是计算密集型任务计算密集型任务指的是需要进行大量计算的任务，通常需要进行大量的数学运算、逻辑运算、数据处理、模拟等操作。这些任务通常需要更多的计算资源，比如更快的处理器、更多的内存、更快的存储设备等。以下是一些常见的计算密集型任务：科学计算：如数值模拟、天体

 一、计算量常使用乘加计算数衡量，英文为multiply-accumulateoperations或multiply-addoperations，因此常缩写为MACs,MACC或MADD。由于乘加计算的底层是通过浮点运算实现的，因此还可使用浮点运算数来表示计算量。浮点计算数，英文为FloatOperations，常缩写为FLOPs。描述了数据

前言现阶段的轻量级模型MobileNet/ShuffleNet系列、CSPNet、RepVGG、VoVNet等都必须依赖于于具体的计算平台（如CPU/GPU/ASIC等）才能更完美的发挥网络架构。1，计算平台主

目录模型压缩量化稀疏化训练剪枝知识蒸馏自蒸馏集成使用精细化模型结构模型扩张深度宽度输入图像的分辨率深度、宽度、分辨率联合扩张使用精细化模型结构计算模型的各种成

前言一，模型计算量分析卷积层FLOPs计算全连接层的FLOPs计算二，模型参数量分析卷积层参数量BN层参数量全连接层参数量三，模型内存访问代价计算卷积层MAC

前言一，模型计算量分析卷积层FLOPs计算全连接层的FLOPs计算二，模型参数量分析卷积层参数量BN层参数量全连接层参数量三，模型内存访问代价计算卷积层MA

来源卷积：输入尺寸  ，卷积核的大小为  * ，输出的尺寸大小为 参数量（1）不考虑bias：（2）考虑bias：FLOPs（1）不考虑bias解释：先计算输出的中一个元素需要的计算量，即括号这一

目录结构一，模型计算量分析二，模型参数量分析三，一些概念四，参考资料前言现阶段的轻量级模型MobileNet/ShuffleNet系列、CSPNet、RepVGG、VoVNet等都必须依赖于于具

FLOPS（全部大写）是floating-pointoperationspersecond的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。FLOPs是floatingpointofoperations的缩写，是浮点运算次数，可