Mobilenet 系列
论文精讲部分
鉴于上一小节中采用的代码是V2的模型,因此本章节现对V2模型论文讲解,便于读者能够更好的使用V2模型。通过引文格式标注自己对当前部分的理解,可能存在歧义各位酌情理解。
0.摘要
在这篇论文中,我们描述了一种新的移动架构MobileNetV2,它在多个任务和基准测试中提升了移动模型的最先进性能,同时覆盖了不同模型大小的广泛范围。我们还描述了将这些移动模型高效应用于物体检测的新框架,我们称之为SSDLite。此外,我们展示了如何通过深度学习框架DeepLabv3的简化形式(我们称之为Mobile DeepLabv3)构建移动语义分割模型。
MobileNetV2基于一种倒置残差结构,在细小的瓶颈层之间建立了快捷连接。中间扩展层使用轻量级深度卷积来过滤特征,作为非线性的来源。此外,我们发现在狭窄层中移除非线性操作对于保持表达能力很重要。我们证明了这提升了性能,并提供了导致这一设计的直觉。
最终,我们的方法允许将输入/输出域与变换的表现力进行解耦,这为进一步分析提供了一个便利的框架。我们在ImageNet分类、COCO物体检测、VOC图像分割上衡量了我们的性能。我们评估了准确度与操作次数之间的权衡,操作次数通过乘加(MAdd)测量,以及实际延迟和参数数量。
摘要简述,其模型主要是对Mobilenet进行修改提升了算法性能,并且其模型大小可变性使其对不同大小轻量级模型上全面覆盖。并且提出这个模型的另外一种可能性,用于物体检测SSDlite。其模型主要是对V1的问题通过一些巧妙的方法进行改进,解决方法就是倒置残差结构,具体细节后续讨论。主要就是引入了残差结构和删减了一点激活函数,因为Relu的特性问题。
1. 引文
神经网络已经彻底改变了许多机器智能领域,使得在具有挑战性的图像识别任务上实现了超人的准确性。然而,提高准确性的努力往往需要付出代价:现代的最先进网络需要高计算资源,在许多移动和嵌入式应用中超出了其处理能力。
本文介绍了一种针对移动和资源受限环境专门设计的新型神经网络架构。我们的网络通过显著减少操作次数和所需内存,同时保持相同的准确性,推进了为移动设备定制的计算机视觉模型的最先进水平。
我们的主要贡献是一个新颖的层模块:倒置残差与线性瓶颈。该模块以低维压缩表示为输入,首先扩展到高维,并通过轻量级深度卷积进行过滤。随后,特征通过线性卷积重新投影回低维表示。官方实现作为TensorFlow-Slim模型库的一部分已经可用于[4]。
这个模块可以使用任何现代框架中的标准操作高效实现,并且允许我们的模型使用标准基准在多个性能点上超越最先进水平。此外,这个卷积模块特别适合移动设计,因为它通过永远不完全实化大的中间张量,显著降低了推理过程中所需的内存占用。这减少了在许多嵌入式硬件设计中对主内存访问的需求,这些设计提供少量非常快速的软件控制缓存内存。
主要还是阐述其主要工作了就是设计了一个倒置残差结构,其实说的还挺清晰的但是乍一看看不懂需要进行后续的主体内容才能看明白。别慌别慌,图一乐部分。主要是在引文部分介绍一下背景信息,以及自身的主要工作。属于是大型的摘要了。
2. 引文
在过去几年里,调整深度神经架构以在准确性和性能之间找到最佳平衡一直是一个活跃的研究领域。许多团队通过手动架构搜索和训练算法的改进,==对早期设计如AlexNet、VGGNet、GoogLeNet和ResNet进行了显著改善。==最近在算法架构探索方面取得了很多进展,包括超参数优化以及网络剪枝和连接学习的各种方法。大量工作也致力于改变内部卷积块的连通性结构,如ShuffleNet中所做的,或引入稀疏性等。
其实这段还好,主要是大佬的文章基本小成果人家也不引用,就是AlexNet 现阶段的CNN主体框架,人家VGG就是深层预训练模型。现阶段还在使用。GoogLeNet则是
标签:Mobile,模型,张量,times,卷积,详解,内存,深度,net From: https://blog.csdn.net/weixin_47332746/article/details/142354880