NanoDet-Plus: 超快速轻量级无锚点目标检测模型

NanoDet-Plus:超快速轻量级无锚点目标检测模型
NanoDet-Plus是一个超快速、高精度的轻量级无锚点目标检测模型,由RangiLyu开发并开源。它在保持高检测精度的同时,具有极小的模型体积和极快的推理速度,可以在移动设备上实现实时目标检测。

主要特点
NanoDet-Plus具有以下突出特点:

超轻量级:模型文件仅980KB(INT8)或1.8MB(FP16)
超快速:在移动ARM CPU上可达97FPS(10.23ms)
高精度:在COCO数据集上可达34.3 [email protected]:0.95,同时保持实时性能
训练友好:相比其他模型GPU显存占用更少,GTX1060 6G可支持batch size=80
易于部署:支持ncnn、MNN、OpenVINO等多种后端,提供基于ncnn的Android demo
NanoDet-Plus架构图

技术原理
NanoDet是一种FCOS风格的单阶段无锚点目标检测模型,使用广义焦点损失(Generalized Focal Loss)作为分类和回归损失。

在NanoDet-Plus中,作者提出了一种新的标签分配策略,包含一个简单的分配指导模块(AGM)和一个动态软标签分配器(DSLA),用于解决轻量级模型训练中的最优标签分配问题。此外还引入了一种轻量级特征金字塔Ghost-PAN来增强多层特征融合。这些改进使NanoDet的检测精度在COCO数据集上提高了7个mAP。

性能对比
下表对比了NanoDet-Plus与其他目标检测模型在COCO数据集上的性能:

模型 分辨率 mAP CPU延迟 ARM延迟 FLOPS 参数量 模型大小
NanoDet-Plus-m 320320 27.0 5.25ms 11.97ms 0.9G 1.17M 2.3MB(FP16) / 1.2MB(INT8)
NanoDet-Plus-m 416416 30.4 8.32ms 19.77ms 1.52G 1.17M 2.3MB(FP16) / 1.2MB(INT8)
YOLOv4-Tiny 416416 21.7 - 32.81ms 6.96G 6.06M 23.0MB
YOLOX-Nano 416416 25.8 - 23.08ms 1.08G 0.91M 1.8MB(FP16)
可以看到,NanoDet-Plus在保持较高精度的同时,具有更小的模型体积和更快的推理速度。

部署示例
NanoDet提供了多种部署方式的示例:

Android demo
Android demo

Android demo项目位于demo_android_ncnn文件夹中。

NCNN C++示例
基于ncnn的C++示例位于demo_ncnn文件夹中。

MNN示例
使用阿里巴巴MNN框架的推理示例位于demo_mnn文件夹中。

OpenVINO示例
使用Intel OpenVINO的推理示例位于demo_openvino文件夹中。

Web浏览器示例
可以在这里体验基于WebAssembly的在线demo。

PyTorch示例
项目还提供了基于PyTorch的推理示例,可以用于快速验证模型效果。

如何使用
安装依赖
NanoDet需要以下环境:

Linux或MacOS
CUDA >= 10.2
Python >= 3.7
PyTorch >= 1.10.0, <2.0.0
克隆代码并安装
git clone https://github.com/RangiLyu/nanodet.git
cd nanodet
pip install -r requirements.txt
准备数据集
NanoDet支持COCO、Pascal VOC和YOLO格式的数据集。

修改配置文件
在config文件夹中复制并修改示例配置文件,设置数据路径、模型参数等。

开始训练
python tools/train.py CONFIG_FILE_PATH
导出模型并部署
训练完成后,可以将模型导出为ONNX格式,然后转换为各种推理框架支持的格式进行部署。

总结
NanoDet-Plus作为一个超快速、高精度的轻量级目标检测模型,在移动端和嵌入式设备上具有广阔的应用前景。它的开源不仅为研究人员提供了宝贵的学习资源,也为工业界提供了一个实用的目标检测解决方案。未来,随着移动设备算力的不断提升,相信会有更多基于NanoDet的创新应用出现。

如果您的项目中使用了NanoDet,不要忘记引用原作者的工作:

@misc{nanodet,
title={NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model.},
author={RangiLyu},
howpublished = {\url{https://github.com/RangiLyu/nanodet}},
year={2021}
}
NanoDet的成功离不开开源社区的贡献,在此也要感谢ncnn、mmdetection等优秀的开源项目为NanoDet的开发提供了重要支持。
文章链接：www.dongaigc.com/a/nanodet-plus-fast-lightweight-object-detection
https://www.dongaigc.com/a/nanodet-plus-fast-lightweight-object-detection
www.dongaigc.com/p/RangiLyu/nanodet
https://www.dongaigc.com/p/RangiLyu/nanodet