1. 前言
YOLOV3是单阶段目标检测算法YOLO系列的第三个版本，由华盛顿大学Joseph Redmon发布于2018年4月，广泛用于工业界。
改进了正负样本选取、损失函数、Darknet-53骨干网络，并引入了特征金字塔多尺度预测，显著提升了速度和精度。
2. 网络结构
换了骨干网络，把backbone在darknet19的基础上融合残差模块，形成darknet-53。
v3,输入416*416的图片，经过backbone，提取三个尺度的feature map，然后在Neck部分，融合不同尺度的feature map信息（撒上采样+通道方向拼接），最后输出三个尺度的预测结果，根据感受野不同分别负责预测大物体，中等物体和小物体。
更详细网络结构图：
3. 细节
3.1. anchor
沿袭YOLOv2中的设定。将特征图分割为n*n的grid cell，每个grid cell大小归一化为1，对每个anchor预测的位置偏移tx,ty,tw,th通过sigmoid和exp函数进行值域限制，如下图所示：
3.2. 正负样本
对于每一个gt，按照v3的特征金子塔，应该有三个grid cell共9个anchor可能对其进行预测，方法是选出与之IOU最大的anchor负责预测这个gt，IOU的计算方法是将anchor与gt的中心点对齐后再算，与v1v2不同的是，选出来之后将这个anchor的object的Confidence标签值置为1。而v1v2中使用IOU作为置信度标签的坏处有以下原因：
- 很多预测框与gt的IOU最高只有0.7，导致很难训练。
- coco中的小目标IOU对像素偏移敏感，无法有效学习。
对于IOU大于一定阈值（本文是0.5）但又不是最大的，在loss中将其直接忽略。对于小于这个阈值的，定义为负样本，在loss中指对置信度学习产生贡献。
值得注意的是和faster rcnn不一样，v3对每个gt只分配一个anchor对其负责预测。anchor三种情况如下：
| 正例 | 与gt IOU最大 | 计算置信度、分类和定位误差 |
| 负例 | IOU<0.5 | 仅计算置信度误差 |
| 其他 | IOU>0.5但非最大 | 忽略 |
3.3. 类别预测
不同于以往对类别的logit输出进行softmax回归，v3使用多分类的方法，对每个类别的输出逐一使用sigmoid函数输出概率，让类别之间不是互斥的，也可以有多个类别同时输出高概率。
3.4. 多尺度目标检测
参考了特征金字塔FPN，V3在三个尺度上对gt进行预测，每个尺度输出的tensor尺寸为：
N * N *[3 * (4 + 1 + 80)]
其中N*N为grid cell数量，3为每个grid cell生产的anchor数量，4为tx,ty,tw,th，1为物体检测置信度，80为类别概率。
在本文中，输入256*256的图片，最后输出三个尺度，分别为：
- 52*52，负责小物体。
- 26*26，负责中等尺寸。
- 13*13，负责大物体。
由于深层的特征通过上采样与浅层特征进行融合， 使得浅层细粒度的像素结构信息融合深层抽象语义信息。
与v2一样，anchor也是通过kmean聚类算法计算获得9个anchor，每个尺度分配三个anchor。
3.5. 训练阶段标签分配
中心点落在三个尺度的grid cell上，由与gt的IOU最大的anchor去负责预测这个物体。
3.6. 特征提取器
也就是backbone，混合了Darknet-19和残差模块，总共有53个参数层（52卷积+1全连接），因此也称为Darknet-53
对比Darknet-19，ResNet-10，ResNet-152，在精度上不差，但是效率更高，如下图所示：
3.7. 训练
端到端，没有使用难例挖掘。另外使用了多尺度训练，数据增广，bn等标准操作。
3.8. 损失函数
损失函数主要分为三部分。
第一部分是正样本坐标损失，遍历所有anchor，如果是正样本，求bx，by，bw，bh的平方和损失，后面还乘以2*wi*hi用来惩罚小框。
第二部分是正样本的置信度和类别损失，也是遍历所有anchor，分布求执行度和类别的交叉熵损失并相加。
第三部分是负样本的置信度损失，预测值pc越接近0，损失越小。
4.其他细节
V3在IOU=0.5的Ap50上的性能很好，但是在[email protected]:0.95上性能不是很好，证明V3在精准定位上性能依然不行，但是对小目标的检测性能相比以前提高了，这归结于几个原因：
- grid cell个数增加，使得更容易应付稠密目标
- 为小目标定制的anchor尺寸
- 多尺度预测，融合深层语义特征和浅层细粒度特征
- 损失函数惩罚小框项
- backbone网络引入残差连接，性能提高
5. 参考
[1] 【精读AI论文】YOLO V3目标检测（附YOLOV3代码复现）
[2] 其他拓展：
江大白：https://zhuanlan.zhihu.com/p/143747206
郭冠华：https://zhuanlan.zhihu.com/p/40332004
Netron可视化YOLOV3网络结构：https://blog.csdn.net/nan355655600/article/details/106246355
木盏：https://blog.csdn.net/leviopku/article/details/82660381
太阳花的小绿豆：https://blog.csdn.net/qq_37541097/article/details/81214953
B站工程师Algernon鉴黄YOLO：https://github.com/thisiszhou/SexyYolo
B站工程师Algernon博客：https://zhuanlan.zhihu.com/p/76802514
损失函数：https://blog.csdn.net/qq_34795071/article/details/92803741
代码复现
Ultralytics公司：https://github.com/ultralytics/yolov3
https://github.com/qqwweee/keras-yolo3
https://github.com/bubbliiiing/yolo3-pytorch
cvpods：https://github.com/Megvii-BaseDetection/cvpods/blob/master/cvpods/modeling/meta_arch/yolov3.py
（完）
标签：gt,YOLOv3,尺度,IOU,论文,https,com,anchor,重读 From： https://www.cnblogs.com/harrymore/p/17362622.html