物体检测序列之一:NMS

IoU (Intersection over Union)，交并比，是衡量物体检测模型在特定数据集上检测效果好坏的一个常用的标准，通常情况下，想要通过IoU来衡量物体检测模型好坏需要具备以下几点：

1.  在物体检测任务重，是指数据集通过人工手动(偶尔也有机器)标注出的物体轮廓框的标注信息(ground truth，常常会标注出物体轮廓框的大小以及轮廓框的类别等基本信息)，如图所示。

2.  通过模型预测出的轮廓框信息。

下图给出如何计算IoU的计算示例，计算IoU的matlab代码给出示例以供参考。图中，绿色框是ground truth,红色框是模型预测的结果。

上图中，如果绿色框面积是ground truth，红色框是预测的坐标位置，那么计算两者的IoU之后，可以看到，IoU越大，预测的结果和实际的ground truth重叠面积越大，在物体检测中，希望模型最后预测的结果在类别和位置上均能够和ground truth完全重叠。

NMS (non-maximum suppression), 非极大抑制，在物体检测任务中，通过分类器得分score过滤最后可能会剩余几千或者几百个候选窗口满足得分，但是窗口和窗口之间往往重叠性非常大，此时利用NMS对窗口进行过滤。具体过程如下，每一个候选窗口region的某一类得分为score，首先将该类的候选窗口按照得分scores从高到低进行排序，而后将score最大的region的保留到输出清单，剩余的region通过其坐标计算和最大score的region的IoU,将IoU大于某个阈值的regions扔掉不做输出，将和最高得分的region的IoU比阈值小且得分最高的region保留到输出清单，成为第二高score的region，将该region作为比较对象，再循环按照上述方式进行逐一计算IoU和候选窗口筛选。如此以来，会将重叠性特别高的候选窗口筛选掉一部分，从而保留有效且具有区别性的候选窗口作为输出。NMS过程是针对同一类的regions进行筛选的，因此如果物体检测器有C类，那么需要C次如此的操作。NMS和计算IoU的代码可以参考如下代码，代码来自faster rcnn的官方代码包[faster rcnn]。如图所示，是基于py-faster-rcnn的demo运行的检测结果，其中选用的模型是官方公开下载的ZF模型，测试数据是开源程序中demo自带的，分别选择几类检测结果，分析了nms前后的效果，图中，左图是选择的该类预测score得分大于0.8的所有结果，右图是对左图经过nms (iou>0.3)筛选后的结果。从图中可以看到，即使经过预测阈值筛选，在进行nms筛选前，依然有很多结果重叠度很高的预测结果存在，而经过nms筛选后，重叠的预测结果大大降低，nms大大提高了检测准确率(precision)和召回率(recall)。

计算IOU的代码附上

function pick = nms(boxes, overlap)

x1 = boxes(:,1);
y1 = boxes(:,2);
x2 = boxes(:,3);
y2 = boxes(:,4);
s = boxes(:,end);

area = (x2-x1+1) .* (y2-y1+1);
[vals, I] = sort(s);

pick = s*0;
counter = 1;
while ~isempty(I)
  last = length(I);
  i = I(last);  
  pick(counter) = i;
  counter = counter + 1;
  
  xx1 = max(x1(i), x1(I(1:last-1)));
  yy1 = max(y1(i), y1(I(1:last-1)));
  xx2 = min(x2(i), x2(I(1:last-1)));
  yy2 = min(y2(i), y2(I(1:last-1)));
  
  w = max(0.0, xx2-xx1+1);
  h = max(0.0, yy2-yy1+1);
  
  inter = w.*h;
  o = inter ./ (area(i) + area(I(1:last-1)) - inter);
  
  I = I(find(o<=overlap));
end

pick = pick(1:(counter-1));