基于深度学习的最新表面缺陷检测方法
- 传统方法(人工特征提取)：通过图像处理、图像分析等方法提取缺陷特征
- 可分为三类:统计方法、光谱方法和基于模型的方法
- 缺点：复杂的工业环境使得采集到的图像存在对比度低、噪声大等问题，使得传统的检测方法难以达到令人满意的检测性 能。
- 深度学习方法:通过一定数量的缺陷样本来学习缺陷特征，然后自动提取缺陷特征
- 根据任务目标的不同可分为：缺陷分类、缺陷检测、缺陷分割：
- 缺陷分类，可以检测得到的产品图像中是否存在缺陷以及缺陷的类型。
- 缺陷检测方法，在缺陷分类方法的基础上，可以将缺陷的位置以矩形框架的形式定位，不仅需要缺陷类别信息，还需要缺陷位置信息。
- 缺陷分割方法，除了缺陷类型、缺陷区域也可以在像素级上从背景中分割出来。
1.缺陷分割网络：全卷积网络(FCN)、U-Net、DeepLab、Mask RCNN
2.FCN和U-Net更适合实时缺陷分割，而SegNet、DeepLab和Mask RCNN仍未应用于实时缺陷分割。
2.目前主流的表面缺陷检测算法:一阶段算法和两阶段算法，一级缺陷检测算法具有更快的检测速度，而两级缺陷检测算法具有更高的检测精度。一级缺陷检测算法更适合于实时表面缺陷检测。当将两阶段缺陷检测算法应用于实时表面缺陷检测时，为了提高检测速度，通常将其骨干网络替换为轻量级网络。
- 一阶段算法：YOLO系列、SSD系列
- 两阶段算法：Region-CNN系列
数据集
-
NEU-CLS, Elpv-dataset, Sewer-ML, and CODEBRIM是表面缺陷分类常用的数据集
NEU-CLS:包含6种类型的钢带表面缺陷，每种类型有300张图像，图像分辨率为200 × 200。
Elpv-dataset:包含2624张太阳电池图像，图像分辨率为300 × 300。
Sewer-ML:包含18种下水道缺陷，共130万张图片。
CODEBRIM：包含5种混凝土桥梁缺陷，共1590张高分辨率图像。 -
NEU-DET、DeepPCB、GDXray Casting和Road Damage是表面缺陷检测常用的数据集。
NEU-DET：包含6种类型的钢带表面缺陷，每种类型有300个图像，图像分辨率为200 × 200。
DeepPCB：DeepPCB包含6种印刷电路板表面缺陷，共1500对图像。
GDXray Casting：包含2727张x射线金属铸造图像，图像分辨率从256 × 256到768 × 572。
Road Damage：包含8种路面缺陷，共9053幅图像，图像分辨率为600 × 600。 -
NEU-Seg、MT Defect、CRACK500、AITEX、RSDDs和MVTec AD是表面缺陷分割常用的数据集。
NEU-Seg：包含3种类型的钢带表面缺陷，每种类型有300个图像，图像分辨率为200 × 200。
MT Defect：包含5种磁砖表面缺陷，共1344张图像。
CRACK500：CRACK500包含500张路面裂缝图像，图像分辨率为2000 × 1500。
AITEX：包含7种不同面料的12种表面缺陷，无缺陷图像140张，缺陷图像105张，图像分辨率为4096 × 256。
RSDDs：包含67张快速铁路图像和128张普通/重载铁路图像。
MVTec AD：包含73种不同类型的缺陷，共5354张图像，图像分辨率在700 × 700到1024 × 1024之间
{{uploading-image-255415.png(uploading...)}}
性能评估的常用度量 -
混淆矩阵：混淆矩阵是一个记录每个类别的预测样本数量和真实样本数量的矩阵。对角线上的值表示预测值与真实标签相同的样本数量，即正确分类的样本数量，偏离对角线的值表示错误分类的样本数量。
-
准确性(acc): 准确性是最常用的评估指标，可以用来评估模型的整体性能。然而，对于缺陷检测模型来说，最常见的问题是每个类别中的缺陷样本数量是不平衡的。
-
计算公式和其他指标，其中TP (True Positive)为正确分类的阳性样本数量，TN (True Negative)为正确分类的阴性样本数量，FP (False Positive)为错误分类的阴性样本数量，FN (False Negative)为错误分类的阳性样本数量。Precision衡量模型不误分类阳性样本的能力，recall衡量模型找到阳性样本的能力，而F1-measure可以被认为是Precision和recall的加权平均值。
-
平均精度(mAP): mAP是基于目标检测的表面缺陷检测方法中最常用的评价指标。对于缺陷检测任务，不仅需要对缺陷进行分类，还需要对缺陷进行定位。缺陷检测模型的性能需要用mAP来评估，而不是准确性。mAP对应如下：
-
k是类的数量。在COCO挑战中，mAP是不同IoU阈值(0.5 ~ 0.95，步长为0.05)和类别下AP的平均值，如下:
其中j为[0.5,0.95]中间隔0.05的IoU阈值。 -
平均交联(mIou):mIoU是最常用的模型评估度量。缺陷分割的本质是对图像中每个像素点的缺陷类别进行预测。在缺陷分割中，基于预测像素与真实像素的交集和并，可以得到某一类缺陷的IoU。预测像素是TP和FP的总和，而真实像素是TP和FN的总和。mIoU为每类借据的平均值，如下:
其中k + 1是类的数量和背景。