物体检测、图像分割是CV领域的两大任务,尤其是物体检测,其在各个领域和AI比赛中,更是占有举足轻重的位置。
1、概述
图1描述了起源于图像分类的主要计算机视觉类任务。
图1 发源于图像分类的计算机视觉任务
为什么如此划分?因为在更早的时候,AI圈还停留在机器学习的时代,那时候的算法只有KNN、决策树、朴素贝叶斯和SVM等,外加AI界的设计模式:集成学习,搞出了一些组合式算法,比如随机森林、XGBoost等,这些算法大多只能对结构化(一张二维表)的数据进行处理,而对图像、音频、视频类的数据,往往不太胜任,要么是计算精度不够,要么就是计算速度太慢,对于那个时代的王者SVM算法,其计算速度是其致命的硬伤,无法规避,导致今天其已经很少使用,只留下了算法思想的价值。
加上算力和算据的极大限制,因此早期机器学习类的算法,大多只能对图像类任务进行较为简单的处理,比如输入一张较小的图像,将其用决策树或SVM等进行分类,然后用模式匹配等算法,找找图像里有没物体。
进入到互联网时代后,尤其是移动互联网时代,算据规模接近天文数字,英伟达显卡提供了充足的算力,深度学习的出现,正所谓天时、地利、人和三者合一,将时代推进到了AI变革的时代,图像分类任务就成了最基本的视觉类任务,在一张图像被成功分类后,自然而然就想进一步知道图像中某个物体的具体位置在哪,这个物体的类别是什么,这时候物体检测任务就呼之欲出了,而有了物体检测任务,又想更进一步将物体内容同背景区隔开,这个就是分割任务。
分割任务又分为语义分割和实例分割,语义分割是不同类别的物体,用不同的颜色区分,相同类别的物体,用同一颜色,即语义分割,只区分不同物体的类别。而实例分割,无论物体间的类别是否相同,都将它们视为不同的,用不同颜色标识。Meta更是打着分割万物的旗号,推出了SAM模型,这种模型不再是简单的语义分割、实例分割和全景分割,而是这几种任务的结合体。
在所有的计算机视觉任务中,物体检测是很核心的,也是很基础的任务,从物体检测派生出了图像分割、人脸检测、OCR和物体跟踪这些任务。
2、物体检测
物体检测算法有基于锚框和不基于锚框两种,Faster RCNN、SSD、YOLO这些都是基于锚框的物体检测算法,而DLTR、FCOS这些算法是不基于锚框的。
2.1 物体检测套路
不论哪种物体检测算法,其套路不外乎切、提、分三部曲,区别在于这三个步骤的执行顺序,以及如何切、如何提、如何分,不同的检测框架,其具体的切/提/分策略是不同的。
- 切
即切图,将原图中的某一部分切出来,进行该区域内的物体检测,至于具体切哪个位置,以及切图宽高大小,不同的物体检测算法不一样。切这个动作,其最终目的是构建图像金字塔,是提取多尺度特征的一个必要手段。
- 提
即提取特征,对原图或切下来的子图,采用CNN、Attention等进行特征提取。
- 分
即分类或回归,对原图或切下来的子图,分类其内所预测物体的类别,或回归其内所预测物体的偏移量。
2.2 基于anchor的物体检测算法
基于anchor的物体检测算法众多,本文以MTCNN和SSD为例,简要介绍一下。
2.2.1 MTCNN
MTCNN是一种人脸检测框架,本质上也是一种物体检测框架,稍加修改,也可用于其他物体检测任务,而MTCNN也是一种基于anchor的检测框架,相较于SSD、YOLO,其anchor种类比较单一,只有一种正方形的anchor,因为人脸都是类方形的,所以其逻辑和功耗相较SSD、YOLO就简洁许多。
MTCNN的核心思想是三个臭皮匠,顶得一个讲诸葛亮,即用三个简单模型(P-Net、 R-net、O-net)的串行联接,代替一个复杂的模型,通过实践验证,其效果还不错,即使性能上比复杂的单一模型稍差点,但效果也还不错,而且MTCNN模型非常简单,对存储、算力、功耗的要求极低,这是其他模型所不能比拟的。
其工作流程简要概括为切、提、分,即先从原图切下子图,然后对子图提取特征,最后基于提取的子图特征,预测子图中的物体分类及位置,如图2所示,MTCNN将原图按几种不同的比例进行压缩,再将压缩后的图片传给MTCNN的P-Net进行滑窗(CNN卷积核)处理,这就实现了多尺度特征的提取。
图2 MTCNN工作原理
2.2.2 SSD
SSD英文全称Single Shot MultiBox Detect,是一种单阶段多任务的通用物体检测框架。
SSD的工作流程是提、切、分,即上来先一顿猛如虎的提特征的操作,提取出不同层次的图像特征,然后基于这些不同深度的图像特征,将原图划分为大小不同的8732多个子图,图像特征深度越浅的,其感受野越小,对应原图的子区域范围越小,越能检测小的物体,反之则越大。每个特征图会相应地将原图像均分(切图)为特征图宽高乘积(宽*高)个子图,再然后会对这些子图预测其内包含的物体及其位置偏移。
SSD原理如图3所示,图中红框表示SSD通过特征图金字塔的方式,构建了对图像多尺度特征的提取,即每个特征图对应原图的一个切分粒度,比如8*8的feature map,将原图近似平均地划分为8*8=64个子图,然后SSD对这64个子图进行物体检测,其他层级的特征图工作方式以此类推。
图3 SSD原理图
2.2.2.1 SSD多尺度特征
SSD的多尺度特征提取,基于不同层次的特征图实现,图3中一张300*300的图像,先经SSD backbone各CNN层次的卷积计算,再依次通过6层自定义卷积层,依次得到38*38、19*19、10*10、5*5、3*3、1*1共计6张特征图,这6张图用来对原图进行不同scale尺寸的子图切割,以38*38特征图为例,其将原图300*300大小的图像,近似均匀地切分为38*38=1444个子图,每个子图大小约为(300/38, 300/38)的大小而这1444个子图从上到下、从左到右地排布在原图上,在此基础上,SSD对每个子图设计了高矮胖瘦各不相同的4个anchor,然后SSD就对每一个anchor预测其内是否有物体,以及物体是哪个分类,以及物体位置相对于子图的偏移。
所以,特征图越大,其能分辨的特征越局部,而特征图越小,其能分辨的特征就越全局,对于小物体检测,需要增加尺寸大的特征图数量,减少尺寸小的特征图数量。
2.2.2.2 SSD anchor
SSD提出了8732个大小不一的anchor,兼顾大小不同、高矮胖瘦不同的物体检测,如图4所示。
图4 SSD锚框分布
2.2.2.3 SSD损失函数
SSD损失函数包含2个部分,一部分是物体类别预测损失的交叉熵Loss1,一部分是预测物体位置偏移的损失Loss2。
- 物体类别预测的Loss1损失
这类损失,采用的是交叉熵计算,采用了一个trick,用于平衡正负样本不均衡的问题,即对每张图像,正样本为n,则对应选取3n的负样本,也即正样本的权重为1。
对于正负样本不均衡的问题,也可借鉴Focus Loss的思路,给正负样本的loss,分别设置一个权重,以减轻样本不均衡带来的问题。
- 物体位置偏移预测的Loss2损失
SSD采用的是L1SmoothLoss,L1SmoothLoss是对L1损失函数的改进,将0附近的点变得可导且光滑,更容易使模型训练收敛,如图5所示。
图5 L1损失、L1SmoothLoss效果对比
2.2 无anchor的物体检测算法
此类物体检测算法,规避了因引入anchor而带来的额外的庞大计算开销,实际运行效果也还不错,代表算法有DETR、FCOS、Yolov8等。
2.3.1 DETR算法
DETR算法全称为Detection Transformer,是一种基于Transformer的物体检测框架,先通过传统CNN提取图像特征为一个Contextual Vector,经位置编码后,利用Transformer encoder对Contextual Vector进行特征提取,然后使用Transformer decoder结合object queries生成式地输出目标物体的位置和物体类别,算法原理如图6所示。
图6 DETR算法原理
DETR算法的缺点是训练慢、所需的数据规模也比较大,在小物体检测上表现还有所欠缺,但其优点是算法架构灵活,很容易地应用于全景分割,在较大物体的检测上效果不错。
2.3.2 FCOS算法
FCOS算法是基于anchor-based算法衍生出的一种anchor-free算法,图7描述了FCOS算法原理。
图7 FCOS算法原理
从算法原理图上看,FCOS同SSD、YOLO差异似乎不是太大,至少在特征提取、多尺度这块,三者差异不大,都是通过特征图实现多尺度,以及通过提取局部区域感受野的特征,作为后续物体类别、位置偏移的预测提供依据。
FCOS与SSD、YOLO的不同,在于对特征图上点的处理,SSD会基于特征图的每个点,设定一些anchor,然后做后续GT框的分配和预测后的NMS处理等等,而FCOS对于特征图点的处理,是将其映射回原图中的一个点,如果这个点恰好在某个GT框的内部,则该特征图点对应子块在原图中的位置,则为一个正样本。之后FCOS基于每个特征图的每个特征点,通过Head分支预测其对应块的物体类别、center_ness、l、t、r、b,center_ness是一个权重项,用来抑制预测目标同GT框中心点相距很远,从而使预测质量低下的情况。
3、图像分割
图像分割是基于物体检测任务,自然而然派生出来的任务,物体检测本质上还是一种粒度较为粗糙的检测任务,只是对物体所在位置画了一个检测方框,而物体本身面积可能在该检测框内所占面积还不到1/10。
图像分割是一种精度要求较高的任务,本质是像素级的分类任务,即对图像中的每个像素进行分类,经典框架有UNet,以及后续的Deeplab、Yolact等。
UNet框架采用的是一种Encoder-Decoder,如图8所示,UNet的左半边是不断CNN及降采样的过程,这个过程是Encoder的编码过程,而UNet的右半边,是不断转置CNN和上采样的过程,这个过程是Decoder的解码过程,编码过程和解码过程会有shortcut短接的数据连接,以使用上采样时可以访问原始的低层特征。
图8 UNet架构
UNet框架虽然简单,但其应用价值非常重要,后面扩散模型Stable Diffusion Model(LDM)等很多地方都会用到。
4、总结
计算机视觉类的常见任务有图像分类、物体检测和图像分割,这些任务已经派生出了非常多的经典框架,可根据任务的实际情况,酌情使用。
关注更多安卓开发、AI技术、股票分析技术及个股诊断等理财、生活分享等资讯信息,请关注本人公众号(木圭龙的知识小屋)
标签:分割,特征,检测,物体,算法,概述,图像,SSD From: https://www.cnblogs.com/tgltt/p/18516310