视频质量AI检测算法与LiteCVR视频质量诊断方案介绍

LiteCVR视频质量诊断方案可以实现对监控设备常见的异常抖动、画面条纹、画面模糊、偏色、亮度异常、对比度异常、冻结、丢失、噪声等机器故障及恶意遮挡、恶意变化监控场景的行为做出准确判断，还可以对监控设备因为网络异常等原因导致的设备断线、取流异常、码率是否达标等问题进行准确定位。

LiteCVR视频监控管理平台能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，平台可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。

1）亮度异常检测

该项检测针对图像发白、图像黑暗难以辨别物体、画面闪烁等现象，其故障原因通常可归纳为摄像头曝光控制器故障、增益控制器故障、摄像头被人为强光照射等问题。其检测算法较为简单，通过统计图像亮度分量的直方图并对亮度分布进行相应分析，然后设定经验阈值来判定当前图像是否亮度异常。

2）图像模糊检测

该项检测针对图像中物体不清楚、图像中空荡无误、图像对比度低等现象，其故障原因通常可归纳为聚焦不准、镜头覆盖灰尘和水汽、被人为涂抹和遮挡等问题。其算法实现上，可对图像数据在频域上进行频谱分析或者将图像分为N个大小相同的区域并统计其平均对比度。

3）画面冻结检测

该项检测针对画面静止不动的现象，其故障原因通常可归纳为摄像头采集端不刷新、线路传输故障、人为贴画等问题。其算法实现上，一种实现方式是采用帧差算法得到前后帧图像的差异变化，另一种实现方式可在视频帧中每隔一段时间抽取一帧图像，并分析其直方图，最后统计分析各帧之间的直方图相似度来得出算法检测结果。

4）信号缺失检测

该项检测针对画面白屏黑屏、无法获取码流、无视频信号等现象，其故障原因通常可归纳为网络无法连接、视频传输线路接触不良或损坏等问题。其算法实现上：一种实现方式可对图像的亮度通道做直方图统计，通过直方图结果的分析和离散性检测，得出算法处理结果；另一种实现方式可对图像进行二值化处理，然后针对黑屏或者白屏寻找最大联通区域，最终通过最大联通区域的面积来得出算法处理结果。

5）颜色异常检测

该项检测针对画面出现单一性全屏偏色、画面有闪动的彩色条带、图像中广泛分布杂色等现象，其故障原因通常可归纳为感光器件有颜色通道损坏、摄像头颜色平衡算法失效、颜色信号在传输过程中受到干扰等问题。针对该类问题，通用处理方式是首先将图像数据转换到特定的颜色空间，然后对其具体颜色通道进行分析。下面以YUV和HIS颜色空间为例，当转换到YUV颜色空间时，可对图像数据的UV色差分量进行分布统计和均值计算，设定合理的阈值得出检测结果。当转换到HIS颜色空间时，可以对色调分量H进行直方图统计，然后得出算法检测结果。

6）噪声干扰检测

该项检测针对画面中出现混杂的细纹、斜纹，以及由此导致的画面扭曲、模糊抖动等失真现象，较常见的有“雪花”噪声。视频噪声的检测较为困难复杂，主要由于不同种类噪声的无规律性，单一策略的检测算法难以全面覆盖不同种类的噪声。以“雪花”噪声检测算法为例，考虑到“雪花”噪声多为椒盐噪声，可首先对图像进行滤波处理，然后对比滤波前后的图像，得出算法检测结果。

7）图像晃动检测

该项检测针对画面出现持续性晃动的现象，其故障原因通常为摄像头立杆或者云台不稳等问题。对该类问题的检测，通常需要对一定时长的视频序列间各帧之间的运动信息进行统计分析。基于该思路，一种实现方法为对图像进行特征点检测，然后在一定的视频序列中，跟踪该特征点的运行矢量，然后得出算法检测结果。另一种实现方法，可将图像分为相同大小的N个区域，然后记录一定时长的视频序列内各个区域的运动方向，然后得出算法检测结果。

8）条纹干扰检测

该项检测针对画面中出现的横向条纹、纵向条纹、网状条纹等现象，其故障原因通常可归纳为设备接地线不当、信号传输线受到各种频率干扰、发送接收设备同步不当等问题。针对该问题的算法通常针对干扰条纹的图像特征进行展开，下面以横向条纹的检测为例，画面中条纹位置附近梯度波动较大，因此可分别做图像数据x和y方向的梯度图来突出条纹特征，然后在梯度图像上做直线检测，然后根据检出直线的长度和运动信息给出算法检测结果。

9）黑白图像检测

该项检测针对画面显示为黑白图像（无色彩信息）现象，其故障原因通常可归纳为感光器件有颜色通道损坏、摄像头颜色平衡算法失效、颜色信号在传输过程中受到干扰等问题。其算法实现较为简单，在将图像数据转换到YUV颜色空间，分析UV分量的分离度，与设定的经验阈值进行比较便可以得出算法检测结果。

10）对比度异常检测

该项检测针对画面中物体轮廓模糊等现象，一般是由相机虚焦或镜头受到污染导致。该项检测算法可严格按照图像对比度的定义设计，对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，即指一幅图像灰度反差的大小。因此可统计出明暗区域最亮的白和最暗的黑的像素值，做差后给出算法检测结果。

11）PTZ失控检测

该项检测针对云台无法转动、云台错误响应控制指令等现象，一般是由云台机械故障、控制指令配置不当导致。该项检测算法的设计需要配合云台控制指令，首先由诊断服务器发出云台控制指令，然后由算法分析发送指令后图像的运动轨迹，最终将控制指令与图像该段时间内的运动轨迹进行比较，从而给出算法检测结果。