摄像头拍摄运动物体，产生运动模糊/拖影的原因分析

目录

​​1、问题背景：​​

​​2、问题分析：​​

​​3、运动模糊/拖影产生的原因分析；​​

​​1）曝光时间过长​​

​​2）相对运动导致的运动模糊​​

​​3）时域降噪强度过大​​

​​4）宽动态模式下双帧融合​​

​​5）果冻效应 ；​​

1、问题背景：

抓拍出来的运动车辆的图片模糊、有拖影 ，客户这边要求用 提高帧率、以及减少曝光时间来解决这个问题，下面总结分析一下运动模糊产生的原因，以及客户的要求是否合理，能否解决问题；

2、问题分析：

高速路上抓拍车辆的话，一般应该是如下两种情况：

a、车速太快，相机没抓拍到车辆；

能抓拍到车辆，但拍出的照片是糊的；

（ 也叫 Montion artefact ），曝光时间过长是会导致模糊、拖影的产生，而且提高帧率也确实能降低曝光时间，但提高帧率影响较大（mipi速率增加，对平台性能有要求、低照度下亮度变暗噪声变大），所以可以暂时先不考虑调节帧率，先确认具体原因后再去做修改 。

3、运动模糊/拖影产生的原因分析；

1）曝光时间过长

出现原因：拍摄运动物体时，只有当曝光时间足够快，物体相对于相机就是相对静止的，否则运动物体整个运行过程都是在cmos上成像的，所以拍出的照片就会模糊，有拖影；

措施：

a、调试时，先将曝光时间 manual 住，减小曝光时间（积分时间），看是否有改善，确认是否是曝光时间过长导致；

b、若此场景下达到了设置的最大曝光时间，可将最大曝光时间减小即可，一般驱动里最大曝光时间设置（积分时间）是：VTS - frame_offset ；

c、若场景不是很暗，曝光时间没走到最大，也可以减少最大曝光时间至一个合适的值，但此时由于曝光时间减少，图像变暗，只能通过调节sensor 增益来补偿，噪声必然会严重；

d、其他比较好的方式是，可以换成高感光度的sensor、大光圈的镜头（就是因为曝光不充分，所以要曝光时间长）；

e、另外提高帧率也是可行的，这样单位时间内每帧的曝光时间就会减小了，但低照度下图像也会变暗，会带来噪声 ；

2）相对运动导致的运动模糊

出现原因：

比较常见的当我们用手机拍照时，手没稳住抖了一下，拍出的画面就会模糊，尤其是比较近的情况下，相机和被摄物产生了比较大的相对运动，也就是整个运动过程都成像在sensor上了，导致成像模糊；

3）时域降噪强度过大

出现原因：

当时域降噪强度越大时，运动物体的拖影就会越明显；实际时域噪声只不过是表现出来的一种噪声，就是普通的空域噪声，因为有些噪声是与位置无关的，所以看视频时会出现噪声的抖动（也就帧与帧之间同一位置的噪声程度不一样），可以把时域降噪理解为前后多帧的叠加，所以对于运动物体，拖影就很明显（运动物体对于帧与帧之间位置变化很大）；

注：时域降噪也不止是多帧的叠加，不然抖动的噪声也会影响清晰度，降噪模块中，还有相应的运动检测模块，画面运动的部分做时域降噪，没运动就做空域降噪；

措施：

a、可先bypass 时域降噪模块，看是否拖影就没了；

b、确认是时域噪声导致后，判断下当前环境亮度，因为时域降噪强度都是根据增益值来调节的（环境越暗，增益越大，噪声越明显，去噪程度就要越大），若环境还是很亮的话，先去确认下曝光参数是否正确；

c、排除了错误的曝光参数，调用了下一档强度时域去噪导致后，那就可以适当降低时域降噪的强度看看了，但要注意动态噪声的权衡；

4）宽动态模式下双帧融合

出现原因：当sensor 选择HDR模式时，会输出长短曝光的两帧（对应的是dol 的hdr，digital overlap 也就是长曝光还没有readout完，短曝光就开始曝光了 ），ISP做双帧融合，输出一帧动态范围较高的图像；sensor 在进行长短曝光时，中间会有一个时间间隔，当对运动物体成像时，两帧图像由于存在时间差，所以捕捉到的画面是有差异的，当isp将两帧融合后，就会出现上图中类似运动拖尾的现象，但这种拖影不是很长，而且是在高亮处比较明显，所以可以以此来做区分 ；

Montion artefact，可以换用DCG （dual conversion gain）的sensor 来避免，是通过高低gain的方式，输出两种不同的曝光，就不存在帧间时间差的问题 ;

5）果冻效应 ；

出现原因：使用逐行曝光的sensor所致，因为sensor是逐行曝光的，行与行之间有时间差，当拍摄快速运动的物体时，会导致成像物体会有扭曲，被拉长了，注意要和曝光时间导致的拖影做区分，曝光时间过长会有拖影，但不会导致成像物有变形；

措施：

a. 通过提高帧率、减少一行时间可以减少曝光时间，能缓解果冻效应 。

b. 换全局快门（Global Shutter）的 sensor，能彻底解决果冻效应，全局快门的 sensor 可以允许所有的像素在同一时间开始和结束曝光，曝光结束后再顺序读出。因为所有像素曝光的时间都在同一时间点，不会有时间差，所以不会出现拍摄快速运动物体时的果冻效应。

注：global shutter 和 rolling shutter 的相机怎么选择呢？

--- g lobal shutter 曝光时间更短，但会增加RMS读出噪点， Rolling shutter可以达到更高的帧速？？ ，但当曝光不当或物体移动较快时， 会出现部分曝光(partial exposure)、斜坡图形(skew)、晃动(wobble) 等现象；曝光时间短的应用（如<500μs）适合global shutter，曝光时间长（如大于500μs）时， 选择rolling shutter可以有更低的噪声和帧速 ？？ ；

--- 比如用在车载、机器视觉中的Camera，对车辆、人脸、人物的检测识别有很高的要求，果冻效应对后端算法的检测识别有致命影响，所以一般使用global shutter，安防、手机及一些消费类的相机，主要是用的rolling shutter ，它们对帧率的要求不高（安防监控一般都是25fps/30fps），低照度下对噪声有一定要求、曝光时间比较长；

--- 另外global shutter一般都是CCD sensor，成本上要比cmos sensor高，且global shutter 是所有像素同时曝光，需要处理大量的数据，对平台的性能也有要求，这方面也是要考虑到的；