前言：
对很多刚入行做camera tuning的小伙伴来说，可能对图像质量还不是很了解，包括我自己刚开始接触这一行的时候也是一样，不清楚ISP是什么，为什么要调它，影响画质的因素又有哪些，哪些是ISP能调的，哪些又不能调的，所以本文主要是从概念上简单介绍下图像质量，从图像质量介绍、成像系统介绍、影响图像质量的典型因素举例，三块内容来概述的，希望对刚入行的小伙伴有所帮助，可以加深一下对图像质量的理解；
目录
1、图像质量介绍
1-1、成像产品的分类
1-2、图像质量分类
1-3、成像产品的图像质量要求
2、成像系统介绍
2-1、成像系统组成
2-2、成像系统的两条基本主线
2-3、成像系统的实时控制
3、影响图像质量的典型因素举例
3-1、光学及镜头、IR相关的图像质量问题
3-2、CMOS Sensor 相关的图像质量问题
3-3、ISP 相关的图像质量问题
3-4、Encoder 相关的图像质量问题
3-5、显示相关的图像质量问题
1、图像质量介绍
1-1、成像产品的分类
1-2、图像质量分类
- 审美型 （ 人眼评判 ）
no artefacts ! color，noise，detail，focus speed、etc
- 信息型（ 机器识别、检测 ）
visibility，certain level tolerace to artefacts、etc
- 根据图像质量需求的成像产品分类
1-3、成像产品的图像质量要求
审美类成像产品的图像质量要求
- 单反相机 -- 真实的还原现实世界，需要遵循一定的客观成像标准CIPA，ISO，如有艺术创作的需要可以用PS等软件对照片进行后处理；
- 手机相机 -- 偏向于人眼视觉，对人/人脸的拍摄有一定要求；
- 无人机/ 运动相机 -- 视频的稳定性（防抖、不允许画面突变），对人/人脸的拍摄有一定要求；
- 监控相机 -- 低照度噪声（时域，空域）、HDR、高锐度、对人/人脸的拍摄有一定要求；
信息类成像产品的图像质量要求
- 机器视觉相机 -- 人/人脸、 高感光度；
- Home Camera -- 家用相机，和监控相机类似，对人脸识别有一定要求；
- 车载相机 -- 高动态范围、高感光度、高帧率、motion artefacts、stitching artifacts、满足一定的人眼视觉（有前视/后视的摄像头是人眼来看的）；
2、成像系统介绍
2-1、成像系统组成
- 要理解图像质量，就必须要了解整个成像系统的组成，搞清楚整个成像系统中有哪些模块会影响图像质量，如上以成像过程来描述，光源（包含人造光、自然光、闪光灯）照到物体上，光线反射进入成像系统，经过镜头（对于变焦镜头有驱动马达调整镜片位置，实现变焦）、光圈、滤光片、快门到达Sensor上成像，接着出来数字信号传到ISP进行图像处理，ISP输出YUV格式的数据，用于显示或者经过编码后进行存储，又或者用于机器视觉；所以影响图像质量的因素有很多，包括光源、镜头、滤光片、Sensor、ISP、显示器的显示、编码 ........
- 理解一下就是光源、镜头、光圈、滤光片、快门、Sensor构成了一个完整的光学成像系统，但由于光学和半导体的缺陷与局限会导致成像的一系列问题，就需要经过ISP，用数字信号处理的方法去克服光学，半导体的缺陷导致的成像问题，处理完并得到较好的图像后，就用来进行图像的显示、存储、或者机器视觉的检测识别等应用；
- 总结：整个成像系统是一个软硬结合、光机电结合的复杂系统，做有些系统架构和硬件架构的人，有必要了解整个系统，才能够设计出正确的架构，包括做图像质量的也是从系统角度去处理问题，同样要了解整个系统，才能更好的完成工作；
2-2、成像系统的两条基本主线
图像重建 --- 清晰勾画出正确的景物（ 图像重建的过程，就是用数字信号处理的方法去克服光学、半导体的缺陷，清晰勾画出正确的景物 ）
- 光学缺陷与局限： MTF、像差、场曲、vignetting（光晕，暗角）/luma shading（亮度阴影）、glare（眩光）、Geometry Distortion（几何失真）
- 半导体缺陷与局限：defect pixel、sensitivity、dynamic range、noise：temperal noise、fix pattern noise、color noise、spatial noise
色彩重建 --- 还原出准确丰富的色彩 （ 有时还要符合人们主观倾向的色彩 ）
- 光学缺陷与局限：Color shading、chromatic aberration、purple fringe
- 半导体缺陷与局限：Cross talk、balck level
2-3、成像系统的实时控制
一般从硬件厂商那边拿到的相同产品，成像效果都是差不多的，所以要有更好的用户体验就必须在软件上面增加自己的优化，如3A算法、后处理算法；
- 系统的静态参数：black level、shading、noise profile、white balance、chromatic aberration correction
- AE\AWB\AF（自动曝光、自动白平衡、自动对焦）：达到曝光/白平衡/对焦的“快”、“准”、“稳”
- 系统的动态参数：shading，CCM， black level，noise reduction，sharpening
3、影响图像质量的典型因素举例
3-1、光学及镜头、IR相关的图像质量问题
- 畸变
拓展： https://app.yinxiang.com/fx/9e7f52b0-0fd6-4ab4-96fd-7f150ce8eebd
出现原因：
为什么不一致呢？）中央放大率大于边缘放大率产生桶形畸变，常见短焦镜头，反之产生枕形畸变，常见于长焦镜头；
措施：有相应的畸变校正模块可以矫正畸变，但会损失视场角，所以需要权衡到一定范围；
- luma shading
出现原因：
1、镜头靶面小于sensor靶面；
2、 Lens CRA小于Sensor CRA，芯片边缘受光不足 ；
注 ① ：Lens CRA： 从镜头到传感器一侧，可以聚焦到像素上的光线的最大角度。
注②： Sensor CRA： Micro Lens在保证像素感光效能为中心80%的前提下，能纠正的最大光路角度 （ 就是如上的 Micro Lens与 光电二极管的 l位置存在 一个水平误差, 用来匹配Lens ）。
措施：
1、Sensor和Lens 选型时，靶面搭配正确、CRA角度尽可能接近，要求在3度以内 ；
2、ISP中有相应的镜头阴影矫正模块，但四周也不能提的过亮，否则会带来噪声；
- color shading
详见： What is CRA_硬件工程师炼成之路的博客
出现原因：
LensCRA大于SensorCRA，光线折射到临近的pixel，导致pixel之间出现串扰 ；
注 ① ：Lens CRA： 从镜头到传感器一侧，可以聚焦到像素上的光线的最大角度。
注②： Sensor CRA： Micro Lens在保证像素感光效能为中心80%的前提下，能纠正的最大光路角度 （ 就是如上的 Micro Lens与 光电二极管的 l位置存在 一个水平误差, 用来匹配Lens ）。
注 ③ ： 如上图1，sensor 上micro lens的作用就是聚焦光线，把入射光线引入到正确的像素点上，当入射光线的CRA角度超过sensor 的CRA时，就会导致经过R-filter的光线，照到了G像素上，造成像素之前的串扰，出现color shading；
注 ④ ： 如上图2，Lens的CRA很难是0，视场范围越大的镜头，其CRA值就越大（也就是入射光线在sensor上与光轴的夹角越大），sensor 上的微镜头要与镜头做匹配，就需要通过移动微镜头将大角度的入射光线引导到正确的像素上，才能保证图像正常，避免color shading出现；如图2若Lens CRA 大于Sensor CRA，则sensor无法通过位移微镜头，矫正全部的大角度入射光线到正确的像素，会导致出现color shading，若Lens CRA 小于 Sensor CRA，则sensor 边缘像素就会受光不足，导致出现luma shading 。
措施：
1、sensor和lens 选型时，首先要保证CRA角度要尽可能接近，要求在3度以内；
2、ISP中也会有相应的Lens shading calibration 模块去做进一步的处理，通常是luma shading 和 color shading 放在一起做，luma shading的部分，主要是着重四周和中心的均匀度补偿；color shading部分是根据R、G、B 3个不同的通道，做RG,BG的补偿， 保证中心和四周RG、BG的比例是一个相等的常数；
- 眩光、鬼影
出现原因：强光直接射入成像系统，或者入射光在镜片、IR之间的反射、散射，导致出现类似光晕及异常的成像现象，光源周围类似雾化的现象叫眩光，画面中多出的异常影像叫鬼影；
措施：理论上不可以消除，只能通过镀膜、或者IR来减弱 ；
- 紫边
出现原因：
镜头没有把不同波长的光线聚集到同一焦平面（不同波长的光线焦距是不同的）；
成像系统一般将绿色通道准确对焦，然而由于镜头色差，蓝色和红色通道不能完全准确对焦，从而使物体边缘出现紫红色的色边；
注：1>. 实际就是色差导致了R ≠ G ≠ B，所以才会有了颜色；紫色就是R、B通道的分量 > G通道的分量；
措施：对镜头做色差矫正、ISP中有相应的去紫边模块；
3-2、CMOS Sensor 相关的图像质量问题
- 坏点
出现原因：
1、工艺上：在sensor的制作过程中有灰尘等引起；电子产品的寿命有限，导致使用时间增加而引起坏点；
2、noise: sensor gain增大，温度增高等；
措施：sensor 和 ISP 都有相关去坏点的模块，ISP去坏点强度过大的话，会导致损失清晰度，需权衡
- 噪声（Fix pattern noise 、热噪）
出现原因：
1、FPN和sensor 相关，类似上图这种不动的竖条纹都和sensor相关，横条纹和硬件相关；
2、热噪，就是camera 产品内部温度过高，导致的sensor 出现噪点，可能与芯片功耗过高、外壳空间小 ；
措施：
1、bringup sensor时，提高增益，验证是否有FPN，有的话就要找sensor 厂修改sensor 相应寄存器；
2、主控降频，降低功耗、更改机构（换4层板、主控芯片和sensor 分开、换大空间的外壳大散热片）、sensor有类似的高温参数的修改；
- sensor filp/mirror
sensor mirror/filp功能是硬件设计时，来保证和设计的成像方向保持一致，不能作为功能去使用；
原因：
1、经过mirror/filp 后sensor 读取位置变了，bayer格式也变了 ，对于一些要依赖calibration数据的模块，数据肯定是有差异的，比如shading；
2、经过mirror后，拍出的colorcheck的raw图也是镜像的，没办法进行ccm、blc的校正 ( ISP的调试流程，一般是先根据拍出的raw图，进行矫正 ）；
措施：ISP去做filp/mirror的功能、后端应用层去做；
3-3、ISP 相关的图像质量问题
- 运动拖影
1、时域降噪强度过大导致的拖影
措施：降低时域降噪强度 ( 调试时可以通过bypass 相应的模块来做验证是否是它导致的 ) ,但可能会导致动态噪声明显，需权衡；
2、曝光时间过长导致的拖影
只有当曝光时间足够快，物体相对于相机就是相对静止的，也就看不到有拖影了；
措施：就因为曝光不充分，所以要曝光时间长，可以换成高感光度的sensor, 以此就可以减小曝光时间；
3、HDR算法中，多帧融合导致的拖影
4、果冻效应
出现原因：使用逐行曝光的sensor所致，因为sensor是逐行曝光的，行与行之间有时间差，当拍摄快速运动的物体时，会导致成像物体会有扭曲，被拉长了，注意要和曝光时间导致的拖影做区分，曝光时间过长会有拖影，但不会导致成像物有变形；
措施：
1. 如果使用卷帘快门（Rolling Shutter）的摄像机，尽量提高摄像机的拍摄帧率，实际上是减少形成一帧画面所使用的扫描时间，这样在短时间内物体移动并不明显，能缓解果冻效应。
2. 换用全局快门（Global Shutter）的相机，采用CCD感光元件彻底解决果冻效应。全域快门（Global shutter）：传感器上所有像素点在同一时间同时收集光线，同时曝光。对于抓拍高速运动的物体CCD优劣势：由于技术限制，很难将巨大的数据量同时处理。
3.设置逐行读取的速度，将其设置的更快更高，这样也能避免果冻效应，尽量减少本身所处环境的震动情况。提高快门的速度，直接采取高速快门。
3-4、Encoder 相关的图像质量问题
Encoder目的就是将原始的ISP输出的图像进行压缩，使传输、存储的size变小，由于压缩过程中，算法或者资源不足的问题，导致的图像质量损失，所表现出的形式有很多种，具体如下；
- mosaic
- ringing （震铃）
文字及图像边缘出现很多条边，在拍摄文字图像时比较常见；
- contouring
类似等高线现象；
- blurry（模糊）
- mosquito （蚊子噪声）
3-5、显示相关的图像质量问题
- Picture-Quality）会导致Camera 显示效果不一致（亮度、色彩、噪声等方面）；
- 显示器色域、色准差异会导致Camera 显示效果不一致；
注： 【硬件科普】显示器的色域和色准是什么东西？
如下图所示，显示器有不同的规格差异，包括色域、色彩空间、色准，这些都会影响camera输出的效果，效果测试时要注意到这些；
参考：大话成像图像测试测量课程