ISP各模块功能介绍和图像成像过程

--------声明，本文为转载整理-------

ISP各个模块功能介绍

图像成像过程：

景物通过 Lens 生成的光学图像投射到 sensor 表面上， 经过光电转换为模拟电信号， 消噪声后经过 A/D 转换后变为数字图像信号， 再送到数字信号处理芯片(DSP) 中加工处理。所以，从 sensor 端过来的图像是 Bayer 图像，经过黑电平补偿 (black level compensation)、镜头矫正 (lens shading correction)、坏像素矫正(bad pixel correction)、颜色插值 (demosaic)、Bayer 噪声去除、 白平衡(awb) 矫正，色彩矫正(color correction) 、 gamma 矫正、 色彩空间转换(RGB 转换为 YUV)、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强，中间还要进行自动曝光控制等， 然后输出 YUV(或者 RGB) 格式的数据， 再通过 I/O 接口传输到 CPU 中处理。

 ISP(Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它可以分为独立与集成两种形式。

上图，lens 将光信号投射到sensor 的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。

ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。

ISP 的Firmware 包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如下图所示。

不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。

AP对ISP的操控方式：
CPU处理器包括：AP、BP、CP。 BP：基带处理器、AP：应用处理器、CP：多媒体加速器

这里所说的控制方式是AP 对 ISP 的操控方式 。

I2C/SPI：这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。

MEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，

MEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。

ISP的主要内部构成：

如下图所示，ISP内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC（system of chip），可以运行各种算法程序，实时处理图像信号。

CPU：CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。

SUB IP：SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。

图像传输接口：图像传输接口主要分两种，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。

通用外围设备：通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。

介绍一下ISP处理流程，如下图：

关于raw(bayer)数据转换rgb数据：RGB图, 即为三色图, 一个像素点就由RGB三种颜色构成的混合色, 而bayer图一个像素就只有一个颜色, 或R或G或B. 因为bayer一个像素点只有一种颜色, 需要借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色, 它本身的颜色就不用插了.

关于色彩空间转换：在传输和存储上可以节省带宽和存储空间，例如一个RGB图像可以在捕捉之后转换为YCbCr格式用来减少存储和传输负担。在显示图象之前，再转回为RGB；在不同场合上可以根据需要做出转换，适应各种图像格式的需要，例如在做图像处理时算法可能需要YUV格式图像，而图像在屏幕显示需要RGB格式图像，有了色彩空间转换，就可以用一种格式的图像满足不同的图像格式要求。YUV 是一种基本色彩空间， 人眼对亮度改变的敏感性远比对色彩变化大很多， 因此， 对于人眼而言， 亮度分量Y 要比色度分量U、V 重要得多。 所以， 可以适当地抛弃部分U、V分量， 达到压缩数据的目的。

关于色温：所谓色温，简而言之，就是定量地以开尔文温度（K）来表示色彩。英国著名物理学家开尔文认为，假定某一黑体物质，能够将落在其上的所有热量吸收，而没有损失，同时又能够将热量生成的能量全部以“光”的形式释放出来的话，它便会因受到热力的高低而变成不同的颜色。例如，当黑体受到的热力相当于500—550℃时，就会变成暗红色，达到1050－1150℃时，就变成黄色，温度继续升高会呈现蓝色。光源的颜色成分与该黑体所受的热力温度是相对应的，任何光线的色温是相当于上述黑体散发出同样颜色时所受到的“温度”，这个温度就用来表示某种色光的特性以区别其它，这就是色温。打铁过程中，黑色的铁在炉温中逐渐变成红色，这便是黑体理论的最好例子。色温现象在日常生活中非常普遍，相信人们对它并不陌生。钨丝灯所发出的光由于色温较低表现为黄色调，不同的路灯也会发出不同颜色的光，天然气的火焰是蓝色的，原因是色温较高。正午阳光直射下的色温约为5600 K，阴天更接近室内色温3200K。日出或日落时的色温约为2000K，烛光的色温约1000K。

关于色温的规律：色温越高，光色越偏蓝；色温越低则偏红。某一种色光比其它色光的色温高时，说明该色光比其它色光偏蓝，反之则偏红；同样，当一种色光比其它色光偏蓝时说明该色光的色温偏高，反之偏低。由于人眼具有独特的适应性，使我们有的时候不能发现色温的变化。比如在钨丝灯下呆久了，并不会觉得钨丝灯下的白纸偏红，如果突然把日光灯改为钨丝灯照明，就会觉查到白纸的颜色偏红了，但这种感觉也只能够持续一会儿。摄像机的CCD并不能像人眼那样具有适应性，所以如果摄像机的色彩调整同景物照明的色温不一致就会发生偏色。白平衡就是为了避免偏色的出现。从而引出白平衡概念。

关于白平衡：白平衡就是针对不同色温条件下，通过调整摄像机内部的色彩电路使拍摄出来的影像抵消偏色，更接近人眼的视觉习惯。白平衡可以简单地理解为在任意色温条件下，摄像机镜头所拍摄的标准白色经过电路的调整，使之成像后仍然为白色。这是一种经常出现的情况，但不是全部，白平衡其实是通过摄像机内部的电路调整（改变蓝、绿、红三个CCD电平的平衡关系）使反射到镜头里的光线都呈现为消色。如果以偏红的色光来调整白平衡，那么该色光的影像就为消色，而其他色彩的景物就会偏蓝（补色关系）。白平衡是一个很抽象的概念，最通俗的理解就是让白色所成的像依然为白色，如果白是白，那其他景物的影像就会接近人眼的色彩视觉习惯。调整白平衡的过程叫做白平衡调整，白平衡调整在前期设备上一般有三种方式：预置白平衡、手动白平衡调整和自动跟踪白平衡调整。通常按照白平衡调整的程序，推动白平衡的调整开关，白平衡调整电路开始工作，自动完成调校工作，并记录调校结果。如果掌握了白平衡的工作原理，那么使用起来会更加有的放矢，得心应手。

备注：消色就是指黑白灰三种颜色。黑白灰的物体对光源的光谱成分不是有选择地吸收和反射而是等量吸收和等量反射各种光谱成分。这时物体看上去没有了色彩。对各种光谱成分全部吸收的表面，看上去是黑色，等量吸收一部分等量反射一部分的表面是灰色，反射绝大部分而吸收极小部分是白色。消色和任何色彩搭配在一起，都显得和谐协调。

关于白平衡原理：摄像机内部有三个CCD电子耦合元件，他们分别感受蓝色、绿色、红色的光线，在预置情况下这三个感光电路电子放大比例是相同的，为1：1：1的关系，白平衡的调整就是根据被调校的景物改变了这种比例关系。比如被调校景物的蓝、绿、红色光的比例关系是2：1：1（蓝光比例多，色温偏高），那么白平衡调整后的比例关系为1：2：2，调整后的电路放大比例中明显蓝的比例减少，增加了绿和红的比例，这样被调校景物通过白平衡调整电路到所拍摄的影像，蓝、绿、红的比例才会相同。也就是说如果被调校的白色偏一点蓝，那么白平衡调整就改变正常的比例关系减弱蓝电路的放大，同时增加绿和红的比例，使所成影像依然为白色。 自动白平衡，是依赖数码相机里的测色温系统，测出红光和蓝光的相对比例。再依据次数据调整曝光，产生红、绿、蓝电信号的增益。自动白平衡最大的优势是；简单、快洁。但有时按它的调整拍摄离准确的色彩还原还相距甚远。有时它还会帮倒忙。

关于黑电平：
(1)暗电流:物理器件不可能是理想的， 由于杂质、 受热等其他原因的影响， 即使没有光照射到象素，象素单元也会产生电荷， 这些电荷产生了暗电流。 而且， 暗电流与光照产生的电荷很难进行区分。

(2)Black Level:用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡(数据不为0)。 所以，为减少暗电流对图像信号的影响，可以采用的有效的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下，在传感器中， 实际像素要比有效像素多， 如下图所示， 像素区头几行作为不感光区(实际上，这部分区域也做了RGB的 color filter)， 用于自动黑电平校正， 其平均值作为校正值， 然后在下面区域的像素都减去此矫正值， 那么就可以将黑电平矫正过来了。做了black level 矫正与没做black level 矫正的对比，没做black level矫正的图片会比较亮， 影响图像的对比度。

关于镜头矫正(Lens Shading)：由于镜头本身的物理性质， 造成图像四周亮度相对中心亮度逐渐降低， 以及， 如下图所示， 由于图像光照在透过镜头照射到 pixel 上时， 边角处的焦点夹角大于中心焦点夹角， 造成边角失光。 表现在图像上的效果就是亮度从图像中心到四周逐渐衰减， 且离图像中心越远亮度越暗。 为了补偿四周的亮度， 需要进行 Lens Shading 的矫正。Lens Shading 的矫正的方法是根据一定的算法计算每个像素对应的亮度矫正值， 从而补偿周边衰减的亮度。 矫正方法有二次项矫正、 四次项矫正。

关于坏点矫正BPC(Bad Pixel Correction)：
所谓坏点，是指像素阵列中与周围像素点的变化表现出明显不同的像素，因为图像传感器是成千上万的元件工作在一起，因此出现坏点的概率很大。一般来讲，坏点分为三类：第一类是死点，即一直表现为最暗值的点；第二类是亮点，即一直表现为最亮值的点：第三类是漂移点，就是变化规律与周围像素明显不同的像素点。由于图像传感器中CFA的应用，每个像素只能得到一种颜色信息，缺失的两种颜色信息需要从周围像素中得到。如果图像中存在坏点的话，那么坏点会随着颜色插补的过程往外扩散，直到影响整幅图像。因此必须在颜色插补之前进行坏点的消除。
(1)坏点:坏点为全黑环境下输出图像中的白点， 高亮环境下输出图像中的黑点。
(2)坏点修复方法:一般情况下， RGB 信号应与景物亮度呈线性响应关系， 但由于 Senor 部分 pixel 不良导致输出的信号不正常， 出现白点或黑点。坏点修复方法通常有两种：一种是自动检测坏点并自动修复， 另一种是建立坏点像素链表进行固定位置的坏像素点修复， 这种方式是 OTP 的方式。

关于Bayer去噪(Bayer Denoise):
使用 cmos sensor获取图像，光照程度和传感器问题是生成图像中产生大量噪声的主要因素。同时， 当信号经过ADC 时， 又会引入其他一些噪声。 这些噪声会使图像整体变得模糊，而且丢失很多细节， 所以需要对图像进行去噪处理，空间去噪传统的方法有均值滤波、 高斯滤波等。但是， 一般的高斯滤波在进行采样时主要考虑了像素间的空间距离关系， 并没有考虑像素值之间的相似程度， 因此这样得到的模糊结果通常是整张图片一团模糊。 所以， 一般采用非线性去噪算法， 例如双边滤波器， 在采样时不仅考虑像素在空间距离上的关系， 同时加入了像素间的相似程度考虑， 因而可以保持原始图像的大体分块， 进而保持边缘。

关于颜色矫正（Color Correction）：
由于人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，还有透镜等的影响， 得到的RGB 值颜色会存在偏差， 因此必须对颜色进行校正， 通常的做法是通过一个3x3 的颜色变化矩阵来进行颜色矫正。

关于宽动态（WDR）：
动态范围(Dynamic Range)是指摄像机支持的最大输出信号和最小输出信号的比值，或者说图像最亮部分与最暗部分的灰度比值。普通摄像机的动态范围一般在1:1000(60db)左右，而宽动态(Wide Dynamic Range,WDR)摄像机的动态范围能达到1:1800-1:5600(65-75db)。宽动态技术主要用来解决摄像机在宽动态场景中采集的图像出现亮区域过曝而暗区域曝光不够的现象。简而言之，宽动态技术可以使场景中特别亮的区域和特别暗的区域在最终成像中同时看清楚。