目录
随着智能手机的普及，相机与我们的生活越来越紧密相关。在日常生活中，我们只需要轻轻按下手机上的拍照按钮，就能记录下美好时刻。那么问题来了：从我们指尖按下拍照按钮到一张色彩丰富的照片呈现在我们面前，这期间到底经历了什么？
当我们按下拍照按钮，传感器所输出的原始数据（raw data）实际与我们想象的大不相同。由于镜头和传感器的特性，这些原始图像通常噪声大、颜色暗淡、亮度低，并不符合人眼的视觉特性。因此，需要手机的图像信号处理器（image signal processor，ISP）对原始数据进行处理。
▲ ISP处理前效果图
▲ ISP处理后效果图
本文将介绍手机是如何一步步将原始数据转换为大家所看到的彩色图像的，即ISP处理流程。
▲ ISP流程图1
▲ ISP流程图2
▲ ISP流程图3
这些都是典型的ISP流程图，但实际上ISP可以不同的顺序实施这些步骤，甚至可能更加复杂，但是都会以某种方式完成这些处理模块。
ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。
ISP(ISP PipeLine)的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块，其中比较有代表性的是：扣暗电流（去掉底电流噪声），线性化（解决数据非线性问题），shading（解决镜头带来的亮度衰减与颜色变化），去坏点（去掉sensor中坏点数据），去噪（去除噪声），demosaic（raw数据转为RGB数据），3A（自动白平衡，自动对焦，自动曝光），gamma（亮度映射曲线，优化局部与整体对比度），旋转（角度变化），锐化（调整锐度），缩放（放大缩小），色彩空间转换（转换到不同色彩空间进处理），颜色增强（可选，调整颜色），肤色增强（可选，优化肤色表现）等。
图像产生过程：景物通过 Lens 生成的光学图像投射到 sensor 表面上， 经过光电转换为模拟电信号， 消噪声后经过 A/D 转换后变为数字图像信号， 再送到数字信号处理芯片（ DSP） 中加工处理。所以，从 sensor 端过来的图像是 Bayer 图像，经过黑电平补偿 （black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值 （demosaic）、Bayer 噪声去除、 白平衡（awb） 矫正、 色彩矫正（color correction）、gamma 矫正、色彩空间转换（RGB 转换为 YUV）、在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等， 然后输出 YUV（或者RGB） 格式的数据， 再通过 I/O 接口传输到 CPU 中处理。
黑电平补偿（BLC）
在理想情况下，没有光照射的像素点其响应值应为0。但是，由于杂质、受热等其它原因的影响，传感器存在着暗电流，使得没有光照射到的像素点也会产生响应。
▲ 黑电平补偿前效果图
▲ 黑电平补偿后效果图
黑电平（Black Level）是用来定义图像数据为0时对应的信号电平。为减少暗电流对图像信号的影响，我们需要找到黑电平，并从已获得的图像信号中减去黑电平，从而获得一个更高对比度的图像。
镜头校正（LSC）
由于镜头本身的物理性质，传感器捕获的图像会表现出中心亮度高、边缘亮度低的特点。为了输出一个亮度均匀的图像，需要对图像进行镜头阴影（Lens Shading）校正。
校正的方法是根据一定的算法计算每个像素对应的亮度校正值，从而补偿周边衰减的亮度。通常，镜头校正方法有二次项校正、四次项校正等。
▲ 镜头校正前效果图
▲ 镜头校正后效果图
坏点校正（BPC）
由于传感器可能存在部分缺陷像素，导致一些像素点输出信号不正常，出现白点或黑点，也就是坏点。同时，随着传感器老化，也可能会出现更多的坏点。因此，需要对坏点进行修复。
坏点修复方法通常有两种：一种是自动检测坏点并自动修复，另一种是建立坏点像素链表进行固定位置的坏点修复。
▲ 坏点校正前效果图
▲ 坏点校正后效果图
去马赛克（Demosaic）
因为传感器只能感知光的强度，而不能直接感知光谱信息。因此，需要在传感器前加上滤光板来选取波段。但是，如果每个像素点都同时感知RGB三个分量，则需要三块滤光板，这样不仅成本高，而且难度大。因此，通常采用Bayer型的色彩滤波阵列（Color Filter Arrays，CFA）来获取场景的光谱信息。
Bayer型CFA
传感器感光示意图
从上面的示意图可见，每个像素只能探测一个通道的光信息，所以理想的Bayer图是一个较为昏暗的马赛克图。然而，为了获得彩色图像，需要计算出每个像素缺失的其它两个通道的响应值，即进行颜色插值处理。通常，经典处理方法包括最近邻域法、Bilinear插值、Cubic插值等。
去噪声（Denoise）
光照强度和传感器是产生噪声的主要因素。由于手机传感器的尺寸远小于普通相机，手机拍摄所产生的噪声会更多，所以需要更强的去噪能力。同时，当信号经过ADC时也会引入噪声。因此，这些都会使得图像质量变差。通常，经典的去噪算法包括均值滤波、中值滤波、高斯滤波等。
不同ISP的去噪模块可能会在不同的环节进行，但去噪原理没有本质不同。
▲ 去噪前效果图
▲ 去噪后效果图
自动白平衡（AWB）
白平衡是ISP中的一个重要模块。白平衡的主要目标就是在不同环境下，准确还原场景中的中性色，让其接近人眼感知的色貌；这里不多做介绍。
▲ 白平衡处理前效果图
▲ 白平衡处理后效果图
颜色校正（Color Correction）
在校正完白平衡后，需要进行彩色的校正。因为人眼对可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，故而得到的颜色RGB值会存在偏差，因此，必须对颜色进行校正。通常，可用一个3x3的颜色变化矩阵来进行颜色校正。
伽马校正（Gamma Correction）
人眼与相机的感光特性不同。为了让图像与人眼感知的色貌相符合，需要将相机采集的图像进行伽马校正；这里不多做介绍。
▲ 人眼与相机的感光特性
图像压缩
最后，为了减小图像占用的存储空间，通常会将图像数据进行压缩，丢弃那些肉眼无法识别的信息，再用一些编码技术来提高信息利用率。其中，最常用的编码格式当然就是JPG 格式了。
总结：
标签：校正,传感器,流程,ISP,效果图,坏点,图像,梳理 From： https://blog.csdn.net/m0_72053187/article/details/145009776本文介绍了相机在使用传感器记录拍摄景物的光学信号后进行的常见处理流程。可见，整个ISP处理流程非常复杂。在我们点击拍照按钮时，手机中的ISP芯片实际正在飞速地运转。也正是得益于这项成熟的技术，我们可以在瞬间记录下美好生活。
除了以上提到的，ISP中还有许多其它模块，如HDR、自动曝光控制 (AEC)、锐化等，这些模块都对最终成像结果产生了重要的影响。