关于sensor和isp，对输出图像作crop，downscale的注意事项

1、背景：

客户要求调试ov的一款分辨率为4608x2592的Sensor，但目前我司的Soc最大支持分辨率是4096x3456，所有目前能出的最大分辨率为4096x2592（11M）,客户要求是ISP要出两路视频流（11M+1080P），且不能有视场角（fov）的损失，1080P是作为显示的流，11M是用于拍照，所以基于这个需求，总结分析一下sensor/isp作crop，downscale的注意事项。“

2、需求分析：

1. 这款Sensor支持不同尺寸分辨率的输出4608x2592、3840x2160、2304x1296、1920x1080，但这些尺寸的fov是否都一样呢？
2. 4096x2592不是标准的16:9的分辨率（目前的显示屏、电视屏基本都是16:9），ISP作downscaler成1080P (为不损失fov), 因为像素长宽比不同，图像肯定会有压扁；
3. Sensor出不同尺寸的分辨率对图像效果是否会有影响？有哪些影响 ？
4. ISP或者后端的编码对图像作crop\downscale是否对图像效果有影响 ？有哪些影响 ?

3、分析结论：

1、不一定都一样，这要看sensor裁剪像素的方式，是直接crop还是binning，通过binning和skipping的方式减少像素是不会损失fov的，binning是将相邻像元（相同颜色）感应的电荷加在一起，以一个像素的模式读出（也就4个像素变为了1个），所以上述尺寸中，3840x2160和1920x1080、4608x2592和2304x1296的fov是一样的，因为其像素数存在4:1的关系

2、4096x2592的分辨率压缩成1920x1080的分辨率，因为像素长宽比不一样，所以图像肯定会有压扁，所以senosr只能出4k（3840x2160）的分辨率，能正常压缩到1080P(因为长宽比都是16:9)，且4K和1080P fov是一致的，但4K是要比sensor 全尺寸的分辨率（4096x2592）的fov是要小的；

3、Sensor出不同的分辨率对图像效果肯定是有影响的，最直接的曝光时间肯定会不同，后端ISP的处理也会导致有差异，比如自动曝光、自动白平衡，这些都是需要通过统计全局的像素点来计算得到合适的一个值，所以sensor出的每组分辨率都要对应单独的一套效果参数；

4、后端ISP或者编码做crop时对图像不会存在影响，因为isp是对raw图像的处理，sensor输入的raw是不变的，但ISP或者编码做downscale时，清晰度方面肯定会较之前要差一些；

4、总结

和客户沟通后，目前的做法是，Sensor直接出8M的分辨率，ISP输出8M+1080P两路视频流（1080P是8M经过ISP downscale得到），还存在另一个拍照的应用，Sensor直接出11M的流，从中截取1fps用于拍照，此时之前的两路流是关闭掉了，这样就满足了客户必须要11M的问题，以及两路视频流不存在fov的差异。所以拿到一款sensor的调试任务后不是直接调试效果，而是要搞清楚项目的需求，存在的问题，因为客户对有些方面也是不了解的（客户觉得sensor出的分辨率都binning得到的，不存在fov的差异）需要你来提醒它，避免做无用功。

欢迎关注我的微信公众号：