首页 > 其他分享 >自动驾驶学习3-摄像头(1)

自动驾驶学习3-摄像头(1)

时间:2024-05-29 23:59:47浏览次数:31  
标签:镜头 供应商 车载 驾驶 像素 镜片 自动 摄像头

1、简介

车载摄像头指安装在汽车上,用于监控汽车内外环境情况以辅助汽车驾驶员行驶的摄像设备。智能驾驶的眼睛。

分类: 车载摄像头按安装位置的不同可分为前视、后视、环视、内视车载摄像头。 前视摄像头需要进行测距功能,所以一般分辨率要求较高 广角镜头:焦距为38至24毫米,视角为60至84度的镜头
超广角镜头:焦距为20至13毫米,视角为94至118度的镜头 鱼眼镜头:焦距小于或等于16毫米、视角小于或等于180度的镜头 双目镜头:有两个镜头,能形成立体视觉 单目镜头:一个镜头 安装位置:前视(前挡风玻璃上部,前保)后视(后保等)   ← 前保 环视(后视镜,翼子板,后备箱处等) ,内视(内后视镜处) 特斯拉侧视B柱

安装位置方案对比:

从方案中我们可以看到,特斯拉的 8 个摄像头均与行车系统有关联,这与其一直宣传的不依靠激光雷达纯视觉的自动驾驶方案是有较大关联的,特斯拉的这一套方案的最大优势就是:高性价比。特斯拉用了成本非常低的自研 1.2MP 摄像机就实现了 L2+ 级别的自动驾驶。

小鹏 P7 使用了多个摄像头,这一套方案的最大优势就是:可拓展性较强。前期方案在设计时需要提高硬件成本,但是在后期 OTA 升级后,其自动驾驶功能具有非常好的兼容性和可拓展性。

通过这套传感器模型,小鹏实现了具有较好体验的 L2+ 级别的自动驾驶功能,包括小鹏极具特色的高速自主导航驾驶(NGP)和停车场记忆泊车功能。

奔驰 S 级是传统主机厂方案的代表,双目立体摄像头方案是奔驰 S 级最大的优势。相比于单目摄像头,双目摄像头可以计算当前检测目标在 X、Y、Z 坐标下的运动情况,判断检测目标的姿态及目标类型,奔驰在 L2 级别的 ADAS 功能的体验效果也比另外两家好一些。

摄像头的优缺点:

优点:包含语义信息

缺点:环境适应性差

趋势:算力提升,摄像头数目增多,越智能。随着成本压力增大,很多都采用特斯拉重感知,轻雷达的方向。

多传感器融合方案成为主流。 自动驾驶的实现路径分两大阵营: 1 )特斯拉的纯视觉方案; 2 )多传感器融合方案。 纯视觉方案在高级别自动驾驶上准确率会降低,无法满足复杂情况下的环境监测,存在安全保障缺陷;多传感器融合的方案以技术 冗余来保证安全性,是目前实现 L4/L5 级别自动驾驶的主流路径。 • 纯视觉方案:感知系统以摄像头为主 ,以特斯拉 Autopilot HW3.0 为例, 传感器配置为 8 颗摄像头 +12 颗超声波雷达 +1 颗毫米波雷达。

2、工作原理

车载摄像头的工作原理,是将采集好的图像转换为二维数据,然后对采集的图像进行模式识 别,通过图像匹配算法识别行驶过程中的行人、车辆、交通标志等,最后依据目标物体的运 动模式或使用双目定位技术,估算目标物体与本车的相对距离和相对速度。

3、硬件相关

主要组成包括:镜头组、CMOS芯片、DSP芯片。

 

镜头组:由光学镜片、滤光片、保护膜等组成,主要用于生成光学图像
   CMOS芯片(ComplementaryMetal-OxideSemiconductor,即互补性金属氧化物半导体)主要由硅和元素组成,是一种通过大规模集成电路技术制成的半导体芯片主要用于将光信号转化成电信号
   DSP芯片(DigitalSignalProcessing,即数字信号处理技术)指内部具有哈佛结构可实现数字信号处理的芯片,主要用于将数字信号处理成特定格式的图像。

哈佛结构:将程序和数据存储在不同存储空间中的储存器结构。

车载摄像头镜头材质比较:车载要求高

环境要求

4、软件相关(后续更新)

5、标定相关

表达基本概念见下链接

车载摄像头标定原理-CSDN博客

车载摄像头标定通常由内参、外参、畸变系数三类参数来保证摄像头的准确性。

摄像头几何标定主要的目的是,通过一种理论数学模型和优化的手段把摄像头拍到的图像信息转换为我们熟悉的物理坐标系(xyz),即建立相机投影模型。

车载摄像头为例进行推导,ADAS(高级驾驶辅助系统)中存在4个坐标系:

图像坐标系(u, v)

成像平面坐标系(x, y)

相机坐标系(Xc, Yc)

世界坐标系/车辆坐标系(Xw, Yw)

如上图几何标定是摄像头图像在平面上的(二维空间)点与摄像头所拍摄的现实场景中的(三维空间)点之间关系所需参数的过程。

【一文弄懂】张正友标定法-完整学习笔记-从原理到实战-CSDN博客 介绍有张正友标定法,东西很全,强烈推荐。

6、重要参数

与手机摄像头不同,汽车往往要应对复杂多变的路况环境和极端恶劣的天气情况,车载摄像头也因 此需要达到更严苛的标准,而 CIS 作为其中的核心部件,就需要解决包括 HDR 、 LFM、低照等关 键技术难题以匹配车载摄像头高像素、高性能、高稳定性的趋势,新的应用技术以及原有工艺水平 升级也随之成为大势所趋,推升载 CIS 的单位价值。

1 )高动态范围 ( High-Dynamic Range ,简称 HDR 是场景中最高光强度与最低光强度的比率, 是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。 HDR 越高 意味着它可以很好的保留光线强弱不同的区域细节,明亮处和黑暗处都可以很好的还原呈现。 2 LED 闪烁( LED Flicker Mitigation 是指 LED 灯通常以频率(通常为 90Hz )进行闪烁,肉 眼无法识别,但快门时间更短的图像传感器可以,因此一旦相机曝光时间过短,就会出现曝光时间 与 LED 开启时间错位的情况,导致采集到明暗错误或持续闪烁的图像信息 实际场景中 LED 灯闪烁和高动态范围有时会同时出现,比如在夜间的街道,车大灯、广告灯都以 LED 灯居多,当 LED 灯非常明亮时,明暗对比也非常剧烈,也就带来了高动态范围的要求。对于 自动驾驶系统而言,上述两个问题容易引起系统的误判,甚至是酿成严重后果。 自动驾驶开发已经 逐步开始向更高级别迈进,汽车也愈发依靠 CMOS 图像传感器来提供准确的图像数据、判断路况, HDR LFM 也成为了 CIS 升级绕不开的关键问题所在。 针对上述问题,其解决方案按照不同实现途径可分为 硬件扩展动态范围 (包括大小像素融合、像素 内增加大阱容技术)和 软件扩展动态范围 (主要指时域多次曝光融合技术)两类,其中软件扩展动 态范围比较容易实现,其本质是在时间域的多次曝光技术,分次获取高动态范围场景部分信息,但 无法达到抑制 LED 闪烁功能的效果,而大小像素曝光和像素内增加大阱容可以同时解决高动态范 围和 LED 闪烁抑制。 1 )时域多次曝光融合: 其原理是指通过对同一场景做多次曝光得到一系列低动态范围图像后进行 合成 。通俗来说就是连续拍两三张照片然后融合成一张照片。不同的曝光之间灵敏度不一样,采 集的亮度不同,从而实现动态范围的扩展。其缺点在于多次曝光在时间上有滞后,会导致鬼影的问 题。 2 )大小像素融合: 与时域多次曝光融合原理相似,但大小像素通过对硬件传感单元进行重新设计 然后组合成像。使用该技术的传感器在相邻位置有一大一小两个像素,不同像素下光通量不同,照 片亮度也自然不同。将同时拍摄的、不同像素的两张照片融合在一起,大像素可以把暗的地方拍清 楚,小像素把亮的地方拍清楚,两者结合以实现高动态。该方案的缺点在于虽然曝光次数只有一次, 但有两种尺寸,像素之间的串扰、敏度之间的差异致使其具有一定的局限性。 3 )像素内增加大阱容: 是一种传感器附加硬件扩展的方法,采用空间光学调制器以达到对传感器 的光强进行调制的目的。该种方法原理简单效果明显,但是控制复杂,整体系统设计实现难度较大。 相较于手机端 CIS 单价一般在 1-10 美金,汽车 CIS 单颗价值可能高达 20 美金以上。 除了技术规 格更高以外,车用 CIS 晶圆尺寸更大也是一大原因

7、产业与行业现状

    产业链上游的光学镜片供应商、滤光片供应商、保护膜供应商、晶圆供应商,上游的光学镜片供应商、滤光片供应商、保护膜供应商主要为中游的镜头组制造环节提供光学镜片、滤光片、保护膜等原材料,晶圆供应商主要为中游的CMOS芯片及DSP芯片制造环节提供晶圆材料。

    中游的镜头组供应商、胶合材料供应商、CMOS芯片供应商、DSP芯片供应商;中游的镜头组供应商、胶合材料供应商、CMOS芯片供应商主要为下游的模组封装环节提供镜头组、胶合材料、CMOS芯片等制造元件及材料,而DSP芯片供应商主要为下游的系统集成商提供DSP芯片。

        CMOS芯片是车载摄像头的重要组成部件,主要用于将光信号转化为电信号。除车载摄像头外,CMOS芯片还广泛应用于手机摄像头、安防摄像头、相机摄像头等设备中。CMOS芯片供应商主要有索尼  三星 豪威、 安捷伦、 安森美、 格科微电子等。

        DSP芯片:将模拟信号转为数字信号,强调数字信号处理的实时性。主要是德州仪器、ADI等。

        胶合材料:主要为无影胶,又称UV胶(UltravioletRays)。无影胶是一种需通过紫外线光照射进行固化的胶粘剂,广泛应用于工艺玻璃、电子电器、数字光盘、医疗用品等领域。在车载摄像头产业链中,无影胶主要用于模组封装环节。无影胶材料供应商数量众多,主要包括乐泰、东洋、爱普生、道康宁、恒诚伟业、日本精工等,市场竞争激烈。

       镜头组是车载摄像头的核心组成部件之一,其品质由焦距、视场角、相对照度、分辨率等指标进行衡量。镜头组供应商数量众多,市场竞争激烈,其中,镜头组头部厂商主要有舜宇光学、大立光学、 玉晶光电、联合光电、先进光、亚光、佳凌等。   

      下游的模组供应商主要负责封装车载摄像头模组,系统集成商主要负责车载摄像头的影像系统集成工作。

       模组供应商:日韩厂商\舜宇光学和欧菲光\同致电子、深圳豪恩、苏州智华、联合光学等

       系统集成商:索尼、松下、法雷奥、麦格纳、同致电子、辉创电子等。

8、发展趋势

1)消除杂光鬼影,提升光学成像稳定性:

随着车载摄像头工艺的优化与升级,车载摄像头抗震、耐磨、耐高温低温能力逐渐提高,画质更加清晰。

为了控制车大灯等正面强光干扰引起的鬼影杂光、在极端温度或短时间快速温差变动的状况下保持光学成像稳定性以及有效捕捉和分辨物体细节,除了从软件上提升算法外,车载镜头厂商也在积极地通过改进镀膜工艺、提高技术参数以及在镜头外增加导电加热膜等方式,不断推动车载镜头产品整体的技术进步。

比如说,舜宇开发出模芯镀膜技术,通过一次模压成型、模压镜片消光工艺,达到车规级镜片要求,实现高清画质。

2)像素升级:800W像素摄像头

车载摄像头感知的核心是视觉,而分辨率决定了视觉的高下。随着ADAS功能对感知距离需求的提升,感知内容方面的更精细,分辨率更高的摄像头大势所趋。

理想汽车官网对于800万像素感知摄像头介绍

对于主流的新能源车企来说,120W到200W的镜头已经不再满足使用,行业开始升级到800W像素,比如说蔚来、理想。目前具备800W像素摄像头模组生产能力的厂商还比较少,比如说舜宇、联创电子等。

3)镜头材质:玻塑混合

车载摄像头要求具有高耐用性和热稳定性。按材质来分,车载摄像头的镜片可由玻璃、塑料制成。玻璃镜片具有高耐用度和防刮伤性,且温度性能较好,因此更多用在高端产品中。而塑料镜片价格便宜但是成像效果差,且在汽车恶劣的使用环境中容易造成镜片变形,影响成像质量。

目前,综合考虑成本和性能,主流厂商车载镜头正逐渐开始使用玻塑混合镜头为主,部分高端镜头采用全玻方案。

塑料与玻璃镜头性能对比如下:

塑料镜头:

优点:重量轻、成本低、工艺难度低,适合大批量生产;

缺点:透光率稍低,耐热性差、热膨胀系数大、耐磨性差、机械强度低等。

玻璃镜片:

优点:性能优良,透光率高;

缺点:主要是量产难度大,良率低、成本高。

4)镜片工艺:非球面镜片

球面镜片会导致像差问题,即从镜片中央射入的光线与镜片边缘射入的光线的焦点不一致,进而造成成像模糊的问题。球面镜片需要多枚镜片组合来减小像差。

非球面镜片是由球面和平面以外的曲面组成的镜片,通过改变镜片的曲率,使光线汇聚在固定的焦点,解决了像差的问题,且仅需一枚镜片就可实现。因此,非球面镜片具有小型化、轻量化和成像效果佳的优势,已经成为高像素车载镜头的最佳解决方案。

舜宇光学的球面镜片与非球面镜片

塑料非球面镜片采用注塑生产实现,而玻璃非球面镜片是采用优质的光学玻璃,利用精密控制的热模压技术进行生产的产品。目前,具备车载摄像头非球面镜片生产能力的企业有:舜宇光学、联创电子、蓝特光学等。

5)自清洁以及防雾除霜

车载摄像头依靠光线传播识别道路信息,镜头表面脏污会导致识别能力下降,很难从光学角度减少脏污。而此外,每当遇到雨雪天气,暴露在车外的摄像头甚至还会出现起雾结霜的问题。

自清洁防污:目前主流厂商至少会在车载摄像头的镜头表面镀一层疏水涂层,一方面可以有效通过喷水清洗等手段去除脏污。

图源,宁波捷傲

防雾除霜:目前业界有两个方向,一是通过镀膜,镜头外表面镀疏水膜,镜头内表面镀亲水膜;二是采用加热方案,或是镜头整体加热,或者是镜头表面做一层透明导电膜实现加热。

6)AA封装

车载镜头组装需要高精度的AA 技术。车载摄像头模组的封装需要经过多次装配,误差叠加将导致产品良率下降。AA 技术使镜头与CMOS 图像传感器的相对位置自由可调,还可以通过实时采集分析成像数据,调节水平位置以及镜头的倾斜角度,从而保证图像的清晰度,并保证光轴与像面的焦点处于图像中心。

随着车载摄像头分辨率的提升,镜头与CMOS 间的定位精度的要求也不断上升。因此,AA 设备的技术含量将影响各组件的机械工差修正,进而影响摄像头成像质量以及产品的一致性。

中科精工大广角AA设备

在车载摄像头领域,现阶段AA设备带来的资本投入非常大,比如说进口的AEI、ASM等。而随着国内设备厂商的成长,比如说:中科精工、华亚智能、艾微视、德赛自动化、广浩捷科技、天准、舜宇等。AA设备的成本也将会有一定下降。

7)夜视技术

为了保障行车安全,汽车ADAS功能需要尽量实现全天候运转。摄像头是通过感光与算法实现对周边环境感知,因此在光线不足如夜间行车、过隧道等场景下,需要增强摄像头的夜视能力。目前汽车夜视系统按成像原理与镜头不同可以分为三类:微光、近红外以及远红外。

现有的夜视辅助系统可以做到识别超出远光灯范围的行人,对危险进行提前预知,来源轩辕智驾

微光:从字面意义理解,是通过放大接收到的少量可见光,最终将图像采集并投射到相应显示屏上。微光跟一般摄像头的成像原理一致,都是通过可见光实现夜视,但需要一定的可见光环境。

近红外夜视:也有称为主动红外夜视技术,是指工作时用较强的红外发射源照射目标, 利用目标反射回来的红外线来得到物体的像。工作波段在 800~1000nm 的近红外光。

远红外夜视(热成像系统):也有人称之为被动红外夜视技术,主要是利用物体自身发出的红外辐射来成像,这也就是大家所说的热成像。热成像系统是基于目标与背景的温差而形成的红外发射率的差异,利用辐射测温技术对目标逐点测定辐射强度,而形成可见目标的热图像。其理论工作波段在1-14um之间,但一般远红外夜视主要使用短波 (3μm -- 5μm)与长波 ( 8μm --14μm)这两种 。

其中,微光夜视需要从CMOS与算法上去提升实现;而红外夜视则需要配备专门的红外镜头确保红外光的进入。此外微光夜视可以看到彩色画面,而红外则无法做到彩色。

8)3D 感测:驾驶员监控

随着汽车智能化的不断演进,对车载镜头提出了快速感测并深度辨识车身周边环境的需求。车载镜头需要在对环境信息进行解读的同时同步实现景深测量的效果,而作为 3D 感测主流技术方案的结构光、TOF 技术等已成为各大车载镜头厂商技术攻关的热点。

图 延锋概念车DMS

目前3D感测技术主要是应用在座舱内部,比如说近年越来越被重视驾驶员监控系统等。此外,通过人脸识别可以确定驾驶员身份,座舱进而根据个人使用习惯而调整,甚至还可以实现防盗功能。

9)人机交互HMI:手势控制及车辆进入人脸识别

汽车内人机交互功能体现在内置车载摄像头实现的人脸识别、疲劳检测、手势识别、注意力监测及驾驶行为分析。在智能驾驶舱逐渐兴起的市场环境下,具备深层交互能力的车载摄像头市场需求将进一步提高。

在2020年2月的世界通信大会上,宝马解释了这种仪表盘上的摄像头虹膜识别技术,将会从2021年起首次应用于宝马iNext车型。

Zeekr X行业首发的智能B柱交互系统集成了ToF 3D摄像头和多媒体触控屏

通过面部识别,就可解锁和落锁车辆。

第八部分引用自下链接:

2023车载摄像头9大热点趋势 - 技术前沿 - AI汽车网 (jgvogel.cn)

部分引用:

东方证券报告《自动驾驶驶入快车道,车载摄像头迎来量价齐升》

一起聊聊车载摄像头-电子工程专辑 (eet-china.com)

一文熟悉车载摄像头技术的现在和未来 - 设计与开发 - AI汽车网 (jgvogel.cn)

汽车影像行业摄像头测试方案_CMS/ADAS (colorspace.com.cn)

车载摄像头评测_iseetest官网

标签:镜头,供应商,车载,驾驶,像素,镜片,自动,摄像头
From: https://blog.csdn.net/m0_63902994/article/details/139276100

相关文章

  • 【高端精品】外面收费2980的微信小程序拼多多+京东全自动掘金挂机项目, 单机一天轻松30
    在这个数字化时代,有一种新型的网络赚钱方式逐渐兴起,那就是通过自动化脚本来浏览微信小程序版的拼多多商品,从而帮助商家提高商品的曝光率。这种方法不仅简单易行,而且收益可观,成为不少人的新宠。想象一下,你只需要在电脑上安装一个专门的脚本,它就能自动打开拼多多小程序,并快......
  • 新手福利:这个模块/工具让你开发的程序轻松实现自动升级功能!
    文章目录......
  • 初探后缀自动机
    本篇旨在讲解部分常见的SAM技巧,以及经典的SAM题目。几点暴论:如果题目中求的是什么子串的出现次数,那直接无脑上SAM。因为SAM的parent树是反串的后缀树,求出现次数时,二者并无区别。如果题目中涉及了「前缀」「后缀」等字样,请仔细品味在使用SAM时是否应该对反串建pare......
  • AI助力科研:自动化科学构思生成系统初探
    科学研究作为推动创新和知识进步的关键活动,在解决复杂问题和提升人类生活水平方面发挥着至关重要的作用。然而,科学研究的固有复杂性、缓慢的进展速度以及对专业专家的需求,限制了其生产力的提升。为了增强科研效率,本文提出了一个名为ResearchAgent的系统,这是一个由大型语言模型(L......
  • Python办公自动化之——Excel中的Python应用
    微软Excel在引入对Python的支持后,极大地扩展了其数据处理和分析能力。通过整合Python,用户不仅可以利用Excel强大的表格处理功能,还能借助Python的编程优势进行复杂的数据分析、自动化任务和高级可视化。Python的丰富库,如Pandas、NumPy、Matplotlib和Seaborn,使用户能够高效地处理大......
  • 基于Python与水星二代摄像头的二次开发
    第一章Videocapture的正确使用大家好!关于摄像头的基本调用,相信大家以及初步学会了。我们买来这个摄像头,本来就是想着自己使用,进行二次开发的。但是大家根据OpenCV的调用函数Videocapture(),发现根本无法调用,这是为什么?首先,判断外接摄像头能否调用,我们有两个非常简单的方法:方......
  • 安卓手机自动化脚本的开发必备源代码!
    在当今的信息化社会,智能手机已经深入到我们生活的方方面面,其中安卓系统因其开放性和灵活性受到了广大用户的喜爱。在安卓手机的使用过程中,自动化脚本的应用不仅可以提高操作效率,还能实现一些复杂任务的批量处理,本文将科普五段安卓手机自动化脚本的必备源代码,帮助读者更好地理......
  • vite配置自动引入全局scss变量文件
    全局自动引入scss变量文件当定义了全局的scss变量文件并且而其他很多页面都需要使用的时候,都需要显式的使用@import或者@use引用一遍全局scss文件,很是麻烦。使用以下配置这样能有效避免造成大量重复工作,可以在任何scss文件中任意使用全局变量。定义全局scss变量文件配置vi......
  • 基于TAE的数字钥匙自动化测试解决方案
    方案概述    在汽车发展和用户需求的推动下,汽车钥匙开始从传统的机械钥匙向数字化、智能化方向发展。目前常见的数字钥匙集成了蓝牙、NFC、UWB等技术实现了移动设备与车端的通信,可以帮助用户便捷的实现车辆功能控制。随着数字钥匙的广泛应用,相关的测试需求也进一步增加,人......
  • 12个好用的视频自动加字幕工具
    多个提供视频字幕生成及翻译服务的工具和平台,涵盖了从自动识别到翻译、配音等多种功能,适合不同需求的用户选择使用。网易见外:支持视频智能字幕功能,转换正确率高,转换后的字幕可以直接导入Pr和会声会影等主流剪辑工具,同时支持音频转写功能。sight.youdao.com字幕大师:......