首页 > 其他分享 >面向量产的多传感器标定,统一传感器「世界观」

面向量产的多传感器标定,统一传感器「世界观」

时间:2024-04-03 12:01:30浏览次数:32  
标签:误差 外参 量产 标定 产线 算法 传感器

智能驾驶系统主要通过多个传感器来实现对真实世界的感知。而传感器的标定也决定了感知能力上限:传感器数据的坐标(图像、点云等)与真实世界物体的坐标存在对应的转换关系,对于坐标转换模型公式中的传感器参数调整,就是标定。

传感器标定主要分为内参标定和外参标定。

内参标定的目的是获取传感器的内部参数,如相机的畸变系数、焦距大小等,以确保传感器的数据输出得到有效的校正。在大部分智能驾驶量产项目中,传感器的内参都会由传感器供应商提供。

外参标定需要确定传感器到车体,以及传感器间的相对位置姿态的关系,保障融合多源传感器数据时建立统一的观测坐标系。

而本期,我们将介绍绝影团队在量产项目中多传感器的外参标定方案。

常见的量产项目的标定方案主要分为以下三种:

  • 产线标定:通过标定车间内的标志物完成传感器的标定,也是量产车型「出厂设置」一部分。

  • 售后标定:由 4S 店、车辆售后维修中心完成,多是由于车辆事故、问题排查,导致传感器重新安装,需要重新完成传感器的标定。

  • 在线标定:由用户使用智能驾驶功能过程中完成,根据车机提示或者无感触发完成对应的车辆标定,这三种标定方法从场景、执行人员等来看,会有以下差异:

图片

产线标定:如何高效低成本解决产线标定痛点?

产线标定即车辆在量产过程中按序进入标定间,摆正器将车辆摆正,得到现场标靶相对于车辆的位置关系,然后传感器通过对周围标靶的识别,从而解算出传感器外参。

它是车辆下线的一个重要环节,往往车企对于产线标定通过率、稳定性以及标定精度都有比较高的要求。如在一些量产项目合作中的标定要求需要达到:单一产线每小时过线 15 台车,通过率要求 98% 以上标定误差 0.3 度以内的标准挑战。

在实际执行过程中,产线的精度、稳定性以及通过率往往会遇到以下挑战:
 

  • 生产环境变动:设备老化、标靶松动及机械结构移动不到位等生产环境变动,都会对标定精度和通过率产生一定影响,使产线阻塞、影响生产效率。
     

  • 偶发下线车辆标定误差的排查难度大:若因单一车型标定不达标而将产线停产进行排查,将耗费成本巨大。而不及时排查又存在潜在风险。


针对生产环境变动问题,我们提出产线标定自动化验证机制,通过对小批量产线标定车辆外参的验证,间接实现对产线生产环境的定期检查。

图片

针对偶发下线标定误差问题,我们搭建产线仿真平台:通过在仿真器对相关问题复现验证,及时提供解决方案。离线模拟能够模拟标定板位置偏差、光照影响、内参问题等情况,来复现生产环境中出现的标定问题。

图片

产线标定仿真器

图片

在产线设计过程中,产线仿真平台也起到了至关重要的作用。量产项目中往往先进行产线设计,再完成产线施工搭建,在设计阶段如何有效进行产线方案验证是一个难点。仿真器验证对标定板尺寸大小、位姿布置有指导意义,同时可以提高算法开发效率。

图片

售后标定:通用外参标定解决方案,更简单也更精准

售后标定在 4S 店或维修中心完成,多为车辆发生事故或进行问题排查,其传感器安装位置发生变化,需要重新进行传感器的标定。

售后标定往往需要满足以下要求:
 

  • 标定场景及外置设备简单;

  • 标定精度能够与产线一致;

  • 标定操作简单、可行性高;

  • 通用化能力强,能够适配对不同传感器配置的需求。

    作为算法平台方案解决供应商,往往需要面对不同的传感器配置需求,例如:传感器数量差异、传感器位置布置差异、传感器类型差异等,因此标定算法需要具备较高通用化能力。


不同于基于标靶的方案,我们充分利用开放道路的树木、建筑物等环境特征,以标定不同传感器外参,对标定场景和外置设备要求更简单。


同时,我们还采用了联合优化方法:通过传感器之间的特征匹配,重建三维场景,针对外参、位姿结果等进行联合优化,以获取传感器间的外参以及传感器与车体之间的关系。这种方法增加了传感器之间的共视约束,以更简单的流程,实现产线标定的精度。

图片

图片

除此以外,绝影算法框架能够兼容任意传感器组合的配置进行外参标定。比如在 L2+ 场景下,侧前和侧后相机往往共视区域小,我们能够利用车辆运动获取不同时刻的传感器间共视关系,以构建小共视区域内的传感器间约束。

在标定操作上,我们的算法对运动形式要求简单,车辆能够通过直线运动等完成标定。在标定完成后,标定模块会根据缓存的数据进行参数自动验证,减少人工验证的工作:

  • 相机传感器的外参验证:采用基于车道线的验证方法。在完成相机外参后,方案实现不同相机间的车道线投影和数据关联,计算出车道线的距离和角度误差,以评估外参标定的合格性。
     

  • LiDAR 传感器的外参验证:我们开发了基于杆状物的自动化验证算法。在当前外参下,通过验证不同 LiDAR 关联的杆状物的距离,以验证不同 LiDAR 之间的外参精度。

图片

图片

在线标定:常态标定方式,保障用户体验

在线标定依据用户体验进行区分,分为用户无感和用户有感两种形式:

  • 用户有感:其核心算法与售后标定相似,但将标定权限开放给用户。用户能够通过大屏或某些特定运动行为触发流程,按照提示完成标定。
     

  • 用户无感:在后台检测标定结果是否存在异常、后台无感标定和更新。后台无感标定时,根据标定参考系选择的不同可以分为静态标定和动态标定。

    静态标定参数的参考系是车体,由于传感器与车体在一定时间周期或行驶里程内是固定刚性连接的,该外参为定值,标定内容则是传感器的位置和角度,涵盖 6 个自由度,主要修正由于安装支架老化、传感器松动等原因导致的传感器稳态的外参变化量。 


    动态标定参数的参考系是地面,当车辆运动时,受到颠簸、加减速的影响,传感器和地面之间的相对位置关系会不断变化,影响最大的是俯仰角,因此动态标定主要针对俯仰角这一个维度,每帧提供一个标定结果。

用户无感的在线标定中,对标定结果的自动化检测是第一个环节:我们能够根据多传感器多帧的感知结果是否存在差异进行判断,如果结果存在稳态误差导致的异常,就会触发后台无感的静态标定。

当不同的传感器感知数据可用时,算法将进行数据关联和外参计算,并判断传感器的外参是否满足要求。根据判断结果,决定是否继续进行传感器标定。

图片

基于这种自动化检测机制,在传感器标定精度足够的情况下能够避免冗余标定,减少不必要的标定触发和资源开销。

同时,标定结果的自动化检测将直接利用感知目标检测结果,无需处理图像和点云,因此自动化检测的资源占用极低。
 

如果标定存在异常,后台会触发无感的静态标定,为了保证标定的高效性以及最大化利用每次标定的结果,我们做了两部分处理:首先,建立一个缓存机制,如断电前传感器标定未成功,系统将缓存对应的中间结果,下次上电后再加载对应结果以继续标定。其次,与售后不同,实现后台实时运行在线标定,需要更轻量化的算法。

我们一方面拉长算法运行流程,减慢运算速度,频繁释放计算资源,减少 CPU 的使用率。另一个方面将标定任务拆解成个、两个传感器轮流完成标定,减轻数据通信负载,降低计算量。

图片

比如在相机和 LiDAR 的标定中,我们并没有采用多传感器联合优化的方案,而是配置了更轻量的标定算法:利用相机和 LiDAR 中共同区域中的边缘特征进行标定。

图片

为了应对车辆运动时由于颠簸、加减速影响传感器到地面相对位置关系的问题,我们开发了一套后台无感的动态标定方案:在标定模块运行的时候,我们对投影到地面的车道线进行曲率约束实时动态估计对地面的 pitch 角

如下视频中所示,左侧的 BEV 投影由于颠簸和车辆加减速的影响导致明显的畸变,而右侧通过对俯仰角的实时估计,能够较好补偿 BEV 投影的畸变。

图片

地面pitch角在线修正

标定评测方式

对标定结果的评估也是量产标定的关键。

以 L2+ 场景为例,下游模块对前视传感器标定的精度要求在 0.3 度以内,对其他传感器的精度要求在 0.5 度内,而目前绝影的量产标定结果都能够达到以上精度水平。我们通过定性定量两方面对标定结果进行精度评估:
 

  • 定量评估:包括仿真对比误差、重复性误差和横向对比误差。
    仿真对比误差是在仿真环境中标定结果与仿真环境中设计值的差异,我们会构建对应的产线、真实物理世界场景,对比标定结果和仿真器设计值的差异值

    重复性误差是使用不同数据多次进行同种标定,形成多组标定结果,通过统计结果来看标定针对不同场景的稳定性横向对比误差则是指不同标定方式,包括产线、售后、在线的标定结果差值对比。
     

  • 定性评估:人工通过可视化进行评判,不同传感器有不同的评估方法:

    多相机之间通过拼接 BEV 图,以车道线路沿是否错位重影反映出相机之间的外参误差。相机和 LiDAR 之间,将激光点投影到图像上,对比边缘是否重合来确定标定误差。多 LiDAR 之间则是用拼接后的地图重影进行定性判断。

图片

未来,绝影团队也会在标定模块持续探索,不断提高场景泛化能力、标定轻量化水平和通用化能力:

场景泛化能力上,我们会根据常见的难例场景,比如特征缺失、眩光等问题,进一步迭代算法提升鲁棒性,同时也会尝试与学习方法的结合,以处理各种 corner case。

轻量化方面,实现更加轻量的输入源及算法。同时,我们会设计一套更加通用的模块框架,可以通过简单配置更改适配不同项目,以提高标定模块的通用化能力

标定作为智驾「基建」之一,决定了感知的准确性和可靠性——测距能力、障碍物识别、长尾场景感知等也依赖于此。我们相信,持续探索、创新标定模块工作,将不断提高智驾感知能力,推动智能驾驶向更高阶演进。

标签:误差,外参,量产,标定,产线,算法,传感器
From: https://blog.csdn.net/Evelynnzhao/article/details/137287831

相关文章

  • IMU参数辨识及标定
    IMU参数辨识及标定一、标定参数分析        标定的本质是参数辨识。首先明确哪些参数可辨识,其次弄清怎样辨识。        参数包括陀螺仪和加速度计各自的零偏、标度因数、安装误差。IMU需要标定的参数主要是确定性误差和随机误差,确定性误差主要标定bias,scal......
  • 基于 STM32U5 片内温度传感器正确测算温度
    1.引言STM32在内部都带有一个温度传感器,STM32U5也不例外。这个位于晶圆上的温度传感器虽然不太适合用来测量外部环境的温度,但是用于监控一下晶圆上的温度也是挺好的,可以防止芯片过温运行。2.问题2.1.问题详情某客户在使用STM32U575ZIT6Q时,使用ADC4对内部温度传......
  • PLC通过modbus转profinet网关连接湿度传感器操作步骤
    Modbus转Profinet网关可以连接不同系统和设备,有些现场需要实时监测环境参数,但大由于当时环境仪表设备不能达到直连效果,通过Modbus转Profinet网关,湿度传感器的数据可以被准确、可靠地传输到监控系统中,为生产运作提供全面的数据支持。  Modbus转Profinet网关接湿度传感器的操作......
  • 【LEACH协议】具有动态头、功率控制、数据聚合的LEACH协议用于高效的WSN传感器网络附m
     ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,代码获取、论文复现及科研仿真合作可私信。......
  • 【LEACH协议】具有动态头、功率控制、数据聚合的LEACH协议用于高效的WSN传感器网络附m
     ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,代码获取、论文复现及科研仿真合作可私信。......
  • 自动驾驶量产车中,为何BEV和Occupancy如此重要?
    自动驾驶领域中,什么是BEV?什么是Occupancy?BEV是Bird'sEyeView的缩写,意为鸟瞰视图。在自动驾驶领域,BEV是指从车辆上方俯瞰的场景视图。BEV图像可以提供车辆周围环境的完整视图,包括车辆前方、后方、两侧和顶部。BEV图像可以通过多种方式生成,包括:使用激光雷达:激光雷达可......
  • 【STM32项目】基于STM32多传感器融合的新型智能导盲杖设计(完整工程资料源码)
    基于STM32多传感器融合的新型智能导盲杖设计演示效果基于stm32智能盲杖  前言:      目前,中国盲人数量已突破两千万大关,而城市盲道设计不合理、盲道被非法侵占等危害盲人出行安全的问题屡禁不止[1-3]。随着科技发展,智能盲杖不断涌现,但这些智能盲杖并不智能[4,5]......
  • 4、Pico Robot 传感器进阶课程
    4.1光敏传感器一、学习目标1.学习树莓派Pico主板和小车扩展板的光敏传感器、OLED结合进行实验。2.了解光敏传感器的使用。二、硬件使用本次课程使用PICO主板以及小车扩展板的光敏传感器、OLED,运行之前请把跳线帽接到Light排针。光敏电阻是用硫化镉或硒化镉等半导体材料......
  • CG-36 土壤水势传感器 土壤干旱度及时掌握
    产品概述土壤水势传感器可以很方便地插入到土壤剖面坑中,在其周围包裹上湿土即可。测定和记录非常简单。免维护、无需校准即可测量较大范围的土壤水势;无需灌水,超大量程使得它成为测量自然系统水势的理想传感器,特别是张力计无法测量的气穴。功能特点◆使用了自动校准装置逐个......
  • 车载摄像头标定流程
    一、硬件基础1.四个摄像头,都有以太网针脚,前面的都是在中间车标的位置、后面的一般在中间,也有部分品牌在中间旁边一点的位置,左右两边的都在后视镜的下面,可以提供车前轮和车后轮的两种视角。2.两个ECU,一个是车上自带的,另一个是开发版本用来做实验的。2.1、ECU  1.12pin......