智能驾驶系统主要通过多个传感器来实现对真实世界的感知。而传感器的标定也决定了感知能力上限:传感器数据的坐标(图像、点云等)与真实世界物体的坐标存在对应的转换关系,对于坐标转换模型公式中的传感器参数调整,就是标定。
传感器标定主要分为内参标定和外参标定。
内参标定的目的是获取传感器的内部参数,如相机的畸变系数、焦距大小等,以确保传感器的数据输出得到有效的校正。在大部分智能驾驶量产项目中,传感器的内参都会由传感器供应商提供。
外参标定需要确定传感器到车体,以及传感器间的相对位置姿态的关系,保障融合多源传感器数据时建立统一的观测坐标系。
而本期,我们将介绍绝影团队在量产项目中多传感器的外参标定方案。
常见的量产项目的标定方案主要分为以下三种:
-
产线标定:通过标定车间内的标志物完成传感器的标定,也是量产车型「出厂设置」一部分。
-
售后标定:由 4S 店、车辆售后维修中心完成,多是由于车辆事故、问题排查,导致传感器重新安装,需要重新完成传感器的标定。
-
在线标定:由用户使用智能驾驶功能过程中完成,根据车机提示或者无感触发完成对应的车辆标定,这三种标定方法从场景、执行人员等来看,会有以下差异:
产线标定:如何高效低成本解决产线标定痛点?
产线标定即车辆在量产过程中按序进入标定间,摆正器将车辆摆正,得到现场标靶相对于车辆的位置关系,然后传感器通过对周围标靶的识别,从而解算出传感器外参。
它是车辆下线的一个重要环节,往往车企对于产线标定通过率、稳定性以及标定精度都有比较高的要求。如在一些量产项目合作中的标定要求需要达到:单一产线每小时过线 15 台车,通过率要求 98% 以上,标定误差在 0.3 度以内的标准挑战。
在实际执行过程中,产线的精度、稳定性以及通过率往往会遇到以下挑战:
-
生产环境变动:设备老化、标靶松动及机械结构移动不到位等生产环境变动,都会对标定精度和通过率产生一定影响,使产线阻塞、影响生产效率。
-
偶发下线车辆标定误差的排查难度大:若因单一车型标定不达标而将产线停产进行排查,将耗费成本巨大。而不及时排查又存在潜在风险。
针对生产环境变动问题,我们提出产线标定自动化验证机制,通过对小批量产线标定车辆外参的验证,间接实现对产线生产环境的定期检查。
针对偶发下线标定误差问题,我们搭建产线仿真平台:通过在仿真器对相关问题复现验证,及时提供解决方案。离线模拟能够模拟标定板位置偏差、光照影响、内参问题等情况,来复现生产环境中出现的标定问题。
产线标定仿真器
在产线设计过程中,产线仿真平台也起到了至关重要的作用。量产项目中往往先进行产线设计,再完成产线施工搭建,在设计阶段如何有效进行产线方案验证是一个难点。仿真器验证对标定板尺寸大小、位姿布置有指导意义,同时可以提高算法开发效率。
售后标定:通用外参标定解决方案,更简单也更精准
售后标定在 4S 店或维修中心完成,多为车辆发生事故或进行问题排查,其传感器安装位置发生变化,需要重新进行传感器的标定。
售后标定往往需要满足以下要求:
-
标定场景及外置设备简单;
-
标定精度能够与产线一致;
-
标定操作简单、可行性高;
-
通用化能力强,能够适配对不同传感器配置的需求。
作为算法平台方案解决供应商,往往需要面对不同的传感器配置需求,例如:传感器数量差异、传感器位置布置差异、传感器类型差异等,因此标定算法需要具备较高通用化能力。
不同于基于标靶的方案,我们充分利用开放道路的树木、建筑物等环境特征,以标定不同传感器外参,对标定场景和外置设备要求更简单。
同时,我们还采用了联合优化方法:通过传感器之间的特征匹配,重建三维场景,针对外参、位姿结果等进行联合优化,以获取传感器间的外参以及传感器与车体之间的关系。这种方法增加了传感器之间的共视约束,以更简单的流程,实现产线标定的精度。
除此以外,绝影算法框架能够兼容任意传感器组合的配置进行外参标定。比如在 L2+ 场景下,侧前和侧后相机往往共视区域小,我们能够利用车辆运动获取不同时刻的传感器间共视关系,以构建小共视区域内的传感器间约束。
在标定操作上,我们的算法对运动形式要求简单,车辆能够通过直线运动等完成标定。在标定完成后,标定模块会根据缓存的数据进行参数自动验证,减少人工验证的工作:
-
相机传感器的外参验证:采用基于车道线的验证方法。在完成相机外参后,方案实现不同相机间的车道线投影和数据关联,计算出车道线的距离和角度误差,以评估外参标定的合格性。
-
LiDAR 传感器的外参验证:我们开发了基于杆状物的自动化验证算法。在当前外参下,通过验证不同 LiDAR 关联的杆状物的距离,以验证不同 LiDAR 之间的外参精度。
在线标定:常态标定方式,保障用户体验
在线标定依据用户体验进行区分,分为用户无感和用户有感两种形式:
-
用户有感:其核心算法与售后标定相似,但将标定权限开放给用户。用户能够通过大屏或某些特定运动行为触发流程,按照提示完成标定。
-
用户无感:在后台检测标定结果是否存在异常、后台无感标定和更新。后台无感标定时,根据标定参考系选择的不同可以分为静态标定和动态标定。
静态标定参数的参考系是车体,由于传感器与车体在一定时间周期或行驶里程内是固定刚性连接的,该外参为定值,标定内容则是传感器的位置和角度,涵盖 6 个自由度,主要修正由于安装支架老化、传感器松动等原因导致的传感器稳态的外参变化量。
而动态标定参数的参考系是地面,当车辆运动时,受到颠簸、加减速的影响,传感器和地面之间的相对位置关系会不断变化,影响最大的是俯仰角,因此动态标定主要针对俯仰角这一个维度,每帧提供一个标定结果。
用户无感的在线标定中,对标定结果的自动化检测是第一个环节:我们能够根据多传感器多帧的感知结果是否存在差异进行判断,如果结果存在稳态误差导致的异常,就会触发后台无感的静态标定。
当不同的传感器感知数据可用时,算法将进行数据关联和外参计算,并判断传感器的外参是否满足要求。根据判断结果,决定是否继续进行传感器标定。
基于这种自动化检测机制,在传感器标定精度足够的情况下能够避免冗余标定,减少不必要的标定触发和资源开销。
同时,标定结果的自动化检测将直接利用感知目标检测结果,无需处理图像和点云,因此自动化检测的资源占用极低。
如果标定存在异常,后台会触发无感的静态标定,为了保证标定的高效性以及最大化利用每次标定的结果,我们做了两部分处理:首先,建立一个缓存机制,如断电前传感器标定未成功,系统将缓存对应的中间结果,下次上电后再加载对应结果以继续标定。其次,与售后不同,实现后台实时运行在线标定,需要更轻量化的算法。
我们一方面拉长算法运行流程,减慢运算速度,频繁释放计算资源,减少 CPU 的使用率。另一个方面将标定任务拆解成单个、两个传感器轮流完成标定,减轻数据通信负载,降低计算量。
比如在相机和 LiDAR 的标定中,我们并没有采用多传感器联合优化的方案,而是配置了更轻量的标定算法:利用相机和 LiDAR 中共同区域中的边缘特征进行标定。
为了应对车辆运动时由于颠簸、加减速影响传感器到地面相对位置关系的问题,我们开发了一套后台无感的动态标定方案:在标定模块运行的时候,我们对投影到地面的车道线进行曲率约束,实时动态估计对地面的 pitch 角。
如下视频中所示,左侧的 BEV 投影由于颠簸和车辆加减速的影响导致明显的畸变,而右侧通过对俯仰角的实时估计,能够较好补偿 BEV 投影的畸变。
地面pitch角在线修正
标定评测方式
对标定结果的评估也是量产标定的关键。
以 L2+ 场景为例,下游模块对前视传感器标定的精度要求在 0.3 度以内,对其他传感器的精度要求在 0.5 度内,而目前绝影的量产标定结果都能够达到以上精度水平。我们通过定性和定量两方面对标定结果进行精度评估:
-
定量评估:包括仿真对比误差、重复性误差和横向对比误差。
仿真对比误差是在仿真环境中标定结果与仿真环境中设计值的差异,我们会构建对应的产线、真实物理世界场景,对比标定结果和仿真器设计值的差异值。
重复性误差是使用不同数据多次进行同种标定,形成多组标定结果,通过统计结果来看标定针对不同场景的稳定性。横向对比误差则是指不同标定方式,包括产线、售后、在线的标定结果差值对比。
-
定性评估:人工通过可视化进行评判,不同传感器有不同的评估方法:
多相机之间通过拼接 BEV 图,以车道线路沿是否错位重影反映出相机之间的外参误差。相机和 LiDAR 之间,将激光点投影到图像上,对比边缘是否重合来确定标定误差。多 LiDAR 之间则是用拼接后的地图重影进行定性判断。
未来,绝影团队也会在标定模块持续探索,不断提高场景泛化能力、标定轻量化水平和通用化能力:
在场景泛化能力上,我们会根据常见的难例场景,比如特征缺失、眩光等问题,进一步迭代算法提升鲁棒性,同时也会尝试与学习方法的结合,以处理各种 corner case。
在轻量化方面,实现更加轻量的输入源及算法。同时,我们会设计一套更加通用的模块框架,可以通过简单配置更改适配不同项目,以提高标定模块的通用化能力。
标定作为智驾「基建」之一,决定了感知的准确性和可靠性——测距能力、障碍物识别、长尾场景感知等也依赖于此。我们相信,持续探索、创新标定模块工作,将不断提高智驾感知能力,推动智能驾驶向更高阶演进。
标签:误差,外参,量产,标定,产线,算法,传感器 From: https://blog.csdn.net/Evelynnzhao/article/details/137287831