激光雷达和相机传感器装置的自动外部校准方法（上）

Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor Setups

摘要——用于机载自主感知的大多数传感器设置由激光雷达和视觉系统组成，因为它们提供了互补信息，提高了获得稳健场景理解所需的不同算法的可靠性。然而，有效利用来自不同来源的信息需要在所涉及的传感器之间进行准确的校准，这通常意味着一个乏味而繁重的过程。我们提出了一种校准任何一对传感器的外部参数的方法，这些传感器涉及相同或不同模态的激光雷达、单目或立体相机。该过程由两个阶段组成：首先，从待校准传感器提供的数据中提取属于自定义校准目标的参考点，其次，通过两个点集的配准找到最优刚性变换。所提出的方法可以处理具有非常不同的分辨率和姿态的设备，这通常在车辆设置中发现。

为了评估所提出的方法的性能，在流行的模拟框架的基础上引入了一个新的评估套件。在合成环境上的实验表明，我们的校准算法显著优于现有方法，而实际数据测试证实了评估套件中获得的结果。开放源代码可在https://github.com/beltransen/velo2cam标定

索引术语——自动校准、外部参数、激光雷达、单眼相机、立体相机

I.简介

自主驾驶依赖于有关环境的准确信息来做出有关车辆轨迹的正确决策。

高级推理模块从感知系统接收这些数据，因此，在不同的环境（如照明和天气）下，感知系统必须具有非凡的鲁棒性。

因此，用于车载汽车应用的感知系统的设计目前面向具有几种互补感知模式的拓扑结构。

视觉系统由于其易于集成和提供外观信息的能力，在接近市场的车辆设置中很常见。立体视觉系统使用一对相隔固定距离的相机来获取有关环境的深度信息，是一种具有成本效益的解决方案，能够提供额外的密集3D信息来对车辆周围环境进行建模。

另一方面，3D激光扫描技术的显著发展使其近年来在研究和工业驱动应用中得到了广泛应用。与视觉系统不同，激光雷达测距是准确的，并且经常提供全360°的信息

视野。由多个激光雷达设备组成的设置越来越受欢迎，因为它们允许使用紧凑的设置收集高分辨率数据。

由于这些感官技术的特殊性，它们适合作为同一感知系统的一部分，提供互补的信息。在这种设计中，在使用融合技术进行推理之前，必须适当地组合来自不同传感器的数据。在最常见的设置中，传感器具有重叠的视场（如图1所示），它们的联合使用所赋予的优势来自于在两种数据表示之间进行对应的能力。

图1. 使用相机和两台激光雷达扫描仪的任意设置的示例校准场景，其中校准目标放置在相关传感器的重叠视场中。

例如，流行的多模式3D对象检测方法（如F-PointNet或AVOD）就是这种情况。这些方法假设通过校准过程预先获得了由传感器的外部参数给出的传感器之间的相对姿态的准确估计。

然而，多模态校准是一个远非微不足道的问题。现有的校准方法存在不同的问题，例如需要繁重的自组织环境或缺乏对自定义传感器设置的适用性。值得注意的是，汽车设置需要极高的校准精度，因此它仍然适用于长距离的数据关联。

在这项工作中，我们提出了一种独创的自校准方法，该方法适用于由视觉设备和多层激光雷达扫描仪组成的汽车传感器设置。

该方法包括针对每个模态的鲁棒参考点提取分支，以及最终的3D点配准阶段，在该阶段获得与一对传感器相关的最优变换。所提出的解决方案具有各种新颖的特性：

•我们的方法不专注于特定的设置，而是通过各种相机和多层激光雷达扫描仪，甚至是分辨率较低的扫描仪（例如，16层设备），提供了令人满意的性能。此外，除了需要在传感器的视场之间建立重叠区之外，对传感器的相对姿态没有重大限制：大位移和强旋转是可以接受的。

•它还提供了一个通用框架，可以对相机和激光雷达传感器的任何组合进行外部校准；不仅相机-激光雷达设置，而且相机-相机和激光雷达-激光雷达组合。

•引入了一种新的基准校准目标，以避免歧义，并允许即使在杂乱的场景中也能进行简单快速的校准过程。人为干预被限制在最低限度。

•一组全面的实验表明，校准结果的准确性超过了文献中的其他方法，适用于自动驾驶应用。

除了这种校准方法，我们还提出了一种新的框架来评估基于模拟环境的外部校准算法。这种方法为空间中传感器之间的转换提供了完美的基本事实，并为通过真正代表最终估计准确性的指标来比较校准方法建立了一个公平的基准。此外，它允许测试几乎无限的传感器设备和相对姿态，以保证结果的通用性。

该方法的实施已公开，以提高再现性，并为该领域的研究人员和从业者提供一种方便的工具来解决外部校准的常见问题。该软件在流行的ROS框架中作为一个包提供。用于实验的合成测试套件也已发布。

本文的其余部分组织如下。第二节简要回顾了相关工作。第三节对所提出的算法进行了概述。

在第四节和第五节中，描述了该方法不同阶段的细节。第六节提供了评估该方法性能的实验结果。最后，第七节讨论了结论和有待解决的问题。

二、相关工作

过去，由于其在机器人和汽车平台中的频繁应用，许多研究人员已经解决了表示不同模态传感器相对姿态的外部参数的校准问题。尽管多相机和最近的多激光雷达系统也是文献中感兴趣的主题，但相机到距离的问题已经引起了相当大的关注。

校准经常被假设为在感知堆栈的常规操作之前在受控环境中执行的过程。传统方法在一定程度上需要手动注释。然而，由于错误校准在机器人平台中很常见，研究工作通常集中在自动方法上。由于该过程旨在寻找从不同角度获取的数据之间的对应关系，因此已使用明确的基准仪器作为校准目标，如三角板、多边形板、球体和长方体。这种形状的多样性处理了目标在所有数据表示中与传感器可区分的必要性。

尽管如此，平面目标尤其普遍，因为它们使用距离信息很容易被检测到，并且提供了可用于执行几何计算的特征形状。

当涉及单眼相机时，在目标中添加视觉特征，如棋盘或QR标记，可以通过推断缺失的比例因子来检索场景的几何结构。

近年来，随着提供高分辨率3D点云的激光雷达传感器的广泛引入，研究兴趣已转移到这类设备上。Geiger等人提出了一种基于单次射击的校准方法，该方法基于用作校准目标的几个平面棋盘。Velas等人提出了一种方法，基于对校准模式上圆形特征的检测，能够使用单个视角来估计外部参数。Zhuang等人还使用自定义校准目标在密集激光雷达扫描仪和相机之间进行校准。

该方法依赖于在图像的2D空间中配准通过对两个传感器的数据进行初步处理而找到的参考点。

同样，周等人利用棋盘来解决校准问题，方法是使用一个或多个姿势，在激光雷达中找到棋盘的表示与图像数据之间的对应关系。通常，这些方法的目标是密集距离测量，因此具有较低分辨率的3D激光雷达扫描仪（例如，本工作中使用的16层扫描仪）

涉及本文所述的特定问题。由于这种模式的流行，一些工作也致力于多个激光雷达扫描仪之间的外部校准主题。

相关的第二组方法省去了任何人工校准目标，并使用了环境中的特征。Moghadam等人使用从自然场景中提取的线性特征来确定坐标系之间的变换。通常，这些方法适用于填充有许多线性地标的室内场景，尽管最近的一些工作已经努力将其适应于室外应用。在交通环境中，地平面和障碍物已被用于执行相机激光校准，尽管一些参数是已知的。其他方法基于在用户选择的区域上执行注册的半自动方法。最近，Schneider等人利用深度卷积神经网络在连续在线过程中执行所有校准步骤。CalibNet已被提议作为一种自监督校准框架，其中网络被训练以最小化几何和光度误差。然而，这种类型的模型很难应用于自定义传感器设置，因为它们需要事先训练。

另一方面，校准方法的评估仍然是一个悬而未决的问题，因为在实践中无法获得定义传感器姿态之间关系的参数的准确地面实况。缺乏标准的评估指标导致了自定义方案的使用，这种方案很难扩展到其他领域，最终基于不准确的手动注释。在这方面，Levinson和Thrun提出了一种方法，通过根据场景中的不连续性计算的目标函数的变化来检测校准错误。Pandey等人提出了一种不同的方法，他通过使用激光雷达反射率测量和相机强度计算的相互信息的最大化来进行校准。

然而，当前的校准方法仍然不能对估计某些传感器设置的外部参数的需求提供全面的响应，例如在自动驾驶中发现的传感器设置。它们要么过于关注特定的配置，缺乏泛化能力，要么由于缺乏客观的评估方法而没有得到充分的验证。我们打算提供一种范围广泛的方法，能够在各种设置和情况下进行校准，包括那些通常被忽视的设置和情况，并通过一种允许与现有方法进行公平比较的新基准来定量证明其充分性。

III、方法概述

我们提出了一种估计刚体变换的方法，该方法定义了一对传感器之间的相对姿态。这些传感器中的每一个都可以是激光雷达扫描仪、单眼相机或立体相机，可以是任何可能的组合。这对传感器之间的变换可以由六个参数

的矢量定义，这些参数描述了一个设备在连接到另一个设备的参考系中的位置和旋转。围绕轴

的旋转通常称为滚转角、俯仰角和偏航角。

θ中的参数明确定义了矩阵T，该矩阵可用于在两个坐标系之间变换3D点。例如，在激光雷达单目设置中，一旦建立了变换矩阵

，就可以通过

将单目坐标{M}中的点

变换到激光雷达空间{L}中。注意，在该特定情况下，用于获得

的参数

表示{M}相对于{L}的姿态。

利用所提出的方法，从要校准的传感器检索的数据中自动获得转换。定制的平面目标用于提供在两个数据表示之间检测和配对的特征。

如图2所示的两个不同实施例所示，该校准模式具有几何和视觉特征，能够估计激光雷达、立体和单目模态中的关键点。一方面，使用四个圆孔来利用激光雷达和立体点云中的几何不连续性。另一方面，四个ArUco标记被放置在角落附近，使得可以从单目图像推断3D信息。

该方法不对设备之间的相对姿态施加严格的限制，因此适用于平移和旋转参数的幅度很大的传感器设置。只需要两个合理的约束条件。

图2. 用CNC机床制造的定制校准图案的两个不同实施例。

首先，传感器的视场之间必须有一个重叠区域，校准目标将放置在该区域。第二，图案中的孔必须在传感器检索的数据中清晰可见；特别是，每当校准中涉及范围数据时，每个圆必须至少由三个点表示。在多层激光雷达传感器的情况下，这意味着至少有两个扫描平面与每个圆相交。此外，假设每个设备固有的参数（例如焦距或立体声基线）是已知的。

该程序设计为在静态环境中执行。尽管该方法可以仅用目标的一个姿态来提供外部参数的快速估计，但是可以通过累积几个位置来提高结果的准确性和稳健性，如稍后所示。

如图3所示，所提出的校准算法分为两个不同的阶段：第一个阶段涉及校准目标的分割和参考点在每个传感器坐标系中的定位；另一方面，第二个执行变换参数的计算，该变换参数使得能够配准参考点。

IV、目标分割

第一阶段旨在将校准目标定位在每个传感器的数据中。因此，在该阶段的测量是相对于相应传感器的局部坐标系的。由于用于定位模式的特征对于每个模态是不同的，因此这里提出了该过程的三种不同变体，每种传感器类型一种。在所有情况下，该阶段的输出是一组四个3D点，以局部坐标表示目标中孔的中心。

这些点稍后将用于查找不同数据源之间的对应关系。尽管激光雷达和立体数据的处理有一些差异，特别是在分割阶段的开始，但一旦有用的距离数据以3D点云结构表示，两者都共享一个共同的主干。单眼替代方案有很大不同，因为它依赖于ArUco标记。

本节中描述的程序旨在应用于由相应传感器提供的每个数据帧。来自所有传感器的数据都是并行处理的，因此只要场景是静态的，它们就不必共享一个公共触发器，也不必具有相同的刷新率。

图3. 所提出方法的不同阶段概述。对于3D输入（蓝色）：平面分割、目标检测、圆分割和参考点估计。对于单目相机（绿色）：ArUco标记检测、目标三维姿态估计和参考点估计。

然后，对于每个帧和模态：几何一致性检查、点聚合和传感器配准。

A.激光雷达数据预处理

假设来自激光雷达扫描仪的数据表示为3D点云

，测量结果分布在不同的层中，这在基于旋转镜的机械设备中是典型的。在将数据馈送到分割过程之前，在三个笛卡尔坐标中应用直通滤波器，以去除目标要放置的区域之外的点，避免可能减慢处理速度的虚假检测。必须根据传感器重叠区域的位置和大小设置直通过滤器的限制。由此产生的云

必须表示校准目标及其后面的点，这些点从激光雷达通过孔可见。

作为分割图案中的孔的第一步，必须提取代表目标边缘的点。对于激光雷达模态，我们遵循该方法来寻找深度不连续性。

对于激光雷达模态，我们遵循该方法来寻找深度不连续性。云中的每个点，

，被分配一个幅度，表示相对于其邻居的深度梯度：

其中，

是传感器为点

（即球面半径坐标）给出的范围测量值，

和

是同一扫描平面中与

相邻的点。

然后，我们过滤掉所有具有不连续值

的点

，得到

。请注意，该程序假设存在通过孔的射线测量值，因此它们必须与激光雷达测量范围内目标后面的一些固体碰撞。

B.立体数据预处理

当要校准的传感器之一是立体视觉系统时，通过使用立体匹配程序将原始图像对转换为3D点云来开始数据处理。在我们的实验中，我们使用了OpenCV实现的[29]的半全局块匹配（SGBM）变体，我们发现它对于深度估计相当准确。注意，当涉及该模态时，期望校准目标具有一些纹理（例如，木纹），从而可以成功地解决立体对应问题。

然而，在我们的实验中，我们发现由模式边界本身引起的强度差异通常是足够的。由于假设系统是规范的，并且摄像机之间的基线是已知的，因此可以向点提供其深度的估计，并且可以使用针孔模型直接获得3D点云