点击进入→自动驾驶之心技术交流群
后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！
自动驾驶中的多传感器融合
原文：Multi-Sensor Fusion in Automated Driving: A Survey
自动驾驶正成为影响未来行业的关键技术，传感器是自动驾驶系统中感知外部世界的关键，其协作性能直接决定自动驾驶车辆的安全性。本文主要讨论了近年来自动驾驶中多传感器融合的不同策略。分析了常规传感器的性能和多传感器融合的必要性，包括radar、激光雷达、摄像机、超声波、GPS、IMU和V2X。根据最近研究中的差异，将融合策略分为四类，并指出了一些不足之处。传感器融合主要应用于多目标跟踪和环境重建，论文讨论了多目标跟踪中建立运动模型和数据关联的方法。最后，作者分析了当前研究中的不足，并提出了未来进一步改进的建议。通过本survey， 希望能够分析自动驾驶过程中多传感器融合的现状，并提供更有效和可靠的融合策略。
多源异构信息融合（MSHIF）综合利用了不同传感器获得的信息，避免了单个传感器的感知局限性和不确定性，形成了对环境或目标的更全面的感知和识别，提高了系统的外部感知能力[1]。目前，MSHIF技术已广泛应用于故障检测、遥感、人体健康监测、机器人系统、人机交互、目标识别和跟踪、同时定位和映射（SLAM）和高级驾驶辅助系统（ADAS）等领域。
传感器是AD系统中感知外部世界的关键，其协作性能直接决定AD车辆的安全性。AD车辆主要使用七种传感器，包括摄像机、毫米波雷达（MMW雷达）、全球定位系统（GPS）、惯性测量单元（IMU）、激光雷达、超声波和通信模块。各种传感器各有优缺点，因此在AD系统中通常有不同的任务划分。本文主要研究如何通过融合多传感器数据来实现融合感知。摄像机可以获取光学图像，并从一定角度准确记录物体的颜色、纹理、颜色分布等信息。因此，一些研究使用摄像机完成目标识别和目标跟踪任务，包括道路检测、行人和车辆识别以及局部路径规划。为了克服摄像机可测量角度范围窄的问题，在实际应用中，AD通常采用多台摄像机对周围环境进行全方位监控。毫米波雷达通过脉冲压缩测量物体的距离，并通过多普勒频移测量物体的速度，这在障碍物检测、行人识别和车辆识别中有广泛的应用。GPS和IMU为AD车辆提供惯性信息和全球位置信息，以确定其位置，从而使车辆能够在高精度地图（HPM）中实时定位。激光雷达的主要应用包括定位、障碍物检测和环境重建。由于三维（3D）数据与二维数据相比具有一定的信息表示优势，它可以最大限度地恢复真实环境中的交通条件。结合毫米波雷达目标的动态特性、激光雷达的变化优势以及光学图像中目标的细节，利用综合信息有助于车辆执行各种任务，如意图分析、运动规划和自动驾驶。
一些研究利用开源数据集[35]、[36]或从仿真软件[37]生成数据集，以避免传感器数据的费力收集。多传感器融合的研究需要大量数据，尤其是在大量深度学习应用的背景下。因此，数据收集的工作量是巨大的。在参考文献[38]中，近年来对AD的虚拟测试环境和开源数据集进行了分析和总结。通过选择与研究相匹配的数据集，可以在多传感器融合研究过程中快速获得有效数据，而无需花费大量资源和时间重新获取。此外，多个传感器对应的目标在不同的坐标系中，不同传感器的数据速率是相反的。需要将异构信息中的同时目标信息映射到一个统一的坐标系，即时空对齐[39]，[40]。此外，目标信息的呈现形式与传感器不同，需要校准多传感器的位置以获取最终位置。在多传感器融合部分，目前的研究有不同的方法，多传感器采用的信息融合、融合水平和融合算法也不同。从融合方法来看，传感器的组合主要包括radar-camera（RC）[19]、[41]、camera-lidar（CL）[42]和radar-camera-lidar[16]。一些研究将车辆位置和地图集成到AD系统中，这使得车道水平定位成为可能[97]。此外，V2X传感器将附近的物体添加到地图实时中，这降低了车辆的动态信息的比例[43]。根据MSHIF处理中融合信息的不同形式，该方法分为四种类型的信息融合，包括基于可分辨单元（FBDU）[44]、[45]、基于互补特征（FBCF）[46]、[47]、基于属性的融合（ABF）[48]、[49]和基于多源决策的融合（FBMDM）[16]、[50]。一般而言，不同的融合策略基于数据融合过程中传感器数据的不同抽象级别。在数据融合之前，FBDU的抽象度最低。它通常直接集成预处理数据，而FBMDM对不同传感器的最终处理结果具有最高的综合判断。此外，为了完成车辆的运动规划，需要检测障碍物并跟踪运动目标。由于移动目标运动的复杂性，有必要根据移动目标的相关性做出相应的决策。然而，实现运动目标运动识别的前提是跟踪目标。
本文首先讨论了AD中使用的传感器和技术，以及为什么和如何使用它们来完成AD任务。然后，根据不同研究中的特定融合方法，分析和讨论了当前的不足和可以改进的地方。
本文组织如下：第二节分别介绍了传感器的特点、优点和缺点。第三节总结了四种融合策略和特定感知识别方法，并讨论了多传感器融合的特定方法。此外，通过比较各种传感器的性能，说明了多传感器融合的必要性。需要建立运动模型来识别目标的运动意图。在第四节中，我们描述了将多传感器数据与目标跟踪关联的必要性。第五节分析了当前融合策略中存在的问题，并提出了进一步改进的具体建议。
1）融合感知系统中的传感器
传感器的类型和性能直接决定了AD系统获取的信息的数量和质量。除了车辆对车辆（V2V）、车辆对基础设施（V2I）和其他车辆通信外，还通过分析和合成各种传感器数据来感知外部环境。一般来说，研究中的传感器主要包括radar/超声波和camera（包括RGB-D、红外摄像机）、激光雷达和GPS/IMU。不同传感器在不同环境下的检测能力和可靠性受到限制，多传感器融合可以提高目标检测和识别的准确性。下表总结了上述传感器和检测范围的优缺点，表明不同传感器的工作特性有明显差异。同时，通过融合多传感器数据，从各个方面提高了车辆的感知能力，有效地保障了驾驶员的安全。在融合传感过程中，主要采用的传感器是毫米波雷达、激光雷达、摄像机、超声波、GPS/IMU和V2X传感器。因此，本节其余部分将讨论这些传感器的特点、优点和缺点。
1.毫米波雷达
目前，毫米波雷达的主流频段包括24GHZ、60GHZ和77GHZ，最流行的是77GHZ；而60GHZ是仅在日本采用的频段，24GHZ频段将在未来逐步废除。79GHZ波段雷达具有更高的距离、速度和角度分辨率，已得到广泛认可，并将成为未来车载雷达的主流频带。与相机和激光雷达相比，毫米波雷达具有更长的波长，具有一定的抗阻塞和抗污染能力，可以应对雨、雪、雾和黑暗环境。雷达不仅可以获得多个目标的精确距离，还可以利用多普勒频移效应测量相对速度。不同类型的车载雷达波形通常分为调频连续波（FMCW）雷达和脉冲雷达。由于脉冲雷达在接收回波信号时需要严格隔离发射信号，而高功率信号将在一个短暂的连续周期中发射，这导致了对硬件的高要求和复杂的结构。因此，大多数车载毫米波雷达采用FMCW作为发射波形。FMCW雷达确保目标的距离和相对速度同时可用，并且速度分辨率和距离分辨率是可控的。
大多数研究从雷达数据中提取行人或车辆的距离、角度和速度信息。然而，微多普勒效应为识别刚性和非刚性目标提供了另一种方法。在参考文献[20]中，FMCW雷达系统旨在为100至150米范围内的成人和儿童提供所需的识别。在参考文献[21]中，从接收到的雷达信号中提取代表性目标特征，作为SVM的分类标准，用于行人、车辆和自行车的分类，准确率为90%以上。同时，最新的IWR6843ODS雷达模块可以实现实时目标点云映射，进一步丰富了采集数据的信息内容。
毫米波雷达的一个缺点是对于相对静止的目标难以区分。除受到噪声干扰外，AD车辆还经常受到由金属物体（如路标或护栏）产生的错误警报的影响。一般的处理方法是采用恒虚警率（CFAR）检测，用噪声的方差不断更新判决阈值，从而获得恒定的虚警概率[51]。此外，预处理的雷达数据可以通过应用生成对抗网络（GAN）[52]-[55]生成图像，但图像仍然面临分辨率不足的问题。此外，随着配备FMCW雷达的车辆数量的增加，共享频率干扰现象将成为一个问题，参考文献[56]提出了一种新的雷达布置系统，该系统具有不受带宽限制的适当的布置解决方案。与同类雷达相比，其分辨率提高了一个数量级以上，这将有助于雷达构建高分辨率地图。
2.Camera
camera是最早用于AD系统的传感器之一，主要用于完成目标识别、环境地图构建、车道检测和目标跟踪等任务。近年来，深度学习（DL）在目标识别和跟踪任务中取得了优异的性能，它可以从海量数据中获得强大的表达能力，并用机器学习方法取代传统的人工特征设计。在系统精确完成目标识别和目标跟踪后，将进行下一步的决策任务。目前，有两种类型的相机，CCD和CMOS。CCD具有复杂的制造工艺、更高的量化效率、更低的噪声、高动态范围和低光条件下的高图像质量。与CCD传感器相比，CMOS牺牲了一些性能以降低成本。它们之间的差异将更大，预计CMOS将取代CCD[57]。
为了从图像中获得目标的位置，需要建立像素与物理世界之间的关系，这称为相机标定。参考文献[58]回顾了相机标定的方法，并将其分为优化方法、变换矩阵方法、分布标定方法、张正友标定方法和传统标定方法。在实际标定过程中，参考文献[59]提出了灵活的摄像机标定方法，该方法只需要从不同角度拍摄棋盘，然后建立径向透镜畸变模型。该方法包括一个封闭形式的解，然后根据最大似然准则进行非线性求解。针对多传感器融合，参考文献[60]-[64]提出了一些基于深度信息的摄像机标定方法。随着计算机视觉应用的不断扩展，有必要提出具有更低复杂度和更灵活的新颖创新算法。一些研究使用双目相机或深度相机来获得具有深度信息的图像数据。然而，在距离分辨率方面，与radar或激光雷达[16]，[65]仍有很大差距。参考文献[66]中，基于Pascal、Coco和CityScape的现有数据集生成的污损图像（模糊、雪天、雾天、过亮过曝）用于评估最先进的目标检测算法。如下图所示，检测精度至少降低了31.1%，在某些情况下，最大值降低了60.4%。因此，可以得出结论，无论在何种条件下，单摄像机传感器都是非常不可靠的。
车辆的camera在光线突然变化的情况下（例如离开隧道）具有较差的可靠性，通过将camera与GPS、HPM甚至V2X组合，引入一些先验信息来动态调整相机曝光。与radar相比，camera的优势在于它能够准确捕获轮廓、纹理和颜色分布信息，这有助于在非极端环境条件下对不同目标进行分类识别。然而，ADAS车辆具有应对全天候环境和极端情况的能力要求。只有应用MSHIF的系统才能实现100%的识别准确率，多传感器的数据融合是为了避免某些传感器的错误检测，从而产生错误的运动规划。目前，通过camera对环境的感知可以获得最丰富的信息，但是，必须考虑到在某些情况下，图像可能会变得不可靠，例如进出隧道时光线突然变化，或在夜间几乎无法感知周围环境，以及极易受天气影响。
3.激光雷达
激光雷达主要包括基于扫描结构的二维激光雷达和三维激光雷达，二维激光雷达是单层结构，而三维激光雷达是多层结构。3D激光雷达更普遍地应用于自动驾驶车辆，但更昂贵。随着激光雷达的日益成熟，制造成本将逐渐下降，可预见地达到大多数汽车制造商可以接受的情况。激光雷达在白天和晚上提供实用和精确的3D感知能力。根据是否存在运动单元[68]，激光雷达可分为三种类型：飞行时间（TOF）、三角测量激光雷达和相位测距激光雷达，主流是TOF激光雷达系统。在最近的研究中，激光雷达完全能够识别和感知行人的多种运动模式和空间状态[69]。多线激光雷达通过发射器连续发射激光束，接收器将目标散射光收集为点云图像，这有助于感知和识别行人和车辆。尽管激光雷达在测量精度和三维感知能力方面优于毫米波雷达，但在雾、雪和雨等恶劣天气条件下，其性能仍不理想。摄像机、毫米波雷达和激光雷达数据的融合将消除部分信息冗余，提供可靠和有效的感知能力，但系统成本太高。
4.GPS和IMU
车载定位设备可以通过多个传感器的协作来解决和处理一些专有场景，高精度算法设计还为自动驾驶车辆提供了高精度定位。参考文献[77]认为，双天线和IMU的组合可以克服传感器偏差并获得ood精度，但系统成本太高。因此，本研究提出了一种基于GPS和IMU的低成本横向滑移角估计方法。然而，他们认为，尽管摄像机可以提供有用的角度信息，但由于其不可靠的操作，摄像机不能很好地应用于横向滑移角的测量过程。同时，当角速度变化太快时，该方案不能很好地工作。车载GPS和IMU的结合可以实现其车辆的定位。仅依靠GPS和IMU无法实现FAD车辆的车道水平定位要求。参考文献[78]，GPS和IMU用于实时跟踪移动目标。跟踪结果表明，跟踪目标和实际路线之间仍然存在无法忍受的偏差。对于L4和L5水平的AD，显然有更多的传感器需要数据融合。同时定位和映射（SLAM）使用摄像机或激光雷达数据通过闭环检测校准位置，以实现车辆在定位环境中的精确定位。参考文献[79]提出为B-SLAM、GPS和IMU设置信息，并提高自主车辆定位的鲁棒性和准确性。该方法可以通过IMU信息的EMI监督聚类获得密集的FGPSS信号，这增强了鲁棒性，即使GPS信号丢失，也能实现更好的定位。此外，在参考文献[80]中，将激光雷达点云与GPS-IMU融合，并通过全卷积神经网络研究处理后的数据，以生成车辆的安全驾驶路线。同时，讨论了雷达和摄像机数据融合的可能性，以进一步提高系统的传感精度和传感范围。一般而言，将更多传感器数据融合到广告感知过程中将显著提高车辆感知能力和感知范围。多个传感器产生的计算压力也会增加。V2V、V2I和云计算的结合将降低车辆处理大量数据的计算压力。与DSRC相比，C-V2X技术具有更全面的覆盖范围、更大的带宽，并与智能手机兼容，实现了车辆与人之间的通信。
5.车辆通信
仅依靠车辆智能来处理复杂和多个自主驾驶任务是一个挑战。智能城市的建设过程产生了V2X、I2X和P2X技术。近年来，在通过通信技术连接不同道路用户方面，V2X的研究占92.14%[30]。V2X技术包括DSRC和蜂窝式V2X（C-V2X，包括LTE-V2X和5G-V2X）。其中，DSR是一种有效和成熟的通信技术，能够满足自主车辆网络通信系统的稳定性和实时性能要求。然而，与C-V2X相比，它具有更低的数据传输速率、更小的覆盖区域，并且不易干扰。此外，在高速情况下，DSRC的信道负载进一步降低[28]。参考文献[29]考虑了车辆之间的数据共享，并分析了两种情况，即数据可以完全共享，由于隐私保护，数据不能完全共享。他们认为，数据的功利使用与隐私之间的紧张关系在未来会加剧。在参考文献[81]中，DSRC用于与周围车辆通信，车辆的实时状态由车辆动力学模型和制动系统动力学确定，这防止了与其他车辆的追尾碰撞，并说明了DSRC通信的可靠性。然而，在通信干扰的情况下，AD需要安全冗余，与其他传感器的集成至关重要。在参考文献[82]中，通过在路边使用激光雷达传感器完成车辆和行人目标识别和轨迹生成。在本文中，激光雷达被放置在高地上，以获得更大的全局交通信息，DSRC利用目标定位和实时接收信息。该方法降低了广告车辆的成本，实现了数据的一次性处理和多点共享。参考文献[83]提出，LTE网络可用于与车辆的实时通信。每个车辆将其位置信息发送到相邻的基站，并接收其他附近车辆的位置信息。通过结合交通预测算法和车辆运动模型，车辆可以预测周围车辆的位置，避免交通事故的发生。然而，基于LTE的车辆通信系统不能很好地适应高速和拥挤的场景。当车速高于60km/h时，通信延迟将进一步增加，甚至无法实现实时通信。5G将很好地适应这些场景，而高带宽功能允许AD车辆共享更多传感器数据或与高精度地图相结合，以实现安全动态规划[32]。
6.多传感器融合与分析
目前，三种主要传感器组合形式用于感知MSHIF系统中的环境，包括RC、CL和RCL。结果表明，最常用的传感器组合是RC，因为这种组合可以在获得周围物体的距离信息的同时获得优异的分辨率。同样，激光雷达和摄像机的组合可以获得具有深度的图像信息，一些研究将激光雷达和毫米波雷达与摄像机相结合，以提高安全冗余度。雷达和摄像机都是全方位的经济技术，激光雷达的性能正在逐步提高，高性能产品的价格仍然很高。虽然camera可以获得目标的轮廓、纹理和颜色分布，但缺点也是显而易见的。双目和深度相机的应用允许图像数据具有深度信息，但在高精度方面还有很长的路要走。与相机和激光雷达相比，毫米波雷达具有更长的波长，可以穿透雨、雪和雾。美中不足的是，雷达更容易受到杂波干扰。激光雷达可以昼夜连续工作，除恶劣天气条件外，还可以提供高分辨率和长距离的三维数据。因此，满足各种工作条件的唯一解决方案是采用MSHIF技术。
下图给出了每个传感器的特征、优点、缺点和适用场景的另一个统计数据，其中显示了MSHIF系统在环境感知和目标识别方面的优势。毫无疑问，MSHIF技术已经取得了相对全面的优势。然而，该系统也更加复杂，在有效集成多源异构数据和繁重计算方面面临挑战。MSHIF的问题之一是数据量增加，网络结构变得更加复杂，以提高识别精度。
2）多传感器数据融合
MSHIF过程的不同方法表示融合阶段原始数据的不同抽象级别。由于在不同的数据提取阶段采用不同的融合策略，因此在多传感器数据融合中使用不同的融合算法。我们对不同研究中使用的融合方法进行分类，以反映这些研究中采用的融合思想。这些融合方法包括四类：基于可识别单元的信息融合策略、基于特征互补的融合策略、不同传感器目标属性的融合策略和基于不同传感器决策的融合策略。
1.基于可分辨单元的融合策略
基于可分辨单元（FSBDU）的融合策略或数据级融合，是指将不同传感器的可分辨单元的数据直接融合，然后对融合后的数据进行进一步处理的融合过程。FSBDU[93]，[94]基本上用于多源图像融合以增强图像，特别是在通过融合红外图像和RGB图像进行遥感成像的应用中。由于波长较长，毫米波雷达的原始数据不利于立即成像。激光雷达的空间分辨率高于毫米波雷达，但水平分辨率和垂直分辨率仍远远落后于光学图像。同时，由于传感器的不同采样率和FOV，有必要在时间和空间上分别对齐它们。多个传感器的数据处理单元（称为帧）具有不同的数据格式和数据体积，因此需要对齐不同的传感器帧。空间对准意味着不同传感器检测到的相同目标对应于FSBDU过程中的统一坐标系。近年来，一些研究侧重于毫米波雷达成像[95]，[96]，但仍不足以区分复杂场景中的多个目标。一些研究使用雷达或激光雷达生成光栅图，然后与光学图像融合，这也可以被视为FSBDU方法。一般来说，在雷达或激光雷达与摄像机融合的过程中，FSB分为两个方向。一种是基于雷达或激光雷达的障碍物检测结果，生成光栅图，即基于区域的融合。另一种方法是将光学图像作为真实样本，并通过GAN[52]-[55]生成雷达或激光雷达图像。
在参考文献[97]中，传感器包括雷达、激光雷达、摄像机和带有地图的GPS，用于在驾驶过程中创建AD车辆的环境表示。观测激光雷达数据的多次累积用于生成网格图。然后，每个网格都有一个观察值的统计屏障，当该数字高于特定数量时，将出现风险警告。识别出的目标将与毫米波雷达检测到的候选目标进行比较。如果两者都显示该区域存在目标，则将其集成到静态地图中。最后，利用距离信息更新车辆的位置误差，构建安全驾驶区域。参考文献[88]采用深度学习方法，将激光雷达点云和摄像机图像融合用于道路检测。将非结构化稀疏点云投影到摄像机图像平面上，然后获得应用于道路分离的编码空间信息的一组密集二维图像。此外，参考文献[98]中提出了一种新的条件多生成器生成对抗网络（CMGGAN），它可以使用训练模型和雷达传感器数据直接生成环境图像，综合利用雷达传感器检测到的所有环境特征。在此基础上，生成的图像和光学图像可以被集成以执行FSBDU，如[97]所述。参考文献[99]提出了一种双静态FMCW雷达系统，该系统使用简单的无线同步方案和宽带全向天线构建。它采用与FMCW成像系统兼容的成像技术，提供高分辨率图像来检测墙壁内的物体，充分展示了毫米波雷达的穿透优势。生成性对抗网络（GAN）允许任何形式的数据直接用于生成图像，同时它还可以使用已经获得的数据进一步生成质量更好的数据。参考文献[100]认为，激光雷达或毫米波雷达在与摄像机集成的过程中消耗了大量计算资源。因此，本文中的条件是在图像的监督下从LidarpointCloud构建充满活力的语义图像，并通过KITTI数据集验证实时车辆检测的有效性。类似地，参考文献[101]中提出了一种基于激光雷达的特征学习框架，该框架取代了传统的基于几何匹配的特征学习架构。
自动驾驶过程中的多源异构像素级融合通常利用雷达和激光雷达或生成的图像的可分辨单元，然后从融合数据中提取环境特征和目标参数，用于进一步决策。FSBDU直接合并数据，无需深度信息提取[103]。虽然可以最大程度地融合多源数据，但数据之间存在冗余，导致融合效率低。
2.基于互补特征的融合策略
基于互补特征的融合策略（FSBCF）结合从相应传感器数据中提取的多目标特征，然后应用融合的多传感器特征进行分类和识别。因为异质传感器可以捕获同一目标的非相关尺寸特征，这为目标检测和识别提供了卓越的识别能力。AD系统中提取的特征包括目标参数提取和数据特征提取：
1）目标参数提取：包括从预处理数据中提取的目标的大小、距离、方向、速度和加速度等目标信息。许多研究提取雷达或激光雷达目标的位置特征，并通过生成感兴趣区域（ROI）来辅助图像识别，ROI将雷达检测目标的位置直接转换为图像以形成区域。
2） 数据特征提取：数据特征是从图像或其他处理数据中提取特征，如目标轮廓、纹理、时频特征和颜色分布，用于分类和识别。在计算机视觉中，通常在图像中生成大量可能包含目标的感兴趣区域（ROI），这些ROI通过预训练的分类模型进行分类。此外，具有最高置信度的ROI是目标所在的位置。以这种方式确定目标的位置需要大量计算。由于激光雷达和毫米波雷达在探测目标位置方面的优势，计算量相对较小。因此，许多研究首先使用雷达和激光雷达提取目标的距离和方位信息，然后将位置信息映射到图像数据中，以生成较少的ROI。最后，预训练模型用于进一步识别这些感兴趣区域，并对目标类别进行准确分类。在提取ROI之后，许多研究将机器学习方法应用于进一步的感知任务。传统的机器学习方法通常需要提取标准特征，如Haar算子、HOG算子和灰度共生矩阵（GLCM），以从图像中提取特征，然后应用SVM[20]、Adaboost[104]和其他方法对这些特征进行分类。最近的研究倾向于使用神经网络来实现目标分类和识别，参考文献[104]中，近红外摄像机和雷达的应用使得能够在车载平台上进行可靠的实时识别。同时，层叠增强的分类有助于将数据和图像信息融合到特征层。
基于深度学习的方法在识别精度方面具有更多优势，不需要人工特征提取过程。在没有人工特征提取过程的情况下，基于互补特征的融合过程需要嵌入到神经网络架构中。因此，随着深度学习的出现，基于多传感器数据的特征融合研究几乎停止。FSBCF主要利用激光雷达和毫米波雷达的位置特性进行互补融合，参考文献[72]提出了一种毫米波雷达和摄像机的融合传感过程。雷达坐标（包括距离和角度信息）被转换为相应的图像区域，然后通过DPM对图像进行分类，以98.4%的检测准确率推断识别结果。参考文献[108]在从点云图像生成ROI后，应用超区域模型以3D形式描述目标形状，并最终形成3D数据分类和目标检测。参考文献[109]提出了一种基于条件随机场模型的融合摄像机和激光雷达特征的混合随机场模型，以分割车辆前方的道路。在KITTI-ROAD基准数据集上进行了大量实验，结果表明该方法优于现有方法。值得一提的是，在参考文献[88]中，通过使用全卷积神经网络（FCN）进行激光雷达和摄像机的数据。采用三种融合策略组合激光雷达和摄像机数据，包括早期融合策略（EFS）、后期融合策略（LFS）和交叉融合策略（CFS），并使用FCN生成当前道路上的安全驾驶区域。
FSBCF需要对原始数据进行一定程度的信息提取，并组合由多个传感器检测到的不相关维度特征或参数。高维特征在目标识别中具有更高的可分辨能力，从而提高了融合的效率，并突破了单个传感器的固有缺陷[110]，[111]。近年来，由于直接应用现有的视觉模式识别神经网络体系结构，对组合多传感器特征的研究还不够深入。大多数研究都是基于目标参数提取的方法来实现FSBCF融合策略。
3.基于目标属性的融合策略
基于目标属性的融合策略（FSBTA）是一种分布式数据处理过程，其中每个传感器提取目标参数并识别不同的目标以形成目标列表。将融合多个目标列表，以获取可靠和真实的目标信息，避免误报和漏检。参考文献[16]中，多个摄像机、毫米波雷达组和激光雷达用于提取交通环境中的目标，并生成相应的目标列表。生成的目标列表可以规划为安全驾驶区域，以避免潜在的碰撞风险。所提取的毫米波雷达运动信息主要为参考文献[48]中的图像提供ROI，然后应用卷积神经网络（CNN）来识别ROI中的目标。同时，分别对毫米波雷达和摄像机感知到的目标列表进行匹配和合并。融合信息包括目标类型、距离、速度、角度和角速度。融合结果在一定程度上容忍了单个传感器的漏检，提高了鲁棒性。大约在参考文献[112]中，二维快速傅立叶变换（2FFT）和稀疏特征检测分别应用于雷达和视觉子系统，以提取多目标的运动参数。此外，高斯逆Wishart概率假设密度滤波器（GIW-PHD）用于跟踪分割对象。在参考文献[113]中，低层信息融合由LiDAR和camera进行，并应用LiDAR的距离和角度信息在相应的图像中生成ROI，最终它们合并了LiDAR、MMW雷达和摄像头生成的目标列表。目标融合处理传感器之间的互补性。该相机提供高水平的二维信息，如颜色、强度、密度和边缘信息，而激光雷达提供三维点云数据。通过获得尽可能多的属性，它促进了人机交互和意图认知。参考文献[46]中的行人检测采用了图像处理飞行传感器和摄像机传感器。此外，本研究还采用三维点云数据进一步检测目标的形状，以降低虚警率并解决基于摄像机的检测中的目标遮挡问题。在本文中，激光雷达的目标信息为图像生成ROI。同时，将激光雷达数据和图像识别的目标列表进行匹配，以最大限度地提高检测速度，并实现行人检测的平均检测精度99.16%。参考文献[114]使用立体摄像机和激光雷达检测前方车辆的车道变化行为。他们使用基于粒子的神经网络模型群优化对车辆的距离、径向速度和水平速度进行分类，以识别车道变化行为，最终综合识别率达到88%以上。当FSBTA集成数据时，数据的抽象级别介于FSBCF和FSBMD之间。这种融合策略使用多个传感器停止接收目标，并融合提取的目标属性或环境特征。该融合策略将提高感知系统的稳定性和可靠性，以应对单个传感器在独立检测和识别过程中可能出现误报或漏检。
4.基于多源决策的融合策略
基于多源决策的融合策略（FSBMD）通过单传感器数据对目标的位置、属性和类别进行初步决策，然后采用特定的融合策略将多传感器获得的决策进行全面组合，并采用适当的方法实现最终的融合结果。FSBMD集成直接对特定目标进行决策，最终决策结果的准确性直接取决于融合效果。FSBMD通常可分为决策融合、决策制定、可信度融合和概率融合[115]-[118]。FSBMD的方法通常包括主观贝叶斯概率推理方法、Dempster-Shafer（D-S）、基于证据理论的推理方法、人工智能（AI）方法和模糊子集理论方法。参考文献[16]提出了一种多传感器广告平台，用于通过数据处理提取道路边缘、车道标志、交通标志、障碍物和目标的运动参数。基于平台中目标信息的决策策略有助于控制自动驾驶车辆的运动状态。参考文献[113]提出了将综合模糊理论与神经系统相结合的框架。该框架结合了卡尔曼分离和精细处理标准，为目标跟踪框架构建了有效的信息组合策略。模糊集为数据工程、处理系统、选择和信息分析的发展提供了新的思路。自适应神经模糊推理系统（ANFIS）是最有效的神经系统框架之一。ANFIS具有很强的可接受性和预测能力，是在任何框架中管理经验不稳定性的有效工具[119]，[120]。此外，参考文献[90]提出了一种基于D-S证据理论的证据融合框架，以应对传感器的易受攻击性和目标的不确定性运动。然后，将可靠性函数与测量值相结合，以建立分类指数，对目标进行分类，尤其是行人检测。此外，本文中的置信函数重新分配了传感器提供的概率，以便在不确定信息准确时做出可靠决策。参考文献[91]提出了摄像机、GPS和车载传感器的组合，用于车辆的精确定位。通过使用扩展卡尔曼滤波算法，他们融合了GPS信息和视觉里程计，与传统GPS定位方法相比，精度提高了40%。FSBMD综合了不同传感器做出的多个决策，融合策略的性能决定了最终的融合效果。通过信息融合，最终决策直接产生[121]-[123]。这种方法可以有效地避免依赖单个传感器的感知结果作为最终决策而导致的不确定性和不可靠性。然而，FSBMD并不能从数据处理层面显著提高目标检测性能，而且数据互补性相对较低。在大多数研究中，这种策略常常与其他策略相结合。
5.融合策略和感知结果分析
不同的研究将不同的策略应用于不同的任务或场景，实施过程中使用的具体方法也不同，很难比较哪种策略更好。然而，从信息融合的角度来看，FSBDU和FSBCF可以充分利用不同传感器数据的互补性。此外，一些研究还采用多种策略的组合来进一步提高融合的可靠性。下表总结了不同研究中各种传感器完成的特定任务。就特定感知任务而言，当前的研究包括两类：移动目标感知和环境感知。其中，移动目标感知包括行人、车辆、自行车和其他障碍物。一些研究仅实现对该目标的检测和识别，而其他研究则根据识别结果进一步分析目标的移动趋势。通过分析趋势，可以避免目标跟踪丢失，因为很难确保每个帧检测的一致性。此外，一些研究将车道线检测与障碍物检测相结合，以规划AD车辆前方的安全驾驶区域。同时，一些研究在此基础上可视化了数据。当然，信息的可视化对于验证安全区的正确划分是必要的，但对于L4或L5水平的AD来说不是必要的。此外，当各种传感器用于目标识别和跟踪时，由于不同传感器放置的不同空间位置、数据采样率和视场，目标对应于各种数据中的几个不同坐标系。需要统一这些坐标系以获得融合后的目标位置信息。当前传感器标定主要包括FMMW雷达和摄像机标定以及激光雷达和摄像机的标定。目前，在AD过程中，主要依靠摄像机、激光雷达和毫米波雷达来完成目标检测和识别。引入其他传感器（如通信设备、GPS/IMU）将进一步扩大车辆的动态传感范围。当然，如表2所示，部分研究开始了相关研究。此外，RCLUGIV分别指雷达、摄像机、激光雷达、超声波、GPS、IMU和V2X。
3）目标跟踪和数据关联
在驾驶过程中，驾驶员将继续观察交通状况。除了观察交通灯外，更重要的是分析和预测车辆和行人的行为意图。为了实现这一目标，需要实时跟踪多个潜在的安全威胁，并根据跟踪结果分析目标的移动趋势和意图。这样，自动驾驶车辆可以提前做出正确的决定，避免危险的发生。为了分析目标的意图，需要对不同目标的运动模式进行建模，然后根据运动模式判断目标的运动状态，如静止、匀速、加速运动和转弯。此外，在复杂的交通环境中，由于存在干扰因素，不同传感器很难确保目标检测前后帧的一致性。对于自主车辆的安全决策和运动规划，需要确保多个目标的精确跟踪，即使目标在当前帧中丢失。此外，由于多个传感器的融合，不同的传感器为多个目标生成不同的跟踪轨迹。因此，在跟踪过程中应采用特定的融合策略，以确保最终结果的可靠性。
1.运动模型
人类运动的时间序列一直是一个相关的研究课题，行人检测是自动驾驶中的重要组成部分，近年来开展了相关研究[133]，[134]。参考文献[135]–[139]提出了相应的车辆运动模型。为了便于目标跟踪和状态预测，参考文献[89]中提出了目标的恒速（CV）模型和恒加速度模型（CA）。参考文献[128]进一步提出了车辆模型，包括恒速车道保持（CVLK）模型、恒加速车道保持（CALK）模型，恒速车道改变（CVLC）模型和恒加速车道改变（CALC）模型。一般来说，如果运动模型太复杂，计算量会急剧增加；反之，如果过于简单，则会影响跟踪性能。不同的运动模型包括两类：线性运动模型和线性运动模型。适当的模型可以显著提高车辆跟踪系统的性能。此外，参考文献[140]提出了更一般的模型，包括恒定速度（CV）、恒定加速度（CA）、恒定转弯率和速度（CTRV）、恒定转弯速度和加速度（CTRA）、恒定曲率和加速度（CCA）以及恒定转向角和速度（CSAV）。此外，这些运动模型的状态转换图如下图所示，其为转向角速度、加速速度和转向角。基于运动模型的跟踪可以实现更好的跟踪性能和准确性。此外，通过运动模型分析目标的运动状态，可以进一步确定目标的意图。
2.目标跟踪问题的分类
目标跟踪过程是将传感器的当前测量值与历史轨迹相匹配。然而，当面对多个传感器和多个目标的跟踪问题时，情况变得复杂。在不同的场景和应用中，目标的数量可能不同于由多个传感器监测的目标。多源异构数据的多目标跟踪问题包括四种情况。
1） 单传感器跟踪稀疏目标（S2S）
S2S主要考虑稀疏情况下的多目标跟踪，这意味着多目标不会相互作用[144]，[145]。如果在多目标跟踪中不存在跟踪模糊，则适当的方法包括最近邻（NN）算法、相应的改进NN算法、卡尔曼滤波和基于贝叶斯滤波的算法，这两种算法都相对成熟并具有广泛的应用。
2） 单传感器跟踪多个目标（S2M）
与多个稀疏目标相比，S2M中的多个目标具有距离分辨率模糊或重叠遮挡等情况，可以采用全局数据关联算法[146]，[147]。
3） 多个传感器跟踪稀疏目标（M2S）
类似于S2S，目标分布稀疏。然而，对于多传感器跟踪的同一目标，多个传感器之间的目标位置在时间和空间上存在差异[19]，[113]。此外，不同传感器的数据形式和处理方法不同。M2S通常采用K-最近邻（K-NN）算法、联合卡尔曼滤波（FKF）和联合概率关联算法（JPDA）以及相关改进算法。
4） 多传感器跟踪多个目标（M2M）
以从单个角度捕获多个目标的运动信息，M2M中存在数据重叠和轨迹交叉问题。在结构化的城市环境中，目标的行为通常与周围环境密切相关，这使得M2M问题特别[89]、[125]、[126]。目前，应用的方法包括JPDA及其改进算法、多目标假设跟踪（MHT）、RFS理论。
3.数据关联方法
多个传感器的数据关联包括两种情况：一种是单个传感器的轨迹关联，其将当前跟踪结果与历史跟踪轨迹相关联；另一种是考虑将多个传感器的测量值与历史上多个目标的跟踪轨迹相关联。当前研究中常用的基本思想主要分为最近邻算法、基于卡尔曼滤波的改进算法、基于贝叶斯滤波思想的改进算法，基于概率数据关联的算法和基于随机有限集的方法。
1） 最近邻（NN）算法
最近邻算法简单、有效、易于实现，适用于稀疏多目标跟踪。当最近邻算法用于处理密集群目标和多传感器数据关联时，统计意义上的最优解将导致错误的关联匹配。在参考文献[148]中，提出了一种称为RTK-GPS的数据关联方法，并与NN算法和JPDA算法进行了比较。NN、RT-GPS和JPDA的运行时间分别为0.012193毫秒、0.29354毫秒和2.5毫秒。它们的均方根误差分别为0.9232、0.3979和0.4378。此外，随着目标数量的增加，JPDA算法将不适用于AD车辆实时跟踪目标。在参考文献[149]中，采用平方马氏距离来管理传感器测量和历史轨迹的关联问题。在参考文献[89]中，将最近邻数据关联（NNDA）和JPDA方法与交互式多模型（IMM）和扩展KF（EKF）相结合，用于处理目标跟踪和数据关联，并对其性能进行了比较和分析。结果表明，JPDA算法在不同方向上获得的目标距离（超过1000m）的均方根误差比NNDA算法高约5m。此外，JPDA所花费的平均时间为5.993115秒，而NNDA为1.342506秒。因此，在处理稀疏目标跟踪问题时，NN具有算法复杂度低的优点，而JPDA的性能较差。
2） 基于卡尔曼滤波的方法
KF是一种递归算法，可以通过获得先前观察到的目标状态估计和当前状态的测量值来估计目标的当前状态[150]。FKF可用于解决多传感器跟踪多个目标的问题。在文献[5]中，提出了一种结合模糊自适应融合和小波分析的方法，将线性过程模型分解为一系列更简单的子系统，并应用多个KF分别估计这些子系统的状态。结合参考文献[113]中的KF和自适应神经模糊推理系统（ANFIS），为目标跟踪框架构建了一种有效的信息组合方法，其精度和性能优于传统的KF算法。类似地，在参考文献[37]中，根据预测状态的加权平均和基于当前测量的估计状态更新，在测量更新步骤中，对具有较高不确定性的状态赋予较低的权重。此外，FKF用于处理雷达、激光雷达、摄像机和其他传感器的测量值，减少统计噪声和其他误差。在参考文献[148]中，KF用于测量简单的实验场景。基本KF的问题是它不能精确估计非线性系统。KF可以精确估计线性系统，但在非线性系统中很难达到最佳估计。因此，一些研究采用了EKF及其改进算法。由于车辆的非线性运动过程，参考文献[125]采用EKF将非线性问题线性化。无迹KF（UKF）是另一种广泛应用的改进KF算法。UKF采用统计线性化技术，通过先验分布中收集的n个点（也称为assigma点）的线性回归来线性化随机变量的非线性函数[151]。由于UKF考虑了随机变量的扩展，这种线性化比EKF中的泰勒级数线性化更精确。
3） 基于贝叶斯滤波的方法
贝叶斯跟踪方法主要跟踪具有多模式概率密度（PD）的多个目标，并用分量PD近似每个模式。粒子滤波（PF）是一种改进的贝叶斯算法，可以有效地处理非线性和非高斯贝叶斯估计问题，适用于求解分量PD估计问题。当贝叶斯算法用于多目标跟踪以递归地估计多个目标的状态并确定当前目标数时，序列最大似然比通常用于验证目标是否存在或消失。根据测试结果（目标的出现或消失），可以确定代表多个目标的混合分量进行添加或删除，从而可以更新和维护多模态后验概率分布。参考文献[152]采用贝叶斯网络建立了目标运动学和类别之间的关系模型。贝叶斯方法和D-S方法广泛应用于识别和传感器融合。D-S方法克服了贝叶斯方法不能表达不完整或不确定证据的问题。PF是贝叶斯滤波器的一种特殊形式，参考文献[127]详细阐述了用于跟踪车辆目标的PF性能。通过实际测试，改进后的颗粒过滤器性能优越。参考文献[153]结合混合PF和IMM（IMM-PF），提出了驾驶员意图算法的前车跟踪和预测。然后提出了一种改进的PF算法来跟踪车辆目标，以解决数据相关性问题。结果表明，在极端情况下，改进PF的性能提高。参考文献[154]进一步提出了多传感器航迹融合算法，该算法采用最大似然融合规则来处理多传感器和多目标测量之间的相关性。卵巢癌矩阵用于表示融合中心决策更新的多个测量值之间的相关性。此外，与传统算法和集中式KF相比，实验结果表明，提出的自适应算法可以降低均方误差（MSE）。在参考文献[128]中，贝叶斯滤波用于完成多目标跟踪，并将道路约束引入算法。由于传感器和环境的限制，例如检测距离短、视野窄、信号噪声和意外占用的障碍物，导致性能限制，因此将道路几何信息应用于跟踪算法，以克服基于车辆传感器的跟踪限制。随着未来交通设施的不断完善，道路的结构特征将越来越突出。引入结构化约束可以提高算法性能并简化目标运动模型。
4） 基于概率数据关联的方法
概率数据关联（PDA）是一种广泛应用的算法，有许多改进。它验证了所有测量，并估计了目标的运动状态和协方差，而不仅仅是采用单个测量，[155]提出了JPDA算法来处理多目标跟踪，该算法考虑了多个边缘分布的联合分布概率[156]。在文献[157]中，提出了一种称为PDA反馈PF（PDA-FPF）的算法来解决数据关联不确定性，这表明PDA-FPF的性能接近理想的JPDA。然而，JPDA面临大量计算的问题。此外，还提出了精确最近邻RPDA（ENNPDA）[158]、联合概率数据协会（JIPDA）[159]和其他改进的算法，以通过精确计算来简化算法。参考文献[89]和[148]表明，与神经网络算法相比，JPDA算法具有更高的相关精度，但同时计算正常。JIPDaint将目标存在的可能性作为目标质量测量[159]，这在目标自动跟踪中具有明显的效果，可以在一定程度上应对相邻目标或重叠目标的跟踪。然而，它也存在跟踪聚类的问题。另一方面，JIPDA仍然合并两个目标的轨迹，以应对两个目标在短时间内相互伴随的问题。JIPDA filter与JPDA的结合完美地解决了这个问题[160]。在参考文献[125]中，JIPDAIS用于管理多个目标的出现和消失。然后，应用城市交通场景中的真实数据集来证明JIPDAINAD的性能。此外，多目标跟踪（MHT）算法是JPDA算法的进一步改进。当目标出现或消失时，可以自动启动或终止数据关联。它的可扩展性受到限制，因为它依赖于对目标和噪声的先验知识。参考文献[126]中，MHT滤波算法用于实现多目标的跟踪管理。MHT滤波器根据支持每条轨迹的传感器数据分析每条轨迹并测量值。通过两个假设条件对每条轨迹进行序贯似然比检验，并根据统计决策函数顺序计算分数。如果得分超过阈值，则验证测量值并将其更新为跟踪。参考文献[161]结合了RFS理论和JPDA的优点，提出了CCJIPDA，同时，详细比较了多目标跟踪算法，包括JIPDA、ENNJIPDA，JIPDA*、RFS和CCJIPDA。显然，改进的算法在相邻或重叠目标的跟踪过程中具有较好的跟踪效果，但相关的AD研究没有采用。
5） 基于随机有限集的方法
RFS理论将单目标的贝叶斯滤波框架直接扩展到多目标跟踪问题。RFS可以避免复杂的相关过程，估计目标的数量和状态，适用于密集多目标跟踪。然而，由于计算过程涉及一组复杂的积分运算，因此应用非常困难。本研究提出了几种典型的滤波器来改变这种情况。改进的算法包括广义标记多伯努利（GLMB）滤波器、基数化PHD（CPHD）、多目标多伯努利滤波器和广义标记多贝努利（GLMB）滤波器。马勒提出了一种基于RFS[162]、[163]的概率假设密度（PHD）方法。PHD滤波器可以跟踪可变数量的目标，并估计目标的数量和位置。不需要数据相关性，但帧之间的相同目标的相关性是不可能的。参考文献[127]提出通过将数据关联与PHD滤波器相结合来实现多目标跟踪。第一步是将目标提取阶段的数据划分为围绕每个目标的聚类，并在帧之间应用这些区别，以实现轨道连续性。第二种是应用先前的目标状态和运动模型来估计下一帧中的目标。然而，当目标运动是非线性的时，在实际中难以建立运动模型。此外，在参考文献[112]中的AD应用中，基于毫米波雷达状态估计的图像特征轨迹和高斯混合数据被用于分割运动目标，而高斯逆Wishart概率假设密度滤波器（GIW-PHD）被用于跟踪分割的目标。一般来说，RFS具有完整的理论基础，没有复杂的数据关联，可以同时估计多个目标的数量和状态。近年来，它取得了快速发展。
参考
[1] Multi-Sensor Fusion in Automated Driving: A Survey.
【自动驾驶之心】全栈技术交流群
自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D感知、多传感器融合、SLAM、高精地图、规划控制、AI模型部署落地等方向；
加入我们：自动驾驶之心技术交流群汇总！
自动驾驶之心【知识星球】
想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D感知、多传感器融合、目标跟踪）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！
