ADAS多传感器后融合算法解析-上篇

附赠自动驾驶学习资料和量产经验：链接

ADAS系统是一种高自动化的软件应用，对系统的鲁棒性与可靠性要求很高，单一传感器往往存在一定限制，此时便需要多传感器融合。多传感器融合会带来如下收益：

• 可以在部分场景提升整体感知精度。

• 某一传感器出现错误/失效时可以使用另一传感器进行补偿。

• 多传感器可以扩大FOV范围。

在论文《A Review of Data Fusion Techniques》中对融合技术分类中对融合分成以下三类，可见与上面预期收益是对应的：

• 协作型：多个输入可以组成远比原始信息更复杂的信息。

• 冗余型：两个或多个输入提供同一个目标信息用于增强可信度。

• 互补型：输入为同一场景的不同部分用于形成完整的全局信息。

文章将分上下两部分对ADAS中后融合相关算法策略进行介绍。

一、融合架构

如下图为不同论文介绍的融合架构，虽命名方式有所不同，但基本可以分为以下两类：

• 前融合：集中式架构/low-level融合架构。

• 后融合：分布式架构/high-level融合架构。

前融合的中心思想是将所有传感器的原始信息(点云/图像)全都传给中心融合模块，集中在融合模块做跟踪、关联与估计。前融合可以使用深度学习训练网络来实现，也可以对raw data进行关联与融合来跟踪。后者对时间的同步性有较高的要求，否则会影响关联的准确性。

后融合的中心思想是每个传感器使用其内部的滤波与跟踪算法，融合模块做的就是对多个传感器的滤波结果有效的结合起来。由于每个传感器输出已经为目标/track，因此此种融合也可以称为目标级别/track级别融合。

当然我们也可以选择一种折中的方法，称为feature-level。中心思想为从raw data中提取特征信息后送入融合模块进行跟踪融合。比如我们可以提取目标的轮廓信息进行扩展目标跟踪。主要缺点就是：接口不容易定义，不同传感器可能提取的特征有差异，在有新增传感器的情况下可能造成融合框架失效。

下图为low-level、feature-level与high-level三种融合架构的优缺点对比：

可见后融合相比前融合有如下优点：

• 解耦性好，接口可封装，方便模块化开发。

• 节省带宽，可以降低成本。

• 对传感器不敏感，可保证系统稳定。

• 牺牲一定精度情况下，降低了算法复杂度。

• 方便问题定位回推，易于落地。

当前业界主要采用的融合框架仍为后融合框架。Tier1一般不会放弃后融合架构，因为在商业上来说后融合可以即插即用，单个产品可以卖给主机厂让他们采购别的传感器做拼接，主要还是得益于这个架构的方便落地以及良好的可扩展性。主机厂则一般会在基于后融合框架的系统稳定后，逐步向前融合探索，拿到更多的信息以提升精度。

RC后融合架构一般可达成的效果(应实现功能)：

• 目标的位置、速度等信息精度不低于最好的传感器。

• 大大增强系统鲁棒性，如降低单camera传感器的漏检率/单Radar传感器的虚警率；对传感器模块失效可容错等。

二、接口

如上可知，后融合架构的输入为radar与camera跟踪滤波后的目标级别track信息，输出为融合模块维护的全局track。那全局track中一般包含哪些信息，不同公司有不同的接口设计。

如下为Apollo的目标接口表：

接口描述 idsensor name polygon目标点云track信息track_idtrack id tracking_time跟踪时间 latest_tracked_time最近一个更新的时间戳motion 信息motion_state"UNKNOWN = 0, MOVING = 1,STATIONARY = 2" center车中心点坐标 center_uncertainty位置不确定度 anchor_point锚点 velocity速度 velocity_uncertainty速度不确定度 velocity_converged是否收敛的flag velocity_confidence收敛可信度 acceleration三方向加速度 acceleration_uncertainty加速度不确定度 direction方向矢量 theta朝向角 theta_variance朝向角方差 drops最多100帧的历史轨迹feature 信息size长宽高 size_variance长宽高不确定度 type"UNKNOWN = 0, UNKNOWN_MOVABLE = 1,UNKNOWN_UNMOVABLE = 2,PEDESTRIAN = 3,BICYCLE = 4,VEHICLE = 5,MAX_OBJECT_TYPE = 6" type_probs每个类别的概率 sub_type"UNKNOWN = 0, UNKNOWN_MOVABLE = 1,UNKNOWN_UNMOVABLE = 2,CAR = 3,VAN = 4,TRUCK = 5,BUS = 6,CYCLIST = 7,MOTORCYCLIST = 8,TRICYCLIST = 9,PEDESTRIAN = 10,TRAFFICCONE = 11,MAX_OBJECT_TYPE = 12," sub_type_probs每个细分类别的概率 confidence存在概率其他flagb_cipvobj是否为CIPV car_light"brake_visible = 0.0f brake_switch_on = 0.0fleft_turn_visible = 0.0fleft_turn_switch_on = 0.0fright_turn_visible = 0.0fright_turn_switch_on = 0.0f"

三、后融合策略

1 无记忆策略与有记忆策略

既然融合端要输出全局track，那如何创建与维护它呢，一般有两种融合策略：

• 无记忆融合策略

• 有记忆融合策略

如下图为无记忆的融合策略，此框架中，不保留全局track的信息，传感器级别的数据在预设定的融合周期时进行融合。

融合端在kG-3时刻sensor i在ki-1时刻上报数据时，先不进行融合，而将这部分数据存储下来，在KG-2时刻收到sensor j上报的数据时，再进行融合生成全局track。自然kG-3时刻收到的sensor i的数据需要预测到kG-2时刻。如果有多个传感器，那就依次融合。因为在每个融合周期，全局track都是新生成的，和上一融合周期的全局track没有关系，所以此策略叫无记忆的融合策略。

如下图为有记忆的融合策略，此框架保留全局track的信息，在传感器数据来时，对全局track进行预测后马上融合传感器数据。

融合端在kG-3时刻sensor i在ki-1时刻上报数据时，立刻就进行融合了。而后将全局track数据进行预测，在kG-2时刻sensor j的数据来了，再次进行融合，以此类推。与无记忆策略相比，在于全局track在创建后进行保留维护。此策略灵活性较强，具有“即插即用”的优势，因为不同传感器数据之前被隔离开了，传感器数据没有直接接触，都是间接通过全局track进行接触，所以添加与移除某一帧传感器的数据不会对融合端造成较大影响。

当前使用这两种策略的厂商都有，Valeo一篇论文明确说明了他们使用的是无记忆融合策略，Apollo、BMW、huawei等公司使用的是有记忆的融合策略。

接下来主要介绍有记忆的融合策略，虽然这种策略使用起来不错，但是会出现两个问题，如下：

• 相关性问题

• 失序问题

相关性问题主要有两种：1.过程噪声相关性。2.历史信息相关性。

过程噪声相关性：一般融合都采用卡尔曼滤波框架进行预测和更新，而一次卡尔曼滤波流程，添加过程噪声次数应为一次，而实际过程中，如果两个sensor观测到同一个物体，则这个物体在不同sensor中均加过一次过程噪声，也就是两次Qi与Qj，这是不对的。为了解决这种情况，一般需要将两个sensor之间的交叉方差计算出来然后减去。

历史信息相关性：如下图所示在Ki-1时间时，sensori的测量信息第一次被更新在全局航迹中，此时全局航迹包含sensori从0时刻到Ki-1时刻所有的信息了。到了Ki时刻，sensori的测量又来了，此时测量含有0时刻到Ki时刻的所有信息，如果全局航迹直接使用这部分测量进行更新，相当于又一次融了一次0到Ki-1时刻的信息，实际需要的仅仅是Ki-1到Ki时刻的信息。

失序问题产生的原因在于测量数据可能存在延迟处理时间和通信延迟。旧数据进入新目标了，就卷起来了，引入了错误信息。如下图所示，全局track应该融合kj然后融合ki，但由于通讯延迟，变成了先融合ki再融合kj，这就出现了错误。

解决失序问题可用方法：

• 软件架构层面：及时消除缓存数据

• 框架层面：可以采用循环周期策略 + 预测传感器数据到同一节点。(下面介绍)

• 算法层面：采用自适应卡尔曼滤波/信息矩阵融合方法

2 循环周期策略与触发式策略

在传感器端将信息上报给融合端后，那融合端如何将融合后的结果上报给后续模块呢，一般有两种策略：

• 循环周期策略

• 触发式策略

循环周期策略是根据传感器的上报周期以及融合处理数据时间合理制定融合应该的上报周期，比如上报周期就是60ms，那融合就每60ms发一次融合数据，风雨无阻。

循环周期策略有两种实现方式，在传感器上报到融合端后，就马上进行融合，只不过不上报，最后在对应时间周期到了时候再进行上报。如下图，在KG-3时刻上报后，Ki时刻sensor i上报信息，全局track进行预测到KG-2时刻进行融合更新，在Kj时刻sensor j上报信息，全局track预测到KG-1时刻进行融合更新，最后预测到KG时刻进行上报。

相比与上一种方式对全局track进行操作的方式，第二种方式则对融合周期内的传感器端结果预测到上报节点，全局track在对应时刻进行分别融合更新。如下图，KG-1时刻进行融合结果上报后，对Ki时刻的sensor i数据预测到KG时刻，Kj时刻的sensor j数据预测到KG时刻，全局track 预测到KG时刻，使用预测后的传感器数据进行两次关联与更新。此方法不会出现失序问题。

触发式策略是每次传感器来，就做一次融合，而后将融合后的结果上报。所谓触发就是融合上报是被传感器上报数据所触发，故得到此名字。

Apollo使用的是一种触发式策略，在Apollo 7.0中其选择了一个主传感器Lidar，只有在Lidar信息输入后，融合端在融合后才会上报。这样在传感器均正常工作的情况下，融合的上报周期和Lidar周期相同。

相比与循环周期策略，触发式策略更加灵活，容易处理，但是在某一传感器挂掉时候，融合对应的也挂掉了，这并不符合量产的系统稳定性需求。而循环周期测量的两种方法，精度会有差别(不同的预测手段导致)，后者则会在问题回归定位时方便，可直接采用帧号对齐。

一般情况下，有记忆策略与循环周期策略/触发式策略均可配套使用，但是无记忆策略通常与循环周期策略配套使用。原因可以理解，触发式策略在任意传感器来时候进行融合而后上报，无记忆策略由于不维护全局track，需要等待两个传感器数据到齐后进行融合，二者结合不是很合适。

小结

此部分主要介绍了融合的主要架构、接口以及主要策略，这些都是正向设计时候最先应该考虑的问题。下一篇文章讲主要对后融合各功能模块进行介绍。