今年 7 月，昊铂 GT 正式量产下线。绝影再度携手广汽埃安，为广汽埃安旗下高端纯电轿跑车型昊铂 GT 提供智驾感知算法，率先实现 BEV 感知算法的大规模量产，成为业内焦点之一。
本期将与大家分享昊铂 GT 出众智驾感知能力的「奥秘」—— 业内领先的 BEV 目标感知算法、BEV 车道线感知算法及创新 NN-Fusion 融合感知算法。
BEV 目标感知能力：效果稳定，目标丰富
基于 Transformer 和时序模型的 BEV（Bird's Eye View）算法框架，能够实现在鸟瞰图视角下优化特征的环视物体检测方案，其在多视角摄像头的 3D 目标检测上性能优异，也是本次绝影在昊铂 GT 智驾量产中采用的算法解决方案。
-
前融合算法，扩大感知范围
绝影采用传感器前融合方案，将多相机图像打包输入网络，能够端到端输出环视目标感知结果。且规避了单目检测所需的复杂后融合步骤，精简了目标检测流程。
同时，BEV 融合感知方案也扩大了单个模型的感知范围。单目相机感知范围与单个相机配置强绑定，视野范围在 30 度到 120 度，其检测区域局限于相机正前方。
而 BEV 融合感知方案不受单个相机配置限制，是一种多尺度、全范围的感知新范式。
-
适配性更强，无惧长尾场景挑战
i. 相机部署及BEV 目标感知算法框架
在昊铂 GT 车型的视觉感知解决方案上，我们在正前方分别配置了广角（fov 120）、窄角（fov 30）两款摄像头，以兼顾横向与纵向的检测范围，保证最重要的正前方检测区域。侧面范围，分别使用前向、后向两只摄像头做到无死角全覆盖，因此在车身左前、左后、右前、右后均分布搭载相机。后向范围上，我们通过一款兼顾视野宽度与远近的相机进行检测区域的覆盖。
搭载绝影 BEV 目标感知算法：昊铂 GT 车型相机配置
基于现有的传感器配置，我们采用稀疏的 Transformer 机制，通过更轻便的模型结构，减少计算量，对车端部署更加友好。同时，还结合时序模型结构，融合历史信息，使得推理结果更为稳定。
ii. 泛化能力挑战如何应对？
我们在模型上使用多任务目标（multi-task）结构，对目标进行 2D 检测框、3D 检测框、2D 类别、3D 类别、深度等多维度预测，给实际部署落地时提供了更多的信息参考，以应对极端场景。
同时，在模型多检测头（head）的训练过程中，建立检测头之间的约束，以实现更强的算法鲁棒性。在 BEV 算法架构下，搭建标准化的 bug 修复流程，以应对大规模路测时的模型快速迭代需求。
在昊铂 GT 的高速 NDA 功能实测中，能够看到绝影 BEV 目标感知算法的「实力」：
iii. 极端天气场景、长尾目标感知能力
复杂场景中行人、非机动车识别：城区环境复杂，目标密集，遮挡严重，易产生目标 ID 跳变、分裂等情况，对于检测和追踪算法都是极大的挑战。我们通过多头检测（multi-head）输出，算法能够根据多传感器结果进行交叉验证。在以下案例中，昊铂 GT 在雨天的城区道路中行驶，对前方小车、非机动车、行人等目标的感知能力准确且稳定、识别丰富度高，且具有更强的鲁棒性。
异型车、长尾目标感知：在高速行驶过程中，时常出现大量超长货车、运输小车的货车、满载货物导致形态奇怪的运输货车等异型车，其形态各异、出现频次低，属于典型的长尾目标识别问题。而我们的模型在小样本容量学习下，依旧保持较高的检出率与泛化性。
以下高速场景异型车识别案例中，BEV 目标感知算法能够稳定、准确识别感知到运小车的货车，车辆无需人类司机接管，让驾驶体验更为安全、高效。
雨天夜晚等极端场景的识别能力稳定：在雨天、黑夜等弱光场景中，受视线的局限，人类司机往往需要打起「十二分」精神「眼观六路」。同理，在黑夜与极端天气下，相机的成像效果大幅降低。利用 BEV 算法相机间的交叉感知，我们增大了感知算法鲁棒性，将相机受脏污与炫光的影响降到最低。
以下是雨天、黑夜等极端天气场景下昊铂 GT 在高速道路行驶，甚至在黑夜场景车较拥堵的情况下，也能够稳定精准感知四周车辆目标。
自车后方车辆 cut-in 感知：针对后车插入式变道，为保护驾驶人安全，需要提前识别出后车的速度或运动趋势，才能够保证下游决策模块可以及时进行反馈。
以下情况中，后方车辆从侧边超车 cut-in 至自车之前，昊铂 GT 及时、准确识别，保证车辆让出前方车位、平稳运行。
BEV 车道线感知：覆盖多类型车道线结构检测
基于 BEV 算法框架的车道线检测，能够实现多相机特征融合，在更大的感受野下预测完整的车道线结构，在智驾量产中帮助进行更为精准的车道线检测。
-
前融合方案，高检测效率下保障准确性和稳定性
采用传感器前融合方案，将多相机图像打包输入网络，端到端输出环视车道线感知结果，规避了单目检测复杂的后融合步骤。并且能够将深度监督信号转到 BEV 域，从根本上解决了在颠簸、上下坡、大曲率弯道的路况中车道线检测难题：解决场景中 2D 转3D 投影带来的误差，提升车道线检测的准确性和稳定性。
-
解决关键难题，破壁 Corner Case
i. 相机部署配置及算法框架搭建
我们利用正前方宽视短距（fov 120）、窄视远距（fov 30）两款摄像头，以兼顾横向与纵向的检测范围，通过左前、右前相机实现对车身侧面范围车道线的检测覆盖。
搭载绝影 BEV 车道线感知算法：昊铂 GT 车型相机配置
基于现有的传感器配置，我们采取以下算法框架：
1. 环视相机数据输入到网络中，输出每个相机的 2D 图像特征；
2. 结合相机内外参数，将多个相机的 2D 特征投影到对应的 BEV 位置上，获得稠密的 BEV 特征；
3. BEV 特征输入到后续的网络中，以获得与车道线相关的特征图；
4. 通过特征图获得最终的车道线点集。
绝影 BEV 车道线感知算法框架
其中，BEV车道线感知算法的关键在于：
1. 表征方式：BEV车道线感知可以分为基于稠密的BEV表征和基于稀疏的 Query 表征两大方向。由于车道线的图像特征涉及整个图像，我们选择基于稠密表征 （Dense BEV Feature）方式，能够更好地提取车道线特征。
2. 2D 到 3D 特征的转换：在相机视觉检测中，相机图像的图像坐标系与 3D 空间图像坐标系并不相同，准确地将 2D 平面图像映射至 3D 空间坐标中至关重要。我们通过 OFT （正交特征变换）投影，以查表的方式，用较小的计算消耗将图像特征投影到鸟瞰特征图（BEV）。
3. 解码器：以 Seg + Field Head 这种更为轻便简单的车道线检测器设计，更方便快速获取车道线点集。
ii. 丰富的车道线类型感知
高速车道线分流感知：在高速分流场景中，车道线变化、自车受前车遮挡、高速行驶等情况层出不穷，昊铂 GT 在城区快速路段分流、高速路分流中依然能够保持低时延、快速识别以及稳定的识别效果，从而帮助车辆准确掌握变道时机。
高速匝道、大曲率弯道感知：在高速上下匝道处，常见大曲率转弯、高度变化、上下坡场景。由于车辆处于弯道或是上下坡的海拔变化中，前方车道线受到遮挡、自车视野受限，若感知效果不佳则会出现过弯时人工接管的情况，显著影响车辆的功能体验。
而在以下案例中，昊铂 GT 能够在过弯、上下坡海拔出现变化时，依据检测到的车道线，并精确「脑补」延伸出车道线，并保持稳定的感知效果。
弯道坡道、路口等场景车道线感知：以下为在城区中综合了坡道弯道和路口的复杂场景，昊铂 GT 在此场景的实际路测中，能够精准识别车道线，从而让高速 NDA 功能持续为用户带来稳定、安全的驾驶体验，做到在复杂场景中缓解用户「注意力疲劳」，带来更舒适、轻松的旅程体验。
弯道坡道
路口场景
模糊车道线感知：在城市郊区高速公路路段中，受货车流量大、道路维护等因素影响，常有道路车道线模糊、车道线特征不明显等情况，影响车道线感知效果。在下例中，绝影 BEV 车道线感知算法能够自如应对单边车道线、车道线模糊识别等任务。
超宽车道感知：超宽车道的道路结构异于常规道路结构，对于算法模型的泛化能力是一大考验。绝影团队在实际路测中，积累了大量此场景数据和解决经验，由此不断迭代算法模型，能够在超宽车道场景中准确识别车道线。
S 弯感知：S 弯场景是人类司机和智驾感知的一大考题。高频率的曲率变化，对于车辆感知识别能力的准确度、时延性、「脑补」能力具有较高挑战。图中，昊铂 GT 在保持一定车速行驶过程中，同时能准确感知远处车道线曲率变化并进行延伸，同时对多个弯道曲率及时检测，以此解决 S 弯难题。
夜晚雨天车道线感知：雨夜行驶时，受夜晚光线、天气影响，相机画面中的车道线特征不清晰，同时雨天也会导致地面存在大量车辙印，对于车道线检测会产生误导。而绝影 BEV 车道线感知算法能够助力昊铂 GT 在此情况下准确识别出车道线，保证雨夜行车安全。
NN-Fusion：创新数据驱动的深度学习融合感知算法
搭载激光雷达、相机、毫米波雷达的昊铂 GT 车型，其智驾感知系统通过比较和组合多个传感器的数据，降低单一传感器错误的影响，能够更加准确、全面地理解环境，减少漏报和误报，确保在不同天气条件和驾驶场景下的感知稳定，为用户带来更加安全和温馨的旅途。
因此，除了出色的视觉感知能力，昊铂 GT 车型同样搭载了绝影基于多传感器的 NN-Fusion 融合感知算法。
行业通用的基于规则与传统算法的融合系统，以大量的场景硬编码（hard code）来处理智驾感知场景中出现的各类边界问题（Corner Case）。其经过大量测试迭代，发展相对成熟，其可追溯性强、对于路测中出现的问题能够进行针对性修改，是目前业内主流的融合感知算法。但算法框架复杂，需要大量的计算资源，时延性较高，同时开发难度大，泛化能力差。
绝影 NN-Fusion 算法是以数据驱动的深度学习融合算法，能够有效规避以上问题，减少资源占用，具有更强大的泛化能力和迭代能力，在不同场景中感知识别能力优于基于规则的融合感知算法，大幅提升感知性能。
数据驱动，打破「规则」的算法局限：感知效果更稳定
基于规则的融合算法和基于深度学习的融合算法框架对比
对比基于规则的融合感知算法，数据驱动的深度学习融合感知算法能够有效地规避硬编码多、泛化能力差的痛点，具备以下优势：
1. 融合效果：在大规模数据集上进行训练，具有强大的泛化能力，在不同场景中目标融合效果稳定。
2. 开发效率：以数据驱动，部署可移植性强。将传统需要人力经验编码部分转变为数据驱动的模型优化，能够大大降低开发难度。
3. 资源占用：更少的占用实现更稳定的性能。模型的主体架构基于 Transformer 算法框架，拥有简单的模型框架（pipeline），可以进行端到端的融合目标预测。
以下为基于规则的感知融合方案和 NN-Fusion 在实际驾驶场景案例中的感知情况对比（其中，红色的检测框为激光雷达真值，蓝色和黄色为相机检测和感知结果，绿色为融合感知结果）：
相机遮挡，目标识别稳定：在自车正前方 140m 处，由于自车相机被前方大货车遮挡，基于规则的融合感知算法的检测目标丢失，而 NN-Fusion下的感知算法，其感知融合结果依然稳定。
远距离目标识别，融合效果优异：受不同传感器间测距累计误差影响，自车正前方 120m 处，Radar 测距结果和相机测距结果出现 20m 偏差，会导致基于规则的融合算法感知结果出现异常抖动。而 NN-Fusion 算法的目标感知效果则保持稳定，并与雷达检测结果差异较小。
绝影随行，智进未来
随着绝影 BEV 感知算法在广汽埃安旗下「ACE」车型、纯电豪华轿跑昊铂 GT 量产上车，基于行业领先的 Transformer 算法框架，我们实现 BEV 目标感知、车道线感知、NN-Fusion 多传感器融合感知，以更高效的感知研发能力、精准稳定的感知效果不断降低智驾感知量产研发成本，帮助打造行业领先智驾能力。
未来，绝影将继续与广汽埃安携手，持续打磨、优化智驾算法部署落地。基于领先的感知算法能力，推进「行泊一体」的全场景智驾功能落地。借助数据闭环和深度学习算法能力、端到端网络算法框架，不断提升智驾系统的迭代升级和一体化进程，以「绝影速度」与广汽埃安一同「智进未来」。
标签：车道,目标,相机,算法,GT,感知,BEV From： https://blog.csdn.net/Evelynnzhao/article/details/137339540