首页 > 其他分享 >自动驾驶:10家端到端方案简述

自动驾驶:10家端到端方案简述

时间:2024-09-09 14:23:57浏览次数:10  
标签:10 方案 模型 驾驶 家端 简述 概述 感知 端到

自动驾驶:10家端到端方案简述

基于今年发布的各类端到端智能驾驶方案,RoboX根据过往采访内容以及公开信息,高度概括出10家企业的端到端方案结构,以及相关负责人的观点,便于大家快速达成基本认知:

附赠自动驾驶最全的学习资料和量产经验:链接

01

理想汽车

**概述:**理想采用了「双系统」端到端——端到端「快系统」+VLM「慢系统」(视觉语言模型)。

其中,「快系统」负责实时响应、输出行为,「慢系统」则负责应对复杂逻辑判断,输出决策和参考轨迹。

image

理想汽车智能驾驶技术研发负责人-贾鹏

“如果未来算力足够,VLM有望跑进10-20赫兹,达到实时。随着Thor等大算力芯片的到来,两个系统最终会合成一个统一的模型,而且兜底策略可能也会被VLM消化掉。”

02

蔚来汽车

**概述:**基于群体智能和生成式仿真,训练蔚来世界模型NWM,并基于该模型的时空认知和规划能力,进行端到端智能驾驶。

image

蔚来智能驾驶研发副总裁-任少卿

“因为需要重建视频,接入信息也会更多,这使得NWM的收敛速度更快,想象的能力也会更强。同时,相比于之前的算法,NWM生成的视频长度会长很多。”

03

小鹏汽车

**概述:**小鹏的端到端智驾大模型包含:神经网络XNet(感知)、规控大模型XPlanner(决策控制)以及大语言模型XBrain(与用户交互)。其端到端方案也是fen分段式结构。

小鹏汽车董事长-何小鹏:

在Q2财报电话会上,何小鹏认为端到端的进步速度,会快速替代之前的L3甚至L4级自动驾驶,上限很高。但他同时认为端到端的下限还存在瓶颈,例如转角遇到流浪猫的特殊场景,端到端或许无法解决。

04

华为乾崑

概述:华为ADS 3.0进一步去掉了BEV网络,以GOD(通用障碍物识别)大模型负责感知,PDP(预测决策规控)网络负责预决策和规划,可实现「从原始信号输入到最终规划轨迹输出」的自动化过程,但同样是「分段式端到端」。

05

极氪汽车

**概述:**极氪的「浩瀚智驾2.0」由两个子系统组成,其中包括了两个自研的智驾大模型——场景认知大模型SCM + 规控大模型IPM,它们分别实现「感知端到端」和「规控端到端」。目前可以实现的是泊车场景端到端、路口场景端到端。

image

极氪智能科技副总裁-陈奇

“「浩瀚智驾2.0」可大大提升复杂场景下的表现,也可以学习人类驾驶轨迹、变道时机等。接下来,极氪将分三个阶段实现实现「车位到车位全场景城市智驾」:从城市NZP通勤模式,到城市NZP,再到城市NZP+。”

06

长城汽车

**概述:**在采用端到端智驾大模型——SEE 2.0的同时,长城也做了多层兜底——通过数据共享和交换机制,该方案既要用一个感知模型替代多个模型,又要加上后处理的仲裁。以求既能直接输出驾驶轨迹,又能为感知加上模块化的决策规划,以此保证智能驾驶的拟人化和安全。

image

长城汽车智能平台开发中心的专家-吴国苏州:

“以当前的技术状态来说,谁也没办法达成完全端到端,更无法实现‘所有场景都能开’,所以将两种技术结合起来,是现阶段的比较好的方案。”

07

商汤绝影

**概述:**商汤绝影采用的是「完全端到端」方案UniAD——将感知、决策、规划等模块都整合到一个全栈Transformer端到端模型中,实现由传感器输入,直接输出行为轨迹。现阶段,该方案还需要规则兜底,而随着大模型的强化,亦有望舍弃规则。

未来,基于多模态大模型打造的DriveAGI将是可解释、可交互的下一代智驾方案。

image

商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁-王晓刚

“「两段式」方案还是存在性能瓶颈的,因为其经过感知过滤后的信息,会出现较多损失。不过目前,一段式端到端还像一个孩子,需要规则兜底来帮扶一段时间,使其迭代;但这个孩子再怎么不成熟,也是属于人类,终究会成长起来。”

08

地平线

**概述:**地平线的SuperDrive采用了动态、静态、OCC「三合一的端到端感知架构」,该架构能够同时处理动态、静态目标,精准还原物理世界的真实环境。SuperDrive无需对感知数据进行抽象和逐级传递,提升了系统的遮挡准召率和降低了动态代码行数及网络负载。

09

Nullmax

**概述:**多模态大模型+「安全类脑」技术:通过多模态大模型,端到端系统可以根据理解来输出轨迹,并对其合理性进行一级仲裁;「安全类脑」则具备天然避障能力,可对多模态模型的控制输出进行二级仲裁,相当于监督功能。

image

Nullmax创始人、CEO、CTO -徐雷

“之所以采用两个安全模块(一级仲裁+二级仲裁),是因为我们很难保证对规则的考虑都是全面的——不管是一段式端到端,还是模块化的端到端,都要基于感知结果设计规则,而感知的准确性不可能100%准确,并且终究会有一些规则是我们没有想到的。”

10

鉴智机器人

**概述:**鉴智机器人采用了端到端神经网络Agent——GraphAD,该范式将图模型思想引入motion和planning等任务中,对驾驶环境中的交互场景元素(Interaction Scene Graph,ISG)进行显性建模,使得学习和训练效率更强。目前,该方案已经部署到量产车载计算平台上。

image

鉴智机器人联合创始人、CTO都大龙:

“我们将真实世界的信息压缩成一个生成式模型,同时要不断对其进行几个层面的优化:包括真实度、可控度以及可交互度,使其无限逼近真实世界。

标签:10,方案,模型,驾驶,家端,简述,概述,感知,端到
From: https://blog.csdn.net/NEON7788/article/details/142057860

相关文章

  • KernelWarehouse:英特尔开源轻量级涨点神器,动态卷积核突破100+ | ICML 20242A
    动态卷积学习n个静态卷积核的线性混合,加权使用它们输入相关的注意力,表现出比普通卷积更优越的性能。然而,它将卷积参数的数量增加了n倍,因此并不是参数高效的。这导致不能探索n>100的设置(比典型设置n<10大一个数量级),推动动态卷积性能边界提升的同时享受参数的高效性。为此,论文提出......
  • 什么软件能对CAD文件进行加密?这10款图纸加密工具保你安心
    在当今数字化时代,CAD文件的安全性问题日益凸显。对于设计师和企业来说,保护这些包含宝贵知识产权和核心竞争力的图纸文件免受未经授权的访问和泄露至关重要。为此,市面上涌现出多种CAD文件加密软件,它们提供有效的加密措施来确保图纸文件的安全。1.安秉网盾图纸加密软件安秉网......
  • 青少年编程与数学 01-010 青少年成长管理 第六章 专业 4_1 如何选择
    青少年编程与数学01-010青少年成长管理第六章专业4_1如何选择本章摘要:第一节如何选择一、行业、职业、学科、专业二、专业选择的时效性三、专业选择的一般步骤(一)**自我探索**:(二)**市场调研和社会需求分析**:(三)**获取教育咨询和专业信息**:(四)**实践体验**:(五)**做出决策......
  • 青少年编程与数学 01-010 青少年成长管理 第六章 专业 4_2 职业选择
    青少年编程与数学01-010青少年成长管理第六章专业4_2职业选择第二节职业选择一、什么是职业二、何时选择职业(一)尽早选择(二)大学毕业时选择(三)被动选择三、就业四、失业(一)什么是失业(二)永久性失业(三)终身失业(四)关注失业统计数据五、职业的一般分类1.按照工作性质分......
  • KernelWarehouse:英特尔开源轻量级涨点神器,动态卷积核突破100+ | ICML 2024
    动态卷积学习n个静态卷积核的线性混合,加权使用它们输入相关的注意力,表现出比普通卷积更优越的性能。然而,它将卷积参数的数量增加了n倍,因此并不是参数高效的。这导致不能探索n>100的设置(比典型设置n<10大一个数量级),推动动态卷积性能边界提升的同时享受参数的高效性。为此,论文提出......
  • 《DNK210使用指南 -CanMV版 V1.0》第二十三章 六轴传感器——姿态解算实验
    第二十三章六轴传感器——姿态解算实验1)实验平台:正点原子DNK210开发板2)章节摘自【正点原子】DNK210使用指南-CanMV版V1.03)购买链接:https://detail.tmall.com/item.htm?&id=7828013987504)全套实验源码+手册+视频下载地址:http://www.openedv.com/docs/boards/k210/ATK-DNK2......
  • MySQL int(10) 与 int(11) 的区别
    不知道大家是不是和我一样,每次给有个列添加 int(11) 的时候都会想,会不会是 int(10) ,偶尔也会发神经的想,如果 int(32) 这样的可否?索性,我们就先来解决这个问题吧。int 类型的底层存储采用的是 4 字节,也就是32位,这样能够存储的实际最大值为 4294967296,大家数数一下......
  • 51nod 1050 循环数组最大子段和
    51nod1050循环数组最大子段和虽然是板子题,两种做法,我们先写一种,另一个咕咕。因为是循环,所以分为两种,中间的和两边的,中间的直接dp求最大,两边的转化一下就是总的数字和减去中间的最小数字和。#include<bits/stdc++.h>usingnamespacestd;#definelllonglonglla[500005]......
  • 1-10Java方法
    Java方法在前面几个章节中我们经常使用到System.out.println(),那么它是什么呢?println()是一个方法。System是系统类。out是标准输出对象。这句话的用法是调用系统类System中的标准输出对象out中的方法println()。那么什么是方法呢?Java方法是语句的集合,它们在一......
  • Android10源码刷入Pixel2以及整合GMS
    一、ASOP源码下载具体可以参考我之前发布的文章二、下载相关驱动包这一步很关键,关系到编译后的镜像能否刷入后运行下载链接:Nexus和Pixel设备的驱动程序二进制文件如下图所示,将两个驱动程序上传到Ubuntu服务器,并进行解压,得到两个脚本:下载解压后会有两个脚本文件,运......