首页 > 其他分享 >[Paper Reading] Tesla AI Day for FSD Beta

[Paper Reading] Tesla AI Day for FSD Beta

时间:2024-06-11 23:56:43浏览次数:16  
标签:轨迹 FSD Tesla Occupancy utm AI Beta 标注

link

Framework

Occupancy

模型结构比较像ICCV 2023的OccNet的做法,不过还会额外预测Suface以及NeRF state,预测可行驶区别suface的好处是可以辅助Planning&Control给出更加准确的运动速度等信息(比如,上下坡可根据suface坡度做更准确判断)。

Lanes Neural Network

比较有意思的是将车道线的节点(eg. 起点、中间点、分叉点)的位置信息作为token,使用Transformer的Decoder预测节点token以及链接关系矩阵。

Language Decoder

Planning

不同agent(动态目标)会有K种可能运动轨迹,这些可能运动轨迹组合起来会形成大量潜在可能性,每种可能性的概率判别速度就非常重要,FSD Beta展示的基于NN的planner大大提升了每次判断的速度。

下图是Occupancy可视化,Occupancy会做为3D概率图来辅助轨迹预测。

Auto Labeling

2019年SfM重建点云上标注
2020年BEV上标注
2021年多趟3D轨迹拼接重建点云上标注

Training Infra

14k gpus
160亿帧的训练数据

相关链接

https://www.youtube.com/watch?v=ODSJsviD_SU
https://zhuanlan.zhihu.com/p/570431956?utm_source=weibo&utm_medium=social&utm_oi=34558732926976&utm_content=snapshot&utm_id=0

标签:轨迹,FSD,Tesla,Occupancy,utm,AI,Beta,标注
From: https://www.cnblogs.com/fariver/p/18242550

相关文章

  • Airsim-PX4-ROS仿真环境搭建
    AirSim项目地址:https://github.com/microsoft/AirSimAirSim官方教程:Home-AirSim(microsoft.github.io)CSDN参考教程:AirSim学习(1)安装UnrealEngine和AirSim视频教程:【AirSim】我有自己的无人机啦-bilibiliChrisLovett的讲解在自己的Windows上实现AirSim仿真......
  • 温泉镇旅游微信小程序的设计与实现(论文+源码)_kaic
    摘要旅游业随着经济的快速发展呈现出一派欣欣向荣的景象,尤其是近两年来,各个行业运用科技以及因特网来促进旅游迅速发展,逐渐都显示出了的问题,特别突出的是在线上推广,其缺点也是特别明显。尽管在新冠肺炎的冲击下,许多重要的旅游胜地和娱乐场所都被关闭,但是我认为,在未来,我国会在......
  • 书生·浦语大模型实战营 第八节课 微调弱智吧(如果AI可以正确回答弱智吧的所有问题,人类
    读前感:第四节课也进行了简单的微调,但最终微调出来个傻子,这次再试试,看看如何进行改善。实际的应用场景中使用微调的应该不会特别多,毕竟开源大模型并不是小公司可以玩得起的。对于小公司,真正的微调有哪些场景呢?欢迎大家讨论。读后感:本节课是整个训练营的最后一份笔记。希望......
  • 充分发挥 EFSDUMP 的强大功能,使用教程 更加高效地进行加密文件系统的管理和审计。请根
    EFSDUMP的基本用法大纲:1.查看帮助信息bashCopyCodeefsdump--help这个命令将显示EFSDUMP的帮助信息,包括可用选项和参数的说明。2.提取加密文件信息bashCopyCodeefsdump<file_path>通过指定要提取信息的加密文件路径,可以使用EFSDUMP命令来获取该文件的加密属性、......
  • LangChain AgentExecutor invoke跟踪记录(一)
    目的追踪与调用LLM相关的整条链路,用于理解langchainAgent调用LLM时整个输入输出逻辑,方便后续针对不同LLM做改造适配跟踪记录第一步自然是导进chains\base.py的invoke函数,在这里经过简单的输入验证后进入self._calltry:self._validate_inputs(inputs)......
  • LangChain AgentExecutor invoke跟踪记录(二)
    上回书说到,跟踪到二轮迭代时,我的模型挂了。LangChainAgentExecutorinvoke跟踪记录(一)-CSDN博客实际上后来检查发现并没有挂,只是我当时太紧张了所以看错了(……)。所以今天我们再战!准备工作上次忘了关掉流式输出,今天我们先给它关掉:agent_executor=AgentExecutor(agent=ag......
  • AIGC-AnimateDiff论文详细解读
    AnimateDiff:AnimateYourPersonalizedText-to-ImageDiffusionModelswithoutSpecificTuninggithub:https://github.com/guoyww/animatediff/论文:https://arxiv.org/abs/2307.04725AnimateDiff通过预训练的运动模块(motionmodule),直接将现有的个性化文本到图......
  • 构建LangChain应用程序的示例代码:27、FLARE:前瞻性主动检索增强生成技术实现与应用的示
    FLARE:前瞻性主动检索增强生成这个示例是前瞻性主动检索增强生成(FLARE)的实现。请查看原始仓库。基本思想是:开始回答问题如果开始生成模型不确定的标记,查找相关文档使用这些文档继续生成重复直到完成在查找相关文档的方式上有很多有趣的细节。基本上,模型不确定的标记会......
  • 云微客:AI剪辑与视频矩阵的结合,让短视频获客更高效
    近些年来短视频风靡无二,占据了大部分客户群体,用户也逐渐习惯了短视频的存在,搜索问题也逐渐从百度向短视频方向转移,因此短视频平台就成为了吸引大量用户关注和消费的重要渠道。而众多商家也希望通过短视频平台来提升曝光、增加流量,促进实体门店进一步引流获客,谋求发展。因此云......
  • 大模型时代:普通人如何抓住AI带来的财富机会
    随着科技的飞速发展,我们已经进入了大模型时代。大型人工智能模型正在改变着各个行业,从医疗、教育到金融,这些技术的影响无处不在。那么,作为普通人,我们应该如何抓住这些技术带来的财富机会呢?首先,我们需要了解大模型的发展现状。大模型是指使用大量数据训练出的大型人工智能......