首页 > 其他分享 >[Paper Reading] LSS: Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Un

[Paper Reading] LSS: Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Un

时间：2024-05-06 23:15:02浏览次数：28

标签：Shoot Encoding Camera Lift BEV Splat 3D

名称

Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D
时间：20.08
机构：NVIDIA

TL;DR

后融合方法将每一目感知结果通过相机参数转换到BEV空间再后融合，LSS开启前融合的先河，将特征通过先lift再splat到BEV空间，通过BEV空间特征直接预测结果，并且部分感知任务达到SOTA水平，比如segmentation。

Method

Lift

目标是将特征升维到3D空间，由于没有深度信息，针对每个pixel位置会预测一个深度空间的oneshot向量\(\alpha\)，该pixel位置的特征向量c与\(\alpha\)外积(即每个深度bin对应的值都会与c相乘得到一个特征向量再拼到一起如上图所示)得到lift之后的3D特征。

Splat

如下图所示，利用相机外参将Lift出的点云及对应的特征描述子合并到同一个坐标系下，再使用sum pooling整合为一个C × H × W的特征图(详细的作法参见pointpillars)。

Shoot

利用BEV feature预测K条轨迹中概率最大的那个(K条轨迹是根据先验提前聚类出来的)

Experiment

相关链接

OFT Orthographic Feature Transform for Monocular 3D Object Detection
pointpillars

标签：Shoot,Encoding,Camera,Lift,BEV,Splat,3D
From： https://www.cnblogs.com/fariver/p/18175990

相关文章

模拟源测试设备设计方案-471-便携式手提Camera Link 模拟源测试设备
一、平台简介便携式手提CameraLink模拟源测试设备，以PCIe的Cameralink播出卡和X86主板为基础，构建便携式的手提设备。平台默认操作系统为win764位系统；具备丰富的外设接口，如VGA、HDMI、千兆网口、USB2.0/3.0以及方便的JTAG调试口；平台存储为8G内存、256G固态硬......
'org.springframework.web.filter.CharacterEncodingFilter' is not assignable to 'j
问题描述：在写SSM项目中，配置前端控制器的时候发现错误'org.springframework.web.filter.CharacterEncodingFilter'isnotassignableto'javax.servlet.Filter,jakarta.servlet.Filter'一直爆红解决思路：在您的错误消息中，指出了org.springframework.web.filter.CharacterEn......
开源相机管理库Aravis例程学习（五）——camera-api
目录简介例程代码函数说明arv_camera_get_regionarv_camera_get_pixel_format_as_stringarv_camera_get_pixel_formatARV_PIXEL_FORMAT_BIT_PER_PIXEL简介本文针对官方例程中的：03-camera-api做简单的讲解。并介绍其中调用的arv_camera_get_region，arv_camera_get_pixel_format_as......
使用docker部署livox_camera_calib环境
ROS系统安装使用fishros的一键安装脚本，选择ros1的kinetic版本。具体安装以及连接容器过程可查看视频Docker版ROS安装。注意：启动容器时应从命令行启动，不要在vscode中连接容器。否则在启动rviz时，程序会找不到显示输出设备，rviz会直接die。环境配置安装完Docker版本ROS后需要的再......
925-12路Base Camera link 影像复合光纤传输采集存储设备
12路BaseCameralink影像复合光纤传输采集存储设备一、设备概述全景图像采集设备主要用于12路BaseCameralink视频采集传输，通过QSFP+光纤传输输出，并实现服务器的采集存储，包括采集复合板卡，和光纤采集存储服务器，支持户外工业级温度，长期工作。二、12......
react-native-vision-camera 扫二维码报错 [unknown/unknown] Waiting for the barcod
1.问题：使用react-native-vision-camera库扫描解析二维码时，部分手机出现如下报错：2.解决：android/app/build.gradle文件中添加依赖：dependencies{//...implementation'com.google.mlkit:barcode-scanning:17.2.0'}3.参考：GitHub相关issues......
react-native-camera 安装
npmi react-native-camera--save或yarnadd react-native-camera 在android/app/build.gradle中添加：missingDimensionStrategy'react-native-camera','general'implementationproject(path:':react-native-camera') 在MainApplicatio......
Dual Camera
对于APP可见的是一个个logicdevice，而一个logicdevice对应一个logicsensor，如果是双摄则一个logicsensor对应了两个physicalsensor。而一个physicalsensor对应了一个physicaldevice。双摄管道模型：双摄有自己的Pip......
实时 3D 深度多摄像头跟踪 Real-time 3D Deep Multi-Camera Tracking
实时3D深度多摄像头跟踪Real-time3DDeepMulti-CameraTracking论文urlhttps://arxiv.org/abs/2003.11753论文简述：提出了一个名为DeepMulti-CameraTracking(DMCT)的实时3D多摄像机跟踪系统。该系统旨在解决使用多个RGB摄像机进行3D人群跟踪的挑战性任务。总体框架图......
Android的CameraX获得相机支持分辨率的方法
如题，方法如下：androidx.camera.core.Cameracamera1=cameraProvider.bindToLifecycle(/*lifecycleOwner=*/this,cameraSelector,analysisUseCase);Camera2CameraInfocamera2Info=Camera2CameraInfo.from(camera1.getCameraInfo());Size[]size=cam......

赞助商

阅读排行