首页 > 其他分享 >深度学习3D网络---PointNet

深度学习3D网络---PointNet

时间:2023-12-07 14:23:20浏览次数:73  
标签:PointNet 网络 --- vis MLP 鲁棒性 点云 3D

常见的3D数据表示方式有点云、多视图、体素、mesh网格等。

PointNet是直接处理点云数据的网络,可以实现对点云的分类和分割,其首页地址为:http://stanford.edu/~rqi/pointnet/。
主要从解决点云的无序性和保证旋转一致性两个方向出发,提出了以点云作为输入的分类网络和分割网络。

一、点云存在的两个问题

1、 点序不同排列(无序性)结果应该一致

可以选择以下几种方式:
方式1. 按照一定规则对点集进行排序
方式2. 将点集的所有排列作为增强数据,训练一个循环网络
方式3. 利用一个对称函数将所有信息进行聚合

方式1看起来最简单,但是在高维空间中,实际上不存在一个在一般意义上相对于点扰动稳定的排序方式,方式2也被证明对于长度小的序列有较好的鲁棒性,但对于动不动上千的点云数据不太合适,因此PointNet采用第三种,以下是不同方式实验对比结果。

常见的对称函数有取最大、求和等

PointNet选择采用多层感知机(MLP)和最大池化(Max Pooling)

2、旋转后分类结果一致

要做到旋转的一致性,PointNet引入T-Net得到一个旋转矩阵,对输入特征进行自动对齐。将正则化项添加到我们的softmax训练损失中,即将特征变换矩阵约束为接近正交矩阵(正交变换不会丢失输入中的信息)

实验发现,通过添加正则化项,优化变得更加稳定,并且模型也获得了更好的性能。

二、网络结构

分类网络

分割网络

三、实验结果

分类

部件分割


场景语义解析

四、其他细节:

Shared MLP

网络结构中的Shared MLP是什么?这一点论文中没有提,但从代码实现上来看其将点云变为B * N * 3,采用1*1的一维卷积,其实相当于每个顶点都共用了同一个卷积权重

如下图所示某种程度上是类似于MLP的,因此称为Shared MLP(个人理解,不知道对不对)。

鲁棒性好

PointNet对缺失数据鲁棒性较好,如下图所示,数据下采样至原来的50%,精度值只下降2%, 其中Furthest表示最远点采样,Random表示随机采样。

而VoxNet对缺失数据鲁棒性就很差。

可视化

可视化显示出哪些点对最后全局特征有影响,输出为Critical Points

具体操作步骤是输出maxpooling之前的特征N*1024, 然后获取最大值的索引,得到这些索引对应的点即为Critical Points。
代码可参考:https://github.com/GitBoSun/PointNet_vis/blob/master/Desktop/DeepLearning/pointnet_vis/vis.py

参考链接

https://github.com/charlesq34/pointnet/issues/115
https://blog.csdn.net/Passersby__/article/details/104941591
https://github.com/GitBoSun/PointNet_vis/

标签:PointNet,网络,---,vis,MLP,鲁棒性,点云,3D
From: https://www.cnblogs.com/xiaxuexiaoab/p/17881865.html

相关文章

  • JS(JavaScript)-函数(方法)
      1.介绍:JS中的函数是一种通过调用来完成具体业务的一段代码块。最核心的目的是将可重复执行的操作进行封装,然后供调用方无限制的调用。 基本作用: 方法(函数)是由事件驱动的或者当他被调用时被执行的可重复使用的代码块。Jav......
  • NC5X-NC6X-NCC开发常用数据表
    元数据相关表select*frommd_class;--元数据实体表select*from md_table;--元数据创建表的信息select*frommd_columnwheretableid='bd_rack';--元数据表的列信息select*frommd_component whereid='83cf74c7-2fa4-4e5f-a171-7aa3f2a44f54';--存放模块下的元数据......
  • TL10F-ASEMI智能插座专用TL10F
    编辑:llTL10F-ASEMI智能插座专用TL10F型号:TL10F品牌:ASEMI封装:TLF-4特性:贴片、整流桥正向电流:1A反向耐压:1000V恢复时间:>2000ns引脚数量:4芯片个数:4芯片尺寸:60MIL浪涌电流:80A漏电流:10ua工作温度:-55℃~150℃包装方式:500/盘;5000/箱备受欢迎的TL10F-ASEMI薄体贴片整流桥......
  • 实验四 Web服务器1-socket编程
    基于华为鲲鹏云服务器CentOS中(或Ubuntu),使用LinuxSocket实现:1.time服务器的客户端服务器,提交程序运行截图2.echo服务器的客户端服务器,提交程序运行截图,服务器把客户端传进来的内容加入“服务器进程pid你的学号姓名echo:”返回给客户端3.服务器部署到华为云服务器,客户端......
  • HydroOJ 从入门到入土(4)控制面板-系统设置详解
    控制面板内众多配置项眼花缭乱,至于说明文档...这个真没有!这里的配置有很多,如果装了插件,有一些插件的配置项也是在这里修改,所以很有必要了解一下这些选项都是干什么的.目录SMTP设置服务器设置setting_limits各种保护性限制基础设置Session设置hydroojui-default显......
  • 2023-12
    一.参考网址1. 盘点:144个免费学习网站,全网最全资源合集2. 学堂在线二.笔记1. MOOC(massiveopenonlinecourses),即大型开放式网络课程,MOOC教育资源通常来源于各大高校,课程有作业、考试、证书,上同一课程的同学可以互相帮助和交流。一般听课免费、拿证书付费。......
  • 无涯教程-Erlang - is_binary函数
    此方法用于检查位串是否确实是二进制值。is_binary-语法is_binary(bitstring)bitstring-这是需要检查其是否为二进制的位串。is_binary-返回值如果位串是二进制值,则返回true;否则返回false。-module(helloLearnfk).-export([start/0]).start()->io:fwrite("......
  • 前端歌谣的刷题之路-第一百一十五题-根据包名 在指定空间中创建对象
     前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从头再来歌谣的意志是永恒的放弃很容易但是坚持一定很酷本题目源自于牛客网微信公众号前端小歌谣题目......
  • 前端歌谣的刷题之路-第一百一十六题-数组去重
     前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从头再来歌谣的意志是永恒的放弃很容易但是坚持一定很酷本题目源自于牛客网微信公众号前端小歌谣题目......
  • 前端歌谣的刷题之路-第一百一十七题-实现斐波那契数列
     前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从头再来歌谣的意志是永恒的放弃很容易但是坚持一定很酷本题目源自于牛客网微信公众号前端小歌谣题目......