首页 > 其他分享 >基于RandLA-Net深度学习模型的激光点云语义分割

基于RandLA-Net深度学习模型的激光点云语义分割

时间:2024-06-15 21:00:31浏览次数:21  
标签:采样 文件 RandLA master 点云 Net

一、场景要素语义分割部分的文献阅读笔记

        RandLA-Net是一种高效、轻量级的神经网络,其可直接逐点推理大规模点云的语义标签。RandLA-Net基于随机点采样获得了显著的计算和内存效率,并采用新的局部特征聚合模块有效地保留了几何细节,弥补了随机采样可能丢失关键特征的不足。其中,局部特征聚合器(Local Feature Aggregation,LFA)由局部空间编码、自适应注意力池化以及扩张残差块三个子模块组成。

局部特征聚合器的三个重要子模块:

  1. 局部空间编码(Local Spatial Encoding,LocSE)。 首先基于K最近邻算法找到各输入点的K个邻近点,然后逐输入点通过一个共享的多层感知机进行相对位置编码,继而进行特征堆叠和特征增强以获取每个输入点的邻域特征。局部空间编码单元显式地嵌入所有邻近点的空间三维坐标,这样可以明确地学习到输入点周围邻域的局部几何模式,从而有利于整个网络有效地学习复杂的局部结构。
  2. 自适应注意力池化(Attentive Pooling,AP)。首先将局部空间编码所提取到的邻域特征通过共享权重多层感知机和Softmax函数组合进行注意力得分计算,然后依据注意力分数对得到的局部特征进行加权求和以得到更为准确的特征向量组。
  3. 扩张残差块(Dilated Residual Block,DRB)。一个扩张残差块包含两次局部空间编码模块与自适应注意力池化模块组合,扩张残差块基于短接操作将输入特征和增强后的特征求和输出,其目的在于增加感受野、加快学习速度和持续提升模型精度。

        RandLA-Net网络模型的随机采样结合了点概率标记的方法,点概率由距离和搜索权重计算,这样可以防止一个点被多次选中,也可以防止数量多的类别点被多次选中,而数量少的类别点很少被选中。同时,RandLA-Net网络模型在推理过程中会将输入点云进行下采样且记录原始点云与下采样后的最近邻关系,采用距离最近点标签预测一致的原则输出原始输入点云的预测结果,从而加快模型推理速度。

图一 RandLA-Net局部特征聚集模块(LFA)展示(图源:/*1*/ RandLA-Net)

二、RandLA-Net点云语义分割项目代码逐行解析

项目环境配置:

操作系统:Ubuntu 20.04

Python解释器:Python 3.6(本实验中,若版本大于3.6则无法编译compile_op.sh文件)

CUDA版本:9.0

cuDNN版本:7.3.1

Tensorflow框架版本:1.11.0

配置顺序:CUDA/cuDNN -> tensorflow-1.11.0 -> 配置项目依赖及编译.sh文件

百度网盘链接:

https://pan.baidu.com/s/10hrjVJ3RUOlx_50OH2J2gw

模型测试结果可视化:

电力廊道场景应用下的文件结构说明:

① RandLA-Net-master\main_Power.py

        该文件实现了Power类,该类主要完成数据集的划分(训练集、验证集和测试集)、生成输入数据流、数据预处理(数据增强、中心化等)等功能。

② RandLA-Net-master\RandLANet.py

        该文件实现了Network类,该类主要完成模型超参数设置、模型推理结构、模型训练结构、模型精度评价结构等功能,包含了注意力池化(att_pooling)、近邻点坐标/特征聚合(gather_neighbour)、最近邻插值上采样(nearest_interpolation)、随机采样(random_sample)等编码模块。

③ RandLA-Net-master\tester_Power.py

        该文件实现了ModelTester类,该类主要完成模型对测试数据的推理预测与存储对应预测结果点云。

④ RandLA-Net-master\helper_tool.py

        该文件主要实现了ConfigPower类、DataProcessing类,二者实现模型训练超参数调试优化和数据预处理(点云数据网格下采样、KD树索引建立、原始点云与下采样后点云最近距离点索引存储)等功能函数。

⑤ RandLA-Net-master\helper_ply.py

        该文件实现了.ply存储格式的点云数据读取和写入功能。

⑥ RandLA-Net-master\DataPreds_IOU.py

        该文件实现了对点云预测结果的精度评价文件输出(.txt格式)以及预测点云标签三维空间分布数据生成。

⑦ RandLA-Net-master\utils\data_prepare_Power.py

        该文件用于将S3DIS DataSet文件树数据集转换为.ply格式存储点云数据。该文件主要完成点云数据.ply格式转换、点云网格下采样、网格下采样后的KD树构建存储、存储原始所有点云在网格下采样点云中距离最近的点索引集合等功能,目的在于加快邻域点搜索和点云上采样还原。

⑧ RandLA-Net-master\data

        该文件夹包含input_0.xxx、original_ply和Power三个文件夹。其中,Power文件夹存放S3DIS DataSet文件树结构的电力档段数据集,input_0.xxx存放网格下采样后的点云数据,original_ply存放转换为.ply格式存储的原始点云数据。

⑨ RandLA-Net-master\utils\meta

        该文件夹包含anno_paths.txt和class_names.txt两个文件,anno_paths.txt文件存储电力档段的各要素点云集合文件夹名(如Area_0/Annotations),class_names.txt文件顺序存储要素类别名称。该文件夹用于点云类别标签转换赋值。

⑩ RandLA-Net-master\PowerTXT

        存放由DataPreds_IOU.py文件生成的预测后三维点云类别标签空间分布数据和自定义精度评价文件(.txt格式)。

⑩① RandLA-Net-master\results\Log_2024-05-03_09-02-24\snapshots

        存放模型的训练参数文件,其中checkpoint文件存放了多次保存的模型参数文件名称。

注意事项:

1、本百度网盘不包含任何点云数据,仅为项目代码;

2、电力档段激光点云数据文件与S3DIS Dataset文件树结构一致,具体的数据文件树结构转换代码详见基于PointNet / PointNet++深度学习模型的激光点云语义分割-CSDN博客

3、由于点云采样的随机性与最近邻点标签上采样还原机制,点云类别标签预测会在每一次测试中体现出差异,因此设置多次验证取,对每个点取最多次预测的类别标签较为准确;

4、具体的命令行训练以及测试流程依据参考资料[1]的Semantic3D部分。

参考资料:

[1] 采样,文件,RandLA,master,点云,Net
From: https://blog.csdn.net/Jcb1906824038/article/details/136764900

相关文章

  • ASP.NET Core应用程序11:使用模型绑定
      模型绑定是使用从HTTP请求获得的数据值,创建操作方法和页面处理程序所需的对象的过程。本章描述模型绑定系统的工作方式;显示它如何绑定简单类型、复杂类型和集合;并演示如何控制流程,以指定请求的哪一部分提供应用程序所需的数据值。  本章介绍了模型绑定特性,展示了如何使......
  • 【C#入门超简单】基本的.NET框架概念
    一、基本的.NET框架概念.NET框架是一个由微软开发的软件开发平台,它提供了一个运行时环境(CLR-CommonLanguageRuntime)和一套丰富的类库(FCL-FrameworkClassLibrary)。CLR负责管理代码的执行,而FCL则提供了大量预先编写好的代码,供开发者使用。例子:想象一下.NET框架是一个大型......
  • Fundamentals of Networks and Security – 4CM507
    FundamentalsofNetworksandSecurity–4CM507ContentsModuleLeaderKeydatesanddetailsDescriptionoftheassessmentAssessmentContentBackground:Casestudy-LocalAreaNetworkDesign:CompliancewithRequirementIntroductionGeneralrequi......
  • ASP.NET Core之使用OpenTelemetry的日志管理
    一、前言当前软件架构演变由单体架构=>分布式架构(SOA)=>微服务架构(mircoservice)=>云原生架构(cloudnative),所以架构的演变导致对系统日志、监控、链路等统称为观测性方案提出巨大的挑战。在单体架构时代,借助丰富的日志库基本满足对日志管理,但是面对分布式、微服务的架构盛行,......
  • log4net 在winfrom中的使用
    1.安装两个nuget包 2.创建 log4net.config文件,选中文件鼠标右键,选择属性->复制到输出目录修改为始终复制<?xmlversion="1.0"encoding="utf-8"?><configuration><!--只保留创建日期是最近1天的--><log4netOverdueDays="1">&l......
  • 【第8章】如何利用ControlNet生成“可控画面”?(配置要求/一键安装/快速上手/生成第一张
    这节我们来讲AI绘画领域中一个很重要的概念:ControlNet,看下如何让生成的画面更可控。......
  • Modbus转Profinet网关连接ABB变频器Modbus通讯调试
    一、前景:在工业自动化领域,Modbus协议和Profinet协议是两种常见的通讯协议,而ABB变频器作为一种常用的变频控制设备,其通讯调试对于系统稳定运行至关重要。二、优势:Modbus协议转Profinet协议网关能够实现不同协议之间的无缝对接和通信,为工业自动化系统的互联提供了便利。通过网关的......
  • 使用Kube-Bench对Kubernetes进行安全检测
    使用Kube-Bench对Kubernetes进行安全检测1.工具介绍Kube-Bench是一个开源的Go语言工具,用于自动化检查Kubernetes集群是否符合CISKubernetes基准。这些基准包括一系列关于Kubernetes配置和部署安全性的建议和最佳实践。Kube-Bench执行了一系列针对Kubernetes组件(如kube-......
  • Serveo.net 内网穿透设置域名
    要使用Serveo.net设置自定义域名,首先你需要了解如何配置域名的DNS记录。以下是一个详细的步骤指南,假设你已经有一个域名并且可以访问它的DNS设置页面。1.获取Serveo的CNAME和TXT记录信息首先,确保你已经在Serveo.net上创建了一个隧道。例如:ssh-Ryoursubdomain.......
  • kubernetes-ingress-nginx-controller资源-用于管理和处理集群中的 Ingress 资源
    ingress-nginx-controller是一个常用的KubernetesIngress控制器,它基于NGINX实现,主要用于管理和处理集群中的Ingress资源。Ingress资源是Kubernetes中的一种网络入口资源,用于将外部流量路由到集群内部的服务ingress-nginx-controller的功能作用流量管理和路由#1、......