AutoSynth: Learning to Generate 3D Training Datafor Object Point Cloud Registration 论文解读

该算法通过一种高效实用的数据结构来解决核心问题，即找到距离在 $(r-\varepsilon ,r+\varepsilon )$ 一定邻域范围内的所有点对。此时时间复杂度是 $O(n+k_1+k_2)$ ，其中n是点云规模， $k_1$ 是给定距离r下邻域范围内的点对数， $k_2$ 是相似4点集数量。

三、相关工作

1、传统点云配准工作

对于传统点云配准工作，旨在估计两个输入点集之间的相对姿态。对于ICP方法缺点在于必须要有一个合理的初始化才能收敛到一个很好的解。

解决这个问题，需要通过全局优化策略，这也产生了Go-ICP、Super4PCS、FGR等算法。

另外为了解决噪声和离群点问题，通过后处理方法解决的有TEASER和TEASER++等算法。

2、基于深度学习的点云配准

早期是PointNet和PointNetLK形成端到端网络，另外DCP、DGCNN、Transformer也可以建立点云配准，但都不能解决部分到部分配准问题。

RPMNet和RGMNet在DCP基础上处理了软分隔问题，DeepGMR采用高斯混合方法，并制定配准为两个概率分布之间的KL散度最小化处理异常值。

BPNet通过学习生成合成训练数据，来提高真实场景数据上的泛化能力。

3、生成训练数据集

利用3D模型库生成合成数据集，如Model40。该方法仍然需要人类监督控制大小、位置、纹理，而大量合成物体仍然很困难。

利用图像数据生成合成数据集，如Meta-sim，Meta-sim2，该方法需要从图像中学习3D数据对，难以推广到点云数据生成。

利用简单的3D基元组合生成复杂3D形状，但该方法仍需要人工设计组合规则。

该论文中使用一个轻量级代理网络替换主任务网络，在保持最终性能的时候，来减少计算量。

四、AutoSynth框架

AutoSynth框架使用的主任务模型是BPNet和IDAM这两种，其中自动合成的三维数据集为 $D_{syn}$ ，主任务模型配准网络为 $\psi(\omega,D_{syn}(P))$ ， $\omega$ 代表网络参数，类似权重。

$\hat{P}$ 指通过进化算法搜索得到的最优策略，通过进化算法逐步迭代生成若干策略 $P_i$ ，最后选择评估结果最好的策略 $\hat{P}$ 作为最优策略。

1、搜索空间

搜索空间定义了元学习方法训练过程中的可以探索的所有策略集，每个策略也对应了用于创建3D数据集的超参数。

论文中提到对于每一个形状元素（类似于圆柱体、正方体）建立一个隐式曲面函数 $R^3 \rightarrow R$ ，这样对于在几何体上任何一个点，在体内、体外、表面可以定一个有符号的距离函数。对于任何一个点均可以表示为下式：

其中 $\alpha$ 为缩放参数， $T_{rot}$ 代表旋转矩阵、 $T_{shear}$ 代表一个剪切操作矩阵， $T_{stretch}$ 代表控制不同轴尺度的矩阵。对于给定形状元素 $T(x)$ 上每一个点经过变换后，整个形状元素表示为 $T(F(x))$ .

为了得到更多的形状，考虑切断和组合函数。

切断函数 $F_{truncation}$ ：定义 $F_{plane}$ 为一个平面用于截断原始形状元素。

$F_{truncation}=max(F(x),F_{plane}(x))$

组合函数 $F_{union}$ ：多个形状的并集。

$F_{union}=\left \{ {F_1(x),F_2(x),...,F_m(x)} \right \}$

2、进化算法

该问题中的进化算法采用锦标赛算法。每次从种群中选取两个个体生成新的策略，并使其网络收敛，若评估损失低于标准，则不加入种群，反之，则加入种群，每次保证种群有一定突变。

突变的策略就是超参数的选择，在该论文中给定了11个超参数，包括旋转，平移，剪切等操作。

3、代理任务模型

对于点云配准和三维重建的结构如下，他们均有一个DGCNN和一个解码器模块，这允许我们建立一个大规模的搜索空间，用于自动生成训练数据。另外三维重建的网络也比点云配准小很多，能够更好的指导搜索过程，提高搜索速度。

由于原模型过于庞大，所以用代理任务模型（点云重建模型）替代原任务模型。

在本文中使用点云重建网络作为代理任务模型，由于点云重建模型有更轻量级的架构，不添加额外的transformer层，同样通过点云作为输入，也不需要任何标注信息。

对于我们改进的模型是否在点云重建网络上仍然具有同样的提升这个问题，在多任务学习理论中提到，不同任务在相同输入数据上通常会表现出相似的行为，也就是说提升一个任务也会提升其他输入相同数据的任务。

对于该代理任务模型，DGCNN提取特征，Encoder将数据投影到一个低维的潜在空间中，Decoder从潜在空间中重构点云。该代理任务模型考虑使用倒角距离计算重构误差。

五、实验

1、测试数据集

对于后续实验中使用了三个不同真实场景的数据集：TUD-L、LINEMOD、Occuluded-LINEMOD。

TUD-L：最为简单，没有对称物体和严重遮挡。

LM：略有挑战性，存在对称物体和边界轻微遮挡。

LMO：最困难的，包含严重遮挡。

2、BOP评估指标

BOP评估指标用于评估6D姿态估计精准，其中下面四个指标在论文实验中提到。

（1）VSD：视觉相似度，一个评估物体6D姿态估计精度的指标，考虑了物体的可见性和遮挡情况。

（2）MSSD：平均对称表面距离，测量预测姿态和真实姿态之间的平均对称表面距离。

（3）MSPD：平均对称投影距离，测量预测姿态和真实姿态之间的平均对称投影距离。

（4）AR：平均精度，综合考虑旋转和平移精度。

3、对比实验

基于上面三个数据集作为测试数据集，对比不同的配准方法训练Model40，以及使用BPNet和IDAM在AutoSynth数据集下训练后评估性能。

下面的实验数据分别来自于三个数据集TUD-L、LINEMOD、Occuluded-LINEMOD。

4、其他实验

（1）证明了代理任务网络与主任务网络有相同的性能，并且随着采样数增加，性能有所提高。

（2）对于生成AutoSynth合成数据集过程中，使用真实扫描物体作为目标数据集可以帮助缩小真实数据与合成数据之间的差距。

（3）对于搜索策略选择中，使用代理任务模型来引导，比随机选择策略（随机选择一个策略）和全范围策略（穷举所有策略）有更好的性能。

（4）另外点云配准网络在AutoSynth合成数据集上预训练后，再到真实数据集上微调，也可以提升性能。

论文参考：https://arxiv.org/pdf/2309.11170

标签：Training,配准,AutoSynth,Point,算法,点云,数据,3D
From： https://blog.csdn.net/m0_60177079/article/details/141609870

AutoSynth: Learning to Generate 3D Training Datafor Object Point Cloud Registration 论文解读

一、导言

二、先导知识

1、进化算法概述

2、4pcs算法

3、Super4PCS算法