TetSphere Splatting——非常粗糙的阅读笔记分享，欢迎讨论~

• 源代码主页：gmh14/tssplat: TetSphere Splatting: Representing High-Quality Geometry with Lagrangian Volumetric Meshes
• 原文地址：[2405.20283] TetSphere Splatting: Representing High-Quality Geometry with Lagrangian Volumetric Meshes

    与NeRF类似，DMTet也有与3D高斯组合的延伸研究。近日，何凯明团队提出了TetSphere Splatting，该文将DMTet的四面体网格与3D高斯球组合起来完成三维重建任务。

       具体来说，TetSphere Splatting接受目标物体的多视角图片作为输入，主要经过两个阶段实现三维重建。

       第一个阶段为四面体球初始化阶段，即TetSphere Initialization阶段，这个阶段的重建以高斯球为单位，变换高斯球的半径和中心位置使得数量最小的高斯球能够在输入图片的各个视角中都能成功覆盖目标物体。

       第二个阶段为几何优化阶段，即Geometric Optimization阶段，这个阶段的重建以高斯球内部的四面体网格为单位，如PPT所示右边为该结点的优化函数，x为球面中所有四面体各个顶点的坐标向量；双调和能量衡量的是优化过程中，各个顶点之间的位置相对变化量，双跳和能量越高表示顶点之间的相对位置变化越大，顶点之间的相对位置变化过大会导致不平滑的表面，即bumpy surface，TetSphere Splatting希望通过增加这项约束减少生成物体表面的不合理波动；第三项是几何乘法，这个条件要求每个矩阵 Fx的行列式必须为正，从二确保了所有四面体单元保持即正体积，避免了网格发生“翻转”或“坍塌”现象，这是保持几何结构有效性的关键。TetSphere通过改变这些四面体顶点的位置坐标使得渲染损失，双调和能量以及几何约束惩罚的加权和达到最小。

       TetSphere Splatting方法在单视图重建、图像到3D形状生成和文本到3D形状生成的任务重获得了较好的生成效果，PPT上展示的是TetSphere Splatting在单视图重建任务中取得的效果，可以看到除了切割距离不如SyncDreamer以外，TetSphere Splatting在优化速度和网格质量等方面均优于现有的其他三维重建方法。