在刚刚结束的 CES 展会上，Stability AI 宣布推出一种名为 SPAR3D（Stable Point Aware3D）的创新方法，这种两阶段的3D 生成技术能够在不到一秒的时间内，从单个图像中生成精确的3D 对象。该技术的推出为游戏开发者、产品设计师和环境构建者提供了全新的3D 原型设计方式。
SPAR3D 的独特之处在于，它能够分别建模可见部分和不可见部分。在生成3D 对象时，该方法提供了准确的几何形状及完整的360度视图，包括物体背面的细节。用户还可以通过实时编辑功能，对生成的3D 对象进行直接修改，如删除、复制、拉伸和重新着色点云，大大提高了操作的灵活性和创意空间。
SPAR3D 的工作流程可以分为两个阶段。第一阶段采用轻量级点扩散模型生成稀疏的3D 点云，样本提取速度极快;第二阶段则利用这些点云和输入图像来构建高细节的网格模型。这样的设计不仅提高了计算效率，还保证了输出质量，克服了传统单图像3D 重建方法的局限。
在性能测试中，SPAR3D 在 GSO 和 Omniobject3D 数据集上表现出色，优于现有的多种最先进的算法。研究团队通过多项实验验证了该技术的有效性，尤其是在处理图像遮挡和细节重建方面的优势。SPAR3D 采用显式的点云作为中间表示，使得用户能够对3D 模型进行进一步编辑，提升了用户体验。
SPAR3D功能总结主要有以下几点:
实时生成能力
快速生成:能够从单张图像中生成完整的3D 对象结构，生成时间不足一秒。
高效编辑 :编辑后的点云转换为最终网格的速度仅为0.3秒。
先进的编辑功能
点云编辑 :用户可直接对点云进行操作，包括删除、复制、拉伸和添加特征。
重新着色 :提供对3D 模型颜色的调整功能，增强创作灵活性。
精确的结构预测
完整结构预测 :能够提供准确的几何形状和详细的360度视图预测，包括隐藏区域。
高分辨率输出 :通过三平面变换器生成高分辨率的三平面数据，捕捉图像的纹理和光照。
开放的使用政策
广泛的应用许可 :支持商业和非商业用途，用户可在多个平台上获取和使用该模型。
开发者友好 :可通过 Hugging Face 下载权重，获取代码在 GitHub 上使用，或通过 API 访问。
官方介绍:https://stability.ai/news/stable-point-aware-3d
Demo
%%bash
git clone https://github.com/Stability-AI/stable-point-aware-3d.git
cd stable-point-aware-3d
pip install -r requirements.txt
登录hf
from huggingface_hub import notebook_login
notebook_login()
安装防止依赖缺失
!pip install gpytoolbox
!pip install pynanoinstantmeshes==0.0.3
环境变量SPAR3D_LOW_VRAM=1和run.py添加--low-vram-mode可以避免显存溢出。
%%bash
cd stable-point-aware-3d
SPAR3D_LOW_VRAM=1 python run.py demo_files/examples/fish.png --output-dir output/ --low-vram-mode