模型简介
12月13日,Stability.ai在开源领域引起了巨大震动,其最新作品Stable Zero123成为了焦点。这款基于Zero123模型的升级版本,主要通过改进的渲染数据集和分数蒸馏方法,大幅提升了3D模型的生成效果和训练效率。值得一提的是,Stable Zero123可以与Stability.ai的高精准图片模型SDXL相结合使用,实现3D模型的扩展。
- huggingface模型下载:https://huggingface.co/stabilityai/stable-zero123
- AI快站模型免费加速下载:https://aifasthub.com/models/stabilityai/stable-zero123
核心技术
Stable Zero123的核心在于其创新的渲染方法和优化的模型结构。它不仅能够从单张图片生成高质量的3D模型,而且在训练效率上比原Zero123模型提高了40倍。这一突破源自于对预训练大模型的深入挖掘和创新应用。
视角控制
Zero123利用合成数据集对预训练的Stable Diffusion模型进行微调,实现对相机视角变换的控制。这一技术使得从单张图像到3D模型的转换更加自然和准确。
基于视角的扩散
此技术结合了图像的CLIP嵌入和视角变换,引导模型在去噪过程中更好地保持目标物体的识别度和细节。
3D模型重建
利用SJC优化的体素辐射场表示,结合基于视角的扩散模型,使得Stable Diffusion模型输出的2D纹理和形状能够更好地应用于3D建模。
数据集和训练
Stable Zero123的训练基于超过1000万个3D模型数据集Objaverse-XL,这个高质量、精准的数据集是模型高效训练的关键。Stable Zero123在单节点8块A100 80GBs GPU上进行训练,展现了其出色的计算效率。
应用前景
Stable Zero123的推出不仅为研究者提供了强大的工具,也为商业应用开启了新的可能性。未来,这款模型将在游戏开发、电影制作、虚拟现实等领域发挥重要作用。
结论
Stable Zero123代表了3D建模领域的一个重大进步,它不仅提升了生成效率,还大幅提升了模型的质量。这款开源模型的推出,预示着3D建模技术进入了一个全新的时代。
模型下载
huggingface模型下载
https://huggingface.co/stabilityai/stable-zero123
AI快站模型免费加速下载
https://aifasthub.com/models/stabilityai/stable-zero123
标签:单图,训练,模型,stable,Zero123,Stable,3D From: https://blog.51cto.com/u_16323307/8821920