首页 > 其他分享 >Stable Zero123震撼发布:单图生成高质量3D模型

Stable Zero123震撼发布:单图生成高质量3D模型

时间:2023-12-14 16:32:52浏览次数:26  
标签:单图 训练 模型 stable Zero123 Stable 3D

模型简介

12月13日,Stability.ai在开源领域引起了巨大震动,其最新作品Stable Zero123成为了焦点。这款基于Zero123模型的升级版本,主要通过改进的渲染数据集和分数蒸馏方法,大幅提升了3D模型的生成效果和训练效率。值得一提的是,Stable Zero123可以与Stability.ai的高精准图片模型SDXL相结合使用,实现3D模型的扩展。

Stable Zero123震撼发布:单图生成高质量3D模型_3D

核心技术

Stable Zero123的核心在于其创新的渲染方法和优化的模型结构。它不仅能够从单张图片生成高质量的3D模型,而且在训练效率上比原Zero123模型提高了40倍。这一突破源自于对预训练大模型的深入挖掘和创新应用。

Stable Zero123震撼发布:单图生成高质量3D模型_数据集_02

视角控制

Zero123利用合成数据集对预训练的Stable Diffusion模型进行微调,实现对相机视角变换的控制。这一技术使得从单张图像到3D模型的转换更加自然和准确。

基于视角的扩散

此技术结合了图像的CLIP嵌入和视角变换,引导模型在去噪过程中更好地保持目标物体的识别度和细节。

Stable Zero123震撼发布:单图生成高质量3D模型_数据集_03

3D模型重建

利用SJC优化的体素辐射场表示,结合基于视角的扩散模型,使得Stable Diffusion模型输出的2D纹理和形状能够更好地应用于3D建模。

Stable Zero123震撼发布:单图生成高质量3D模型_3D_04

数据集和训练

Stable Zero123的训练基于超过1000万个3D模型数据集Objaverse-XL,这个高质量、精准的数据集是模型高效训练的关键。Stable Zero123在单节点8块A100 80GBs GPU上进行训练,展现了其出色的计算效率。

应用前景

Stable Zero123的推出不仅为研究者提供了强大的工具,也为商业应用开启了新的可能性。未来,这款模型将在游戏开发、电影制作、虚拟现实等领域发挥重要作用。

结论

Stable Zero123代表了3D建模领域的一个重大进步,它不仅提升了生成效率,还大幅提升了模型的质量。这款开源模型的推出,预示着3D建模技术进入了一个全新的时代。

模型下载

huggingface模型下载

https://huggingface.co/stabilityai/stable-zero123

AI快站模型免费加速下载

https://aifasthub.com/models/stabilityai/stable-zero123

标签:单图,训练,模型,stable,Zero123,Stable,3D
From: https://blog.51cto.com/u_16323307/8821920

相关文章

  • 看不惯AI版权作品被白嫖!Stability AI副总裁选择了辞职,曾领导开发Stable Audio
    近日,OpenAI的各种大瓜真是让人吃麻了。而就在SamAltmam被开除前两天,可能没太多人注意到StabilityAI副总裁Newton—Rex因看不惯StabilityAI在版权保护上的行为选择辞职一事。Newton—Rex对音乐生成式AI的贡献Newton—Rex是生成式AI在音乐领域的发展进化过程中的关键人物之一。这位......
  • 本地搭建Stable Diffusion并利用免费组网工具实现远程访问AI绘图服务
    很多小伙伴在家里或者公司搭建了本地的StableDiffusionWebUI需要异地访问或者共享给其他小伙伴使用服务,如果机器本身搭建在公网服务器上面有域名就可以共享出去,但是涉及到安全问题所以大多数人都是部署在本地服务器或者家里的电脑上面。笔者通过B站秋葉aaaki的教程进行一键安装S......
  • 【Cpp 基础】泛型算法 stable_sort() 的应用
    最近在刷牛客的题。经常遇到排序问题,经常有一个附加的规则:相同的数值的,按照录入的顺序排序。可是C++的sort()的底层是快速排序,并不能保证相同数值的顺序不改变。所以最后我不得不自己写冒泡排序。(冒泡排序不改变相同数值的录入顺序)写了那么多的排序,但是其实C++里封装有排序函数......
  • 【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法BeautifulPrompt
    近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulPrompt通过对低质量和高质量的提示进行微调,并进一步......
  • Stable diffusion
    目前来说效果比较好的影像生成模型,就算不是StableDiffusion,套路也和其相似.而StableDiffusion就是目前最好的影像生成模型.Howitworks目前最好的影像生成模型,其内部基本上由三个元件组成.第一个元件是TextEncoder,它能把输入的文字叙述变成对应的向量;接下来是一......
  • StableDiffusion笔记
    title:StableDiffusion笔记banner_img:https://drive.studyinglover.com/api/raw/?path=/photos/blog/background/1679396994125.pngdate:2023-5-2915:36:00categories:-笔记tags:-文字生成图片StableDiffusion是一个图像生成方法,由 StabilityAI and Runway......
  • 新火种AI | Stable Video Diffusion来了!普通人拍大片指日可待
    作者:小岩随着技术的不断进步,AI领域取得了巨大的突破。特别是在图片生成这个赛道,AI目前能做到的成绩超乎想象。或许就在1年以前,很多人,特别是一些专业从业者对AI绘画的印象还停留在“元素要靠东拼西凑”“废图率太高”“成品无法直接使用”等方面,但如今,高质量AI绘图软件的表现完全可......
  • springboot~ConfigurableListableBeanFactory和ApplicationContext的使用场景
    在工具类中封装getBean,使用哪个接口来实现实事上,在工具类中,实现BeanFactoryPostProcessor和ApplicationContextAware接口后,使用它们构造方法里的对象ConfigurableListableBeanFactory和ApplicationContext都可以很方便的获取spring容器里的bean,而在实际应用时,还有有些不同的,比如在......
  • 【腾讯云 HAI域探秘】借助HAI,轻松部署StableDiffusion环境拿捏AI作画-体验实验赢大奖
    【腾讯云HAI域探秘】借助HAI,轻松部署StableDiffusion环境拿捏AI作画-体验实验赢大奖爆火的Ai生图你体验到了吗?没有绘画能力、摄影能力也能随心所欲的创作出自己的作品!但是很多人因为高昂的硬件和繁琐的安装对它望而却步。腾讯云的高性能应用服务HAI(HyperApplicationInventor......
  • 魔导手册 Stable Diffusion 画龙 画坤坤(鲲) 画麒麟
    一、选择模型1、点击Checkpoints 2、拉到最后选择sd-xl-base_1.0 二、开启创作之旅1、点击Generation点击Refiner 2、选择sdxl/sd_xl_refiner_1.0.safetensors(PS下拉框拉到最后就行啦)  3、输入咒语(正向提示词和反向提示词)点击生成 坤坤就出来了 三、......