Meta 公司(前身为 Facebook)最近推出了一款名为 Meta 3D Gen(3DGen)的新型人工智能模型,能实现1分钟内的端到端生成,从文本直出高质量3D资产,不仅纹理清晰、形态逼真自然,而且生成速度比其他替代方案加快了3-60倍!
目前,模型还没有开放试用API以及相应的代码,官方消息中也没有透露下一步的发布时间,只能看到官方demo但没法试用。但好在,Meta放出了技术报告,让我们可以细致观摩一下技术原理。
论文地址:
https://ai.meta.com/research/publications/meta-3d-gen/
Meta 3D Gen使用两个阶段的过程来创建3D资产。
第一阶段:由AssetGen提供支持,通过文本提示生成基于物理的渲染(PBR)材料的3D网格,大约花费30S。这个阶段克服了将2D概念转化为3D结构的困难任务。
第二阶段:由TextureGen驱动,细化在第一阶段创建的纹理。这一步对于实现专业级3D资产所需的细节水平至关重要。TextureGen使用视图空间和uv空间生成技术的组合来创建与原始文本提示相匹配的详细纹理,同时保持整个3D模型的一致性,大约花费20S。
其中,第二阶段的TextureGen也可以单独拿出来使用。如果有一个之前生成的,或者艺术家自己创作的无纹理3D网格,提供描述外观的文本提示后,模型也能在20s左右的时间中为它从头生成纹理。
这项技术的潜在应用是巨大的。游戏开发者可以使用3D Gen快速创建环境和角色原型,从而大大加快开发过程。建筑可视化公司可以从文本描述中生成详细的建筑和室内3D模型,简化设计过程。在虚拟现实和增强现实领域,3D Gen可以快速创建沉浸式环境和对象,可能会加速虚拟世界应用程序的开发,让我们一起期待它的正式上线吧!
*西安觉醒元宇宙AI,是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台!