首页 > 其他分享 >MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600.

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600.

时间:2024-09-04 11:25:06浏览次数:12  
标签:标记 1600 30 网格 生成 MeshAnything V2 AMT


GitHub已揽星1.9k的MeshAnything项目上新了V2版本,由来自南洋理工大学、清华大学、帝国理工学院、西湖大学等研究人员完成。

MeshAnything V2相比V1,使用了最新提出的Adjacent Mesh Tokenization(AMT)算法,将最大可生成面数从800提升到了1600。

只需30秒,AI就能像3D建模师一样,在各种指示下生成高质量人造Mesh。

NeRF、3D Gaussian Splatting生成的三维重建图像Mesh效果如下:

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._AIGC

亮点直击

  1. 文章引入了一种相邻网格标记(AMT)网格标记方法,AMT 只需一半的标记序列长度来表示相同的网格,从而从根本上减少了网格生成的计算负担。
  2. MeshAnything 配备了 AMT,并推出了 MeshAnything V2。V2 将可生成的最大面数增加了一倍,同时实现了更高的准确性和效率。
  3. 大量实验表明,AMT 显著提高了网格生成的效率和性能。

相关链接

项目主页:https://buaacyw.github.io/meshanything-v2/

论文地址:https://buaacyw.github.io/meshanything-v2/MeshAnything_V2_Arxiv.pdf

论文阅读

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._计算机视觉_02

摘要

我们推出了 MeshAnything V2,这是一种自回归转换器,可生成与给定形状对齐的艺术家创建的网格 (AM)。它可以与各种 3D 资产生产流程集成,以实现高质量、高度可控的 AM 生成。使用相同大小的模型,MeshAnything V2 在效率和性能方面都超越了以前的方法。

这些改进归功于我们新提出的网格标记化方法:相邻网格标记化 (AMT)。与之前用三个顶点表示每个面的方法不同,AMT 尽可能使用单个顶点。与之前的方法相比,AMT 平均需要大约一半的标记序列长度来表示相同的网格。此外,AMT 的标记序列更紧凑、结构更好,从根本上有利于网格生成。我们大量的实验表明,AMT 显著提高了网格生成的效率和性能。

方法

相邻网格标记化说明

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._人工智能_03

与之前使用三个顶点表示一个面的方法不同,AMT 尽可能使用单个顶点。 当无法做到这一点时,AMT 会添加一个特殊标记 & 并重新启动。AMT 平均将 token 序列长度减少了一半。其紧凑且结构良好的序列表示增强了序列学习,从而显著提高了网格生成的效率和性能。

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._stable diffusion_04

实验

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._stable diffusion_05

MeshAnything V2来了!30秒生成建模师级Mesh!最大可生成面数提升至1600._计算机视觉_06

结论

在这项工作中,我们提出了 MeshAnything V2,这是一种形状条件化的艺术家创建的网格 (AM) 生成模型,可生成与给定形状对齐的 AM。凭借我们新提出的相邻网格标记化 (AMT),V2 在性能和效率方面都明显优于 MeshAnything V1。与以前使用三个顶点表示面的方法不同,AMT 尽可能使用单个顶点。我们的实验表明,AMT 平均将标记序列长度减少了一半。来自 AMT 的紧凑且结构良好的标记序列大大增强了序列学习,从而显著提高了 AM 生成的效率和性能。

限制。 虽然与 V1 相比有很大改进,但 MeshAnything V2 的准确性仍然不足以满足工业应用。需要付出更多努力来提高模型的稳定性和准确性。

标签:标记,1600,30,网格,生成,MeshAnything,V2,AMT
From: https://blog.51cto.com/u_16658015/11917080

相关文章

  • 腾讯&浙大提出定制化视频生成框架CustomCrafter,只需通过少量图像就可以完成高质量视频
    腾讯联合浙大提出了一种定制化视频生成框架-CustomCrafter,它能够基于文本提示和参考图像生成自定义视频,同时保留运动生成和概念组合的能力。通过设计一系列灵活的模块,使得模型实现了无需额外视频,通过少量图像学习,就能生成高质量的个性化视频。上图为CustomCrafter可视化结果。Cus......
  • 媲美Flux pro! Ideogram 发布了 2.0 图像生成模型, 照片级真实感和高质量文本渲染!
    Ideogram发布了2.0模型,图像生成质量大幅提高,产品易用性改善,文字生成能力也提升许多。Ideogram2.0在图像快速对齐、照片级真实感和文本渲染质量方面取得了显著进步。人工评估一致认为Ideogram2.0比FluxPro和DALL·E3有了显著改进。尽管我们在图像质量方面有所改进,但......
  • 字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!
    2024年8月26日,字节开源了FLUXDev的HaperSDLora。只需要8步或者16步就可以用FLUX生成图片,大幅减少FLUX的生成时间。建议LoRA比例约为0.125,该比例可适应训练和指导,比例可保持在3.5。较低步骤的LoRA即将推出。大家可以点击下面文章链接,文章包含模型下载链......
  • How to perform Lot Translate Transactions using Transaction Open Interface (MTI)
        HowtoperformLotTranslateTransactionsusingTransactionOpenInterface(MTI)(DocID838305.1)ToBottomInthisDocument Goal Solution......
  • 嵌入式24千兆电口+4万兆光口管理型三层交换机RTL9301模块
    核心模块概述:嵌入式RTL9301模块可以支持4口万兆上联+24口千兆三层管理型以太网交换机,也就是最多可以提供24个10/100/1000自适应电口、4个10GbSFP+端口、1个console口、1个USB串口。完善的安全控制策略及CPU保护策略(CPUprotectpolicy)提高容错能力,保证网络的稳定运行和链路......
  • 腾讯提出一种新的针对风格化角色和逼真服装动画的生成3D运动转移方法,生成效果逼真!
    来自腾讯XR视觉实验室的研究团队提出了一种创新的3D运动转移方法,专门针对风格化角色和逼真服装动画的生成。该方法能够将源动作准确地映射到目标角色上,同时考虑了角色身体的刚性变形和服装的局部物理动态变形。与现有技术相比,这技术不仅关注于角色身体的变形,还特别强调了服装的逼真......
  • Blender多角度深度图depth map渲染,MVCNN数据生成
    现在在网上已有开源代码来生成论文中推荐的Phong渲染多视图,代码解析如下:https://blog.csdn.net/jorg_zhao/article/details/88345324,代码链接大佬传在了github上:https://github.com/zeaggler/ModelNet_Blender_OFF2Multiview该代码包针对phong渲染提供了Blender配置文件,渲......
  • 使用.NET源生成器(SG)生成项目的版本号信息
    之前写过一篇源生成器生成自动注入的代码主要是通过SyntaxProvider查找标注特性实现其实除了SyntaxProvider之外还有几个很重要的Provider,比如:MetadataReferencesProvider,AdditionalTextsProvider,AnalyzerConfigOptionsProvider等.今天就讲一下AnalyzerConfigOptionsProvi......
  • 30:Python模块&包
    #模块&包#模块(modue)的概念:#在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。#为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种#组织代码的方式。在Pyth......
  • 【读书笔记-《30天自制操作系统》-14】Day15
    本篇内容开始讲解多任务。本篇内容结构很简单,先讲解任务切换的原理,再讲解任务切换的代码实践。但是涉及到的知识不少,理解上也有些难度。1.任务切换与多任务原理1.1多任务与任务切换所谓多任务,指的是操作系统同时运行多个任务。但是这种说法实际上是不准确的。如果只有......