首页 > 其他分享 >几乎覆盖元素周期表!Meta 发布开源 OMat24 数据集,含 1.1 亿 DFT 计算结果

几乎覆盖元素周期表!Meta 发布开源 OMat24 数据集,含 1.1 亿 DFT 计算结果

时间:2024-11-05 15:16:00浏览次数:3  
标签:1.1 训练 DFT 模型 Meta https OMat24 数据

随着全球对可再生能源需求的日益增长,储能技术作为一种能够将能量储存起来并在需要时释放的解决方案,正受到越来越多的关注。但许多再生能源存储技术初期投资成本高,运维困难,目前仍处于研发或示范阶段。

针对于此,彼时还未更名的 Facebook 人工智能研究实验室 (FAIR) 联合卡耐基梅隆大学,于 2020 年发起了 Open Catalyst Project 项目,其目标是利用 AI 探寻用于可再生能源存储的新催化剂。伴随该项目的发布,研究团队推出了催化剂模拟数据集 OC20。

OC20 数据集下载地址:
https://go.hyper.ai/dYeNS

2022 年,研究团队在 OC20 数据集的基础上,扩展推出了 Open Catalyst 2022 (OC22) Dataset,使得模型训练更加精准。
OC22 数据集下载地址
https://go.hyper.ai/9FhFL

近日,Meta 在材料科学领域再次迎来新突破,发布了 Open Materials 2024 (OMat24) 大规模开源数据集和一组配套的预训练模型。OMat24 数据集包含超过 1.1 亿次以结构和成分多样性为重点的密度泛函理论 (DFT) 计算结果。预训练模型使用 EquformerV2 (eqV2) 模型进行训练,其中 eqV2-M 模型在 Matbench Discovery 排行榜上达到了最先进的水平,能够预测基态稳定性和形成能,为预测材料稳定性设定了新的基准。

研究亮点:

  • OMat24 数据集在 MPtrj、Materials Project、Alexandria 等开源数据集的基础上构建,数据集包含的元素几乎覆盖整个元素周期表

  • 预训练模型有 eqV2-S、eqV2-M、eqV2-L 三种模型规模,其中 eqV2-M 模型在 Matbench Discovery 排行榜上的 F1 得分为 0.916,平均绝对误差仅为 20 meV/atom

在这里插入图片描述

论文地址:
https://arxiv.org/pdf/2410.12771

OMat24 数据集下载地址:
https://go.hyper.ai/gALHP

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

OMat24 数据集包含超 1.1 亿 DFT 计算结果,涵盖不同的原子构型

OMat24 数据集是目前用于材料训练 DFT 替代模型的最大的开源数据集之一。该数据集由一系列无机体块材料的 DFT 单点计算 (single-point calculations)、结构弛豫 (structural relaxations) 和分子动力学轨迹 (molecular dynamic trajectories) 组成。研究人员总共计算了约 1.18 亿个标注有总能量、力 (forces norm) 和晶胞应力 (stress) 的结构,使用了超过 4 亿核时的计算资源。

这些结构是通过玻尔兹曼采样生成扰动结构 (sampling of rattled structures)、从头算分子动力学 (ab initio molecular dynamics, AIMD)、以及扰动结构的弛豫 (relaxations of rattled structures) 3 种技术生成的。

在这里插入图片描述

OMat24 数据集生成、应用领域及采样策略概览

OMat24 数据集具有广泛的能量、力和应力分布。下图展示了 OMat24 数据集、MPtrj 数据集以及 Alexandria 数据集的总能量 (total energy,单位用 eV/atom 表示)、 力 (forces,单位用 eV/A 表示) 和应力 (stress,单位用 GPa 表示) 标签的分布情况。

  • MPtrj 数据集 (Materials Project Trajectory Dataset) 包含超过 150 万个无机结构的 DFT 计算结果。因其大规模和多样性,在材料科学和计算材料学领域具有重要的应用价值。

  • Alexandria 数据集是一个量子化学数据库,为力场开发、密度泛函的开发和评估提供了大量的分子属性数据。

在这里插入图片描述

橙色虚线代表 MPtrj 数据集、蓝色虚线代表 Alexandria 数据集、绿色实线代表 OMat24 数据集

可以看到,OMat24 数据集的能量分布略高于用作输入结构的 Alexandria 数据集,并且显著高于 MPtrj 数据集;OMat24 数据集的力以及晶胞应力分布远高于 MPtrj 和 Alexandria 数据集。

值得一提的是,OMat24 数据集所包含的元素也几乎覆盖了元素周期表。如下图所示:

在这里插入图片描述

OMat24 数据集中的元素分布

尽管 OMat24 数据集与其他数据集相比具有优越性,但研究人员同时也说明了该数据集还存在局限性。该数据集是基于 PBE 和 PBE+U 级别的 DFT 计算得到的,它只包含周期性体相结构,未考虑点缺陷、表面、非化学计量比以及低维结构的重要影响,因此存在固有的近似误差,但这些误差在其他泛函中得到了一定程度的解决。

如下图所示,研究人员将 WBM 数据集中的计算结果与采用 OMat24 DFT 设置的单点计算结果进行了比较,结果发现二者之间平均绝对误差为 52.25 meV/atom。

  • WBM 数据集是一个大规模的计算材料数据库,包含了使用 DFT 计算得到的大量材料的电子结构和热力学性质数据,如形成能、熵变、比热容等。

在这里插入图片描述

WBM 数据集计算结果与 OMat24 DFT 设置的单点计算结果比较示意图

以 EquformerV2 为模型架构,基于三大数据集进行模型训练

研究人员利用 OMat24 数据集以及 MPtrj 数据集和 Alexandria 数据集来训练模型。由于 Alexandria 数据集和用于测试的 WBM 数据集中存在类似的结构,研究人员对 Alexandria 数据集进行了子采样以进行训练,确保训练数据集和测试数据集之间没有遗漏。

首先,研究人员删除了所有与 WBM 初始结构和弛豫结构中相匹配的部分,创建了 Alexandria 的新子集 (sAlexandria)。为了缩小数据集,研究人员删除了总能量 > 0 eV、力范数 > 50 eV/Å 和应力 > 80 GPa 的结构。最后,只对剩余轨迹中能量差大于 10 meV/atom 的结构进行采样。最终用于训练和验证的结果数据集分别有 1,000 万和 50 万个结构。

对于模型架构,研究人员选择 EquiformerV2,它是目前在 OC20 、OC22 和 ODAC23 排行榜上表现最好的模型。

对于模型训练,研究人员探索了 3 种策略:

  • 仅在 OMat24 数据集上训练 EquiformerV2 模型,带有和不带有去噪增强目标 (denoising augmentation objectives)。这些模型具有最强的物理意义,因为它们仅适合包含与旧版 Materials Project 设置相关的底层伪势重要更新的数据集。

  • 仅在 MPtrj 数据集上训练 EquiformerV2 模型,带有和不带有去噪增强目标,可用于直接与 Matbench Discovery 排行榜进行比较(标记为 compliant 模型)。

  • 在 MPtrj 或 sAlexandria 结合的数据集上进一步微调 OMat24 或 OC20,从而进行 EquiformerV2 模型训练,使其成为 Matbench Discovery 排行榜上表现最好的模型(标记为 non-compliant 模型)。

下表展示了基于 EquiformerV2 架构训练的模型以及不同规格模型分别对应的参数总数和推理吞吐量:

在这里插入图片描述

模型训练的不同规格

基于 EquiformerV2 训练的模型在 Matbench-Discovery 排行榜表现最优

研究人员使用 Matbench-Discovery 基准对 EquiformerV2 模型进行评估,结果显示无论是在 compliant (仅使用 MPtrj 训练) 还是 non-compliant (使用额外数据训练) 的模型上,EquiformerV2 模型在排行榜上都达到了最优的表现 (F1 分数是主要评判指标)。

下图展示了 Matbench-Discovery 排行榜上其他 non-compliant 模型的表现。

在这里插入图片描述

图源 Matbench-Discovery 官网

结果显示 eqV2-M 模型的 F1 得分为 0.916,平均绝对误差 (MAE) 为 20 meV/atom,均方根误差 (RMSE) 为 72 meV/atom,为材料稳定性的预测设立了新的基准。

此外,仅在 MPtraj 数据集上训练的 EquiformerV2 模型也表现出色,这得益于有效的数据增强策略,如对非平衡结构进行去噪 (DeNS)。从上表可以看出,基于 OMat24 数据集预训练的模型在精度方面优于传统模型,特别是在处理非平衡配置时表现突出。

开源成为材料科学与 AI 融合的加速器

在当今这个由数据驱动的时代,AI 正以其前所未有的速度和精度,重塑着材料科学的研究范式。特别是围绕材料科学开源的 AI 知识、工具和数据,让更多研究人员、开发者甚至是爱好者有机会共同参与到创新的过程中,协力推进材料科学的发展。

对于此次 OMat24 开源数据集及其模型的发布,机器学习大牛、微软研究院首席科学家 Max Welling 在社交平台表示「我对 OMat24 这个新数据集感到特别兴奋,它催生了一个新的 SOTA 级别的机器学习力场基础模型。」

在这里插入图片描述

其实早在 2011 年,美国伯克利国家实验室 (LBNL) 就发布了 Materials Projec。该数据集包含了大量无机材料的计算数据,如晶体结构、电子结构和热力学性质等,成为了当下材料科学研究的重要数据资源。
论文地址:
https://go.hyper.ai/KExvK

Materials Projec 数据集下载地址:

https://go.hyper.ai/BOQS0

又如美国西北大学 (Northwestern University) 在 2013 年发布了开源量子材料数据集 OQMD,包含了 1,226,781 种材料的热力学和结构性质的计算结果,被广泛用于对多种材料应用进行高通量的 DFT 分析。
论文地址:
https://www.nature.com/articles/npjcompumats201510

OQMD 数据集下载地址:
https://go.hyper.ai/X4fE5

2018 年,麻省理工学院 (MIT) 发布 CGCNN 模型。该模型在材料科学中应用广泛,通过图神经网络实现对材料性质的预测,如预测晶体材料的带隙、磁性和热力学稳定性等性质。
论文地址:
https://arxiv.org/pdf/1710.10324

2020 年,美国国家标准与技术研究院 (NIST) 发布 JARVIS 开源平台,专注于预测材料性质和电子结构。JARVIS-ML 是其机器学习模块,提供了丰富的数据集和基于机器学习的材料筛选工具,支持 DFT、分子动力学模拟和机器学习,能够帮助研究人员快速筛选和发现新材料。
论文地址:
https://arxiv.org/abs/2007.01831

2021 年,NIST 又发布了 ALIGNN 模型。该模型通过引入线图来捕获原子间的复杂相互作用,可以有效提高材料性质预测的准确性。
论文地址:
https://www.nature.com/articles/s41524-021-00650-1

可以看出,从高通量筛选到自动化材料设计,开源已经成为推动材料科学与 AI 融合的重要加速器,正引领材料科学进入更智能、更高效的新纪元。

参考资料:

1.https://www.marktechpost.com/2024/10/20/meta-ai-releases-metas-open-materials-2024-omat24-inorganic-materials-dataset-and-models/

2.https://www.notebookcheck.net/Meta-unveils-OMat24-AI-powered-materials-discovery-goes-open-source.904139.0.htm

3.https://www.technologyreview.com/2024/10/18/1105880/the-race-to-find-new-materials-with-ai-needs-more-data-meta-is-giving-massive-amounts-away-for-free/

标签:1.1,训练,DFT,模型,Meta,https,OMat24,数据
From: https://blog.csdn.net/HyperAI/article/details/143507360

相关文章

  • ​Meta AI推出思维偏好优化技术,提升AI模型回应质量
    近日,MetaAI的研究团队与加州大学伯克利分校及纽约大学的研究人员合作,推出了一种名为思维偏好优化(ThoughtPreferenceOptimization,TPO)的方法,旨在提升经过指令微调的大型语言模型(LLM)的回应质量。与传统模型仅关注最终答案不同,TPO方法允许模型在生成回应前进行内部思考......
  • 《安全软件开发框架(SSDF) 1.1:降低软件漏洞风险的建议》解读(三)
    安全软件开发框架SSDF是由美国国家标准与技术研究院发布的关于安全软件开发的一组实践,帮助开发组织减少发布的软件中的漏洞数量,减少利用未检测到或未解决的漏洞的潜在影响,从根本上解决漏洞防止再次发生。本文根据《SecureSoftwareDevelopmentFramework(SSDF)Version1.1:R......
  • 《人件集》阅读笔记2(2024.11.1)
    一、章节内容梳理(一)第五章:环境与协作的交织这一章让我深刻认识到办公环境对软件开发人员的重要性。无论是物理空间的布局,还是设施的配备,都如同隐形的手影响着工作效率和团队沟通。从开发人员的角色定位角度看,合适的环境能让他们更清晰地明确自己在团队中的位置,更好地发挥专长。......
  • 小红书1个月涨粉1.1w账号,5分钟教你利用即梦+腾讯元宝快速制作(含完整的操作步骤)
    今日刷到这个西游记绘画账号,一个月差不多涨了1.1w的粉丝,看了几篇笔记这种笔记为什么会火?笔记主要围绕中国传统经典《西游记》中的孙悟空形象展开,具有浓厚的文化背景和历史意义。对于喜欢中国古典文学的读者来说,这是一个非常有吸引力的主题。插画的细节处理非常精细,色彩......
  • LongVU :Meta AI 的解锁长视频理解模型,利用自适应时空压缩技术彻底改变视频理解方式
    MetaAI在视频理解方面取得了令人瞩目的里程碑式成就,推出了LongVU,这是一种开创性的模型,能够理解以前对人工智能系统来说具有挑战性的长视频。研究论文"LongVU:用于长视频语言理解的时空自适应压缩"提出了一种革命性的方法,使人工智能能够有效地处理和理解长达几分钟甚至一......
  • 后羿 - TenSunS v1.1.0 支持对接AWS的EC2、RDS、ElastiCache
    ......
  • 日记 2024.11.1:2024 syzx 秋季训练 4
    E令\(m=s/2\)。将\(r<m\)的区间称作A类,\(m<l\)的B类,\(l\leqm\leqr\)的C类。A、B类可以互相匹配,过程如下:将B翻转,假如A类都叫\([l_i,r_i]\),B类对称翻转后叫作\([l_j,r_j]\),将\(l_i,r_j\)混合从小到大排序,维护一个升序的set,遇到\(l_i\)时将\(r_i\)插......
  • 2024.11.1 test
    B维护长度为二的次幂的数组,支持单点修改,区间和,全局执行以下三种操作之一:for(inti=0;i<n;i++)b[i]=0;for(inti=0;i<n;i++)b[i()x]+=a[i];for(inti=0;i<n;i++)a[i]=b[i];()里为或,且,异或中的一种。\(n\le2^{19}\)。考虑线段树维护。注意到如果为或/且,那么相当于对......
  • 11.1随笔
    这里是11.1随笔。题目留档:二叉树遍历应用代码:#includeinclude//二叉树节点结构体structTreeNode{charval;TreeNode*left;TreeNode*right;TreeNode(charx):val(x),left(NULL),right(NULL){}};//根据先序遍历字符串构建二叉树TreeNode*buildTree(std::s......