当前位置:首页 > 科技资讯 > 正文

Meta与学术巨头携手突破:全原子扩散Transformer引领分子晶体生成新时代

Meta 基础人工智能研究(FAIR)、剑桥大学与麻省理工学院的联合科研团队提出了全原子扩散 Transformer(ADiT),这一创新技术打破了周期性与非周期性系统建模的壁垒,实现了用单一模型生成分子与晶体的突破。

在科学研究与工业应用的前沿领域,原子系统三维结构的生成建模正展现出颠覆性潜力,有望重塑新型分子和材料的逆向设计版图。当前最先进的扩散模型及流匹配模型已在生物分子解析、新材料研发及基于结构的药物设计等领域崭露头角,成为科研人员突破技术瓶颈的核心工具。

然而,尽管所有原子系统均遵循相同的物理原理,但小分子、生物分子、晶体及其复合体系的建模却长期处于分而治之的状态。这导致不同系统间的模型难以兼容,是技术跃迁的一大阻碍。为了克服这一难题,Meta、剑桥大学与麻省理工学院的研究团队提出了全原子扩散 Transformer(ADiT)这一突破性解决方案。

ADiT 是一种基于 Transformer 的统一潜在扩散框架,其核心优势在于打破了周期性与非周期性系统之间的建模壁垒,通过全原子统一潜在表示与 Transformer 潜在扩散两大创新,实现了用单一模型生成分子与晶体。其设计几乎不引入归纳偏差,使自编码器与扩散模型在训练和推理效率上远超传统等变扩散模型。

ADiT 的提出标志着原子系统建模向通用性与规模化应用迈出了里程碑式的一步。其研究成果以「All-atom Diffusion Transformers: Unified generative modelling of molecules and materials」为题,入选 ICML 2025。

研究亮点:

* ADiT 首次实现了适用于周期性材料和非周期性分子系统生成模型的统一

* ADiT 依托全原子统一潜在表示与使用 Transformer 进行潜在扩散,有效简化了生成过程,且几乎无归纳偏差

* ADiT 具有出色的可扩展性与效率,训练和推理速度远超等变扩散模型

Meta与学术巨头携手突破:全原子扩散Transformer引领分子晶体生成新时代 全原子扩散Transformer  ADiT 分子晶体生成 统一建模 第1张

论文地址: 

https://go.hyper.ai/27d7U

数据集:从周期到非周期,覆盖多领域实验数据

研究团队选取了多类具有代表性的数据集展开实验,包括 MP20 数据集、QM9 数据集、GEOM-DRUGS 数据集和 QMOF 数据集。这些数据集涵盖了周期性与非周期性的原子系统,为 ADiT 在不同系统上的联合训练提供了基础。

ADiT:以双核心思想构建统一原子系统生成模型

ADiT 的核心设计围绕两个关键思想展开:全原子统一潜在表示和使用 Transformer 进行潜在扩散。通过这两种方法,ADiT 实现了对周期性和非周期性原子系统的统一生成建模。

第一阶段,研究人员构建用于重建的自动编码器(Autoencoder for reconstruction),通过 VAE 对分子和材料的全原子表示进行联合重建,学习并构建共享的潜在空间。

第二阶段,研究人员构建潜在扩散生成模型(Latent diffusion generative model),利用 DiT 从潜在空间生成新样本,这些样本经无分类器引导解码为有效的分子或晶体。

Meta与学术巨头携手突破:全原子扩散Transformer引领分子晶体生成新时代 全原子扩散Transformer  ADiT 分子晶体生成 统一建模 第2张

ADiT 在晶体与分子生成中性能领先

研究团队选取了多类基线模型进行针对性对比,结果显示 ADiT 在晶体和分子生成任务中均达到了 SOTA 水平。同时,ADiT 的联合训练机制也为其带来了显著的性能增益。

Meta与学术巨头携手突破:全原子扩散Transformer引领分子晶体生成新时代 全原子扩散Transformer  ADiT 分子晶体生成 统一建模 第3张

产研共同推进原子系统三维结构生成的突破创新

在原子系统三维结构生成建模领域,学术界与企业界的创新实践共同推动了这一领域的发展。例如,加州大学伯克利分校、微软研究院与 Genentech 公司推出的 PLAID 方法,以及中国生成式 AI 蛋白质设计创新企业百奥几何发布的 GeoFlow V2 模型等。

这些突破与创新预示着原子系统三维结构生成建模将在新型材料研发、药物设计等方面发挥更大作用。