Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets
Sichuan University（四川大学）
GANs的逆映射生成对抗网络（Generative Adversarial Nets）生成器具有很大的潜在价值。因此，人们已经开展了一些工作，通过直接学习或对抗学习来构造生成器的逆函数。虽然结果令人鼓舞，但该问题具有很高的挑战性，并且现有的GANs逆模型训练方法存在许多缺点，例如训练困难或性能差。由于这些原因，我们提出了一种新的方法，基于使用逆生成器（$IG$）模型作为编码器和预训练生成器（$G$）作为AutoEncoder网络的解码器来训练$IG$模型。在该模型中，AutoEncoder的输入和输出之间的差异被直接最小化，输入和输出都是预训练的GAN的生成器生成的图像。该优化方法克服了非一一对应函数的训练和逆模型的困难，并将GANs生成器的逆模型应用于图像搜索和翻译，实验结果表明，该方法在图像搜索中的效果优于传统方法。
2017-09-12 cs.LG
Efficient generative adversarial networks using linear additive-attention Transformers
Facultad de Ingeniería, Universidad Nacional Autónoma de México（墨西哥国立自治大学工程学院）；Instituto de Investigaciones en Matematicas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
针对现有深度生成模型计算成本高的问题，提出基于线性加性注意力Transformer模块Ladaformer的混合GAN模型LadaGAN，在保持生成性能的同时大幅提升效率，可单GPU高效训练。
2026-09-16 cs.CV cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University（纽约大学）
本文提出SiT生成模型，基于DiT骨干网络，利用灵活的插值框架模块化研究动态传输生成模型的设计选择，在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
A General Framework Combining Generative Adversarial Networks and Mixture Density Networks for Inverse Modeling in Microstructural Materials Design
Northwestern University（西北大学）
微结构材料设计是反模型在材料科学中最重要的应用之一。一般来说，在科学应用中有两种广泛的建模范式：正向和反向。虽然正演建模基于已知参数来估计观测，但是逆演建模尝试在给定观测的情况下推断参数。反问题在科学应用中通常更关键，也更困难，因为它们试图探索无法直接观察到的参数。反问题广泛应用于各种科学领域，如物理学，医疗保健和材料科学。然而，求解反问题是具有挑战性的，因为它们通常需要学习一个一对多的非线性映射，并且还需要大量的计算时间，特别是对于高维参数空间。此外，当输入（即观察）的维度远低于输出（即参数）的维度时，逆问题变得更加难以解决。在这项工作中，我们提出了一个由生成对抗网络和混合密度网络组成的逆向建模框架，并在材料科学数据集上进行了评估，用于微结构材料设计。与基线方法相比，结果表明，所提出的框架可以克服上述挑战，并以有效的方式产生多个有前途的解决方案。
2021-01-26 cs.LG
Time-series Transformer Generative Adversarial Networks
Imperial College London（帝国理工学院）
许多现实世界的任务都受到数据限制的困扰：在某些情况下，只有很少的数据可用，而在其他情况下，数据受到隐私执行法规（例如GDPR）的保护。我们认为，具体的时间序列数据的限制，并提出了一个模型，可以生成合成的时间序列，可以用来代替真实的数据。生成合成时间序列数据的模型有两个目标：1）捕获实序列的逐步条件分布，以及2）忠实地对整个实序列的联合分布进行建模。通过最大似然估计训练的自回归模型可以用于反馈先前预测并用于预测未来预测的系统中;在这种模型中，误差会随着时间的推移而累积。此外，需要一个合理的初始值，使基于MLE的模型不是真正的生成。许多下游任务学习对时间序列的条件分布进行建模，因此，从生成模型提取的合成数据除了执行2）之外还必须满足1）。我们提出了TsT-GAN，这是一个利用Transformer架构来满足需求的框架，并将其性能与五个数据集上的五个最先进模型进行比较，并表明TsT-GAN在所有数据集上实现了更高的预测性能。
2022-05-23 cs.LG
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company（埃克森美孚技术与工程公司）
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题，提出可微数据相关层进行重新参数化和高斯化，在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology（麻省理工学院）
深度生成机器学习模型在设计界越来越受欢迎，这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的，进一步的进步将取决于解决几个关键的考虑因素，如设计质量，可行性，新颖性和有针对性的逆向设计。我们提出了设计目标实现指数（DTAI），一个可区分的，可调的指标，得分设计的能力，实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN（PaD GAN），并与一组基线深度生成模型（包括多目标PaD GAN和专用表格生成算法，如条件表格GAN（CT GAN））相比，表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器，以鼓励可行的设计。为了评估方法，我们提出了一套全面的评估指标的生成方法，专注于可行性，多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题：FRAMED自行车车架设计数据集具有混合数据类型的参数数据，严重偏斜和多模态分布，和十个竞争的性能目标。
2022-05-06 cs.LG
How Good Are Deep Generative Models for Solving Inverse Problems?
Simon Fraser University（西蒙弗雷泽大学）
本研究评估了扩散、GAN和IMLE三类深度生成模型在16倍超分辨率、着色和图像解压缩三个逆问题上的解有效性与不确定性估计可靠性，发现基于IMLE的CHIMLE方法表现最佳。
2023-12-20 cs.CV cs.LG
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
Adobe Research（奥多比研究院）；Carnegie Mellon University（卡内基梅隆大学）；Argo AI（阿尔戈人工智能公司）
我们解决的问题，找到现实的几何校正的前景对象，使它看起来自然合成到一个背景图像。为了实现这一目标，我们提出了一种新的生成对抗网络（GAN）架构，该架构利用空间Transformer网络（STNs）作为生成器，我们称之为空间Transformer GANs（ST-GANs）。ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别是，我们利用了一个迭代的扭曲方案，并提出了一个顺序的训练策略，实现了更好的结果相比，一个单一的发电机天真的训练。ST-GAN的主要优点之一是其间接适用于高分辨率图像，因为预测的扭曲参数在参考帧之间是可转移的。我们在两个应用中展示了我们的方法：（1）可视化室内家具（例如，从产品图像）在房间中的感知方式，（2）当与真实肖像匹配时，眼镜等配件的外观会产生幻觉。
2018-03-05 cs.CV cs.LG
Bayesian Inverse Problems with Conditional Sinkhorn Generative Adversarial Networks in Least Volume Latent Spaces
University of Maryland（马里兰大学）；General Electric Vernova Advanced Research（通用电气维诺瓦先进研究院）
本文提出一种基于最小体积降维的潜条件Sinkhorn生成对抗网络框架，用于高效训练并解决高维非线性贝叶斯逆问题，在ODE参数反演和地下水流高维水力传导率反演中验证了其有效性。
2024-05-22 cs.LG
OCL-PDE: A Generative Framework for PDE Inverse Problems with Observation-Complementary Latents
The Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）
针对PDE逆问题的不适定性，提出OCL-PDE生成框架，利用观测互补潜变量结合观测重建未知场，基于物理感知AE和条件流匹配，提升重建精度与细节恢复。
2026-10-06 cs.LG
An invertible generative model for forward and inverse problems
Centrum Wiskunde en Informatica, Amsterdam, The Netherlands（荷兰阿姆斯特丹数学与信息学研究中心）；Utrecht University, Utrecht, The Netherlands（荷兰乌得勒支大学）；University of Twente, Enschede, The Netherlands（荷兰埃因霍温大学）
该研究在贝叶斯框架下提出可逆模拟器，结合三角归一化流构建可逆生成模型，推导变分公式实现配对样本训练，通过数值示例验证其可作为正逆问题条件生成建模的统一方法。
2026-08-11 cs.LG math.PR stat.ML
Fourier Transformers for Latent Crystallographic Diffusion and Generative Modeling
CRIL UMR 8188, Universit\'e d'Artois, CNRS, France
本文提出一种基于傅里叶变换的生成模型，用于高效生成具有周期性和对称性的晶体结构，通过潜在扩散模型在压缩空间中实现高精度重建和生成。
2026-02-12 cs.AI cs.LG
Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers
Bowie State University（鲍伊州立大学）；Morgan State University（摩根州立大学）；University of the District of Columbia（哥伦比亚特区大学）
本文系统综述了以ChatGPT为代表的生成式AI进展，涵盖GAN、GPT、自编码器、扩散模型和Transformer等核心模型，分析其多样化任务能力、面临的挑战及未来前景。
2023-11-21 cs.AI cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta（Meta 基础人工智能研究）；University of Cambridge（剑桥大学）；MIT（麻省理工学院）
本文提出全原子扩散Transformer（ADiT），一个统一潜扩散框架，用同一模型联合生成分子和材料，在多个数据集上达到最先进性能，并支持大规模扩展。
2025-05-22 cs.AI cs.LG
Solution of Physics-based Bayesian Inverse Problems with Deep Generative Priors
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
逆问题在自然界中无处不在，几乎出现在所有科学和工程领域，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决其不适定性。贝叶斯推断提供了一个原则性的方法来克服这一点，制定了一个统计框架的逆问题。然而，它是具有挑战性的应用时，推断具有离散表示的大尺寸（所谓的“灾难的维度”）和/或当先验信息仅在先前获得的解决方案的形式可用的字段。在这项工作中，我们提出了一种新的方法，使用深度生成模型进行高效准确的贝叶斯反演。具体来说，我们演示了如何使用生成对抗网络（GAN）学习的近似分布作为贝叶斯更新的先验，并在GAN的低维潜在空间中重新制定由此产生的推理问题，从而有效地解决大规模贝叶斯逆问题。我们的统计框架保留了基础物理，并被证明可以产生准确的结果，具有可靠的不确定性估计，即使在缺乏有关基础噪声模型的信息的情况下，这对许多现有方法来说是一个重大挑战。我们证明了所提出的方法对各种反问题，其中包括合成以及实验观察到的数据的有效性。
2022-07-25 cs.LG stat.ML
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题，提出无需训练的对比注意力引导方法UNCAGE，利用注意力图优先去掩码清晰对象令牌，提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
A Hybrid Model for Traffic Incident Detection based on Generative Adversarial Networks and Transformer Model
University of Shanghai for Science and Technology（上海理工大学）；Capital One（第一资本）
针对交通事件检测中数据获取困难与类别不平衡问题，提出融合 Transformer 和 GANs 的混合模型，并在四个真实数据集上验证其检测性能提升。
2024-03-02 cs.AI cs.LG
TTS-GAN: A Transformer-based Time-Series Generative Adversarial Network
Texas State University（德克萨斯州立大学）
以时间序列形式出现的信号测量是医学机器学习应用中最常见的数据类型之一。然而，这样的数据集通常很小，使得深度神经网络架构的训练无效。对于时间序列，我们可以用来扩展数据集大小的一套数据增强技巧受到保持信号基本属性的需要的限制。生成对抗网络（GAN）生成的数据可以用作另一种数据增强工具。基于RNN的GANs的缺点是它们不能有效地对具有不规则时间关系的长序列数据点进行建模。为了解决这些问题，我们介绍了TTS-GAN，一个基于变换的GAN，它可以成功地产生现实的合成时间序列的数据序列的任意长度，类似于真实的。GAN模型的生成器和卷积网络都使用纯Transformer编码器架构构建。我们使用可视化和降维技术来展示真实和生成的时间序列数据的相似性。我们还比较了我们生成的数据的质量与现有的最佳替代方案，这是一个基于RNN的时间序列GAN。
2022-06-26 cs.AI cs.LG
Regularized Training of Intermediate Layers for Generative Models for Inverse Problems
Khoury College of Computer Sciences, Northeastern University（东北大学库理计算机学院）；Department of Mathematics, Northeastern University（东北大学数学系）
生成对抗网络（GANs）在解决逆问题时已被证明是强大而灵活的先验。使用它们的一个挑战是克服表示误差，这是网络表示任何特定信号的基本限制。最近，多个提出的反演算法通过优化中间层表示来减少表示误差。这些方法通常应用于生成模型，该生成模型被训练为与下游反演算法无关。在我们的工作中，我们引入了一个原则，即如果生成模型旨在使用基于中间层优化的算法进行反演，则应该以正则化这些中间层的方式进行训练。我们实例化这一原则的两个显着的最近的反演算法：中间层优化和多码GAN之前。对于这两种反演算法，我们引入了一种新的正则化GAN训练算法，并证明了在解决压缩感知，修复和超分辨率问题时，学习的生成模型在很宽的采样率范围内具有较低的重建误差。
2022-03-08 cs.CV cs.LG eess.IV
Induced Generative Adversarial Particle Transformers
Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出 iGAPT，通过诱导粒子注意力块和全局喷流属性条件实现线性复杂度，并在多项指标上超越 MPGAN，可高效精确模拟复杂高能物理碰撞数据。
2023-12-08 cs.LG hep-ex physics.data-an
Tunable Latent Generative Priors for Compressed Sensing and Inverse Problems
Northeastern University（东北大学）；Harvard University（哈佛大学）；Technical University of Munich（慕尼黑技术大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出可调复杂度生成模型，用于提升压缩感知等反问题的重建性能，并通过理论分析和实验验证其有效性。
2026-09-14 cs.AI cs.LG
Transformer-based conditional generative adversarial network for multivariate time series generation
时间相关数据的条件生成是一项非常有趣的任务，无论是用于数据增强、情景模拟、完成缺失数据还是其他目的。最近的工作提出了一种基于转换器的时间序列生成对抗网络（TTS-GAN），以解决递归神经网络的局限性。然而，该模型假设单峰分布，并试图围绕真实数据分布的期望生成样本。它的一个局限性是它可能生成一个随机的多变量时间序列;它可能无法在整体分布中存在多个子分量的情况下生成样本。人们可以训练模型来分别适应每个子组件，以克服这种限制。我们的工作扩展了TTS-GAN，通过在特定的编码上下文上调节其生成的输出，允许使用一个模型来拟合具有多个子分量的混合分布。从技术上讲，它是一种条件生成对抗网络，可以在不同类型的条件下对现实的多变量时间序列进行建模，例如分类变量或多变量时间序列。我们在UniMiB数据集上评估我们的模型，该数据集包含使用智能手机收集的人类活动XYZ轴的加速度数据。我们使用定性评估和定量指标，如主成分分析（PCA），我们引入了一个修改版本的弗雷歇初始距离（FID）来衡量我们的模型的性能和生成的和真实的数据分布之间的统计相似性。我们表明，这种基于变换的CGAN可以在不同的条件下产生现实的高维和长的数据序列。
2022-10-05 cs.AI cs.LG
GenPANIS: A Latent-Variable Generative Framework for Forward and Inverse PDE Problems in Multiphase Media
Technical University of Munich, Professorship of Data-driven Materials Modeling, School of Engineering and Design（慕尼黑技术大学，数据驱动材料建模教授职位，工程与设计学院）；Munich Data Science Institute (MDSI - Core member)（慕尼黑数据科学研究所（MDSI—核心成员））
GenPANIS通过统一生成框架实现多相介质正反PDE问题的高效求解，保留离散微结构并支持梯度推断，适用于复杂外推场景。
2026-02-16 cs.LG stat.ML
Generative networks as inverse problems with Scattering transforms
École normale supérieure（巴黎高等师范学院）；Collège de France（法兰西公学院）；PSL Research University（PSL研究大学）；Paris, France（75005巴黎，法国）
生成对抗网络（GANs）和变分自动编码器（VAE）从高斯白噪声中生成令人印象深刻的图像，但底层数学还没有得到很好的理解。我们通过反转固定嵌入算子来计算深度卷积网络生成器。因此，它们不需要使用解码器或编码器进行优化。嵌入是Lipschitz连续的变形，使发电机转换输入白噪声向量之间的线性插值到输出图像之间的变形。这种嵌入是用小波散射变换计算的。数值实验表明，所得的散射发生器具有与GANs或VAE相似的特性，而无需学习判别网络或编码器。
2018-05-17 cs.AI cs.LG stat.ML
A Residual Guided strategy with Generative Adversarial Networks in training Physics-Informed Transformer Networks
College of Science, China Agricultural University（中国农业大学理学院）；College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院）；College of Water Resources and Civil Engineering, China Agricultural University（中国农业大学水利与土木工程学院）
本文提出一种基于生成对抗网络的残差引导策略，用于改进物理信息变换器网络，通过自回归处理捕捉时间相关性，并动态识别高残差区域以提升准确性。
2026-04-02 cs.CE cs.LG physics.flu-dyn
Generative Modeling and Inverse Imaging of Cardiac Transmembrane Potential
Rochester Institute of Technology（罗切斯特理工学院）；Dalhouse University（达尔豪斯大学）
从体表心电图（ECG）无创重建心脏跨膜电位（TMP）涉及不适定逆问题。模型约束正则化是强大的，将丰富的生理知识的时空TMP动态。这些模型是由高维物理参数控制的，如果固定的话，可能会引入模型误差并降低TMP重建的精度。然而，由于这些参数的高维性，在TMP重建期间同时适应这些参数是困难的。我们引入了一种新的模型约束推理框架，该框架用经过训练的深度生成模型取代了传统的生理模型，以从低维生成因子生成TMP序列。使用具有长短期记忆（LSTM）网络的变分自动编码器（VAE），我们训练VAE解码器来学习TMP的条件似然，而编码器学习生成因子的先验分布。这两个组件使我们能够开发一种有效的算法，同时推断生成因子和TMP信号从ECG数据。仿真实验和真实数据实验表明，与传统生理模型约束或无生理约束的方法相比，该方法显著提高了TMP重建的精度。
2019-05-12 cs.LG eess.IV eess.SP
Friction on Demand: A Generative Framework for the Inverse Design of Metainterfaces
École centrale de Lyon LTDS, UMR 5513（Lyon中央理工学院LTDS，UMR 5513）；Univ. Gustave Eiffel, Inria COSYS-SII, I4S Rennes, France（Gustave Eiffel大学，Inria COSYS-SII，I4S Rennes，法国）
本文提出基于变分自编码器的生成式框架，从目标摩擦定律逆向设计表面形貌，在2亿样本上训练实现免仿真的高效候选生成，并分析准确性、吞吐量与多样性的权衡。
2025-10-27 cs.LG cs.SY eess.SY
Discovery of 2D materials using Transformer Network based Generative Design
University of South Carolina（南卡罗来纳大学）；University of Colombo（科伦坡大学）
二维材料在超导、量子和拓扑材料中有着广泛的应用。然而，它们的合理设计还没有很好地建立起来，目前已经报道了不到6,000种实验合成的2D材料。最近，深度学习、数据挖掘和基于密度泛函理论（DFT）的高通量计算被广泛执行，以发现用于各种应用的潜在新材料。在这里，我们提出了一个生成材料设计管道，即材料Transformer发电机（MTG），用于大规模发现假设的2D材料。我们训练两个二维材料成分生成器使用自学习神经语言模型的基础上Transformers与和没有转移学习。然后使用这些模型来生成大量的候选2D成分，这些成分被馈送到已知的2D材料模板中用于晶体结构预测。接下来，我们进行了DFT计算，研究他们的热力学稳定性的基础上，能量以上的船体和形成能。我们报告了四种新的DFT验证的稳定的二维材料，具有零e-above-hull能量，包括NiCl $_4$，IrSBr，CuBr $_3$和CoBrCl。因此，我们的工作证明了我们的MTG生成材料设计管道在发现新型2D材料和其他功能材料方面的潜力。
2023-01-14 cond-mat.mtrl-sci cs.LG
Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials
University of South Carolina（南卡罗来纳大学）
自监督神经语言模型最近取得了前所未有的成功，从自然语言处理到学习生物序列和有机分子的语言。这些模型在蛋白质和分子的生成、结构分类和功能预测方面表现出优异的性能。然而，大多数基于掩蔽的预训练语言模型并不是为生成设计而设计的，它们的黑盒性质使得很难解释它们的设计逻辑。在这里，我们提出了BLMM晶体Transformer，基于神经网络的概率生成模型的生成和修补设计的无机材料。我们的模型建立在用于文本生成的空白填充语言模型上，在学习“材料语法”以及高质量的生成，可解释性和数据效率方面表现出独特的优势。它可以产生化学有效的材料组合物，具有高达89.7%的电中性和84.8%的平衡电负性，与伪随机采样基线相比，这是4倍和8倍以上。BLMM的概率生成过程允许它根据所学的材料化学推荐修补操作，并使其对材料掺杂有用。结合TCSP晶体结构预测算法，我们应用我们的模型发现了一组新材料，并通过DFT计算进行了验证。因此，我们的工作带来了无监督的Transformer语言模型为基础的生成人工智能的无机材料。已经为计算材料掺杂开发了一个用户友好的网络应用程序，可以在\url{www.materialsatlas.org/blmtinker}上免费访问。
2022-04-25 cond-mat.mtrl-sci cs.LG
Probabilistic Generative Transformer Language models for Generative Design of Molecules
University of South Carolina（南卡罗来纳大学）
近年来，自监督神经语言模型在有机分子和蛋白质序列的生成设计以及下游结构分类和功能预测的表示学习中得到了广泛的应用。然而，大多数现有的用于分子设计的深度学习模型通常需要一个大数据集，并且具有黑盒架构，这使得难以解释其设计逻辑。在这里，我们提出了生成分子Transformer（GM Transformer），一个概率神经网络模型的分子生成设计。我们的模型建立在最初为文本处理开发的空白填充语言模型上，该模型在学习具有高质量生成、可解释性和数据效率的“分子语法”方面表现出独特的优势。以MOSES数据集为基准，与其他基线相比，我们的模型具有很高的新颖性和Scaf。概率生成步骤具有修补分子设计的潜力，因为它们能够推荐如何通过解释来修改现有分子，并由所学习的隐式分子化学指导。源代码和数据集可以在https://github.com/usccolumbia/GMTransformer上免费访问
2022-09-20 cond-mat.mtrl-sci cs.LG physics.chem-ph
A Unified Generative-Predictive Framework for Deterministic Inverse Design
本文提出Janus框架，结合编码器-解码器与预测性KHRONOS 头，解决异质材料微结构反向设计问题，实现高效物理引导的生成与预测。
2025-12-10 cond-mat.mtrl-sci cs.LG
Materials Transformers Language Models for Generative Materials Design: a benchmark study
University of South Carolina（南卡罗来纳大学）；University of Colombo（科伦坡大学）
在大型未标记语料库上预训练的Transformer语言模型在自然语言处理、有机分子设计和蛋白质序列生成方面产生了最先进的结果。然而，没有这样的模型已被应用于学习无机材料的组成模式。在这里，我们训练了一系列七个现代Transformer语言模型（GPT、GPT-2、GPT-Neo、GPT-J、BLMM、BART和RoBERTa），使用的是ICSD、OQMD和Materials Projects数据库中存储的材料的扩展公式。六个不同的数据集与/出非电中性或平衡电负性样本被用来基准的性能和揭示现代Transformer模型的生成偏差的材料成分的生成设计。我们的大量实验表明，基于因果语言模型的材料Transformers可以生成高达97.54%的电荷中性和91.40%的电负性平衡的化学有效材料成分，与基线伪随机采样算法相比，其富集度高出6倍以上。这些模型也表现出很高的新颖性，它们在新材料发现中的潜力已被它们回收遗留材料的能力所证明。我们还发现，生成的样本的属性可以通过使用选定的训练集（如高带隙材料）训练模型来定制。我们的实验还表明，不同的模型都有自己的偏好，在生成的样本的属性和他们的运行时间复杂度有很大的差异。我们应用我们的材料Transformer模型发现了一组新材料，并使用DFT计算进行了验证。
2022-06-27 cond-mat.mtrl-sci cs.LG
AtomGPT: Atomistic Generative Pre-trained Transformer for Forward and Inverse Materials Design
本文提出基于Transformer的AtomGPT模型，结合化学与结构文本描述实现材料性质预测和原子结构生成，并通过DFT验证其在超导体设计中的有效性，为正向与逆向材料设计提供了高效的大语言模型方法。
2024-06-29 cond-mat.mtrl-sci
Generative deep learning as a tool for inverse design of high-entropy refractory alloys
生成式深度学习正在推动材料设计的新创新浪潮。在这篇文章中，我们讨论了这些方法的基本操作原理和合理设计的优势，通过一个案例研究的镜头耐火高熵合金的超高温应用。我们提出了我们的计算基础设施和工作流程的逆设计的新合金供电这些方法。我们的初步研究结果表明，生成模型可以学习复杂的关系，以产生新的需求，使它们成为材料信息学的一个有价值的工具。
2021-08-31 cond-mat.mtrl-sci
Inverse Design of Inorganic Compounds with Generative AI
Hylleraas Centre for Quantum Molecular Sciences（海利拉斯量子分子科学中心）；Department of Chemistry（化学系）；University of Oslo（奥斯陆大学）
本文探讨了生成式人工智能在无机化合物逆向设计中的应用，分析了其在处理复杂化学性质方面的进展与挑战，提出了未来标准化和可合成性评估的方向。
2026-08-27 cond-mat.mtrl-sci cs.LG physics.chem-ph
DiffractGPT: Atomic Structure Determination from X-ray Diffraction Patterns using Generative Pre-trained Transformer
本研究提出生成式预训练Transformer模型DiffractGPT，直接从XRD图谱预测原子结构，结合化学信息显著提升预测准确性，实现快速逆向设计并推动材料发现自动化。
2025-08-11 cond-mat.mtrl-sci
Generative deep learning for the inverse design of materials
本文综述了利用生成式深度学习进行材料逆向设计的方法，重点讨论晶体结构与微观结构的潜在空间构建、生成学习策略及性质约束，并指出当前在计算资源、数据兼容性和生成产率方面的挑战。
2024-09-27 cond-mat.mtrl-sci physics.comp-ph
MEIDNet: Multimodal generative AI framework for inverse materials design
Université Catholique de Louvain（鲁汶天主教大学）；EPFL（洛桑联邦理工学院）；WEL Research Institute（WEL研究院）
MEIDNet通过多模态生成式AI框架实现反向材料设计，利用对比学习提升学习效率，生成低带隙钙钛矿结构并验证其有效性。
2026-01-29 cond-mat.mtrl-sci cs.AI cs.LG
A generative material transformer using Wyckoff representation
提出基于对称化晶体可逆分词表示的自回归Transformer模型Matra-Genoa，通过以到凸包距离为条件高效生成稳定晶体，稳定率较基线高8倍，并发布含300万独特晶体及4000个DFT验证化合物的数据集。
2025-01-29 cond-mat.mtrl-sci
Constrained crystals deep convolutional generative adversarial network for the inverse design of crystal structures
自主发现具有所需性质的材料是材料科学的最终目标之一，目前的研究主要集中在基于密度泛函理论计算的高通量筛选和使用机器学习的物理性质的正向建模。应用深度学习技术，我们开发了一种生成模型，可以通过优化潜在空间中的形成能来预测不同的稳定晶体结构。结果表明，物理性质的优化可以集成到生成模型的顶部筛选或反向传播，都有自己的优势。将生成模型应用于Bi-Se二元体系，发现在整个组成范围内都可以得到不同的晶体结构，并且在生成的结构完全弛豫到平衡态后，凸包上的相可以再现。该方法可推广到多组分体系的多目标优化设计，为实现材料性能最优的逆设计奠定了基础。
2023-02-23 cond-mat.mtrl-sci physics.comp-ph
MatterGPT: A Generative Transformer for Multi-Property Inverse Design of Solid-State Materials
本研究提出基于SLICES编码和下一词元预测训练的生成式Transformer模型MatterGPT，可实现固态材料的单/多性质逆向设计，生成的结构具备高有效性、独特性与新颖性，为计算材料发现提供了开源工具。
2024-08-14 cond-mat.mtrl-sci physics.comp-ph
Generative Discovery of Novel Chemical Designs using Diffusion Modeling and Transformer Deep Neural Networks with Application to Deep Eutectic Solvents
本研究利用扩散模型和Transformer架构，开发了多任务生成式预训练模型，在QM9数据集和深共晶溶剂上实现正向与逆向设计，性能最优，并提出新型DES组合。
2023-04-24 cond-mat.dis-nn cond-mat.mes-hall cond-mat.mtrl-sci
