Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers
Bowie State University（鲍伊州立大学）；Morgan State University（摩根州立大学）；University of the District of Columbia（哥伦比亚特区大学）
本文系统综述了以ChatGPT为代表的生成式AI进展，涵盖GAN、GPT、自编码器、扩散模型和Transformer等核心模型，分析其多样化任务能力、面临的挑战及未来前景。
2023-11-21 cs.AI cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta（Meta 基础人工智能研究）；University of Cambridge（剑桥大学）；MIT（麻省理工学院）
本文提出全原子扩散Transformer（ADiT），一个统一潜扩散框架，用同一模型联合生成分子和材料，在多个数据集上达到最先进性能，并支持大规模扩展。
2025-05-22 cs.AI cs.LG
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research（Declic人工智能研究院）；CESI LINEACT Laboratory（CESI LINEACT实验室）；Université Paris-Est（巴黎东部大学）；UPEC（巴黎第十二大学）
本文提出一种集成生成式自监督学习（SSL）与残差图Transformer的前沿方法，通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号，在多数据集上持续优于基线方法，增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology（佐治亚理工学院）
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而，用于层间映射空间（aka层融合映射空间）的映射器很少被讨论。在这项工作中，我们提出了一个映射器，DNNFuser，专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器，但据我们所知，这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构，将层融合优化作为序列建模问题进行学习。此外，经过训练的DNNFuser可以概括其知识，并为看不见的条件推断新的解决方案。在一次推理过程中，DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案，同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
The Chess Transformer: Mastering Play using Generative Language Models
PeopleTec；Auburn University（奥本大学）
这项工作表明，自然语言Transformers可以支持更通用的战略建模，特别是对文本存档的游戏。除了学习自然语言技能之外，抽象的Transformer架构还可以在棋盘上生成有意义的移动。通过进一步的微调，Transformer通过在Portable Game Notation中对280万盘国际象棋进行训练来学习复杂的游戏玩法。经过30，000个训练步骤后，OpenAI的生成式预训练Transformer（GPT-2）优化了7.74亿个参数的权重。这款经过微调的国际象棋Transformer可以生成合理的策略，并显示可识别为经典开局的游戏阵型，例如英语或斯拉夫交换。最后，在现场比赛中，新模型展示了一个人对Transformer的界面，正确过滤非法移动，并提供了一种新的方法来挑战Transformer的象棋策略。我们预计未来的工作将建立在这个Transformer的承诺，特别是在其他战略游戏中，功能可以捕获简单但富有表现力的玩家注释的基础复杂的规则语法。
2020-09-18 cs.AI cs.CL cs.GT
DDxT: Deep Generative Transformer Models for Differential Diagnosis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；Laboratory for Physical Sciences（物理科学实验室）
本文提出基于Transformer的生成式鉴别诊断模型DDxT，通过监督与自监督学习替代强化学习，在DDXPlus数据集上大幅超越此前RL方法，显著提升诊断准确率与F1分数。
2023-12-02 cs.AI cs.LG
A Hybrid Model for Traffic Incident Detection based on Generative Adversarial Networks and Transformer Model
University of Shanghai for Science and Technology（上海理工大学）；Capital One（第一资本）
针对交通事件检测中数据获取困难与类别不平衡问题，提出融合 Transformer 和 GANs 的混合模型，并在四个真实数据集上验证其检测性能提升。
2024-03-02 cs.AI cs.LG
TTS-GAN: A Transformer-based Time-Series Generative Adversarial Network
Texas State University（德克萨斯州立大学）
以时间序列形式出现的信号测量是医学机器学习应用中最常见的数据类型之一。然而，这样的数据集通常很小，使得深度神经网络架构的训练无效。对于时间序列，我们可以用来扩展数据集大小的一套数据增强技巧受到保持信号基本属性的需要的限制。生成对抗网络（GAN）生成的数据可以用作另一种数据增强工具。基于RNN的GANs的缺点是它们不能有效地对具有不规则时间关系的长序列数据点进行建模。为了解决这些问题，我们介绍了TTS-GAN，一个基于变换的GAN，它可以成功地产生现实的合成时间序列的数据序列的任意长度，类似于真实的。GAN模型的生成器和卷积网络都使用纯Transformer编码器架构构建。我们使用可视化和降维技术来展示真实和生成的时间序列数据的相似性。我们还比较了我们生成的数据的质量与现有的最佳替代方案，这是一个基于RNN的时间序列GAN。
2022-06-26 cs.AI cs.LG
Transformer-based conditional generative adversarial network for multivariate time series generation
时间相关数据的条件生成是一项非常有趣的任务，无论是用于数据增强、情景模拟、完成缺失数据还是其他目的。最近的工作提出了一种基于转换器的时间序列生成对抗网络（TTS-GAN），以解决递归神经网络的局限性。然而，该模型假设单峰分布，并试图围绕真实数据分布的期望生成样本。它的一个局限性是它可能生成一个随机的多变量时间序列;它可能无法在整体分布中存在多个子分量的情况下生成样本。人们可以训练模型来分别适应每个子组件，以克服这种限制。我们的工作扩展了TTS-GAN，通过在特定的编码上下文上调节其生成的输出，允许使用一个模型来拟合具有多个子分量的混合分布。从技术上讲，它是一种条件生成对抗网络，可以在不同类型的条件下对现实的多变量时间序列进行建模，例如分类变量或多变量时间序列。我们在UniMiB数据集上评估我们的模型，该数据集包含使用智能手机收集的人类活动XYZ轴的加速度数据。我们使用定性评估和定量指标，如主成分分析（PCA），我们引入了一个修改版本的弗雷歇初始距离（FID）来衡量我们的模型的性能和生成的和真实的数据分布之间的统计相似性。我们表明，这种基于变换的CGAN可以在不同的条件下产生现实的高维和长的数据序列。
2022-10-05 cs.AI cs.LG
De Novo Drug Design with Joint Transformers
University of Warsaw（华沙大学）；NatInLab；Eindhoven University of Technology（埃因霍温理工大学）
本文提出联合Transformer，将解码器、编码器和预测器整合为共享权重的联合生成模型，并通过概率黑盒优化算法生成性质更优的新分子，在从头药物设计中优于其他基于SMILES的方法。
2023-12-04 cs.AI cs.LG
GraphGPT: Generative Pre-trained Graph Eulerian Transformer
Alibaba Inc.（阿里巴巴公司）
GraphGPT提出基于图欧拉Transformer的自监督生成式预训练模型，通过将图可逆地转换为token序列并进行下一token或掩码token预测预训练，在OGB多个数据集上达到领先性能，并可扩展至20亿参数，突破传统图模型的可扩展性瓶颈。
2025-06-06 cs.AI cs.LG
GTAC: A Generative Transformer for Approximate Circuits
Global College, Shanghai Jiao Tong University, Shanghai, China（上海交通大学全球学院）
本文提出GTAC，一种端到端的生成式近似逻辑综合框架，通过生成核心和不可约编码提升电路设计效率，实现延迟和门数的显著降低。
2026-04-26 cs.AI cs.AR cs.LG
TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting
Illumina Consulting Group（Illumina咨询集团）
本研究提出基于GPT的跨域实体轨迹预测模型TrackGPT，仅需位置和时间特征即可在海事、航空等领域实现高精度长短期预测，在准确性、可靠性和模块化上优于现有深度学习方法，验证了GPT架构在轨迹预测领域的潜力。
2024-01-29 cs.AI cs.LG
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题，通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT，在ImageNet-1K上实现准确率与效率的更优平衡，适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）
Transformers与之前的序列处理架构（如RNN）相比，表现出了更好的性能。尽管他们的相当大的性能增益，最近建议，该模型是计算昂贵的训练和高参数预算。鉴于此，我们探讨参数共享方法在Transformers与生成模型的具体重点。我们对不同的参数共享/缩减方法进行了分析，并开发了Subformer。我们的模型结合了自适应风格的参数共享，克服了生成模型中天真的跨层参数共享，以及自关注嵌入因子分解（SAFE）。在机器翻译、抽象摘要和语言建模方面的实验表明，Subformer即使在使用显著较少的参数时也能优于Transformer。
2021-09-08 cs.CL cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文提出统一理论框架，通过分析加法、乘法及模运算，揭示平移不变性与相对位置编码对长度泛化的作用，并经GPT系列实验验证，强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design（新加坡科技设计大学）
新颖的概念对于设计创新是必不可少的，并且可以在数据刺激和计算机的帮助下产生。然而，目前的生成式设计算法集中在图形或空间的概念，要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers（GPT）的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
Contrastive Triple Extraction with Generative Transformer
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Alibaba Group（阿里巴巴集团）
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中，我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组，因此我们引入了一种新的模型，具有生成Transformer的对比三元组提取。具体来说，我们引入了一个共享的Transformer模块，用于基于编码器-解码器的生成。为了生成可靠的结果，我们提出了一种新的三元组对比训练对象。此外，我们引入了两种机制来进一步提高模型性能（即，分批动态注意力掩蔽和三重校准）。三个数据集（即，NYT，WebNLG和MIE）表明，我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
LLamol: A Dynamic Multi-Conditional Generative Transformer for De Novo Molecular Design
Fraunhofer SCAI（弗劳恩霍夫算法与科学计算研究所）
本文提出基于LLama 2架构的生成式Transformer模型LLamol，通过引入随机上下文学习训练程序，在1300万有机化合物数据集上实现了支持最多四个条件的动态多条件分子生成，为从头分子设计提供了灵活且易于扩展的强大工具。
2023-11-24 cs.AI cs.LG physics.chem-ph
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University（斯坦福大学）
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络，类似于waveNet。这是完全概率的、自回归的和因果的，即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制，我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明，通过在更广泛的背景下调节样本，这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而，使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐，而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题，提出无需训练的对比注意力引导方法UNCAGE，利用注意力图优先去掩码清晰对象令牌，提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
Modeling Matches as Language: A Generative Transformer Approach for Counterfactual Player Valuation in Football
Department of Artificial Intelligence, University of Seoul, Seoul, Republic of Korea（首尔大学人工智能系）；Institute for Sports and Preventive Medicine, Saarland University, Saarbrücken, Germany（萨尔兰州预防医学研究所）；Chair for Sports Analytics, Saarland University（萨尔兰州体育分析教授职位）
本文提出ScoutGPT，通过将足球比赛事件视为序列标记，利用生成式Transformer模型模拟反事实球员估值，提升对球员转会效果的预测能力。
2026-08-05 cs.AI cs.LG
It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
该研究针对生成式Transformer模型在分布外（OOD）数学任务上的性能下降问题，通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律，深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
Building Transportation Foundation Model via Generative Graph Transformer
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出交通基础模型（TFM），通过图结构和动态图生成算法将交通仿真原理融入预测，以数据驱动方式解决传统系统在复杂性和准确性上的挑战。
2023-05-24 cs.AI cs.LG
A Transformer-based Generative Adversarial Network for Brain Tumor Segmentation
Beijing Institute of Technology（北京理工大学）
脑肿瘤分割仍然是医学图像分割任务中的一个挑战。随着Transformer在各种计算机视觉任务中的应用，Transformer块显示出在全局空间中学习长距离依赖的能力，这与CNN是互补的。在本文中，我们提出了一种新的基于transformer的生成对抗网络自动分割脑肿瘤与多模态MRI。我们的架构由一个生成器和一个训练器组成，它们在最小-最大游戏进度中进行训练。该生成器是基于一个典型的“U形”的编码器-解码器架构，其底层是由Transformer块与resnet。此外，发电机采用深度监控技术进行训练。我们设计的神经网络是一个基于CNN的多尺度$L_{1}$损失网络，它被证明是有效的医学语义图像分割。为了验证我们的方法的有效性，我们在BRATS 2015数据集上进行了实验，实现了与以前最先进的方法相当或更好的性能。
2022-07-29 cs.LG eess.IV
Mesh-Informed Neural Operator : A Transformer Generative Approach
California Institute of Technology（加利福尼亚技术研究所）；NVIDIA Corporation（NVIDIA公司）
针对现有函数空间生成式模型依赖FNO、仅适用于规则网格的局限，提出融合图神经算子与交叉注意力的MINO骨干网络，拓展了应用范围，并提出标准化评估指标以填补领域空白。
2025-10-28 cs.LG
Probabilistic Generative Transformer Language models for Generative Design of Molecules
University of South Carolina（南卡罗来纳大学）
近年来，自监督神经语言模型在有机分子和蛋白质序列的生成设计以及下游结构分类和功能预测的表示学习中得到了广泛的应用。然而，大多数现有的用于分子设计的深度学习模型通常需要一个大数据集，并且具有黑盒架构，这使得难以解释其设计逻辑。在这里，我们提出了生成分子Transformer（GM Transformer），一个概率神经网络模型的分子生成设计。我们的模型建立在最初为文本处理开发的空白填充语言模型上，该模型在学习具有高质量生成、可解释性和数据效率的“分子语法”方面表现出独特的优势。以MOSES数据集为基准，与其他基线相比，我们的模型具有很高的新颖性和Scaf。概率生成步骤具有修补分子设计的潜力，因为它们能够推荐如何通过解释来修改现有分子，并由所学习的隐式分子化学指导。源代码和数据集可以在https://github.com/usccolumbia/GMTransformer上免费访问
2022-09-20 cond-mat.mtrl-sci cs.LG physics.chem-ph
ProdRev: A DNN framework for empowering customers using generative pre-trained transformers
Think Evolve Consultancy LLP（Think Evolve咨询有限公司）；Dept. of Computer Science and Engineering National Institute Of Technology Agartala（计算机科学与工程系国家理工学院阿加拉塔）
针对电商产品评论过多导致消费者决策困难的问题，本文提出ProdRev框架，通过微调GPT3的curie引擎实现评论抽象式摘要，挖掘评论关联并输出优缺点，辅助消费者快速决策。
2025-05-14 cs.AI cs.CL cs.LG
PrefixGPT: Prefix Adder Optimization by a Generative Pre-trained Transformer
PrefixGPT通过生成式预训练变换器优化前缀加法器，实现7.7%的ADP改进和79.1%的平均ADP降低。
2025-11-26 cs.AI cs.AR cs.LG
GPT4MIA: Utilizing Generative Pre-trained Transformer (GPT-3) as A Plug-and-Play Transductive Model for Medical Image Analysis
Nanjing University of Science and Technology（南京理工大学）；University of Notre Dame（圣母大学）
在本文中，我们提出了一种新的方法（称为GPT 4 MIA），利用生成预训练的Transformer（GPT）作为一个即插即用的医学图像分析（MIA）的转导推理工具。我们提供了理论分析，为什么一个大的预训练的语言模型，如GPT-3可以用作MIA的即插即用的转导推理模型。在方法层面，我们开发了几种技术处理方法来提高GPT 4 MIA的效率和有效性，包括更好的提示结构设计，样本选择和代表性样本/特征的提示排序。我们提出了GPT 4 MIA的两个具体用例（带有工作流程）：（1）检测预测错误和（2）提高预测准确性，使用完善的基于视觉的图像分类模型进行推测（例如，ResNet）。实验证明，我们提出的方法是有效的，这两个任务。我们进一步讨论的机会和挑战，利用基于transformer的大语言模型更广泛的MIA应用程序。
2023-03-21 cs.AI cs.CV cs.LG
Efficient generative adversarial networks using linear additive-attention Transformers
Facultad de Ingeniería, Universidad Nacional Autónoma de México（墨西哥国立自治大学工程学院）；Instituto de Investigaciones en Matematicas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
针对现有深度生成模型计算成本高的问题，提出基于线性加性注意力Transformer模块Ladaformer的混合GAN模型LadaGAN，在保持生成性能的同时大幅提升效率，可单GPU高效训练。
2026-09-16 cs.CV cs.LG
Deep Generative Transformers for Probabilistic Time Series and Spatiotemporal Forecasting
SAFIR, Sorbonne University Abu Dhabi（SAFIR，索邦大学阿布扎赫尔分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
提出Enformer和GEnformer，结合Transformer与engression学习条件分布，无需参数假设即可生成连贯多变量轨迹，在时间序列和时空预测中优于现有方法。
2026-06-23 cs.AI cs.LG stat.ML
Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers
University of Ottawa（渥太华大学）；American University（美利坚大学）
计算机生成文本的检测是一个重要性迅速增加的领域，因为新生的生成模型允许有效创建引人注目的类人文本，这些文本可能被滥用于垃圾邮件，虚假信息，网络钓鱼或在线影响活动。过去的工作研究了当前最先进模型的检测，但尽管威胁形势不断发展，但对检测方法对对抗攻击的鲁棒性分析很少。为此，我们评估了神经和非神经方法检测计算机生成的文本的能力，对文本对抗攻击的鲁棒性，以及成功的对抗攻击对人类判断文本质量的影响。我们发现，虽然统计特征的表现不如神经特征，但统计特征提供了额外的对抗鲁棒性，可以在集成检测模型中加以利用。在这个过程中，我们发现，以前有效的复杂短语功能检测计算机生成的文本对当代生成模型的预测能力很小，并确定有前途的统计功能，而不是使用。最后，我们开创性地使用$Δ$ MAUVE作为人类判断对抗文本质量的代理度量。
2022-03-02 cs.AI cs.CL cs.LG
OmniJet-$α_C$: Learning point cloud calorimeter simulations using generative transformers
Institute for Experimental Physics, Universität Hamburg（汉堡大学实验物理研究所）
本研究首次将生成式Transformer用于高粒度量能器的点云簇射模拟，基于OmniJet-$α$的分词与生成模块将击中转为可变长整数序列，可学习簇射几何且不受体素网格限制。
2025-06-11 cs.LG hep-ex hep-ph
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University（纽约大学）
本文提出SiT生成模型，基于DiT骨干网络，利用灵活的插值框架模块化研究动态传输生成模型的设计选择，在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
Amazon Inc.（亚马逊公司）
本文在Transformer时代重新审视文本分类，比较生成式与判别式模型的性能，揭示不同架构下的表现差异并提供实际应用指导。
2026-01-09 cs.CL cs.LG
Generative Video Transformer: Can Objects be the Words?
Rutgers University（罗格斯大学）；SAP Labs（SAP实验室）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
Transformers已经成功地用于许多自然语言处理任务。然而，由于高计算复杂性和缺乏自然标记化，将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中，我们提出了以对象为中心的视频Transformer（OCVT），它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象，我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态，并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率，因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示，在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
Time-series Transformer Generative Adversarial Networks
Imperial College London（帝国理工学院）
许多现实世界的任务都受到数据限制的困扰：在某些情况下，只有很少的数据可用，而在其他情况下，数据受到隐私执行法规（例如GDPR）的保护。我们认为，具体的时间序列数据的限制，并提出了一个模型，可以生成合成的时间序列，可以用来代替真实的数据。生成合成时间序列数据的模型有两个目标：1）捕获实序列的逐步条件分布，以及2）忠实地对整个实序列的联合分布进行建模。通过最大似然估计训练的自回归模型可以用于反馈先前预测并用于预测未来预测的系统中;在这种模型中，误差会随着时间的推移而累积。此外，需要一个合理的初始值，使基于MLE的模型不是真正的生成。许多下游任务学习对时间序列的条件分布进行建模，因此，从生成模型提取的合成数据除了执行2）之外还必须满足1）。我们提出了TsT-GAN，这是一个利用Transformer架构来满足需求的框架，并将其性能与五个数据集上的五个最先进模型进行比较，并表明TsT-GAN在所有数据集上实现了更高的预测性能。
2022-05-23 cs.LG
Efficient Generative Transformer Operators For Million-Point PDEs
Sorbonne Université, CNRS, ISIR（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
ECHO通过分层卷积架构、训练适应策略和生成建模范式，高效生成百万点PDE轨迹，解决传统方法在可扩展性和误差累积上的不足。
2026-10-28 cs.LG
Fast Training of Diffusion Models with Masked Transformers
Caltech（加州理工学院）；NVIDIA（英伟达公司）
本研究提出一种掩码Transformer训练方法，通过非对称编解码架构和掩码重建辅助任务，将扩散模型训练时间降至原DiT模型的30%，同时保持甚至提升生成性能。
2024-03-05 cs.AI cs.CV cs.LG
Discovery of 2D materials using Transformer Network based Generative Design
University of South Carolina（南卡罗来纳大学）；University of Colombo（科伦坡大学）
二维材料在超导、量子和拓扑材料中有着广泛的应用。然而，它们的合理设计还没有很好地建立起来，目前已经报道了不到6,000种实验合成的2D材料。最近，深度学习、数据挖掘和基于密度泛函理论（DFT）的高通量计算被广泛执行，以发现用于各种应用的潜在新材料。在这里，我们提出了一个生成材料设计管道，即材料Transformer发电机（MTG），用于大规模发现假设的2D材料。我们训练两个二维材料成分生成器使用自学习神经语言模型的基础上Transformers与和没有转移学习。然后使用这些模型来生成大量的候选2D成分，这些成分被馈送到已知的2D材料模板中用于晶体结构预测。接下来，我们进行了DFT计算，研究他们的热力学稳定性的基础上，能量以上的船体和形成能。我们报告了四种新的DFT验证的稳定的二维材料，具有零e-above-hull能量，包括NiCl $_4$，IrSBr，CuBr $_3$和CoBrCl。因此，我们的工作证明了我们的MTG生成材料设计管道在发现新型2D材料和其他功能材料方面的潜力。
2023-01-14 cond-mat.mtrl-sci cs.LG
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
Adobe Research（奥多比研究院）；Carnegie Mellon University（卡内基梅隆大学）；Argo AI（阿尔戈人工智能公司）
我们解决的问题，找到现实的几何校正的前景对象，使它看起来自然合成到一个背景图像。为了实现这一目标，我们提出了一种新的生成对抗网络（GAN）架构，该架构利用空间Transformer网络（STNs）作为生成器，我们称之为空间Transformer GANs（ST-GANs）。ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别是，我们利用了一个迭代的扭曲方案，并提出了一个顺序的训练策略，实现了更好的结果相比，一个单一的发电机天真的训练。ST-GAN的主要优点之一是其间接适用于高分辨率图像，因为预测的扭曲参数在参考帧之间是可转移的。我们在两个应用中展示了我们的方法：（1）可视化室内家具（例如，从产品图像）在房间中的感知方式，（2）当与真实肖像匹配时，眼镜等配件的外观会产生幻觉。
2018-03-05 cs.CV cs.LG
World Machine: Towards Generative World Modeling for Time-Series
Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学）；Universidade Estadual Paulista (UNESP)（保罗斯州立大学）
提出基于Transformer的潜在状态架构World Machine，用于时间序列生成式世界建模，在合成数据集Toy1D上验证了其超越传统Transformer的能力。
2026-05-21 cs.LG
Generative Adversarial Transformers
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）；Facebook, Inc.（脸书公司）
我们介绍了GANformer，一种新型高效的Transformer，并将其用于可视化生成建模任务。该网络采用了一种二分结构，可以在图像上进行长距离交互，同时保持线性效率的计算，可以很容易地扩展到高分辨率合成。它迭代地将信息从一组潜在变量传播到不断发展的视觉特征，反之亦然，以支持根据另一个对每个特征的改进，并鼓励出现对象和场景的组合表示。与经典的Transformer架构相比，它利用乘法积分，允许灵活的基于区域的调制，因此可以被视为成功的StyleGAN网络的推广。我们通过对一系列数据集（从模拟的多对象环境到丰富的真实世界室内和室外场景）进行仔细评估，展示了该模型的强度和鲁棒性，表明它在图像质量和多样性方面取得了最先进的结果，同时享受快速学习和更好的数据效率。进一步的定性和定量实验为我们提供了一个深入了解模型的内部工作，揭示了改进的可解释性和更强的解纠缠，并说明了我们的方法的好处和功效。该模型的实现可在https://github.com/dorarad/gansformer上获得。
2022-03-29 cs.AI cs.CL cs.CV
Generative Chemical Transformer: Neural Machine Learning of Molecular Geometric Structures from Chemical Language via Attention
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）
发现更适合特定用途的新材料是提高人类生活质量的一个重要问题。在这里，提出了一种基于对化学语言的深刻理解来创建满足某些期望条件的分子的神经网络（生成化学Transformer，GCT）。GCT中的注意力机制使我们能够超越化学语言本身的局限性，对分子结构有更深层次的理解。通过对生成分子质量的定量评价，研究了语言模型在反分子设计问题中的意义。GCT生成高度逼真的化学字符串，满足化学和语言语法规则。从生成的字符串中解析出的分子同时满足多个目标属性，并且针对单个条件集而变化。这些进展将有助于通过加速所需材料发现的过程来改善人类生活质量。
2021-12-03 cs.LG physics.chem-ph
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo（滑铁卢大学）
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性，符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年，但基于深度学习的方法相对较新，是一个活跃的研究领域。在这项工作中，我们提出了SymbolicGPT，一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点，包括性能和灵活性方面的优势。通过全面的实验，我们表明，我们的模型表现强劲的竞争模型的准确性，运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
Does Entity Abstraction Help Generative Transformers Reason?
Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montreal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）；McGill University（麦吉尔大学）
我们研究了将实体类型抽象纳入预先训练的Transformers的实用性，并在四个需要不同形式逻辑推理的NLP任务上测试这些方法：（1）基于文本的关系推理（CLUTRR）的组合语言理解，（2）溯因推理（ProofWriter），（3）多跳问答（HotpotQA），以及（4）会话问答（CoQA）。我们提出并经验性地探索了三种添加这种抽象的方法：（i）作为额外的输入嵌入，（ii）作为单独的编码序列，以及（iii）作为模型的辅助预测任务。总体而言，我们的分析表明，模型与抽象实体知识的表现优于没有它。最好的抽象感知模型实现了88.8%和91.8%的整体准确率相比，基线模型实现62.9%和89.8%的CLUTRR和ProofWriter分别。然而，对于HotpotQA和CoQA，我们发现F1分数平均只提高了0.5%。我们的研究结果表明，显式抽象的好处是显着的，在正式定义的逻辑推理设置需要许多推理跳，但点的概念，它是不太有益的NLP任务具有不太正式的逻辑结构。
2022-11-21 cs.AI cs.CL cs.LG
Scaling Generative Foundation Models for Chest Radiography with Rectified Flow Transformers
Imperial College London（帝国理工学院）；Causality in Healthcare AI Hub（医疗AI因果关系中心）；University of Edinburgh（爱丁堡大学）；Cleveland Clinic London（克利夫兰诊所伦敦）；Department of Perioperative Medicine, CHU Clermont-Ferrand（克莱蒙费朗大学医院围手术期医学科）；Department of Medicine, Massachusetts General Hospital（麻省总医院医学部）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
提出首个十亿参数级胸部X光片生成基础模型，通过整流流变换器实现高保真可控合成，显著提升合成图像与真实图像的不可区分性。
2026-06-19 cs.AI cs.CV cs.LG
Foresight -- Generative Pretrained Transformer (GPT) for Modelling of Patient Timelines using EHRs
Guy's and St Thomas' NHS Foundation Trust（盖伊和圣托马斯NHS基金会信托）；University College London（伦敦大学学院）
背景资料：电子健康记录保存有关每个患者的健康状况和一般临床病史的详细纵向信息，其中大部分存储在非结构化文本中。现有的方法主要集中在结构化数据和单域结果的子集。我们探讨了如何使用深度生成Transformers从自由文本和结构化数据中对患者进行时间建模，以预测各种未来的疾病、物质、程序或发现。研究方法：我们提出了一种新的基于转换器的管道，它使用命名实体识别和链接工具将文档文本转换为结构化的编码概念，然后为未来的医疗事件提供概率预测，如疾病，物质，程序和发现。我们处理了来自三个不同医院数据集的整个自由文本部分，共有811336名患者，涵盖身体和精神健康。调查结果：在两个英国医院（国王学院医院，伦敦南部和Maudsley）和美国MIMIC-III数据集的测试中，在预测患者时间轴的下一个疾病时，达到了0.68，0.76和0.88的精度@10，而在预测下一个生物医学概念时，达到了0.80，0.81和0.91的精度@10。五位临床医生还在34个合成患者时间轴上验证了Focal，并实现了97%的预测候选疾病的相关性。作为一个生成模型，它可以根据需要预测后续的生物医学概念。释义：Focal是一种通用的生物医学概念建模模型，可用于现实世界的风险预测，虚拟试验和临床研究，以研究疾病的进展，模拟干预和反事实以及教育目的。
2023-01-24 cs.AI cs.CL cs.LG
Trie-Aware Transformers for Generative Recommendation
Zhejiang University（浙江大学）
TrieRec通过引入基于Trie的结构归纳偏差，改进生成推荐中的自回归建模，提升推荐效果。
2026-02-25 cs.IR cs.LG
From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
本文建立单层自注意力与上下文条件马尔可夫链的精确映射，提出可识别性条件和样本复杂度保证，并揭示赢者通吃现象，从数学上解释大语言模型生成重复文本的倾向。
2024-02-21 cs.AI cs.CL cs.LG
Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials
University of South Carolina（南卡罗来纳大学）
自监督神经语言模型最近取得了前所未有的成功，从自然语言处理到学习生物序列和有机分子的语言。这些模型在蛋白质和分子的生成、结构分类和功能预测方面表现出优异的性能。然而，大多数基于掩蔽的预训练语言模型并不是为生成设计而设计的，它们的黑盒性质使得很难解释它们的设计逻辑。在这里，我们提出了BLMM晶体Transformer，基于神经网络的概率生成模型的生成和修补设计的无机材料。我们的模型建立在用于文本生成的空白填充语言模型上，在学习“材料语法”以及高质量的生成，可解释性和数据效率方面表现出独特的优势。它可以产生化学有效的材料组合物，具有高达89.7%的电中性和84.8%的平衡电负性，与伪随机采样基线相比，这是4倍和8倍以上。BLMM的概率生成过程允许它根据所学的材料化学推荐修补操作，并使其对材料掺杂有用。结合TCSP晶体结构预测算法，我们应用我们的模型发现了一组新材料，并通过DFT计算进行了验证。因此，我们的工作带来了无监督的Transformer语言模型为基础的生成人工智能的无机材料。已经为计算材料掺杂开发了一个用户友好的网络应用程序，可以在\url{www.materialsatlas.org/blmtinker}上免费访问。
2022-04-25 cond-mat.mtrl-sci cs.LG
MAGVLT: Masked Generative Vision-and-Language Transformer
Korea University（高丽大学）；Kakao Brain
虽然已经利用大规模成对数据集积极开发了多模态图像-文本数据的生成建模，但是通过单个模型而不是以另一模态为条件的一个固定模态的生成来生成图像和文本数据的尝试有限。在本文中，我们探讨了一个统一的生成视觉和语言（VL）模型，可以产生图像和文本序列。特别地，我们提出了一种基于非自回归掩模预测的生成VL Transformer，称为MAGVLT，并将其与自回归生成VL Transformer（ARGVLT）进行了比较。与ARGVLT相比，所提出的MAGVLT能够实现双向上下文编码，通过迭代细化中的并行令牌预测进行快速解码，以及扩展的编辑功能，例如图像和文本填充。为了从头开始使用图像-文本对严格训练我们的MAGVLT，我们结合了图像到文本，文本到图像以及联合图像和文本掩码预测任务。此外，我们设计了两个额外的任务的基础上的步骤展开掩模预测和选择性预测的混合物的两个图像-文本对。各种下游生成任务的VL基准测试的实验结果表明，我们的MAGVLT优于ARGVLT的大幅利润，即使有显着的推理加速。特别是，MAGVLT实现了竞争力的结果zero-shot图像到文本和文本到图像生成任务从MS-COCO的一个中等大小的模型（小于500 M参数），即使没有使用单峰数据和网络。
2023-03-21 cs.CL cs.CV cs.LG
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说，根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来，扩散模型已在多个领域显示出高质量的生成性能。然而，目前还不清楚如何将扩散模型应用于由离散（类）和连续（位置，大小）属性的混合组成的布局的自然表示。为了解决条件布局生成问题，我们引入DLT，一个联合离散-连续扩散模型。DLT是一种基于transformer的模型，它具有灵活的调节机制，允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外，我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
