Lay-Your-Scene: Natural Scene Layout Generation with Diffusion Transformers
UC San Diego（加州大学圣地亚哥分校）；Tsingua University（清华大学）
本文提出Lay-Your-Scene（LayouSyn），利用轻量级开源语言模型和宽高比感知的开放词表扩散Transformer进行自然场景文本到布局生成，在空间与数值推理基准上达到最先进性能，并展示了其在布局优化和图像编辑中的应用潜力。
2025-05-07 cs.CV cs.LG
Variational Transformer Networks for Layout Generation
Google Inc（谷歌公司）；ETH Zürich（苏黎世联邦理工学院）；Technische Universität München（慕尼黑工业大学）
生成模型能够合成不同类型的布局（例如文档、用户界面或家具布置），是辅助设计过程的有用工具，也是生成合成数据的第一步。我们利用自注意层的属性来捕获布局中元素之间的高级关系，并将其用作众所周知的变分自编码器（VAE）公式的构建块。我们提出的变分Transformer网络（VTN）是能够学习的利润，路线和其他全球性的设计规则，没有明确的监督。从我们的模型中采样的布局与训练数据具有高度的相似性，同时表现出吸引人的多样性。在对不同布局类型的公开基准的广泛评估中，VTN实现了最先进的多样性和感知质量。此外，我们展示了这种方法作为文档布局检测管道的一部分的功能。
2021-04-06 cs.CV cs.LG
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而，这些代码生成器存在两个问题。一个是长依赖性问题，其中代码元素通常依赖于另一个遥远的代码元素。例如，变量引用取决于它的定义，它可能出现在相当多的行之前。另一个问题是结构建模，因为程序包含丰富的结构信息。在本文中，我们提出了一种新的基于树的神经架构，TreeGen，代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题，并引入了一种新的AST阅读器（编码器），将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点，并且在ATIS（89.1%）和GEO（89.6%）上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试，以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
DiT-3D: Exploring Plain Diffusion Transformers for 3D Shape Generation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；CUHK（香港中文大学）；TUM（慕尼黑工业大学）
本文提出DiT-3D，一种基于朴素Transformer的三维形状生成扩散模型，通过三维位置与补丁嵌入、三维窗口注意力及二维到三维微调，在ShapeNet上以更低的1-NNA和更高的Coverage取得最先进性能。
2023-07-04 cs.AI cs.CV cs.LG
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich（慕尼黑大学信息学院 (LMU Munich 信息学院)）
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成，通过量子编码器和解码器块实现自回归建模，在语法生成任务上验证了可训练性，但性能不及经典基线，不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph
The Power of Fragmentation: A Hierarchical Transformer Model for Structural Segmentation in Symbolic Music Generation
IEEE Publication Technology Group（IEEE出版技术组）
符号音乐生成依赖于生成模型的上下文表示能力，其中最流行的方法是基于transformer的模型。音乐语境的学习也与音乐中的结构元素有关，即介绍，诗句和合唱，这些都是目前研究界所忽视的。在本文中，我们提出了一个层次化的Transformer模型来学习音乐中的多尺度上下文。在编码阶段，我们首先设计了一个Fragment Scope Localization层，将音乐切分成和弦和小节。然后，我们使用多尺度注意力机制来学习音符、和弦和小节级上下文。在解码阶段，我们提出了一个分层的Transformer模型，它使用细解码器来并行生成部分和粗解码器来解码组合的音乐。我们还设计了一个音乐风格规范化层，以在生成的部分之间实现一致的音乐风格。我们的模型在两个开放的数据集上进行了评估，实验表明，我们的模型优于当代最好的音乐生成模型。更令人兴奋的是，视觉评价表明，我们的模型是优越的旋律重用，从而产生更真实的音乐。
2022-07-10 cs.LG cs.SD eess.AS
DLGNet: A Transformer-based Model for Dialogue Response Generation
Capital One Conversation Research（第一资本对话研究部）
神经对话模型尽管取得了成功，但仍然缺乏相关性，多样性，在许多情况下，它们产生的反应缺乏一致性。这些问题可以归因于包括以下的原因：（1）捕获有限的时间依赖性的短程模型架构，（2）最大似然训练目标的限制，（3）对话数据集的凹熵分布导致简短和通用的响应，以及（4）词汇表外问题导致生成大量的<UNK>令牌。另一方面，基于transformer的模型（如GPT-2）已经证明了在语言建模任务中捕获长范围结构的出色能力。在本文中，我们提出了DLGNet，一个基于transformer的对话建模模型。我们专门研究使用DLGNet的多轮对话响应生成。在我们的实验中，我们在开放域Movie Triples数据集和封闭域Ubuntu Dialogue数据集上评估DLGNet。DLGNet模型虽然只使用最大似然目标进行训练，但与最先进的多轮对话模型相比，它实现了显着的改进。基于BLEU、ROUGE和distinct n-gram等多个指标，它们在两个数据集上也产生了迄今为止最好的性能。我们的分析表明，性能改善主要是由于（1）远程Transformer架构与（2）随机信息填充的注入相结合。其他影响因素包括对话上下文和响应的联合建模，以及来自字节对编码（BPE）的100%标记化覆盖。
2019-09-04 cs.CL cs.LG stat.ML
Leveraging Pre-trained Models for Failure Analysis Triplets Generation
Mines Saint-Etienne（圣艾蒂安国立矿业学院）；Univ. Clermont Auvergne（克莱蒙奥弗涅大学）；STMicroelectronics（意法半导体）
预训练的语言模型最近在自然语言处理（NLP）领域获得了关注，用于文本摘要，生成和问答任务。这源于Transformer模型中引入的创新，以及与循环神经网络模型（长短期记忆（LSTM））相比的压倒性性能。在本文中，我们利用预先训练的因果语言模型（如Transformer模型）的注意力机制，用于生成故障分析三元组（FAT）的下游任务-用于分析半导体行业中有缺陷的组件的一系列步骤。我们比较了不同的Transformer模型，并观察到生成预训练的Transformer 2（GPT 2）优于其他Transformer模型的故障分析三元组生成（FATG）任务。特别是，我们观察到GPT 2（在1.5B参数上训练）在ROUGE上的表现大大优于预训练的BERT，BART和GPT 3。此外，我们引入Levenshstein序贯评价指标（LESE）更好地评价结构化FAT数据，并表明它与人类的判断比现有的指标相比。
2022-10-31 cs.CL cs.LG stat.AP
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University（斯坦福大学）；Stanford Medicine（斯坦福医学院）
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化，减少错误，节省时间和医疗服务。在本文中，我们证明了特定领域的预训练的重要性，并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点，我们训练了一系列经过修改的Transformers，以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括：具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构，具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构，以及网状存储器增强的Transformer，其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU（1-4）、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型，并展示与最先进模型的竞争性评分。我们提供的证据表明，ImageNet预训练不适合医学图像字幕任务，特别是对于不太常见的情况（例如：扩大的心内膜，肺部病变，气胸）。此外，我们证明了双特征模型可以提高特定医疗条件（水肿，实变，气胸，支持设备）和整体CheXbert F1评分的性能，并应在未来的工作中进一步开发。这样的双特征模型，包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
The Logical Implication Steering Method for Conditional Interventions on Transformer Generation
Damjan Kalajdzievski（独立研究者）
本文提出逻辑蕴含模型引导（LIMS）方法，利用线性表示假说，通过向激活添加概念向量实现条件干预，将神经符号逻辑融入预训练Transformer，实现透明可解释的生成行为调整。
2025-10-06 cs.LG
Stabilizing Transformer-Based Action Sequence Generation For Q-Learning
ITMO University（ITMO大学）
自最初的Transformer架构（Vaswani et al. 2017）发布以来，Transformers彻底改变了自然语言处理领域。这主要是因为它们比竞争对手基于RNN的架构更好地理解及时依赖关系的能力。令人惊讶的是，这种架构变化并没有影响强化学习（RL）领域，尽管RNN在RL中非常流行，并且时间依赖性在RL中非常常见。最近，Parisotto等人（2019）进行了RL中Transformers的第一项有希望的研究。为了支持这项工作的结果，本文试图提供一个基于transformer的强化学习方法的额外例子。具体来说，我们的目标是一个简单的基于transformer的深度Q学习方法，它在多种环境下都是稳定的。由于Transformers和RL的不稳定性，进行了广泛的方法搜索，以达到最终的方法，利用围绕Transformers以及Q学习的发展。所提出的方法可以匹配经典的Q-学习控制环境的性能，同时显示出一些选定的Atari基准的潜力。此外，它是批判性的评估，以提供更多的见解之间的关系Transformers和RL。
2020-12-18 cs.LG
Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice
Ran Li School of Information Science and Technology, Northeast Normal University, Changchun, China（Ran Li 信息科学与技术学院，东北师范大学，中国长春）
本文从理论和实践角度研究Transformer在伪随机数生成中的应用，证明解码器专用Transformer可模拟LCG和MT生成器，生成的随机数通过多数NIST测试，并评估了其抗预测攻击能力。
2025-08-02 cs.LG
CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
基于变换的文本到图像模型的发展受到其生成速度慢和高分辨率图像复杂性的阻碍。在这项工作中，我们提出了一个解决方案的基础上，分层Transformers和本地并行自回归生成。我们使用简单灵活的自监督任务跨模态通用语言模型（CogLM）预训练6 B参数Transformer，并对其进行微调以实现快速超分辨率。新的文本到图像系统CogView 2与并发的最先进的DALL-E-2相比显示出非常有竞争力的生成，并且自然地支持交互式文本引导的图像编辑。
2022-05-27 cs.CV cs.LG
Two-Stage Feature Generation with Transformer and Reinforcement Learning
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室）；Department of Computer Science, Portland State University（波特兰州立大学计算机科学系）
提出两阶段特征生成框架TSFG，结合Transformer编码器-解码器与PPO强化学习，动态生成高质量特征，显著提升机器学习模型的预测性能与适应性。
2025-05-28 cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG（拜耳股份公司）
生物医学领域的数据到文本（D2T）生成是一个很有前途的研究领域，但大多数尚未开发。在这里，我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明，微调Transformers能够产生现实的，多句文字的数据在生物医学领域，但有重要的限制。我们还发布了一个新的数据集（BioLeaflets），用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
Clinical Context-aware Radiology Report Generation from Medical Images using Transformers
School of Computer Science and Engineering（计算机科学与工程学院）；Faculty of Engineering, University of New South Wales（新南威尔士大学工程学院）；School of Computing（计算机学院）；Faculty of Science and Engineering, Macquarie University（麦考瑞大学科学与工程学院）
本研究提出基于 transformer 的架构从胸部 X 光片生成放射学报告，实验证明其优于 LSTM 且速度更快，并强调需结合语言生成与分类指标以全面评估报告的连贯性与诊断价值。
2024-08-21 cs.CL cs.LG
StrokeCoder: Path-Based Image Generation from Single Examples using Transformers
Institute for Neural Information Processing（神经信息处理研究所）；Ulm University（乌尔姆大学）
本文演示了如何使用Transformer神经网络从基于单个路径的示例图像学习生成模型。我们进一步展示了如何从示例图像生成数据集，以及如何使用该模型生成大量偏离图像，这些图像仍然代表原始图像的风格和概念。
2020-06-11 cs.LG stat.ML
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design（新加坡科技设计大学）
新颖的概念对于设计创新是必不可少的，并且可以在数据刺激和计算机的帮助下产生。然而，目前的生成式设计算法集中在图形或空间的概念，要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers（GPT）的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
Traj-Transformer: Diffusion Models with Transformer for GPS Trajectory Generation
Worcester Polytechnic Institute（沃斯特理工学院）；San Diego State University（圣地亚哥州立大学）；Guangzhou University（广州大学）；Lenovo Group Limited（联想集团有限公司）
本文提出Trajectory Transformer，利用Transformer骨干网络替代卷积架构进行GPS轨迹生成，通过两种坐标嵌入策略，显著提升生成质量并减少偏差。
2025-10-07 cs.AI cs.LG
Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer
POSTECH（浦项科技大学）；Kakao Brain
虽然自回归模型在图像生成方面取得了很好的效果，但其单向生成过程阻止了所得图像完全反映全局上下文。为了解决这个问题，我们提出了一个有效的图像生成框架的Draft-and-Revise与上下文RQ-transformer在生成过程中考虑全局上下文。RQ-VAE作为一种广义的VQ-VAE，首先将高分辨率图像表示为离散码栈序列。在序列中的代码堆栈被随机掩蔽之后，Contextual RQ-Transformer被训练为基于图像的未掩蔽上下文填充掩蔽的代码堆栈。然后，Contextual RQ-Transformer使用我们的两阶段解码，Draft-and-Revise，并生成图像，同时在生成过程中利用图像的全局上下文。具体来说。在草稿阶段，我们的模型首先专注于生成不同的图像，尽管质量相当低。然后，在修改阶段，该模型迭代地提高图像的质量，同时保持生成的图像的全局上下文。在实验中，我们的方法在条件图像生成方面取得了最先进的结果。我们还验证了草案和修订解码可以实现高性能，有效地控制图像生成的质量多样性的权衡。
2022-06-09 cs.CV cs.LG
ITGPT: A Transformer Based Architecture for the Generation of Dance Dance Revolution and In the Groove Charts
研究针对《劲舞革命》和《狂热节拍》谱面生成难题，提出基于Transformer的ITGPT架构，相比前人工作，该架构在生成准确性和计算成本上有显著提升。
2026-07-17 cs.LG cs.SD
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo（布法罗大学）；JD Finance America Corporation（京东金融美国公司）
我们研究了用于神经故事生成的大规模潜变量模型（LVMs）-开放域长文本的一个未充分开发的应用程序-目标有两个线程：生成有效性和可控性。LVMs，特别是变分自编码器（VAE），通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来，Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果，因此在生成过程中缺乏令人满意的可控性。在本文中，我们主张在Transformers时代恢复潜变量建模，本质上是表示学习的力量，以增强可控性，而不损害最先进的发电效率。具体来说，我们将潜在表示向量与基于transformer的预训练架构相结合，以构建条件变分自编码器（CVAE）。模型的组成部分，如编码器，解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力，以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
最近，已经提出了几种方法来解决语言生成问题。Transformer是目前语言生成中最先进的seq-to-seq模型。强化学习（Reinforcement Learning，RL）在解决seq-to-seq语言学习中的暴露偏差和优化不可微度量方面非常有用。然而，Transformer很难与RL结合，因为采样需要昂贵的计算资源。我们解决这个问题，提出了一个政策外的RL学习算法的行为策略表示的GRUs执行采样。针对重要性采样（IS）的高方差问题，采用截断相对重要性采样（TRIS）技术和Kullback-Leibler（KL）-控制概念. TRIS是一种简单而有效的技术，并且有理论证明KL控制有助于减少IS的方差。我们制定了这种基于自临界序列训练的非策略强化学习。具体来说，我们使用基于transformer的字幕模型作为目标策略，并使用图像引导的语言自动编码器作为行为策略来探索环境。该算法实现了最先进的性能上的视觉段落生成和改进的结果上的图像描述。
2020-06-21 cs.CV cs.LG
PCGPT: Procedural Content Generation via Transformers
Sharif University of Technology（谢里夫理工大学）
针对传统程序化内容生成方法内容重复、一致性差等问题，提出结合离线强化学习与Transformer的PCGPT框架，通过自注意力机制建模轨迹生成游戏内容，在Sokoban游戏上以更少步骤生成更复杂多样的内容，优于现有方法。
2023-10-03 cs.AI cs.LG
Transformer-Based Conditioned Variational Autoencoder for Dialogue Generation
Zhejiang University（浙江大学）
在人类对话中，一个单一的查询可能会引起许多适当的反应。基于transformer的对话模型产生语料库中频繁出现的句子，因为它是一对一的映射函数。CVAE是一种减少通用回复的技术。本文在具有CVAE结构的Transformer的基础上，提出了一种新的对话模型（CVAE-T）。我们使用预训练的MLM模型重写一些关键的n-gram以获得一系列否定示例，并在训练过程中引入正则化项，以显式地引导潜变量学习每对正例和负例之间的语义差异。实验表明，我们设计的方法是能够产生更多的信息答复。
2022-10-22 cs.CL cs.LG
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University（新加坡管理大学）
使用大量数据进行预训练，自回归语言模型能够生成高质量的序列。然而，这些模型在严格的词汇约束下表现不佳，因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制，并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而，这些Transformers可能无法支持硬词汇约束，因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题，并提出了一种新的插入式Transformer，解决了上述缺陷，而不影响发电效率的安全约束插入式Transformer（ENCONTER）。我们引入了一种新的训练策略，该策略考虑了预定义的硬词汇约束（例如，要包括在生成的序列中的实体）。我们的实验表明，ENCONTER优于其他基准模型在几个性能指标，使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
Linearizing Transformer with Key-Value Memory
Meta AI；The Chinese University of Hong Kong（香港中文大学）
已经开发了具有线性时间复杂度的高效Transformer变体，以减轻普通Transformer的二次计算开销。其中有低秩投影方法，如Linformer和基于内核的Transformers。尽管它们具有独特的优点，但在许多序列生成任务上，它们通常遭受与vanilla Transformer相比的性能下降，并且在生成时间较短时通常无法获得计算增益。我们提出了MemSizer，一种缩小性能差距的方法，同时提高效率，即使是短世代。它将源序列投影到像Linformer这样的低维表示中，同时享受类似于基于内核的Transformers的高效递归式增量计算。这在推理时产生线性计算时间和恒定的内存复杂度。MemSizer还采用了轻量级的多头机制，使计算与单头模型一样轻。我们证明，MemSizer提供了一个改进的平衡效率和准确性的香草Transformer和其他有效的Transformer变种在三个典型的序列生成任务，包括机器翻译，抽象的文本摘要，语言建模。
2022-10-13 cs.CL cs.LG
JTreeformer: Graph-Transformer via Latent-Diffusion Model for Molecular Generation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）
本文提出JTreeformer分子生成框架，通过将图生成转化为结点树生成，结合GCN与多头注意力编码器及有向无环GCN解码器，并在潜在空间引入扩散模型，有效利用图拓扑结构提升了分子生成性能。
2025-04-29 cs.AI cs.LG
Conditional Set Generation with Transformers
Deepmind
集合是唯一元素的无序集合--然而许多生成集合的机器学习模型强加了隐式或显式的排序。由于模型性能可能取决于顺序的选择，任何特定的顺序都可能导致次优结果。另一种解决方案是使用置换等变集生成器，它不指定排序。这种生成器的一个例子是DeepSet预测网络（DSPN）。我们介绍了Transformer集预测网络（TSPN），一个灵活的置换等变模型的基础上的Transformer，建立在预测集元素的质量和预测的大小的准确性优于DSPN的集预测。我们测试我们的模型MNIST作为点云（SET-MNIST）的点云生成和CLEVR的目标检测。
2020-07-01 cs.CV cs.LG
Tractable Transformers for Flexible Conditional Generation
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学校）
本文提出Tracformer，一种结合稀疏编码器捕获局部与全局上下文的Transformer生成模型，以解决非自回归模型在条件生成中泛化不足的问题，并在文本建模上达到最先进性能。
2025-07-07 cs.CL cs.LG
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business（雅典经济与商业大学）
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中，我们提出了一种使用Transformers（特别是自回归语言模型）从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集，我们尝试训练模型来识别烹饪技术，提出新的食谱，并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
CogView: Mastering Text-to-Image Generation via Transformers
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；BAAI（北京智源人工智能研究院）
通用领域的文本到图像生成长期以来一直是一个悬而未决的问题，它需要强大的生成模型和跨模态理解。我们提出了CogView，一个40亿参数的Transformer与VQ-VAE标记器来推进这个问题。我们还展示了各种下游任务的微调策略，例如风格学习，超分辨率，文本图像排名和时尚设计，以及稳定预训练的方法，例如消除NaN损失。CogView在模糊的MS COCO数据集上实现了最先进的FID，优于以前的基于GAN的模型和最近的类似工作DALL-E。
2021-11-05 cs.CV cs.LG
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley（加州大学伯克利分校）；Panasonic（松下）
在这项工作中，我们提出了基于补丁的以对象为中心的视频Transformer（POVT），一种新的基于区域的视频生成架构，利用以对象为中心的信息，有效地模拟视频中的时间动态。我们建立在以前的工作，通过自回归Transformer在压缩视频的离散潜在空间的视频预测，与添加修改模型对象为中心的信息，通过边界框。由于以对象为中心的表示具有更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时，我们的方法与其他视频生成模型相比具有更好或相同的性能，同时保持计算上更高效和可扩展性。此外，我们表明，我们的方法是能够执行以对象为中心的可控性，通过限界框操纵，这可能有助于下游任务，如视频编辑，或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
DP-TBART: A Transformer-based Autoregressive Model for Differentially Private Tabular Data Generation
Stanford University（斯坦福大学）；Bloomberg（彭博社）
针对差分隐私表格数据生成中深度学习方法表现落后于边际方法的问题，提出基于Transformer的DP-TBART自回归模型，性能可比肩甚至超越最优边际方法，并提供理论框架分析两类方法的适用场景。
2023-07-19 cs.CR cs.LG
Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation
Faculty of Sciences, University of Porto（科学学院，波尔图大学）；Faculty of Engineering, University of Porto（工程学院，波尔图大学）
本文研究了在变分自编码器中部署变换器以生成表格数据的影响，发现变换器的位置会影响保真度与多样性的平衡，并在解码器中观察到线性关系。
2026-01-28 cs.AI cs.LG
N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation
ETH Zurich（苏黎世联邦理工学院）
N-vium通过在标准硬件上部分并行化计算，提高自回归Transformer的推理效率，通过增加每秒有效FLOPs而非减少每token计算量，实现精确生成。
2026-05-13 cs.AI cs.LG
VideoGPT: Video Generation using VQ-VAE and Transformers
University of California, Berkeley（加州大学伯克利分校）
我们提出VideoGPT：一个概念上简单的架构，用于将基于可能性的生成建模扩展到自然视频。VideoGPT使用VQ-VAE，通过采用3D卷积和轴向自我注意来学习原始视频的下采样离散潜在表示。一个简单的GPT类架构，然后使用时空位置编码的离散潜伏期的自回归模型。尽管公式简单且易于训练，但我们的架构能够生成与最先进的GAN模型竞争的样本，用于在BAIR Robot数据集上生成视频，并从UCF-101和Tumbler GIF数据集（TGIF）生成高保真自然视频。我们希望我们提出的架构作为一个可重复的参考，最低限度的实施Transformer为基础的视频生成模型。示例和代码可在https://wilson1yan.github.io/videogpt/index.html上获得
2021-09-14 cs.CV cs.LG
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
我们提出了插入Transformer，一个迭代的，部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的，往往是从左到右的输出排序，我们的方法通过允许令牌在解码过程中插入序列中的任何地方，以适应任意的排序。这种灵活性带来了许多优点：例如，我们的模型不仅可以被训练为遵循特定的顺序，例如从左到右生成或二叉树遍历，而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外，我们的模型无缝地适应完全自回归生成（一次插入一个）和部分自回归生成（在多个位置同时插入）。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现，插入Transformer优于许多以前的非自回归方法，翻译在可比或更好的水平的并行性，并成功地恢复了原来的Transformer的性能，同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
Graph Diffusion Transformers for Multi-Conditional Molecular Generation
University of Notre Dame（圣母大学）
本文提出Graph DiT，通过编码器学习多属性表示并结合图依赖噪声模型与Transformer去噪器，实现多条件分子生成，在九项指标上表现优越并验证了气体分离聚合物设计的实用性。
2024-10-03 cs.LG q-bio.BM
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University（亚琛工业大学）
自回归模型在NLP文本生成任务中已经被证明是非常强大的，最近也在图像生成中得到了普及。然而，到目前为止，它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据，以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中，我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示，可以通过遍历排序来顺序化。此外，我们引入了一个自适应压缩方案，显着减少序列长度，从而使他们的有效生成与Transformer，同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能，通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
Non-autoregressive Transformer by Position Learning
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而，位置建模是非自回归文本生成中的一个基本问题。在这项研究中，我们提出PNAT，它将位置作为一个潜在的变量到文本生成过程。实验结果表明，PNAT在机器翻译和释义生成任务上取得了最好的结果，优于几个强基线。
2019-11-25 cs.CL cs.LG
Diffusion Transformers for Tabular Data Time Series Generation
Prometeia Associazione（普罗米修斯协会）；University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Prometeia SpA（普罗米修斯股份公司）
针对表格数据时间序列生成这一未充分探索的领域，本文提出基于扩散Transformer（DiTs）的方法，扩展该框架以处理表格数据异构性和序列可变长度问题，在六个数据集上的实验表明其大幅优于现有方法。
2025-04-18 cs.AI cs.LG
Transformers Simulate MLE for Sequence Generation in Bayesian Networks
The University of Hong Kong（香港大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
本文证明Transformer可通过上下文极大似然估计在贝叶斯网络中自回归生成序列，并通过实验验证其可训练获得，凸显其学习复杂概率模型的潜力。
2025-07-08 cs.LG stat.ML
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley（加州大学伯克利分校信息学院）
针对传统非自回归Transformer（NAT）捕捉全局依赖的挑战，提出FourierNAT架构，通过解码器中的傅里叶混合与频域门控实现并行生成，在机器翻译和摘要任务上取得竞争性结果且速度更快，还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出一种简单轻量的生成式Transformer，在离散VQ-GAN空间中通过掩码去噪训练，实现图像到音频生成，并可直接扩展至音频到图像及联合生成，性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
Question Generation by Transformers
U.S. Bank（美国合众银行）
开发了一个机器学习模型，使用Transformers从维基百科的段落中自动生成问题，这是一种基于注意力的模型，避开了现有的递归神经网络（RNN）的范式。该模型是在反向斯坦福问答数据集（SQuAD）上训练的，该数据集是一个阅读理解数据集，由众包工作者对一组维基百科文章提出的10万多个问题组成。经过训练后，问题生成模型能够生成与未见过的段落相关的简单问题，以及每个问题平均包含8个单词的答案。单词出错率（WER）被用作比较SQuAD问题和模型生成的问题之间的相似性的度量。虽然高平均WER表明生成的问题与原始SQuAD问题不同，但生成的问题大多语法正确，并且本身似乎合理。
2019-09-14 cs.AI cs.CL cs.LG
Track Mix Generation on Music Streaming Services using Transformers
Deezer（Deezer（迪泽））
本文介绍了Deezer的Track Mix系统，该系统利用在数百万用户播放列表序列上训练的Transformer模型自动生成个性化混搭播放列表，并分析了相比协同过滤方法的优劣，已服务于每日数百万用户。
2023-07-06 cs.IR cs.LG cs.SD
Levenshtein Transformer
Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）；Tigerobo Inc.（虎博科技）
现代神经序列生成模型被构建为从零开始逐步生成令牌，或者（迭代地）修改由固定长度限定的令牌序列。在这项工作中，我们开发Levenshtein Transformer，一个新的部分自回归模型，设计更灵活，更适合序列生成。与以前的方法不同，我们模型的原子操作是插入和删除。它们的组合不仅有利于生成，而且有利于允许动态长度变化的序列细化。我们还提出了一套专门针对它们的新训练技术，由于它们的互补性，有效地利用一个作为另一个的学习信号。应用该模型的实验实现了相当的性能，但大大提高了效率的生成（例如机器翻译，文本摘要）和细化任务（例如自动后期编辑）。我们通过展示由机器翻译训练的Levenshtein Transformer可以直接用于自动后期编辑来进一步确认我们模型的灵活性。
2019-10-28 cs.CL cs.LG
Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring
Department of Computer Science, University of Milan（米兰大学计算机科学系）
提出图锚定交叉注意力Transformer（GGATN），通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑，结合维特比式图约束解码，一次性生成完整事件序列，在六个基准日志上优于LLM基线。
2026-06-18 cs.AI cs.LG
DiTSG: Context-Aware Air Traffic Scene Generation with Multi-Agent Diffusion Transformers
George Washington University（乔治华盛顿大学）；Korea Aerospace University（韩国航空航天大学）
针对现有空中交通模拟器难以捕捉管制员干预模式的问题，提出DiTSG模型，其采用多智能体逆Transformer层作为去噪骨干，可生成保留真实机间交互且符合统计特性的多样化空中交通场景。
2026-10-30 cs.LG cs.MA cs.RO
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说，根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来，扩散模型已在多个领域显示出高质量的生成性能。然而，目前还不清楚如何将扩散模型应用于由离散（类）和连续（位置，大小）属性的混合组成的布局的自然表示。为了解决条件布局生成问题，我们引入DLT，一个联合离散-连续扩散模型。DLT是一种基于transformer的模型，它具有灵活的调节机制，允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外，我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
Conformation Generation using Transformer Flows
Intel Labs（英特尔实验室）
针对现有深度网络难以扩展到大分子构象生成的问题，提出基于 transformer 的流模型 ConfFlow，直接在坐标空间采样且无需显式物理约束，准确率最高提升40%。
2025-02-16 cs.LG q-bio.QM stat.ML
