Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University（中东技术大学）；Marmara University（马尔马拉大学）；Koç University（科奇大学）
近年来，注意力机制的激增和自然语言生成（NLG）中Transformers的兴起。以前，最先进的NLG架构（如RNN和LSTM）遇到了消失梯度问题;随着句子变大，位置之间的距离保持线性，顺序计算阻碍了并行化，因为句子是逐词处理的。Transformers开创了一个新时代。在本文中，我们探讨了三个主要的基于transformer的模型，即GPT，BERT和XLNet，进行重大影响的领域。NLG是一个新兴的领域，现在得到了注意力机制快速发展的支持。从诗歌生成到摘要，文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG（拜耳股份公司）
生物医学领域的数据到文本（D2T）生成是一个很有前途的研究领域，但大多数尚未开发。在这里，我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明，微调Transformers能够产生现实的，多句文字的数据在生物医学领域，但有重要的限制。我们还发布了一个新的数据集（BioLeaflets），用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures
Independent Researcher（独立研究者）
HDPL通过混合双路径线性变换提升Transformer架构效率与表示能力，减少参数量并优化上下文整合。
2026-02-05 cs.LG
The Logical Implication Steering Method for Conditional Interventions on Transformer Generation
Damjan Kalajdzievski（独立研究者）
本文提出逻辑蕴含模型引导（LIMS）方法，利用线性表示假说，通过向激活添加概念向量实现条件干预，将神经符号逻辑融入预训练Transformer，实现透明可解释的生成行为调整。
2025-10-06 cs.LG
Clinical Context-aware Radiology Report Generation from Medical Images using Transformers
School of Computer Science and Engineering（计算机科学与工程学院）；Faculty of Engineering, University of New South Wales（新南威尔士大学工程学院）；School of Computing（计算机学院）；Faculty of Science and Engineering, Macquarie University（麦考瑞大学科学与工程学院）
本研究提出基于 transformer 的架构从胸部 X 光片生成放射学报告，实验证明其优于 LSTM 且速度更快，并强调需结合语言生成与分类指标以全面评估报告的连贯性与诊断价值。
2024-08-21 cs.CL cs.LG
Simple Path Structural Encoding for Graph Transformers
University of Trento（特伦托大学）
针对图Transformer中随机游走结构编码（RWSE）难以区分不同局部图模式的局限，本文提出简单路径结构编码（SPSE），利用简单路径计数进行边编码并设计高效近似算法，在多个基准上显著提升了图结构表示能力与判别性能。
2025-05-30 cs.AI cs.LG
Stabilizing Transformer-Based Action Sequence Generation For Q-Learning
ITMO University（ITMO大学）
自最初的Transformer架构（Vaswani et al. 2017）发布以来，Transformers彻底改变了自然语言处理领域。这主要是因为它们比竞争对手基于RNN的架构更好地理解及时依赖关系的能力。令人惊讶的是，这种架构变化并没有影响强化学习（RL）领域，尽管RNN在RL中非常流行，并且时间依赖性在RL中非常常见。最近，Parisotto等人（2019）进行了RL中Transformers的第一项有希望的研究。为了支持这项工作的结果，本文试图提供一个基于transformer的强化学习方法的额外例子。具体来说，我们的目标是一个简单的基于transformer的深度Q学习方法，它在多种环境下都是稳定的。由于Transformers和RL的不稳定性，进行了广泛的方法搜索，以达到最终的方法，利用围绕Transformers以及Q学习的发展。所提出的方法可以匹配经典的Q-学习控制环境的性能，同时显示出一些选定的Atari基准的潜力。此外，它是批判性的评估，以提供更多的见解之间的关系Transformers和RL。
2020-12-18 cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design（新加坡科技设计大学）
新颖的概念对于设计创新是必不可少的，并且可以在数据刺激和计算机的帮助下产生。然而，目前的生成式设计算法集中在图形或空间的概念，要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers（GPT）的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
提出信息通路假说与随机子采样自注意力 SSA，通过可预测的稀疏通路训练 transformer，降低 4–8 倍自注意力成本并提升泛化。
2023-06-02 cs.AI cs.LG
Entity Alignment with Reliable Path Reasoning and Relation-Aware Heterogeneous Graph Transformer
South China Normal University（华南师范大学）；Hanshan Normal University（韩山师范学院）
实体对齐是从不同的知识图谱中寻找具有相同意义的实体的一种方法，已引起学术界和工业界的广泛关注。知识库中实体之间存在大量的多步关系路径，反映了实体之间的语义关系。然而，现有的方法很少考虑路径信息，因为不是所有的自然路径有利于EA判断。在本文中，我们提出了一个更有效的实体对齐框架，RPR-RHGT，它集成了关系和路径结构信息，以及在知识库中的异构信息。令人印象深刻的是，一个初始的可靠路径推理算法的发展，产生的路径有利于EA任务的关系结构的KG，这是第一个算法在文献中成功地使用不受限制的路径信息。此外，为了有效地捕捉实体邻域中的异构特征，设计了一个关系感知的异构图转换器Transformer来建模KG的关系和路径结构。在三个知名数据集上的大量实验表明，RPR-RHGT显著优于11种最先进的方法，在Hits@1上超过最佳性能基线高达8.62%。我们还展示了它在不同比例的训练集和更硬的数据集上比基线更好的性能。
2022-08-07 cs.AI cs.CL cs.LG
MUSE: Flexible Voiceprint Receptive Fields and Multi-Path Fusion Enhanced Taylor Transformer for U-Net-based Speech Enhancement
School of Electronic Information, Sichuan University（四川大学电子信息学院）；School of Software, Yunnan University（云南大学软件学院）
针对语音增强中轻量化与高性能难平衡的问题，提出基于U-net的MUSE网络，通过带可变形嵌入的MET Transformer模块融合通道空间注意力分支，在VoiceBank+DEMAND数据集上以0.51M参数量实现有竞争力的性能并降低成本。
2024-06-19 cs.IR cs.IT cs.LG
Traj-Transformer: Diffusion Models with Transformer for GPS Trajectory Generation
Worcester Polytechnic Institute（沃斯特理工学院）；San Diego State University（圣地亚哥州立大学）；Guangzhou University（广州大学）；Lenovo Group Limited（联想集团有限公司）
本文提出Trajectory Transformer，利用Transformer骨干网络替代卷积架构进行GPS轨迹生成，通过两种坐标嵌入策略，显著提升生成质量并减少偏差。
2025-10-07 cs.AI cs.LG
Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback
University of Glasgow（格拉斯哥大学）
能够自动生成代码生成的工具有可能增强程序员的能力。虽然直接的代码检索被集成到许多IDE中，但一个新兴的领域是显式代码生成。代码生成目前被视为机器翻译任务，其中基于递归神经网络（RNN）的编码器-解码器架构在代码描述对上进行训练。在这项工作中，我们介绍和研究现代Transformer架构，这项任务。我们进一步提出了一个新的模型，称为相关性Transformer，采用伪相关反馈的外部知识。相关性Transformer使解码过程偏向于与现有检索代码相似，同时实施多样性。我们在用于代码生成的多个标准基准数据集上进行实验，包括Django，Hearthstone和CoNaLa。结果表明，基于BLEU评估的最先进的方法的改进。相关性Transformer模型显示了基于Transformer的架构在代码生成方面的潜力，并引入了一种在推理过程中结合伪相关反馈的方法。
2020-12-08 cs.CL cs.LG
Multi-Aspect Explainable Inductive Relation Prediction by Sentence Transformer
Nanyang Technological University (NTU)（南洋理工大学）；Shandong University (SDU)（山东大学）
该研究针对知识图谱归纳关系预测问题，提出路径筛选指标和KRST模型，实现多方面可解释预测，在多个基准测试中性能优于现有最优模型。
2023-05-01 cs.CL cs.LG
Folded Context Condensation in Path Integral Formalism for Infinite Context Transformers
Hyntel, Inc.（Hyntel公司）
本文在路径积分形式体系下重新解释Transformer核心机制，将注意力机制转化为转移路径积分并压缩上下文为记忆片段循环处理，实现线性内存扩展和长期信息保留。
2025-05-01 cs.AI cs.CL cs.LG
On the Runway Cascade of Transformers for Language Modeling
Department of Computer Science, Southern Methodist University, Dallas TX USA（计算机科学系，南方 Methodist 大学，德克萨斯州达拉斯）
本文提出运行道意识重 wiring方法，通过直接融入运行道上下文改善Transformer的语言建模能力，提升信息检索与外推性能。
2026-11-04 cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo（布法罗大学）；JD Finance America Corporation（京东金融美国公司）
我们研究了用于神经故事生成的大规模潜变量模型（LVMs）-开放域长文本的一个未充分开发的应用程序-目标有两个线程：生成有效性和可控性。LVMs，特别是变分自编码器（VAE），通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来，Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果，因此在生成过程中缺乏令人满意的可控性。在本文中，我们主张在Transformers时代恢复潜变量建模，本质上是表示学习的力量，以增强可控性，而不损害最先进的发电效率。具体来说，我们将潜在表示向量与基于transformer的预训练架构相结合，以构建条件变分自编码器（CVAE）。模型的组成部分，如编码器，解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力，以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Draft-and-Revise: Effective Image Generation with Contextual RQ-Transformer
POSTECH（浦项科技大学）；Kakao Brain
虽然自回归模型在图像生成方面取得了很好的效果，但其单向生成过程阻止了所得图像完全反映全局上下文。为了解决这个问题，我们提出了一个有效的图像生成框架的Draft-and-Revise与上下文RQ-transformer在生成过程中考虑全局上下文。RQ-VAE作为一种广义的VQ-VAE，首先将高分辨率图像表示为离散码栈序列。在序列中的代码堆栈被随机掩蔽之后，Contextual RQ-Transformer被训练为基于图像的未掩蔽上下文填充掩蔽的代码堆栈。然后，Contextual RQ-Transformer使用我们的两阶段解码，Draft-and-Revise，并生成图像，同时在生成过程中利用图像的全局上下文。具体来说。在草稿阶段，我们的模型首先专注于生成不同的图像，尽管质量相当低。然后，在修改阶段，该模型迭代地提高图像的质量，同时保持生成的图像的全局上下文。在实验中，我们的方法在条件图像生成方面取得了最先进的结果。我们还验证了草案和修订解码可以实现高性能，有效地控制图像生成的质量多样性的权衡。
2022-06-09 cs.CV cs.LG
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG（罗氏制药）；Genentech, Inc.（基因泰克公司）
最近，Vision Transformers被证明在足够的数据量上进行预训练时，能够超越卷积神经网络。与卷积神经网络相比，Vision Transformers具有较弱的感应偏差，因此允许更灵活的特征检测。由于其有前途的特征检测，这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像，并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性，我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明，对于肿瘤检测的四种组织类型中的三种，Vision Transformer的表现略好于ResNet 18，而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的，这表明两个模型捕获了相似的成像特征。总之，Vision Transformer模型的性能与ResNet 18相当，但需要更多的努力来进行训练。为了超越卷积神经网络的性能，Vision Transformers可能需要更具有挑战性的任务，才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
Meta-information-aware Dual-path Transformer for Differential Diagnosis of Multi-type Pancreatic Lesions in Multi-phase CT
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Yale University（耶鲁大学）
胰腺癌是癌症相关死亡的主要原因之一。准确检测、分割和鉴别诊断胰腺病变的完整分类，即，正常、七种主要类型的病变以及其他病变，对于帮助患者管理和治疗的临床决策至关重要。然而，现有的工作集中在非常特定的病变类型（PDAC）或组的分割和分类。此外，没有以前的工作考虑使用病变患病率相关的非成像患者信息，以协助鉴别诊断。为此，我们开发了一种元信息感知的双路径Transformer，并利用胰腺病变完整分类的分类和分割的可行性。具体而言，所提出的方法由基于CNN的分割路径（S路径）和基于变换器的分类路径（C路径）组成。S-路径的重点是使用基于UNet的网络通过语义分割进行初始特征提取。C路径利用提取的特征和元信息进行患者级分类，基于双路径Transformer块的堆栈，其增强了全局上下文信息的建模。收集了3，096例患者的大规模多期CT数据集，这些患者具有病理学证实的胰腺病变类别标签、放射科医生对病变的体素手动注释和患者元信息，用于训练和评价。我们的研究结果表明，我们的方法可以实现胰腺病变的完整分类的准确分类和分割，接近放射科医生报告的准确性，并显着优于以前的基线。结果还表明，添加公共元信息，即，性别和年龄，可以提高模型的性能，从而证明元信息对帮助胰腺疾病诊断的重要性。
2023-03-02 cs.CV cs.LG eess.IV
ITGPT: A Transformer Based Architecture for the Generation of Dance Dance Revolution and In the Groove Charts
研究针对《劲舞革命》和《狂热节拍》谱面生成难题，提出基于Transformer的ITGPT架构，相比前人工作，该架构在生成准确性和计算成本上有显著提升。
2026-07-17 cs.LG cs.SD
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University（新加坡管理大学）
使用大量数据进行预训练，自回归语言模型能够生成高质量的序列。然而，这些模型在严格的词汇约束下表现不佳，因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制，并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而，这些Transformers可能无法支持硬词汇约束，因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题，并提出了一种新的插入式Transformer，解决了上述缺陷，而不影响发电效率的安全约束插入式Transformer（ENCONTER）。我们引入了一种新的训练策略，该策略考虑了预定义的硬词汇约束（例如，要包括在生成的序列中的实体）。我们的实验表明，ENCONTER优于其他基准模型在几个性能指标，使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
Discovering Influential Neuron Path in Vision Transformers
ShanghaiTech University（上海科技大学）；Tencent PCG（腾讯平台与内容事业群）
本文提出联合影响力度量和逐层递进定位方法，用于发现视觉Transformer中从输入到输出最关键的神经元路径，并通过实验验证其在解释模型内部机制和下游任务能力保持上的优势。
2025-04-09 cs.AI cs.CV cs.LG
Graph Transformer-Based Pathway Embedding for Cancer Prognosis
Iowa State University（爱荷华州立大学）；Stanford University（斯坦福大学）
本文提出PATH方法，通过基因共享基础嵌入与患者特定信号动态适应，提升癌症预后预测的准确性与生物学意义。
2026-04-17 cs.AI cs.LG
Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice
Ran Li School of Information Science and Technology, Northeast Normal University, Changchun, China（Ran Li 信息科学与技术学院，东北师范大学，中国长春）
本文从理论和实践角度研究Transformer在伪随机数生成中的应用，证明解码器专用Transformer可模拟LCG和MT生成器，生成的随机数通过多数NIST测试，并评估了其抗预测攻击能力。
2025-08-02 cs.LG
Enhancing Tropical Cyclone Path Forecasting with an Improved Transformer Network
Faculty of Electronics and Telecommunications University of Engineering and Technology, VNU Hanoi, Vietnam（电子电信学院 工程技术大学 巴黎越南河内分校）；Faculty of Information Technology University of Engineering and Technology, VNU Hanoi, Vietnam（信息技术学院 工程技术大学 巴黎越南河内分校）
本研究提出一种基于改进Transformer网络的深度学习方法，用于预测未来6小时风暴移动轨迹，实验证明其比传统方法更准确、快速且具成本效益。
2025-05-01 cs.LG cs.PF
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited（香港应用科技研究院有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
基于Transformer的神经网络由于其固有的基于结构的优势，在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构，但很少关注位置编码模块。在本文中，我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外，我们提出了一种增强的Transformer架构，该架构编码有额外的语言知识，例如词性（POS）标记，以提高某些自然语言生成任务的性能，例如，自动翻译和摘要任务。实验表明，该架构达到不断优于香草相比，Transformer的结果。
2019-10-30 cs.CL cs.LG
Dissecting the Interplay of Attention Paths in a Statistical Mechanics Theory of Transformers
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Graduate Center, City University of New York（纽约城市大学研究生中心）；Joseph Henry Laboratories of Physics, Princeton University（普林斯顿大学约瑟夫·亨利物理实验室）
该研究构建了深度多头自注意力网络贝叶斯学习的统计力学理论，揭示注意力路径相互作用提升泛化的机制，经实验验证并可用于梯度下降模型的网络剪枝。
2024-12-08 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University（复旦大学数据科学学院）
提出基于微分包含的SPP剪枝方法，在单次剪枝阶段内实现任意比例的Transformer剪枝，通过低秩压缩配对模块，兼顾性能与灵活性。
2025-02-28 cs.LG
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business（雅典经济与商业大学）
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中，我们提出了一种使用Transformers（特别是自回归语言模型）从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集，我们尝试训练模型来识别烹饪技术，提出新的食谱，并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
TraveL: Transformer-based Multi-view Path Distributional Representation Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
本研究针对现有路径表示学习未考虑出行者行为与区域相关性的问题，提出TraveL框架，结合区域注意力与K-S检验，在多数据集上的出行时间分布估计等任务中优于现有最优方法。
2026-09-04 cs.AI cs.LG
Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
最近，已经提出了几种方法来解决语言生成问题。Transformer是目前语言生成中最先进的seq-to-seq模型。强化学习（Reinforcement Learning，RL）在解决seq-to-seq语言学习中的暴露偏差和优化不可微度量方面非常有用。然而，Transformer很难与RL结合，因为采样需要昂贵的计算资源。我们解决这个问题，提出了一个政策外的RL学习算法的行为策略表示的GRUs执行采样。针对重要性采样（IS）的高方差问题，采用截断相对重要性采样（TRIS）技术和Kullback-Leibler（KL）-控制概念. TRIS是一种简单而有效的技术，并且有理论证明KL控制有助于减少IS的方差。我们制定了这种基于自临界序列训练的非策略强化学习。具体来说，我们使用基于transformer的字幕模型作为目标策略，并使用图像引导的语言自动编码器作为行为策略来探索环境。该算法实现了最先进的性能上的视觉段落生成和改进的结果上的图像描述。
2020-06-21 cs.CV cs.LG
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
Korea University（高丽大学）
图神经网络（GNN）由于其对图结构数据的强大表示能力，已被广泛应用于各个领域。尽管GNN取得了成功，但大多数现有的GNN都被设计为学习固定和同构图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时，这些限制尤其成问题。为了解决这一限制，我们提出了能够生成新的图结构的图Transformer网络（GTN），其排除了噪声连接并包括有用的连接（例如，元路径），同时以端到端的方式学习新图形上的有效节点表示。我们进一步提出了GTN的增强版本，快速图Transformer网络（FastGTN），提高了图变换的可扩展性。与GTN相比，FastGTN的速度快230倍，使用的内存少100倍，同时允许与GTN相同的图形转换。此外，我们扩展图变换的语义接近的节点，允许非本地操作超越元路径。在同构图和异构图上的大量实验表明，具有非局部操作的GTN和FastGTN实现了节点分类任务的最新性能。代码可在以下网址获得：https://github.com/seongjunyun/Graph_Transformer_Networks
2021-06-11 cs.AI cs.LG cs.SI
PCGPT: Procedural Content Generation via Transformers
Sharif University of Technology（谢里夫理工大学）
针对传统程序化内容生成方法内容重复、一致性差等问题，提出结合离线强化学习与Transformer的PCGPT框架，通过自注意力机制建模轨迹生成游戏内容，在Sokoban游戏上以更少步骤生成更复杂多样的内容，优于现有方法。
2023-10-03 cs.AI cs.LG
Transformer-Based Conditioned Variational Autoencoder for Dialogue Generation
Zhejiang University（浙江大学）
在人类对话中，一个单一的查询可能会引起许多适当的反应。基于transformer的对话模型产生语料库中频繁出现的句子，因为它是一对一的映射函数。CVAE是一种减少通用回复的技术。本文在具有CVAE结构的Transformer的基础上，提出了一种新的对话模型（CVAE-T）。我们使用预训练的MLM模型重写一些关键的n-gram以获得一系列否定示例，并在训练过程中引入正则化项，以显式地引导潜变量学习每对正例和负例之间的语义差异。实验表明，我们设计的方法是能够产生更多的信息答复。
2022-10-22 cs.CL cs.LG
Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；The Ohio State University（俄亥俄州立大学）；Yale University（耶鲁大学）
多头变压器通过梯度下降机制学习符号多步推理，证明其能有效解决复杂任务。
2025-12-07 cs.AI cs.IT cs.LG
Stronger Transformers for Neural Multi-Hop Question Generation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）
以前的工作自动化问题生成几乎完全集中在生成简单的问题，其答案可以从一个单一的文档中提取。然而，人们越来越感兴趣的是开发系统，能够更复杂的多跳问题的生成，其中回答的问题需要推理多个文件。在这项工作中，我们介绍了一系列强Transformer模型的多跳问题生成，包括图形增强的Transformer，利用文本中的实体之间的关系。虽然以前的工作强调了基于图形的模型的重要性，我们表明，我们可以大大超过5个BLEU点使用标准的Transformer架构的最先进的。我们进一步证明，基于图的增强可以在此基础上提供免费的改进。有趣的是，我们发现几个重要的因素-例如包含辅助对比目标和数据过滤可能会对性能产生更大的影响。我们希望，我们更强有力的基线和分析为这一领域今后的工作提供建设性的基础。
2020-10-22 cs.CL cs.LG
Linearizing Transformer with Key-Value Memory
Meta AI；The Chinese University of Hong Kong（香港中文大学）
已经开发了具有线性时间复杂度的高效Transformer变体，以减轻普通Transformer的二次计算开销。其中有低秩投影方法，如Linformer和基于内核的Transformers。尽管它们具有独特的优点，但在许多序列生成任务上，它们通常遭受与vanilla Transformer相比的性能下降，并且在生成时间较短时通常无法获得计算增益。我们提出了MemSizer，一种缩小性能差距的方法，同时提高效率，即使是短世代。它将源序列投影到像Linformer这样的低维表示中，同时享受类似于基于内核的Transformers的高效递归式增量计算。这在推理时产生线性计算时间和恒定的内存复杂度。MemSizer还采用了轻量级的多头机制，使计算与单头模型一样轻。我们证明，MemSizer提供了一个改进的平衡效率和准确性的香草Transformer和其他有效的Transformer变种在三个典型的序列生成任务，包括机器翻译，抽象的文本摘要，语言建模。
2022-10-13 cs.CL cs.LG
MMM : Exploring Conditional Multi-Track Music Generation with the Transformer
Simon Fraser University（西蒙弗雷泽大学）
我们提出了多轨音乐机（MMM），生成系统的基础上的Transformer架构，能够生成多轨音乐。与以前的工作，它表示音乐材料作为一个单一的时间顺序序列，其中对应于不同的轨道的音乐事件是交错的，我们创建一个时间顺序序列的音乐事件为每个轨道，并连接到一个单一的序列的几个轨道。这利用了Transformer的注意力机制，它可以熟练地处理长期依赖关系。我们探讨了各种表示如何在生成时为用户提供高度的控制，提供了一个交互式演示，可容纳轨道级和酒吧级修复，并提供对轨道仪器和注意密度的控制。
2020-08-20 cs.LG cs.MM cs.SD
JTreeformer: Graph-Transformer via Latent-Diffusion Model for Molecular Generation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）
本文提出JTreeformer分子生成框架，通过将图生成转化为结点树生成，结合GCN与多头注意力编码器及有向无环GCN解码器，并在潜在空间引入扩散模型，有效利用图拓扑结构提升了分子生成性能。
2025-04-29 cs.AI cs.LG
Conditional Set Generation with Transformers
Deepmind
集合是唯一元素的无序集合--然而许多生成集合的机器学习模型强加了隐式或显式的排序。由于模型性能可能取决于顺序的选择，任何特定的顺序都可能导致次优结果。另一种解决方案是使用置换等变集生成器，它不指定排序。这种生成器的一个例子是DeepSet预测网络（DSPN）。我们介绍了Transformer集预测网络（TSPN），一个灵活的置换等变模型的基础上的Transformer，建立在预测集元素的质量和预测的大小的准确性优于DSPN的集预测。我们测试我们的模型MNIST作为点云（SET-MNIST）的点云生成和CLEVR的目标检测。
2020-07-01 cs.CV cs.LG
Spatio-Temporal Hybrid Fusion of CAE and SWIn Transformers for Lung Cancer Malignancy Prediction
Concordia University（康考迪亚大学）；Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究所）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；University of Toronto（多伦多大学）
本文提出了一种新的混合发现放射组学框架，该框架同时整合了从非薄胸部计算机断层扫描（CT）切片中提取的时间和空间特征，以最小的专家参与来预测肺腺癌（LUAC）的恶性程度。肺癌是全世界癌症死亡的主要原因，并且具有多种组织学类型，其中LUAC最近是最普遍的。LUAC被分类为浸润前、微创和浸润性腺癌。及时准确地了解肺结节的恶性程度，可以制定适当的治疗计划，降低不必要或晚期手术的风险。目前，胸部CT扫描是评估和预测LUAC侵袭性的主要影像学方式。然而，放射科医师基于CT图像的分析是主观的，并且与手术切除后提供的真实病理检查相比准确性低。被称为CAET-SWin的所提出的混合框架由两个并行路径组成：（i）卷积自动编码器（CAE）Transformer路径，其经由修改的Transformer架构来提取和捕获与切片间关系相关的信息特征，以及;（ii）移位窗口（SWin）Transformer路径，其是从体积CT扫描中提取结节的相关空间特征的分层Vision Transformer。提取的时间（从CAET路径）和空间（从Swin路径），然后通过融合路径进行融合，以分类LUAC。在我们内部的114个病理证实的亚实体结节（SSN）数据集上的实验结果表明，CAET-SWin显着提高了侵袭性预测任务的可靠性，同时使用10倍交叉验证实现了82.65%的准确性，83.66%的灵敏度和81.66%的特异性。
2022-10-27 cs.CV cs.LG eess.IV
Tractable Transformers for Flexible Conditional Generation
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学校）
本文提出Tracformer，一种结合稀疏编码器捕获局部与全局上下文的Transformer生成模型，以解决非自回归模型在条件生成中泛化不足的问题，并在文本建模上达到最先进性能。
2025-07-07 cs.CL cs.LG
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University（亚琛工业大学）
自回归模型在NLP文本生成任务中已经被证明是非常强大的，最近也在图像生成中得到了普及。然而，到目前为止，它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据，以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中，我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示，可以通过遍历排序来顺序化。此外，我们引入了一个自适应压缩方案，显着减少序列长度，从而使他们的有效生成与Transformer，同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能，通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
CogView: Mastering Text-to-Image Generation via Transformers
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；BAAI（北京智源人工智能研究院）
通用领域的文本到图像生成长期以来一直是一个悬而未决的问题，它需要强大的生成模型和跨模态理解。我们提出了CogView，一个40亿参数的Transformer与VQ-VAE标记器来推进这个问题。我们还展示了各种下游任务的微调策略，例如风格学习，超分辨率，文本图像排名和时尚设计，以及稳定预训练的方法，例如消除NaN损失。CogView在模糊的MS COCO数据集上实现了最先进的FID，优于以前的基于GAN的模型和最近的类似工作DALL-E。
2021-11-05 cs.CV cs.LG
The Geometry of Thought: Disclosing the Transformer as a Tropical Polynomial Circuit
Bahçeşehir University（巴切希尔大学）
本研究揭示Transformer在高置信度下通过热带多项式电路实现动态规划，为链式思维提供几何解释。
2026-01-14 cs.CL cs.LG
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley（加州大学伯克利分校）；Panasonic（松下）
在这项工作中，我们提出了基于补丁的以对象为中心的视频Transformer（POVT），一种新的基于区域的视频生成架构，利用以对象为中心的信息，有效地模拟视频中的时间动态。我们建立在以前的工作，通过自回归Transformer在压缩视频的离散潜在空间的视频预测，与添加修改模型对象为中心的信息，通过边界框。由于以对象为中心的表示具有更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时，我们的方法与其他视频生成模型相比具有更好或相同的性能，同时保持计算上更高效和可扩展性。此外，我们表明，我们的方法是能够执行以对象为中心的可控性，通过限界框操纵，这可能有助于下游任务，如视频编辑，或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
From Optimization to Prediction: Transformer-Based Path-Flow Estimation to the Traffic Assignment Problem
Institute of Transportation Studies, University of California, Berkeley, USA（加州大学伯克利分校交通研究学院）
本文提出基于Transformer的深度学习方法，直接预测交通均衡路径流量，提升大规模网络计算效率和预测精度。
2026-04-25 cs.AI cs.LG math.OC
NEAT: Neighborhood-Guided, Efficient, Autoregressive Set Transformer for 3D Molecular Generation
Department of Pharmaceutical Sciences, University of Vienna（维也纳大学药学系）；Christian Doppler Laboratory for Molecular Informatics in the Biosciences（生物医学分子信息学克里斯蒂安·多普勒实验室）；Vienna Doctoral School of Pharmaceutical, Nutritional and Sport Sciences（维也纳药学、营养学和运动科学博士学院）
NEAT是一种基于邻域指导、高效、自回归的集合变换器，用于3D分子生成，通过不依赖顺序的分布学习实现原子排列不变性，提升生成性能。
2026-01-29 cs.AI cs.LG
DP-TBART: A Transformer-based Autoregressive Model for Differentially Private Tabular Data Generation
Stanford University（斯坦福大学）；Bloomberg（彭博社）
针对差分隐私表格数据生成中深度学习方法表现落后于边际方法的问题，提出基于Transformer的DP-TBART自回归模型，性能可比肩甚至超越最优边际方法，并提供理论框架分析两类方法的适用场景。
2023-07-19 cs.CR cs.LG
Exploring Transformer Placement in Variational Autoencoders for Tabular Data Generation
Faculty of Sciences, University of Porto（科学学院，波尔图大学）；Faculty of Engineering, University of Porto（工程学院，波尔图大学）
本文研究了在变分自编码器中部署变换器以生成表格数据的影响，发现变换器的位置会影响保真度与多样性的平衡，并在解码器中观察到线性关系。
2026-01-28 cs.AI cs.LG
N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation
ETH Zurich（苏黎世联邦理工学院）
N-vium通过在标准硬件上部分并行化计算，提高自回归Transformer的推理效率，通过增加每秒有效FLOPs而非减少每token计算量，实现精确生成。
2026-05-13 cs.AI cs.LG
