Transformers and Slot Encoding for Sample Efficient Physical World Modelling
Institute for Cognitive Sciences and Technologies（认知科学与技术研究所）；National Research Council（国家研究委员会）；University of Bologna（博洛尼亚大学）；ISTC-CNR
本文提出一种结合Transformers与slot-attention范式的神经架构用于物理世界建模，通过学习物体表征克服了现有方法仅在图像层面运作的局限，在样本效率和性能稳定性上均取得提升。
2024-05-30 cs.AI cs.CV cs.LG
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.（贝莱德集团）
从复杂文档中表示结构化文本通常需要不同的机器学习技术，例如用于段落的语言模型和用于表格提取的卷积神经网络（CNN），这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中，我们提出了一个模型，近似的人类阅读模式的文件，并输出一个独特的语义表示为每个文本跨度，无论内容类型，他们被发现。我们的架构的结构化文本的图形表示的基础上，我们证明，我们不仅可以检索语义相似的信息跨文档，而且我们生成的嵌入空间捕获有用的语义信息，类似于语言模型，只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
Understanding the Efficacy of U-Net & Vision Transformer for Groundwater Numerical Modelling
University of Leeds（利兹大学）；Tel-Aviv University（特拉维夫大学）
本文比较了 U-Net、U-Net+ViT 和 FNO 在地下水时间相关正演建模中的表现，发现 U-Net 类模型在精度和效率上优于 FNO，尤其在稀疏数据场景下更具潜力。
2023-07-08 cs.CE cs.LG physics.flu-dyn
Empirical Study of Transformers for Source Code
HSE University（高等经济大学）
最初是为自然语言处理（NLP）而开发的，由于源代码和文本之间的格式相似性，Transformers现在广泛用于源代码处理。与自然语言相比，源代码是严格结构化的，即，它遵循程序设计语言的语法。最近的几项工作开发了Transformer修改，用于捕获源代码中的语法信息。这些作品的缺点是它们不相互比较，考虑不同的任务。在这项工作中，我们进行了彻底的实证研究的能力，Transformers利用句法信息在不同的任务。我们考虑三个任务（代码完成，函数命名和错误修复），并在一个统一的框架中重新实现不同的语法捕获修改。我们表明，Transformers能够作出有意义的预测纯粹基于语法信息，并强调考虑到语法信息的最佳做法，以提高模型的性能。
2021-06-24 cs.CL cs.LG cs.SE
E.T.: Entity-Transformers. Coreference augmented Neural Language Model for richer mention representations via Entity-Transformer blocks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在过去的十年中，神经语言建模领域发生了巨大的变化，通过使用Transformer架构开发了新的模型。然而，由于存储器约束和增加的计算复杂性，即使这些模型也难以对长序列进行建模。训练数据上的共指注释可以提供远远超出这种语言模型的建模限制的上下文。在本文中，我们对神经语言模型中使用的Transformer-block架构进行了扩展，特别是在GPT 2中，以便在训练过程中加入实体注释。我们的模型，GPT 2 E，扩展了Transformer层架构的GPT 2的multity-transformers，一个架构，旨在处理共指信息时，存在。为此，我们实现了更丰富的实体提及的表示，与微不足道的培训成本。我们在CoNLL 2012和LAMBADA数据集上展示了GPT 2和GPT 2 E之间的比较模型性能，以及实体表示的关键差异及其在下游任务（如命名实体识别）中的影响。此外，我们的方法可以通过大多数基于transformer的语言模型。
2020-11-10 cs.CL cs.LG
Foresight -- Generative Pretrained Transformer (GPT) for Modelling of Patient Timelines using EHRs
Guy's and St Thomas' NHS Foundation Trust（盖伊和圣托马斯NHS基金会信托）；University College London（伦敦大学学院）
背景资料：电子健康记录保存有关每个患者的健康状况和一般临床病史的详细纵向信息，其中大部分存储在非结构化文本中。现有的方法主要集中在结构化数据和单域结果的子集。我们探讨了如何使用深度生成Transformers从自由文本和结构化数据中对患者进行时间建模，以预测各种未来的疾病、物质、程序或发现。研究方法：我们提出了一种新的基于转换器的管道，它使用命名实体识别和链接工具将文档文本转换为结构化的编码概念，然后为未来的医疗事件提供概率预测，如疾病，物质，程序和发现。我们处理了来自三个不同医院数据集的整个自由文本部分，共有811336名患者，涵盖身体和精神健康。调查结果：在两个英国医院（国王学院医院，伦敦南部和Maudsley）和美国MIMIC-III数据集的测试中，在预测患者时间轴的下一个疾病时，达到了0.68，0.76和0.88的精度@10，而在预测下一个生物医学概念时，达到了0.80，0.81和0.91的精度@10。五位临床医生还在34个合成患者时间轴上验证了Focal，并实现了97%的预测候选疾病的相关性。作为一个生成模型，它可以根据需要预测后续的生物医学概念。释义：Focal是一种通用的生物医学概念建模模型，可用于现实世界的风险预测，虚拟试验和临床研究，以研究疾病的进展，模拟干预和反事实以及教育目的。
2023-01-24 cs.AI cs.CL cs.LG
Do Transformers Need Deep Long-Range Memory
DeepMind；UCL（伦敦大学学院）
深度注意力模型已经在许多领域推进了序列数据的建模。特别是对于语言建模，Transformer-XL --一个增强了过去激活的长距离记忆的Transformer--在各种经过充分研究的基准测试中被证明是最先进的。Transformer-XL在网络的每一层都集成了一个远程内存，这使得它的状态比RNN的前辈大数千倍。但尚不清楚这是否必要。我们进行了一组干预，以表明可以通过减少6倍的长距离记忆来获得相当的性能，并且可以通过限制网络较低层的注意力范围来获得更好的性能。
2020-07-07 cs.CL cs.LG stat.ML
ASTE Transformer Modelling Dependencies in Aspect-Sentiment Triplet Extraction
Poznan University of Technology（波兹南理工大学）；Charles University（查理大学）
本文提出一种由三个Transformer启发层组成的ASTE方法，通过建模短语之间及分类器决策之间的依赖关系，在常用基准上取得更高F1性能，并验证了简单预训练技术的进一步提升效果。
2024-10-04 cs.AI cs.CL cs.LG
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University（高等经济大学）；Naver Labs Europe（Naver欧洲实验室）
预训练的Transformers在各种代码处理任务中实现了最先进的性能，但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块，这些模块可能潜在地使用预训练模型的单个实例，因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中，我们测试了两种广泛使用的方法，适配器和LoRA，这是最初测试的NLP任务，四个代码处理任务。我们发现，虽然有效的微调方法可能会实现可比或更高的性能比标准的，完整的，微调的代码理解任务，他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性，并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
Calliope -- A Polyphonic Music Transformer
University of Pisa（比萨大学）
音乐的复调性质使得将深度学习应用于音乐建模成为一项具有挑战性的任务。另一方面，Transformer架构似乎非常适合这种数据。在这项工作中，我们提出了Calliope，一种新的自动编码器模型的基础上Transformers的多轨道序列的复调音乐的有效建模。实验表明，我们的模型是能够改善的艺术状态的音乐序列的重建和生成，特别是在长序列有显着的好结果。
2021-07-08 cs.LG cs.SD eess.AS
Stochastic Latent Transformer: Efficient Modelling of Stochastically Forced Zonal Jets
University of Cambridge（剑桥大学）
针对随机偏微分方程降阶建模需求，提出由随机强迫Transformer与平移等变自编码器构成的SLT方法，在纬向急流系统中实现五个数量级加速，可高效探索自发转变事件的概率统计问题。
2023-12-18 cs.LG physics.ao-ph physics.flu-dyn
Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback
University of Glasgow（格拉斯哥大学）
能够自动生成代码生成的工具有可能增强程序员的能力。虽然直接的代码检索被集成到许多IDE中，但一个新兴的领域是显式代码生成。代码生成目前被视为机器翻译任务，其中基于递归神经网络（RNN）的编码器-解码器架构在代码描述对上进行训练。在这项工作中，我们介绍和研究现代Transformer架构，这项任务。我们进一步提出了一个新的模型，称为相关性Transformer，采用伪相关反馈的外部知识。相关性Transformer使解码过程偏向于与现有检索代码相似，同时实施多样性。我们在用于代码生成的多个标准基准数据集上进行实验，包括Django，Hearthstone和CoNaLa。结果表明，基于BLEU评估的最先进的方法的改进。相关性Transformer模型显示了基于Transformer的架构在代码生成方面的潜力，并引入了一种在推理过程中结合伪相关反馈的方法。
2020-12-08 cs.CL cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta（Meta 基础人工智能研究）；University of Cambridge（剑桥大学）；MIT（麻省理工学院）
本文提出全原子扩散Transformer（ADiT），一个统一潜扩散框架，用同一模型联合生成分子和材料，在多个数据集上达到最先进性能，并支持大规模扩展。
2025-05-22 cs.AI cs.LG
Adaptive Transformer Modelling of Density Function for Nonparametric Survival Analysis
Monash University（莫纳什大学）；AIM for Health Lab（AIM健康实验室）；Monash Centre for Health Research and Implementation（莫纳什健康研究与转化中心）
针对现有生存分析方法分布假设强、删失预测不敏感及动态建模受限等问题，本文提出 UniSurv，利用 Transformer 和 Margin-Mean-Variance 损失学习非参数单峰密度函数。
2024-09-10 cs.AI cs.LG
$β$-Variational autoencoders and transformers for reduced-order modelling of fluid flows
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Spanish National Institute for Aerospace Technology (INTA)（西班牙国家航空航天技术研究院）；Illinois Institute of Technology（伊利诺伊理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出结合$β$-VAE与Transformer的方法，为混沌流体流动学习紧凑且近似正交的降阶模型，在二维粘性流动数据上验证，能更高效地捕捉动态，优于其他预测模型。
2023-11-15 cs.LG physics.flu-dyn
Transformers with Stochastic Competition for Tabular Data Modelling
Cyprus University of Technology（塞浦路斯理工大学）
本文提出一种基于Transformer的随机竞争模型，通过局部赢家通吃单元和随机竞争嵌入层，提升表格数据建模性能，并在公开数据集上验证了其有效性。
2024-07-18 cs.LG
Rough Transformers: Lightweight and Continuous Time Series Modelling through Signature Patching
Oxford-Man Institute, University of Oxford（牛津大学牛津-曼研究所）；Machine Learning Research Group, University of Oxford（牛津大学机器学习研究组）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对现实时间序列长程依赖、非均匀采样且现有模型计算成本高的问题，提出Rough Transformer，通过多视角签名注意力增强普通注意力，兼具性能与表征优势且资源消耗极低。
2025-01-11 cs.LG stat.ML
Predicting Deterioration in Mild Cognitive Impairment with Survival Transformers, Extreme Gradient Boosting and Cox Proportional Hazard Modelling
Goldsmiths, University of London（伦敦大学金史密斯学院）；School of Health Sciences, The University of Manchester（曼彻斯特大学健康科学学院）；Faculty of Computer Science and Engineering, Frankfurt University of Applied Sciences（法兰克福应用科学大学计算机科学与工程学院）；Institute of Psychiatry, Psychology and Neuroscience King’s College London（伦敦国王学院精神病学、心理学与神经科学研究所）
本文提出利用survival transformers和extreme gradient boosting模型，基于ADNI队列代谢组学数据预测轻度认知障碍恶化，其C-index性能优于传统Cox模型且更稳定。
2024-09-24 cs.AI cs.LG cs.NE
TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning
East China Normal University（华东师范大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Harvard University（哈佛大学）；Ant Group（蚂蚁集团）；Gatech（佐治亚理工学院）
动态图建模由于其在推荐系统、金融交易、社交网络等领域的广泛应用而受到广泛关注。虽然近年来已经提出了许多工作动态图建模，有效的和可扩展的模型还有待开发。在本文中，我们提出了一种新的图神经网络的方法，称为TCL，它处理动态演变的图形在连续时间的方式，并使有效的动态节点表示学习，捕捉时间和拓扑信息。从技术上讲，我们的模型包含三个新的方面。首先，我们将普通的Transformer推广到时态图学习场景，并设计了一个图拓扑感知的Transformer。其次，顶部的建议图Transformer，我们引入了一个两个流编码器，分别提取表示与两个相互作用的节点，然后利用共同关注的Transformer模型在语义层面上的相互依赖关系。最后，我们受到最近开发的对比学习的启发，提出通过最大化两个未来交互节点的预测表示之间的互信息（MI）来优化我们的模型。受益于此，我们的动态表示可以保持高层次（或全球）语义的互动，从而是强大的嘈杂的互动。据我们所知，这是首次尝试将对比学习应用于动态图上的表示学习。我们在四个基准数据集上评估了我们的模型，实验结果证明了我们的模型的优越性。
2021-05-17 cs.AI cs.LG
Q-learning Decision Transformer: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL
University of Bristol（布里斯托大学）
本文提出 Q-learning 决策 Transformer（QDT），利用动态规划结果重新标注 return-to-go 来弥补 DT 缺乏拼接能力的缺陷，并在 D4RL 基准上验证了性能提升。
2023-05-25 cs.LG
Rough Transformers for Continuous and Efficient Time-Series Modelling
Oxford-Man Institute of Quantitative Finance, University of Oxford（牛津大学牛津-曼数量金融研究所）；Machine Learning Research Group, University of Oxford（牛津大学机器学习研究组）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对医疗时间序列的长程依赖与非均匀采样问题，提出粗糙 Transformer，利用路径签名增强注意力，在保持性能的同时大幅降低计算成本。
2024-03-15 cs.AI cs.LG stat.ML
Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction
L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
提出ST-SampleNet架构，结合CNN与自注意力机制捕捉时空局部与全局关系，引入区域采样策略与空间约束位置嵌入，在降低计算成本的同时保持高预测性能。
2024-11-11 cs.LG
Natural Language to Code Using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Dept. of Computer Science（计算机科学系）
我们解决了使用CoNaLa数据集从自然语言描述生成代码片段的问题。我们使用的自注意力的Transformer架构，并表明它比经常性的注意力为基础的编码器解码器的性能更好。此外，我们开发了一种修改后的形式的反向翻译和使用周期一致的损失，训练的模型在一个端到端的方式。我们实现了16.99的BLEU评分，击败了之前报道的CoNaLa挑战基线。
2022-02-01 cs.CL cs.LG
Probabilistic Transformer: Modelling Ambiguities and Distributions for RNA Folding and Molecule Design
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出带分层潜分布的概率 Transformer，以建模数据歧义和分布，并在合成分布学习、RNA 折叠及基于属性的分子设计中取得先进结果。
2022-11-14 cs.LG q-bio.BM
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)（海得拉巴国际信息技术学院（IIIT-Hyderabad））
语码混用是一种常见的语言现象，它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤，在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法，用于对Dravidian代码混合数据集进行情感分析。在我们的方法中，我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务：“代码混合文本中的达罗毗荼语的情感分析”，并且对于给定的达罗毗荼语代码混合数据集，它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani（比尔拉科学技术学院皮拉尼分校）
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流，英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本，但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务，该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性，以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
Code Prediction by Feeding Trees to Transformers
Facebook Inc.（脸书公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文提出让 Transformer 感知代码句法树结构以提升代码下一个 token 预测准确率，并在标准及 Facebook 内部 Python 数据集上显著超越 RNN、Deep3 与 Code2Seq。
2021-03-08 cs.LG cs.SE
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich（慕尼黑大学信息学院 (LMU Munich 信息学院)）
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成，通过量子编码器和解码器块实现自回归建模，在语法生成任务上验证了可训练性，但性能不及经典基线，不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph
MiTREE: Multi-input Transformer Ecoregion Encoder for Species Distribution Modelling
University of Minnesota（明尼苏达大学）
本文提出MiTREE多输入视觉Transformer模型，通过生态区编码器在不进行上采样的情况下融合遥感、气候、位置和生态背景信息，用于物种分布建模，并在SatBird数据集上取得优于现有基线的鸟类遭遇率预测效果。
2024-12-25 cs.CV cs.LG q-bio.QM
StructCoder: Structure-Aware Transformer for Code Generation
Virginia Tech（弗吉尼亚理工大学）
针对现有代码生成模型对代码语法语义理解不足的问题，提出结构感知Transformer模型StructCoder，通过在编码器和解码器中分别融入语法、数据流信息及相关辅助任务，在多个代码生成基准上取得优于同规模基线的性能。
2024-01-30 cs.LG cs.SE
Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions
Department of Physics（物理系）；Ashoka University（阿什oka大学）；Department of Computer Science（计算机科学系）
本文提出利用阻尼谐振子替代传统ODEs，通过正弦基扩展查询，实现不规则时间序列建模，理论证明其具备通用逼近性并提升效率。
2026-05-12 cs.LG
FoilDiff: A Hybrid Transformer Backbone for Diffusion-based Modelling of 2D Airfoil Flow Fields
Lincoln AI Lab（林肯人工智能实验室）；School of Engineering and Physical Sciences（工程与物理科学学院）；University of Lincoln（林肯大学）；Siemens Energy（西门子能源）
针对翼型流场预测中CFD计算成本高的问题，提出混合Transformer骨干的扩散代理模型FoilDiff，融合卷积与注意力机制，结合DDIM采样提升效率，预测精度和不确定性校准效果优于现有模型。
2025-11-18 cs.LG physics.flu-dyn
Palomino-Ochoa at SemEval-2020 Task 9: Robust System based on Transformer for Code-Mixed Sentiment Classification
Universidad Católica San Pablo（圣巴勃罗天主教大学）
我们提出了一个迁移学习系统来执行混合的西班牙语-英语情感分类任务。我们的建议使用最先进的语言模型BERT，并将其嵌入ULMFiT迁移学习管道中。这种组合使我们能够预测代码混合（英语-西班牙语）推文的极性检测。因此，在29个提交的系统中，我们的方法（称为dplominop）在SemEval 2020任务9的Sentimix Spanglish测试集上排名第四。事实上，我们的系统产生的加权F1得分值为0.755，可以很容易地复制-源代码和实现细节是可用的。
2020-11-18 cs.CL cs.LG
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而，这些代码生成器存在两个问题。一个是长依赖性问题，其中代码元素通常依赖于另一个遥远的代码元素。例如，变量引用取决于它的定义，它可能出现在相当多的行之前。另一个问题是结构建模，因为程序包含丰富的结构信息。在本文中，我们提出了一种新的基于树的神经架构，TreeGen，代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题，并引入了一种新的AST阅读器（编码器），将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点，并且在ATIS（89.1%）和GEO（89.6%）上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试，以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
A Hierarchical Transformer for Unsupervised Parsing
BenevolentAI
自然语言的底层结构是分层的;单词组合成短语，短语又形成子句。这种层次结构的意识可以帮助机器学习模型执行许多语言任务。然而，大多数这样的模型只是顺序地处理文本，并且没有偏向于学习编码到其架构中的层次结构。在本文中，我们扩展了最近的Transformer模型（Vaswani等人，2017年）通过使其能够学习分层表示。为了实现这一点，我们采用了Shen等人介绍的排序机制，2018年，到了Transformer架构的自我关注模块。我们训练我们的新模型的语言建模，然后将其应用到无监督解析的任务。我们在WSJ 10数据集的免费子集上获得了合理的结果，F1分数约为50%。
2020-03-30 cs.CL cs.LG
Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction
Iprova SA
本文提出 Future Token Prediction（FTP）预训练方法，通过编码器生成逐位置语义状态向量并由小型解码器交叉注意预测未来 N 个 token，提升嵌入平滑性、主题连贯性、文本分类与编程表现。
2024-10-23 cs.CL cs.LG
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences（Courant数学科学研究所）；Tandon School of Engineering（Tandon工程学院）
针对语码混合语言的结构挑战，提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer，结合多任务预训练捕捉切换特性，在HASOC-2021基准上性能优于现有方法，且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
A Practical Survey on Faster and Lighter Transformers
Polytechnique Montréal（蒙特利尔理工学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
递归神经网络是处理序列的有效模型。然而，由于其固有的顺序性，它们无法学习长期依赖性。作为解决方案，Vaswani等人引入了Transformer，这是一种完全基于注意力机制的模型，能够将输入序列的任何两个位置联系起来，从而对任意长的依赖关系进行建模。Transformer改进了众多序列建模任务的最新技术水平。然而，其有效性是以相对于序列长度的二次计算和存储复杂度为代价的，这阻碍了其采用。幸运的是，深度学习社区一直对提高模型的效率感兴趣，导致了大量的解决方案，如参数共享，修剪，混合精度和知识蒸馏。最近，研究人员通过设计较低复杂度的替代方案，如Longformer、Reformer、Linformer和Performer，直接解决了Transformer的局限性。然而，由于广泛的解决方案，它已成为具有挑战性的研究人员和从业人员，以确定在实践中应用的方法，以满足所需的容量，计算和内存之间的权衡。本调查通过调查使Transformers更快、更轻的流行方法来解决这个问题，并对这些方法的优势、局限性和基本假设进行全面解释。
2023-03-27 cs.LG
DeepSumm -- Deep Code Summaries using Neural Transformer Architecture
源代码摘要是编写源代码在运行时间期间的行为的简短、自然语言描述的任务。这样的摘要对于软件开发和维护非常有用，但是手动编写成本很高，因此它只针对生成的一小部分代码完成，并且经常被忽略。自动化的代码文档可能以较低的成本解决这个问题。因此，这是一个新兴的研究领域，进一步应用程序的理解，软件维护。传统的方法通常依赖于以模板形式构建的认知模型，这些模型由开发人员社区在不同程度上采用。但随着最近的进步，基于神经技术的端到端数据驱动方法已经在很大程度上超过了传统技术。目前的大部分景观采用基于神经翻译的架构，具有递归和注意力，这是资源和时间密集型的训练过程。在本文中，我们采用神经技术来解决源代码总结的任务，并具体比较基于NMT的技术，更简化和吸引人的Transformer架构上的Java方法和注释的数据集。我们提出了一个论点，以免除在培训过程中的需要递归。据我们所知，基于Transformer的模型以前没有用于该任务。通过超过210万条评论和代码的监督样本，我们将训练时间减少了50%以上，并在测试样本集上获得了17.99的BLEU分数。
2020-03-31 cs.CL cs.LG
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构，其中解码器基于编码器提取的音频特征预测单词。卷积神经网络（CNN）和递归神经网络（RNN）通常用作音频编码器。然而，CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制，而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中，我们提出了一个音频字幕Transformer（ACT），这是一个完整的Transformer网络的基础上的编码器-解码器架构，是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型，AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比，我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过改名、死代码和注释代码等对抗实验，评估Transformer模型在代码摘要中是否真正理解代码语义，旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
Transformer-based normative modelling for anomaly detection of early schizophrenia
King’s College London（伦敦国王学院）；Birkbeck College, London（伦敦大学伯贝克学院）；National Institute of Mental Health（国家精神卫生研究所）；Universidade Federal do ABC（ABC联邦大学）
尽管精神疾病对临床健康的影响，早期诊断仍然是一个挑战。机器学习研究表明，分类器在诊断预测任务中往往过于狭窄。条件之间的重叠导致参与者之间的高度异质性，这不能被分类模型充分捕获。为了解决这一问题，规范性方法作为一种替代方法应运而生。通过使用生成模型来学习健康大脑数据模式的分布，我们可以将病理的存在识别为模型学习的分布的偏差或离群值。特别是，深度生成模型作为识别大脑神经病变的规范模型显示出很好的结果。然而，与大多数神经系统病变不同，精神疾病在几个大脑区域广泛存在细微变化，使这些变化难以识别。在这项工作中，我们评估了基于transformer的规范模型的性能，以检测青少年和年轻人表达的微妙的大脑变化。我们在神经典型个体（N= 1，765）的3D MRI扫描上训练了我们的模型。然后，我们从人类连接组计划的独立数据集（N=93）中获得了神经型对照和精神病患者早期精神分裂症的可能性。使用扫描的预测可能性作为标准评分的代表，我们在评估对照组和早期精神分裂症患者之间的差异时获得了0.82的AUROC。我们的方法超越了最近基于大脑年龄和高斯过程的规范方法，显示了深度生成模型在个性化分析中的应用前景。
2022-12-08 cs.AI cs.LG
TIMeSynC: Temporal Intent Modelling with Synchronized Context Encodings for Financial Service Applications
Capital One
针对金融服务中多渠道异构时间数据的意图预测挑战，提出TIMeSynC编码器-解码器Transformer模型，解决序列对齐、时间动态学习及动静态结合问题，实验显示其相比现有表格方法有显著改进。
2025-11-18 cs.LG q-fin.GN
Evolutionary Neural Architecture Search for Transformer in Knowledge Tracing
Anhui University（安徽大学）；Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education（教育部智能计算与信号处理重点实验室）；Guangdong University of Foreign Studies（广东外语外贸大学）
针对现有基于Transformer的知识追踪方法存在的手动选特征、单一全局建模难捕捉遗忘行为的问题，提出进化神经架构搜索方法，自动选特征并平衡局部/全局上下文建模，在两大教育数据集上验证了有效性。
2023-10-02 cs.AI cs.LG cs.NE
A Transformer-based Approach for Source Code Summarization
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
生成描述程序功能的可读摘要称为源代码摘要。在这个任务中，通过对代码标记之间的成对关系建模来学习代码表示以捕获它们的长期依赖关系是至关重要的。为了学习用于摘要的代码表示，我们探索了使用自我注意力机制的Transformer模型，该模型已被证明在捕获长距离依赖关系方面是有效的。在这项工作中，我们表明，尽管这种方法很简单，但它的性能明显优于最先进的技术。我们进行了广泛的分析和消融研究，揭示了几个重要的发现，例如，源代码标记的位置的绝对编码阻碍了摘要的性能，而相对编码显著提高了摘要的性能。我们已经公开了我们的代码，以方便未来的研究。
2020-05-01 cs.AI cs.LG cs.SE
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University（亚当·密茨凯维奇大学）
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题，提出基于AST的树状位置嵌入方法增强CodeBERTa模型，经MLM预训练和克隆检测任务验证，多项指标均优于基线。
2025-07-05 cs.LG
Surface Analysis with Vision Transformers
King’s College London（伦敦国王学院）；Imperial College London（伦敦帝国学院）
将卷积神经网络（CNN）扩展到非欧几里得几何，导致了研究流形的多种框架。这些方法中的许多已经显示出设计限制，导致长距离关联的建模不佳，因为将卷积推广到不规则表面是不平凡的。最近视觉Transformer（ViTs）的最新性能表明，实现自注意力的通用架构可以取代CNN的局部特征学习操作。受计算机视觉中注意力建模成功的启发，我们将ViTs扩展到表面，将表面学习任务重新定义为序列到序列问题，并提出了表面网格的修补机制。我们验证了所提出的表面视觉Transformer（SiT）在开发中的人类连接组项目（dHCP）数据集的两个大脑年龄预测任务上的性能，并研究了预训练对模型性能的影响。实验表明，SiT优于许多表面CNN，同时表明了一般变换不变性的一些证据。代码可在https://github.com/metrics-lab/surface-vision-transformers获得
2022-05-31 cs.CV cs.LG q-bio.NC
Were RNNs All We Needed?
Mila – Université de Montréal（米拉-蒙特利尔大学）；Borealis AI（博雷亚利斯人工智能公司）
针对Transformer的序列长度可扩展性限制，从历史视角重新研究RNNs（LSTMs和GRUs），通过简化得到参数更少、训练可并行化的minLSTMs和minGRUs，其在多任务上性能媲美Transformer等近期模型。
2024-11-28 cs.AI cs.LG
BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Li Ka Shing Knowledge Institute（李嘉诚知识研究所）
用于脑机接口（BCI）分类的深度神经网络（DNN）通常被期望在各种上下文中训练时学习一般特征，使得这些特征可以根据特定上下文进行微调。虽然在这种方法中发现了一些成功，但我们认为这种解释是有限的，另一种方法可以更好地利用新（公开）的大规模EEG数据集。我们考虑如何调整用于语言建模（LM）的技术和架构，这些技术和架构似乎能够处理大量的数据，并以同样的方式开发具有DNN的脑电成像建模（EM）。我们特别适应的方法有效地用于自动语音识别，类似的（LM）使用一个自我监督的训练目标，学习压缩表示的原始数据信号。在适应EEG之后，我们发现单个预训练模型能够对使用不同硬件记录的完全新颖的原始EEG序列进行建模，并且不同的受试者执行不同的任务。此外，该模型的内部表示和整个架构都可以针对各种下游BCI和EEG分类任务进行微调，在更特定于任务（睡眠阶段分类）的自我监督方面优于先前的工作。
2021-01-28 cs.LG cs.NE q-bio.QM
Planning with Large Language Models for Code Generation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；The University of Hong Kong（香港大学）；MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
现有的基于大型语言模型的代码生成流水线通常在解码过程期间使用束搜索或采样算法。虽然它们生成的程序获得了很高的基于标记匹配的分数，但它们通常无法编译或生成不正确的输出。主要原因是传统的Transformer解码算法可能不是代码生成的最佳选择。在这项工作中，我们提出了一种新的Transformer解码算法，规划引导的Transformer解码（PG-TD），使用规划算法做前瞻搜索，并指导Transformer生成更好的程序。具体地说，Transformer不是简单地优化生成序列的可能性，而是利用规划器来生成候选程序并在公共测试用例上测试它们。因此，Transformer可以做出更明智的决策，并生成最终导致更高质量程序的令牌。我们还设计了一个机制，共享信息之间的Transformer和规划，使我们的算法计算效率。我们以几个大语言模型作为公共编码挑战基准测试的主干，对我们的框架进行了经验评估，结果表明：1）与竞争基线方法相比，它可以生成持续实现更高性能的程序; 2）它可以通过优化修改目标来实现可控的代码生成，例如简洁代码和高度注释的代码。
2023-03-09 cs.AI cs.CL cs.LG
Efficient Software Vulnerability Detection Using Transformer-based Models
DePaul University（德保罗大学）
本文提出利用变压器模型进行C/C++漏洞检测，通过程序切片提取关键语法和语义特征，结合数据平衡和超参数调优，实现高效准确的漏洞识别。
2026-03-31 cs.CR cs.LG cs.SE
Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds
LIG（格勒诺布尔信息学实验室）；Lattice CNRS（法国国家科学研究中心Lattice实验室）；ALMAnaCH Inria（法国国家数字科学技术研究所ALMAnaCH）
我们提出了一个神经架构，它具有过去几年最成功的神经模型的主要特征：双向RNN，编码器-解码器和Transformer模型。对三个序列标记任务的评估产生的结果是接近国家的最先进的所有任务，并优于它的一些，显示这种混合架构的这种任务的相关性。
2019-09-16 cs.LG stat.ML
Masked Generative Priors Improve World Models Sequence Modelling Capabilities
该研究提出GIT-STORM模型，用掩码生成先验替换STORM架构的传统MLP先验，在Atari 100k基准RL任务上获显著提升，还首次将Transformer世界模型应用于连续动作环境并验证有效。
2025-10-22 cs.AI cs.LG
Unified Error Correction Code Transformer with Low Complexity
针对现有AI纠错码解码器计算复杂度高的问题，提出一种低复杂度统一Transformer解码器，通过标准化单元对齐、低秩统一注意力和稀疏掩码实现多码型解码，复杂度降86%且性能更优，为6G通信提供高效方案。
2025-10-30 cs.IT cs.LG math.IT
