Logistics, Graphs, and Transformers: Towards improving Travel Time Estimation
Sberbank（俄罗斯联邦储蓄银行）；Artificial Intelligence Research Institute（人工智能研究院）
行程时间估计问题被广泛认为是现代物流的基本挑战。道路的空间方面和地面运输的时间动态之间相互联系的复杂性质仍然保留了一个试验领域。然而，目前积累的数据总量鼓励构建具有显著优于早期解决方案的前景的学习模型。为了解决行程时间估计问题，提出了一种基于Transformer结构的新方法-- TransTTE。
2022-07-12 cs.AI cs.LG
Improving Predictions of Tail-end Labels using Concatenated BioMed-Transformers for Long Medical Documents
The University of Auckland（奥克兰大学）；The University of Waikato（怀卡托大学）
多标签学习在考虑标签相关性的同时，从给定的标签集中预测未知实例的标签子集。多标签分类的一个已知挑战是标签的长尾分布。许多研究专注于改善模型的整体预测，因此没有优先考虑尾端标签。改善医疗文本多标签分类中的尾端标签预测，可以更好地了解患者并改善护理。通过一个或多个不常见的标签获得的知识可能会影响医疗决策和治疗计划的原因。本研究提出了连接特定领域的语言模型，包括多BioMed-Transformers的变化，以实现两个主要目标。首先，在多标签问题中提高不频繁标签的F1分数，特别是长尾标签;其次，处理长医疗文本和多源电子健康记录（EHR），这对于设计用于短输入序列的标准Transformers来说是一项具有挑战性的任务。这项研究的一个重要贡献是使用TransformerXL预测医疗代码获得的新的最先进（SOTA）结果。在重症监护医学信息市场（MIMIC-III）数据库上进行了各种实验。结果表明，串联BioMed-Transformers在整体微观和宏观F1分数以及尾端标签的单个F1分数方面优于标准Transformers，同时对于长输入序列，比现有的基于变压器的解决方案产生更少的训练时间。
2021-12-03 cs.AI cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia（弗吉尼亚大学）；Amazon（亚马逊公司）
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题，提出带检索增强的分层提示方法，通过全局与自适应两层软令牌实现动态引导，在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Improving Transformer Models by Reordering their Sublayers
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；Facebook AI Research（Facebook人工智能研究院）
多层Transformer网络由交错的自注意和前馈子层组成。以不同的模式对子层进行排序会带来更好的性能吗？我们生成随机排序的Transformers，并用语言建模目标对它们进行训练。我们观察到，其中一些模型能够实现比交错基线更好的性能，并且那些成功的变体往往在底部具有更多的自我注意力，在顶部具有更多的前馈子层。我们提出了一个新的Transformer模式，坚持这一属性，三明治Transformer，并表明，它提高了多个单词级和字符级语言建模基准的困惑，在参数，内存或训练时间没有成本。然而，三明治重新排序模式并不能保证每个任务的性能增益，正如我们在机器翻译模型上所展示的那样。相反，我们建议，需要进一步探索特定于任务的子层重新排序，以解锁额外的收益。
2020-04-23 cs.CL cs.LG
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology（河内国立大学工程与技术大学 HMI 实验室）
本文提出在GCN中引入Transformer编码器层，通过注意力机制重排节点特征空间，提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research（谷歌研究院）
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制，但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此，我们研究了注意力/Transformer网络的训练问题，并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地，我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后，我们将重新表述为一个凸优化问题，这是可解释的，更容易优化。此外，作为凸分析的副产品，我们揭示了一种隐式正则化机制，它可以促进令牌之间的稀疏性。因此，我们不仅改进了注意力/Transformer网络的优化，而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性，通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology（佐治亚理工学院）
本文提出 LOTUS 方法，通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练，在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
Improving Recursive Transformers with Mixture of LoRAs
NLPIE Research, UK（NLPIE研究机构，英国）；University of Zurich, Switzerland（瑞士苏黎世大学）；Department of Engineering Science, University of Oxford, UK（牛津大学工程科学系）
通过混合LoRAs改进递归变换器，实现轻量条件计算机制，提升模型表达能力与效率。
2025-12-17 cs.LG
Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco（伯南布哥联邦大学）
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样，最新的改进来自基于深度学习方法的模型。然而，经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中，我们提出了使用视觉注意技术，以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类（DAC）的深度图像聚类模型与空间Transformer网络（STN）的组合。该模型在数据集MNIST和FashionMNIST中进行了评估，并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
Improving N-gram Language Models with Pre-trained Deep Transformer
Facebook（脸书）
尽管n-gram语言模型（language models，LM）的性能已经被最先进的神经LM所超越，但由于其推理效率高，仍然被广泛应用于语音识别中。在本文中，我们证明了n-gram LM可以通过基于文本生成的数据增强方法由神经LM来改进。与以前的方法相比，我们采用大规模的一般域预训练，然后在域微调策略，以构建基于深度Transformer的神经LM。使用经过良好训练的深度Transformer生成大量域内文本数据，以构建新的n-gram LM，然后使用基线n-gram系统进行插值。对不同语音识别任务的实验研究表明，该方法能有效提高识别准确率。特别是，我们提出的方法带来了显着的相对字出错率减少到6.0%的域有限的域内数据。
2019-11-22 cs.CL cs.LG
Improving the Efficiency of Transformers for Resource-Constrained Devices
NavInfo Europe（欧洲四维图新）
Transformers提供了有希望的准确性，并且已经变得流行并用于诸如自然语言处理和计算机视觉的各种领域。然而，由于其大量的模型参数，内存和计算要求，它们不适合资源受限的低功耗设备。即使使用高性能的专用设备，内存带宽也可能成为性能限制瓶颈。在本文中，我们提出了一个国家的最先进的视觉Transformer在几个设备上的性能分析。我们建议通过聚类模型参数来减少整体内存占用和内存传输。我们表明，通过仅使用64个集群来表示模型参数，可以将从主存储器的数据传输减少4倍以上，在移动设备上实现高达22%的加速比和39%的节能，并且精度损失小于0.1%。
2021-06-30 cs.CV cs.LG
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
最近，基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互，但它不足以捕获短距离局部上下文，这对于准确提取说话人信息至关重要。在这项研究中，我们加强了Transformer与增强局部建模在两个方向。首先，我们提出了局部增强型构象（LE-Confomer），通过引入深度卷积和通道注意到构象块。第二，我们提出了扬声器Swin Transformer（SST）的适应Swin Transformer，最初提出的视觉任务，到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言（MS内部）数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER，优于先前提出的基于Transformer的模型和基于CNN的模型，如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时，所提出的模型取得了令人满意的结果，与Res 2Net 50模型相比，EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
Efficient Feature Interactions with Transformers: Improving User Spending Propensity Predictions in Gaming
Dream11
针对游戏用户消费倾向预测问题，提出改进的Transformer架构以高效捕获特征交互，超越FT-Transformer等基线模型，显著提升MAE和MSE指标。
2024-09-25 cs.LG
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
University of Notre Dame（圣母大学）
神经序列到序列模型，特别是Transformer，是机器翻译的最新技术。然而，这些神经网络对架构和超参数设置非常敏感。通过网格或随机搜索优化这些设置在计算上是昂贵的，因为它需要许多训练运行。在本文中，我们通过自动调整将架构搜索纳入到单个训练运行中，该自动调整使用正则化在训练过程中删除网络中的神经元。在资源非常少的语言对上，我们发现自动调整大小可以将BLEU分数提高3.9分，同时从模型中删除三分之一的参数。
2019-10-01 cs.CL cs.LG stat.ML
Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们介绍了Greenformers，一个集合的模型效率的方法来提高最近著名的Transformer模型的效率与低秩近似的方法。深度学习模型的发展趋势是向更复杂、更大的模型发展。虽然它可以带来更好、更准确的预测，但最终的模型成本更高，因为它需要使用大量GPU资源进行数周的训练。特别是，自2017年首次亮相以来，基于transformer的模型的大小和计算成本已从约1亿个参数大幅增加到2021年初的约1.6万亿个参数。这种计算量巨大的模型也给环境带来了巨大的成本，甚至达到了令人担忧的碳足迹水平。其中一些模型是如此庞大，以至于在没有GPU集群的情况下甚至不可能运行模型。Greenformer通过应用低秩近似方法来提高Transformer模型的模型效率。具体来说，我们提出了一种低秩因式分解方法，以提高效率的Transformer模型称为低秩Transformer。我们进一步比较我们的模型与现有的低秩因子分解方法称为Linformer。基于我们的分析，低秩Transformer模型适合于提高处理短序列（<= 512）输入数据的时间和存储器效率，而Linformer模型适合于提高处理长序列输入数据（>= 512）的效率。我们还表明，低秩Transformer更适合于设备上部署，因为它显着减少了模型的大小。此外，我们估计，将LRT应用于现有的BERT基础模型可以显着降低计算，经济…
2021-08-24 cs.AI cs.CC cs.LG
Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona（亚利桑那大学）；Children's National Hospital（儿童国家医院）；Imperial College London（伦敦帝国学院）
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架，通过脑网络Transformer编码器分析fMRI数据，在ABIDE数据集上实现82.6 AUROC和74%准确率，显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, AI Frontiers（微软研究院AI前沿部门）
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足，提出自改进方法，使标准Transformer通过迭代学习自身解决方案，在多样任务中实现远超训练分布的泛化，部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
Improving Transformers with Probabilistic Attention Keys
FPT Software AI Center（FPT软件人工智能中心）；University of California, Los Angeles（加州大学洛杉矶分校）；VinUniversity（文大）；Deezer Research（Deezer研究院）；Rice University（莱斯大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
多头注意力是最先进的Transformers背后的驱动力，它在各种自然语言处理（NLP）和计算机视觉任务中实现了卓越的性能。已经观察到，对于许多应用，这些注意力头学习冗余嵌入，并且其中大多数可以在不降低模型性能的情况下被移除。受此启发，我们提出了Transformer与混合高斯密钥（transformer-MGK），一种新的Transformer架构，取代冗余的头在每个头的混合密钥的变压器。这些键的混合遵循高斯混合模型，并允许每个注意力头有效地集中在输入序列的不同部分。与传统的Transformer相比，Transformer-MGK加速了训练和推理，参数更少，需要计算的FLOP更少，同时在任务中实现了相当或更好的准确性。transformer-MGK也可以很容易地扩展到使用线性注意力。我们经验证明了Transformer-MGK在一系列实际应用中的优势，包括语言建模和涉及很长序列的任务。在Wikitext-103和Long Range Arena基准测试中，具有4个头的Transformer-MGK获得了与具有8个头的基线Transformers相当或更好的性能。
2022-06-13 cs.CL cs.LG stat.ML
Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers
McGill University（麦吉尔大学）；Mila（米拉研究所）
最近深度强化学习的大部分成功都归功于神经架构学习和使用有效的世界内部表征的潜力。虽然许多当前算法访问模拟器以利用大量数据进行训练，但是在现实环境中，包括在玩可能与人对抗的游戏时，收集经验可能是相当昂贵的。在本文中，我们介绍了一种深度强化学习架构，其目的是在不牺牲性能的情况下提高样本效率。我们设计这个架构，结合近年来在自然语言处理和计算机视觉领域取得的进展。具体来说，我们提出了一个视觉上的注意力模型，使用变压器学习状态表示的特征图上的自我注意力机制，同时优化返回。我们的经验表明，这种架构提高了几个雅达利环境的样本复杂性，同时也实现了更好的性能，在一些游戏。
2022-02-01 cs.AI cs.LG
Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
China Electronics Cloud Technology Co., Ltd.（中国电子云科技有限公司）
针对Transformer层间参数冗余，提出跨层共享专家的CS-MoE架构，实现更低困惑度并仅激活55%参数，为计算受限环境提供高效方案。
2026-09-22 cs.AI cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所）
在本文中，我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类（MTGC）的可移植性。特别是，我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估，Trailers 12 k是一个新的手动策划的电影预告片数据集，由12，000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面，例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距，我们提出了双图像和视频Transformer架构（DIViTA），它执行镜头检测，以便将预告片分割成高度相关的片段，为预训练的骨干提供更有凝聚力的输入，并提高可移植性（ImageNet增加1.83%，Kinetics增加3.75%）。我们的研究结果表明，在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外，两个数据集都提供了互补的信息，可以结合起来提高分类性能（与前一个预训练相比，提高了2.91%）。有趣的是，使用轻量级ConvNets作为预训练的骨干，与顶级Transformer相比，分类性能仅下降3.46%，同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock（阿拉巴马州立大学）
本文提出一种结合语义相似度过滤机制的混合Transformer模型，以增强Legal-BERT在法律实体识别中的准确率，在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
Improving DNS Exfiltration Detection via Transformer Pretraining
School of Electrical Engineering, University of Belgrade（贝尔格莱德大学电气工程学院）
研究变换器预训练对子域级数据外泄检测的影响，通过控制流程验证预训练对分类任务的效果，结果显示在ROC曲线左尾有显著提升，尤其对抗随机初始化基线。
2026-04-09 cs.CR cs.LG
Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
Peking University（北京大学）；Tsinghua University（清华大学）；Microsoft（微软公司）
本文提出次邻接Transformer，通过将注意力限制在与目标点不直接相邻的次邻接邻域来增加异常重构难度，并采用改进的线性注意力实现，在六个真实世界异常检测基准上取得最先进性能。
2024-04-27 cs.LG
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence
Microsoft（微软）；TU Wien（维也纳工业大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
Transformer-Kernel（TK）模型在TREC深度学习基准测试中表现出了强大的重新排序性能，可以被认为是一种高效的（但效果稍差）替代其他基于Transformer的架构，这些架构采用（i）大规模预训练（高培训成本），（ii）查询和文档的联合编码（高推理成本），以及（iii）更大数量的Transformer层（高训练和高推理成本）。从那时起，TK模型的一个变体--称为TKL --被开发出来，它结合了局部自注意力，在文档排序的上下文中有效地处理较长的输入序列。在这项工作中，我们提出了一种新的构象层作为一种替代方法来扩展TK更长的输入序列。此外，我们将查询词的独立性和显式的长期匹配扩展到完整的检索设置的模型。我们在TREC 2020深度学习赛道的严格盲评估设置下对我们的模型进行了基准测试，发现我们提出的架构更改导致了TKL检索质量的提高。我们的最佳模型在NDCG@10上的性能也优于所有非神经运行（“trad”）和三分之二的基于transformer的预训练运行（“nnlm”）。
2021-04-19 cs.AI cs.IR cs.LG
Improving Transformers with Dynamically Composable Multi-Head Attention
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；ColorfulClouds Technology Co.,Ltd.（彩云科技有限公司）
提出动态可组合多头注意力（DCMHA），通过输入依赖的Compose函数动态组合注意力头，解决MHA头冗余等问题，显著提升Transformer性能且匹配1.7x-2.0x计算量的模型。
2024-06-04 cs.CL cs.LG
Transformers without Tears: Improving the Normalization of Self-Attention
University of Notre Dame（圣母大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们评估了三个简单的、以规范化为中心的变化，以改进Transformer培训。首先，我们证明了预范数残差连接（PreNorm）和较小的初始化可以实现无预热，基于验证的训练，具有较大的学习率。其次，我们提出了使用单个尺度参数（ScaleNorm）的$\ell_2$归一化，以实现更快的训练和更好的性能。最后，我们重申了将词嵌入规范化为固定长度（FixNorm）的有效性。在基于TED Talks的语料库中的五个低资源翻译对上，这些变化总是收敛的，在最先进的双语基线上给出平均+1.1 BLEU，在IWELT的15个英语-越南语上给出新的32.8 BLEU。我们观察到更清晰的性能曲线，更一致的梯度规范，以及激活缩放和解码器深度之间的线性关系。令人惊讶的是，在高资源设置（WMT'14英语-德语）中，ScaleNorm和FixNorm仍然具有竞争力，但PreNorm降低了性能。
2019-12-30 cs.CL cs.LG stat.ML
Improving Medium Range Severe Weather Prediction through Transformer Post-processing of AI Weather Forecasts
Department of Atmospheric and Climate Science University of Washington（大气科学与气候系华盛顿大学）；US NSF National Center for Atmospheric Research（美国NSF大气研究中心）
本研究利用Transformer后处理提升AI天气预报的中等范围严重天气预测能力，通过改进模型结构和训练方法，提高预测准确性和可靠性。
2025-09-21 cs.AI cs.LG physics.ao-ph
Improving Robustness for Vision Transformer with a Simple Dynamic Scanning Augmentation
Kyushu University（九州大学）
本文提出动态扫描增强技术，通过动态输入序列自适应关注不同图像块，将ViT对抗鲁棒性从17%提升至92%，同时保持自然图像准确性。
2023-11-01 cs.AI cs.CV cs.LG
Improving Credit Card Fraud Detection through Transformer-Enhanced GAN Oversampling
提出一种结合Transformer编码器的GAN过采样方法，生成高质量合成少数类样本，在信用卡欺诈数据集上显著提升召回率、F1分数和AUC，有效解决类别不平衡问题。
2025-09-24 cs.LG
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Google Research（谷歌研究院）；NYU（纽约大学）
针对Transformer算术任务长度泛化差的问题，提出将任务结构嵌入位置编码的位置耦合方法，经实验和理论验证可大幅提升泛化能力，且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
Depth Estimation with Simplified Transformer
NVIDIA（英伟达）
Transformer及其变体最近在许多视觉任务中显示了最先进的结果，范围从图像分类到密集预测。尽管他们取得了成功，但在提高模型效率以部署在延迟关键型应用（如自动驾驶和机器人导航）方面的工作有限。在本文中，我们旨在改善现有的Transformers在视觉，并提出了一种自监督的单目深度估计方法与简化的Transformer（DEST），这是有效的，特别适合于部署在基于GPU的平台。通过战略性的设计选择，我们的模型导致模型大小，复杂性以及推理延迟的显着降低，同时与最先进的技术相比，实现了更高的准确性。我们还表明，我们的设计可以很好地推广到其他密集的预测任务，而无需花里胡哨。
2022-05-27 cs.CV cs.LG
Improving Transformer World Models for Data-Efficient RL
Google DeepMind（谷歌DeepMind）
本文提出三项改进Transformer世界模型的技术——带预热的Dyna、最近邻分词器和分块教师强制，在Craftax-classic等基准上以1M环境步实现69.66%奖励，首次超越人类表现。
2025-07-16 cs.AI cs.LG
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University（北京大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
Transformer体系结构广泛用于自然语言处理。尽管取得了成功，但Transformer的设计原理仍然难以捉摸。在本文中，我们提供了一个新的角度来理解的架构：我们表明，Transformer可以在数学上解释为一个数值常微分方程（ODE）求解器的对流扩散方程在多粒子动力系统。特别是，如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点，丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子，我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划，一个计划，更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明，自注意和位置前馈网络（FFN）子层不应该被同等对待。相反，在每一层中，应使用两个按位置FFN子层，并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”，因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验，我们表明，Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
Department of Mathematics（数学系）；University of California, Irvine（加州大学 Irvine 分校）；Irvine, CA 92617
本文提出在Transformer模型前加入可学习频谱滤波器，提升长时间序列预测性能，减少计算资源消耗并提高模型效率。
2025-08-27 cs.AI cs.LG
Improving the quality of dental crown using a Transformer-based method
École Polytechnique de Montréal（蒙特利尔理工学院）；Centre d'intelligence artificielle appliquée (JACOBB)（应用人工智能中心（JACOBB））；Intellident Dentaire Inc.（Intellident Dentaire 公司）
设计人造牙冠是一个耗时、不一致且劳动密集型的过程。在这项工作中，我们提出了一种全自动的方法，不仅可以学习人类设计的牙冠，而且还可以提高牙冠的一致性，功能性和美观性。在使用基于transformer的网络完成点云之后，我们将牙冠生成作为准备好的牙齿周围的点云完成来解决问题。为此，我们使用几何感知的Transformer来生成牙冠。我们的主要贡献是将边缘线信息添加到网络中，因为直接生成精确边缘线的精度决定了设计的牙冠和准备好的牙齿是否紧密匹配以允许适当的粘附。使用我们的地面真实牙冠，我们可以提取边缘线作为样条，并将样条采样为1000个点。我们将获得的边缘线与准备好的牙齿的两颗相邻牙齿和相对颌骨中最接近的三颗牙齿一起喂入。我们还将边距线点添加到地面实况表冠，以提高边距线处的分辨率。我们的实验结果表明，当考虑到实际的上下文组成的准备牙齿与边缘线相比，在一个空的空间中产生的冠，如在文献中的其他研究所做的设计冠的质量的改善。
2023-03-04 cs.CV cs.LG
All You Need is an Improving Column: Enhancing Column Generation for Parallel Machine Scheduling via Transformers
North Carolina State University（北卡罗来纳州立大学）
本文提出用Transformer和pointer架构的神经网络增强列生成，通过预测负削减成本列替代动态规划求解子问题，在保持最优性保证的同时显著提升并行机调度的计算效率与泛化能力。
2024-10-21 cs.LG math.OC
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research（谷歌研究院）
我们研究了视觉Transformer（ViTs）的鲁棒性，通过他们特殊的基于补丁的架构结构，即，它们将图像处理为图像块的序列。我们发现，ViTs是令人惊讶的不敏感补丁为基础的转换，即使在很大程度上破坏了原始的语义，使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征，但通常不指示人类的语义类。进一步的研究表明，这些特征是有用的，但不稳健，因为在它们上训练的ViT可以实现高的分布内准确性，但在分布偏移下会崩溃。基于这种理解，我们会问：训练模型以减少对这些特征的依赖，是否可以提高ViT的鲁棒性和分布外性能？我们使用基于补丁的操作转换的图像作为负增强视图，并提供损失来正则化训练，避免使用非鲁棒特征。这是对现有研究的补充，现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明，基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外，我们发现我们的补丁为基础的负增强传统的（正）数据增强的补充，并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review
College of Science and Engineering, Hamad Bin Khalifa University（科学与工程学院，哈马德·本·哈利法大学）
本综述总结了2020-2022年间34项研究，指出视觉Transformer在肺癌诊断与预后中日益流行，但缺乏临床转化策略，计算复杂性和临床相关性是未来关键考量。
2023-09-06 cs.AI cs.CV cs.LG
Improving Real-Time Concept Drift Detection using a Hybrid Transformer-Autoencoder Framework
提出一种混合 Transformer-Autoencoder 框架和 Trust Score 方法，通过结合统计指标、预测不确定性和规则违反等信号，实现对概念漂移的实时、早期且高灵敏度的检测。
2025-08-09 cs.LG
Improving Position Encoding of Transformers for Multivariate Time Series Classification
Monash University（莫纳什大学）
本文针对多元时间序列分类中位置编码争议，提出 tAPE 绝对位置编码和高效 eRPE 相对位置编码，并结合卷积输入编码构建 ConvTran 模型，在 32 个数据集上显著超越现有方法。
2023-05-26 cs.CV cs.LG
Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention
Zhejiang University（浙江大学）；Penn State（宾夕法尼亚州立大学）；Shandong University（山东大学）
本文提出动态注意力方法，通过注意力校正和动态建模增强Transformer大语言模型对文本对抗攻击的固有鲁棒性，无需下游任务知识且不增加额外成本，实验显示性能最高提升33%，并可与对抗训练等方法结合进一步提升鲁棒性。
2023-11-30 cs.CL cs.CR cs.LG
Improving Visual Prompt Tuning for Self-supervised Vision Transformers
Seoul National University（首尔国立大学）
针对视觉提示调优在自监督视觉Transformer上表现不佳的问题，提出为每个ViT块学习门控以选择性干预提示令牌的方法，在多项图像分类和语义分割任务上优于现有VPT变体。
2023-06-08 cs.AI cs.CV cs.LG
Improving Test-Time Scaling with Adaptive Looped Transformers
Tsinghua University（清华大学）；Yale University（耶鲁大学）
提出TaH2，通过前瞻深度监督自适应分配循环迭代，提升循环Transformer的测试时扩展效率与准确率，在AIME基准上斜率提升53%。
2026-09-29 cs.CL cs.LG
Improving EEG Classification Through Randomly Reassembling Original and Generated Data with Transformer-based Diffusion Models
Peking University（北京大学）
针对EEG数据稀缺导致分类网络性能受限的问题，提出带多尺度卷积等模块的Transformer去噪扩散模型与时域随机重组的增强方法，在四个数据集上实现显著准确率提升。
2024-08-17 cs.LG eess.SP
ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases
Ecole Normale Supérieure（巴黎高等师范学院）；Facebook AI Research（脸书人工智能研究院）
卷积架构已被证明在视觉任务中非常成功。它们的硬归纳偏差使样本有效学习成为可能，但代价是潜在的性能上限较低。视觉Transformer（ViTs）依赖于更灵活的自我注意层，最近在图像分类方面优于CNN。然而，它们需要在大型外部数据集上进行昂贵的预训练，或者从预训练的卷积网络中提取。在本文中，我们提出了以下问题：是否有可能结合这两种架构的优势，同时避免各自的局限性？为此，我们引入了门控位置自我注意（GPSA），一种可以配备“软”卷积归纳偏差的位置自我注意形式。我们初始化GPSA层以模仿卷积层的局部性，然后通过调整门控参数来调节对位置与内容信息的注意力，从而使每个注意力头部都可以自由地逃离局部性。由此产生的卷积类ViT架构ConViT在ImageNet上的性能优于DeiT，同时提供了更高的样本效率。我们进一步研究了局部性在学习中的作用，首先量化它是如何在香草自我注意层中被鼓励的，然后分析它是如何在GPSA层中被逃脱的。最后，我们介绍了各种消融术，以更好地了解ConViT的成功。我们的代码和模型在https://github.com/facebookresearch/convit上公开发布。
2021-06-10 cs.CV cs.LG stat.ML
Improving Computational Efficiency for Powered Descent Guidance via Transformer-based Tight Constraint Prediction
Massachusetts Institute of Technology（麻省理工学院）
提出 T-PDG，用 Transformer 依据历史轨迹优化数据预测紧约束与最优着陆时间，并经可行性检查保证安全最优，使火星 3 自由度燃料最优轨迹计算由 1–8 秒降至 500 毫秒内。
2023-12-11 cs.LG cs.RO cs.SY
Improving Model Representation and Reducing KV Cache via Skip Connections with First Value Heads
提出SkipV1Former，通过复用首层值头的跳跃连接，在减少约25%KV缓存的同时提升Transformer表示能力，并支持低成本升级训练及与先进方法结合。
2025-10-23 cs.AI cs.LG
How do you go where? Improving next location prediction by learning travel mode information using transformers
ETH Zurich（苏黎世联邦理工学院）；Institute of Advanced Research in Artificial Intelligence（人工智能高级研究所）
预测个人的下一个访问位置是人类移动性分析中的一个关键问题，因为它是个性化和优化可持续交通选择所必需的。在这里，我们提出了一个基于Transformer解码器的神经网络，根据历史位置、时间和旅行模式来预测个人将访问的下一个位置，这些都是以前工作中经常忽略的行为维度。特别地，下一个出行模式的预测被设计为辅助任务，以帮助指导网络的学习。为了进行评估，我们将这种方法应用于两个大规模和长期的GPS跟踪数据集，涉及600多人。我们的实验表明，所提出的方法显着优于其他国家的最先进的下一个位置预测方法的大幅度（8.05%和5.60%的F1分数相对增加两个数据集，分别）。我们进行了广泛的消融研究，量化的影响，考虑时间特征，旅行方式的信息，和辅助任务的预测结果。此外，我们通过实验确定了在我们的模型中包括下一个模式预测时的性能上限。最后，我们的分析表明，位置预测的性能显着不同的个人所选择的下一个旅行模式。这些结果表明，在人类流动性预测任务中，有可能更系统地考虑旅行行为的其他方面。我们的模型和实验的源代码可以在https://github.com/mie-lab/location-mode-prediction上获得。
2022-10-27 cs.LG physics.soc-ph
Weights Shuffling for Improving DPSGD in Transformer-based Models
Shanghai Jiao Tong University（上海交通大学）
本工作提出一种DPSGD中的权重打乱机制，利用置换不变性引入额外随机性以改善隐私保证，并通过推导对数正态分布求和的近似条件，在同等隐私下提升大型模型效用与准确性。
2024-07-22 cs.CR cs.LG
MedPCFM: Improving Medical Point Cloud Completion by Integrating Point Transformers and Flow Matching
Department of Measurement and Electronics, AGH University of Krakow（AGH科技大学测量与电子系）；Sano Centre for Computational Medicine（Sano计算医学中心）
提出基于PTv3的流匹配方法PCFM用于医学点云补全，在三个数据集上达到最优生成性能，采样步数远少于扩散模型，且PTv3带来高达7倍的速度提升。
2026-06-24 cs.AI cs.CV cs.LG
Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images
本文针对无源目标自适应中的视觉Transformer，提出利用域表示图像（DRIs）通过key元素注入域特定信息，实验表明该方法相比SHOT-B*等基准能提升平均精度并增强域泛化能力。
2023-12-02 cs.AI cs.CV cs.LG
Leveraging Convolutional Neural Network-Transformer Synergy for Predictive Modeling in Risk-Based Applications
Columbia University（哥伦比亚大学）；Northeastern University（东北大学）；University at Buffalo（布法罗大学）；Brown University（布朗大学）
本文提出一种结合CNN与Transformer的深度学习模型用于信用违约预测，实验证明其在准确率、AUC和KS值等指标上优于传统机器学习模型，为金融风险评估提供了新方法。
2024-12-24 cs.LG q-fin.RM
Improving Length-Generalization in Transformers via Task Hinting
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对Transformer的长度泛化难题，提出任务提示方法，通过同步训练相关辅助任务，结合多任务框架、机制分析与长度依赖参数优化，大幅提升排序等任务的长序列性能，拓展了技术适用场景。
2023-10-01 cs.AI cs.LG stat.ML
