Pattern Attention Transformer with Doughnut Kernel
Undergraduate Student of Information Technology, Beijing University of Tehcnology, Beijing, China
本文提出模式注意力Transformer（PAT），用正八边形甜甜圈核替代方形块，以感知区和更新区取代直线边界，在ImageNet 1K上以更轻架构实现比Swin Transformer更高的吞吐量和准确率。
2023-09-17 cs.CV cs.LG
IBiT: Utilizing Inductive Biases to Create a More Data Efficient Attention Mechanism
University of California, Berkeley（加州大学伯克利分校）
本文提出 IBiT，通过学习掩码将卷积神经网络的归纳偏置引入 Vision Transformer，使其无需知识蒸馏即可在小型数据集上训练，并显著提升准确率且保留可解释性。
2025-09-24 cs.AI cs.CV cs.LG
Transformers for Object Detection in Large Point Clouds
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
我们提出了transLPC，一种新的检测模型的大型点云，是基于一个Transformer架构。虽然使用Transformers的目标检测一直是一个活跃的研究领域，但已证明难以将此类模型应用于跨越大面积的点云，例如，使用激光雷达或雷达数据的自动驾驶中常见的点云。transLPC能够解决这些问题：修改了Transformer模型的结构，以允许更大的输入序列长度，这对于大型点云来说是足够的。除此之外，我们提出了一种新的查询细化技术，以提高检测精度，同时保留了内存友好的Transformer解码器查询的数量。查询在层之间被重新定位，以一种有效的方式将它们移动到更接近它们正在估计的限界框。这种简单的技术对检测精度有显著的影响，这是在现实世界激光雷达数据上具有挑战性的nuScenes数据集上进行评估的。除此之外，所提出的方法与需要目标检测的现有基于变换器的解决方案兼容，例如用于联合多目标跟踪和检测，并且使它们能够与大点云结合使用。
2022-09-30 cs.CV cs.LG
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型，但由于自注意机制，在每个令牌生成期间会产生O（T）复杂度。最近的工作提出了基于核的方法来近似因果自我注意，通过使用具有各种更新规则和特征映射的递归公式来替换它，以实现O（1）的时间和内存复杂度。我们探索了这些方法，发现它们不必要地复杂，并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快，优于以前的方法，并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
Ensemble Learning with Residual Transformer for Brain Tumor Segmentation
Northwestern University（西北大学）
本文提出一种将Transformer集成至自适应U-Net并添加残差连接的新颖架构，结合集成学习在BraTS 2021数据集上取得87.6%平均Dice分数，优于现有方法，优化了脑肿瘤分割。
2023-07-31 cs.CV cs.LG eess.IV
Factorizer: A Scalable Interpretable Approach to Context Modeling for Medical Image Segmentation
KU Leuven（鲁汶大学）；Université Claude-Bernard Lyon 1（里昂第一大学）；icometrix；KU Leuven Kulak（鲁汶大学库拉克校区）
具有U形架构的卷积神经网络（CNN）主导了医学图像分割，这对于各种临床目的至关重要。然而，卷积的固有局部性使得CNN无法充分利用全局上下文，这对于更好地识别某些结构至关重要，例如，脑损伤Transformers最近在视觉任务（包括语义分割）上证明了有前途的性能，这主要是因为它们能够对长距离依赖关系进行建模。然而，注意力的二次复杂性使得现有的基于transformer的模型仅在以某种方式降低图像分辨率之后才使用自注意力层，这限制了以更高分辨率捕获全局上下文的能力。因此，这项工作引入了一系列模型，称为Factorizer，它利用低秩矩阵分解的功能来构建端到端的分割模型。具体来说，我们提出了一个线性可扩展的方法来上下文建模，制定非负矩阵分解（NMF）作为一个可微层集成到一个U形架构。移位窗口技术还与NMF结合使用，以有效地聚合局部信息。因子分解器在准确性、可扩展性和可解释性方面与CNN和Transformers竞争，在BraTS数据集的脑肿瘤分割和ISLES 22数据集的中风病变分割上实现了最先进的结果。相对于CNN和Transformers，高度有意义的NMF分量为因子分解器提供了额外的可解释性优势。此外，我们的消融研究揭示了因式分解器的一个独特特征，即在不需要任何额外步骤的情况下，在不牺牲太多准确性的情况下，可以显著加快经过训练的因式分解器的推理速度。代码和模型可在https://g…
2022-12-13 cs.CV cs.LG eess.IV
DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams
Aarhus University（奥胡斯大学）；Tampere University（坦佩雷大学）
本文提出DeepCoT，一种无需冗余的编码器注意力机制，适用于现有深度编码器架构，实现线性计算成本，显著提升实时推理效率。
2026-03-31 cs.CL cs.CV cs.LG
LT2: Linear-Time Looped Transformers
Rice University（里士大学）；Apple（苹果公司）；UC Santa Cruz（圣克ruz大学）；Carnegie Mellon University（卡内基梅隆大学）
提出LT2系列架构，用次二次线性时间注意力替代二次softmax注意力，通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展，在召回、状态跟踪和语言建模任务上取得一致提升，并展示了混合变体在效率和性能上的优势。
2026-05-22 cs.LG
Pay Attention when Required
NVIDIA（英伟达公司）
基于transformer的模型由交错的前馈块（捕获内容含义）和相对更昂贵的自我注意块（捕获上下文含义）组成。在本文中，我们探讨了权衡和排序的块，以改善目前的Transformer架构，并提出了PAR Transformer。它需要比Transformer-XL减少35%的计算时间，通过使用前馈块替换约63%的自注意块来实现，并保留WikiText-103语言建模基准的困惑。我们在text 8和enwiki 8数据集以及BERT模型上进一步验证了我们的结果。
2021-05-17 cs.CL cs.LG
Constrained belief updates explain geometric structures in transformer representations
Simplex；BITS（超越理论科学研究所）
本研究证明Transformer通过约束贝叶斯信念更新实现最优预测，并理论预测了其注意力模式与表示几何结构，揭示了架构约束对算法实现的影响。
2025-10-15 cs.LG
Contextual Representation Flow Across Depth in State-Space and Transformer Architectures
Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）
本文比较了状态空间与变换器架构中上下文表示流，揭示了两者在表示传播和过度平滑机制上的差异，为长上下文推理模型设计提供指导。
2026-10-14 cs.CL cs.LG
Shared DIFF Transformer
Tsinghua University, Beijing, China（清华大学）；Donghua University, Shanghai, China（东华大学）
共享DIFF变换器通过引入共享基矩阵和低秩更新，减少参数冗余并提升效率，实现更优的噪声抑制和任务适应性。
2025-12-16 cs.LG
UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba
Dalian University of Technology（大连理工大学）；Qinghai University（青海大学）
本文提出UmambaTSF长期时间序列预测框架，结合U型MLP多尺度特征提取与Mamba长序列表示，采用精细残差和自适应设计，在保持线性时间复杂度和低内存消耗下实现SOTA性能。
2024-10-15 cs.LG
Skill Transformer: A Monolithic Policy for Mobile Manipulation
Georgia Tech（佐治亚理工学院）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究团队））
本文提出 Skill Transformer，通过条件序列建模与技能预测器实现端到端的高层技能和全身低层动作联合预测，在具身重排基准的困难场景中成功率达到基线的 2.5 倍。
2023-08-19 cs.LG
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；IPAL, IRL2955, Singapore（新加坡IPAL）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
该研究聚焦Transformer提示调优的记忆能力理论问题，证明其记忆信息量与提示长度呈线性增长关系，并首次形式化验证长上下文下性能下降的现象，揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG
Component and Dimension Sparsity in Transformer Refusal Mechanisms
UC Santa Cruz（加州大学圣克鲁兹分校）；UCLA（加州大学洛杉矶分校）；UC Berkeley（加州大学伯克利分校）
本研究通过分解四个开源模型的拒绝引导，发现拒绝机制在组件和维度两个层面呈稀疏性，由可识别的结构化机制组装而成，而非分散编码。
2026-10-07 cs.AI cs.CL cs.LG
TransClaw U-Net: Claw U-Net with Transformers for Medical Image Segmentation
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Ryerson University（瑞尔森大学）
近年来，计算机辅助诊断已成为一个越来越热门的话题。基于卷积神经网络的方法在医学图像分割和分类中取得了良好的效果。由于卷积运算的局限性，长期的空间特征往往不能准确地获得。因此，我们提出了一种TransClaw U-Net网络结构，它在编码部分将卷积运算与Transformer运算相结合。卷积部分用于提取浅层空间特征，以便于上采样后图像分辨率的恢复。Transformer部分用于对补丁进行编码，自注意力机制用于获取序列间的全局信息。解码部分保留了底部上采样结构，以获得更好的细节分割性能。在Synapse多器官分割数据集上的实验结果表明，TransClaw U-Net的性能优于其他网络结构。消融实验也证明了TransClaw U-Net的泛化性能。
2021-07-12 cs.AI cs.CV cs.LG
Fast attention mechanisms: a tale of parallelism
Columbia University（哥伦比亚大学）；Google Research（谷歌研究）
针对Transformer二次方复杂度限制，提出次二次方的近似最近邻注意力（ANNA），保留MPC模拟能力并近最优深度解决推理任务，且可模拟低秩transformer。
2025-09-10 cs.LG
RePAST: Relative Pose Attention Scene Representation Transformer
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Google Research（谷歌研究院）
针对SRT对输入视角顺序不具备不变性而难以应用于大规模场景的问题，提出RePAST，将成对相对相机位姿直接注入Transformer注意力机制，实现全局参考系不变性且不损失渲染质量。
2023-04-10 cs.AI cs.CV cs.GR
The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models
Skoltech（斯科尔科沃科技学院）；AIRI（人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；HSE University（高等经济大学）；SberAI（萨伯人工智能公司）；Samara National Research University（萨马拉国立研究大学）
本文研究Transformer编码器与解码器中嵌入的各向异性和内在维度变化，发现解码器各向异性呈钟形分布且集中于中间层，而内在维度在训练中先扩张后压缩，为理解两类架构的表示特性提供了新见解。
2024-02-26 cs.AI cs.CL cs.IT
Transformers Linearly Represent Highly Structured World Models
LaBRI, CNRS University of Bordeaux（LaBRI、CNRS 波尔多大学）
研究探讨了Transformer在训练过程中是否能构建任务的内部模型，并发现其内部表示结构与领域结构相匹配，通过Sudoku求解轨迹训练的Transformer展示了其内部计算机制和稀疏可解释的决策电路。
2026-05-13 cs.AI cs.LG
On Identifiability in Transformers
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
在本文中，我们深入研究了Transformer架构，通过研究其两个核心组件：自我注意力和上下文嵌入。特别是，我们研究了注意力权重和令牌嵌入的可识别性，以及将上下文聚合为隐藏令牌。我们发现，序列长度超过注意头尺寸，注意权重是不可识别的。我们提出有效注意作为一种补充工具，以改善解释性解释的基础上注意。此外，我们表明，输入标记在很大程度上保留了它们在整个模型中的身份。我们还发现证据表明，身份信息主要是在嵌入的角度编码，并随着深度逐渐减少。最后，我们展示了强混合的输入信息的生成上下文嵌入通过一种新的量化方法的基础上梯度属性。总的来说，我们表明，自我注意力分布是不能直接解释和目前的工具，以更好地理解和进一步研究Transformer模型。
2020-02-07 cs.CL cs.LG
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University（清华大学）；Sudo Privacy（Sudo隐私公司）
针对大语言模型隐私推理框架开销过高的问题，本文提出用隐私计算友好的近似算子替换Transformer中密集型算子，相比Iron实现5倍计算加速与80%通信开销降低，且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
FNetAR: Mixing Tokens with Autoregressive Fourier Transforms
X-Mechanics（X力学）；LiveRamp；Appliedinfo Partners（应用信息伙伴公司）；Salesforce（赛富时）；SamsungNEXT（三星NEXT）
在这篇文章中，我们研究了FNet算法的自回归推广，其中标准Transformer架构中的自注意层被替换为基于傅立叶变换的平凡稀疏均匀采样过程。使用Wikitext-103基准测试，我们证明了FNetAR在因果语言建模任务上保持了最先进的性能（25.8 ppl），而Transformer-XL基线（24.2 ppl）只有一半的自我注意层，从而为深度神经网络的多余性提供了进一步的证据。自回归傅立叶变换可能用于大多数基于变换器的时间序列预测模型的参数减少。
2021-07-22 cs.CL cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research（高通人工智能研究院）
提出Mixture-of-Control（MoC）框架，通过稀疏混合专家机制自适应融合局部和全局控制信号，增强Transformer块间信息交换，实现高效微调。
2026-10-22 cs.AI cs.LG
Arbitrary Shape Text Detection using Transformers
University of Waterloo（滑铁卢大学）
最近的文本检测框架需要几个手工制作的组件，例如锚点生成、非最大抑制（NMS）或多个处理阶段（例如标签生成）来检测任意形状的文本图像。相比之下，我们提出了一种基于使用Transformers（DETR）的检测的端到端可训练架构，该架构在任意形状的文本检测方面优于以前的最先进方法。在其核心，我们提出的方法利用限界框损失函数，准确地测量任意检测到的文本区域的比例和纵横比的变化。这是可能的，因为混合形状表示从贝塞尔曲线，进一步分裂成分段多边形。然后，建议的损失函数是在分段多边形上定义的广义分割相交合并损失的组合，并通过Bezier曲线的控制点上的Smooth- $\ln$回归进行正则化。我们使用Total-Text和CTW-1500数据集对弯曲文本进行评估，使用MSRA-TD 500和ICDAR 15数据集对多方向文本进行评估，并表明所提出的方法在任意形状的文本检测任务中优于以前的最先进方法。
2022-02-22 cs.CV cs.LG
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
SKLP, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Advanced Interdisciplinary Sciences（前沿交叉科学研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
该研究针对循环Transformer，发现其学习计算不等于学习保留或复用，训练时监督随机位置、随机化循环次数可提升答案保留率，避免过度思考无法使答案首次出现时的状态可复用。
2026-10-14 cs.LG
PCA-Featured Transformer for Jamming Detection in 5G UAV Networks
UC3M - Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；ISCTE – Instituto Universitário de Lisboa（里斯本大学学院）；Tyndall National Institute（廷德尔国家研究所）；IT – Instituto de Telecomunicações（电信研究所）
本文提出一种融合PCA特征精炼与熵不确定性正则化的U形Transformer架构，用于5G无人机网络干扰检测，并通过自定义位置编码、批量调度和分块技术将训练速度提升十倍，在NLoS场景下达到85.06%的检测率。
2025-03-11 cs.LG
Transformers without Normalization
FAIR, Meta（FAIR与Meta公司）；New York University（纽约大学）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）
本研究提出逐元素运算Dynamic Tanh（DyT）以替换Transformer中的归一化层，在多类任务与领域中实现了匹配或超越带归一化模型的性能，挑战了归一化层不可或缺的传统认知。
2025-06-14 cs.AI cs.CL cs.CV
A Transformer-based Generative Adversarial Network for Brain Tumor Segmentation
Beijing Institute of Technology（北京理工大学）
脑肿瘤分割仍然是医学图像分割任务中的一个挑战。随着Transformer在各种计算机视觉任务中的应用，Transformer块显示出在全局空间中学习长距离依赖的能力，这与CNN是互补的。在本文中，我们提出了一种新的基于transformer的生成对抗网络自动分割脑肿瘤与多模态MRI。我们的架构由一个生成器和一个训练器组成，它们在最小-最大游戏进度中进行训练。该生成器是基于一个典型的“U形”的编码器-解码器架构，其底层是由Transformer块与resnet。此外，发电机采用深度监控技术进行训练。我们设计的神经网络是一个基于CNN的多尺度$L_{1}$损失网络，它被证明是有效的医学语义图像分割。为了验证我们的方法的有效性，我们在BRATS 2015数据集上进行了实验，实现了与以前最先进的方法相当或更好的性能。
2022-07-29 cs.LG eess.IV
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University（雅盖隆大学）；Poznan University of Technology（波兹南理工大学）
我们提出了一种新的方法来稀疏注意力的Transformer模型，学习选择最信息的令牌表示在训练过程中，从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子，算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明，即使是我们简单的基线也可以达到当前的SOTA，并且通过可训练的池化，我们可以保持其最高质量，同时在训练过程中$1.8\times$更快，在推理过程中$4.5\times$更快，在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
Aleph Alpha Research（Aleph Alpha研究院）
本研究提出分层自回归Transformer，结合字符级与词级处理，避免固定词汇表，在70亿参数规模下匹配子词模型性能，同时显著增强对输入扰动的稳健性，并在跨语言持续预训练中实现近两倍加速和更优目标语言性能。
2025-01-20 cs.AI cs.CL cs.LG
IceFormer: Accelerated Inference with Long-Sequence Transformers on CPUs
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）
IceFormer 提出一种无需重训练即可在 CPU 上加速长序列 Transformer 自注意力推理的方法，在保持 98.6%-99.6% 准确率的同时实现 2.73-7.63 倍加速。
2024-05-05 cs.LG
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
我们提出了一个有效的设计基于transformer的多变量时间序列预测和自我监督表示学习模型。它基于两个关键组件：（i）将时间序列分割成子序列级补丁，这些补丁用作Transformer的输入令牌;（ii）通道独立性，其中每个通道包含单个单变量时间序列，该序列在所有序列中共享相同的嵌入和Transformer权重。补丁设计自然有三重好处：本地语义信息保留在嵌入;在相同的回看窗口下，注意力地图的计算和内存使用量二次减少;模型可以参加更长的历史。我们的通道独立补丁时间序列Transformer（PatchTST）可以提高长期的预测精度显着相比，SOTA Transformer为基础的模型。我们还将我们的模型应用于自我监督的预训练任务，并获得了出色的微调性能，在大型数据集上优于监督训练。将一个数据集上的掩码预训练表示转移到其他数据集上也会产生SOTA预测准确性。代码可从以下网址获得：https://github.com/yuqinie98/PatchTST。
2023-03-05 cs.AI cs.LG
Continual Learning with Low Rank Adaptation
Amazon Web Services（亚马逊云科技）
本文提出CoLoR，将低秩适应（LoRA）应用于持续学习，在领域增量学习基准上以与提示微调方法相当的参数效率取得了最先进性能。
2023-11-29 cs.AI cs.LG
A Fast Post-Training Pruning Framework for Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Samsung Semiconductor, Inc.（三星半导体公司）
剪枝是减少Transformer模型巨大推理开销的有效方法。然而，修剪Transformers的先前工作需要重新训练模型。这可能会给模型部署增加高培训成本和高复杂性，使其难以在许多实际情况下使用。为了解决这个问题，我们提出了一个快速的训练后修剪框架Transformers，不需要任何再培训。给定资源约束和样本数据集，我们的框架使用结构化稀疏方法自动修剪Transformer模型。为了保持高精度而无需重新训练，我们引入了三种新技术：（i）轻量级掩码搜索算法，该算法根据Fisher信息找到要修剪的头部和过滤器;（ii）补充搜索算法的掩码重排;以及（iii）重建每层输出激活的掩码调整。我们将我们的方法应用于BERT基础和DistilBERT，并在GLUE和SQuAD基准测试中评估其有效性。我们的框架实现了高达2.0倍的FLOP减少和1.56倍的推理延迟加速，同时保持了< 1%的准确性损失。重要的是，我们的框架在单个GPU上不到3分钟就可以修剪Transformers，这比现有的重新训练模型的修剪方法快了两个数量级。
2022-10-17 cs.CL cs.LG
Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation
Oregon State University（俄勒冈州立大学）
本文提出隐式记忆Transformer，用上一段注意力输出作为左上下文替代记忆库，在MuST-C上以几乎相同的翻译质量显著加速同声传译编码器计算。
2023-07-03 cs.CL cs.LG
Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows
Apple（苹果公司）
本文提出TarFlowLM框架，将语言建模从离散token空间转向连续潜在空间，利用基于Transformer的自回归归一化流实现双向上下文建模、灵活分块生成和分层多遍生成，并在语言建模基准上验证了其灵活性和性能。
2025-07-01 cs.CL cs.LG
Can Transformers Learn Sequential Function Classes In Context?
本研究通过引入滑动窗口序列函数类，在玩具级GPT-2模型上验证了Transformer能在上下文中学习非文本序列函数，且对标签噪声具有鲁棒性，为理解ICL的序列性机制奠定基础。
2023-12-21 cs.AI cs.CL cs.LG
