Reactive Transformer (RxT) -- Stateful Real-Time Processing for Event-Driven Reactive Language Models
针对传统Transformer无状态、长对话成本与延迟高的问题，提出事件驱动的Reactive Transformer (RxT)架构，通过固定大小短期记忆和生成-记忆更新解耦，将对话成本从二次降为线性，实现低延迟有状态长对话，实验验证其性能更优、延迟恒定。
2025-10-03 cs.AI cs.CL cs.LG
Beating Transformers using Synthetic Cognition
Avatar Cognition（Avatar认知）
本文提出一种扩展合成认知以处理序列的机制，并在 DNA 序列分类任务上超越 Transformer 架构和 DNA 基础模型，验证了合成认知在上下文感知反应式行为中的有效性。
2025-07-02 cs.AI cs.LG
A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning
German Aerospace Center (DLR)（德国航空航天中心）
研究如何生成适应变化的机器人操作策略，基于策略融合与不确定性量化提出上下文自适应框架，用LfD获取策略并结合MoE提升鲁棒性，在多种场景下评估该方法。
2026-07-29 cs.AI cs.LG cs.RO
FLAME: Adaptive and Reactive Concept Drift Mitigation for Federated Learning Deployments
Digital Catapult（数字 Catapult）；University of Bristol（布里斯托尔大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对联邦学习物联网环境中的概念漂移挑战，提出新型方案FLAME，依托联邦学习架构贴合真实流水线，在带宽与隐私约束下维持模型性能，显著降低计算与通信开销，在大规模IoT部署中F1分数与资源利用率表现优于现有轻量级方法。
2024-10-07 cs.AI cs.LG
Reactive Flux Matching: Mechanism Discovery and Adaptive Sampling of Rare Events
CMU-Pitt Program in Computational Biology（CMU-匹兹堡计算生物学项目）；Dept. of Computational & Systems Biology University of Pittsburgh（计算与系统生物学系匹兹堡大学）；Machine Learning Department Dept. of Mathematical Sciences Carnegie Mellon University（机器学习系数学科学系卡内基梅隆大学）；Courant Institute, New York University（纽约大学Courant研究所）；Machine Learning Lab Capital Fund Management（机器学习实验室资本基金管理）
提出通量匹配框架，从反应轨迹数据中学习电流速度 u(z) 和标量势 h(z)，用于识别反应路径和反应坐标，并实现自适应采样。
2026-09-09 cs.LG physics.bio-ph physics.chem-ph
The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization
The Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士意大利语区高等专业学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
尽管在广泛的应用领域取得了进展，但Transformers在系统推广方面的成功有限。在算法任务的情况下，这种情况尤其令人沮丧，在这种情况下，他们通常无法找到直观的解决方案，将相关信息在正确的时间路由到由Transformer列表示的网格中的正确节点/操作。为了便于学习有用的控制流，我们提出了两个修改的Transformer架构，复制门和几何注意。我们的新型神经数据路由器（NDR）在经典的组合查表任务上实现了100%的长度泛化准确性，在简单的算术任务上也实现了近乎完美的准确性，并在计算深度上实现了ListOps测试的新变体。NDR的注意力和门控模式往往可以解释为神经路由的直观形式。代码是公开的。
2022-05-05 cs.AI cs.LG cs.NE
FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity
NUDT（南京理工大学）
研究数据异构下联邦Transformer训练问题，提出FedACT方法，先形成全局校正自适应方向，再依坐标信任分数重分配更新幅度，实验表明其优于基线，能提升跨客户端方向一致性。
2026-07-07 cs.AI cs.LG
Adaptive Financial Transformer with Regime-Gated Attention for Stock Return Prediction
Dishan Sarkar
提出自适应金融Transformer，通过机制编码器、自适应门控网络和金融上下文模块动态调整注意力，在降低模型复杂度15.2%的同时提升参数效率，实现可解释的股票收益预测。
2026-06-28 cs.AI cs.LG
Enhancing Electricity-System Resilience with Adaptive Robust Optimization and Conformal Uncertainty Characterization
Heinz College of Information Systems and Public Policy, Carnegie Mellon University（信息系统与公共政策学院，卡内基梅隆大学）；Carnegie Mellon Electricity Industry Center（卡内基梅隆电力产业中心）；Wilton E. Scott Institute for Energy Innovation（威利特·E·斯科特能源创新研究所）；Department of Engineering and Public Policy, Carnegie Mellon Electricity Industry Center（工程与公共政策系，卡内基梅隆电力产业中心）；Department of Electrical and Computer Engineering, Heinz College of Information Systems and Public Policy（电气与计算机工程系，信息系统与公共政策学院）；Department of Integrated Systems Engineering, The Ohio State University（整合系统工程系，俄亥俄州立大学）
针对极端天气下电力系统弹性提升的需求，本文提出整合主动措施、对抗性扰动与被动响应的三层优化模型，结合共形预测构建无分布扰动不确定性集，通过对偶理论与Bender's分解求解，实验证明其性能优于传统方法。
2025-10-01 cs.LG
Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）
提出深度反应式策略（DRP），一种基于点云输入、以预训练Transformer策略IMPACT为核心的视觉-运动神经策略，结合师生微调与DCP-RMP动态目标提议，在动态杂乱环境中实现高成功率反应式运动规划。
2025-09-08 cs.AI cs.CV cs.LG
Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Yale University（耶鲁大学）
基于图的交通流预测在交通系统、计算机网络等领域有着广泛的应用。由于复杂的时空相关性和非线性的交通模式，交通预测具有很大的挑战性。现有的工作大多是通过考虑空间相关性和时间相关性分别建模这种时空依赖性，而不能建模的直接时空相关性。受最近在图域中成功的Transformers的启发，在本文中，我们提出了直接使用本地多头自注意力的时空图上的跨时空相关性建模。为了降低时间复杂度，我们将注意力感受野设置为空间相邻的节点，并且我们还引入了自适应图来捕获隐藏的时空依赖性。基于这些注意力机制，我们提出了一种新的自适应图时空Transformer网络（ASTTN），它堆叠多个时空注意力层，以应用自注意力的输入图，其次是线性层的预测。在公共交通网络数据集METR-LA PEMS-BAY、PeMSD 4和PeMSD 7上的实验结果表明了该模型的优越性能。
2022-07-09 cs.AI cs.LG
Transformers as Bayesian In-Context Experimenters: Smoothness-Adaptive Efficient ATE Estimation
Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）
提出贝叶斯上下文实验者框架，利用Transformer模仿贝叶斯后验Neyman分配策略，通过注意力机制和投影梯度下降实现平滑自适应的平均处理效应高效估计。
2026-09-04 cs.AI cs.LG
Hierarchical Graph Transformer with Adaptive Node Sampling
University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent America（美国腾讯公司）
Transformer架构在包括自然语言处理和计算机视觉在内的多个领域取得了显著的成功。然而，当涉及到图结构数据时，Transformers还没有达到有竞争力的性能，特别是在大型图上。本文指出了当前图变换器的主要不足：（1）现有图Transformers中的节点采样策略与图的特征和训练过程无关。(2)大多数采样策略只关注局部邻居，而忽略了图中的长程依赖关系。我们在合成数据集上进行实验研究，以表明现有的采样策略是次优的。为了解决上述问题，我们制定了图Transformer中节点采样的优化策略作为一个对手的强盗问题，其中的奖励与注意力权重相关，并可以在训练过程中变化。同时，我们提出了一个分层的注意力计划与图粗化捕捉的远程相互作用，同时降低计算复杂性。最后，我们在真实世界的数据集上进行了广泛的实验，以证明我们的方法优于现有的图Transformers和流行的GNN。
2022-10-08 cs.AI cs.LG
STAS: Spatio-Temporal Adaptive Computation Time for Spiking Transformers
Sungkyunkwan University（顺天乡大学）
针对脉冲Transformer存在的高延迟、计算开销及现有动态计算方法分散问题，提出STAS框架，通过I-SPS模块建立时间稳定性并结合A-SSA模块实现时空二维token剪枝，在多数据集上降低能耗且提升准确率。
2025-08-19 cs.AI cs.CV cs.LG
Consistent Accelerated Inference via Confident Adaptive Transformers
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们开发了一种新的方法，自信地加速推理的大型和昂贵的多层Transformers，现在无处不在的自然语言处理（NLP）。摊销或近似计算方法提高了效率，但可能带来不可预测的性能成本。在这项工作中，我们提出了CAT-自信的自适应Transformers -在其中，我们同时提高计算效率，同时保证与原始模型的一致性与高置信度的指定程度。我们的方法在中间层之上训练额外的预测头，并使用Meta一致性分类器动态决定何时停止向每个输入分配计算工作。为了校准我们的早期预测停止规则，我们制定了一个独特的扩展共形预测。我们证明了这种方法在四个分类和回归任务的有效性。
2021-09-09 cs.AI cs.CL cs.LG
When Does Depth Matter For In-Context Learning? Adaptive Inference in Deep Transformers
Joseph Henry Laboratories of Physics, Princeton University（普林斯顿大学约瑟夫·亨利物理实验室）
提出深度变换器作为平均场交互系统实现分布式推理的理论，利用函数向量逐层推断潜在上下文变量，在上下文回归任务中预测非高斯分层结构与深度的关系，并通过约束线性注意力变换器验证。
2026-09-29 cs.AI cs.LG physics.app-ph
Global-Lens Transformers: Adaptive Token Mixing for Dynamic Link Prediction
针对基于Transformer的动态图模型因自注意力导致复杂度高、可扩展性受限的问题，提出无注意力的GLFormer框架，通过自适应令牌混合器和分层聚合模块提升效率，在六个基准上实现SOTA性能。
2025-11-16 cs.AI cs.LG
Adaptive Ensembles of Fine-Tuned Transformers for LLM-Generated Text Detection
Cornell University（康奈尔大学）；Meituan（美团）；University of South Florida（南佛罗里达大学）
针对单一模型在LLM生成文本检测中泛化能力有限的问题，提出自适应集成算法结合五个微调Transformer模型，显著提升了分布内和分布外数据集的检测准确率。
2024-03-20 cs.AI cs.LG
Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging
School of Biological Science and Medical Engineering（生物科学与医学工程学院）；Southeast University（东南大学）；University of Bath（巴斯大学）；Donders Institute for Brain, Cognition and Behaviour（脑、认知与行为研究所）；Radboud University Medical Center（拉德堡德大学医学中心）；School of Computer Science & Software Engineering（计算机科学与软件工程学院）
本文提出利用随机初始化的变换器作为自适应序列平滑器，通过局部时间连续性提升睡眠分期性能，证明架构偏置而非参数学习是主要贡献。
2026-05-11 cs.AI cs.LG
RingFormer: Rethinking Recurrent Transformer with Adaptive Level Signals
UNIST（蔚山国家科学技术研究院）；IMML Lab（IMML实验室）
针对Transformer参数规模大且现有参数共享/循环方法性能不足的问题，提出RingFormer：通过单Transformer层环形重复处理输入并利用低秩矩阵生成输入相关层级信号，实现大幅参数压缩同时保持翻译、图像分类等任务高性能。
2025-02-18 cs.AI cs.LG
Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning
Korea University（高丽大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Texas A&M University-Commerce（德州农工大学 Commerce 分校）；Qualcomm AI Research（高通人工智能研究部）；Stanford（斯坦福大学）；KAIST（韩国科学技术院）；Qualcomm Vietnam Company Limited（高通越南有限公司）
本文提出神经ODE Transformer模型，通过非自治神经常微分方程参数化Transformer权重为连续层索引的函数，经谱分析和李雅普诺夫指数提升可解释性，性能相当或更优且支持灵活微调。
2025-04-16 cs.AI cs.LG
Epileptic Seizure Prediction Using Patient-Adaptive Transformer Networks
Communication Engineering Department National Engineering School of Tunis Tunis El Manar University；REGIM-Lab, University of Sfax, National Engineering School of Sfax (ENIS), BP 1173, Sfax, 3038, Tunisia National Engineering School of Tunis Tunis El Manar University
本文提出一种患者自适应变换器框架，通过自监督预训练和患者特定微调实现短时间尺度癫痫发作预测，实验表明方法在TUH EEG数据集上验证准确率超过90%。
2026-03-26 cs.AI cs.LG
Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost
LG AI Research（LG人工智能研究院）；KAIST（韩国科学技术院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
为了克服自我注意的二次成本，最近的工作提出了各种稀疏注意模块，其中大部分属于两组之一：1）手工制作的模式下的稀疏注意和2）完全注意，然后是softmax的稀疏变体，如$α$ -entmax。不幸的是，第一组缺乏对数据的适应性，而第二组仍然需要二次训练成本。在这项工作中，我们提出了SBM-变压器，一个模型，解决了这两个问题，赋予每个注意头与一个混合成员随机块模型（SBM）。然后，每个注意头数据自适应地采样二分图，其邻接被用作每个输入的注意掩码。在反向传播过程中，直通估计器用于使梯度超出离散采样步骤，并基于预测损失调整采样边缘的概率。因此，前向和后向成本与边的数量成线性关系，每个注意力头也可以基于输入灵活地选择边的数量。通过评估图的分布，我们从理论上证明了SBM-Transformer是期望中任意序列到序列函数的通用逼近器。LRA和GLUE基准下的实证评估表明，我们的模型优于以前的有效的变种，以及充分注意到原来的Transformer。我们的实现可以在https://github.com/sc782/SBM-Transformer中找到。
2022-10-27 cs.AI cs.LG
Distance-Misaligned Training in Graph Transformers and Adaptive Graph-Aware Control
University of Helsinki（赫尔辛基大学）
研究图变换器中距离偏差训练与自适应图感知控制，通过合成节点分类基准发现任务局部性影响图距离偏置，并验证自适应控制器在混合和局部任务中的有效性。
2026-04-24 cs.AI cs.LG
Adaptive Multi-Expert Graph Transformer for Interpretable EEG-Based Diagnostics
University of Central Florida（中佛罗里达大学）
研究基于EEG的诊断问题，提出空间多专家图变换器，将EEG记录建模为动态功能连接图序列，用wPLI估计连接性，经层次图编码和多专家架构实现亚型感知推理，实验证明该方法在异常检测上性能良好且具可解释性。
2026-07-23 cs.LG
Adaptive Attention Span in Transformers
Facebook AI Research（脸书人工智能研究院）
我们提出了一种新的自我注意机制，可以学习其最佳的注意广度。这使我们能够显著扩展Transformer中使用的最大上下文大小，同时保持对它们的内存占用和计算时间的控制。我们展示了我们的方法在字符级语言建模任务上的有效性，通过使用最大8k字符的上下文，我们在text8和enwiki8上实现了最先进的性能。
2019-08-08 cs.LG stat.ML
Transformer-Based Cognitive Radio: Adaptive Modulation Strategies Using Transformer Models
University of Bologna（博洛尼亚大学）
本文利用Transformer模型生成新的调制方案，展示了其在提升认知无线电系统性能方面的有效性。
2026-01-15 cs.LG
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；University of Waterloo（滑铁卢大学）
我们使用神经常微分方程制定的Transformer，这是深度自适应的意义上说，一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说，我们考虑的简单问题，确定奇偶校验的二进制序列，标准的Transformer具有已知的限制，只能通过使用足够大的层数或注意头克服。然而，我们发现，深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质，并提供解释为什么会这样。接下来，我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化，但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer，可能会导致提高精度和效率的序列建模任务，如神经机器翻译。
2020-10-22 cs.CL cs.LG
Adaptive Transformers for Learning Multimodal Representations
Transformers的使用已经从学习语言语义发展到形成有意义的语言表征。这些架构通常过于参数化，需要大量的计算。在这项工作中，我们扩展了自适应方法，以了解更多关于模型的可解释性和计算效率。具体来说，我们研究注意广度，稀疏和结构化的辍学方法，以帮助了解他们的注意力机制如何扩展视觉和语言任务。我们进一步表明，这些方法可以帮助我们更多地了解网络如何感知输入序列的复杂性，不同模态的稀疏性偏好以及其他相关现象。
2020-07-08 cs.CL cs.LG
AdaViT: Adaptive Tokens for Efficient Vision Transformer
NVIDIA（英伟达）
我们介绍了A-ViT，一种自适应地调整视觉Transformer（ViT）的推理成本的方法，用于不同复杂度的图像。A-ViT通过自动减少视觉Transformer中的令牌数量来实现这一点，这些令牌在推理过程中在网络中进行处理。为此，我们重新制定了自适应计算时间（ACT），延长停机时间以丢弃冗余的空间标记。视觉Transformer的吸引人的架构属性使我们的自适应令牌减少机制，以加快推理，而无需修改网络架构或推理硬件。我们证明了A-ViT不需要额外的参数或子网络来停止，因为我们基于原始网络参数来学习自适应停止。我们进一步引入了分布式先验正则化，与先验ACT方法相比，它可以稳定训练。在图像分类任务（ImageNet 1 K）上，我们证明了我们提出的A-ViT在过滤信息丰富的空间特征和减少整体计算方面具有很高的效率。所提出的方法将DeiT-Tiny的吞吐量提高了62%，DeiT-Small的吞吐量提高了38%，而精度仅下降了0.3%，大大优于现有技术。项目页面https://a-vit.github.io/
2022-10-05 cs.CV cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；University of Technology Sydney（悉尼科技大学）
针对交通预测中捕捉复杂时空模式的难题，本研究提出时空自适应嵌入组件，搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA，验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
Accelerating Vision Transformers with Adaptive Patch Sizes
Carnegie Mellon University（卡内基梅隆大学）；KAIST（韩国科学技术院）；General Robotics（通用机器人）
本文提出自适应补丁变换器APT，通过在图像内使用不同大小的补丁来减少输入token数量，从而加速ViT的推理和训练，提升吞吐量并保持性能。
2026-04-22 cs.AI cs.CV cs.LG
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology（华中科技大学）
通过将图的结构信息融入到Transformers中，图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略，例如节点对的拉普拉斯特征向量和最短路径，来保留节点的结构特征，并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图，这种预定义的规则很难提取信息丰富的图结构特征，限制了模型的学习能力。为此，我们提出了一个自适应图Transformer，称为多邻域注意基于图Transformer（MNA-GT），它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核，基于邻域的不同跳数构造多个注意力核，使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式，MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性，以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验，实证结果表明，MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
Pathformer: Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Aalborg University（奥尔堡大学）
针对现有时间序列预测Transformer尺度受限的问题，提出整合双注意力与自适应路径的多尺度模型Pathformer，在11个真实数据集上取得最优性能且泛化性更强。
2024-09-15 cs.LG
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.（NAVER公司Clova AI）；New York University（纽约大学）
尽管Transformers具有令人印象深刻的精度，但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法，以提高推理效率需要一个单独的模型，为每一个可能的计算预算。在本文中，我们扩展了POWER-BERT（Goyal等人，2020），并提出了长度自适应Transformer，可用于各种推理场景后，一次性训练。我们用LengthDrop（dropout的一种结构变体）训练一个Transformer，它随机确定每一层的序列长度。然后，我们进行多目标的进化搜索，找到一个长度配置，最大限度地提高精度，并在任何给定的计算预算的效率指标最小化。此外，我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程，暂时丢弃字向量在中间层和恢复在最后一层，如果必要的。我们实证验证所提出的方法的效用，通过展示优越的准确性和效率的权衡下，各种设置，包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
KIIT（卡林加工业技术学院）
研究Transformer中归一化策略选择问题，通过实验发现不同任务中静态与自适应归一化的表现差异，提出AutoNorm-S训练策略，通过门控冻结计划减轻优化不稳定性，在多基准测试中取得良好性能。
2026-07-14 cs.LG
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种分布式训练框架，通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性，实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
Depth-Adaptive Transformer
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Facebook AI Research（Facebook人工智能研究）
用于大规模任务的现有技术的序列到序列模型对每个输入序列执行固定数量的计算，而不管它是容易还是难以处理。在本文中，我们训练Transformer模型，它可以在网络的不同阶段进行输出预测，我们研究了不同的方法来预测一个特定的序列需要多少计算。与Universal Transformers中迭代应用同一组层的动态计算不同，我们在每一步应用不同的层来调整计算量和模型容量。在IWITOS德语-英语翻译上，我们的方法与调好的基线Transformer的准确性相匹配，同时使用不到四分之一的解码器层。
2020-02-14 cs.CL cs.LG
Adaptive Token Merging for Efficient Transformer Semantic Communication at the Edge
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Khalifa University（卡里马大学）
本文提出一种无需训练的自适应token合并框架，通过贝叶斯优化在运行时动态合并冗余token，在保持模型准确率的同时显著降低边缘设备的计算与通信成本，并增强隐私鲁棒性。
2025-09-12 cs.AI cs.CV cs.LG
Adaptive Rank Allocation: Speeding Up Modern Transformers with RaNA Adapters
Institute of Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
本文提出自适应秩分配框架及 RaNA 适配器，通过低秩分解与自适应掩码在线性层上高效分配计算，克服神经元自适应方法依赖稀疏激活和不兼容注意力层等局限，在减少约44% FLOPs的同时显著提升困惑度和准确率。
2025-05-06 cs.LG
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
Layer 6 AI；University of Toronto（多伦多大学）；The Vector Institute（向量研究所）
提出MultiResFormer，通过自适应选择最优patch长度并利用多分支周期性编码，在长期和短期预测中优于现有Transformer和CNN基线，且参数更少。
2024-02-08 cs.LG
Adaptive Point Transformer
Sapienza University of Rome（罗马第一大学）；Leonardo Labs（莱昂纳多实验室）
针对点云Transformer随点云规模二次缩放带来的可扩展性问题，提出带自适应令牌选择和预算机制的AdaPT，在保证精度的同时降低计算复杂度，推理时可灵活调计算成本。
2024-01-26 cs.CV cs.LG
Extreme Adaptive Transformer for Time Series Forecasting
Department of Computer Science, Missouri State University（密苏里州立大学计算机科学系）
针对时间序列中罕见极端事件预测难题，提出Exformer框架，通过包含局部、步长和极端三个稀疏分量的极端自适应注意力机制，显式建模正常与极端事件的时间依赖，在四个水文数据集上实现更优的3天预测性能。
2026-07-03 cs.LG
Adaptive Model Compression (AMC): Saliency-Driven Resource Allocation for Ultra-Low-Power Transformer Inference
Apple USA（苹果公司（美国））
研究在资源受限边缘设备部署大规模变压器模型的挑战，提出基于令牌重要性动态分配资源的自适应模型压缩框架AMC，实验证明该方法能降低能耗、提高吞吐量，有效延长移动设备电池寿命，精度略有下降。
2026-07-14 cs.AI cs.AR cs.IR
Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（日本Advanced Intelligence Project研究中心）；Kyoto University（京都大学）
本文提出基于谱适应的深度变换器泛化界，通过层间Schatten量分析谱结构，实现在训练后动态调整谱复杂度与深度维度的平衡，实验表明其泛化能力优于传统范数方法。
2026-11-09 cs.LG stat.ML
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University（复旦大学数据科学学院）
提出基于微分包含的SPP剪枝方法，在单次剪枝阶段内实现任意比例的Transformer剪枝，通过低秩压缩配对模块，兼顾性能与灵活性。
2025-02-28 cs.LG
Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts
University of Cambridge（剑桥大学）
研究循环变换器中自适应深度，通过轨迹——读出视角，涵盖合成任务与大规模检查点。发现固定先验深度监督可产生有益轨迹，简单读出表现良好，拟合冻结轨迹定位失败原因，Ouro评估有类似情况，重新定义自适应深度为联合问题。
2026-07-24 cs.LG
Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
许多机器人应用程序需要代理在部分可观察的环境中执行长期任务。在这样的应用中，任何步骤的决策都可能依赖于过去很久以前收到的观察结果。因此，能够正确地记忆和利用长期的历史是至关重要的。在这项工作中，我们提出了一种新的基于内存的政策，命名为场景内存Transformer（SMT）。所提出的策略嵌入并添加到内存中的每个观察，并使用注意力机制，以利用时空依赖性。该模型是通用的，可以通过长片段的强化学习进行有效训练。在一系列视觉导航任务上，SMT表现出优于现有的反应式和基于内存的策略的性能。
2019-03-09 cs.CV cs.LG cs.RO
AdaPTwin: Low-Cost Adaptive Compression of Product Twins in Transformers
Stanford University（斯坦福大学）
本文提出AdaPTwin低秩自适应压缩方法，联合压缩Transformer注意力层中的产品相关权重矩阵对，仅需8小时语音数据和20分钟微调即可将Whisper系列模型压缩45%且词错误率增加不到2%。
2024-06-13 cs.LG cs.SD eess.AS
AdaMixT: Adaptive Weighted Mixture of Multi-Scale Expert Transformers for Time Series Forecasting
School of Computer Science, Peking University（北京大学计算机科学系）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；Tsinghua University（清华大学）
AdaMixT通过门控网络动态融合多尺度分块、通用预训练模型与领域特定模型，解决了现有多元时间序列预测中单尺度特征提取和融合不足的问题，并在多个基准上验证了有效性。
2025-09-09 cs.LG
Spatially-Adaptive Conformal Graph Transformer for Indoor Localization in Wi-Fi Driven Networks
Department of Computer Science, The University of Vermont（佛罗里达大学计算机科学系）；Department of Computer Science & Engineering, American University of Sharjah（阿曼大学计算机科学与工程系）
本文提出SAC-GT框架，通过空间自适应符合预测方法提升Wi-Fi驱动网络中室内定位的精度与可靠性。
2026-01-29 cs.LG eess.SP
Mitigating Partial Observability in Adaptive Traffic Signal Control with Transformers
University of Toronto（多伦多大学）；Ben-Gurion University of the Negev（本-古里安大学）
针对自适应交通信号控制中部分可观测性导致的控制效果受限问题，提出集成基于Transformer的控制器并优化训练策略，可捕捉历史观测信息以优化控制策略、改善交通流，为城市交通管理提供新方案。
2024-09-16 cs.LG cs.SY eess.SY
Universal Transformer Hawkes Process with Adaptive Recursive Iteration
China University of Petroleum（中国石油大学）
异步事件序列广泛存在于自然界和人类活动中，如地震记录、用户在社交媒体上的活动等，如何从这些看似杂乱无章的数据中提取信息一直是研究者关注的课题，其中最有用的模型之一是点过程模型，并在此基础上取得了许多值得注意的成果.此外，近年来，基于神经网络，特别是递归神经网络（RNN）的点过程模型被提出，与传统模型相比，其性能有了很大的提高。受Transformer模型不需要递归和卷积结构就能高效学习序列数据的启发，提出了Transformer Hawkes过程，并取得了最新的性能。然而，有一些研究证明，在Transformer中重新引入递归计算可以进一步提高Transformers的性能。因此，我们提出了一种新的Transformer Hawkes过程模型--通用Transformer Hawkes过程（UTHP），它包含了递归机制和自注意机制，并且为了提高模型的局部感知能力，我们还在位置前馈部分引入了卷积神经网络（CNN）。我们在几个数据集上进行实验，以验证UTHP的有效性，并探讨引入递归机制后的变化。在多个数据集上的实验表明，与现有的模型相比，新模型的性能有一定的提高。
2021-12-29 cs.LG
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen（瑞典公共就业服务局）；(Swedish Public Employment Service)（瑞典公共就业服务局（注：括号内为英文机构名的中文翻译补充，实际机构名以英文为准））
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型，通常需要在优化超参数空间中进行搜索。特别是，需要根据数据集大小调整训练epoch的数量。在本文中，我们介绍了自适应微调，这是一种替代方法，使用提前停止和自定义学习率调度来动态调整训练时期的数量，以数据集的大小。对于命名实体识别的示例用例，我们表明，我们的方法不仅使超参数搜索相对于训练时期的数量冗余，而且还导致性能，稳定性和效率方面的改进结果。这尤其适用于小数据集，在这种情况下，我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
