Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
NVIDIA（英伟达）
研究百万令牌上下文下MTP草稿头成本过高问题，提出窗口化MTP方法，仅对草稿注意力应用滑动窗口等，可降低解码成本、改善延迟，在多种架构上效果显著，还能回收未读取草稿键值。
2026-11-02 cs.CL cs.LG cs.PF
Differentiable architecture search with multi-dimensional attention for spiking neural networks
Nanjing Institute of Intelligent Technology（南京智能技术研究院）；School of Integrated Circuits, University of Chinese Academy of Sciences（中国科学院大学集成电路学院）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）
针对脉冲神经网络直接沿用人工神经网络结构导致性能次优的问题，提出结合多维度注意力的可微架构搜索方法MA-DARTS，在相同参数下实现分类任务SOTA性能，同时监测了模型脉冲数量。
2024-11-01 cs.AI cs.LG cs.NE
Blurry Window Attention
Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世））；Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳））
提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。
2026-05-31 cs.AI cs.LG
Sliding Window Attention Training for Efficient Large Language Models
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）；Jarvis Research Center, Tencent YouTu Lab（腾讯优图实验室研究部）；Westlake University（西湖大学）；University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
本文提出SWAT方法，通过滑动窗口注意力训练、用sigmoid替代softmax并结合ALiBi与旋转位置嵌入，在保留Transformer架构的同时实现高效长上下文处理，在八个基准上达到SOTA性能。
2025-06-04 cs.AI cs.CL cs.LG
Frustratingly Short Attention Spans in Neural Language Modeling
University College London（伦敦大学学院）
神经语言模型使用即时标记历史的潜在表示来预测下一个标记。最近，已经提出了在可微记忆上用注意力机制增强神经语言模型的各种方法。为了预测下一个令牌，这些模型从最近历史的记忆中查询信息，这可以促进学习中长期依赖性。然而，在记忆增强神经语言模型中使用的常规注意力机制在每个时间步产生单个输出向量。该向量既用于预测下一个令牌，也用于令牌历史的可微存储器的键和值。在本文中，我们提出了一个神经语言模型的关键值注意力机制，输出单独的表示的关键和值的微分记忆，以及编码的下一个词的分布。该模型在两个语料库上的性能优于现有的记忆增强神经语言模型。然而，我们发现我们的方法主要利用了五个最近的输出表示的记忆。这导致了一个意想不到的主要发现，即一个简单得多的模型，只基于前一个时间步的最近输出表示的串联，与更复杂的记忆增强神经语言模型不相上下。
2017-02-15 cs.AI cs.CL cs.LG
What Makes for Hierarchical Vision Transformer?
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）
最近的研究表明，分层视觉Transformer与交错的非重叠的基于窗口的自注意\&移位窗口操作的宏架构，能够在各种视觉识别任务中实现最先进的性能，并挑战无处不在的卷积神经网络（CNN）使用密集滑动内核。大多数后续工作试图用其他跨窗口通信范式取代移位窗口操作，而将自我注意视为基于窗口的信息聚合的事实标准。在这篇文章中，我们质疑自我注意力是否是层次视觉Transformer获得强大性能的唯一选择，以及不同类型的跨窗口通信的效果。为此，我们用非常简单的线性映射层取代了自我注意层，由此产生的概念验证架构称为LinMapper，可以在ImageNet-1 k图像识别中实现非常强大的性能。此外，我们发现LinMapper能够更好地利用来自图像识别的预训练表示，并在下游密集预测任务（如目标检测和实例分割）上表现出出色的迁移学习特性。我们还实验了其他替代品，以自我注意力的内容聚合在每个非重叠的窗口内不同的跨窗口通信方法，这都给出了类似的竞争结果。我们的研究表明，Swin模型家族的\textbf{macro architecture}，而不是特定的聚合层或跨窗口通信的特定手段，可能更负责其强大的性能，是无处不在的CNN的密集滑动窗口范式的真正挑战者。代码和模型将公开提供，以促进未来的研究。
2021-09-10 cs.AI cs.CV cs.LG
S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring
ETH Zurich（苏黎世联邦理工学院）；Nanyang Technological University（南洋理工大学）；University of Bologna（博洛尼亚大学）
该研究针对连续EEG监测中Transformer架构的内存瓶颈，提出S-CEReBrO架构，通过窗口交替注意力实现内存恒定，在EEG下游任务中性能领先且效率提升。
2026-09-15 cs.LG
Spectral-Window Hybrid (SWH)
Independent Researcher（独立研究者）
SWH通过结合频谱分析和滑动窗口注意力，实现高效序列建模，在保持局部精度的同时，有效扩展到长序列任务。
2026-01-04 cs.LG
A differentiable short-time Fourier transform with respect to the window length
INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Safran Tech（赛峰科技）；Groupe Safran（赛峰集团）
在本文中，我们重新使用的频谱在神经网络中，通过使窗口长度的连续参数优化的梯度下降，而不是经验调整的整数值超参数。在这一点上的贡献主要是理论上的，但将修改后的STFT插入任何现有的神经网络是简单的。我们首先定义了一个可微版本的STFT的情况下，当地箱中心是固定的，独立的窗口长度参数。然后，我们讨论更困难的情况下，窗口长度影响的位置和数量的箱。我们说明了这个新工具的好处，估计和分类问题，显示它可以感兴趣的不仅是神经网络，但任何基于STFT的信号处理算法。
2022-08-25 cs.LG stat.ML
A CNN-based Local-Global Self-Attention via Averaged Window Embeddings for Hierarchical ECG Analysis
Universidade Federal de Minas Gerais（巴西米纳斯吉拉斯联邦大学）
针对传统Transformer难以捕捉ECG局部形态特征的问题，提出LGA-ECG模型，结合卷积归纳偏置与全局自注意力，在CODE-15数据集上超越现有模型，展现临床部署潜力。
2025-04-13 cs.AI cs.LG eess.SP
Power-based Partial Attention: Bridging Linear-Complexity and Full Attention
本文提出基于功率的局部注意力机制，通过调整参数p，在线性复杂度与全注意力之间实现性能平衡，证明亚二次注意力可达到全注意力效果。
2026-01-27 cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer（如ViT和DeiT）采用全局自注意，当补丁数量很大时，这在计算上是昂贵的。为了提高效率，最近的视觉Transformer采用局部自注意力机制，其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率，但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制，在本文中，我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇，并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系，但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer（BOAT），它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成，在几个基准数据集上进行的大量实验表明，我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
A short note on the decision tree based neural turing machine
grusoft（格鲁软件）
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展，它们之间出现了交叉。神经图灵机（NTM）为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中，我们展示了这两个模型之间的深层联系。即：可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系，我们提出了一个响应增强差分森林（RaDF）。RaDF的控制器是可微森林，外部存储器是响应向量，可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
BolT: Fused Window Transformers for fMRI Time Series Analysis
Bilkent University（比尔肯特大学）
深度学习模型在分析高维功能性MRI（fMRI）数据方面实现了性能飞跃。然而，许多以前的方法是次优敏感的上下文表示在不同的时间尺度。在这里，我们提出了Bolt，血氧水平依赖的Transformer模型，用于分析多变量fMRI时间序列。BolT利用了一个级联的Transformer编码器，配备了一个新的融合窗口注意机制。在时间序列内的时间重叠窗口上执行编码以捕获局部表示。为了在时间上整合信息，计算每个窗口中的基本标记和来自相邻窗口的边缘标记之间的跨窗口注意力。为了从局部表示逐渐过渡到全局表示，窗口重叠的程度以及由此的边缘标记的数量在级联中逐渐增加。最后，一种新的跨窗口正则化对齐高级别的分类功能在整个时间序列。在大规模公共数据集上的综合实验证明了BolT相对于最先进方法的优越性能。此外，解释性分析，以确定具有里程碑意义的时间点和区域，最显着的模型决策证实了突出的神经科学研究结果在文献中。
2023-02-20 cs.LG eess.SP
Maglev: Sliding Recurrent Memory
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出Maglev，一种带固定记忆的循环Transformer架构，通过耦合模型与记忆一致性损失实现训练可并行性，在验证损失及下游预训练基准上优于基线，参数共享可减少内存。
2026-08-06 cs.LG
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.（Sithara公司）
本文提出可微符号规划（DSP），通过神经架构实现离散符号推理并保持全可微性，结合通用认知内核（UCK）在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Efficient Contextformer: Spatio-Channel Window Attention for Fast Context Modeling in Learned Image Compression
Technical University of Munich（慕尼黑工业大学）；Friedrich-Alexander University（弗里德里希-亚历山大大学）；Huawei Munich Research Center（华为慕尼黑研究中心）
本文提出高效上下文Transformer（eContextformer），通过融合分块、棋盘和通道分组并行建模及移位窗口时空通道注意力，大幅降低学习型图像压缩中熵模型的复杂度并提升解码速度，在多个数据集上实现优于VTM 16.2的压缩性能。
2024-02-27 cs.CV cs.LG eess.IV
Learning from Heterogeneous EEG Signals with Differentiable Channel Reordering
Google（谷歌）
我们提出了CHARM，一种在不一致的输入通道上训练单个神经网络的方法。我们的工作是由脑电图（EEG）驱动的，其中来自不同耳机的数据收集协议导致不同的通道顺序和数量，这限制了在数据集之间传输训练系统的可行性。我们的方法建立在注意力机制的基础上，从每个输入信号中估计潜在的重排矩阵，并将输入通道映射到规范顺序。CHARM是可区分的，并且可以进一步与期望一致的通道排序的架构组合以构建端到端可训练分类器。我们在四个EEG分类数据集上进行实验，并通过模拟输入通道的洗牌和掩蔽来证明CHARM的有效性。此外，我们的方法改进了使用不同协议收集的数据集之间的预训练表示的传输。
2020-10-21 cs.LG eess.SP
Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time Series Prediction
Hangzhou Dianzi University（杭州电子科技大学）
随着工业系统变得越来越复杂，从监控到我们的健康的所有监测传感器变得越来越普遍，多变量时间序列预测在我们社会的平稳运行中占据重要地位。具有注意力的递归神经网络有助于扩展预测窗口，这是这项任务的最新技术。然而，我们认为它们的消失梯度，短记忆和串行架构使RNN从根本上不适合复杂数据的长期预测。时间卷积网络（TCN）不受梯度问题的影响，并且支持并行计算，使其成为更合适的选择。此外，它们比RNN具有更长的记忆，尽管存在一些不稳定性和效率问题。因此，我们提出了一个框架，称为PSTA-TCN，它结合了一个并行的时空注意力机制，以提取动态的内部相关性与堆叠TCN骨干提取功能，从不同的窗口大小。该框架充分利用并行计算，大大减少了训练时间，同时大幅提高了准确性，稳定的预测窗口比现状长13倍。
2022-03-02 cs.AI cs.LG
Neighborhood Attention Transformer
SHI Labs（SHI实验室）；U of Oregon（俄勒冈大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Meta/Facebook AI（Meta/脸书人工智能）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
本文提出首个高效可扩展的滑动窗口注意力机制Neighborhood Attention (NA)及基于此的Neighborhood Attention Transformer (NAT)，通过局部化自注意力实现线性复杂度并保留平移等变性，在图像分类和下游视觉任务上取得竞争性表现。
2023-05-16 cs.AI cs.CV cs.LG
MIDAS: Mosaic Input-Specific Differentiable Architecture Search
Independent Researcher（独立研究者）
MIDAS通过引入动态输入特定参数和拓扑感知搜索空间，提高了神经架构搜索的鲁棒性和性能，实现了在多个数据集上的优异表现。
2026-10-28 cs.AI cs.LG cs.NE
Differentiable adaptive short-time Fourier transform with respect to the window length
INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Safran Tech（赛峰科技）；Univ Lyon, UJM-St-Etienne（里昂大学，圣艾蒂安-让·莫内大学）
本文提出一种基于梯度的方法，实时优化STFT的逐帧和逐频率窗长，实现可微自适应STFT，能同时适应瞬态与稳态成分，并在振动分析中验证有效。
2023-07-26 cs.LG eess.AS eess.SP
Learning to Rank Normalized Entropy Curves with Differentiable Window Transformation
Washington University in St. Louis（圣路易斯华盛顿大学）；Meta
最近的自动化机器学习系统经常使用学习曲线排名模型来告知何时停止没有希望的试验并识别更好的模型配置的决策。在本文中，我们提出了一种新的学习曲线排名模型，专门为排名归一化熵（NE）学习曲线，这是常用的在线广告和推荐系统。我们提出的模型，自适应曲线变换增强相对曲线排名（ACTR2），具有自适应曲线变换层，将原始寿命NE曲线转换为复合窗口NE曲线，窗口大小根据学习曲线上的位置和曲线的动态进行自适应优化。我们还为所提出的自适应曲线变换引入了一种新的可微分索引方法，该方法允许相对于离散索引的梯度自由地流过曲线变换层，从而使学习的窗口大小能够在训练期间灵活地更新。此外，我们提出了一种成对曲线排名架构，该架构直接对两条学习曲线之间的差异进行建模，并且更好地捕捉相对性能的细微变化，这些变化在单独建模每条曲线时可能并不明显，因为现有方法没有。我们在真实NE曲线数据集上进行的大量实验证明了ACTR2的每个关键组件的有效性及其在最先进技术上的改进性能。
2023-01-25 cs.AI cs.LG
Attention augmented differentiable forest for tabular data
Xiamen University（厦门大学）；Department of Electronic Science（电子科学系）
可微森林是一组具有完全可微性的决策树的集合。其简单的树结构易于使用和解释。在完全可微的情况下，它将在端到端的学习框架中使用基于梯度的优化方法进行训练。本文在可微森林的框架下提出了树的注意块（TAB）。TAB块有两种操作，挤压和调节。挤压操作将提取每棵树的特征。调节操作将学习这些树之间的非线性关系。因此，TAB块将学习每棵树的重要性，并调整其权重，以提高准确性。我们在大型表格数据集上的实验表明，注意力增强可微森林将获得与梯度提升决策树（GBDT）相当的准确性，这是最先进的表格数据集算法。在某些数据集上，我们的模型比最好的GBDT库（LightGBM，Catboost和XGBoost）具有更高的准确性。可微森林模型支持批量训练，批量大小远小于训练集的大小。因此，在较大的数据集上，它的内存使用率比GBDT模型低得多。源代码可在www.example.com上获得。
2020-10-02 cs.LG stat.ML
Differentiable Dynamic Programming for Structured Prediction and Attention
Inria Parietal Saclay（法国国家信息与自动化研究所（Inria） Parietal Saclay）；NTT Communication Science Laboratories（NTT通信科学实验室）
动态规划（DP）通过迭代地将各种结构化组合问题分解为更小的子问题来解决这些问题。尽管DP算法具有多功能性，但它们通常是不可微的，这妨碍了它们作为通过反向传播训练的神经网络中的层的使用。为了解决这个问题，我们建议使用强凸正则化器来平滑动态规划递归中的最大算子。这允许放松的最优值和解决方案的原始组合问题，并把广泛的一类DP算法到微分算子。从理论上讲，我们提供了一个新的概率角度反向传播通过这些DP运营商，并将它们与图形模型中的推理。我们得到两个特定的实例，我们的框架，一个平滑的Viterbi算法的序列预测和平滑的DTW算法的时间序列对齐。我们在两个结构化预测任务和神经机器翻译的结构化和稀疏注意力上展示了这些实例。
2018-02-20 cs.LG stat.ML
AdaSplash-2: Faster Differentiable Sparse Attention
Carnegie Mellon University（卡内基梅隆大学）；Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室）；University of Edinburgh（爱丁堡大学）
本文提出AdaSplash-2，通过新颖的直方图初始化方法减少计算τ的迭代次数，提升稀疏注意力效率，适用于中高块稀疏性场景，提升训练速度和下游任务性能。
2026-04-16 cs.CL cs.LG
No More Sliding Window: Efficient 3D Medical Image Segmentation with Differentiable Top-k Patch Sampling
Institute of Data Science（数据科学研究所）；National University of Singapore（新加坡国立大学）；Saw Swee Hock School of Public Health（Saw Swee Hock公共卫生学院）；Agency for Science, Technology and Research（科技研究局）；Centre for Clinical Magnetic Resonance Research（临床磁共振研究中心）；University of Oxford（牛津大学）
提出NMSW框架，通过可微Top-k模块选择性采样最相关图像块并利用粗略全局预测细化结果，消除滑动窗口需求，在保持准确度的同时将计算复杂度降低91%并实现数倍推理加速。
2025-06-27 cs.AI cs.CV cs.LG
DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
Tsinghua University（清华大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院）；Instituto de Telecomunicações（电信研究院）；Carnegie Mellon University（卡内基梅隆大学）；Sapienza University of Rome（罗马萨皮恩扎大学）；University of Edinburgh（爱丁堡大学）；TransPerfect（TransPerfect公司）；ELLIS Unit Lisbon（里斯本ELLIS单位）
本研究提出DashAttention，一种可微且自适应的稀疏分层注意力机制，通过自适应稀疏α-entmax变换选择可变数量的块，从而在保持整个层次结构可微的同时，提升长上下文建模能力，实验表明其在高稀疏度下优于现有方法。
2026-05-18 cs.AI cs.CL cs.LG
AtManRL: Towards Faithful Reasoning via Differentiable Attention Saliency
Aleph Alpha Research Lab（Aleph Alpha研究实验室）；TU Darmstadt（图林根大学）；Hessian.AI Lab（黑森AI实验室）
本文提出AtManRL方法，通过可微注意力操控学习更忠实的推理过程，结合GRPO框架优化正确性与可解释性，实验证明能识别关键推理token并提升模型透明度。
2026-10-23 cs.AI cs.CL cs.LG
Transformers are Stateless Differentiable Neural Computers
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文证明因果Transformer层等同于无状态可微神经计算机(sDNC)，并扩展到交叉注意力，为Transformer提供统一的记忆中心解释。
2026-02-27 cs.AI cs.CL cs.CV
DASH: Fast Differentiable Architecture Search for Hybrid Attention in Minutes on a Single GPU
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本研究提出DASH，一种快速可微架构搜索框架，用于混合注意力架构设计，通过将离散的层间注意力操作放置转化为连续的架构logits，准备可重用的教师对齐线性候选，并在模型和操作权重冻结的情况下进行架构仅搜索，显著提高了搜索效率。DASH在Qwen2.5-3B-Instruct上优于现有的所有选择器风格的混合注意力设计基线，展示了直接可微搜索可以发现更强的混合架构。此外，DASH在RULER性能上优于已发布的Jet-Nemotron模型，同时在重叠的短上下文和通用基准上保持竞争力。值得注意的是，每个DASH搜索运行仅使用12.3M tokens，并在单个RTX Pro 6000 GPU上仅需约20分钟，对应Jet-Nemotron报告的PostNAS搜索tokens的0.006%。这些结果表明，通过分钟级的可微搜索可以获得高质量的混合注意力架构，为混合架构设计提供了有前景的方向。
2026-05-20 cs.AI cs.CL cs.LG
Learning to Solve Vehicle Routing Problems with Time Windows through Joint Attention
University of Hildesheim（希尔德斯海姆大学）
许多现实世界中的车辆路径问题涉及丰富的约束条件，车辆的容量，客户的时间窗口等，而在最近几年的第一个机器学习模型已经开发出解决基本的车辆路径问题的速度比优化算法，复杂的约束很少考虑。由于他们的一般程序，以建设解决方案，按路线依次路线，这些方法推广不利，这样的问题。在本文中，我们开发了一个政策模型，能够启动和延长多条路线，同时使用注意力的联合行动空间的几个旅游。通过这种方式，模型能够选择路线和客户，从而学会在路线之间进行艰难的权衡。在综合实验的三个变种的车辆路径问题的时间窗口，我们表明，我们的模型称为JAMPR工程以及不同的问题大小，并优于现有的国家的最先进的建设性模型。对于三个变体中的两个，它也创建了比可比的元启发式求解器更好的解决方案。
2020-06-16 cs.LG stat.ML
ANDRE: An Attention-based Neuro-symbolic Differentiable Rule Extractor for Inductive Logic Programming
Dept. of Mechanical and Aerospace Engineering, George Washington University, USA（机械与航空航天工程系，乔治华盛顿大学）；Dept. of Mechanical Engineering Sciences, University of Surrey, UK（机械工程科学系，萨里大学）
提出ANDRE框架，通过注意力驱动的可微逻辑算子优化连续规则空间，实现从概率数据中学习一阶逻辑规则，在噪声环境下保持鲁棒性和可解释性。
2026-05-31 cs.AI cs.LG cs.LO
Mixture of Attention Spans: Optimizing LLM Inference Efficiency with Heterogeneous Sliding-Window Lengths
Tsinghua University（清华大学）；Infinigence-AI；Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）
MoA通过异质滑动窗口长度优化LLM推理效率，提升上下文长度和检索准确率，减少内存消耗并提高吞吐量。
2025-11-24 cs.AI cs.CL cs.LG
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
QEvict是一种三层KV缓存管理方案，通过可恢复量化驱逐解决长上下文解码中的注意力漂移问题，在固定内存预算下提升了长上下文任务的信息保留效果。
2026-08-07 cs.CL cs.LG
TAnet: A New Temporal Attention Network for EEG-based Auditory Spatial Attention Decoding with a Short Decision Window
Southern University of Science and Technology（南方科技大学）
针对以往ASAD依赖长决策窗口的问题，提出采用MHA机制的端到端TAnet，在KUL数据集短窗口下解码准确率最高达95.5%，可助力智能助听器等系统设计。
2024-05-14 cs.LG eess.SP
Swin-Free: Achieving Better Cross-Window Attention and Efficiency with Size-varying Window
NVIDIA（英伟达）
针对Swin Transformer移位窗口引入内存拷贝开销的问题，提出Swin-Free，通过跨阶段应用尺寸可变窗口实现局部窗口跨连接，在提升推理速度的同时获得更高准确度，并提供多种更快的变体。
2023-06-23 cs.CV cs.LG
Learning Collective Dynamics with Differentiable Gaussian Representations
OranAI（奥兰AI）；OranAI Ltd.（奥兰AI有限公司）；Northeastern University（东北大学）
本文提出可微高斯动力学（DGD），通过高斯混合表示、可微聚合和反馈循环，从聚合观测中学习集体响应分布，在多个数据集上显著降低预测误差，验证了学习群体表示及反馈过程的价值。
2026-10-01 cs.LG
Generalized Neural Sorting Networks with Error-Free Differentiable Swap Functions
University of Pittsburgh（匹兹堡大学）；POSTECH（浦项科技大学）
本文提出一种广义神经排序网络，通过设计无误差可微交换函数并采用置换等变Transformer，实现对高维抽象输入的有效排序，实验表明性能优于或媲美基线方法。
2024-03-14 cs.LG stat.ML
Sliding-window beats linear attention
Microsoft（微软公司）；Applied Sciences Group (ASG)（应用科学集团（ASG））
本研究对比发现，带汇点的滑动窗口注意力（SWA）性能优于后训练的线性注意力模型，在长上下文推理任务中性能高2-10倍，且无需后训练、成本低，推荐用SWA替代线性注意力模型。
2026-10-06 cs.CL cs.LG
ATFlash: Per-RoPE-Wavelength Attention Windows for Compute/Memory-Efficient LLM Inference
ATFlash提出逐RoPE波长注意力窗口，修剪查询-键内积项，在保持长上下文任务性能的同时，可移植至FlashAttention-4等框架，在多款模型上实现LLM推理的计算与内存效率提升。
2026-08-05 cs.CL cs.LG
Fourier-Mixed Window Attention: Accelerating Informer for Long Sequence Time-Series Forecasting
Department of Mathematics, University of California, Irvine , California, USA（加州大学伊维特分校数学系）
FWin通过结合局部窗口注意力与傅里叶变换，提升Informer在长序列时间序列预测中的精度和速度
2024-04-17 cs.AI cs.LG
Beyond Empirical Windowing: An Attention-Based Approach for Trust Prediction in Autonomous Vehicles
Honda Research Institute USA, Inc.（本田美国研究院有限公司）；University of Michigan（密歇根大学）
针对自动驾驶中信任等渐进状态因标签稀疏而难以建模的问题，本文提出选择性窗口化注意力网络SWAN，利用窗口提示和掩码注意力实现灵活长度的区间选择，在驾驶模拟数据集上显著优于CNN-LSTM和Transformer等基线，并对窗口大小具有鲁棒性。
2024-01-16 cs.HC cs.LG
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头（AAH）框架，通过分层分组头并分配不同因果局部窗口，在4096-token实验中实现比纯全注意力更低的验证损失，为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
AnchorFormer: Differentiable Anchor Attention for Efficient Vision Transformer
The University of Hong Kong, Hong Kong（香港大学）；European Academy of Sciences and Arts（欧洲科学与艺术学院）；South China University of Technology, Guangzhou, Guangdong, China（华南理工大学）
提出AnchorFormer，利用可微锚点注意力将ViT复杂度从O(n²)降至O(mn)，在分类、检测、分割任务上显著提升效率与精度。
2025-06-18 cs.CV cs.LG
Dual Windows Are Significant: Learning from Mediastinal Window and Focusing on Lung Window
Chongqing University（重庆大学）；Shanghai Jiao Tong University（上海交通大学）；Third Military Medical University (Arm Medical University)（第三军医大学（陆军军医大学））
自COVID-19大流行以来，提出了几种深度学习方法来分析胸部计算机断层扫描（CT）以进行诊断。在当前形势下，病程分类对于医务人员决定治疗方案具有重要意义。大多数以前的基于深度学习的方法提取从肺窗口观察到的特征。然而，已经证明，从纵隔窗而不是肺窗可以更好地观察到与诊断相关的一些表现，例如，肺实变多发生于症状严重者。在本文中，我们提出了一种新的双窗口RCNN网络（DWRNet），它主要从连续的纵隔窗口中学习不同的特征。关于从肺窗提取的特征，我们引入肺窗注意块（LWA块）来额外注意它们以增强纵隔窗特征。此外，我们使用递归CNN并将连续切片作为视频进行分析，而不是从整个CT切片中拾取特定切片。实验结果表明，融合和代表性的功能，提高了疾病过程的预测，达到90.57%的准确率，对基线的准确率为84.86%。消融研究表明，组合双窗口功能比单独的肺窗口功能更有效，而关注肺窗口功能可以提高模型的稳定性。
2022-06-08 cs.CV cs.LG eess.IV
ENADPool: The Edge-Node Attention-based Differentiable Pooling for Graph Neural Networks
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；School of Information, Central University of Finance and Economics（中央财经大学信息学院）；Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province, Zhejiang Normal University（浙江师范大学浙江省智能教育技术与应用重点实验室）；Department of Computer Science, University of York（约克大学计算机科学系）
该研究提出基于边-节点注意力的可微池化ENADPool，结合硬聚类与注意力机制优化图表示聚合，同时配套多距离GNN模型缓解过平滑问题，实验验证了方法的有效性。
2024-05-16 cs.AI cs.LG
Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
Iwin Transformer通过交错窗口注意力和深度可分离卷积实现无位置嵌入的分层视觉Transformer，提升图像分类、语义分割和视频动作识别等任务的性能。
2026-08-26 cs.CV cs.LG
Raw Produce Quality Detection with Shifted Window Self-Attention
Togi Inc.（Togi公司）
随着气候变化速度加快和人口迅速增加，预计未来几十年全球粮食不安全状况将进一步恶化。因此，必须消除粮食生产各个层面的低效率。深度学习的最新进展可以帮助减少这种低效率，但它们的应用尚未成为整个行业的主流，导致大规模的经济成本。为此，诸如CNN（卷积神经网络）的现代技术已经被应用于RPQD（原产品质量检测）任务。另一方面，Transformer在其他模式中的成功亮相使我们期望RPQD中这些基于Transformer的模型具有更好的性能。在这项工作中，我们专门研究了最近的国家的最先进的Swin（移位窗口）Transformer，它计算在两个窗口内和窗口间的时尚自我注意。我们比较Swin Transformer对CNN模型的四个RPQD图像数据集，每个包含不同种类的原料：水果和蔬菜，鱼，猪肉和牛肉。我们观察到Swin Transformer不仅实现了更好或具有竞争力的性能，而且数据和计算效率高，使其成为现实世界中实际部署的理想选择。据我们所知，这是第一个大规模的实证研究RPQD任务，我们希望在未来的工作中得到更多的关注。
2021-12-24 cs.AI cs.CV cs.LG
Efficient Pain Recognition via Respiration Signals: A Single Cross-Attention Transformer Multi-Window Fusion Pipeline
Foundation for Research \& Technology-Hellas Heraklion Greece；Foundation for Research \& Technology-Hellas；Hellenic Mediterranean University Heraklion Greece；Hellenic Mediterranean University
本研究提出一种基于呼吸信号的单交叉注意力Transformer多窗口融合流水线用于疼痛识别，实验证明紧凑模型经优化可超越大模型，多窗口策略能有效捕获特征增强表征。
2025-09-15 cs.AI cs.LG eess.SP
Differentiable Information Enhanced Model-Based Reinforcement Learning
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）；State Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院通用人工智能国家重点实验室）；Institute of automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出可微信息增强的MBRL方法MB-MIX，通过Sobolev模型训练提升动态预测精度，并引入截断学习窗口混合长度降低策略梯度估计方差以增强训练稳定性，在多项机器人控制任务中优于现有方法。
2025-03-03 cs.LG cs.RO
DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
Department of Computer Science, University of Oxford（牛津大学计算机科学系）
本文提出DARTS-GT，通过可微架构搜索在图Transformer注意力中实现深度异构的GNN算子选择，并开发了首个基于因果消融的GT定量可解释性框架，证明异构架构能兼顾性能与可解释性。
2025-10-30 cs.LG
Edge-DIRECT: A Deep Reinforcement Learning-based Method for Solving Heterogeneous Electric Vehicle Routing Problem with Time Window Constraints
University of Calgary（卡尔加里大学）
本文针对带时间窗约束的异构电动汽车路径问题（HEVRPTW），提出基于深度强化学习的 Edge-DIRECT 方法，通过边缘增强编码和双注意力解码提升求解质量与效率，并在真实数据集上验证了其优越性。
2024-06-28 cs.AI cs.LG
Neural Attention Memory
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出将注意力机制重新定义为可读写记忆架构的神经注意力记忆（NAM），在算法零样本泛化、少样本学习及长距离注意力任务中展现出优于基线的性能，可作为缩放点积注意力的高效替代。
2023-10-14 cs.LG
