A CNN-based Local-Global Self-Attention via Averaged Window Embeddings for Hierarchical ECG Analysis
Universidade Federal de Minas Gerais(巴西米纳斯吉拉斯联邦大学)
针对传统Transformer难以捕捉ECG局部形态特征的问题,提出LGA-ECG模型,结合卷积归纳偏置与全局自注意力,在CODE-15数据集上超越现有模型,展现临床部署潜力。
2025-04-13 cs.AI cs.LG eess.SP
Sliding Window Attention Training for Efficient Large Language Models
City University of Hong Kong(香港城市大学);Xi’an Jiaotong University(西安交通大学);Jarvis Research Center, Tencent YouTu Lab(腾讯优图实验室研究部);Westlake University(西湖大学);University of Science and Technology of China(中国科学技术大学);Southern University of Science and Technology(南方科技大学)
本文提出SWAT方法,通过滑动窗口注意力训练、用sigmoid替代softmax并结合ALiBi与旋转位置嵌入,在保留Transformer架构的同时实现高效长上下文处理,在八个基准上达到SOTA性能。
2025-06-04 cs.AI cs.CL cs.LG
S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring
ETH Zurich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);University of Bologna(博洛尼亚大学)
该研究针对连续EEG监测中Transformer架构的内存瓶颈,提出S-CEReBrO架构,通过窗口交替注意力实现内存恒定,在EEG下游任务中性能领先且效率提升。
2026-09-15 cs.LG
Spectral-Window Hybrid (SWH)
Independent Researcher(独立研究者)
SWH通过结合频谱分析和滑动窗口注意力,实现高效序列建模,在保持局部精度的同时,有效扩展到长序列任务。
2026-01-04 cs.LG
Neighborhood Attention Transformer
SHI Labs(SHI实验室);U of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Meta/Facebook AI(Meta/脸书人工智能);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
本文提出首个高效可扩展的滑动窗口注意力机制Neighborhood Attention (NA)及基于此的Neighborhood Attention Transformer (NAT),通过局部化自注意力实现线性复杂度并保留平移等变性,在图像分类和下游视觉任务上取得竞争性表现。
2023-05-16 cs.AI cs.CV cs.LG
Rethinking the Role of Efficient Attention in Hybrid Architectures
Tsinghua University(清华大学);OpenBMB
本文系统分析混合架构中高效注意力模块(如滑动窗口注意力和循环序列混合器)的影响,发现其主要影响长上下文能力的涌现速度,并揭示“大窗口惰性”现象,提出仅对全注意力层去除位置编码可提升长上下文性能。
2026-06-16 cs.CL cs.LG
Power-based Partial Attention: Bridging Linear-Complexity and Full Attention
本文提出基于功率的局部注意力机制,通过调整参数p,在线性复杂度与全注意力之间实现性能平衡,证明亚二次注意力可达到全注意力效果。
2026-01-27 cs.LG
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
NVIDIA(英伟达)
研究百万令牌上下文下MTP草稿头成本过高问题,提出窗口化MTP方法,仅对草稿注意力应用滑动窗口等,可降低解码成本、改善延迟,在多种架构上效果显著,还能回收未读取草稿键值。
2026-11-02 cs.CL cs.LG cs.PF
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Maglev: Sliding Recurrent Memory
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出Maglev,一种带固定记忆的循环Transformer架构,通过耦合模型与记忆一致性损失实现训练可并行性,在验证损失及下游预训练基准上优于基线,参数共享可减少内存。
2026-08-06 cs.LG
BolT: Fused Window Transformers for fMRI Time Series Analysis
Bilkent University(比尔肯特大学)
深度学习模型在分析高维功能性MRI(fMRI)数据方面实现了性能飞跃。然而,许多以前的方法是次优敏感的上下文表示在不同的时间尺度。在这里,我们提出了Bolt,血氧水平依赖的Transformer模型,用于分析多变量fMRI时间序列。BolT利用了一个级联的Transformer编码器,配备了一个新的融合窗口注意机制。在时间序列内的时间重叠窗口上执行编码以捕获局部表示。为了在时间上整合信息,计算每个窗口中的基本标记和来自相邻窗口的边缘标记之间的跨窗口注意力。为了从局部表示逐渐过渡到全局表示,窗口重叠的程度以及由此的边缘标记的数量在级联中逐渐增加。最后,一种新的跨窗口正则化对齐高级别的分类功能在整个时间序列。在大规模公共数据集上的综合实验证明了BolT相对于最先进方法的优越性能。此外,解释性分析,以确定具有里程碑意义的时间点和区域,最显着的模型决策证实了突出的神经科学研究结果在文献中。
2023-02-20 cs.LG eess.SP
Efficient Contextformer: Spatio-Channel Window Attention for Fast Context Modeling in Learned Image Compression
Technical University of Munich(慕尼黑工业大学);Friedrich-Alexander University(弗里德里希-亚历山大大学);Huawei Munich Research Center(华为慕尼黑研究中心)
本文提出高效上下文Transformer(eContextformer),通过融合分块、棋盘和通道分组并行建模及移位窗口时空通道注意力,大幅降低学习型图像压缩中熵模型的复杂度并提升解码速度,在多个数据集上实现优于VTM 16.2的压缩性能。
2024-02-27 cs.CV cs.LG eess.IV
Attention as a Perspective for Learning Tempo-invariant Audio Queries
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Charles University(查理大学)
当前的音频--通过多模态嵌入空间学习的乐谱检索模型使用卷积神经网络,其输入音频窗口大小固定。根据查询演奏的节奏,该窗口捕获或多或少的音乐内容,而乐谱中的音符头密度在很大程度上与节奏无关。在这项工作中,我们解决了这种差异与软注意力机制,它允许模型编码的音频摘录,最相关的高效查询代码的那些部分。对古典钢琴音乐的实验结果表明,注意有利于提取绩效,并表现出直观的吸引力行为。
2018-09-15 cs.LG cs.SD eess.AS
Fourier-Mixed Window Attention: Accelerating Informer for Long Sequence Time-Series Forecasting
Department of Mathematics, University of California, Irvine , California, USA(加州大学伊维特分校数学系)
FWin通过结合局部窗口注意力与傅里叶变换,提升Informer在长序列时间序列预测中的精度和速度
2024-04-17 cs.AI cs.LG
Mixture of Attention Spans: Optimizing LLM Inference Efficiency with Heterogeneous Sliding-Window Lengths
Tsinghua University(清华大学);Infinigence-AI;Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
MoA通过异质滑动窗口长度优化LLM推理效率,提升上下文长度和检索准确率,减少内存消耗并提高吞吐量。
2025-11-24 cs.AI cs.CL cs.LG
TAnet: A New Temporal Attention Network for EEG-based Auditory Spatial Attention Decoding with a Short Decision Window
Southern University of Science and Technology(南方科技大学)
针对以往ASAD依赖长决策窗口的问题,提出采用MHA机制的端到端TAnet,在KUL数据集短窗口下解码准确率最高达95.5%,可助力智能助听器等系统设计。
2024-05-14 cs.LG eess.SP
Edge-DIRECT: A Deep Reinforcement Learning-based Method for Solving Heterogeneous Electric Vehicle Routing Problem with Time Window Constraints
University of Calgary(卡尔加里大学)
本文针对带时间窗约束的异构电动汽车路径问题(HEVRPTW),提出基于深度强化学习的 Edge-DIRECT 方法,通过边缘增强编码和双注意力解码提升求解质量与效率,并在真实数据集上验证了其优越性。
2024-06-28 cs.AI cs.LG
Swin-Free: Achieving Better Cross-Window Attention and Efficiency with Size-varying Window
NVIDIA(英伟达)
针对Swin Transformer移位窗口引入内存拷贝开销的问题,提出Swin-Free,通过跨阶段应用尺寸可变窗口实现局部窗口跨连接,在提升推理速度的同时获得更高准确度,并提供多种更快的变体。
2023-06-23 cs.CV cs.LG
Raw Produce Quality Detection with Shifted Window Self-Attention
Togi Inc.(Togi公司)
随着气候变化速度加快和人口迅速增加,预计未来几十年全球粮食不安全状况将进一步恶化。因此,必须消除粮食生产各个层面的低效率。深度学习的最新进展可以帮助减少这种低效率,但它们的应用尚未成为整个行业的主流,导致大规模的经济成本。为此,诸如CNN(卷积神经网络)的现代技术已经被应用于RPQD(原产品质量检测)任务。另一方面,Transformer在其他模式中的成功亮相使我们期望RPQD中这些基于Transformer的模型具有更好的性能。在这项工作中,我们专门研究了最近的国家的最先进的Swin(移位窗口)Transformer,它计算在两个窗口内和窗口间的时尚自我注意。我们比较Swin Transformer对CNN模型的四个RPQD图像数据集,每个包含不同种类的原料:水果和蔬菜,鱼,猪肉和牛肉。我们观察到Swin Transformer不仅实现了更好或具有竞争力的性能,而且数据和计算效率高,使其成为现实世界中实际部署的理想选择。据我们所知,这是第一个大规模的实证研究RPQD任务,我们希望在未来的工作中得到更多的关注。
2021-12-24 cs.AI cs.CV cs.LG
Beyond Empirical Windowing: An Attention-Based Approach for Trust Prediction in Autonomous Vehicles
Honda Research Institute USA, Inc.(本田美国研究院有限公司);University of Michigan(密歇根大学)
针对自动驾驶中信任等渐进状态因标签稀疏而难以建模的问题,本文提出选择性窗口化注意力网络SWAN,利用窗口提示和掩码注意力实现灵活长度的区间选择,在驾驶模拟数据集上显著优于CNN-LSTM和Transformer等基线,并对窗口大小具有鲁棒性。
2024-01-16 cs.HC cs.LG
Efficient Pain Recognition via Respiration Signals: A Single Cross-Attention Transformer Multi-Window Fusion Pipeline
Foundation for Research \& Technology-Hellas Heraklion Greece;Foundation for Research \& Technology-Hellas;Hellenic Mediterranean University Heraklion Greece;Hellenic Mediterranean University
本研究提出一种基于呼吸信号的单交叉注意力Transformer多窗口融合流水线用于疼痛识别,实验证明紧凑模型经优化可超越大模型,多窗口策略能有效捕获特征增强表征。
2025-09-15 cs.AI cs.LG eess.SP
GatedFWA: Linear Flash Windowed Attention with Gated Associative Memory
Imperial College London(帝国理工学院);Sorbonne University(索邦大学);Chalmers University of Technology(查尔姆斯理工大学)
GatedFWA是一种通过门控关联记忆机制提升滑动窗口注意力稳定性和梯度流动的高效注意力机制,适用于自回归模型和语言建模任务。
2026-01-07 cs.LG
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头(AAH)框架,通过分层分组头并分配不同因果局部窗口,在4096-token实验中实现比纯全注意力更低的验证损失,为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
Learning to Solve Vehicle Routing Problems with Time Windows through Joint Attention
University of Hildesheim(希尔德斯海姆大学)
许多现实世界中的车辆路径问题涉及丰富的约束条件,车辆的容量,客户的时间窗口等,而在最近几年的第一个机器学习模型已经开发出解决基本的车辆路径问题的速度比优化算法,复杂的约束很少考虑。由于他们的一般程序,以建设解决方案,按路线依次路线,这些方法推广不利,这样的问题。在本文中,我们开发了一个政策模型,能够启动和延长多条路线,同时使用注意力的联合行动空间的几个旅游。通过这种方式,模型能够选择路线和客户,从而学会在路线之间进行艰难的权衡。在综合实验的三个变种的车辆路径问题的时间窗口,我们表明,我们的模型称为JAMPR工程以及不同的问题大小,并优于现有的国家的最先进的建设性模型。对于三个变体中的两个,它也创建了比可比的元启发式求解器更好的解决方案。
2020-06-16 cs.LG stat.ML
Dual Windows Are Significant: Learning from Mediastinal Window and Focusing on Lung Window
Chongqing University(重庆大学);Shanghai Jiao Tong University(上海交通大学);Third Military Medical University (Arm Medical University)(第三军医大学(陆军军医大学))
自COVID-19大流行以来,提出了几种深度学习方法来分析胸部计算机断层扫描(CT)以进行诊断。在当前形势下,病程分类对于医务人员决定治疗方案具有重要意义。大多数以前的基于深度学习的方法提取从肺窗口观察到的特征。然而,已经证明,从纵隔窗而不是肺窗可以更好地观察到与诊断相关的一些表现,例如,肺实变多发生于症状严重者。在本文中,我们提出了一种新的双窗口RCNN网络(DWRNet),它主要从连续的纵隔窗口中学习不同的特征。关于从肺窗提取的特征,我们引入肺窗注意块(LWA块)来额外注意它们以增强纵隔窗特征。此外,我们使用递归CNN并将连续切片作为视频进行分析,而不是从整个CT切片中拾取特定切片。实验结果表明,融合和代表性的功能,提高了疾病过程的预测,达到90.57%的准确率,对基线的准确率为84.86%。消融研究表明,组合双窗口功能比单独的肺窗口功能更有效,而关注肺窗口功能可以提高模型的稳定性。
2022-06-08 cs.CV cs.LG eess.IV
An Explainable Market Integrity Monitoring System with Multi-Source Attention Signals and Transparent Scoring
Department of Computer Science University of New York(纽约大学计算机科学系);DeepMind(深度Mind);Mila, Université de Montréal(蒙特利尔大学Mila);Google Research(谷歌研究);CIFAR Fellow
AIMM-X通过结合市场微观结构信号和多源注意力信号,提供可解释的市场完整性监控系统,帮助合规团队识别异常窗口并进行后续调查。
2026-01-10 cs.AI cs.LG q-fin.RM
Towards Long-window Anchoring in Vision-Language Model Distillation
本文提出LAid方法,通过改进注意力机制和RoPE响应调节,提升视觉-语言模型的长上下文理解能力,使蒸馏模型的有效上下文窗口长度增加3.2倍。
2025-12-25 cs.AI cs.CV cs.LG
QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
QEvict是一种三层KV缓存管理方案,通过可恢复量化驱逐解决长上下文解码中的注意力漂移问题,在固定内存预算下提升了长上下文任务的信息保留效果。
2026-08-07 cs.CL cs.LG
Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
Iwin Transformer通过交错窗口注意力和深度可分离卷积实现无位置嵌入的分层视觉Transformer,提升图像分类、语义分割和视频动作识别等任务的性能。
2026-08-26 cs.CV cs.LG
A Split-Window Transformer for Multi-Model Sequence Spammer Detection using Multi-Model Variational Autoencoder
School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications(重庆邮电大学通信与信息工程学院);School of Information and Communication Engineering, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院)
本文提出MS$^2$Dformer,一种基于MVAE和分裂窗口注意力机制的Transformer,用于多模态序列垃圾信息发送者检测,性能超越现有方法。
2025-02-23 cs.AI cs.LG cs.MM
PHBA: Prefix-State Hybrid Block Attention
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
PHBA用top-k块稀疏检索和前缀状态替代滑动窗口注意力,在统一层内结合精确远程证据与压缩历史,实现高效长上下文建模与检索。
2026-10-07 cs.LG
FasterViT: Fast Vision Transformers with Hierarchical Attention
NVIDIA(英伟达)
本文提出FasterViT,一种混合CNN-ViT网络,通过分层注意力(HAT)降低全局自注意力计算成本,在分类、检测和分割任务上实现高准确率与高图像吞吐量的SOTA帕累托前沿,并可作为即插即用模块增强现有网络。
2024-04-01 cs.AI cs.CV cs.LG
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
Huawei, Noah’s Ark Lab(华为、诺亚实验室);AI Centre, Department of Computer Science, University College London(人工智能中心、计算机科学系、伦敦大学学院)
针对混合线性注意力转换方法中线性组件被绕过的问题,提出推理时混合、HedgeCATs和SSD三种方案,确保组件均衡使用并恢复性能归因有效性。
2025-10-10 cs.AI cs.CL cs.LG
Sliding-window beats linear attention
Microsoft(微软公司);Applied Sciences Group (ASG)(应用科学集团(ASG))
本研究对比发现,带汇点的滑动窗口注意力(SWA)性能优于后训练的线性注意力模型,在长上下文推理任务中性能高2-10倍,且无需后训练、成本低,推荐用SWA替代线性注意力模型。
2026-10-06 cs.CL cs.LG
ATFlash: Per-RoPE-Wavelength Attention Windows for Compute/Memory-Efficient LLM Inference
ATFlash提出逐RoPE波长注意力窗口,修剪查询-键内积项,在保持长上下文任务性能的同时,可移植至FlashAttention-4等框架,在多款模型上实现LLM推理的计算与内存效率提升。
2026-08-05 cs.CL cs.LG
Predicting the performance of hybrid ventilation in buildings using a multivariate attention-based biLSTM Encoder-Decoder neural network
NTNU(挪威科技大学);Aalborg University(奥尔堡大学)
混合通风是一种节能的解决方案,可以为大多数气候提供新鲜空气,因为它具有可靠的控制系统。为了最佳地操作这样的系统,需要高保真度的面向控制的模型。它应该能够基于诸如窗户打开和HVAC操作时间表的操作条件来实现室内空气温度的近实时的预测。然而,基于物理的面向控制的模型(即,白盒模型)是劳动密集型的并且计算昂贵。或者,基于人工神经网络的黑盒模型可以被训练成用于建筑动态的良好估计器。本文研究了深度神经网络(DNN)的能力,该深度神经网络是一种多变量多头注意力的长短期记忆(LSTM)编码器-解码器神经网络,用于预测窗户打开或关闭时的室内空气温度。训练和测试数据由详细的多区域办公楼模型(EnergyPlus)生成。伪随机信号用于室内空气温度设定点和窗户打开实例。结果表明,DNN能够准确地预测五个区域的室内空气温度,无论是打开或关闭窗户。预测误差在第24步提前预测(6小时提前预测)之后稳定。
2023-03-23 cs.LG eess.SP
M2H: Multi-Task Learning with Efficient Window-Based Cross-Task Attention for Monocular Spatial Perception
Department of Earth Observation Science(地球观测科学系)
本文提出M2H框架,通过高效的窗口交叉任务注意力模块,实现单目图像上的语义分割、深度估计、边缘检测和表面法线估计,同时在计算效率上优于现有方法。
2025-10-20 cs.CV cs.LG cs.RO
Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention
Tsinghua University(清华大学)
本文提出Stochastic Attention,通过随机排列token序列提升注意力机制的表达性,实现更高效的全局通信,在预训练和推理任务中均优于传统方法。
2026-04-01 cs.CL cs.LG