Adaptive Multi-Resolution Attention with Linear Complexity
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）；Corporate Technology, Siemens AG（西门子公司企业技术部）
Transformers在序列建模的众多任务中改进了最先进的技术。除了关于序列长度的二次计算和存储器复杂度之外，自注意机制仅处理相同尺度的信息，即，所有注意力头的分辨率相同，导致Transformer的功率有限。为了解决这个问题，我们提出了一种新的和有效的结构，称为自适应多分辨率注意力（AdaMRA），它线性缩放到序列长度的时间和空间。具体来说，我们利用多分辨率的多头注意力机制，使注意力头捕捉长距离的上下文信息，在一个由粗到细的方式。此外，为了捕捉不同注意粒度的查询表示和线索之间的潜在关系，我们留下了使用哪种注意分辨率来查询的决定，这进一步提高了模型的容量相比，香草Transformer。为了降低复杂度，我们采用内核注意力而不降低性能。在几个基准测试上的大量实验证明了我们的模型的有效性和效率，实现了最先进的性能效率内存权衡。为了促进科学界对AdaMRA的利用，代码的实现将公开提供。
2021-08-10 cs.AI cs.LG
On Fine-Grained I/O Complexity of Attention Backward Passes
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文研究了注意力机制中细粒度I/O复杂度，提出了一种在小缓存环境下优于现有方法的算法，并为高效LLM训练和推理提供了理论指导。
2026-01-23 cs.AI cs.CC cs.CL
Ripple Attention for Visual Perception with Sub-quadratic Complexity
The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformer体系结构现在是序列建模任务的核心。其核心是注意力机制，它可以对序列中的长期依赖关系进行有效建模。最近，Transformers已成功地应用于计算机视觉领域，其中2D图像首先被分割成块，然后被视为1D序列。然而，这种线性化削弱了图像中空间局部性的概念，而空间局部性承载着重要的视觉线索。为了弥补这一差距，我们提出了涟漪注意力，一个次二次注意力机制的视觉Transformer。基于最近的基于内核的高效注意力机制，我们设计了一种新的动态规划算法，权重的不同令牌的查询相对于他们的相对空间距离在二维空间中的线性观察时间的贡献。大量的实验和分析证明了涟漪注意对各种视觉任务的有效性。
2022-06-15 cs.CV cs.LG
Linear Self-Attention Approximation via Trainable Feedforward Kernel
Czech Technical University in Prague（捷克布拉格技术大学）
为了追求更快的计算速度，高效的Transformers展示了令人印象深刻的各种方法-达到次二次注意力复杂度的模型可以利用稀疏性或输入的低秩近似来减少参与密钥的数量;其他降低复杂度的方法包括局部敏感散列，密钥池，额外的内存来存储压缩或与其他架构（如CNN）混合的信息。通常基于强大的数学基础，内核化方法允许线性复杂度近似注意力，同时保持高准确性。因此，在本文中，我们的目标是扩展可训练核方法的思想，以近似Transformer架构的自注意力机制。
2022-11-08 cs.AI cs.LG
Cottention: Linear Transformers With Cosine Attention
Lyle School of Engineering（莱尔工程学院）；Southern Methodist University（南卫理公会大学）
Cottention通过引入余弦相似度替代softmax注意力，实现线性内存复杂性，从而更高效地处理长序列。
2024-09-27 cs.LG
TaylorShift: Shifting the Complexity of Self-Attention from Squared to Linear (and Back) using Taylor-Softmax
Department of Computer Science, RPTU Kaiserslautern-Landau（鲁尔大学科隆-莱茵河畔分校计算机科学系）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出TaylorShift，通过重构Taylor softmax在线性时空复杂度下实现完整token交互，在约800 token时提升内存效率、约1700 token时加速推理，且长序列分类任务中准确率不下降。
2024-07-17 cs.AI cs.LG
Sigmoid Self-Attention has Lower Sample Complexity than Softmax Self-Attention: A Mixture-of-Experts Perspective
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文从混合专家视角理论证明，sigmoid 自注意力比 softmax 自注意力具有更低的样本复杂度，即达到相同近似误差所需数据更少，从而更高效。
2025-05-24 cs.AI cs.LG
Element-wise Attention Is All You Need
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）
本文提出逐元素注意力机制，以平方欧氏距离和 Taylor 多项式替代点积相似度，在保持自注意力性能的同时显著降低长序列训练与推理复杂度。
2025-01-10 cs.AI cs.LG
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen（哥本哈根大学）
提出NAtS-L框架，在同一层内对不同令牌自适应选择线性注意力或softmax注意力，以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
SEA: Sparse Linear Attention with Estimated Attention Mask
School of Computing（计算机学院）；Graduate School of AI（人工智能研究生院）
提出SEA方法，通过基于核的线性注意力估计矩阵并结合top-k选择执行稀疏注意力，在节省内存的同时超越OPT-1.3B基线困惑度并保持可解释性。
2024-03-25 cs.CL cs.LG
Lower Bound On the Computational Complexity of Discounted Markov Decision Problems
Princeton University（普林斯顿大学）
研究了具有有限状态空间$|\mathcal{S}|$和有限行动空间$|\mathcal{A}|$的无限时域折扣报酬马尔可夫决策问题（MDP）的计算复杂性.我们发现，任何随机算法需要一个运行时间至少$Ω(|\mathcal{S}|^2|\mathcal{A}|)$计算$ε$ -最优的政策，以高概率。我们考虑MDP的两种变体，其中输入以特定的数据结构给出，包括累积概率数组和转移概率二叉树。对于这些情况下，我们表明，复杂性下限降低到$Ω\left( \frac{|\mathcal{S}| |\mathcal{A}|}ε \right)$。这些结果揭示了一个令人惊讶的观察，即MDP的计算复杂性取决于输入的数据结构。
2017-05-20 cs.CC cs.LG
Attention-based Neural Network for Driving Environment Complexity Perception
Virginia Tech（弗吉尼亚理工大学）
环境感知对于自动驾驶汽车（AV）的安全至关重要。现有的AV感知算法大多没有研究周围环境的复杂性，也没有考虑环境复杂性参数。提出了一种新的基于注意力的神经网络模型来预测周围驾驶环境的复杂程度。该模型以自然驾驶视频和相应的车辆动力学参数作为输入。它由Yolo-v3目标检测算法、热图生成算法、基于CNN的特征提取器和基于注意力的特征提取器组成，用于视频和时间序列车辆动态数据输入以提取特征。所提出的算法的输出是周围环境的复杂性参数。Berkeley DeepDrive数据集（BDD数据集）和主观标记的周围环境复杂度水平用于模型训练和验证，以评估算法。所提出的基于注意力的网络实现了91.22%的平均分类准确率分类周围环境的复杂性。实验结果表明，该方法可以准确预测环境复杂度，并可用于未来无人机环境感知研究。
2021-06-21 cs.CV cs.LG cs.RO
2Mamba2Furious: Linear in Complexity, Competitive in Accuracy
Lyle School of Engineering（莱尔学校工程学院）；Southern Methodist University（南方 Methodist 大学）
本文通过简化并改进Mamba-2，提出2Mamba方法，在保持高准确度的同时显著提升长上下文的内存效率。
2026-05-15 cs.LG
Token Sample Complexity of Attention
CNRS, ENS Paris, France（法国国家科学研究中心、巴黎高等师范学院）
研究注意力在极端序列长度下的收敛行为，提出标记采样复杂度概念，分析注意力映射的均匀收敛和变换分布矩的收敛速率，实验验证预测结果。
2026-06-08 cs.LG
Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty
Sharif University of Technology（谢里夫理工大学）；The University of Hong Kong（香港大学）
本文提出随机傅里叶特征高斯过程注意力模块，将注意力视为GP后验，通过低秩近似实现线性时间复杂度的不确定性校准，在保持预测精度的同时提升校准性能。
2026-10-07 cs.LG
SOFT: Softmax-free Transformer with Linear Complexity
Fudan University（复旦大学）；University of Surrey（萨里大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
视觉Transformer（ViTs）通过逐块图像标记化以及自我注意力，推动了各种视觉识别任务的最新技术。然而，自注意模块的使用导致计算和存储器使用的二次复杂度。在自然语言处理中，已经进行了各种尝试来近似具有线性复杂度的自注意计算。然而，在这项工作中的深入分析表明，他们要么是理论上有缺陷的或经验无效的视觉识别。我们进一步确定，它们的局限性根源于在近似过程中保持softmax自我注意力。具体地说，传统的自我注意力是通过标准化标记特征向量之间的缩放点积来计算的。保持这种softmax操作对后续的线性化工作提出了挑战。基于这种见解，首次提出了一种无softmax的Transformer或SOFT。为了消除自注意中的softmax，使用高斯核函数代替点积相似性，而无需进一步归一化。这使得完全自注意矩阵能够通过低秩矩阵分解来近似。近似的鲁棒性是通过使用牛顿-拉夫森方法计算其Moore-Penrose逆来实现的。在ImageNet上进行的大量实验表明，我们的SOFT显著提高了现有ViT变体的计算效率。重要的是，在线性复杂度下，SOFT中允许更长的令牌序列，从而在准确性和复杂度之间实现更好的权衡。
2022-04-30 cs.AI cs.CV cs.LG
The computational complexity of some explainable clustering problems
PUC-Rio（里约热内卢天主教大学）
我们在[Dasgupta et al.，ICML 2020]，其中通过轴对齐的决策树实现可解释性。我们考虑了$k$ -均值、$k$ -中位数、$k$ -中心和间隔代价函数。我们证明了前三个是很难优化，而后者可以在多项式时间内优化。
2022-08-20 cs.DS cs.LG
Computational complexity reduction of deep neural networks
United States Naval Academy（美国海军学院）；U.S. Army Combat Capabilities Development Command（美国陆军作战能力发展司令部）；U.S. Army Research Laboratory（美国陆军研究实验室）
深度神经网络（DNN）在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而，这些DNN在计算上是复杂的，并且如果没有额外的优化和定制，它们在资源受限的平台上的部署是困难的。在本文中，我们描述了DNN架构的概述，并提出了降低计算复杂性的方法，以加快训练和推理速度，使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG
Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version
Aalborg University（奥尔堡大学）；Google Research, Brain Team（谷歌研究大脑团队）；Monash University（莫纳什大学）
现实世界的各种应用依赖于未来的信息来做出决策，因此需要高效和准确的长序列多变量时间序列预测。虽然最近的基于注意力的预测模型在捕捉长期依赖性方面表现出很强的能力，但它们仍然受到两个关键限制。首先，规范自注意力具有二次复杂度w.r.t.输入时间序列长度，从而效率不足。其次，不同变量的时间序列通常具有不同的时间动态，现有的研究未能捕获，因为它们使用相同的模型参数空间，例如，投影矩阵，为所有变量的时间序列，从而在准确性不足。为了确保高效率和准确性，我们提出了Triformer，一个三角形，变量特定的注意。(i)线性复杂度：我们引入了一个新的补丁注意线性复杂度。当堆叠多层补丁注意力时，提出了一种三角形结构，使得层的大小呈指数收缩，从而保持线性复杂度。(ii)变量特定参数：我们提出了一种轻量级的方法，以使不同的变量的时间序列的不同的模型参数集，以提高准确性，而不损害效率和内存使用。来自多个领域的四个数据集的强有力的经验证据证明了我们的设计选择，它表明Triformer优于最先进的方法w.r.t.准确性和效率。这是“Triformer：Triangular，Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting”的扩展版本，将出现在IJCAI 2022 [Cirstea et al.，…
2022-04-28 cs.LG
The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research, Mountain View（谷歌研究院（山景城））
我们研究了在分布无关的PAC模型中半空间的对抗鲁棒正确学习的计算复杂性，重点是$L_p$扰动。我们给出了一个计算效率高的学习算法和一个几乎匹配的计算硬度的结果，这个问题。我们的研究结果的一个有趣的含义是，$L_{\infty}$扰动的情况下，可证明计算困难的情况下$2 \leq p < \infty$。
2020-07-30 cs.CC cs.DS cs.LG
AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
在这项研究中，我们介绍了\textbf{AttendSeg}，这是一种为设备上语义分割量身定制的低精度，高度紧凑的深度神经网络。AttendSeg拥有一个自注意力网络架构，包括轻量级的注意力冷凝器，用于以非常低的复杂度改善空间通道选择性注意力。AttendSeg独特的宏观架构和微观架构设计属性在代表性和效率之间取得了很好的平衡，这是通过专门为手头任务量身定制的机器驱动的设计探索策略实现的。实验结果表明，所提出的AttendSeg可以实现与复杂度更高的更大深度神经网络相当的分割精度，同时具有显着更低的架构和计算复杂性（需要多达27倍的MAC，参数减少> 72倍，重量内存需求减少> 288倍），使其非常适合边缘上的TinyML应用程序。
2021-04-29 cs.CV cs.LG
What can computational models learn from human selective attention? A review from an audiovisual crossmodal perspective
University of Chinese Academy of Sciences（中国科学院大学）；University of Hamburg（汉堡大学）；Guangzhou University（广州大学）
选择性注意在环境信息的获取和利用过程中起着至关重要的作用。在过去的50年里，选择性注意的研究一直是认知科学的一个中心课题。与单峰研究相比，交叉模态研究更加复杂，但对于解决人体实验和计算建模中的现实挑战是必要的。虽然越来越多的跨模态选择性注意的发现揭示了人类的行为模式和神经基础，但仍然需要更好的理解才能为计算智能代理带来同样的好处。本文从心理学和认知神经科学的多学科视角综述了单通道视觉和听觉以及跨通道视听环境中的选择性注意研究，并评价了在计算模型和机器人学中模拟类似机制的不同方法。我们讨论了这些领域之间的差距，在这个跨学科的审查，并提供有关如何使用心理学的发现和理论在人工智能从不同的角度来看。
2019-09-05 cs.CV cs.LG
Experimental Evaluation of Computational Complexity for Different Neural Network Equalizers in Optical Communications
Aston University（阿斯顿大学）；Infinera（英飞朗）
解决基于神经网络的光信道均衡器，我们量化的性能和复杂性之间的权衡进行比较分析的几个神经网络架构，TWC和SSMF设置的结果。
2021-09-17 cs.LG eess.SP
Graph Representation Learning via Hard and Channel-Wise Attention Networks
Texas A&M University（德克萨斯农工大学）
注意力算子在计算机视觉、自然语言处理、网络嵌入学习等领域有着广泛的应用。图数据上的注意力操作符在聚合来自相邻节点的信息时启用可学习的权重。然而，图注意力算子（GAO）消耗过多的计算资源，阻碍了它们在大型图上的应用。此外，GAO属于软注意力家族，而不是硬注意力，这已被证明可以产生更好的性能。在这项工作中，我们提出了新的硬图注意力算子（hGAO）和通道式图注意力算子（cGAO）。hGAO通过仅关注重要节点来使用硬注意力机制。与GAO算法相比，hGAO算法只关注重要节点，提高了性能，节省了计算开销。为了进一步降低对计算资源的需求，我们提出了cGAO，它沿着通道执行注意力操作。cGAO避免了对邻接矩阵的依赖，从而大大减少了计算资源需求。实验结果表明，我们提出的深度模型与新的运营商实现了一贯更好的性能。比较结果还表明，hGAO在节点和图嵌入任务上的性能明显优于GAO。效率比较表明，我们的cGAO导致计算资源的显着节省，使其适用于大型图形。
2019-07-05 cs.LG stat.ML
Computational complexity of learning algebraic varieties
Department of mathematics, KTH（皇家理工学院（KTH）数学系）
我们分析的复杂性，从一个品种，来自一类品种，配置点的$\Bbb C^n$。复杂性度量，称为代数复杂性，随着配置中点的数量增加，计算称为假设多样性的某种多样性的欧几里得距离度（ED度）。对于$(n-1)$ -球面与$\Bbb C^n$中$m$点的配置的拟合问题，我们给出了$n=1$情形下假设簇的代数复杂度随$m$增长的闭公式.对于$n>1$的情况下，我们推测这个公式的数值实验支持的推广。
2020-02-10 cs.LG math.AG
Beyond Nyströmformer -- Approximation of self-attention by Spectral Shifting
Transformer是一种基于自注意力的自然语言处理工具，该机制将其他标记对每个特定标记的依赖性进行编码，但自注意力的计算因其二次时间复杂度而成为一个瓶颈。有多种方法可以降低算法的时间复杂度，矩阵逼近就是其中之一。在Nyströmformer中，作者使用基于Nyström的方法来近似softmax。Nyström方法生成一个快速近似任何大型对称半正定（SPSD）矩阵使用只有几列的SPSD矩阵。然而，当SPSD矩阵的谱缓慢衰减时，由于Nyström近似是低秩的，所以Nyström近似的精度低。在这里，提出了一种替代方法的近似具有更强的误差界比Nyström方法。它的时间复杂度与Nyströmformer相同，它是$O\left({n}\right)$。
2021-03-09 cs.CL cs.LG
EcoFormer: Energy-Saving Attention with Linear Complexity
Monash University（莫纳什大学）
Transformer是一个转换框架，它对序列数据进行建模，并在广泛的任务上取得了卓越的性能，但具有较高的计算和能源成本。为了提高其效率，一个流行的选择是通过二进制化压缩模型，将浮点值限制为二进制值，以节省资源消耗，因为廉价的逐位操作显着。然而，现有的二值化方法只着眼于最小化输入分布的统计信息损失，而忽略了两两相似性建模的核心注意力。为此，我们提出了一个新的二进制化范式定制的高维softmax注意力通过内核化哈希，称为EcoFormer，映射到低维的二进制代码在汉明空间中的原始查询和密钥。学习核哈希函数，以自监督的方式匹配从注意力地图中提取的地面真实相似关系。基于二进制码的内积与Hamming距离的等价性以及矩阵乘法的结合性，我们可以将注意力表示为二进制码的点积来近似线性复杂度。此外，查询和键的紧凑二进制表示使我们能够用简单的累加来取代大多数昂贵的乘法累加操作，从而节省边缘设备上的大量片上能量占用。在视觉和语言任务上的大量实验表明，EcoFormer在消耗更少资源的同时，始终实现与标准注意力相当的性能。例如，基于PVTv 2-B 0和ImageNet-1 K，Ecoformer实现了73%的片上能源足迹减少，与标准注意力相比，性能仅下降0.33%。代码可在https://github.com/ziplab/EcoFormer上获得。
2023-03-20 cs.CL cs.CV cs.LG
Learning-to-Rank at the Speed of Sampling: Plackett-Luce Gradient Estimation With Minimal Computational Complexity
Radboud University（拉德堡德大学）
Plackett-Luce梯度估计使得通过采样技术在可行的时间约束内优化随机排序模型成为可能。不幸的是，现有方法的计算复杂性不能很好地与排名的长度（即，排名截止）以及项目集合大小成比例。在本文中，我们介绍了新的PL-秩3算法，执行无偏梯度估计的计算复杂性可比的最佳排序算法。因此，我们的新的学习排序方法适用于任何情况下，标准排序是可行的，在合理的时间。我们的实验结果表明，优化所需的时间有很大的增益，而性能没有任何损失。对于该领域，我们的贡献可能会允许最先进的学习排序方法应用于比以前可行的更大的规模。
2022-04-28 cs.IR cs.LG
An Analysis of Linear Complexity Attention Substitutes with BEST-RQ
Laboratoire Informatique d'Avignon（阿维尼翁信息学实验室）；Avignon Université（阿维尼翁大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔工业大学）；LIG（信息与信号处理实验室）
本文研究在BEST-RQ自监督语音学习中用HyperMixing、Fastformer、SummaryMixing和Mamba等线性复杂度方案替代多头自注意力，发现其能在保持性能的同时显著降低显存并提升速度。
2024-09-04 cs.CL cs.LG cs.SD
SpikeVideoFormer: An Efficient Spike-Driven Video Transformer with Hamming Attention and $\mathcal{O}(T)$ Complexity
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Yale University（耶鲁大学）；University of Alberta（阿尔伯塔大学）
本文提出高效脉冲驱动视频 Transformer SpikeVideoFormer，通过理论指导的 SDHA 与最优时空注意力设计实现 $\mathcal{O}(T)$ 复杂度，并在多类视频任务上达到 SNN 最优性能及显著能效提升。
2025-05-15 cs.AI cs.CV cs.LG
Blind Source Separation for Mixture of Sinusoids with Near-Linear Computational Complexity
我们提出了一个多音分解算法，可以找到的频率，幅度和相位的基本正弦信号在一个嘈杂的观察序列。在独立同分布的高斯噪声下，我们的方法利用最大似然方法从受污染的观测中估计相关的音调参数。在估计$M$数目的正弦源时，我们的算法连续地估计它们的频率，并联合优化它们的幅度和相位。我们的方法也可以实现为一个盲源分离器的信息的情况下，有关$M$。我们的算法的计算复杂度是近似线性的，即，$\tilde{O}(N)$。
2022-03-27 cs.LG eess.AS eess.SP
