Sinkhorn doubly stochastic attention rank decay analysis
University of Bologna(博洛尼亚大学)
本文研究了网络深度下注意力秩的衰减问题,发现使用Sinkhorn算法归一化的双重随机注意力矩阵比标准Softmax行随机注意力更能保持秩。通过实验验证了这一现象,并推导了纯自注意力秩衰减的理论界限。
2026-10-07 cs.AI cs.LG math.OC
Self-attention Networks Localize When QK-eigenspectrum Concentrates
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能项目);AIST(日本国立产业技术综合研究所)
本文通过查询-键参数矩阵的特征谱刻画注意力局部化,发现小的特征谱方差同时防止秩坍缩和熵坍缩,提升模型表达性与可训练性。
2024-02-03 cs.LG stat.ML
Attention-Based Estimation of the Individual Treatment Benefit Probability under Dose Variation
Peter the Great St.Petersburg Polytechnic University Higher School of Artificial Intelligence Technologies(圣彼得堡彼得大帝理工大学人工智能技术高等学院)
提出Dose-AIPTB框架,将个体治疗获益概率估计扩展至离散剂量场景,通过注意力机制聚合伪标签实现个性化剂量选择。
2026-06-15 cs.LG
Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention
CENIA(智利环境与可持续发展研究中心)
该研究对比全注意力与核注意力的差异,证明三令牌序列下非负核注意力需指数级特征,而密集softmax仅需线性特征,还推导了有限字母表多头草图模型的转录本下界。
2026-10-01 cs.LG
FLARE++: Low-rank attention with dynamic attention routing
Carnegie Mellon University(卡内基梅隆大学)
FLARE++是带动态注意力路由的低秩注意力架构,通过复用FLARE编码器生成输入条件查询,保留低秩分解与线性复杂度,在PDE代理基准平均提升24%,Long Range Arena平均准确率提升2.3点。
2026-09-29 cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
人们部署自上而下的目标导向注意力来完成任务,例如寻找丢失的钥匙。通过将视觉系统调整到相关的信息源,物体识别可以变得更有效(一个好处)和更偏向目标(一个潜在的成本)。受分类模型中选择性注意的启发,我们开发了一种目标导向的注意力机制,它可以处理自然主义(摄影)刺激。我们的注意力机制可以整合到任何现有的深度卷积神经网络(DCNN)中。DCNN的加工阶段与腹侧视觉流有关。在这种情况下,我们的注意力机制结合了来自前额叶皮层(PFC)的自上而下的影响,以支持目标导向的行为。类似于分类模型中的注意力权重如何扭曲表征空间,我们将一层注意力权重引入到DCNN的中间层,以放大或衰减活动以进一步实现目标。我们评估的注意力机制,使用摄影刺激,不同的注意力目标。我们发现,增加目标导向的注意力有好处(增加命中率)和成本(增加误报率)。在中等水平上,注意力提高了敏感性(即,增加$d^\prime$),对于涉及标准图像、混合图像和选择用于欺骗DCNN的自然对抗图像的任务,偏差仅适度增加。这些结果表明,目标导向注意可以重新配置通用DCNN,以更好地适应当前的任务目标,就像PFC调节腹侧流的活动一样。除了更节俭和大脑一致性之外,中级注意力方法在迁移学习中的表现优于标准机器学习方法,即重新训练最终网络层以适应新任务。
2020-10-01 cs.AI cs.LG cs.NE
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
LLMs(大型语言模型)
将门控MLP视为秩1双线性注意力的近似,通过非线性打破对称性,解释其有效性并指导架构设计。
2026-06-23 cs.AI cs.LG
Loki: Low-rank Keys for Efficient Sparse Attention
University of Maryland(马里兰大学)
本文提出Loki稀疏注意力方法,利用键向量低秩特性在低维空间计算注意力分数以选择KV缓存中的令牌,从而降低数据移动和计算成本,加速LLM推理并保持模型性能。
2024-11-07 cs.LG
Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers
本文用三阶张量秩量化单层注意力 Transformer 的事实记忆容量,揭示注意力权重与事实回忆的关系,并提出不增参数即可提升层容量的方法。
2025-02-07 cs.CL cs.LG
Attention-based neural re-ranking approach for next city in trip recommendations
Edinburgh(爱丁堡);Saint-Petersburg(圣彼得堡)
本文描述了一种解决旅游预订系统下一个目的地城市推荐问题的方法。我们提出了一个两阶段的方法:一个启发式的候选人选择方法和一个注意力神经网络模型的候选人重新排名。我们的方法的灵感来自列表学习排名方法和自然语言处理的最新发展,特别是Transformer架构。我们使用这种方法来解决Booking.com推荐挑战我们的团队使用这种方法在挑战中获得了第5名,在数据集的封闭部分上获得了0.555的准确度@4值。
2021-03-23 cs.IR cs.LG
EEG to fMRI Synthesis Benefits from Attentional Graphs of Electrode Relationships
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院)
拓扑结构表示实体之间的连接,并提供复杂系统的全面设计。目前,这些结构用于发现神经元和血液动力学活动的相关性。在这项工作中,我们将它们与神经处理技术进行回归,使用电生理活动检索血流动力学。为此,我们使用傅立叶特征,注意机制,共享空间之间的形式和纳入风格的潜在代表性。通过结合这些技术,我们提出了几个模型,显着优于当前国家的最先进的这项任务,在休息状态和基于任务的记录设置。我们报告了哪些EEG电极与回归任务最相关,哪些关系对其影响最大。此外,我们观察到,血液动力学活动在头皮,与皮层下区域相比,是相关的学习共享空间。总体而言,这些结果表明,EEG电极关系是关键,以保留必要的信息,血流动力学活动检索。
2022-03-07 cs.LG q-bio.NC
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention
Zhejiang University(浙江大学)
为了提高Transformer的效率,人们进行了许多研究,从二次型到线性型。其中,基于低秩的方法旨在学习投影矩阵以压缩序列长度。然而,投影矩阵一旦被学习就被固定,其利用用于相同位置中的令牌的专用系数来压缩序列长度。采用这样的输入不变投影忽略了序列的最具信息量的部分随序列而变化的事实,因此未能保留位于不同位置的最有用的信息。另外,以往的高效Transformers算法只关注了序列长度的影响,而忽略了隐状态维数的影响。为了解决上述问题,我们提出了一种高效且有效的注意力机制,即动态双线性低秩注意力(DBA),它通过输入敏感的动态投影矩阵压缩序列长度,并通过联合优化序列长度和隐藏状态维度来实现线性时间和空间复杂度,同时保持最先进的性能。具体来说,我们首先从理论上证明了序列长度可以从信息论的一个新的角度进行非破坏性压缩,压缩矩阵由输入序列动态确定。此外,我们表明,隐藏状态的尺寸可以近似扩展的约翰逊-林登施特劳斯引理,优化的双线性形式的注意。理论分析表明,DBA能够很好地捕捉交叉注意问题中的高阶关系。在不同序列长度条件下的任务上的实验表明,与各种强基线相比,DBA实现了最先进的性能,同时保持了更高的速度和更少的内存消耗。
2022-11-24 cs.LG
FLuRKA: Fast and accurate unified Low-Rank & Kernel Attention
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind)
提出FLuRKA,通过融合低秩与核方法构建新型transformer,在保证模型质量的同时显著提升训练速度,在多任务上实现与底层方法相当甚至更优的准确度。
2024-06-02 cs.CL cs.LG cs.PF
Low-Rank Attention Residuals
研究提出低秩注意力残差(LR-AttnRes),包括投影式和切片式,通过使用低维键进行路由,解耦路由与残差内容,减少运算量并提升性能,证明深度路由在较少维度下也有效,还发布了代码和模型。
2026-09-23 cs.CL cs.LG
Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
提出低秩稀疏注意力模型Lorsa,将多头自注意力解耦为可理解的组件,有效解决注意力叠加问题,发现更细粒度的注意力行为,并在可解释性与电路发现上优于稀疏自编码器。
2025-04-29 cs.CL cs.LG
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University(莱斯大学);Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学)
视觉Transformer(ViT)已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说,ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而,计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量,限制了其可实现的效率和可扩展性,并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而,一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距,我们提出了一个首创的算法硬件协同设计框架,称为ViTALiTy,用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同,ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面,我们通过一阶Taylor注意力近似点积softmax操作,行均值中心作为低秩分量,以线性化注意力块的成本,并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面,我们开发了一个专用的加速器,以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线,该注意力只需要执行低秩组件,以进一步提高硬件效率。广泛的实验和消融研究证实,ViTALiTy提供了提高的端到端效率(例如,$3\times$更快,$3\times$更节能)。
2022-11-09 cs.AR cs.CV cs.LG
Weight decay induces low-rank attention layers
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
该研究揭示权重衰减与L2正则化会使注意力层的矩阵乘积趋于低秩,补充了L2正则化与低秩正则化的关联理论,并通过实验验证解耦注意力层权重衰减可提升语言模型性能。
2024-10-31 cs.LG
Tucker Attention: A generalization of approximate attention mechanisms
Otto von Guericke University Magdeburg(奥托·冯·格里克大学马格德堡);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Norwegian University of Life Sciences(挪威生命科学大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Tucker Attention,通过改进自注意层的权重对象和分解策略,实现更高效的参数方案,相比GQA和MLA在参数量上更优,并兼容Flash Attention和RoPE。
2026-03-31 cs.AI cs.LG
Low Rank Factorization for Compact Multi-Head Self-Attention
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
从文本中进行有效的表示学习一直是自然语言处理和文本挖掘领域的研究热点。注意力机制一直处于学习语境句子表征的前沿。目前许多NLP任务的最先进方法使用大型预训练语言模型,如BERT,XLNet等用于学习表示。这些模型基于Transformer架构,该架构涉及由多头自注意和前馈网络组成的循环计算块。在很大程度上导致Transformer模型的计算复杂性的主要瓶颈之一是自注意层,这是计算昂贵和参数密集的。在这项工作中,我们引入了一种新的多头自注意力机制,在GRU上运行,被证明是计算成本更低,更有效的参数比自注意力机制提出的Transformers的文本分类任务。我们方法的效率主要源于两个优化; 1)我们使用亲和力矩阵的低秩矩阵分解来有效地获得多个注意力分布,而不是为每个头部提供单独的参数2)注意力分数通过查询全局上下文向量来获得,而不是密集查询句子中的所有单词。我们评估的任务,如情感分析从电影评论,预测业务评级的评论和分类新闻文章到主题的模型的性能。我们发现,所提出的方法匹配或优于一系列强基线,比可比的多头方法更参数有效。我们还进行了定性分析,以验证所提出的方法是可解释的,并捕捉上下文相关的词的重要性。
2020-08-10 cs.CL cs.LG
Multi-Head Low-Rank Attention
The Pennsylvania State University(宾夕法尼亚州立大学);University of Connecticut(康涅狄格大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出多头低秩注意力机制,通过高效4路张量并行解码,显著提升大型语言模型的解码速度和性能。
2026-03-02 cs.LG
Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction
The University of Hong Kong(香港大学)
本文分解 MASTER 的股票间注意力,发现其近似均匀但低秩,Nyström 低秩近似可匹配全注意力性能,且注意力寻求互补而非相关性,大规模下跨股票模块无优势。
2026-09-09 cs.LG q-fin.ST
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
Transformer体系结构在自然语言处理领域取得成功后,现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置:最佳深度与宽度比已被证明在数据类型之间变化很大(例如,$10$ x在图像上大于在语言上)。我们从理论上预测存在嵌入秩瓶颈,限制了自注意力宽度对Transformer表达的贡献。因此,我们直接将输入词汇的大小和等级与最佳的深宽比联系起来,因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响,将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处,我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型(如ALBERT和T5)中的大小冗余。
2021-06-09 cs.CL cs.LG
Efficient Low Rank Attention for Long-Context Inference in Large Language Models
Guangdong University of Technology(广东工业大学);RIKEN AIP(理化学研究所AIP);Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education, Guangzhou, CHINA(教育部智能制造智能化检测与物联网重点实验室);RIKEN iTHEMS(理化学研究所iTHEMS);RIKEN IMS(理化学研究所IMS);Chiba University(千叶大学)
LRQK通过低秩分解和混合缓存机制,实现大语言模型长上下文推断中的高效低秩注意力,减少内存使用并保持高精度。
2025-12-23 cs.AI cs.LG
Enhancing Cross-Sectional Currency Strategies by Context-Aware Learning to Rank with Self-Attention
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼氏量化金融研究所)
跨部门货币策略的表现关键取决于在投资组合构建之前对工具进行准确排名。虽然这个排名步骤传统上是使用分类法,或通过排序逐点回归或分类技术产生的输出来执行的,但使用学习排名算法的策略最近已经成为具有竞争力和可行的替代方案。虽然这些策略的核心排名是在全球范围内学习的,并且平均提高了排名的准确性,但它们忽略了投资组合重新平衡时资产特征分布之间的差异。这一缺陷使得它们容易产生次优排名,可能在最需要准确性的重要时期。例如,这可能发生在关键的风险规避时期,从而使投资组合面临大量不必要的提款。我们解决这个缺点与类似的想法从信息检索:查询的顶部检索到的文档或本地排名上下文提供有关查询的自身特征,然后可以用来完善初始排名列表的重要信息。在这项工作中,我们使用一个上下文感知的学习排名模型,该模型是基于Transformer架构的编码顶部/底部排名的资产,学习上下文,并利用这些信息来重新排名的初始结果。对31种货币进行回测,我们提出的方法将夏普比率提高了约30%,并显著增强了各种性能指标。此外,这种方法还提高了夏普比率时,分别在正常和风险小康市场状态的条件。
2022-01-27 cs.IR cs.LG q-fin.PM
Attention Weighted Mixture of Experts with Contrastive Learning for Personalized Ranking in E-commerce
针对电商排序中特征交互个性化建模不足、长尾用户排序效果差的问题,提出结合对比学习的注意力加权混合专家模型,通过MoE捕捉个性化交互、对比损失提升长尾泛化,性能优于SOTA且已落地京东搜索。
2023-06-08 cs.IR cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven(鲁汶大学)
端到端口语语言理解(SLU)系统受益于大型语料库的预训练,然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如,基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化,我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体,其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下,由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
Choppy: Cut Transformer For Ranked List Truncation
Google Research(谷歌研究院)
信息检索中的工作传统上集中在排序和相关性上:给定一个查询,返回一些按与用户的相关性排序的结果。然而,确定返回多少结果的问题,即如何最佳地截断排名的结果列表,尽管在一系列应用中至关重要,但受到的关注较少。这种截断是在结果的总体相关性或有用性与处理更多结果的用户成本之间的平衡行为。在这项工作中,我们提出了Choppy,一个基于广泛成功的Transformer架构的无截断模型,排名列表截断问题。该模型只需要结果的相关性分数,使用强大的多头注意力机制来直接优化任何用户定义的IR度量。我们展示了Choppy对最近最先进方法的改进。
2020-04-26 cs.CL cs.IR cs.LG
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University(麦克马斯特大学);Sharif University of Technology(谢里夫理工大学)
最近,深度卷积神经网络(DCNN)利用对抗训练框架进行图像复原和增强,显著提高了处理后图像的清晰度。令人惊讶的是,尽管这些DCNN在视觉上比其他方法产生更清晰的图像,但当采用流行的措施来评估它们时,它们可能会得到较低的质量分数。因此,有必要制定一个定量指标来反映他们的表现,这是很好地与图像的感知质量对齐。著名的定量指标,如峰值信噪比(PSNR),结构相似性指数测度(SSIM)和感知指数(PI)与图像的平均意见评分(MOS)没有很好的相关性,特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络,它是对传统的连体网络结构的扩展,称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制,以提高我们的方法的性能。最后,我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失,以增加斯皮尔曼的排名相关系数,而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Sparse Low-Ranked Self-Attention Transformer for Remaining Useful Lifetime Prediction of Optical Fiber Amplifiers
Adtran(阿德创公司);Advanced Technology(先进技术部)
针对光纤放大器剩余使用寿命预测中小数据集泛化难的问题,提出带稀疏低秩自注意力的编解码Transformer模型,在EDFA及涡扇数据集上性能超越现有最优方法。
2025-01-15 cs.AI cs.LG eess.SP
Riemannian Attention Mechanisms for Transformers: A Theoretical Framework and Architecture Design
该研究针对Transformer自注意力栈的秩双指数衰减问题,提出用逐token黎曼度量替代欧几里得度量的理论框架,设计纤维丛Transformer架构,推导相关理论预测并明确核心开放问题。
2026-08-27 cs.AI cs.LG
RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework
Wuhan University(武汉大学)
远程监督已被广泛用于关系抽取,但遭受噪声标记问题。神经网络模型被提出来用注意力机制去噪,但由于其非零权值而不能消除噪声数据。硬决策是从正集合中删除错误标记的实例,但会导致删除实例中包含的有用信息丢失。在本文中,我们提出了一种新的生成式神经框架RDSGAN(基于秩的远程监督GAN),自动生成有效的远程监督关系抽取的实例。我们的框架结合了软注意力和硬决策,通过对抗训练来学习真阳性实例的分布,并通过基于排名的远程监督来选择符合分布的有效实例,从而解决了假阳性问题。实验结果表明,我们的框架优于强基线。
2020-09-30 cs.CL cs.LG
Component-based Attention for Large-scale Trademark Retrieval
Queensland University of Technology(昆士兰科技大学);TrademarkVision(商标视觉)
为了应对国际商标侵权的上升,对大规模商标检索(TR)系统的需求显着增加。不幸的是,使用手工制作或预训练的深度卷积神经网络(DCNN)特征的当前方法的排名准确性不足以进行大规模部署。在本文中,我们表明,TR系统的排名精度可以显着提高,通过将硬和软注意力机制,直接注意到关键信息,如比喻元素和减少注意力分散和无信息的元素,如文本和背景。我们提出的方法在一个具有挑战性的大规模商标数据集上取得了最先进的结果。
2019-10-22 cs.CV cs.IR cs.LG
High-Fidelity Industrial Crash Dynamics Prediction via Geometry-Aware Operator Learning with Memory-Efficient Low-Rank Attention
Department of Aerospace and Mechanical Engineering, University of Notre Dame(诺特大学航空航天与机械工程系);NVIDIA;General Motors(通用汽车)
本文提出GeoTransolver框架,通过几何感知算子学习和内存高效低秩注意力机制,实现工业级碰撞动力学的高保真预测,在复杂梁和整车碰撞数据集上验证了其准确性和效率。
2026-05-26 cs.AI cs.LG physics.comp-ph
On the Role of Attention Masks and LayerNorm in Transformers
MIT LIDS(麻省理工学院信息与决策系统实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学)
该研究分析Transformer中注意力掩码与LayerNorm对自注意力秩坍缩的影响,发现稀疏/局部掩码可减缓坍缩,合适值矩阵下带LayerNorm的自注意力不会坍缩至秩1子空间,推翻了LayerNorm无作用的假设,揭示其更强的表达能力。
2024-11-01 cs.LG stat.ML
Exploiting Structure in Offline Multi-Agent RL: The Benefits of Low Interaction Rank
Princeton University(普林斯顿大学);Meta
本文针对离线MARL的近似均衡学习,提出低交互秩结构假设,并结合正则化与无悔学习给出去中心化、计算及统计高效的方法,实验验证低交互秩critic架构优于常用值分解架构。
2024-10-01 cs.LG
The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers
研究固定任务所需最小Transformer模型容量,通过熵界证明线性注意力替代中令牌混合算子内在秩\(r^*\)是紧密下界,梯度下降可恢复此秩,引入注意力原生内在秩恢复完整熵界结构,绘制数据可预测性边界,将熵界重构为注意力原生容量度量。
2026-07-28 cs.LG
An Attention-Based Deep Net for Learning to Rank
Northwestern University(西北大学)
在信息检索中,学习排序是在给定查询条件的情况下,根据搜索结果与查询条件的相关程度或重要程度对搜索结果进行排序的一种基于机器的排序模型。神经网络已经成功地应用于这个问题,在本文中,我们提出了一种基于注意力的深度神经网络,它可以更好地将查询和搜索结果的不同嵌入与基于注意力的机制结合起来。该模型还应用解码器机制以列表方式学习搜索结果的排名。用卷积神经网络或word2vec模型训练嵌入。我们证明了该模型的性能与图像检索和文本查询数据集。
2017-12-10 cs.LG
Modeling Document Interactions for Learning to Rank with Regularized Self-Attention
Johns Hopkins University(约翰斯·霍普金斯大学)
学习排序是一个重要的任务,已经成功地部署在许多现实世界的信息检索系统。大多数现有的方法计算独立的文档的相关性判断,没有整体考虑整个竞争文件集。在本文中,我们将探讨基于自注意的神经网络的文档交互建模。虽然自我注意网络在许多NLP任务中取得了最先进的成果,但我们发现,经验表明,自我注意与基线神经学习排序架构相比,几乎没有什么好处。为了改进自注意权重的学习,我们提出了简单而有效的正则化项,旨在对文档之间的交互进行建模。在公开的学习排序(LETOR)数据集上的评估表明,使用我们提出的正则化项训练自注意网络可以显着优于现有的学习排序方法。
2020-05-08 cs.IR cs.LG
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务,视频描述的目的是产生描述的视频数据。近年来,基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中,注意力权重往往是根据单个通道的信息建立的,而忽略了多个通道之间的关联关系。基于此,本文提出了一种基于高阶跨模态注意(HOCA)的视频描述模型,该模型基于高阶相关张量计算注意权值,以充分捕捉不同模态之间的帧级跨模态交互。此外,我们新颖地引入了低秩HOCA,它采用张量分解,以减少非常大的空间需求的HOCA,导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明,低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification
针对图数据噪声损害GNNs性能的问题,提出两阶段直推式学习方法GCL-LRR及其改进版GCL-LR-Attention,通过低秩正则化与低秩注意力提升节点分类的鲁棒性和泛化能力。
2025-06-28 cs.LG cs.SI stat.ML
Low-Rank Key Value Attention
本文提出低秩键值注意力机制,通过利用注意力头间的冗余减少KV缓存内存消耗,同时保持计算效率,在多个基准测试中表现优异。
2026-04-07 cs.LG
Provable Benefit of Multitask Representation Learning in Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
在强化学习(RL)中,表示学习在实践中成为降低样本复杂度的有力技术,但理论上对其优势的认识仍然有限。在本文中,我们从理论上描述了低秩马尔可夫决策过程(MDP)模型下的表示学习的好处。我们首先研究多任务低秩RL(作为上游训练),其中所有任务共享一个共同的表示,并提出了一个新的多任务无奖励算法称为REFUEL。REFUEL学习每个任务的转换内核和接近最优的策略,并输出下游任务的良好学习表示。我们的研究结果表明,多任务表示学习是可证明的样本效率比学习每个任务单独,只要任务的总数是超过一定的阈值。然后,我们研究了在线和离线设置下的下游RL,其中代理被分配了一个新的任务,与上游任务共享相同的表示。对于在线和离线设置,我们开发了一个样本有效的算法,并表明,它找到了一个接近最优的政策与次优差距的上游和消失项的学习表示的估计误差的总和为界下游样本的数量变得很大。我们的在线和离线RL的下游结果进一步捕获了使用从上游学习的表示的好处,而不是直接学习低秩模型的表示。据我们所知,这是第一个理论研究,表征表示学习的好处,在探索为基础的无奖励多任务RL的上游和下游任务。
2022-06-13 cs.LG stat.ML
ELSAA: Efficient Low-Rank and Sparse Attention Approximation for Training Transformers
研究旨在解决将Transformer扩展到更长输入长度的问题,提出ELSAA方法,通过近似注意力分数算子,结合稀疏与低秩分支及分母感知融合项,构建低秩稀疏注意力输出,实现更长上下文训练并保留交互与混合。
2026-07-23 cs.AI cs.LG
Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning
University of Washington(华盛顿大学);Tsinghua University(清华大学);University of Hong Kong(香港大学);Amazon, Inc.(亚马逊公司)
该研究提出通过注意力头排序与划分,实现语言模型的稀疏与持续强化学习微调,在多类任务上验证了该方法可提升微调效果与任务保留能力。
2026-10-16 cs.CL cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University(浙江大学);United Arab Emirates University(阿联酋大学)
GraphTARIF通过增强注意力的秩和焦点,改进了图变换器的表达能力,从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
How Much Rank Does LoRA Need? Rank-Error Bounds for Transformer Attention
Aily Labs
本文针对Transformer注意力,建立了LoRA秩与近似误差的理论边界,分析了秩的选择规律,扩展了相关分析至融合多头LoRA及联合查询/键更新的场景。
2026-08-27 cs.AI cs.CL cs.LG
Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
Khoury College of Computer Sciences, Northeastern University(东北大学克劳利计算机科学学院)
PLANT通过学习排序模型预训练注意力,提升多标签文本分类性能,尤其在少样本和稀有标签任务中表现突出。
2026-11-19 cs.CL cs.LG
Hypernetwork-Driven Low-Rank Adaptation Across Attention Heads
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science, VNU-HCM(越南国家大学胡志明市分校科学大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Trivita AI
HyRA通过超网络生成联合低秩矩阵,提升多头自注意力的微调效率与效果,尤其在数据稀缺场景中表现优异。
2026-01-31 cs.LG
Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
Faculty of Technology, Department of Computer Engineering, Sakarya University of Applied Sciences(技术学院,计算机工程系,萨克萨大学应用科学)
本文提出动态秩强化学习方法,通过强化学习优化注意力机制,实现低秩多头自注意力在大语言模型中的自适应调整,显著降低计算成本并保持模型性能。
2026-02-08 cs.CL cs.LG
Low-Rank Temporal Attention-Augmented Bilinear Network for financial time-series forecasting
Aarhus University(奥胡斯大学)
金融市场分析,特别是股票价格走势的预测,是一个具有挑战性的问题。金融时间序列数据的非平稳性和非线性是这些挑战的主要原因。深度学习模型已经在来自不同领域的许多问题中带来了显着的性能改进,包括金融时间序列数据的预测问题。虽然预测性能是这类模型的主要目标,但处理超高频数据集在模型参数数量和推理速度方面受到限制。时间注意力增强双线性网络是近年来提出的一种高效、高性能的限价订单时间序列预测模型。在本文中,我们提出了一种低秩张量近似模型,以进一步减少可训练参数的数量并提高其速度。
2021-07-05 cs.LG
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)(微软应用科学组(ASG))
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存,保留所有令牌并自适应调整秩,在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
LOTFormer: Doubly-Stochastic Linear Attention via Low-Rank Optimal Transport
Department of Computer Science, Vanderbilt University, Nashville, Tennessee, USA(范德比尔特大学计算机科学系);Department of Mathematics, The University of Texas at Arlington, Arlington, Texas, USA(德克萨斯大学阿灵顿分校数学系);Department of Biostatistics and Bioinformatics, Duke University, Durham, North Carolina, USA(杜克大学生物统计学与生物信息学系)
LOTFormer通过低秩最优传输视角提出双随机线性注意力机制,有效解决长上下文建模中的注意力集中问题,提升模型鲁棒性和效率。
2026-02-08 cs.LG
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
University of California Los Angeles(加州大学洛杉矶分校)
针对线性注意力多项式核近似误差问题,提出可学习低秩多项式概型LLoPS,其近似误差更小,在多基准测试中性能优于多种线性注意力基线。
2026-10-14 cs.AI cs.CL cs.LG