Re-ranking With Constraints on Diversified Exposures for Homepage Recommender System
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
大多数电子商务应用程序上的主页推荐以分层方式放置项目,其中不同的频道以不同的风格显示项目。现有的算法通常优化单个通道的性能。因此,设计一个推荐模型来获得最大化整个网页点击率的最优推荐列表是一个具有挑战性的问题。除了准确性目标之外,主页上的显示多样性也很重要,因为均匀的显示通常会损害用户体验。在本文中,我们提出了一个两阶段的主页推荐系统的架构。在第一阶段中,我们开发了有效的算法,用于在保持多样性的同时向适当的渠道推荐项目。这两种方法可以结合起来:具有多样性约束的用户-渠道-项目预测模型。在第二阶段,我们提供每个通道中的项目的有序列表。现有的重排序模型难以描述渠道内和渠道间项目之间的相互影响。因此,我们提出了一个深度和层次的注意力网络重新排名(DHANR)模型的网页推荐系统。分层注意力网络由项目编码器、项目级注意力层、通道编码器和通道级注意力层组成。我们的方法在离线实验中的精度,列表内平均距离(ILAD)和通道精度@k方面以及在线系统中的CTR和ILAD方面取得了显着的改善。
2021-12-12 cs.IR cs.LG
Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems
Taboola Israel(Taboola以色列)
提出一种秩感知分解方法,通过将上下文相关计算从每个候选一次减少为每个请求一次,在不改变模型预测的情况下显著提升工业推荐系统的吞吐量。
2026-05-24 cs.IR cs.LG
Low Rank Transformer for Multivariate Time Series Anomaly Detection and Localization
KIOS Research and Innovation Center of Excellence(KIOS研究与创新中心卓越研究所);Department of Electrical and Computer Engineering, University of Cyprus(电子与计算机工程系,塞浦路斯大学);Department of Mathematics and Statistics, University of Cyprus(数学与统计学系,塞浦路斯大学)
本文提出低秩变换器模型,通过低秩正则化和Attention Low-Rank score提升多变量时间序列异常检测与定位性能。
2026-02-09 cs.LG stat.ML
The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers
研究固定任务所需最小Transformer模型容量,通过熵界证明线性注意力替代中令牌混合算子内在秩\(r^*\)是紧密下界,梯度下降可恢复此秩,引入注意力原生内在秩恢复完整熵界结构,绘制数据可预测性边界,将熵界重构为注意力原生容量度量。
2026-07-28 cs.LG
An Attention-Based Deep Net for Learning to Rank
Northwestern University(西北大学)
在信息检索中,学习排序是在给定查询条件的情况下,根据搜索结果与查询条件的相关程度或重要程度对搜索结果进行排序的一种基于机器的排序模型。神经网络已经成功地应用于这个问题,在本文中,我们提出了一种基于注意力的深度神经网络,它可以更好地将查询和搜索结果的不同嵌入与基于注意力的机制结合起来。该模型还应用解码器机制以列表方式学习搜索结果的排名。用卷积神经网络或word2vec模型训练嵌入。我们证明了该模型的性能与图像检索和文本查询数据集。
2017-12-10 cs.LG
Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth
Google(谷歌);EPFL(洛桑联邦理工学院)
本工作提出一种分解方法证明纯self-attention网络对“token uniformity”具有强烈inductive bias,若无skip connections或MLPs,其输出会以双重指数速度收敛至rank-1矩阵,并通过实验验证了该收敛现象。
2023-08-01 cs.LG
FLARE: Fast Low-rank Attention Routing Engine
Department of Mechanical Engineering, Carnegie Mellon University, Pittsburgh, Pennsylvania, USA(机械工程系,卡内基梅隆大学,匹兹堡,宾夕法尼亚州,美国)
FLARE通过低秩注意力路由实现高效Transformer扩展,适用于长序列处理,提升PDE替代和长程任务性能。
2026-01-30 cs.LG
Scatterbrain: Unifying Sparse and Low-rank Attention Approximation
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);University at Buffalo, SUNY(纽约州立大学布法罗分校)
高效的Transformers的最新进展已经利用注意矩阵的稀疏性或低秩特性来减少建模长序列的计算和存储瓶颈。然而,平衡模型质量和效率之间的权衡以针对不同任务执行一刀切的近似仍然具有挑战性。为了更好地理解这种权衡,我们观察到稀疏和低秩近似在不同的制度中表现出色,由注意力的softmax温度决定,稀疏+低秩可以单独优于每一个。受经典的鲁棒PCA算法稀疏和低秩分解的启发,我们提出了Scatterbrain,一种新的方式来统一稀疏(通过局部敏感哈希)和低秩(通过内核特征映射)的注意力,以实现准确和有效的近似。估计是无偏的,可证明误差很低。我们的经验表明,Scatterbrain在BigGAN图像生成和预训练的T2 T-ViT中作为替代品时,可以实现比基线低2.1倍的误差。在预先训练的T2 T视觉Transformer上,即使没有微调,Scatterbrain也可以减少98%的注意力记忆,而代价是准确率仅下降1%。我们展示了Scatterbrain的端到端训练,在语言建模和远程竞技场任务上,比稀疏或低秩高效Transformers的困惑度高出4分,平均准确度高出5分。
2021-10-28 cs.LG
Low-Rank Key Value Attention
本文提出低秩键值注意力机制,通过利用注意力头间的冗余减少KV缓存内存消耗,同时保持计算效率,在多个基准测试中表现优异。
2026-04-07 cs.LG
Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention
CENIA(智利环境与可持续发展研究中心)
该研究对比全注意力与核注意力的差异,证明三令牌序列下非负核注意力需指数级特征,而密集softmax仅需线性特征,还推导了有限字母表多头草图模型的转录本下界。
2026-10-01 cs.LG
FLARE++: Low-rank attention with dynamic attention routing
Carnegie Mellon University(卡内基梅隆大学)
FLARE++是带动态注意力路由的低秩注意力架构,通过复用FLARE编码器生成输入条件查询,保留低秩分解与线性复杂度,在PDE代理基准平均提升24%,Long Range Arena平均准确率提升2.3点。
2026-09-29 cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Loki: Low-rank Keys for Efficient Sparse Attention
University of Maryland(马里兰大学)
本文提出Loki稀疏注意力方法,利用键向量低秩特性在低维空间计算注意力分数以选择KV缓存中的令牌,从而降低数据移动和计算成本,加速LLM推理并保持模型性能。
2024-11-07 cs.LG
Hypernetwork-Driven Low-Rank Adaptation Across Attention Heads
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Science, VNU-HCM(越南国家大学胡志明市分校科学大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Trivita AI
HyRA通过超网络生成联合低秩矩阵,提升多头自注意力的微调效率与效果,尤其在数据稀缺场景中表现优异。
2026-01-31 cs.LG
Modeling Document Interactions for Learning to Rank with Regularized Self-Attention
Johns Hopkins University(约翰斯·霍普金斯大学)
学习排序是一个重要的任务,已经成功地部署在许多现实世界的信息检索系统。大多数现有的方法计算独立的文档的相关性判断,没有整体考虑整个竞争文件集。在本文中,我们将探讨基于自注意的神经网络的文档交互建模。虽然自我注意网络在许多NLP任务中取得了最先进的成果,但我们发现,经验表明,自我注意与基线神经学习排序架构相比,几乎没有什么好处。为了改进自注意权重的学习,我们提出了简单而有效的正则化项,旨在对文档之间的交互进行建模。在公开的学习排序(LETOR)数据集上的评估表明,使用我们提出的正则化项训练自注意网络可以显着优于现有的学习排序方法。
2020-05-08 cs.IR cs.LG
LOTFormer: Doubly-Stochastic Linear Attention via Low-Rank Optimal Transport
Department of Computer Science, Vanderbilt University, Nashville, Tennessee, USA(范德比尔特大学计算机科学系);Department of Mathematics, The University of Texas at Arlington, Arlington, Texas, USA(德克萨斯大学阿灵顿分校数学系);Department of Biostatistics and Bioinformatics, Duke University, Durham, North Carolina, USA(杜克大学生物统计学与生物信息学系)
LOTFormer通过低秩最优传输视角提出双随机线性注意力机制,有效解决长上下文建模中的注意力集中问题,提升模型鲁棒性和效率。
2026-02-08 cs.LG
On the Benefits of Rank in Attention Layers
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Flatiron Institute(弗拉蒂隆研究所)
本文揭示了注意力机制中矩阵秩与头数间的显著权衡,证明单头全秩可表示的函数需指数级多头低秩才能近似,短上下文可借深度补偿,并经实验验证。
2024-07-23 cs.LG stat.ML
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention
Zhejiang University(浙江大学)
为了提高Transformer的效率,人们进行了许多研究,从二次型到线性型。其中,基于低秩的方法旨在学习投影矩阵以压缩序列长度。然而,投影矩阵一旦被学习就被固定,其利用用于相同位置中的令牌的专用系数来压缩序列长度。采用这样的输入不变投影忽略了序列的最具信息量的部分随序列而变化的事实,因此未能保留位于不同位置的最有用的信息。另外,以往的高效Transformers算法只关注了序列长度的影响,而忽略了隐状态维数的影响。为了解决上述问题,我们提出了一种高效且有效的注意力机制,即动态双线性低秩注意力(DBA),它通过输入敏感的动态投影矩阵压缩序列长度,并通过联合优化序列长度和隐藏状态维度来实现线性时间和空间复杂度,同时保持最先进的性能。具体来说,我们首先从理论上证明了序列长度可以从信息论的一个新的角度进行非破坏性压缩,压缩矩阵由输入序列动态确定。此外,我们表明,隐藏状态的尺寸可以近似扩展的约翰逊-林登施特劳斯引理,优化的双线性形式的注意。理论分析表明,DBA能够很好地捕捉交叉注意问题中的高阶关系。在不同序列长度条件下的任务上的实验表明,与各种强基线相比,DBA实现了最先进的性能,同时保持了更高的速度和更少的内存消耗。
2022-11-24 cs.LG
ELSAA: Efficient Low-Rank and Sparse Attention Approximation for Training Transformers
研究旨在解决将Transformer扩展到更长输入长度的问题,提出ELSAA方法,通过近似注意力分数算子,结合稀疏与低秩分支及分母感知融合项,构建低秩稀疏注意力输出,实现更长上下文训练并保留交互与混合。
2026-07-23 cs.AI cs.LG
DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation
针对大语言模型KV缓存瓶颈问题,提出DynaCalKV框架,通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存,值缓存采用ReCalKV方法优化,实验表明能减少键缓存参数且保持准确率,对MHA模型效果好,对GQA模型应用需更谨慎。
2026-07-28 cs.LG
Sinkhorn doubly stochastic attention rank decay analysis
University of Bologna(博洛尼亚大学)
本文研究了网络深度下注意力秩的衰减问题,发现使用Sinkhorn算法归一化的双重随机注意力矩阵比标准Softmax行随机注意力更能保持秩。通过实验验证了这一现象,并推导了纯自注意力秩衰减的理论界限。
2026-10-07 cs.AI cs.LG math.OC
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
LLMs(大型语言模型)
将门控MLP视为秩1双线性注意力的近似,通过非线性打破对称性,解释其有效性并指导架构设计。
2026-06-23 cs.AI cs.LG
On the Role of Attention Masks and LayerNorm in Transformers
MIT LIDS(麻省理工学院信息与决策系统实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学)
该研究分析Transformer中注意力掩码与LayerNorm对自注意力秩坍缩的影响,发现稀疏/局部掩码可减缓坍缩,合适值矩阵下带LayerNorm的自注意力不会坍缩至秩1子空间,推翻了LayerNorm无作用的假设,揭示其更强的表达能力。
2024-11-01 cs.LG stat.ML
Weight decay induces low-rank attention layers
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
该研究揭示权重衰减与L2正则化会使注意力层的矩阵乘积趋于低秩,补充了L2正则化与低秩正则化的关联理论,并通过实验验证解耦注意力层权重衰减可提升语言模型性能。
2024-10-31 cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University(浙江大学);United Arab Emirates University(阿联酋大学)
GraphTARIF通过增强注意力的秩和焦点,改进了图变换器的表达能力,从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
Khoury College of Computer Sciences, Northeastern University(东北大学克劳利计算机科学学院)
PLANT通过学习排序模型预训练注意力,提升多标签文本分类性能,尤其在少样本和稀有标签任务中表现突出。
2026-11-19 cs.CL cs.LG
Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers
本文用三阶张量秩量化单层注意力 Transformer 的事实记忆容量,揭示注意力权重与事实回忆的关系,并提出不增参数即可提升层容量的方法。
2025-02-07 cs.CL cs.LG
On State Reduction in Linear Attention
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出了一种基于秩的线性注意力状态缩减方法,通过结构化修剪减少状态大小,同时保持模型性能,实现更快和更节省内存的模型。
2026-09-30 cs.LG
Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
Faculty of Technology, Department of Computer Engineering, Sakarya University of Applied Sciences(技术学院,计算机工程系,萨克萨大学应用科学)
本文提出动态秩强化学习方法,通过强化学习优化注意力机制,实现低秩多头自注意力在大语言模型中的自适应调整,显著降低计算成本并保持模型性能。
2026-02-08 cs.CL cs.LG
Attention-based neural re-ranking approach for next city in trip recommendations
Edinburgh(爱丁堡);Saint-Petersburg(圣彼得堡)
本文描述了一种解决旅游预订系统下一个目的地城市推荐问题的方法。我们提出了一个两阶段的方法:一个启发式的候选人选择方法和一个注意力神经网络模型的候选人重新排名。我们的方法的灵感来自列表学习排名方法和自然语言处理的最新发展,特别是Transformer架构。我们使用这种方法来解决Booking.com推荐挑战我们的团队使用这种方法在挑战中获得了第5名,在数据集的封闭部分上获得了0.555的准确度@4值。
2021-03-23 cs.IR cs.LG
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)(微软应用科学组(ASG))
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存,保留所有令牌并自适应调整秩,在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
How Much Rank Does LoRA Need? Rank-Error Bounds for Transformer Attention
Aily Labs
本文针对Transformer注意力,建立了LoRA秩与近似误差的理论边界,分析了秩的选择规律,扩展了相关分析至融合多头LoRA及联合查询/键更新的场景。
2026-08-27 cs.AI cs.CL cs.LG
Multi-Head Low-Rank Attention
The Pennsylvania State University(宾夕法尼亚州立大学);University of Connecticut(康涅狄格大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出多头低秩注意力机制,通过高效4路张量并行解码,显著提升大型语言模型的解码速度和性能。
2026-03-02 cs.LG
Low-Rank Bottleneck in Multi-head Attention Models
Google Research(谷歌研究院);MIT(麻省理工学院)
基于注意力的Transformer架构使得自然语言处理领域取得了重大进展。除了新的预训练技术之外,最近的改进关键在于使用相对较大的令牌嵌入维度。不幸的是,这会导致在下游任务中采用的模型过大。在本文中,我们确定的重要因素之一,有助于大的嵌入大小的要求。特别是,我们的分析强调,在当前的架构中,头部的数量和每个头部的大小之间的缩放引起了注意头部的低秩瓶颈,导致这种限制。我们在实验中进一步验证了这一点。作为一个解决方案,我们建议设置的头部大小的注意力单元的输入序列长度,并独立于头部的数量,从而在多头注意力层具有可证明的更强的表达能力。我们的经验表明,这使我们能够训练模型具有相对较小的嵌入维数和更好的性能扩展。
2020-02-17 cs.LG stat.ML
State Rank Dynamics in Linear Attention LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Chinese Academy of Sciences(中国科学院大学);CAS Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院人工智能安全重点实验室);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oxford(牛津大学);Tsinghua University(清华大学)
本研究揭示了线性注意力模型中状态排名分层现象,提出联合秩-范数剪枝策略,有效降低KV缓存开销并维持模型准确性。
2026-02-02 cs.AI cs.LG
Low-Rank Attention Residuals
研究提出低秩注意力残差(LR-AttnRes),包括投影式和切片式,通过使用低维键进行路由,解耦路由与残差内容,减少运算量并提升性能,证明深度路由在较少维度下也有效,还发布了代码和模型。
2026-09-23 cs.CL cs.LG
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务,视频描述的目的是产生描述的视频数据。近年来,基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中,注意力权重往往是根据单个通道的信息建立的,而忽略了多个通道之间的关联关系。基于此,本文提出了一种基于高阶跨模态注意(HOCA)的视频描述模型,该模型基于高阶相关张量计算注意权值,以充分捕捉不同模态之间的帧级跨模态交互。此外,我们新颖地引入了低秩HOCA,它采用张量分解,以减少非常大的空间需求的HOCA,导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明,低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
University of California Los Angeles(加州大学洛杉矶分校)
针对线性注意力多项式核近似误差问题,提出可学习低秩多项式概型LLoPS,其近似误差更小,在多基准测试中性能优于多种线性注意力基线。
2026-10-14 cs.AI cs.CL cs.LG
LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models
University of Science and Technology of China(中国科学技术大学)
提出统一tokenize-and-route框架LimiX-2M,通过RaBEL扩展标量为局部RBF特征并重新排序双向块S→N→F,以2M参数超越更大模型,改善表格基础模型的精度-效率权衡。
2026-06-04 cs.LG
Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
提出低秩稀疏注意力模型Lorsa,将多头自注意力解耦为可理解的组件,有效解决注意力叠加问题,发现更细粒度的注意力行为,并在可解释性与电路发现上优于稀疏自编码器。
2025-04-29 cs.CL cs.LG
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University(普渡大学)
提出Eigen Attention,在低秩空间进行注意力操作以压缩KV缓存,与现有技术兼容,在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%,性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention
University of Sydney(悉尼大学);King Abdullah University of Science and Technology(卡布斯大学);Together AI;University of Texas at Austin(德克萨斯大学奥斯汀分校)
CARE通过考虑激活协方差和增强秩,改进了多头潜在注意力的转换,减少了KV缓存成本并提升了表达能力,实验表明其在多个模型上表现更优。
2026-03-18 cs.AI cs.LG
Continual Low-Rank Scaled Dot-product Attention
Aarhus University(奥胡斯大学);Tampere University(坦佩雷大学)
针对Transformer缩放点积注意力计算内存开销大、难应用于受限流数据处理的问题,提出基于Nyström近似的适用于持续推理的低秩缩放点积注意力,实验中运算量最多降三个数量级且性能持平。
2025-07-28 cs.CV cs.LG
FLuRKA: Fast and accurate unified Low-Rank & Kernel Attention
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind)
提出FLuRKA,通过融合低秩与核方法构建新型transformer,在保证模型质量的同时显著提升训练速度,在多任务上实现与底层方法相当甚至更优的准确度。
2024-06-02 cs.CL cs.LG cs.PF
Tucker Attention: A generalization of approximate attention mechanisms
Otto von Guericke University Magdeburg(奥托·冯·格里克大学马格德堡);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Norwegian University of Life Sciences(挪威生命科学大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Tucker Attention,通过改进自注意层的权重对象和分解策略,实现更高效的参数方案,相比GQA和MLA在参数量上更优,并兼容Flash Attention和RoPE。
2026-03-31 cs.AI cs.LG
Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification
针对图数据噪声损害GNNs性能的问题,提出两阶段直推式学习方法GCL-LRR及其改进版GCL-LR-Attention,通过低秩正则化与低秩注意力提升节点分类的鲁棒性和泛化能力。
2025-06-28 cs.LG cs.SI stat.ML
Mind the Gap: a Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers
Mathematical Institute, University of Oxford(牛津大学数学研究所)
该研究针对softmax注意力层的信息传播异常问题,通过随机矩阵理论发现了宽度方向秩坍缩的新问题及谱隙成因,提出移除离群特征值的缓解方案,为相关实证研究提供理论支撑。
2025-06-16 cs.LG stat.ML
BioNLP-OST 2019 RDoC Tasks: Multi-grain Neural Relevance Ranking Using Topics and Attention Based Query-Document-Sentence Interactions
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们的系统细节和参与BioNLP-OST 2019 RDoC任务的结果。研究领域标准(RDoC)结构是一个多维和广泛的框架,通过结合从基因组学到行为的知识来描述心理健康障碍。RDoC标记数据集的不可用性和繁琐的标记过程阻碍了RDoC框架在生物医学研究社区和医疗保健行业中的充分潜力。因此,任务1旨在检索和排名与给定RDoC结构相关的PubMed摘要,任务2旨在从给定PubMed摘要中提取最相关的句子。我们研究(1)基于注意力的监督神经主题模型和SVM用于PubMed摘要的检索和排名,并进一步利用BM 25和其他相关性度量进行重新排名,(2)监督和无监督句子排名模型,利用多视图表示,包括查询感知的基于注意力的句子表示(QAR),词袋(BoW)和TF-IDF。我们最好的系统在任务1和任务2中分别获得了0.86的平均精度(mAP)和0.58的宏观平均精度(MAA)。
2019-10-02 cs.CL cs.IR cs.LG
Rank-Aware Spectral Bounds on Attention Logits for Stable Low-Precision Training
UNC-Chapel Hill, Kenan-Flagler Business School, Chapel Hill, NC, USA(北卡罗来纳大学教堂山分校,肯纳-弗拉格勒商学院)
本文提出一种基于秩感知谱界的注意力logits缩放方法,通过隐式幂迭代计算每层缩放因子,有效控制低精度训练中的溢出风险,同时保持模型性能。
2026-11-10 cs.AI cs.LG
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University(莱斯大学);Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学)
视觉Transformer(ViT)已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说,ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而,计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量,限制了其可实现的效率和可扩展性,并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而,一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距,我们提出了一个首创的算法硬件协同设计框架,称为ViTALiTy,用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同,ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面,我们通过一阶Taylor注意力近似点积softmax操作,行均值中心作为低秩分量,以线性化注意力块的成本,并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面,我们开发了一个专用的加速器,以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线,该注意力只需要执行低秩组件,以进一步提高硬件效率。广泛的实验和消融研究证实,ViTALiTy提供了提高的端到端效率(例如,$3\times$更快,$3\times$更节能)。
2022-11-09 cs.AR cs.CV cs.LG
Low Rank Factorization for Compact Multi-Head Self-Attention
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
从文本中进行有效的表示学习一直是自然语言处理和文本挖掘领域的研究热点。注意力机制一直处于学习语境句子表征的前沿。目前许多NLP任务的最先进方法使用大型预训练语言模型,如BERT,XLNet等用于学习表示。这些模型基于Transformer架构,该架构涉及由多头自注意和前馈网络组成的循环计算块。在很大程度上导致Transformer模型的计算复杂性的主要瓶颈之一是自注意层,这是计算昂贵和参数密集的。在这项工作中,我们引入了一种新的多头自注意力机制,在GRU上运行,被证明是计算成本更低,更有效的参数比自注意力机制提出的Transformers的文本分类任务。我们方法的效率主要源于两个优化; 1)我们使用亲和力矩阵的低秩矩阵分解来有效地获得多个注意力分布,而不是为每个头部提供单独的参数2)注意力分数通过查询全局上下文向量来获得,而不是密集查询句子中的所有单词。我们评估的任务,如情感分析从电影评论,预测业务评级的评论和分类新闻文章到主题的模型的性能。我们发现,所提出的方法匹配或优于一系列强基线,比可比的多头方法更参数有效。我们还进行了定性分析,以验证所提出的方法是可解释的,并捕捉上下文相关的词的重要性。
2020-08-10 cs.CL cs.LG
Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction
The University of Hong Kong(香港大学)
本文分解 MASTER 的股票间注意力,发现其近似均匀但低秩,Nyström 低秩近似可匹配全注意力性能,且注意力寻求互补而非相关性,大规模下跨股票模块无优势。
2026-09-09 cs.LG q-fin.ST
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
Transformer体系结构在自然语言处理领域取得成功后,现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置:最佳深度与宽度比已被证明在数据类型之间变化很大(例如,$10$ x在图像上大于在语言上)。我们从理论上预测存在嵌入秩瓶颈,限制了自注意力宽度对Transformer表达的贡献。因此,我们直接将输入词汇的大小和等级与最佳的深宽比联系起来,因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响,将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处,我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型(如ALBERT和T5)中的大小冗余。
2021-06-09 cs.CL cs.LG
Linear Algebra Foundations of Efficient Attention: A Phase Reversal in Rank Collapse Under SVD Compression
本文统一十四篇研究,发现SVD压缩注意力投影对秩坍缩呈相位反转:初始化时抑制、预训练时加速,归因于子空间选择而非范数缩减。
2026-09-09 cs.AI cs.LG cs.NE