Adaptive Rank Allocation: Speeding Up Modern Transformers with RaNA Adapters
Institute of Computational and Mathematical Engineering, Stanford University（计算与数学工程研究所，斯坦福大学）；Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
本文提出自适应秩分配框架及 RaNA 适配器，通过低秩分解与自适应掩码在线性层上高效分配计算，克服神经元自适应方法依赖稀疏激活和不兼容注意力层等局限，在减少约44% FLOPs的同时显著提升困惑度和准确率。
2025-05-06 cs.LG
From Features to Transformers: Redefining Ranking for Scalable Impact
LiGR通过改进的Transformer架构实现了大规模排序系统的突破，淘汰了传统特征工程，验证了排序系统的扩展定律，并提升了多样性。
2026-02-08 cs.LG
From Condensation to Rank Collapse: A Two-Stage Analysis of Transformer Training Dynamics
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学自然科学院）
本文提出两阶段框架分析Transformer训练动力学，揭示从凝聚到秩坍缩的演化过程，并推广了经典定向收敛结果。
2025-10-08 cs.LG
Riemannian Attention Mechanisms for Transformers: A Theoretical Framework and Architecture Design
该研究针对Transformer自注意力栈的秩双指数衰减问题，提出用逐token黎曼度量替代欧几里得度量的理论框架，设计纤维丛Transformer架构，推导相关理论预测并明确核心开放问题。
2026-08-27 cs.AI cs.LG
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
Transformer体系结构在自然语言处理领域取得成功后，现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置：最佳深度与宽度比已被证明在数据类型之间变化很大（例如，$10$ x在图像上大于在语言上）。我们从理论上预测存在嵌入秩瓶颈，限制了自注意力宽度对Transformer表达的贡献。因此，我们直接将输入词汇的大小和等级与最佳的深宽比联系起来，因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响，将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处，我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型（如ALBERT和T5）中的大小冗余。
2021-06-09 cs.CL cs.LG
Choppy: Cut Transformer For Ranked List Truncation
Google Research（谷歌研究院）
信息检索中的工作传统上集中在排序和相关性上：给定一个查询，返回一些按与用户的相关性排序的结果。然而，确定返回多少结果的问题，即如何最佳地截断排名的结果列表，尽管在一系列应用中至关重要，但受到的关注较少。这种截断是在结果的总体相关性或有用性与处理更多结果的用户成本之间的平衡行为。在这项工作中，我们提出了Choppy，一个基于广泛成功的Transformer架构的无截断模型，排名列表截断问题。该模型只需要结果的相关性分数，使用强大的多头注意力机制来直接优化任何用户定义的IR度量。我们展示了Choppy对最近最先进方法的改进。
2020-04-26 cs.CL cs.IR cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven（鲁汶大学）
端到端口语语言理解（SLU）系统受益于大型语料库的预训练，然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如，基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化，我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体，其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下，由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
Resource-Efficient Pruning for Transformer via Low-Rank Importance Estimation
School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；College of Information and Artificial Intelligence, Yangzhou University（扬州大学信息与人工智能学院）
针对Transformer模型部署的高资源消耗问题，提出基于LoRA低秩梯度的REP-LIE剪枝方法，结合稳定性分数迭代剪枝，在LLaMA-7B等模型上实现高效剪枝并保持竞争力性能。
2026-08-27 cs.AI cs.ET cs.LG
Lightweight and Efficient End-to-End Speech Recognition Using Low-Rank Transformer
HKUST（香港科技大学）
高性能的深度神经网络以计算复杂性为代价，这限制了它们在便携式设备上部署的实用性。我们提出了低秩Transformer（LRT），这是一种内存高效且快速的神经架构，可显着减少参数并提高端到端语音识别的训练和推理速度。与基线Transformer模型相比，我们的方法将网络的参数数量减少了50%以上，并将推理时间加快了约1.35倍。实验表明，我们的LRT模型更好地推广，并产生较低的出错率验证和测试集相比，未压缩的Transformer模型。LRT模型在端到端环境中优于现有的几个数据集上的工作，而不使用外部语言模型或声学数据。
2020-02-14 cs.CL cs.LG cs.SD
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention
Zhejiang University（浙江大学）
为了提高Transformer的效率，人们进行了许多研究，从二次型到线性型。其中，基于低秩的方法旨在学习投影矩阵以压缩序列长度。然而，投影矩阵一旦被学习就被固定，其利用用于相同位置中的令牌的专用系数来压缩序列长度。采用这样的输入不变投影忽略了序列的最具信息量的部分随序列而变化的事实，因此未能保留位于不同位置的最有用的信息。另外，以往的高效Transformers算法只关注了序列长度的影响，而忽略了隐状态维数的影响。为了解决上述问题，我们提出了一种高效且有效的注意力机制，即动态双线性低秩注意力（DBA），它通过输入敏感的动态投影矩阵压缩序列长度，并通过联合优化序列长度和隐藏状态维度来实现线性时间和空间复杂度，同时保持最先进的性能。具体来说，我们首先从理论上证明了序列长度可以从信息论的一个新的角度进行非破坏性压缩，压缩矩阵由输入序列动态确定。此外，我们表明，隐藏状态的尺寸可以近似扩展的约翰逊-林登施特劳斯引理，优化的双线性形式的注意。理论分析表明，DBA能够很好地捕捉交叉注意问题中的高阶关系。在不同序列长度条件下的任务上的实验表明，与各种强基线相比，DBA实现了最先进的性能，同时保持了更高的速度和更少的内存消耗。
2022-11-24 cs.LG
Sparse Low-Ranked Self-Attention Transformer for Remaining Useful Lifetime Prediction of Optical Fiber Amplifiers
Adtran（阿德创公司）；Advanced Technology（先进技术部）
针对光纤放大器剩余使用寿命预测中小数据集泛化难的问题，提出带稀疏低秩自注意力的编解码Transformer模型，在EDFA及涡扇数据集上性能超越现有最优方法。
2025-01-15 cs.AI cs.LG eess.SP
Temporal Collaborative Ranking Via Personalized Transformer
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angles（加州大学洛杉矶分校）
协同排名问题一直是一个重要的开放式研究问题，因为大多数推荐问题可以自然地表示为排名问题。虽然大部分的协同排名方法假设静态的排名数据，时间信息，以提高排名性能的重要性越来越明显。深度学习的最新进展，特别是除了在自然语言处理中广泛使用的RNN和CNN之外，还发现了各种注意力机制和更新的架构，使我们能够更好地利用每个用户参与的项目的时间排序。特别是，SASRec模型受到自然语言处理中流行的Transformer模型的启发，在时间协作排名问题上取得了最先进的结果，并且与早期的CNN相比，速度提高了10倍以上/基于RNN的方法。然而，SASRec本质上是一个非个性化的模型，不包括个性化的用户嵌入。为了克服这一限制，我们提出了一个个性化的Transformer（SSE-PT）模型，在5个真实世界的数据集上，NDCG@10方面的性能比SASRec高出近5%。此外，在检查了一些随机用户的参与历史和相应的注意力热图在推理阶段使用，我们发现我们的模型不仅是更可解释的，而且能够集中在最近的参与模式为每个用户。此外，我们的SSE-PT模型稍加修改，我们称之为SSE-PT++，可以处理极长的序列，并在训练速度相当的情况下在排名结果方面优于SASRec，在性能和速度要求之间取得平衡。代码和数据在https://github.com/wuliwei9278/SSE-PT上开源。
2019-08-15 cs.IR cs.LG stat.ML
Scatterbrain: Unifying Sparse and Low-rank Attention Approximation
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
高效的Transformers的最新进展已经利用注意矩阵的稀疏性或低秩特性来减少建模长序列的计算和存储瓶颈。然而，平衡模型质量和效率之间的权衡以针对不同任务执行一刀切的近似仍然具有挑战性。为了更好地理解这种权衡，我们观察到稀疏和低秩近似在不同的制度中表现出色，由注意力的softmax温度决定，稀疏+低秩可以单独优于每一个。受经典的鲁棒PCA算法稀疏和低秩分解的启发，我们提出了Scatterbrain，一种新的方式来统一稀疏（通过局部敏感哈希）和低秩（通过内核特征映射）的注意力，以实现准确和有效的近似。估计是无偏的，可证明误差很低。我们的经验表明，Scatterbrain在BigGAN图像生成和预训练的T2 T-ViT中作为替代品时，可以实现比基线低2.1倍的误差。在预先训练的T2 T视觉Transformer上，即使没有微调，Scatterbrain也可以减少98%的注意力记忆，而代价是准确率仅下降1%。我们展示了Scatterbrain的端到端训练，在语言建模和远程竞技场任务上，比稀疏或低秩高效Transformers的困惑度高出4分，平均准确度高出5分。
2021-10-28 cs.LG
A Theory for Compressibility of Graph Transformers for Transductive Learning
University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Meta；CMU（卡内基梅隆大学）；Google Research（谷歌研究院）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔创新人工智能研究所）
本文针对传导式图学习任务，从理论上研究了图Transformer隐藏维度的可压缩性，给出了稀疏与稠密变体在何种条件下可压缩的界限。
2024-11-20 cs.LG stat.ML
Training Transformers for KV Cache Compressibility
University of Oxford（牛津大学）；Technion – Israel Institute of Technology（技术ion理工学院）；AITHYRA；NVIDIA
本文提出KV-CAT训练方法，通过训练时的KV稀疏化策略，引导模型学习可压缩的表示，提升下游压缩方法的质量-预算权衡。
2026-05-12 cs.LG
Rank, Head-Channel Non-Identifiability, and Symmetry Breaking: A Precise Analysis of Representational Collapse in Transformers
Laboratoire LTI, Université de Picardie Jules Verne, Chemin du Thil, 80025 Amiens, France（里尔理工大学，皮卡第大学朱利斯·弗尔内大学，Thil路，法国阿姆斯泰尔）
本文分析了Transformer中表征崩溃现象，指出层归一化对秩的精确保持，残差连接阻碍秩崩溃，以及头部通道不可识别性等核心贡献。
2026-04-26 cs.CL cs.LG stat.ML
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University（莱斯大学）；Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）
视觉Transformer（ViT）已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说，ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而，计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量，限制了其可实现的效率和可扩展性，并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而，一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距，我们提出了一个首创的算法硬件协同设计框架，称为ViTALiTy，用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同，ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面，我们通过一阶Taylor注意力近似点积softmax操作，行均值中心作为低秩分量，以线性化注意力块的成本，并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面，我们开发了一个专用的加速器，以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线，该注意力只需要执行低秩组件，以进一步提高硬件效率。广泛的实验和消融研究证实，ViTALiTy提供了提高的端到端效率（例如，$3\times$更快，$3\times$更节能）。
2022-11-09 cs.AR cs.CV cs.LG
Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures
Independent Researcher（独立研究者）
HDPL通过混合双路径线性变换提升Transformer架构效率与表示能力，减少参数量并优化上下文整合。
2026-02-05 cs.LG
Efficient and Effective Query Context-Aware Learning-to-Rank Model for Sequential Recommendation
Zalando SE（Zalando公司）
本文针对序列推荐中查询上下文难以整合的问题，提出在注意力机制中有效融合物品序列与查询上下文的新方法，实验证明该方法能显著提升模型排序的相关性与多样性。
2025-08-12 cs.IR cs.LG
On the Benefits of Rank in Attention Layers
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Flatiron Institute（弗拉蒂隆研究所）
本文揭示了注意力机制中矩阵秩与头数间的显著权衡，证明单头全秩可表示的函数需指数级多头低秩才能近似，短上下文可借深度补偿，并经实验验证。
2024-07-23 cs.LG stat.ML
Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales
fraQtl AI Research（fraQtl人工智能研究院）
本文通过40多项实验研究Transformer压缩，发现方差与重要性无关，块线性依赖分布，重建墙现象，线性随深度增加，30%token计算简单。
2026-04-22 cs.LG
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University（西蒙弗雷泽大学）
本文提出基于率-失真原理的压缩框架，通过学习紧凑编码在准确率与比特率间进行权衡，实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
ELSAA: Efficient Low-Rank and Sparse Attention Approximation for Training Transformers
研究旨在解决将Transformer扩展到更长输入长度的问题，提出ELSAA方法，通过近似注意力分数算子，结合稀疏与低秩分支及分母感知融合项，构建低秩稀疏注意力输出，实现更长上下文训练并保留交互与混合。
2026-07-23 cs.AI cs.LG
Rank-Factorized Implicit Neural Bias: Scaling Super-Resolution Transformer with FlashAttention
University of Seoul（首尔大学）；KAIST AI（韩国科学技术院人工智能研究所）
提出秩分解隐式神经偏置(RIB)替代相对位置偏置(RPB)，通过低秩隐式神经表示和通道级拼接实现FlashAttention兼容，并引入卷积局部注意力和循环窗口策略，在Urban100×2上达到35.63 dB PSNR，训练和推理时间分别减少2.1倍和2.9倍。
2026-05-29 cs.AI cs.LG
Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文研究Transformer在多元多项式分解中的潜在模式发现能力，提出秩感知强化学习方法BGRPO，在提升准确率的同时大幅降低推理计算量，并在多项式化简上超越Mathematica。
2025-08-21 cs.AI cs.LG
Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们介绍了Greenformers，一个集合的模型效率的方法来提高最近著名的Transformer模型的效率与低秩近似的方法。深度学习模型的发展趋势是向更复杂、更大的模型发展。虽然它可以带来更好、更准确的预测，但最终的模型成本更高，因为它需要使用大量GPU资源进行数周的训练。特别是，自2017年首次亮相以来，基于transformer的模型的大小和计算成本已从约1亿个参数大幅增加到2021年初的约1.6万亿个参数。这种计算量巨大的模型也给环境带来了巨大的成本，甚至达到了令人担忧的碳足迹水平。其中一些模型是如此庞大，以至于在没有GPU集群的情况下甚至不可能运行模型。Greenformer通过应用低秩近似方法来提高Transformer模型的模型效率。具体来说，我们提出了一种低秩因式分解方法，以提高效率的Transformer模型称为低秩Transformer。我们进一步比较我们的模型与现有的低秩因子分解方法称为Linformer。基于我们的分析，低秩Transformer模型适合于提高处理短序列（<= 512）输入数据的时间和存储器效率，而Linformer模型适合于提高处理长序列输入数据（>= 512）的效率。我们还表明，低秩Transformer更适合于设备上部署，因为它显着减少了模型的大小。此外，我们估计，将LRT应用于现有的BERT基础模型可以显着降低计算，经济…
2021-08-24 cs.AI cs.CC cs.LG
Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）
本文利用低位移秩结构化矩阵理论提出快速树场积分器 FTFI，可精确加速加权树上的张量场积分，并支撑图度量、图分类、网格建模及带新型 RPE 掩码的 Topological Transformers。
2024-12-06 cs.AI cs.LG
Low-Rank Decay for Grokking in Scale-Invariant Transformers: A Spectral-Geometric View
Beijing Normal University（北京师范大学）
针对尺度不变Transformer中权重衰减无法简化归一化层函数的问题，提出低秩衰减（LRD）正则化器，通过核范数子梯度的切向分量压缩奇异值，在模算术任务中加速有效秩下降并扩展延迟泛化（grokking）的数据边界。
2026-06-03 cs.AI cs.LG
Transformers learn through gradual rank increase
Apple（苹果公司）；MIT（麻省理工学院）；EPFL（洛桑联邦理工学院）
本文研究 transformer 的学习动态，证明并实验验证训练权重与初始权重之差的秩会逐步增加，且该现象在一般实践条件下也可出现。
2023-12-11 cs.LG
Linear Transformers Implicitly Discover Unified Numerical Algorithms
Boston University（波士顿大学）；University of Virginia（弗吉尼亚大学）
本研究训练线性注意力Transformer于掩码矩阵补全任务，发现其隐式学习到统一的无参数迭代求解规则，实现二阶收敛并适应多种计算场景，展示了上下文学习的强大能力。
2025-09-24 cs.AI cs.LG
AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
AdapterTune通过零初始化低秩适配器解决冻结视觉变换器中的优化不稳定和适配器容量设置指导缺失问题，提升跨任务性能。
2026-03-16 cs.AI cs.CV cs.LG
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文首次对单层Transformers的低秩和稀疏性质进行理论分析，证明其梯度更新是低秩的，并发现适当的基于幅度的剪枝对测试性能影响甚微。
2024-06-24 cs.LG
One Jump Is All You Need: Short-Cutting Transformers for Early Exit Prediction with One Jump to Fit All Exit Levels
Sudarshantech Software（苏达尔山科技软件）
提出单一低秩捷径OJFA，将早期退出预测的捷径参数成本降低超30倍，同时保持与多捷径相当的推理性能，并在多个Transformer模型上实现稳定精度。
2025-04-18 cs.AI cs.CL cs.LG
XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation
NTT Communications（NTT通讯）；Kyoto University（京都大学）
本文提出XicorAttention，用Chatterjee秩相关系数替代标准注意力中的矩阵乘法以捕捉非线性依赖，并通过SoftSort和SoftRank实现可微计算，集成到多个Transformer模型后预测精度最高提升约9.1%。
2025-06-03 cs.AI cs.LG
How Much Rank Does LoRA Need? Rank-Error Bounds for Transformer Attention
Aily Labs
本文针对Transformer注意力，建立了LoRA秩与近似误差的理论边界，分析了秩的选择规律，扩展了相关分析至融合多头LoRA及联合查询/键更新的场景。
2026-08-27 cs.AI cs.CL cs.LG
Weight Copy and Low-Rank Adaptation for Few-Shot Distillation of Vision Transformers
University of Bucharest（布加勒斯特大学）；Norwegian University of Science and Technology（挪威科技大学）；University of Medicine and Pharmacy “Carol Davila”（卡罗尔·达维拉医药大学）
针对小样本下视觉Transformer知识蒸馏问题，提出结合权重复制与增强版LoRA的蒸馏方法，经多领域多任务实验验证性能优于现有最优方案，且各组件均有效。
2024-10-30 cs.AI cs.CV cs.LG
Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文介绍了我们提交给SemEval-2022任务6的讽刺检测及其五个子任务的英语和阿拉伯语。讽刺表达了一种与字面意思相矛盾的意思，它主要出现在社交网络上。它在理解用户意图方面具有重要作用。为了检测讽刺，我们使用了基于Transformers的深度学习技术，因为它在自然语言处理（NLP）领域取得了成功，而不需要特征工程。数据集来自Twitter。我们通过增加外部数据或使用词嵌入和重复实例来创建新的数据集。实验是在具有不同类型预处理的数据集上进行的，因为它在这项任务中至关重要。我们的团队在四个子任务中的排名是一致的（三个子任务中排名第四，一个子任务中排名第六）;而其他团队可能在某些子任务中排名最高，但在其他子任务中排名则要低得多。这意味着我们使用的模型和技术的鲁棒性和稳定性。
2022-03-08 cs.AI cs.CL cs.LG
MLoRQ: Bridging Low-Rank and Quantization for Transformer Compression
Sony Semiconductor Israel（索尼半导体以色列）
本文提出MLoRQ方法，通过两阶段优化为Transformer各层分配低秩和量化参数，在内存限制下实现最优压缩，性能提升达15%。
2025-07-13 cs.CV cs.LG
Efficient Low-rank Backpropagation for Vision Transformer Adaptation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 LBP-WHT，通过 Walsh-Hadamard 变换将梯度投影到低秩空间以降低 ViT 微调中的反向传播矩阵乘法开销，并在多模型、多数据集实验中验证其准确率与计算效率优势。
2023-09-26 cs.AI cs.CV cs.LG
The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers
研究固定任务所需最小Transformer模型容量，通过熵界证明线性注意力替代中令牌混合算子内在秩\(r^*\)是紧密下界，梯度下降可恢复此秩，引入注意力原生内在秩恢复完整熵界结构，绘制数据可预测性边界，将熵界重构为注意力原生容量度量。
2026-07-28 cs.LG
ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
Tongji University（同济大学）；The Hong Kong Polytechnic University（香港理工大学）
针对时空数据缺失问题，提出低秩诱导的Transformer模型ImputeFormer，结合低秩先验与深度学习表达能力，在异构数据集上实现了高精度、高效率且可泛化的插补。
2024-05-29 cs.LG
Estimating the Effective Rank of Vision Transformers via Low-Rank Factorization
Liyu Zerihun（独立研究者）
通过低秩分解和蒸馏方法，研究视觉变换器的有效秩，发现其有效秩区域为[16, 34]，有效膝点在31处，实现参数压缩和性能提升。
2025-11-30 cs.LG
ResidualTransformer: Residual Low-Rank Learning with Weight-Sharing for Transformer Layers
Microsoft Corporation（微软公司）
针对常驻设备内存受限问题，提出ResidualTransformer方法，通过在Transformer层间共享满秩权重并引入独有低秩残差分量与对角矩阵，在1万小时语音任务上将编码器大小缩减约3倍且性能微降。
2024-01-06 cs.CL cs.LG cs.SD
Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
Northwestern University（西北大学）；University of Science and Technology of China（中国科学技术大学）；National Yang Ming Chiao Tung University（阳明交通大学）；Simons Institute UC Berkeley（伯克利Simons研究所）
本文从细粒度复杂性理论角度研究LoRA微调的计算极限，通过梯度低秩结构证明SETH下存在效率相变，并利用分层低秩近似证明几乎线性算法的存在性。
2025-06-06 cs.AI cs.CC cs.LG
LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对大语言模型压缩需求，本文提出LoRAP混合压缩框架，对Transformer的MHA子层采用差异化低秩近似、对FFN子层采用无梯度结构化剪枝，实验证明在多种压缩比下性能优于现有结构化压缩方法。
2024-04-15 cs.AI cs.CL cs.LG
Scalable Unit Harmonization in Medical Informatics via Bayesian-Optimized Retrieval and Transformer-Based Re-ranking
Data Science & Artificial Intelligence, Biopharma R&D（数据科学与人工智能、生物制药研发）；AstraZeneca（阿斯利康）
针对大规模临床数据集单位不一致阻碍数据互操作的问题，提出融合BM25、句子嵌入、贝叶斯优化与Transformer重排序的多阶段单位统一流水线，在75亿条记录的数据集上取得优异检索匹配性能，可高效减少人工成本、支撑跨机构医疗研究。
2025-09-05 cs.LG
Low Rank Transformer for Multivariate Time Series Anomaly Detection and Localization
KIOS Research and Innovation Center of Excellence（KIOS研究与创新中心卓越研究所）；Department of Electrical and Computer Engineering, University of Cyprus（电子与计算机工程系，塞浦路斯大学）；Department of Mathematics and Statistics, University of Cyprus（数学与统计学系，塞浦路斯大学）
本文提出低秩变换器模型，通过低秩正则化和Attention Low-Rank score提升多变量时间序列异常检测与定位性能。
2026-02-09 cs.LG stat.ML
Contextually Guided Transformers via Low-Rank Adaptation
Google DeepMind（谷歌DeepMind）
本文提出上下文引导Transformer（CGT），通过低秩自适应将上下文直接编码进模型权重以替代显式提示，实现模型自我专门化，并在合成上下文学习与语言建模任务中验证了有效性。
2025-06-06 cs.CL cs.LG
Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames
Independent Researcher（独立研究者）
本文通过Plücker符号熵检测Transformer隐藏状态中元组关系的秩索引几何，并在Llama系列模型上验证了关系探测的可控干预，实现了从关系探测到关系框架干预的受控桥梁。
2026-05-28 cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University（浙江大学）；United Arab Emirates University（阿联酋大学）
GraphTARIF通过增强注意力的秩和焦点，改进了图变换器的表达能力，从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
On the Role of Attention Masks and LayerNorm in Transformers
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
该研究分析Transformer中注意力掩码与LayerNorm对自注意力秩坍缩的影响，发现稀疏/局部掩码可减缓坍缩，合适值矩阵下带LayerNorm的自注意力不会坍缩至秩1子空间，推翻了LayerNorm无作用的假设，揭示其更强的表达能力。
2024-11-01 cs.LG stat.ML
Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers
The University of Hong Kong（香港大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
该研究针对多模态扩散Transformer的W4A4量化局限，提出统一框架\textit{方法}，通过降低海森矩阵与激活噪声代理优化，以秩-4实现优于SVDQuant的量化性能，且成本更低、速度更快。
2026-10-12 cs.CV cs.LG math.OC
NOBLE: Accelerating Transformers with Nonlinear Low-Rank Branches
Canva Research（Canva研究）
NOBLE通过非线性低秩分支提升Transformer训练效率，实现显著的加速效果，同时保持较低的参数开销。
2026-03-06 cs.AI cs.CL cs.LG
