Understanding the Skill Gap in Recurrent Language Models: The Role of the Gather-and-Aggregate Mechanism
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（马克斯·普朗克人工智能研究所）
本研究发现Transformer与SSM类语言模型均依赖收集-聚合（G&A）机制实现上下文检索，检索瓶颈集中于少数G&A头，通过混合注意力与SSM或替换G&A头可融合二者优势、提升性能。
2025-06-11 cs.AI cs.LG
Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
提出低秩稀疏注意力模型Lorsa，将多头自注意力解耦为可理解的组件，有效解决注意力叠加问题，发现更细粒度的注意力行为，并在可解释性与电路发现上优于稀疏自编码器。
2025-04-29 cs.CL cs.LG
Low Rank Factorization for Compact Multi-Head Self-Attention
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）
从文本中进行有效的表示学习一直是自然语言处理和文本挖掘领域的研究热点。注意力机制一直处于学习语境句子表征的前沿。目前许多NLP任务的最先进方法使用大型预训练语言模型，如BERT，XLNet等用于学习表示。这些模型基于Transformer架构，该架构涉及由多头自注意和前馈网络组成的循环计算块。在很大程度上导致Transformer模型的计算复杂性的主要瓶颈之一是自注意层，这是计算昂贵和参数密集的。在这项工作中，我们引入了一种新的多头自注意力机制，在GRU上运行，被证明是计算成本更低，更有效的参数比自注意力机制提出的Transformers的文本分类任务。我们方法的效率主要源于两个优化; 1）我们使用亲和力矩阵的低秩矩阵分解来有效地获得多个注意力分布，而不是为每个头部提供单独的参数2）注意力分数通过查询全局上下文向量来获得，而不是密集查询句子中的所有单词。我们评估的任务，如情感分析从电影评论，预测业务评级的评论和分类新闻文章到主题的模型的性能。我们发现，所提出的方法匹配或优于一系列强基线，比可比的多头方法更参数有效。我们还进行了定性分析，以验证所提出的方法是可解释的，并捕捉上下文相关的词的重要性。
2020-08-10 cs.CL cs.LG
Sparse Query Attention (SQA): A Computationally Efficient Attention Mechanism with Query Heads Reduction
针对Transformer多头注意力计算复杂度高、长序列扩展难的问题，提出通过减少查询头降低浮点运算量的稀疏查询注意力SQA，长序列场景下最高提3倍吞吐量且对模型质量影响极小。
2025-10-02 cs.CL cs.LG
Representation as a Bottleneck for Mechanistic Interpretability: The Manifestation Unit Protocol
Ubiquitous Computing Systems Laboratory, Nara Institute of Science and Technology, Nara, Japan（奈良先端科学技术大学院大学普适计算系统实验室）
提出 Manifestation Unit 协议，将组件分析结果组织为结构化字段，通过混合检索实现可重用和可查询，在视觉和语言模型上验证了其优于非结构化基线，并揭示了核心字段。
2026-07-02 cs.LG
TopoU-Net: a U-Net architecture for topological domains
University of South Florida（佛罗里达州立大学）；Louisiana State University（路易斯安那州立大学）；Vinci4D（Vinci4D公司）；PolyShape NTUA（NTUA PolyShape）；USFCA
TopoU-Net通过拓扑结构设计，为高阶数据提供可重用的编码器-解码器模板，采用秩路径替代空间尺度，提升高阶结构数据处理能力。
2026-05-11 cs.LG
Learning to Compress: Local Rank and Information Compression in Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；New York University（纽约大学）
本文研究深度多层感知机（MLPs）中特征流形的局部秩，证明其在训练后期下降，并揭示了降低表示秩能压缩输入与中间层互信息，从而在特征流形秩与信息瓶颈（IB）理论间建立联系。
2024-10-10 cs.IT cs.LG math.IT
Ehrenfeucht-Haussler Rank and Chain of Thought
National Center for Artificial Intelligence (CENIA Chile)（国家人工智能中心（智利CENIA））；Millennium Institute for Foundational Research on Data (IMFD Chile)（数据基础研究千年研究所（智利IMFD））；Institute for Mathematical and Computational Engineering, Pontifical Catholic University of Chile（数学与计算工程研究所，智利天主教大学）；Institute of Fundamental Technological Research, Polish Academy of Sciences（基础技术研究所，波兰科学院）
本文基于Transformer架构提出布尔函数秩的新颖刻画，证明秩等于单层硬注意力Transformer计算该函数所需的最小思维链步数，并确立了特定问题的紧致界及多头秩函数类的PAC可学习性。
2025-08-11 cs.AI cs.LG
LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models
Brown University（布朗大学）；University of Michigan（密歇根大学）；Google Research（谷歌研究）
本文提出LLMForge，一种多后端硬件感知的神经架构搜索框架，通过无限头注意力扩展了每层注意力配置空间，并结合Forge-Former和Forge-DSE实现了高效的边缘语言模型架构搜索，最终在不同硬件子系统上获得了不同形状的架构，展示了在不同性能指标上的优化效果。
2026-05-17 cs.AI cs.LG
Improving Transformers with Dynamically Composable Multi-Head Attention
School of Cyberspace Security, Beijing University of Posts and Telecommunications（北京邮电大学网络空间安全学院）；ColorfulClouds Technology Co.,Ltd.（彩云科技有限公司）
提出动态可组合多头注意力（DCMHA），通过输入依赖的Compose函数动态组合注意力头，解决MHA头冗余等问题，显著提升Transformer性能且匹配1.7x-2.0x计算量的模型。
2024-06-04 cs.CL cs.LG
Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks
Apple（苹果公司）
使用梯度下降训练的深度线性网络会产生低秩解，这通常是在矩阵分解中研究的。在本文中，我们进一步分析了自动编码器中的隐式秩正则化。我们展示了贪婪学习的低秩潜在代码诱导的线性子网络的自动编码器的瓶颈。我们进一步提出了正交初始化和原则性的学习率调整，以减轻训练动态对谱先验和线性深度的敏感性。在合成数据上使用线性自编码器，我们的方法稳定地收敛到地面真实潜码秩。使用非线性自编码器，我们的方法收敛到最适合下游分类和图像采样的潜在秩。
2021-07-02 cs.LG
Single-Head Attention in High Dimensions: A Theory of Generalization, Weights Spectra, and Scaling Laws
Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算物理实验室，瑞士联邦理工学院（EPFL））；Information, Learning and Physics Laboratory, École polytechnique fédérale de Lausanne (EPFL)（信息、学习与物理实验室，瑞士联邦理工学院（EPFL））
本文研究了高维序列任务中训练的注意力层权重谱结构，通过随机矩阵理论等工具，揭示了训练误差、插值阈值及键查询矩阵谱的高维特性，并预测了功率谱定律的出现。
2026-02-02 cond-mat.dis-nn cs.IT cs.LG
Sign Lock-In: Randomly Initialized Weight Signs Persist and Bottleneck Sub-Bit Model Compression
Fujitsu Limited（富士通株式会社）；Tokai University（静冈大学）；Riken Center for AIP（理化学研究所AIP研究中心）
研究亚比特模型压缩中符号位的瓶颈问题，通过符号锁定理论解释权重符号的随机性来源，并提出一种从头开始的低秩符号模板训练方法以突破该瓶颈。
2026-06-02 cs.AI cs.CL cs.CV
Language Models Share a Readout Bottleneck in Working Memory
Yale University（耶鲁大学）
该研究通过15个不同规模的LLMs和最小Transformer，分离工作记忆的两种解释，发现LLMs工作记忆限制在于干扰下读出项目，而非定位项目，支持干扰解释。
2026-10-16 cs.AI cs.CL cs.LG
Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出显式多头注意力机制，通过显式建模头间交互提升注意力性能，实现更高效的参数利用和内存压缩，同时保持模型性能。
2026-01-27 cs.AI cs.CL cs.LG
On the inductive bias of infinite-depth ResNets and the bottleneck rank
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学计算与社会科学中心）
本文通过计算深度线性ResNet的最小范数权重，揭示其归纳偏置介于核范数与秩之间，并据此证明在适当超参数下深度非线性ResNet倾向于最小化瓶颈秩。
2025-01-31 cs.AI cs.LG stat.ML
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；P P Savani University（P P萨瓦尼大学）
研究多头潜在注意力（MLA）在语言模型中如何分离内容与位置。通过训练特定Transformer并运用多种分析方法，发现其瓶颈能保留内容丢弃位置信息，归纳头集中在单层，有“语义中心”层，且瓶颈容量供应过剩，重塑了模型相关结构。
2026-07-28 cs.AI cs.CL cs.LG
Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning
University of Washington（华盛顿大学）；Tsinghua University（清华大学）；University of Hong Kong（香港大学）；Amazon, Inc.（亚马逊公司）
该研究提出通过注意力头排序与划分，实现语言模型的稀疏与持续强化学习微调，在多类任务上验证了该方法可提升微调效果与任务保留能力。
2026-10-16 cs.CL cs.LG
Projection Head is Secretly an Information Bottleneck
College of Engineering, Peking University（北京大学工学院）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从信息论角度揭示对比学习中 projection head 充当信息瓶颈的机制，并基于理论引入训练与结构正则化修改，在多个数据集上实现下游性能的持续提升。
2025-03-04 cs.IT cs.LG math.IT
BOOST: BOttleneck-Optimized Scalable Training Framework for Low-Rank Large Language Models
Anonymous Authors（匿名作者）
BOOST通过引入瓶颈感知张量并行和优化技术，提升低秩瓶颈架构的训练效率，实现1.46-1.91倍的速度提升，同时减少通信开销和GPU利用率。
2026-05-11 cs.DC cs.LG
Rethinking Low-Rank Adaptation in Vision: Exploring Head-Level Responsiveness across Diverse Tasks
Sichuan University（四川大学）
针对视觉Transformer自注意力多头设计带来的冗余开销问题，提出头层级响应性调优方法Heart-LoRA，通过选择性、动态激活任务响应头实现高效适配，在视觉适配基准上性能优于现有参数高效迁移学习方法。
2024-10-08 cs.CV cs.LG
Hypernetwork-Driven Low-Rank Adaptation Across Attention Heads
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science, VNU-HCM（越南国家大学胡志明市分校科学大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Trivita AI
HyRA通过超网络生成联合低秩矩阵，提升多头自注意力的微调效率与效果，尤其在数据稀缺场景中表现优异。
2026-01-31 cs.LG
DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation
针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。
2026-07-28 cs.LG
Lightweight Ranking Heads: Accelerating Multi-Task Experimentation in Production Recommender Systems
Google LLC（谷歌有限责任公司）
针对生产推荐系统多任务实验迭代慢的问题，提出轻量级排序头框架，通过动态注入新任务、停止梯度和无状态训练，避免重训练，将迭代周期从数周缩短至数天。
2026-09-23 cs.AI cs.LG
AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
AuroRA通过引入自适应非线性层，突破LoRA的低秩瓶颈，以更少的参数实现优于全微调的性能。
2025-12-02 cs.LG
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们制定语言建模作为一个矩阵分解问题，并表明基于Softmax的模型（包括大多数神经语言模型）的表达能力是有限的Softmax瓶颈。鉴于自然语言高度依赖于上下文，这进一步意味着在实践中，具有分布式词嵌入的Softmax没有足够的能力来建模自然语言。我们提出了一个简单有效的方法来解决这个问题，并改善了国家的最先进的Penn Treebank和WikiText-2的困惑分别为47.69和40.68。该方法在大规模1B Word数据集上也表现出色，在困惑度上超过基线5.6点。
2018-03-02 cs.CL cs.LG
GaLore$+$: Boosting Low-Rank Adaptation for LLMs with Cross-Head Projection
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Salesforce AI Research（Salesforce AI研究院）；Tsinghua University（清华大学）
GaLore$+$通过跨头低秩投影、随机化子空间迭代和稀疏编码残差解决GaLore中SVD耗时问题，在保持性能的同时实现约4倍微调加速。
2024-12-15 cs.AI cs.CL cs.LG
Assessing Reliability of Symbol Detection in Concept Bottleneck Models
University of Essex（埃塞克斯大学）
本文研究概念瓶颈模型（CBM）中符号检测的可靠性问题，通过交换独立训练的概念检测器和分类头来识别易受虚假激活影响的概念，并提出一种可靠性感知训练策略，在CUB-200-2011和合成任务上验证了其有效性。
2026-06-16 cs.CV cs.LG cs.SC
Rank the triplets: A ranking-based multiple instance learning framework for detecting HPV infection in head and neck cancers using routine H&E images
University of Warwick（华威大学）；University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（艾伦·图灵研究所）
头颈部鳞状细胞癌（HNSCC）的病因涉及多种致癌物，如酒精、烟草和人乳头瘤病毒（HPV）感染。由于HPV感染影响HNSCC患者的预后，治疗和生存，因此确定这些肿瘤的HPV状态非常重要。在本文中，我们提出了一种新的三重排序损失函数和多实例学习管道的HPV状态预测。这在HPV检测中实现了新的最先进的性能，仅使用两个HNSCC队列的常规H&E染色的WSI。此外，还进行了全面的肿瘤微环境分析，从基因组学、免疫学和细胞学角度描述了HPV+/- HNSCC之间的独特模式。确定了拟定评分与不同T细胞亚型（例如T细胞滤泡辅助细胞、CD 8 + T细胞）的正相关性以及与巨噬细胞和结缔细胞（例如成纤维细胞）的负相关性，这与临床结果一致。独特的基因表达谱也确定了HPV感染状态，并与现有的研究结果。
2022-06-16 cs.CV cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
KV-COBRA通过按注意力头协同优化秩和位宽分配，在低比特率下实现更优的KV缓存压缩，显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
Nebius
本文提出SlimSpec，通过低秩参数化压缩LM头的内部表示，提升推测解码效率，实现4-5倍加速并保持竞争力。
2026-05-11 cs.CL cs.LG
Rank Reduction Autoencoders
Arts et Metiers - ENSAM（法国国立高等工程技术学校）；University of North Florida（北佛罗里达大学）；Stanford University（斯坦福大学）
本文提出秩缩减自编码器（RRAEs），通过截断奇异值分解正则化潜在空间并以秩定义瓶颈，配合自适应算法确定最优瓶颈大小，在多个数据集上优于普通及正则化自编码器。
2025-03-25 cs.LG
Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning
Ravan通过多头低秩适应方法提升联邦微调的准确率，实现高效参数更新和高模型表达性。
2026-01-30 cs.AI cs.LG
Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models
Faculty of Technology, Department of Computer Engineering, Sakarya University of Applied Sciences（技术学院，计算机工程系，萨克萨大学应用科学）
本文提出动态秩强化学习方法，通过强化学习优化注意力机制，实现低秩多头自注意力在大语言模型中的自适应调整，显著降低计算成本并保持模型性能。
2026-02-08 cs.CL cs.LG
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
Shanghai Jiao Tong University（上海交通大学）；ETH Zürich（苏黎世联邦理工学院）
针对低秩 KV cache 压缩忽视 Keys 与 Values 差异的问题，本文提出 ReCalKV，通过 HSR 分组重排和 OVC 离线校准，在高压缩率下显著减少性能损失。
2025-09-27 cs.AI cs.LG
Inherited Heads: Audio language models track speakers with their text backbone's attention, and an attention-mass ranking retrieves a different set
Cornell University（康奈尔大学）
本研究揭示音频语言模型可通过文本骨干的注意力头追踪说话者，添加偏置可高精度重定向描述，且这些头多继承自文本模型，并比较了两种注意力头排序方法的效果。
2026-09-15 cs.CL cs.LG cs.SD
On attention heads and bilinear forms
本研究通过引入正交不变轮廓映射，分析训练后大型语言模型注意力头中双线性形式的对称与反对称部分，发现其轮廓聚集于秩一形式，并证明对称部分为双曲与零形式之和。
2026-09-22 cs.LG math.SP stat.ML
VTrans: Accelerating Transformer Compression with Variational Information Bottleneck based Pruning
Indian Institute of Technology, Delhi（印度德里理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出由 VIB 指导的迭代剪枝框架 VTrans，可压缩嵌入、注意力头和层，并通过 Fast/Faster 变体以少量数据和最高 25 倍加速实现更高压缩率。
2024-06-11 cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多头注意力在最近Transformer模型的成功中起着至关重要的作用，这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是，这种有效性源于共同参加多个职位的能力。在本文中，我们首先证明，共同出席多个位置是不是一个独特的特点，多头注意力，作为多层次的单头注意也出席多个位置，更有效。然后，我们认为多头注意力的主要优点是训练的稳定性，因为它具有较少的层数比单头注意，当出席相同数量的位置。例如，24层16头Transformer（BERT-large）和384层单头Transformer的总关注头数相同，模型尺寸大致相同，而多头的要明显浅一些。同时，我们表明，随着深度学习的最新进展，我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈，因此更深的单头Transformer实现了一致的性能改进，而无需调整超参数。
2021-06-17 cs.CL cs.LG
Tucker Bottleneck Attention for Multi-Dimensional Sequence Modeling
University of California-Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出 Tucker 瓶颈注意力（TuBA），利用低秩张量结构实现次二次计算的高效全局 token 混合，在视频预测和天气预报中显著降低误差与计算成本。
2026-10-08 cs.LG
State Rank Dynamics in Linear Attention LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Chinese Academy of Sciences（中国科学院大学）；CAS Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院人工智能安全重点实验室）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oxford（牛津大学）；Tsinghua University（清华大学）
本研究揭示了线性注意力模型中状态排名分层现象，提出联合秩-范数剪枝策略，有效降低KV缓存开销并维持模型准确性。
2026-02-02 cs.AI cs.LG
CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention
University of Sydney（悉尼大学）；King Abdullah University of Science and Technology（卡布斯大学）；Together AI；University of Texas at Austin（德克萨斯大学奥斯汀分校）
CARE通过考虑激活协方差和增强秩，改进了多头潜在注意力的转换，减少了KV缓存成本并提升了表达能力，实验表明其在多个模型上表现更优。
2026-03-18 cs.AI cs.LG
LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models
University of Science and Technology of China（中国科学技术大学）
提出统一tokenize-and-route框架LimiX-2M，通过RaBEL扩展标量为局部RBF特征并重新排序双向块S→N→F，以2M参数超越更大模型，改善表格基础模型的精度-效率权衡。
2026-06-04 cs.LG
Low-Rank Key Value Attention
本文提出低秩键值注意力机制，通过利用注意力头间的冗余减少KV缓存内存消耗，同时保持计算效率，在多个基准测试中表现优异。
2026-04-07 cs.LG
Emergent One-Third Scaling Law as Attention Tries to Concentrate
研究发现，LLM中softmax学习峰值分布时，logit幅度以1/3指数幂律增长，成为训练瓶颈，导致整体损失遵循1/3缩放，且注意力头是驱动该缩放的关键。
2026-09-29 cs.AI cs.LG stat.ML
Bottleneck Structure in Learned Features: Low-Dimension vs Regularity Tradeoff
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
该研究针对深度神经网络学习特征的瓶颈结构问题，计算有限深度修正项提出正则性度量R⁽¹⁾，形式化低维表示与特征图复杂度的平衡，并证明大深度下的瓶颈结构及大学习率对收敛的作用。
2024-08-14 cs.AI cs.LG stat.ML
Robust Vision Challenge 2020 -- 1st Place Report for Panoptic Segmentation
University of Freiburg（弗赖堡大学）
在本技术报告中，我们介绍了我们获奖的全景分割架构EffPS_b1bs4_RVC的关键细节。我们的网络是我们最先进的EfficientPS架构的轻量级版本，它由我们提出的共享骨干网组成，以修改后的EfficientNet-B5模型作为编码器，然后是双向FPN，以学习语义丰富的多尺度特征。它由两个特定于任务的头组成，一个是修改后的Mask R-CNN实例头，另一个是我们的新型语义分割头，它使用专门的模块处理不同尺度的特征，以进行连贯的特征细化。最后，我们提出的全景融合模块自适应地融合来自每个头部的logits，以产生全景分割输出。Robust Vision Challenge 2020基准测试结果显示，我们的模型在Microsoft COCO，VIPER和WildDash上排名第一，在Cityscapes和Mapillary Vistas上排名第二，从而实现了全景分割任务的整体排名第一。
2020-08-23 cs.CV cs.LG cs.RO
Global Ranks Survive, Selected Heads Shift: BOS-Sink Topology under 4-bit Weight-Only Quantization
National Tsing Hua University（国立清华大学）
本研究通过Sink拓扑一致性指标评估4比特仅权重量化对首token注意力头的影响，发现全局排名保持但离散头集和跨域校准需重新验证。
2026-09-22 cs.CL cs.LG
Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification
University of Edinburgh（爱丁堡大学）
针对多标签分类中sigmoid低秩输出层存在大量无法argmax的标签组合的瓶颈问题，提出DFT输出层，保证k个以内活跃标签的稀疏组合可argmax，参数减少50%仍达相当F1@k性能。
2024-01-29 cs.LG
Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
alumni.iitm.ac.in（印度理工学院校友）
提出Prism Transformer，通过逐层增加注意力头数建立局部到全局的表示层次，在参数和计算量不变下提升性能。
2026-06-29 cs.LG
Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning
提出一种在强化学习编码器特征中插入固定正交投影以约束低维子空间的简单先验，证明其在线性可实现性假设下保持表达能力，并在实验中显示价值表示可压缩至极低维度而不损失性能。
2026-07-07 cs.AI cs.LG
R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（知识驱动人机智能工程研究中心，教育部，中国）；International Center of Future Science, Jilin University（未来科学国际中心，吉林大学）
本文提出 R-LoRA，通过多头随机化增强 LoRA 在多任务学习中的表现，在提升性能的同时降低 GPU 内存占用和训练时间。
2025-06-02 cs.AI cs.LG
A Random Matrix Theory Perspective on the Learning Dynamics of Multi-head Latent Attention
New York University（纽约大学）
本文利用Marchenko-Pastur诊断工具分析多头潜在注意力在预训练中的学习动态，发现共享旋转子向量的MLA-Decoupled变体能有效避免秩崩溃与谱碎片化，从而保留模型的表示容量。
2025-07-12 cs.LG
On the Theoretical Limitations of Embedding-based Link Prediction
Vrije Universiteit Amsterdam, Netherlands（荷兰阿姆斯特丹自由大学）；University of Trento, Italy（意大利特伦托大学）
研究线性输出层导致的秩瓶颈对知识图谱嵌入模型表达能力的限制，并提出混合非线性输出层以提升大规模密集图上的性能。
2026-05-29 cs.AI cs.LG
