DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Baidu Inc.(百度公司)
针对大语言模型中多头注意力推理成本高的问题,提出解耦头注意力DHA机制,通过自适应头分组与相似头线性融合将MHA检查点转换为DHA模型,以极低预训练预算实现性能与效率的更优平衡,训练速度与性能表现优于GQA。
2024-12-07 cs.AI cs.CL cs.LG
Knocking-Heads Attention
Ant Group(蚂蚁集团);Zhejiang University(浙江大学);Westlake University(西湖大学);Renmin University of China(中国人民大学)
针对多头注意力头间缺乏交互的问题,提出敲头注意力(KHA),通过共享对角初始化投影矩阵实现跨头特征交互,仅增少量参数,在6.1B MoE模型上训练1T token,取得更优且更稳定的训练效果和下游性能。
2025-10-27 cs.CL
CompressKV: Semantic Retrieval Heads Know What Tokens are Not Important Before Generation
CompressKV通过识别语义检索头来确定重要令牌并保留其KV缓存,采用层自适应分配策略,在长上下文基准上超越现有方法。
2025-08-04 cs.AI cs.CL
Reducing Transformer Key-Value Cache Size with Cross-Layer Attention
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出 Cross-Layer Attention(CLA),在 MQA 基础上让相邻层共享键值头,将 KV 缓存再减半,并在 1B、3B 模型训练中验证其内存-准确率帕累托优势。
2024-05-21 cs.CL cs.LG
DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads
MIT(麻省理工学院);NVIDIA(英伟达);Tsinghua University(清华大学);SJTU(上海交通大学);University of Edinburgh(爱丁堡大学)
本文提出DuoAttention框架,通过识别检索头和流式头,仅对检索头应用完整KV缓存,对流式头使用定长KV缓存,在保持长上下文能力的同时显著降低LLM推理的内存和延迟。
2024-10-14 cs.CL
Effectively Compress KV Heads for LLM
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Alibaba Inc.(阿里巴巴集团)
针对 LLM 推理中 KV 缓存内存瓶颈,本文利用其低秩特性优化 MHA 到 GQA 的转换,并设计兼容 RoPE 的键缓存策略,可压缩一半至四分之三 KV 头且性能基本保持。
2024-06-11 cs.CL
More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
Technion(以色列理工学院);Crusoe AI;Corma;Stealth Startup
提出SAGA非对称稀疏注意力,通过解耦键头与值头数量并配合Atop-N近似稀疏注意力,在长上下文中实现超2倍解码加速,且从头训练模型质量接近GQA基线,并提供高效微调方法便于采用。
2026-10-07 cs.AI cs.CL
Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
Zyphra
本文提出压缩卷积注意力(CCA)和压缩卷积分组查询注意力(CCGQA),通过在共享潜在空间内执行注意力操作,显著减少参数、KV缓存和FLOPs,提升训练和推理效率。
2026-03-16 cs.AI cs.CL
Sparse Query Attention (SQA): A Computationally Efficient Attention Mechanism with Query Heads Reduction
针对Transformer多头注意力计算复杂度高、长序列扩展难的问题,提出通过减少查询头降低浮点运算量的稀疏查询注意力SQA,长序列场景下最高提3倍吞吐量且对模型质量影响极小。
2025-10-02 cs.CL cs.LG
Weighted Grouped Query Attention in Transformers
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对Transformer模型推理成本高的问题,提出加权分组查询注意力WGQA,在T5解码器键值头引入可学习参数实现微调加权平均,性能超GQA且推理无额外开销,还验证了模型缩放定律。
2024-07-15 cs.AI cs.CL
Scaling Parameter and Context in Attention: Native Sparse Attention from Mixture-of-Head
Peking University(北京大学)
提出NAMOH稀疏注意力机制,通过每词元激活K个头的设计,实现参数缩放直接驱动上下文缩放,在相同参数下超越全激活模型并提升长上下文推理效率。
2026-10-01 cs.CL
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G,通过权重范数统计异常值检测剪枝,在多个模型上匹配或超越数据依赖方法,实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG
Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT
提出级联多粒度剪枝框架,通过粗到细顺序移除层、注意力头和前馈通道,并利用轻量级低秩恢复重新估计重要性,在MHA+GELU架构上实现13.8倍压缩和83.82%准确率,在工业物联网设备上降低推理延迟67.2%。
2026-06-26 cs.CL
Joint Subspace Sparse Attention for Efficient Long-Context Decoding
Seoul National University(首尔大学)
针对长上下文LLM解码中稀疏注意力的粗粒度问题,提出JSSA方法,通过联合子空间学习提升选择质量,结合无收集索引内核保障效率,在多模型上实现高准确率与高吞吐量,700B规模下仍表现优异。
2026-10-15 cs.CL
GLU Attention Improve Transformer
Nanjing University(南京大学)
本文提出GLU Attention,通过在注意力值中引入非线性,以零额外参数和可忽略的计算开销提升Transformer在文本与视觉任务上的性能和收敛速度,并兼容Flash Attention、RoPE及GQA等现有技术。
2025-07-06 cs.AI cs.CL cs.LG
Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference
NVIDIA(英伟达);University of Wrocław(弗罗茨瓦夫大学);University of Edinburgh(爱丁堡大学)
提出动态内存压缩(DMC)方法,通过持续预训练改造预训练 LLMs 实现推理时在线键值缓存压缩,在保持性能的同时提升吞吐量并适应更长上下文。
2024-07-23 cs.CL
Surgical Repair of Collapsed Attention Heads in ALiBi Transformers
Independent researcher(独立研究者)
在ALiBi变换器中,通过手术重新初始化修复塌陷的注意力头,恢复98.7%的操作能力,并发现预训练配置可能为次优局部极小值。
2026-03-10 cs.CL
Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs
School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所);Institute of Trustworthy Embodied Artificial Intelligence, Fudan University(复旦大学可信具身人工智能研究所);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Pengcheng Laboratory(鹏城实验室);Hikvision Inc(海康威视公司)
本研究提出首个MHA转MLA的数据高效微调方法MHA2MLA,通过部分RoPE调整与联合SVD近似策略,仅用少量数据即可让现有LLM适配MLA架构,大幅压缩KV缓存、降低推理成本且性能损失极小。
2025-10-03 cs.AI cs.CL
Tensor Product Attention Is All You Need
IIIS, Tsinghua University(清华大学信息科学技术学院);Shanghai Qi Zhi Institute(上海启智研究院);University of California, Los Angeles(加州大学洛杉矶分校)
TPA通过张量分解实现高效注意力机制,T6模型在语言建模任务中超越传统基线,提升性能与内存效率。
2026-01-11 cs.AI cs.CL cs.LG
Start Making Sense(s): A Developmental Probe of Attention Specialization Using Lexical Ambiguity
University of California, San Diego(加州大学圣地亚哥分校);Rutgers University - Newark(新泽西州立大学罗格斯-纽ark分校)
通过词汇歧义研究,发现不同大小的Transformer模型在消歧任务中存在不同的注意力机制发展特性。
2025-11-26 cs.CL
Do Transformers Need Three Projections? Systematic Study of QKV Variants
Ali Kayyam;Anusha Madan Gopal;M Anthony Lewis
本文系统研究了注意力机制中查询、键、值投影共享的变体,发现 Q-K=V 共享在语言建模中仅以 3.1% 的困惑度损失实现 50% 的 KV 缓存减少,且与头共享结合可达到 96.9% 的缓存减少,从而支持设备端推理。
2026-08-14 cs.AI cs.CL cs.LG
Latent-Condensed Transformer for Efficient Long Context Modeling
South China University of Technology(南方科技大学);Pengcheng Laboratory(鹏城实验室);AIGCode;Harbin Institute of Technology(哈尔滨工业大学);Pazhou Laboratory(琶洲实验室)
本文提出Latent-Condensed Attention,通过在MLA的潜在空间内压缩上下文,减少计算成本和KV缓存,同时保持性能。
2026-11-04 cs.CL
ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM
该研究针对MLLM的幻觉问题,提出ASCD方法,通过正负引导调整解码时的注意力分数,在多基准上显著减少幻觉并提升VQA准确率,且无需额外训练。
2026-07-30 cs.CL cs.CV
Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior
Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
研究通过大规模语料库和因子实验发现,后训练配方(如推理蒸馏)对多LLM对话行为(如回避性回答)的影响超过模型家族,表明模型家族不能完全代表对话多样性。
2026-06-26 cs.AI cs.CL cs.CY
Autoregressive Pre-Training on Pixels and Texts
Baidu Inc.(百度公司);Peking University(北京大学);Sun Yat-sen University(中山大学)
本文提出在自回归框架下同时利用文档图像和文本进行多模态预训练,通过下一图像块预测与下一词元预测相结合,证明融合视觉与文本数据能显著提升基于像素的语言模型性能,并发现仅用视觉数据训练的单向像素模型在多个语言理解任务上可比肩最先进的双向模型。
2024-10-03 cs.CL cs.CV
Copying Before Suppression: What Drives a Below-Chance Dip During Language Model Training?
University of Chicago(芝加哥大学)
该研究通过分析Pythia等模型在间接宾语识别任务中的早期训练窗口,发现重复名字偏好源于注意力头计算的暂时失衡,并证明移植成熟参数可部分恢复性能,揭示成熟电路掩盖早期因果配置的现象。
2026-10-06 cs.CL
Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models
Microsoft Sigma Team(微软Sigma团队)
该研究针对系统领域提出高效大语言模型Sigma,通过DiffQKV注意力机制差异化优化Q、K、V组件,在6T token上预训练,通用领域性能比肩SOTA,系统领域超GPT-4达52.5%,长上下文推理速度较GQA提升33.36%。
2025-02-10 cs.CL