Accelerating Prefilling for Long-Context LLMs via Sparse Pattern Sharing
OPPO Research Institute(OPPO研究院);Zhejiang University(浙江大学);Shanghai Jiaotong University(上海交通大学)
针对长上下文预填充阶段,提出基于跨头相似性共享精确注意力模式的稀疏注意力方法,仅对少量头做全注意力计算,实现高精度与高速度兼得。
2025-05-26 cs.AI cs.CL cs.LG
CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
Seoul National University(首尔国立大学)
本文提出CompactAttention,一种基于块-联合KV选择的分块预填注意力机制,通过将二维块稀疏掩码作为KV选择信号,实现高效的注意力计算,从而在保持精度的同时提升2.72倍的注意力速度。
2026-10-20 cs.CL
Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction
Sparse-dLLM提出首个免训练框架,通过延迟双向稀疏缓存与注意力引导的动态缓存淘汰,在保持性能的同时将扩散大语言模型吞吐量最高提升10倍。
2025-11-05 cs.CL
CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill
Franklin and Marshall College(弗兰克林与马歇尔学院);Meta Reality Labs(Meta现实实验室)
CLAA通过跨层聚合注意力分数,提升大语言模型预填阶段的推理速度,将TTFT降低至39%。
2026-02-17 cs.CL cs.LG
Self-Selected Attention Span for Accelerating Large Language Model Inference
d-Matrix Corporation(d-Matrix公司);MIT(麻省理工学院)
针对大语言模型推理时注意力token增多导致效率低的问题,提出通过微调让模型自主选择每步最小注意力跨度并生成稀疏掩码,结合自定义CUDA内核实现推理吞吐量提升28%,为加速实际任务的自回归推理提供了端到端方案。
2024-04-14 cs.AI cs.CL
PAT: Accelerating LLM Decoding via Prefix-Aware Attention with Resource Efficient Multi-Tile Kernel
本文提出PAT,一种基于前缀感知的注意力内核,通过包前向合并范式减少内存访问,提升资源利用率,降低解码延迟和TPOT。
2026-03-16 cs.CL cs.DC
QUITO: Accelerating Long-Context Reasoning through Query-Guided Context Compression
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出查询引导注意力压缩方法QUITO,利用问题对上下文的注意力分布过滤无用信息,在NaturalQuestions和ASQA上显著优于基线,有效加速大语言模型长上下文推理。
2024-08-01 cs.AI cs.CL
DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学);The Hong Kong Polytechnic University(香港理工大学);Kyung Hee University, School of Computing(庆熙大学计算机学院)
DASH-KV通过非对称深度哈希将注意力机制近似为最近邻搜索,降低计算复杂度至线性,提升长上下文LLM推理效率并保持性能。
2026-04-22 cs.CL
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
Tsinghua University(清华大学)
IndexCache通过跨层索引复用减少75%的计算量,提升预填和解码速度,有效优化稀疏注意力效率。
2026-03-12 cs.CL cs.LG
LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳研究院)
LycheeDecode通过混合头稀疏解码方法,实现长上下文LLM推理的高效与高质量
2026-02-04 cs.AI cs.CL
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
RetrievalAttention通过为KV向量构建ANNS索引并设计注意力感知的向量搜索算法,在仅访问1--3%数据的条件下实现接近全注意力的准确率,从而显著加速长上下文LLM推理并降低GPU内存消耗。
2024-12-31 cs.CL cs.LG
MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention
Microsoft Corporation(微软公司);University of Surrey(萨里大学)
针对长上下文大语言模型预填充阶段计算效率低的问题,提出MInference动态稀疏注意力方法,利用三种注意力模式优化GPU计算,无需微调即可将预填充延迟最高降低10倍并维持准确率。
2024-10-30 cs.CL cs.LG
TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent Inc.(腾讯公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
现有的预先训练的语言模型(PLM)在推理中通常计算昂贵,使得它们在各种资源有限的现实世界应用中不切实际。针对这一问题,提出了一种动态令牌缩减方法TR-BERT,该方法能够灵活地调整令牌的层数,避免冗余计算,从而加快PLM的推理速度。特别地,TR-BERT将标记减少过程公式化为多步标记选择问题,并通过强化学习自动学习选择策略。在多个下游NLP任务上的实验结果表明,TR-BERT能够将BERT加速2-5倍,以满足各种性能需求。此外,TR-BERT还可以在一组长文本任务中以更少的计算量获得更好的性能,因为它的令牌级层数自适应大大加速了PLM中的自注意操作。本文的源代码和实验细节可以从https://github.com/thunlp/TR-BERT获得。
2021-05-25 cs.CL
Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本文提出Instruction-Aware Contextual Compression方法,通过过滤低信息量内容来压缩上下文,在保持性能的同时显著降低内存消耗和推理延迟,实现效率与性能的有效平衡。
2024-08-28 cs.CL
RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
NVIDIA, Santa Clara, USA(NVIDIA公司);Georgia Institute of Technology, Atlanta, USA(佐治亚理工学院)
本文提出免训练的两阶段 KV cache 压缩策略 RocketKV,通过粗粒度驱逐和细粒度混合稀疏注意力,在长上下文 LLM 推理中实现高达400倍压缩率与3.7倍加速,且精度损失可忽略。
2025-08-13 cs.CL cs.LG
ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学信息学院)
针对Transformer自注意力二次复杂度导致的推理效率低下问题,提出ChunkLLM框架,通过QK适配器和块适配器实现块选择与压缩,在保持性能的同时显著加速推理。
2026-05-25 cs.AI cs.CL
EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction
Cornell University(康奈尔大学)
提出EntMTP,一种无需训练的动态树注意力拓扑调度器,根据局部生成熵调整推测深度,在保持生成质量的同时最大化接受令牌吞吐量,相比Hydra和Medusa分别实现1.15倍和1.36倍加速。
2026-06-29 cs.CL cs.LG
APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China(清华大学);Department of CS&T, Central South University, Changsha, China(中南大学);BUPT, Beijing, China(北京邮电大学);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯人工智能研究院)
APB通过多主机近似注意力与跨GPU传递压缩上下文块,同时减少计算和增强并行性,实现长上下文推理预填充速度的大幅提升。
2025-05-26 cs.CL cs.LG
When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute
ASAPP, Inc.(ASAPP公司)
由于计算时间和成本的增长,大语言模型越来越难以训练。在这项工作中,我们提出了SRU++,一个高效的体系结构,结合了快速递归和序列建模的关注。SRU++具有强大的建模能力和训练效率。在标准语言建模任务(如Enwik 8,Wiki-103和Billion Word数据集)上,我们的模型获得了更好的每字符位数和困惑度,同时与性能最好的Transformer模型相比,使用的训练成本减少了3 - 10倍。例如,我们的模型在Enwik 8数据集上实现了最先进的结果,使用8 GPU机器上的1.6天训练。我们进一步证明,SRU++需要最少的关注,接近国家的最先进的性能。我们的研究结果表明,联合利用快速递归,很少关注,这是加速模型训练和推理的一个有前途的方向。
2021-09-15 cs.CL cs.LG
Accelerating Neural Transformer via an Average Attention Network
Xiamen University(厦门大学);Beijing Advanced Innovation Center for Language Resources(北京语言资源高精尖创新中心);Soochow University(苏州大学)
利用可并行化的注意力网络,神经Transformer的训练速度非常快。然而,由于自回归结构和自注意力在解码器中,解码过程变得缓慢。为了缓解这个问题,我们提出了一个平均注意力网络作为替代的自我注意力网络的神经Transformer的解码器。平均注意力网络由两层组成,平均层对先前位置的依赖性进行建模,门控层堆叠在平均层上,以增强所提出的注意力网络的表现力。我们将此网络应用于神经Transformer的解码器部分,以取代原始的目标侧自我注意模型。通过掩蔽技巧和动态规划,我们的模型使神经Transformer能够以比原始版本快四倍的速度解码句子,而几乎没有损失训练时间和翻译性能。我们对WMT 17翻译任务进行了一系列实验,在6种不同的语言对上,我们获得了鲁棒且一致的解码速度。
2018-05-07 cs.CL
Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network
Nankai University(南开大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
由于高度并行化的架构,Transformer比基于RNN的模型更快地进行训练,并广泛用于机器翻译任务。然而,在推理时,每个输出单词需要先前生成的单词的所有隐藏状态,这限制了并行化能力,并且使其比基于RNN的算法慢得多。在本文中,我们系统地分析了Transformer和基于RNN的模型的不同组件的时间成本。在此基础上,我们提出了一种自注意和RNN结构的混合网络,其中,高度并行的自注意被用作编码器,简单的RNN结构被用作解码器。我们的混合网络解码速度比Transformer快4倍。此外,在知识蒸馏的帮助下,我们的混合网络实现了与原始Transformer相当的翻译质量。
2019-09-05 cs.CL
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
FastGuide提出一种并行与自回归自适应混合解码方法,加速扩散语言模型的奖励引导,在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Salesforce AI Research(Salesforce人工智能研究院);The University of Hong Kong(香港大学)
提出GemFilter算法,利用LLM早期层作为过滤器选择和压缩输入token,实现2.4倍加速和30%内存减少,显著提升长上下文推理效率且无需训练。
2024-09-25 cs.AI cs.CL cs.LG
SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection
Zhejiang University(浙江大学)
虽然自我注意力机制已被广泛应用于各种各样的任务中,但它具有关于输入长度的二次成本的不幸属性,这使得难以处理长输入。在本文中,我们提出了一种加速和构造自注意力的方法:稀疏自适应连接(SAC)。在SAC中,我们将输入序列视为一个图,并在链接节点之间执行注意操作。与先前的具有预定义结构(边)的自我注意模型相比,该模型学习构造注意边以提高特定任务的性能。通过这种方式,该模型能够选择最显著的节点,并降低二次复杂度,而不管序列长度如何。基于SAC,我们证明了自注意模型的先前变体是它的特殊情况。通过对神经机器翻译、语言建模、图表示学习和图像分类的大量实验,我们证明了SAC与最先进的模型相比具有竞争力,同时显著降低了内存成本。
2020-09-29 cs.CL cs.LG
Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊 Alexa 人工智能)
由于自注意力模块的二次空间复杂度和时间复杂度,基于变换的模型在处理长序列时效率不高。为了解决这个问题,Linformer和Informer分别通过低维投影和行选择将二次复杂度降低到线性(模对数因子)。这两个模型是内在联系的,为了理解它们的联系,我们引入了矩阵素描的理论框架。在理论分析的基础上,提出了Skeinformer算法,通过列采样、自适应行归一化和导频采样重用三个部分,进一步提高了自注意力矩阵逼近的精度。长距离竞技场(LRA)基准上的实验表明,我们的方法优于替代品,具有一贯较小的时间/空间足迹。
2021-12-10 cs.CL cs.LG stat.ML
Fast-FNet: Accelerating Transformer Encoder Models via Efficient Fourier Layers
Bilkent University(比尔肯特大学);KU Leuven(荷语鲁汶大学);TU Darmstadt(达姆施塔特工业大学)
针对Transformer注意力机制计算复杂度高的问题,提出Fast-FNet,利用傅里叶变换替代注意力层并优化其部署,在减少参数、训练时间和内存的同时提升性能。
2023-05-16 cs.AI cs.CL cs.GL
SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention
Stanford University(斯坦福大学);KAUST(阿卜杜拉国王科技大学);Harvard University(哈佛大学);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室(隶属于瑞士意大利语区大学和瑞士应用科学与艺术大学南部))
本文提出SwitchHead,一种用于注意力层的专家混合方法,最多减少8倍注意力矩阵计算,可与MoE前馈层结合构建全MoE Transformer,在匹配基线性能的同时大幅降低计算和内存开销。
2024-09-30 cs.CL cs.LG cs.NE
Accelerating Attention through Gradient-Based Learned Runtime Pruning
University of California, San Diego(加州大学圣地亚哥分校);Google Research(谷歌研究院)
自注意力是各种基于transformer的自然语言处理模型的最新准确性的关键推动因素。该注意力机制计算句子中每个单词相对于其他单词的相关性分数。通常,只有一小部分单词与关注的单词高度相关,这仅在运行时确定。因此,由于注意力分数低,大量的计算是无关紧要的,并且可以潜在地被修剪。主要的挑战是找到分数的阈值,低于该阈值,随后的计算将是无关紧要的。虽然这样的阈值是离散的,本文制定其搜索通过软微分正则化集成到损失函数的训练。该公式依赖于反向传播训练,以同时分析性地共同优化阈值和权重,在准确性和计算修剪之间取得形式上的最佳平衡。为了最好地利用这一数学创新,我们设计了一个位串行架构,被称为LeOPard,Transformer语言模型位级提前终止微架构机制。我们在MemN 2N、BERT、AL BERT、GPT-2和视觉Transformer模型的43个后端任务中评估我们的设计。布局后的结果表明,平均而言,LeOPard分别产生1.9倍和3.9倍的加速和能量减少,同时保持平均准确度几乎不变(<0.2%的退化)
2022-04-15 cs.AR cs.CL cs.LG
APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention
NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China(清华大学北京校区自然语言处理组、国防科技大学、人工智能研究院、北京理工大学、清华大学);Department of CS&T, Central South University, Changsha, China(中南大学计算机与技术系,长沙,中国);BUPT, Beijing, China(北京邮电大学,北京,中国);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯公司微信人工智能研究院)
提出APB-V,一种序列并行框架,通过分布式近似注意力在多GPU上加速长视频推理,显著提升速度且不损失性能。
2026-06-01 cs.AI cs.CL cs.CV
Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
Department of Electrical Engineering, Yale University(耶鲁大学电气工程系);Intel Labs(英特尔实验室)
提出一种在联邦学习框架内通过头剪枝、特定头加权聚合和客户端选择策略加速大型语言模型PEFT的方法,在保持准确率的同时大幅降低通信与训练开销。
2025-05-31 cs.AI cs.CL cs.DC
Accelerating Transducers through Adjacent Token Merging
Microsoft(微软)
提出相邻Token合并(A-ToMe)方法,通过合并高相似度相邻token减少时间步长,在LibriSpeech上减少57%token并提升70%GPU推理速度且无明显精度损失,同时适用于长篇ASR。
2023-06-28 cs.CL eess.AS eess.SP
PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination
IBM Research India(IBM印度研究院);IBM Research USA(IBM美国研究院)
我们开发了一种新的方法,称为POWER-BERT,提高流行的BERT模型的推理时间,同时保持准确性。它的工作原理是:a)利用与字向量(中间编码器输出)有关的冗余并消除冗余向量。b)基于自我注意机制,通过开发用于测量其重要性的策略来确定要消除哪些词向量。c)通过增加BERT模型和损失函数来学习要消除多少词向量。在标准GLUE基准测试上的实验表明,与BERT相比,POWER-BERT在推理时间上减少了4.5倍,准确率损失<1%。我们表明,POWER-BERT提供了显着更好的准确性和推理时间之间的权衡比以前的方法。我们证明,我们的方法达到了6.8倍的推理时间减少与<1%的准确性损失时,适用于ALBERT,高度压缩版本的BERT。POWER-BERT的代码可在https://github.com/IBM/PoWER-BERT上公开获得。
2020-09-08 cs.CL cs.LG stat.ML