Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea(电气电子工程系,首尔国立大学,首尔,韩国)
提出Token Sparse Attention,一种轻量级动态令牌级稀疏化机制,通过交错选择令牌并在注意力前后压缩/解压缩,实现高效长上下文推理,在128K上下文中获得高达3.23倍加速且精度损失小于1%。
2026-05-29 cs.CL cs.LG
Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern
Meituan Inc.(美团公司);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
针对LLMs长上下文推理成本高的问题,分析发现其注意力分布具强局部相关性,提出Ltri-LLM框架通过划分KV跨度、离线索引存储及检索相关KV,在主流长文本基准上实现接近全注意力的性能与高效流式推理。
2024-12-06 cs.CL cs.LG
Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
Baidu Inc(百度公司)
本文提出流注意机制,通过动态层级路由优化注意力计算,提升大语言模型在长上下文场景下的推理效率,实验显示在预填和解码阶段速度提升达2.8倍和2.0倍。
2026-09-29 cs.CL cs.LG
Star Attention: Efficient LLM Inference over Long Sequences
NVIDIA(英伟达)
针对 Transformer LLM 长序列推理的自注意力二次复杂度瓶颈,提出两阶段块稀疏近似框架 Star Attention,通过多主机分片处理上下文并最小化通信开销,在保持 97-100% 准确率的同时将内存需求和推理时间降低多达 11 倍。
2025-05-30 cs.AI cs.CL cs.LG
Don't Go Breaking My LLM: The Impact of Pruning Attention Layers on Explanation Faithfulness and Confidence Calibration
University of Copenhagen(哥本哈根大学);LUT University(拉赫蒂理工大学)
研究剪枝LLM注意力层对解释忠实性和置信度校准的影响,发现尽管准确率保持,但忠实性和校准度常下降,表明模型置信度、可解释性与准确性之间存在错位。
2026-06-25 cs.LG
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
NLP Group, DCST, IAI, Tsinghua University(清华大学自然语言处理组、数据计算技术研究所、人工智能院);ModelBest Inc., Beijing, China(ModelBest公司)
本文提出HALO流程和HypeNet架构,通过高效蒸馏将Transformer模型转换为RNN-注意力混合模型,实现超长上下文的高性能与高效率。
2026-01-29 cs.AI cs.CL cs.LG
CHAI: Clustered Head Attention for Efficient LLM Inference
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Meta-FAIR(元平台FAIR研究院)
本文提出聚类头注意力(CHAI),通过在运行时合并高相关性的注意力头进行自注意力计算,在不需微调的情况下,将K,V cache内存需求降低21.4%、推理延迟降低1.73倍,且在多种模型和数据集上准确率偏差最大仅3.2%。
2024-04-27 cs.CL cs.LG
Don't Judge a Language Model by Its Last Layer: Contrastive Learning with Layer-Wise Attention Pooling
Korea University(高丽大学);George Washington University(乔治华盛顿大学)
最近的预训练语言模型(PLM)通过学习语言特征和上下文化的句子表示,在许多自然语言处理任务上取得了巨大的成功。由于在PLM的堆叠层中捕获的属性没有被清楚地识别,因此通常首选直接的方法,例如嵌入最后一层,以从PLM中导出句子表示。本文介绍了基于注意力的池化策略,该策略使模型能够保留在每一层中捕获的逐层信号,并为下游任务学习消化的语言特征。对比学习目标可以使逐层注意力池适应无监督和有监督的方式。它导致预训练嵌入的各向异性空间正则化,并且更加均匀。我们评估我们的模型上的标准语义文本相似性(STS)和语义搜索任务。因此,我们的方法提高了基本对比学习BERT_base和变体的性能。
2022-09-13 cs.AI cs.CL
Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference
Fromthesky Research Labs LLC(弗洛姆斯基研究实验室有限责任公司)
该研究提出PLGA注意力机制,其在$G_{LM}=I$时精确包含SDPA,还证明了推理崩溃定理,在测试样本上的分块与顺序评分结果与TruthfulQA度量偏差极小,相关证明核心已通过Lean 4机器验证。
2026-11-04 cs.CL cs.LG
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University(湖南大学);Tencent(腾讯)
提出自索引注意力框架,利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索,支持KV缓存压缩,在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction
KAIST(韩国国立科学技术院)
Delta Attention通过Delta校正解决稀疏注意力推理中的分布偏移问题,提升性能并保持高稀疏度,使模型在处理大规模预填充时速度显著提高。
2025-11-22 cs.LG
Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出SKOP方法,通过约束有害的注意力重路由,减少激活引导对推理和检索性能的负面影响,实现最佳的引导-实用性平衡。
2026-05-07 cs.CL
Don't Shoot The Breeze: Topic Continuity Model Using Nonlinear Naive Bayes With Attention
Amazon(亚马逊)
本文提出了一种基于非线性朴素贝叶斯与注意力机制的主题连续性模型,用于评估对话响应与初始话题的一致性,有效处理长对话并提升可解释性。
2026-02-10 cs.AI cs.CL cs.LG
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
NVIDIA;Thinking Machines Lab;ByteDance Seed;MIT
提出SparDA架构,通过引入第四投影Forecast实现KV缓存预取与注意力解耦,减少稀疏选择开销,在长上下文推理中实现1.25倍预填充加速和1.7倍解码加速。
2026-06-03 cs.CL cs.LG
Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling
Tencent HY Team(腾讯混元团队);ShanghaiTech University(上海科技大学);The Hong Kong University of Science and Technology(香港科技大学);University of California, San Diego(加州大学圣地亚哥分校)
研究如何解决现代大语言模型扩展到长上下文时的计算成本和注意力长度外推问题。提出分层地标稀疏注意力机制,通过语言模型损失端到端学习块选择,实现高效长上下文建模。
2026-07-07 cs.AI cs.CL
Flip, Don't Shuffle: Watermarking LLMs at the Speed of Inference
European Commission(欧洲委员会);Joint Research Centre(联合研究中心)
该研究提出SBW水印方法,复杂度为O(1),开销低于1%,速度远快于现有方法,可兼容分布式推理,哈希函数优化后性能提升且文本更多样。
2026-09-04 cs.CL cs.CR cs.LG
Is artificial intelligence still intelligence? LLMs generalize to novel adjective-noun pairs, but don't mimic the full human distribution
Harvard University(哈佛大学);Boston University(波士顿大学)
本文研究 LLM 对新颖形容词-名词组合的组合泛化与类人推理,提出三种脱离上下文的评估方法,发现最大模型可泛化,但最多仅在 75% 的数据上复现人类答案分布。
2024-10-23 cs.CL
SparQ Attention: Bandwidth-Efficient LLM Inference
Graphcore Research(Graphcore研究院);Synthesia(Synthesia公司)
本文提出 SparQ Attention,通过选择性获取缓存历史来高效利用注意力层内存带宽,无需修改预训练或微调即可在 Llama 2/3、Mistral、Gemma 和 Pythia 上实现最高 8 倍注意力数据传输节省且准确率基本不降。
2024-09-04 cs.LG
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon(亚马逊Alexa AI)
神经网络模型在自然语言推理(NLI)任务上已经非常成功地实现了高精度。然而,正如最近的文献所证明的那样,当在一些简单的对抗性示例上进行测试时,大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中,我们提出了将外部知识的注意力机制使用一个简单的转换,使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型:一种是Transformer编码器,另一种是可分解模型,并表明我们的方法可以显着提高其鲁棒性。此外,当与BERT预训练相结合时,我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
NoMAD-Attention: Efficient LLM Inference on CPUs Through Multiply-add-free Attention
Rice University(莱斯大学);Stevens Institute of Technology(史蒂文斯理工学院);ThirdAI Corp.(ThirdAI公司)
针对 CPU 上 LLM 注意力中 MAD 运算开销大的问题,本文提出 NoMAD-Attention,用 SIMD 寄存器内查找替代 MAD,无需微调即可保持质量并将 4-bit LLaMA-7B 在 16k 上下文下最高加速 2 倍。
2024-03-02 cs.AI cs.CL cs.LG
Attention for Inference Compilation
University of British Columbia(不列颠哥伦比亚大学);University of Oxford(牛津大学)
我们提出了一种新的方法来自动摊销推理的通用概率程序,提高性能相比,目前的方法。我们的方法是推理编译(IC)的一种变体,它利用深度神经网络来近似概率程序中潜在变量的后验分布。现有IC网络架构的一个挑战是,它们可能无法对潜在变量之间的长期依赖关系进行建模。为了解决这个问题,我们引入了一个注意力机制,出席了最突出的变量,以前在执行概率程序。我们证明了注意力的加入可以使提案分布更好地匹配真实的后验分布,从而增强对模拟器中潜在变量的推断。
2019-10-25 cs.LG stat.ML
HGCA: Hybrid GPU-CPU Attention for Long Context LLM Inference
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
HGCA提出混合GPU-CPU注意力机制,在GPU上对近期KV做稠密注意力、在CPU上对显著KV做稀疏注意力,并通过log-sum-exp融合与逐头稀疏化策略,在不牺牲精度的情况下提升长上下文LLM推理的可扩展性和吞吐量。
2025-07-03 cs.LG
Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);University of Oslo(奥斯陆大学)
本文分析了图像描述模型的预测与注意力机制超出可视化的注意本身。我们开发了分层相关传播(LRP)和基于梯度的解释方法的变体,适合于具有注意力机制的图像描述模型。我们系统地比较了注意力热图的可解释性与LRP,Grad-CAM和Guided Grad-CAM等解释方法提供的解释。我们表明,解释方法提供同时像素的图像解释(支持和反对像素的输入图像)和语言的解释(支持和反对的话的前一个序列)的预测字幕中的每个字。我们通过大量的实验证明,解释方法1)可以揭示模型用于做出决策的额外证据; 2)与高精度的对象位置相关; 3)有助于“调试”模型,例如通过分析幻觉对象词的原因。结合观察到的解释属性,我们进一步设计了一种LRP推理微调策略,该策略在保证句子流畅性的同时,减少了图像描述模型中的对象幻觉问题。我们进行实验,两个广泛使用的注意力机制:自适应注意力机制计算的加法注意力和多头注意力机制计算的缩放点积。
2021-08-01 cs.CL cs.CV cs.LG
Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps
University of Edinburgh(爱丁堡大学);Amazon AGI(亚马逊人工智慧实验室)
本文提出四种基于注意力的指标,用于检测语音大语言模型中的幻觉,通过轻量级逻辑回归分类器实现高效推理检测,在多个任务中优于基线方法,展示了注意力模式在检测幻觉中的价值。
2026-04-21 cs.AI cs.CL cs.LG
LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
SambaNova Systems, Inc(桑巴诺瓦系统公司)
本文提出SAGE-KV方法,利用自注意力稀疏性在token和头级别进行一次性top-k选择来压缩KV缓存,在LongBench上以更高内存效率保持与全注意力相当的准确性。
2025-03-11 cs.AI cs.CL cs.LG
AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
School of Information, Renmin University of China(中国人民大学信息学院);Meituan(美团)
AsyncTLS通过结合粗粒度块过滤与细粒度token选择,平衡精度与效率,并利用异步卸载引擎提升性能,实现高精度与高吞吐量。
2026-04-09 cs.CL
Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学)
针对传统线性或加性代理模型与 Transformer 结构不兼容的问题,本文提出 SLALOM 代理模型,以更低成本或更高保真度实现特征归因解释并开源代码。
2025-01-09 cs.AI cs.CL cs.LG
Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures
Algoma University(阿尔戈马大学);Reutlingen University(罗伊特林根大学)
本文通过实证研究,明确注意力架构是影响LLM解码能耗随上下文长度缩放的核心因素,发现GQA及带SWA的GQA能效更优,批处理可降低能耗与延迟,为LLM配置提供实用指导。
2026-08-27 cs.AI cs.LG
CHAI: CacHe Attention Inference for text2video
Georgia Institute of Technology(佐治亚理工学院)
CHAI通过引入缓存注意力机制,以减少延迟并保持视频质量,实现比OpenSora 1.2快1.65至3.35倍的推理速度。
2026-02-18 cs.CV cs.LG
Self-Selected Attention Span for Accelerating Large Language Model Inference
d-Matrix Corporation(d-Matrix公司);MIT(麻省理工学院)
针对大语言模型推理时注意力token增多导致效率低的问题,提出通过微调让模型自主选择每步最小注意力跨度并生成稀疏掩码,结合自定义CUDA内核实现推理吞吐量提升28%,为加速实际任务的自回归推理提供了端到端方案。
2024-04-14 cs.AI cs.CL
Round Attention: A Novel Round-Level Attention Mechanism to Accelerate LLM Inference
Moore Threads AI(摩尔线程人工智能)
本文提出新型轮级注意力机制Round Attention,利用分水岭层动态选择top-k相关轮次的KV缓存,在保持回答准确性的同时将LLM推理内存使用量降低54%至82%。
2025-06-27 cs.AI cs.CL
Don't Let Me Ask for It: LLMs Show Deficiencies in Active Multi-Turn Information Acquisition for Abductive Inference
该研究通过Alien Abduction游戏探究LLMs的主动多轮信息获取能力,发现其在分轮提供证据、自行选择查询时表现欠佳,存在假设验证与停止决策的缺陷。
2026-08-05 cs.CL
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
针对长上下文大语言模型原生注意力二次复杂度导致首令牌生成延迟高的问题,提出自适应结构化近无损稀疏注意力方法SampleAttention,无需额外训练即可无缝替换原生注意力,在几乎无损的前提下最高将首令牌生成时间降低2.42倍。
2025-09-03 cs.AI cs.CL cs.LG
GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference
研究针对大语言模型推理时KV缓存瓶颈问题,提出GLIDE引导式分层混合注意力机制,通过分层自适应平衡线性循环与softmax窗口,非均匀压缩softmax占用空间,实现性能-效率权衡,降低长上下文生成延迟。
2026-07-29 cs.AI cs.CL cs.LG
Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft Research Redmond(微软研究院雷德蒙德分院);Yahoo Research(雅虎研究院);Duke University(杜克大学)
神经注意力机制在许多自然语言处理应用中起着重要的作用。特别是,多头注意力的使用扩展了单头注意力,允许模型从不同的角度共同关注信息。然而,如果没有明确的约束,多头注意力可能会遭受注意力崩溃,这使得不同的头部提取相似的注意力特征,从而限制了模型的表示能力。在本文中,我们首次从贝叶斯的角度提供了一个新的理解多头注意力。基于最近发展起来的粒子优化采样技术,我们提出了一种非参数的方法,显式地提高了排斥多头注意力,从而加强模型的表达能力。值得注意的是,我们的贝叶斯解释提供了理论上的启发,不太明白的问题:为什么和如何使用多头注意力。在各种注意力模型和应用上的大量实验表明,所提出的排斥性注意力可以提高学习的特征多样性,从而在各种任务上具有一致的性能改善的更多信息表示。
2020-11-02 cs.LG stat.ML
UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training
Microsoft(微软)
提出UNIQUE框架,通过基于键均值和标准差的页面重要性评分和软掩码稀疏感知训练,实现LLM长上下文推理中KV缓存的高效稀疏注意力,在保持任务性能的同时显著加速。
2026-05-26 cs.CL
HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference
City University of Hong Kong(香港城市大学);Theory Lab, Huawei Technologies(华为技术理论实验室)
HyLRA通过混合层重用注意力机制,高效解决LLM长上下文推理中的二次计算瓶颈问题,提升吞吐量并保持性能。
2026-01-31 cs.CL
FlashEVA: Accelerating LLM inference via Efficient Attention
Huawei Technologies(华为技术)
本文提出FlashEVA,一种EVA的高效实现,通过微调使Transformer适应FlashEVA注意力,在保持下游任务有效性的同时显著提升推理吞吐量并降低内存使用。
2025-11-01 cs.AI cs.CL
Probing for Bridging Inference in Transformer Language Models
University of Lille(里尔大学);INRIA Lille(法国国家信息与自动化研究所里尔分部);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IBM Research Europe(IBM欧洲研究院)
我们探测用于桥接推理的预训练的Transformer语言模型。我们首先考察了BERT中的个体注意头,发现与低层和中层注意头相比,高层注意头更显著地关注桥接关系,并且很少有特定的注意头持续地关注桥接关系。更重要的是,我们认为语言模型作为一个整体,在我们的第二种方法,桥接回指的决议制定为一个掩蔽的令牌预测任务(过完形填空测试)。我们的公式产生了乐观的结果,没有任何微调,这表明预训练的语言模型基本上捕获桥接推理。进一步的研究表明,回指先行词与提供给语言模型的上下文之间的距离在推理中起着重要的作用。
2021-04-19 cs.CL
Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国)
针对长上下文下自注意力二次开销高、现有稀疏注意力精度下降的问题,提出基于阿达马变换、分桶压缩和曼哈顿距离估计的Adamas稀疏注意力机制,在高稀疏度下实现近乎无损的精度和显著的推理加速。
2026-11-09 cs.CL
Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models
Alibaba Cloud Computing(阿里巴巴云计算);College of Software, Zhejiang University(浙江大学软件学院);Zhejiang University of Technology(浙江工业大学)
本文研究少样本 CoT 示范中局部 token 干扰 LLM 推理的问题,通过动态追踪注意力机制提出 FAI,识别并调整误导性 token 的注意力权重,在多个基准上取得稳定提升。
2025-03-14 cs.AI cs.CL
SparLeak: Privacy Leakage from Sparse Attention in LLM Inference on Shared GPUs
Shandong University(山东大学);Waseda University(早稻田大学)
SparLeak利用稀疏注意力引发的GPU内存访问侧信道,通过相位感知攻击提取轨迹,实现查询属性推断与响应重建,在真实服务下成功率分别达90.9%和87.3%。
2026-10-01 cs.CR cs.LG
Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
提出动态层次稀疏注意力(DHSA),通过在线预测注意力稀疏性并保持LLM骨干冻结,在内存受限下实现高效长上下文推理,精度接近密集注意力且速度提升显著。
2026-05-27 cs.CL
Prompt Cache: Modular Attention Reuse for Low-Latency Inference
Yale University(耶鲁大学);Google(谷歌公司)
提出 Prompt Cache 方法,通过预计算和复用提示词模块的注意力状态,显著降低大语言模型推理的首个 token 延迟,无需修改模型参数即可提升性能。
2024-04-25 cs.AI cs.CL
LLMs as High-Dimensional Nonlinear Autoregressive Models with Attention: Training, Alignment and Inference
Cornell University(康奈尔大学)
本文将LLMs表述为具有注意力依赖的高维非线性自回归模型,探讨了训练、对齐与推理的原理及方法。
2026-01-31 cs.AI cs.CL cs.LG
RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
Baidu Inc.(百度公司);Peking University(北京大学)
RRAttention通过轮换位移策略实现动态块稀疏注意力,提升长上下文推理效率,实现99%的完整注意力性能和2.4倍加速。
2026-02-05 cs.CL
Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
本文提出基于能量原理的Transformer统一框架,通过不同优化算法诱导新型注意力结构,探索Transformer作为内在优化器的潜力。
2026-01-12 cs.LG
DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
LLaVi Lab, Department of Computer Science & Engineering(LLaVi实验室,计算机科学与工程系);Department of Data Science(数据科学系)
针对长上下文大模型推理中静态稀疏注意力无法捕捉异质模式的问题,提出动态注意力掩码DAM,无需微调即可生成自适应掩码,在保证性能的同时降低内存与计算开销。
2025-06-06 cs.AI cs.CL
Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing
Beihang University(北航);Hong Kong University of Science and Technology(香港理工大学);SenseTime Research(商汤科技研究院)
Focus-dLLM通过置信度引导的上下文聚焦技术,实现了长上下文扩散语言模型推理的高效加速。
2026-02-02 cs.CL
Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference
Knowledge Lab AG Zürich(苏黎世知识实验室)
提出Meta-Attention框架,通过贝叶斯元控制器动态为每个token选择最优注意力策略(全softmax、线性或滑动窗口局部注意力),在几乎无开销下实现更优的计算-性能权衡。
2026-05-27 cs.LG
CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention
Tencent(腾讯)
研究针对自注意力长上下文推理成本高的问题,提出CoSA方法,通过结合内核感知代理与有序跳过内核,在两阶段实现高效稀疏注意力,在主流LLM和长上下文基准测试中,以低预算获高精度,加速注意力并减少端到端时间。
2026-08-10 cs.CL
HATA: Trainable and Hardware-Efficient Hash-Aware Top-k Attention for Scalable Large Model Inference
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence(人工智能研究院);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
HATA通过将低开销learning-to-hash引入Top-k注意力,以二进制哈希码获取相对qk分数顺序,在保持模型准确性的同时实现最高7.2倍推理加速,并优于现有top-k注意力方法。
2025-06-03 cs.AI cs.LG
Summarize Before You Speak with ARACH: A Training-Free Inference-Time Plug-In for Enhancing LLMs via Global Attention Reallocation
Meakins-Christe Laboratories, Research Institute of McGill University Health Centre(麦金-克里斯特实验室,麦吉尔大学健康中心研究 institute);Department of Medicine, Division of Experimental Medicine, McGill University(医学系,实验医学 division,麦吉尔大学);The College of Computer Science and Technology, Zhejiang Gongshang University(浙江工商大学计算机科学与技术学院);Zhejiang Key Laboratory of Big Data and Future E-Commerce Technology(浙江大数据与未来电子商务技术重点实验室);Quantitative Life Sciences, McGill University(定量生命科学,麦吉尔大学);School of Computer Science, McGill University(计算机科学学院,麦吉尔大学);Mila-Quebec AI Institute(蒙特利尔 AI 机构,魁北克)
ARACH是一种无需训练的推理时插件,通过自适应上下文集聚合上下文并重新分配注意力,提升LLM性能,无需参数更新。
2026-03-10 cs.AI cs.CL
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
NVIDIA(英伟达公司);Perplexity AI(Perplexity AI公司)
FlashInfer通过块稀疏格式、可定制模板和负载均衡调度,为LLM推理提供高效注意力引擎,显著降低延迟并提升性能。
2025-04-21 cs.AI cs.DC cs.LG