A Study of the Plausibility of Attention between RNN Encoders in Natural Language Inference
IRISA（IRISA（法国国家信息与自动化研究所联合的科研机构））；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）
本研究初步评估自然语言推理中RNN编码器间注意力图的合理性，发现启发式标注与人类标注相关，但原始注意力权重与合理解释关联松散。
2025-01-23 cs.CL
Recurrent Neural Network-Based Sentence Encoder with Gated Attention for Natural Language Inference
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）；University of Ottawa（渥太华大学）
RepEval 2017共享任务旨在评估用于句子表示的自然语言理解模型，其中使用神经网络将句子表示为固定长度的向量，并使用自然语言推理任务测试表示的质量。本文描述了我们的系统（alpha），它在共享任务中名列前茅，在域内测试集（获得74.9%的准确率）和跨域测试集（也获得74.9%的准确率）上，表明该模型可以很好地推广到跨域数据。我们的模型配备了句内门控注意组合，这有助于实现更好的性能。除了将我们的模型提交给共享任务之外，我们还在斯坦福自然语言推理（SNLI）数据集上对其进行了测试。我们获得了85.5%的准确率，这是在不允许跨句注意的情况下SNLI报告的最佳结果，RepEval 2017中执行了相同的条件。
2017-08-04 cs.CL
DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
知识增强的预训练语言模型（KEPLMs）是从知识图谱中注入关系三元组以提高语言理解能力的预训练模型。为了保证有效的知识注入，以前的研究将模型与知识编码器相结合，用于表示从知识图谱中检索到的知识。知识检索和编码操作带来了巨大的计算负担，限制了此类模型在需要高推理速度的实际应用中的使用。在本文中，我们提出了一种新的KEPLM命名为DKPLM分解的预训练语言模型的知识注入过程中的预训练，微调和推理阶段，这有利于KEPLM在现实世界中的应用场景。具体来说，我们首先检测知识感知的长尾实体作为知识注入的目标，增强KEPLM的语义理解能力，避免注入冗余信息。长尾实体的嵌入被相关知识三元组形成的“伪令牌表示”所取代。我们进一步设计了用于预训练的关系知识解码任务，通过关系三元组重构来迫使模型真正理解注入的知识。实验表明，我们的模型优于其他KEPLM显着超过zero-shot知识探测任务和多知识感知的语言理解任务。我们进一步表明，DKPLM具有更高的推理速度比其他竞争模型，由于分解机制。
2022-10-16 cs.CL
Character-level Intra Attention Network for Natural Language Inference
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
自然语言推理是语言理解的核心问题。近年来，端到端人工神经网络在自然语言识别领域已经达到了最先进的水平。在本文中，我们提出了一种用于NLI任务的机器人级内部注意力网络（CIAN）。在我们的模型中，我们使用字符级卷积网络来代替标准的词嵌入层，并使用内部注意力来捕获句子内部语义。建议CIAN模型提供了改进的结果的基础上，新出版的MNLI语料库。
2017-07-24 cs.CL cs.LG
Supervising Model Attention with Human Explanations for Robust Natural Language Inference
Imperial College London（帝国理工学院）；Technion – Israel Institute of Technology（以色列理工学院）
众所周知，自然语言推理（NLI）模型可以从其训练数据中的偏差和伪影中学习，从而影响它们对其他不可见数据集的泛化能力。现有的去偏置方法集中在防止模型学习这些偏置，这可能导致限制性模型和较低的性能。相反，我们研究如何教模型人类将接近NLI任务，以学习功能，将更好地推广到以前看不见的例子。使用自然语言解释，我们监督模型的注意力权重，以鼓励更多的注意力集中在解释中出现的单词，显着提高模型的性能。我们的实验表明，这种方法的分布内改进也伴随着分布外改进，监督模型从更好地推广到其他NLI数据集的特征中学习。对模型的分析表明，人类的解释鼓励增加对重要词的关注，更多地关注前提词，而较少关注标点符号和停止词。
2022-05-01 cs.CL cs.LG
Distance-based Self-Attention Network for Natural Language Inference
Seoul National University（首尔大学）
注意力机制已经被用作辅助手段来帮助RNN或CNN。然而，Transformer（Vaswani等人，2017年）最近记录了机器翻译的最新性能，仅使用注意力就大大减少了训练时间。受Transformer的启发，定向自注意网络（Shen et al.，2017年），一个完全基于注意力的句子编码器，被提出。通过使用句子中的前向和后向信息，它在各种数据下都表现出良好的性能。但在他们的研究中，根本没有考虑单词之间的距离，这是学习局部依赖以帮助理解输入文本上下文的重要特征。我们提出了基于距离的自注意力网络，它通过使用一个简单的距离掩码来考虑词的距离，以便在不失去注意力固有的全局依赖建模能力的情况下对局部依赖进行建模。我们的模型在NLI数据上表现出了良好的性能，并记录了SNLI数据的最新结果。此外，我们还证明了我们的模型在长句或文档中具有优势。
2017-12-06 cs.AI cs.CL
Interpreting Recurrent and Attention-Based Neural Models: a Case Study on Natural Language Inference
Oregon State University（俄勒冈州立大学）
深度学习模型在自然语言推理（NLI）任务中取得了显著的成功。虽然这些模型被广泛探讨，但它们很难解释，而且通常不清楚它们实际上是如何工作的。在本文中，我们通过对NLI的流行神经模型的案例研究，向解释这种基于深度学习的模型迈出了一步。特别是，我们建议通过可视化注意力和LSTM门控信号的显着性来解释NLI模型的中间层。我们提出了几个例子，我们的方法能够揭示有趣的见解，并确定有助于模型决策的关键信息。
2018-08-12 cs.AI cs.CL cs.LG
Natural Language Inference with Self-Attention for Veracity Assessment of Pandemic Claims
University of Warwick（华威大学）；The Alan Turing Institute（阿兰·图灵研究所）；Queen-Mary University of London（伦敦玛丽女王大学）
我们提出了一个全面的工作，自动准确性评估从数据集创建到开发基于自然语言推理（NLI）的新方法，重点是与COVID-19大流行有关的错误信息。我们首先描述了新PANACEA数据集的构建，该数据集由关于COVID-19的异质声明及其各自的信息源组成。数据集的构建包括检索技术和相似性测量方面的工作，以确保一套独特的索赔。然后，我们提出了新的技术，自动准确性评估的基础上自然语言推理，包括图卷积网络和注意力为基础的方法。我们使用所提出的技术对数据集进行了证据检索和准确性评估的实验，发现它们与SOTA方法具有竞争力，并提供了详细的讨论。
2022-05-05 cs.AI cs.CL cs.CY
Attention Head Masking for Inference Time Content Selection in Abstractive Summarization
University of Michigan（密歇根大学）
如何在基于transformer的抽象摘要模型中有效地通知内容选择？在这项工作中，我们提出了一个简单而有效的注意头掩蔽技术，这是适用于编码器-解码器的注意力，以查明在推理时间的显着内容。利用注意力头部掩蔽，我们能够揭示编码器-解码器注意力和摘要模型的内容选择行为之间的关系。然后，我们证明了其有效性的三个文档摘要数据集的基础上，在域和跨域设置。重要的是，我们的模型在CNN/Daily Mail和New York Times数据集上的表现优于之前最先进的模型。此外，我们的推理时间掩蔽技术也是数据高效的，只需要20%的训练样本就可以在完整的CNN/DailyMail数据集上超越BART微调。
2021-04-06 cs.CL
On the Distribution, Sparsity, and Inference-time Quantization of Attention Values in Transformers
Stony Brook University（石溪大学）
NLP任务在应用时（推理）需要从Transformer的注意力机制中获得多少信息？从最近的工作中，我们知道Transformers中存在稀疏性，并且其计算中的浮点数可以离散为更少的值，同时对任务精度的损失最小。然而，这需要重新培训甚至创建全新的模型，这两者都可能是昂贵的和碳排放的。专注于不需要训练的优化，我们系统地研究了所有必要的典型注意力值。这通知了使用修剪和对数缩放映射两者的推理时间量化技术的设计，其仅产生几个（例如，$2^3$）唯一值。在问答和情感分析的任务中，我们发现近80%的注意力值可以被修剪为零，而准确性的相对损失最小（$< 1.0\%$）。我们使用这种修剪技术结合量化的注意力值，只有3位的格式，没有再培训，导致只有0.8%的准确性降低问答与微调的ROBERTA。
2021-06-02 cs.CL
AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
School of Information, Renmin University of China（中国人民大学信息学院）；Meituan（美团）
AsyncTLS通过结合粗粒度块过滤与细粒度token选择，平衡精度与效率，并利用异步卸载引擎提升性能，实现高精度与高吞吐量。
2026-04-09 cs.CL
Influence Score and Transformers interpretability: Measure of the Effective Impact of Attention Heads at inference time
Thales CDI（泰雷兹CDI公司）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Sorbonne Université（索邦大学）
该研究提出影响分数，结合定向影响与结构贡献分析Transformer注意力头，应用于DeBERTa模型揭示预测行为差异，为研究Transformer分类器决策机制提供系统方法。
2026-09-07 cs.CL
UNIQUE: Universal Top-k Sparse Attention for Training-free Inference and Sparsity-aware Training
Microsoft（微软）
提出UNIQUE框架，通过基于键均值和标准差的页面重要性评分和软掩码稀疏感知训练，实现LLM长上下文推理中KV缓存的高效稀疏注意力，在保持任务性能的同时显著加速。
2026-05-26 cs.CL
HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference
City University of Hong Kong（香港城市大学）；Theory Lab, Huawei Technologies（华为技术理论实验室）
HyLRA通过混合层重用注意力机制，高效解决LLM长上下文推理中的二次计算瓶颈问题，提升吞吐量并保持性能。
2026-01-31 cs.CL
Probing for Bridging Inference in Transformer Language Models
University of Lille（里尔大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IBM Research Europe（IBM欧洲研究院）
我们探测用于桥接推理的预训练的Transformer语言模型。我们首先考察了BERT中的个体注意头，发现与低层和中层注意头相比，高层注意头更显著地关注桥接关系，并且很少有特定的注意头持续地关注桥接关系。更重要的是，我们认为语言模型作为一个整体，在我们的第二种方法，桥接回指的决议制定为一个掩蔽的令牌预测任务（过完形填空测试）。我们的公式产生了乐观的结果，没有任何微调，这表明预训练的语言模型基本上捕获桥接推理。进一步的研究表明，回指先行词与提供给语言模型的上下文之间的距离在推理中起着重要的作用。
2021-04-19 cs.CL
Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）
针对长上下文下自注意力二次开销高、现有稀疏注意力精度下降的问题，提出基于阿达马变换、分桶压缩和曼哈顿距离估计的Adamas稀疏注意力机制，在高稀疏度下实现近乎无损的精度和显著的推理加速。
2026-11-09 cs.CL
Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
提出动态层次稀疏注意力（DHSA），通过在线预测注意力稀疏性并保持LLM骨干冻结，在内存受限下实现高效长上下文推理，精度接近密集注意力且速度提升显著。
2026-05-27 cs.CL
RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
Baidu Inc.（百度公司）；Peking University（北京大学）
RRAttention通过轮换位移策略实现动态块稀疏注意力，提升长上下文推理效率，实现99%的完整注意力性能和2.4倍加速。
2026-02-05 cs.CL
Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing
Beihang University（北航）；Hong Kong University of Science and Technology（香港理工大学）；SenseTime Research（商汤科技研究院）
Focus-dLLM通过置信度引导的上下文聚焦技术，实现了长上下文扩散语言模型推理的高效加速。
2026-02-02 cs.CL
CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention
Tencent（腾讯）
研究针对自注意力长上下文推理成本高的问题，提出CoSA方法，通过结合内核感知代理与有序跳过内核，在两阶段实现高效稀疏注意力，在主流LLM和长上下文基准测试中，以低预算获高精度，加速注意力并减少端到端时间。
2026-08-10 cs.CL
AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
针对仅依赖LLM预填充阶段的工作负载中自注意力计算的性能瓶颈，提出AttnCache框架，通过复用相似注意力图实现CPU端平均1.2倍端到端加速、GPU端1.6倍端到端加速，精度损失可忽略。
2025-11-11 cs.CL cs.LG
Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
School of Information（信息学院）
本文提出熵-时间推断方法，通过自组织架构实现基于熵的解码优化，提升大语言模型推理效率与稳定性。
2026-02-08 cs.CL cs.LG
Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
研究在推理时丢弃LLM的MLP和注意力层的影响，发现丢弃深层注意力层可显著提速且性能损失极小，如13B Llama2移除33%注意力层仅降1.8%。
2024-07-22 cs.CL cs.LG
FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
Peking University（北京大学）；The University of Hong Kong（香港大学）；ByteDance Inc（字节跳动公司）
本文提出FlexPrefill，一种上下文感知的稀疏注意力机制，通过动态调整稀疏模式与计算预算，提升长序列推理中预填充阶段的效率与准确性。
2025-02-28 cs.CL cs.LG
Self-Selected Attention Span for Accelerating Large Language Model Inference
d-Matrix Corporation（d-Matrix公司）；MIT（麻省理工学院）
针对大语言模型推理时注意力token增多导致效率低的问题，提出通过微调让模型自主选择每步最小注意力跨度并生成稀疏掩码，结合自定义CUDA内核实现推理吞吐量提升28%，为加速实际任务的自回归推理提供了端到端方案。
2024-04-14 cs.AI cs.CL
LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
University of Chicago（芝加哥大学）
本文提出无需微调的LLMSteer框架，通过查询无关的注意力引导在重用上下文上改进长上下文LLM推理，将性能差距缩小65.9%并将延迟降低最多4.8倍。
2024-11-21 cs.CL cs.LG
Round Attention: A Novel Round-Level Attention Mechanism to Accelerate LLM Inference
Moore Threads AI（摩尔线程人工智能）
本文提出新型轮级注意力机制Round Attention，利用分水岭层动态选择top-k相关轮次的KV缓存，在保持回答准确性的同时将LLM推理内存使用量降低54%至82%。
2025-06-27 cs.AI cs.CL
S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference
bupt（北京邮电大学）
S3-Attention通过内存优先的内源检索方法，解决长上下文推理中的内存和噪声效率问题，提升模型在信息密集场景下的鲁棒性。
2026-01-28 cs.CL cs.LG
Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea（电气电子工程系，首尔国立大学，首尔，韩国）
提出Token Sparse Attention，一种轻量级动态令牌级稀疏化机制，通过交错选择令牌并在注意力前后压缩/解压缩，实现高效长上下文推理，在128K上下文中获得高达3.23倍加速且精度损失小于1%。
2026-05-29 cs.CL cs.LG
CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference
CATP通过交叉注意力层优化标记修剪，显著提升多模态模型推理的准确性与效率。
2026-02-12 cs.AI cs.CL
Star Attention: Efficient LLM Inference over Long Sequences
NVIDIA（英伟达）
针对 Transformer LLM 长序列推理的自注意力二次复杂度瓶颈，提出两阶段块稀疏近似框架 Star Attention，通过多主机分片处理上下文并最小化通信开销，在保持 97-100% 准确率的同时将内存需求和推理时间降低多达 11 倍。
2025-05-30 cs.AI cs.CL cs.LG
Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models
University of Virginia（弗吉尼亚大学）
该论文提出WISE方法，利用循环语言模型中注意力早期稳定的特性，通过复用稀疏工作集支持来减少重复计算，在保持多跳问答性能的同时实现高达1.76倍的注意力加速。
2026-09-29 cs.CL cs.LG
Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern
Meituan Inc.（美团公司）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
针对LLMs长上下文推理成本高的问题，分析发现其注意力分布具强局部相关性，提出Ltri-LLM框架通过划分KV跨度、离线索引存储及检索相关KV，在主流长文本基准上实现接近全注意力的性能与高效流式推理。
2024-12-06 cs.CL cs.LG
FlashEVA: Accelerating LLM inference via Efficient Attention
Huawei Technologies（华为技术）
本文提出FlashEVA，一种EVA的高效实现，通过微调使Transformer适应FlashEVA注意力，在保持下游任务有效性的同时显著提升推理吞吐量并降低内存使用。
2025-11-01 cs.AI cs.CL
Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
Baidu Inc（百度公司）
本文提出流注意机制，通过动态层级路由优化注意力计算，提升大语言模型在长上下文场景下的推理效率，实验显示在预填和解码阶段速度提升达2.8倍和2.0倍。
2026-09-29 cs.CL cs.LG
Prompt Cache: Modular Attention Reuse for Low-Latency Inference
Yale University（耶鲁大学）；Google（谷歌公司）
提出 Prompt Cache 方法，通过预计算和复用提示词模块的注意力状态，显著降低大语言模型推理的首个 token 延迟，无需修改模型参数即可提升性能。
2024-04-25 cs.AI cs.CL
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University（湖南大学）；Tencent（腾讯）
提出自索引注意力框架，利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索，支持KV缓存压缩，在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
LLaVi Lab, Department of Computer Science & Engineering（LLaVi实验室，计算机科学与工程系）；Department of Data Science（数据科学系）
针对长上下文大模型推理中静态稀疏注意力无法捕捉异质模式的问题，提出动态注意力掩码DAM，无需微调即可生成自适应掩码，在保证性能的同时降低内存与计算开销。
2025-06-06 cs.AI cs.CL
Summarize Before You Speak with ARACH: A Training-Free Inference-Time Plug-In for Enhancing LLMs via Global Attention Reallocation
Meakins-Christe Laboratories, Research Institute of McGill University Health Centre（麦金-克里斯特实验室，麦吉尔大学健康中心研究 institute）；Department of Medicine, Division of Experimental Medicine, McGill University（医学系，实验医学 division，麦吉尔大学）；The College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；Zhejiang Key Laboratory of Big Data and Future E-Commerce Technology（浙江大数据与未来电子商务技术重点实验室）；Quantitative Life Sciences, McGill University（定量生命科学，麦吉尔大学）；School of Computer Science, McGill University（计算机科学学院，麦吉尔大学）；Mila-Quebec AI Institute（蒙特利尔 AI 机构，魁北克）
ARACH是一种无需训练的推理时插件，通过自适应上下文集聚合上下文并重新分配注意力，提升LLM性能，无需参数更新。
2026-03-10 cs.AI cs.CL
CHAI: Clustered Head Attention for Efficient LLM Inference
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Meta-FAIR（元平台FAIR研究院）
本文提出聚类头注意力（CHAI），通过在运行时合并高相关性的注意力头进行自注意力计算，在不需微调的情况下，将K,V cache内存需求降低21.4%、推理延迟降低1.73倍，且在多种模型和数据集上准确率偏差最大仅3.2%。
2024-04-27 cs.CL cs.LG
Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference
Fromthesky Research Labs LLC（弗洛姆斯基研究实验室有限责任公司）
该研究提出PLGA注意力机制，其在$G_{LM}=I$时精确包含SDPA，还证明了推理崩溃定理，在测试样本上的分块与顺序评分结果与TruthfulQA度量偏差极小，相关证明核心已通过Lean 4机器验证。
2026-11-04 cs.CL cs.LG
AhaKV: Adaptive Holistic Attention-Driven KV Cache Eviction for Efficient Inference of Large Language Models
South China University of Technology（南方科技大学）；Pazhou Laboratory（琶洲实验室）
本文提出AhaKV方法，通过自适应调节softmax尺度并利用值向量信息修正累积注意力分数偏差，从而在固定缓存预算下实现更合理的KV缓存淘汰，提升大语言模型推理效率。
2025-06-04 cs.AI cs.CL
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
NVIDIA；Thinking Machines Lab；ByteDance Seed；MIT
提出SparDA架构，通过引入第四投影Forecast实现KV缓存预取与注意力解耦，减少稀疏选择开销，在长上下文推理中实现1.25倍预填充加速和1.7倍解码加速。
2026-06-03 cs.CL cs.LG
NoMAD-Attention: Efficient LLM Inference on CPUs Through Multiply-add-free Attention
Rice University（莱斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）；ThirdAI Corp.（ThirdAI公司）
针对 CPU 上 LLM 注意力中 MAD 运算开销大的问题，本文提出 NoMAD-Attention，用 SIMD 寄存器内查找替代 MAD，无需微调即可保持质量并将 4-bit LLaMA-7B 在 16k 上下文下最高加速 2 倍。
2024-03-02 cs.AI cs.CL cs.LG
SAISA: Towards Multimodal Large Language Models with Both Training and Inference Efficiency
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 SAISA 架构，通过消除视觉 token 间冗余注意力并将视觉特征直接对齐到自注意力输入空间，在保持精度的同时显著降低多模态大模型的训练与推理开销。
2025-02-04 cs.CL cs.CV
Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency
Meta
本文发现，简单的自监督预训练音频模型配合纯自注意力编码器，在低比特量化下能达到与混合卷积-注意力语音Transformer相当的推理效率，且避免量化模块间误差传播。
2024-02-08 cs.CL cs.SD eess.AS
Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Oslo（奥斯陆大学）
本文分析了图像描述模型的预测与注意力机制超出可视化的注意本身。我们开发了分层相关传播（LRP）和基于梯度的解释方法的变体，适合于具有注意力机制的图像描述模型。我们系统地比较了注意力热图的可解释性与LRP，Grad-CAM和Guided Grad-CAM等解释方法提供的解释。我们表明，解释方法提供同时像素的图像解释（支持和反对像素的输入图像）和语言的解释（支持和反对的话的前一个序列）的预测字幕中的每个字。我们通过大量的实验证明，解释方法1）可以揭示模型用于做出决策的额外证据; 2）与高精度的对象位置相关; 3）有助于“调试”模型，例如通过分析幻觉对象词的原因。结合观察到的解释属性，我们进一步设计了一种LRP推理微调策略，该策略在保证句子流畅性的同时，减少了图像描述模型中的对象幻觉问题。我们进行实验，两个广泛使用的注意力机制：自适应注意力机制计算的加法注意力和多头注意力机制计算的缩放点积。
2021-08-01 cs.CL cs.CV cs.LG
Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps
University of Edinburgh（爱丁堡大学）；Amazon AGI（亚马逊人工智慧实验室）
本文提出四种基于注意力的指标，用于检测语音大语言模型中的幻觉，通过轻量级逻辑回归分类器实现高效推理检测，在多个任务中优于基线方法，展示了注意力模式在检测幻觉中的价值。
2026-04-21 cs.AI cs.CL cs.LG
LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
SambaNova Systems, Inc（桑巴诺瓦系统公司）
本文提出SAGE-KV方法，利用自注意力稀疏性在token和头级别进行一次性top-k选择来压缩KV缓存，在LongBench上以更高内存效率保持与全注意力相当的准确性。
2025-03-11 cs.AI cs.CL cs.LG
A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks
University of Tehran（德黑兰大学）；University of Southern California（南加州大学）
在这项工作中，限制所需的注意力推理跳数的记忆增强神经网络，我们提出了一种在线自适应方法称为A2 P-MANN。通过利用一个小的神经网络分类器，足够数量的注意力推理跳的输入查询被确定。该技术消除了在提取正确答案时的大量不必要的计算。此外，为了进一步降低A2 P-MANN中的计算量，我们建议修剪最终FC（全连接）层的权重。为此，两个修剪方法，一个可以忽略不计的准确性损失和其他可控损失的最终精度，开发。通过使用bAbI数据集的20个问答（QA）任务来评估该技术的有效性。分析评估显示，平均而言，与基线MANN相比，计算量减少了42%以上，精度损失不到1%。此外，当与先前发布的零跳过技术一起使用时，实现了高达68%的计算计数减少。最后，当所提出的方法（无零跳过）在CPU和GPU平台上实现时，实现了高达43%的运行时间减少。
2022-02-23 cs.CC cs.CL cs.LG
Modelling Bahdanau Attention using Election methods aided by Q-Learning
Indian Institute of Technology（印度理工学院）
神经机器翻译最近获得了很多“关注”，随着越来越复杂但大大改进的模型的出现。注意力机制已被证明是在这个方向上的一个福音，通过提供权重的输入单词，使解码器很容易识别的单词表示当前的上下文。但是，随着更复杂的新注意力模型的发展，它们涉及到大量的计算，使得推理变慢。在本文中，我们使用与社会选择理论相呼应的技术对注意力网络进行了建模。与此同时，注意力机制，作为一个马尔可夫决策过程，已表示为强化学习技术。因此，我们建议使用选举方法（$k$ -Borda），使用Q学习进行微调，作为注意力网络的替代品。该网络的推理时间比标准的Bahdanau翻译器短，翻译结果也相当。这不仅从实验上验证了上述主张，而且有助于提供更快的推断。
2019-12-09 cs.CL cs.LG stat.ML
DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention
University of Seoul（首尔大学）
针对扩散语言模型迭代去噪计算昂贵的问题，提出DyLLM框架，通过仅计算显著标记的注意力与前馈操作，实现无需训练的加速推理，在保持精度的同时吞吐量提升高达9.6倍。
2026-05-30 cs.AI cs.CL cs.PF
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
针对长上下文大语言模型原生注意力二次复杂度导致首令牌生成延迟高的问题，提出自适应结构化近无损稀疏注意力方法SampleAttention，无需额外训练即可无缝替换原生注意力，在几乎无损的前提下最高将首令牌生成时间降低2.42倍。
2025-09-03 cs.AI cs.CL cs.LG
GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference
研究针对大语言模型推理时KV缓存瓶颈问题，提出GLIDE引导式分层混合注意力机制，通过分层自适应平衡线性循环与softmax窗口，非均匀压缩softmax占用空间，实现性能-效率权衡，降低长上下文生成延迟。
2026-07-29 cs.AI cs.CL cs.LG
