Adopting Trustworthy AI for Sleep Disorder Prediction: Deep Time Series Analysis with Temporal Attention Mechanism and Counterfactual Explanations
Kent State University（肯特州立大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Chapman University（查普曼大学）
本文提出结合TCN、LSTM和TFT三种深度时间序列模型，并引入时间注意力机制与SHAP反事实解释，在大规模睡眠健康数据上实现可信、可解释的睡眠障碍预测。
2024-12-25 cs.LG
Don't Go Breaking My LLM: The Impact of Pruning Attention Layers on Explanation Faithfulness and Confidence Calibration
University of Copenhagen（哥本哈根大学）；LUT University（拉赫蒂理工大学）
研究剪枝LLM注意力层对解释忠实性和置信度校准的影响，发现尽管准确率保持，但忠实性和校准度常下降，表明模型置信度、可解释性与准确性之间存在错位。
2026-06-25 cs.LG
Order in the Court: Explainable AI Methods Prone to Disagreement
University of Amsterdam（阿姆斯特丹大学）
通过计算注意力权重和特征添加剂解释方法之间的等级相关性，以前的分析要么无效，要么支持基于注意力的解释作为一个忠实的和可信的显着性测量的作用。为了研究这种方法是否合适，我们比较了LIME、集成的解释、DeepLIFT、Grad-SHAP、Deep-SHAP和基于注意力的解释，这些解释应用于在单序列和成对序列语言任务上训练的两种神经架构。在大多数情况下，我们发现我们选择的方法都不一致。基于我们的经验观察和理论异议，我们得出结论，秩相关性不衡量质量的特征添加剂的方法。从业者应该使用社区提出的众多严格的诊断方法。
2021-07-06 cs.CL cs.LG
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）
用知识图谱（KG）增强预训练的语言模型在各种常识推理任务上取得了成功。然而，对于给定的任务实例，KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件，但KG仍然总是被使用，并且注意力机制从未被明确教导应该使用哪些KG组件。同时，显著性方法可以测量KG特征（例如，图形、节点、路径）影响模型做出正确的预测，从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先，我们建议创建粗糙（KG有用吗？）和精细（KG中的哪些节点/路径有用？）显着性解释。其次，为了激励基于显着性的监督，我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三，我们提出了SalKG，KG增强模型的框架，从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释，SalKG联合训练模型来预测解释，然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试（CSQA，OBQA，CODAH）和一系列KG增强模型上，我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
DriveBLIP2: Attention-Guided Explanation Generation for Complex Driving Scenarios
School of Computing and Information, University of Pittsburgh（计算与信息学院，匹兹堡大学）
本文提出基于 BLIP2-OPT 的 DriveBLIP2 框架，通过注意力图生成器突出关键目标，提升复杂驾驶场景下决策解释的准确性与可解释性。
2025-06-25 cs.CV cs.LG cs.RO
Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns
University of North Texas（北卡罗来纳州立大学）
ExpNet通过学习Transformer注意力模式到标记重要性分数的映射，提供了一种轻量级的可解释AI方法，能够自动发现最佳注意力特征组合。
2026-01-21 cs.CL cs.LG
SEAT: Stable and Explainable Attention
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lehigh University（理海大学）；University of Georgia（佐治亚大学）；Iowa State University（爱荷华州立大学）；Computational Bioscience Research Center（计算生物科学研究中心）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence（沙特数据与人工智能局-阿卜杜拉国王科技大学数据科学与人工智能卓越中心）
目前，注意力机制成为大多数最先进的自然语言处理（NLP）模型中的标准装置，这不仅是因为它可以获得出色的性能，而且还因为它提供的神经结构行为的合理的内在解释，这是众所周知的难以分析。然而，最近的研究表明，注意力在训练或测试过程中的随机性和扰动（如随机种子和嵌入向量的轻微扰动）是不稳定的，这阻碍了它成为一个忠实的解释工具。因此，一个自然的问题是，我们是否可以找到一些替代品，目前的注意，这是更稳定的，可以保持最重要的特点，解释和预测的注意。在本文中，为了解决这个问题，我们提供了第一个严格的定义，这种替代，即稳定和可解释的注意力（SEAT）。具体地说，SEAT应该具有以下三个属性：（1）它的预测分布被强制接近基于普通注意力的分布;（2）它的top-k指数与普通注意力的top-k指数有很大的重叠;（3）它对扰动是鲁棒的，即，对SEAT的任何微小扰动都不会使预测分布发生太大变化，这隐含地表明它对随机性和扰动是稳定的。最后，通过对各种数据集的深入实验，我们通过六种不同的模型解释、稳定性和准确性评估指标，将我们的SEAT与使用RNN、BiLSTM和BERT架构的其他基线方法进行了比较。结果表明，SEAT模型在保持注意可解释性的同时，对不同的扰动和随机性具有更高的稳定性，是一种更可靠的解释。此外，与普通注意力相比，SEAT几乎没有效用（准确性）下降。
2022-11-23 cs.AI cs.CL cs.LG
User Perception of Attention Visualizations: Effects on Interpretability Across Evidence-Based Medical Documents
CENIA – Centro Nacional de Inteligencia Artificial（CENIA – 国家人工智能中心）；Pontificia Universidad Católica de Chile（天主教大学）；University of Pittsburgh（匹兹堡大学）；KU Leuven（根特大学）
该研究通过医学专家评估注意力可视化在生物医学文档分类中的作用，发现尽管Transformer模型（XLNet）分类准确，但注意力权重的解释有用性受可视化方式影响，用户更偏好直观的格式。
2025-08-05 cs.AI cs.CL cs.HC
Attention Meets Post-hoc Interpretability: A Mathematical Perspective
Universit\'e C\ ote d'Azur, Inria, CNRS
针对注意力权重能否作为模型解释的争论，本文从数学上分析简单注意力架构，比较事后解释与注意力解释，证明事后方法虽有局限，却能提供更有用的内部行为洞见。
2024-06-17 cs.CL cs.LG stat.ML
Evaluating self-attention interpretability through human-grounded experimental protocol
Ekimetrics（埃基Metrics公司）；Sorbonne University（索邦大学）；Aix-Marseille University（艾克斯-马赛大学）
注意力机制在复杂体系结构的开发中发挥了至关重要的作用，例如自然语言处理中的Transformers。然而，Transformers仍然很难解释，并且被认为是黑箱。本文的目的是评估如何注意系数从Transformers可以帮助提供可解释性。提出了一种新的基于注意力的可解释性方法CLaSsification-Attention（CLS-A）。CLS-A基于与特定于Transformer架构内的分类任务的部分相关的注意力系数分布来计算每个词的可解释性分数。一个人接地实验进行评估和比较CLS-A其他解释性方法。实验方案依赖于可解释性方法的能力，以提供符合人类推理的解释。实验设计包括测量人类受试者的反应时间和正确反应率。CLS-A在平均参与者反应时间和准确性方面与通常的可解释性方法相似。与其他可解释性方法相比，CLS-A的计算成本较低，并且在分类器中设计了它的可用性，这使得它特别有趣。数据分析还强调了分类器预测的概率得分与充分解释之间的联系。最后，我们的工作证实了使用CLS-A的相关性，并显示在何种程度上自注意力包含丰富的信息来解释Transformer分类器。
2023-03-27 cs.CL cs.LG
Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）
针对传统线性或加性代理模型与 Transformer 结构不兼容的问题，本文提出 SLALOM 代理模型，以更低成本或更高保真度实现特征归因解释并开源代码。
2025-01-09 cs.AI cs.CL cs.LG
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH（iteratec有限公司）；LMU Munich（慕尼黑大学）
机器学习（ML）模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中，我们解决了基于ML的问答（QA）模型的知识库（KB）和文本文档的组合的可解释性。我们采用LIME和输入扰动（IP）等事后解释方法，并将其与模型的自解释注意力机制进行比较。为此，我们提出了一个自动评估范例的解释方法的背景下，QA。我们还与人类注释者进行了一项研究，以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明，IP提供了更好的解释比石灰或注意，根据自动和人类的评价。我们在两个实验中获得了相同的方法排名，这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
CAFO: Feature-Centric Explanation on Time Series Classification
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Seoul National University (SNU)（首尔大学）
针对多变量时间序列分类缺乏有效特征级解释的问题，提出CAFO框架，通过通道注意力与QR正交化损失稳定特征重要性排序，并验证其有效性。
2024-06-12 cs.AI cs.LG
Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation
Praxis Business School（普拉西斯商学院）
针对传统文本对抗攻击难以兼顾攻击有效性与语义一致性的问题，提出融合显著性、注意力与语义相似度的三阶段扰动方法SASSP，相比CLARE实现了更高攻击成功率与更低扰动率。
2024-06-18 cs.CL cs.CR cs.LG
Multi-Layer Attention-Based Explainability via Transformers for Tabular Data
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
提出面向图的表格数据Transformer多层注意力可解释性方法，将所有头与层的注意力矩阵映射为图结构，通过寻找最大概率路径识别高贡献特征组，并与主流方法比较验证质量。
2024-06-04 cs.AI cs.LG
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)（希腊研究中心与技术研究中心（CERTH）/信息科技研究所（ITI））
本文提出T-TAME，一种兼容Transformer的可训练注意力解释方法，能以单次前向传播生成解释图，并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
What Does a Sparse Autoencoder Feature Do? A Weight-Based Account
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学）
该研究提出基于权重的解释框架，揭示稀疏自编码器特征在非情境下的功能效应，发现部分特征直接预测输出并参与注意力机制。
2026-11-09 cs.LG
Attention based Writer Independent Handwriting Verification
State University of New York at Buffalo（纽约州立大学布法罗分校）
作者验证的任务是为查询的和已知的手写图像样本是否属于同一作者提供可能性分数。这样的任务要求神经网络使其结果可解释，即提供网络决策过程的视图。我们实现并集成交叉注意力和软注意力机制，以捕获2D输入特征空间中高度相关和突出的点。注意力地图作为网络输出似然得分的解释前提。注意力机制还允许网络更多地关注输入的相关区域，从而提高分类性能。该方法在CEDAR草书“AND”数据集上检测书写者内错误的准确率达到86%.此外，我们通过从网络的多个层次中提取注意力图来为所提供的决策生成有意义的解释。
2020-10-01 cs.AI cs.CV cs.LG
Regularizing Attention Scores with Bootstrapping
University of Warsaw（华沙大学）；Samsung AI Center, Warsaw（三星人工智能中心（华沙））
本文通过自助法正则化注意力分数，提高视觉Transformer的可解释性，通过统计学习方法去除噪声引起的虚假注意力，提升稀疏性和收缩性。
2026-04-01 cs.AI cs.CV cs.LG
BR-NPA: A Non-Parametric High-Resolution Attention Model to improve the Interpretability of Attention
Nantes University（南特大学）；Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；University of Nantes（南特大学）；Nantes University Hospital（南特大学医院）；Inserm（法国国家健康与医学研究院）
随着注意力机制的广泛使用，注意力分布的可解释性受到了关注。虽然它提供了关于模型如何运行的见解，但利用注意力来解释模型预测仍然是非常可疑的。社区仍在寻求更多可解释的策略，以更好地确定对最终决策贡献最大的当地活动区域。为了提高现有注意力模型的可解释性，我们提出了一种新的双线性代表性非参数注意力（BR-NPA）策略，捕获任务相关的人类可解释的信息。目标模型首先被提炼为具有更高分辨率的中间特征图。然后，根据局部成对特征相似性对代表性特征进行分组，以产生更细粒度，更精确的注意力地图，突出显示输入的任务相关部分。根据复合特征的活动水平对所获得的注意力图进行排名，这提供了关于突出显示区域的重要程度的信息。所提出的模型可以很容易地适应各种各样的现代深度模型，其中涉及分类。大量的定量和定性实验展示了更全面和准确的视觉解释相比，国家的最先进的注意力模型和可视化方法在多个任务，包括细粒度的图像分类，Few-Shot分类，和人的重新识别，而不影响分类精度。所提出的可视化模型揭示了神经网络如何在不同的任务中不同地"关注"。
2022-09-15 cs.CV cs.LG
IMPACTX: improving model performance by appropriately constraining the training with teacher explanations
Department of Electrical Engineering and Information Technology, University of Naples Federico II（那不勒斯费德里科二世大学电气工程与信息科技系）
IMPACTX利用XAI作为自动注意力机制，提升模型性能，无需外部知识或人工反馈，在多个数据集上均有效。
2026-04-16 cs.AI cs.LG
Attention Please: What Transformer Models Really Learn for Process Prediction
Institute for Computer Science, University of Bayreuth（拜罗伊特大学计算机科学学院）
本文研究Transformer下一活动预测模型的注意力分数能否解释决策，发现其可作为解释器并提出两种图基解释方法，为流程模型改进和事件日志挖掘提供启发。
2024-08-12 cs.AI cs.LG
FORCE: Feature-Oriented Representation with Clustering and Explanation
University of Kansas Medical Center（堪萨斯大学医学中心）
FORCE 框架通过两阶段使用 SHAP 值——聚类生成潜在特征并启动注意力机制——引导神经网络学习潜在模式，在三个真实数据集上显著提升了预测性能。
2025-04-07 cs.AI cs.LG stat.AP
Supervising Model Attention with Human Explanations for Robust Natural Language Inference
Imperial College London（帝国理工学院）；Technion – Israel Institute of Technology（以色列理工学院）
众所周知，自然语言推理（NLI）模型可以从其训练数据中的偏差和伪影中学习，从而影响它们对其他不可见数据集的泛化能力。现有的去偏置方法集中在防止模型学习这些偏置，这可能导致限制性模型和较低的性能。相反，我们研究如何教模型人类将接近NLI任务，以学习功能，将更好地推广到以前看不见的例子。使用自然语言解释，我们监督模型的注意力权重，以鼓励更多的注意力集中在解释中出现的单词，显着提高模型的性能。我们的实验表明，这种方法的分布内改进也伴随着分布外改进，监督模型从更好地推广到其他NLI数据集的特征中学习。对模型的分析表明，人类的解释鼓励增加对重要词的关注，更多地关注前提词，而较少关注标点符号和停止词。
2022-05-01 cs.CL cs.LG
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在NLP社区中，关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中，我们（i）在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性，以及（ii）将这种分析扩展到也包括基于transformer的模型。我们发现，基于注意力的解释并不强烈相关的任何最近的特征归因方法，无论模型或任务。此外，我们发现，没有一个测试的解释强烈相关，彼此为transformer为基础的模型，导致我们质疑的基本假设，我们应该衡量基于注意力的解释的有效性的基础上，以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后，我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法，并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification
University of Sheffield（谢菲尔德大学）
自然语言处理中的神经网络架构通常使用注意力机制来产生输入令牌表示的概率分布。注意力已被经验证明可以提高各种任务的性能，而其权重已被广泛用作模型预测的解释。最近的研究（Jain和Wallace，2019; Serrano和Smith，2019; Wiegreffe和Pinter，2019）表明，它通常不能被认为是编码器和任务之间的忠实解释（Jacovi和Goldberg，2020）。在本文中，我们试图提高基于注意力的文本分类解释的可信度。我们通过提出一个新的任务缩放（TaSc）机制，学习特定于任务的非上下文信息来缩放原始的注意力权重。对解释忠实性的评估测试表明，TaSc的三个变体在两个注意力机制、五个编码器和五个文本分类数据集上提高了基于注意力的解释，而不牺牲预测性能。最后，我们证明，TaSc一贯提供更忠实的注意力为基础的解释相比，三个广泛使用的可解释性技术。
2021-05-07 cs.CL
Attention Flows are Shapley Value Explanations
Stanford University（斯坦福大学）
Shapley值是合作博弈论中信用分配问题的一种解决方案，是机器学习中一种流行的解释类型，已被用于解释特征，嵌入甚至神经元的重要性。然而，在NLP中，留一法和基于注意力的解释仍然占主导地位。我们能把这些不同的方法联系起来吗？我们正式证明-保存退化的情况下-注意权重和留一值不能Shapley值。$\textit{Attention flow}$是通过在注意力图上运行最大流算法获得的注意力权重的后处理变体。也许令人惊讶的是，我们证明了注意流确实是Shapley值，至少在分层水平上。鉴于Shapley值的许多理想的理论品质-这推动了它们在ML社区中的采用-我们认为NLP从业者应该在可能的情况下采用注意力流解释以及更传统的解释。
2021-05-31 cs.CL
The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
Google Research（谷歌研究院）
最近，人们对使用注意力来解释模型预测的兴趣激增，关于注意力是否可以这样使用的证据不一。虽然注意力方便地为每个输入标记提供了一个权重，并且很容易提取，但通常不清楚它被用作解释的目标。我们发现，通常这个目标，无论是否明确说明，都是为了找出哪些输入标记与预测最相关，并且解释的隐含用户是模型开发人员。对于这个目标和用户，我们认为，输入显着性方法更适合，并没有令人信服的理由使用注意，尽管巧合的是，它提供了一个权重为每个输入。通过这份立场文件，我们希望将最近对注意力的一些关注转移到显着性方法上，并让作者清楚地说明他们解释的目标和用户。
2020-10-12 cs.CL
Staying True to Your Word: (How) Can Attention Become Explanation?
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
注意力机制在自然语言处理中很快变得无处不在。除了提高模型的性能外，注意力还被广泛用于窥探NLP模型的内部工作原理。后一个方面近年来已成为一个常见的讨论话题，最值得注意的是Jain和Wallace，2019; Wiegreffe和Pinter，2019的工作。随着使用注意力权重作为透明度工具的缺点被暴露出来，注意力机制在何时以及是否可以作为一种解释而陷入困境。在本文中，我们提供了一个解释，为什么注意力在序列分类任务中与递归网络一起使用时会受到合理的批评。我们提出了一个补救措施，这些问题的形式，一个字级的目标和我们的研究结果给予信誉的关注，提供忠实的解释经常性的模型。
2020-05-19 cs.CL
Attention is not not Explanation
Georgia Institute of Technology（佐治亚理工学院）
注意力机制在自然语言处理系统中起着核心作用，特别是在递归神经网络（RNN）模型中。最近，人们越来越感兴趣的是，这些模块提供的中间表示是否可以用来解释模型预测的推理，从而获得关于模型决策过程的见解。最近的一篇论文声称“注意力不是解释”（Jain和Wallace，2019）。我们对这项工作的许多假设提出了挑战，认为这种说法取决于人们对解释的定义，并且测试它需要考虑模型的所有元素，使用严格的实验设计。我们提出了四种替代测试来确定何时/是否可以使用注意力作为解释：简单的统一权重基线;基于多个随机种子运行的方差校准;使用预训练模型的冻结权重的诊断框架;以及端到端的对抗性注意力训练协议。每个都允许对RNN模型中的注意力机制进行有意义的解释。我们发现，即使可以找到可靠的对抗分布，他们不执行简单的诊断，表明以前的工作并没有反驳注意力机制的可解释性的有用性。
2019-09-05 cs.CL
Attention is not Explanation
Northeastern University（东北大学）
注意力机制在神经NLP模型中得到了广泛的应用。除了提高预测性能外，这些通常被吹捧为提供透明度：配备了注意力的模型提供了关注输入设备的分布，这通常被（至少是隐含地）表示为传达输入的相对重要性。然而，目前还不清楚注意力权重和模型输出之间存在什么关系。在这项工作中，我们在各种NLP任务中进行了广泛的实验，旨在评估注意力权重为预测提供有意义的“解释”的程度。我们发现，他们基本上没有。例如，学习的注意力权重通常与基于梯度的特征重要性度量不相关，并且可以识别非常不同的注意力分布，但仍然产生等效的预测。我们的研究结果表明，标准的注意力模块并不能提供有意义的解释，也不应该被当作有意义的解释。所有实验的代码可在https://github.com/successar/AttentionExplanation上获得。
2019-05-08 cs.AI cs.CL
Regularization, Semi-supervision, and Supervision for a Plausible Attention-Based Explanation
University of Rennes 2（雷恩第二大学）
针对注意力图解释不合理的问题，提出正则化、半监督和监督三种约束，提升注意力图合理性，并发现上下文化层对找到合理标记至关重要。
2025-01-22 cs.CL
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research（三星研究院）；SRI International（斯坦福国际研究院）
在本文中，我们提出了一种新的方法，可解释的问答（XQA）的任务，即，生成针对所述视觉问答（VQA）问题的自然语言（NL）解释。我们使用两个信息源生成NL解释，该解释包括支持对图像提出的问题的答案的证据：（a）图像中实体的注释（例如，对象标签、区域描述、关系短语），以及（b）由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体，仔细选择使用语言模型，可以给出合理的文字解释，而不需要任何额外的收集数据（解释说明等）。我们在Visual Genome（VG）数据集上运行我们的算法，并进行内部用户研究，以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示，展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Attention vs non-attention for a Shapley-based explanation method
University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Facebook AI Research（Facebook人工智能研究院）
可解释人工智能领域最近出现了高度非线性深度神经网络的解释方法数量的爆炸式增长。这种方法--通常在计算机视觉领域提出和测试--在多大程度上适合于解决NLP中的可解释性挑战，还相对未被探索。在这项工作中，我们考虑上下文分解（CD）-一种基于Shapley的输入特征归因方法，已被证明适用于经常性NLP模型-我们测试了它对包含注意力操作的模型的有用程度。为此，我们扩展CD，以涵盖基于注意力的模型所需的操作。然后，我们比较长距离主谓关系的处理模型和不注意，考虑到一些不同的句法结构，在两种不同的语言：英语和荷兰语。我们的实验证实，CD也可以成功地应用于基于注意力的模型，为现代神经网络提供了一种替代的基于Shapley的归因方法。特别是，使用CD，我们表明，英语和荷兰语模型表现出类似的处理行为，但在引擎盖下，我们的注意力和非注意力模型之间存在一致的差异。
2021-04-26 cs.CL
Corpus-level and Concept-based Explanations for Interpretable Document Classification
Virginia Tech（弗吉尼亚理工大学）
使用注意力权重来识别对模型决策重要的信息是解释基于注意力的神经网络的一种流行方法。在实践中，这通常通过基于注意力权重为每个文档生成热图来实现。但这种解释方法是脆弱的，并且容易发现矛盾的例子。在本文中，我们提出了一个语料库级的解释方法，其目的是捕捉关键字和模型预测之间的因果关系，通过学习关键字的重要性，预测标签在训练语料库的基础上的注意力权重。基于这一思想，我们进一步提出了一种基于概念的解释方法，可以自动学习更高级别的概念及其重要性，以建模预测任务。我们的基于概念的解释方法建立在一个新的抽象聚合网络，它可以在端到端的训练过程中自动聚类重要的关键字。我们将这些方法应用于文档分类任务，并表明它们在提取语义上有意义的关键字和概念方面是强大的。我们基于基于注意力的朴素贝叶斯分类器的一致性分析结果也证明了这些关键词和概念对模型预测的重要性。
2021-05-31 cs.CL cs.IR cs.LG
Do Human Rationales Improve Machine Explanations?
University of Texas at Austin（德克萨斯大学奥斯汀分校）
关于"理性学习"的研究表明，人类向机器学习系统提供解释可以提高系统的预测准确性。然而，这项工作尚未与“可解释的人工智能”的工作联系起来，后者涉及机器向人类解释其推理。在这项工作中，我们表明，学习的理由也可以提高质量的机器的解释，由人类法官评估。具体来说，我们提出的实验表明，对于基于CNN的文本分类，使用"监督注意"生成的解释被判定优于使用正常的无监督注意生成的解释。
2019-05-31 cs.CL
Towards Transparent and Explainable Attention Models
Indian Institute of Technology Madras（马德拉斯印度理工学院）；Robert Bosch Center for Data Science and Artificial Intelligence, IIT Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心）；Adobe Research（Adobe研究院）
最近关于注意力分布的可解释性的研究导致了对模型预测的可信和合理解释的概念。注意力分布可以被认为是一个忠实的解释，如果一个较高的注意力权重意味着更大的影响模型的预测。如果它们为模型的预测提供了人类可以理解的理由，它们可以被认为是一个合理的解释。在这项工作中，我们首先解释了为什么基于LSTM的编码器中当前的注意力机制既不能对模型的预测提供忠实的解释，也不能提供合理的解释。我们观察到，在基于LSTM的编码器中，不同时间步长的隐藏表示彼此非常相似（高锥度），并且在这些情况下注意力权重没有太大意义，因为即使注意力权重的随机排列也不会影响模型的预测。基于对各种任务和数据集的实验，我们观察到注意力分布通常将模型的预测归因于标点符号等不重要的单词，并且无法为预测提供合理的解释。为了使注意力机制更加可信和合理，我们提出了一个具有多样性驱动的训练目标的修改的LSTM单元，以确保在不同的时间步学习的隐藏表示是多样的。我们发现，由此产生的注意力分布提供了更大的透明度，因为它们（i）提供了更精确的隐藏状态的重要性排名（ii）更好地指示了对模型预测重要的单词（iii）与基于梯度的归因方法更好地相关。人类的评估表明，我们的模型所学到的注意力分布为模型的预测提供了一个合理的解释。我们的代码已在https://github.com/akashkm99/Interpretable-Attention上公开发布
2020-04-29 cs.CL
Attention Consistency for LLMs Explanation
Milkuya Studio（Milkuya工作室）；ERTIM, INALCO（ERTIM与INALCO）；Sorbonne University（索邦大学）；IRD（国家农业与食品研究所）；University of Washington（华盛顿大学）；VitaSight
为解决LLM可解释性方法分辨率低且计算成本高的问题，提出轻量级多层注意力一致性评分（MACS），通过衡量最大注意力一致性估计输入token重要性，在保持忠实度同时显著降低显存和延迟。
2025-09-21 cs.CL
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Extractive Adversarial Networks: High-Recall Explanations for Identifying Personal Attacks in Social Media Posts
University of Michigan（密歇根大学）
我们介绍了一种对抗性方法，用于产生神经文本分类器决策的高召回解释。基于现有的通过硬注意力进行提取解释的架构，我们添加了一个对抗层，该层扫描剩余的注意力以获得剩余的预测信号。出于在社交媒体评论中检测人身攻击的重要领域的动机，我们还证明了通过显式操纵其偏差项来手动设置模型的语义适当的“默认”行为的重要性。我们开发了一个验证集的人类注释的人身攻击，以评估这些变化的影响。
2018-10-19 cs.CL cs.IR cs.LG
A Study of the Plausibility of Attention between RNN Encoders in Natural Language Inference
IRISA（IRISA（法国国家信息与自动化研究所联合的科研机构））；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）
本研究初步评估自然语言推理中RNN编码器间注意力图的合理性，发现启发式标注与人类标注相关，但原始注意力权重与合理解释关联松散。
2025-01-23 cs.CL
Saliency Learning: Teaching the Model Where to Pay Attention
Oregon State University（俄勒冈州立大学）
深度学习已经成为许多NLP任务的引人注目的解决方案，具有显着的性能。然而，由于其不透明性，这些模型很难解释和信任。最近解释深度模型的工作引入了一些方法来提供对模型行为和预测的见解，这有助于评估模型预测的可靠性。然而，这种方法并没有提高模型的可靠性。在本文中，我们的目标是通过提供解释训练并确保模型的解释与地面真理解释的一致性，来教模型为正确的原因做出正确的预测。我们在多个任务和数据集上的实验结果证明了所提出的方法的有效性，与传统训练模型相比，该方法可以产生更可靠的预测，同时提供更好的结果。
2019-04-04 cs.AI cs.CL cs.LG
Cross-Attention is Half Explanation in Speech-to-Text Models
Fondazione Bruno Kessler（布鲁诺·科塞勒基金会）
通过对比交叉注意力分数与输入显著性图，发现交叉注意力仅捕捉约50%的输入相关性，最多解释52-75%的显著性，表明其作为解释代理存在根本局限性。
2026-06-23 cs.AI cs.CL cs.SD
The Explanation Game: Towards Prediction Explainability through Sparse Communication
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单元（LUMLIS））；Unbabel（Unbabel（公司名））；Instituto Superior Técnico & Unbabel（里斯本高等理工学院和Unbabel）
可解释性是NLP中越来越重要的主题。在这项工作中，我们提供了一个统一的角度来解释作为一个解释者和外行之间的沟通问题分类的决定。我们使用这个框架来比较几种先前的方法提取解释，包括梯度方法，代表擦除，和注意力机制，在他们的沟通成功。此外，我们重新解释这些方法在经典的特征选择的光，我们以此为灵感，提出新的嵌入式方法的可解释性，通过使用选择性，稀疏注意。在文本分类，自然语言蕴涵，和机器翻译，使用不同的配置的解释者和外行（包括机器和人类）的实验，揭示了基于注意力的解释梯度和擦除方法的优势。此外，人类评估实验显示出有希望的结果与事后解释训练，以优化沟通的成功和忠诚。
2020-10-12 cs.CL
Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features
Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
提出忠实注意力解释器（FAE），利用注意力模块从视觉特征生成文本解释，并学习特征-词语关联以增强解释，在CUB和ACT-X数据集上表现良好，并能解释人类注视注意力，促进人机交互。
2024-05-27 cs.AI cs.CL cs.CV
GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
National Cheng Kung University（国立成功大学）
本文解决了社交媒体上更真实场景下的假新闻检测问题。给定源短文本推文和相应的无文本评论的转推用户序列，我们的目标是预测源推文是否是假的，并通过突出可疑转推者及其关注的词的证据来产生解释。我们开发了一种新的神经网络为基础的模型，图形感知的协同注意力网络（GCAN），以实现这一目标。在真实的tweet数据集上进行的大量实验表明，GCAN的平均准确率可以显著超过最先进的方法16%。此外，案例研究也表明，GCAN可以产生合理的解释。
2020-04-24 cs.CL cs.LG stat.ML
Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
本文提出一种基于因果机制的LLM解释方法，通过识别因果重要的注意力头并生成自然语言解释，提高了模型解释的准确性和全面性。
2026-02-13 cs.AI cs.CL
Explainable Statute Prediction via Attention-based Model and LLM Prompting
TCS Research（TCS研究）
本文提出基于注意力模型和大语言模型提示的法规预测方法，通过生成可解释的预测结果提升法律AI系统的实用性。
2025-12-26 cs.CL
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（脸书人工智能研究院）
在许多情况下，既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的，提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法，并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务，并提出了一个新的模型，可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量地表明，使用文本解释进行训练不仅可以产生更好的文本证明模型，而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况，反之亦然，支持我们的论点，即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
Interpretable AI for Time-Series: Multi-Model Heatmap Fusion with Global Attention and NLP-Generated Explanations
Department of Electrical and Computer Engineering, Iowa State University, Ames, 50011 IA USA（电气与计算机工程系，爱荷华州立大学）；Department of Agricultural Biosystem Engineering, Iowa State University, Ames,IA 50011 USA（农业生物系统工程系，爱荷华州立大学）
本文提出融合ResNet热图与二维Transformer注意力并引入全局加权显著性的可解释AI框架，解决时空错位问题，在医疗和工业数据集上显著优于基线模型，并通过自然语言生成领域化解释。
2025-06-30 cs.AI cs.CL cs.LG
Graph-based Extractive Explainer for Recommendations
University of Virginia（弗吉尼亚大学）
推荐系统中的提示帮助用户在一组推荐项目中做出明智的决定。大量的研究关注于生成自然语言解释来描述推荐是如何生成的以及为什么用户应该关注它们。然而，由于这些解决方案的不同限制，例如，无论是基于模板还是基于生成，都很难同时使解释易于感知、可靠和个性化。在这项工作中，我们开发了一个图形注意神经网络模型，无缝集成用户，项目，属性和句子提取为基础的解释。选择项目的属性作为中介，以促进消息传递，用于句子相关性的用户项目特定评估。为了平衡单个句子的相关性，整体属性覆盖率和内容冗余度，我们解决了一个整数线性规划问题，使句子的最终选择。针对两个基准审查数据集上的一组最先进的基线方法进行了广泛的实证评估，证明了所提出的解决方案的生成质量。
2022-02-20 cs.AI cs.CL cs.IR
