Fine-grained Sentiment Analysis with Faithful Attention
Columbia University（哥伦比亚大学）
虽然文本情感分类的一般任务已经被广泛研究，但很少有研究专门关注指定源和目标之间的情感。为了解决这个问题，我们尝试了一个最先进的关系抽取模型。令人惊讶的是，我们发现，尽管有合理的表现，模型的注意力往往是系统性的不一致的话，有助于情绪。因此，我们直接用人类的理性来训练模型的注意力，并在我们定义的所有任务上将我们的模型性能提高了4~8个点。我们还使用新颖直观的指标对模型的注意力进行了严格的分析，包括训练和未训练的注意力。我们的研究结果表明，未经训练的注意力不提供忠实的解释，然而，经过训练的注意力与简明注释的人类理性不仅提高性能，而且带来忠实的解释。令人鼓舞的是，少量注释的人类原理足以纠正我们任务中的注意力。
2019-08-19 cs.CL
Explanation Shift: Detecting distribution shifts on tabular data via the explanation space
University of Southampton（南安普顿大学）；Schufa Holding AG（Schufa控股股份公司）；University of Tuebingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
随着输入数据分布的演变，机器学习模型的预测性能趋于恶化。在过去，预测性能被认为是监测的关键指标。然而，在过去的几年里，解释方面已经引起了人们的注意。在这项工作中，我们研究了如何模型预测性能和模型解释特性的影响下分布偏移，以及如何这些关键指标是相互关联的表格数据。我们发现，解释偏移的建模可以比基于分布偏移表示的最新技术更好地指示预测性能变化的检测。我们提供了不同类型的分布偏移的数学分析以及合成实验的例子。
2022-10-22 cs.AI cs.LG stat.ML
Uncertainty Estimation and Out-of-Distribution Detection for Counterfactual Explanations: Pitfalls and Solutions
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
虽然最近已经提出了丰富的技术来生成不透明的黑盒系统的预测的反事实的解释，显着较少的注意力已经支付到探索这些生成的解释的不确定性。这在高风险场景中成为一个关键问题，在这种场景中，不确定和误导性的解释可能会产生可怕的后果（例如，医疗诊断和治疗计划）。此外，通常难以确定所生成的解释是否在训练数据中有良好的基础并且对分布偏移敏感。本文提出了几种实用的解决方案，可以通过与其他研究作品在可解释性方面建立新的联系来解决这些问题（例如，信任分数）和不确定性估计（例如，Monte Carlo Dropout）。两个实验证明了我们提出的解决方案的实用性。
2021-07-20 cs.AI cs.LG
Defense Against Explanation Manipulation
Texas A&M University（德克萨斯A&M大学）；Rice University（莱斯大学）
可解释的机器学习由于其提高了模型的透明性，有助于机器学习在实际应用中的可信性而受到越来越多的关注。然而，解释方法最近被证明容易受到操纵，我们可以很容易地改变模型的解释，同时保持其预测不变。为了解决这个问题，人们已经付出了一些努力，使用更稳定的解释方法或改变模型配置。在这项工作中，我们从训练的角度来解决这个问题，并提出了一个新的训练方案，称为解释对抗训练（ATEX），以提高模型的内部解释稳定性，而不管应用的具体解释方法。ATEX不直接在数据实例上指定解释值，而是只对模型预测提出要求，从而避免在优化中涉及二阶导数。作为进一步的讨论，我们还发现解释稳定性与模型的另一个性质密切相关，即，暴露于对抗攻击的风险。通过实验，除了表明ATEX提高了模型对操纵目标解释的鲁棒性外，它还带来了额外的好处，包括平滑解释和提高对抗训练的有效性。
2021-11-08 cs.AI cs.LG
Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease
Stevens Institute of Technology（史蒂文斯理工学院）
在这项工作中，我们提出了三种可解释的深度学习架构，根据语言能力自动检测阿尔茨海默病患者。架构用途：（1）仅词性特征;（2）仅语言嵌入特征;以及（3）这两个特征类经由统一架构。我们使用自注意力机制和可解释的一维卷积神经网络（CNN）来产生两种类型的解释模型的行动：类内解释和类间解释。类间解释捕获该类中每个不同特征的相对重要性，而类间解释捕获类之间的相对重要性。请注意，尽管我们在本文中考虑了两类功能，但由于其模块化，该架构可以轻松扩展到更多类。大量的实验和与最近几个模型的比较表明，我们的方法优于这些方法，在DementiaBank数据集上的准确率为92.2%，F1得分为0.952，同时能够生成解释。我们通过例子展示了如何使用注意力值来生成这些解释。
2021-01-08 cs.CL cs.LG
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在NLP社区中，关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中，我们（i）在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性，以及（ii）将这种分析扩展到也包括基于transformer的模型。我们发现，基于注意力的解释并不强烈相关的任何最近的特征归因方法，无论模型或任务。此外，我们发现，没有一个测试的解释强烈相关，彼此为transformer为基础的模型，导致我们质疑的基本假设，我们应该衡量基于注意力的解释的有效性的基础上，以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后，我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法，并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Learning to Deceive with Attention-Based Explanations
Carnegie Mellon University（卡内基梅隆大学）；Twitter（推特）
注意力机制是应用于自然语言处理的神经结构中普遍存在的组件。除了在预测准确性方面获得收益外，注意力权重通常被认为具有可解释性，据称对于为从业者提供见解以及解释模型为何向利益相关者做出决策都很有用。我们呼吁后者使用的注意力机制的问题，展示了一个简单的方法，训练模型，以产生欺骗性的注意力面具。我们的方法减少了分配给指定的不允许令牌的总权重，即使模型可以被证明仍然依赖于这些特征来驱动预测。在多个模型和任务中，我们的方法可以操纵注意力权重，同时在准确性方面付出的代价非常小。通过一项人类研究，我们表明，我们操纵的基于注意力的解释欺骗人们认为，对性别少数群体有偏见的模型的预测不依赖于性别。因此，我们的研究结果怀疑注意力的可靠性作为审计算法的工具，在公平性和问责制的背景下。
2020-04-06 cs.CL cs.LG
Attention Flows are Shapley Value Explanations
Stanford University（斯坦福大学）
Shapley值是合作博弈论中信用分配问题的一种解决方案，是机器学习中一种流行的解释类型，已被用于解释特征，嵌入甚至神经元的重要性。然而，在NLP中，留一法和基于注意力的解释仍然占主导地位。我们能把这些不同的方法联系起来吗？我们正式证明-保存退化的情况下-注意权重和留一值不能Shapley值。$\textit{Attention flow}$是通过在注意力图上运行最大流算法获得的注意力权重的后处理变体。也许令人惊讶的是，我们证明了注意流确实是Shapley值，至少在分层水平上。鉴于Shapley值的许多理想的理论品质-这推动了它们在ML社区中的采用-我们认为NLP从业者应该在可能的情况下采用注意力流解释以及更传统的解释。
2021-05-31 cs.CL
Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Oslo（奥斯陆大学）
本文分析了图像描述模型的预测与注意力机制超出可视化的注意本身。我们开发了分层相关传播（LRP）和基于梯度的解释方法的变体，适合于具有注意力机制的图像描述模型。我们系统地比较了注意力热图的可解释性与LRP，Grad-CAM和Guided Grad-CAM等解释方法提供的解释。我们表明，解释方法提供同时像素的图像解释（支持和反对像素的输入图像）和语言的解释（支持和反对的话的前一个序列）的预测字幕中的每个字。我们通过大量的实验证明，解释方法1）可以揭示模型用于做出决策的额外证据; 2）与高精度的对象位置相关; 3）有助于“调试”模型，例如通过分析幻觉对象词的原因。结合观察到的解释属性，我们进一步设计了一种LRP推理微调策略，该策略在保证句子流畅性的同时，减少了图像描述模型中的对象幻觉问题。我们进行实验，两个广泛使用的注意力机制：自适应注意力机制计算的加法注意力和多头注意力机制计算的缩放点积。
2021-08-01 cs.CL cs.CV cs.LG
The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
Google Research（谷歌研究院）
最近，人们对使用注意力来解释模型预测的兴趣激增，关于注意力是否可以这样使用的证据不一。虽然注意力方便地为每个输入标记提供了一个权重，并且很容易提取，但通常不清楚它被用作解释的目标。我们发现，通常这个目标，无论是否明确说明，都是为了找出哪些输入标记与预测最相关，并且解释的隐含用户是模型开发人员。对于这个目标和用户，我们认为，输入显着性方法更适合，并没有令人信服的理由使用注意，尽管巧合的是，它提供了一个权重为每个输入。通过这份立场文件，我们希望将最近对注意力的一些关注转移到显着性方法上，并让作者清楚地说明他们解释的目标和用户。
2020-10-12 cs.CL
Staying True to Your Word: (How) Can Attention Become Explanation?
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
注意力机制在自然语言处理中很快变得无处不在。除了提高模型的性能外，注意力还被广泛用于窥探NLP模型的内部工作原理。后一个方面近年来已成为一个常见的讨论话题，最值得注意的是Jain和Wallace，2019; Wiegreffe和Pinter，2019的工作。随着使用注意力权重作为透明度工具的缺点被暴露出来，注意力机制在何时以及是否可以作为一种解释而陷入困境。在本文中，我们提供了一个解释，为什么注意力在序列分类任务中与递归网络一起使用时会受到合理的批评。我们提出了一个补救措施，这些问题的形式，一个字级的目标和我们的研究结果给予信誉的关注，提供忠实的解释经常性的模型。
2020-05-19 cs.CL
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布，这被广泛认为是特征重要性指标。然而，在本文中，我们发现一个关键的限制，注意力的解释：在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反，它们会施加抑制效应。有了这一发现，我们反映了目前的注意力为基础的技术，如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先，我们提出了一个可行的诊断方法（以下简称忠实违反测试）来衡量解释权重和影响极性之间的一致性。通过大量的实验，我们发现，大多数测试的解释方法出乎意料地阻碍了忠实违反问题，特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
Attention is not not Explanation
Georgia Institute of Technology（佐治亚理工学院）
注意力机制在自然语言处理系统中起着核心作用，特别是在递归神经网络（RNN）模型中。最近，人们越来越感兴趣的是，这些模块提供的中间表示是否可以用来解释模型预测的推理，从而获得关于模型决策过程的见解。最近的一篇论文声称“注意力不是解释”（Jain和Wallace，2019）。我们对这项工作的许多假设提出了挑战，认为这种说法取决于人们对解释的定义，并且测试它需要考虑模型的所有元素，使用严格的实验设计。我们提出了四种替代测试来确定何时/是否可以使用注意力作为解释：简单的统一权重基线;基于多个随机种子运行的方差校准;使用预训练模型的冻结权重的诊断框架;以及端到端的对抗性注意力训练协议。每个都允许对RNN模型中的注意力机制进行有意义的解释。我们发现，即使可以找到可靠的对抗分布，他们不执行简单的诊断，表明以前的工作并没有反驳注意力机制的可解释性的有用性。
2019-09-05 cs.CL
Attention is not Explanation
Northeastern University（东北大学）
注意力机制在神经NLP模型中得到了广泛的应用。除了提高预测性能外，这些通常被吹捧为提供透明度：配备了注意力的模型提供了关注输入设备的分布，这通常被（至少是隐含地）表示为传达输入的相对重要性。然而，目前还不清楚注意力权重和模型输出之间存在什么关系。在这项工作中，我们在各种NLP任务中进行了广泛的实验，旨在评估注意力权重为预测提供有意义的“解释”的程度。我们发现，他们基本上没有。例如，学习的注意力权重通常与基于梯度的特征重要性度量不相关，并且可以识别非常不同的注意力分布，但仍然产生等效的预测。我们的研究结果表明，标准的注意力模块并不能提供有意义的解释，也不应该被当作有意义的解释。所有实验的代码可在https://github.com/successar/AttentionExplanation上获得。
2019-05-08 cs.AI cs.CL
Revisiting Attention Weights as Explanations from an Information Theoretic Perspective
Infinity Lab（无限实验室）；Stevens Institute of Technology（史蒂文斯理工学院）
注意力机制最近在一系列NLP任务上表现出令人印象深刻的性能，注意力分数通常用作模型可解释性的代理。然而，关于注意力权重实际上是否可以用来确定模型中最重要的输入，存在争议。我们从信息论的角度来处理这个问题，通过测量模型输出和隐藏状态之间的互信息。通过大量的实验，我们得出以下结论：（i）加法和深度注意力机制可能更好地保留隐藏状态和模型输出之间的信息（ii）消融研究表明，加法注意可以主动学习解释其输入的隐藏表征的重要性;（iii）当注意力值几乎相同时，注意力值的排序与互信息的排序不一致（iv）使用温度低于1的Gumbel-Softmax，与softmax相比，往往会产生更偏斜的注意力分数分布，因此是可解释设计的更好选择;（v）某些构建块在保持互信息的有序列表和注意力权重顺序之间的相关性方面更好（例如，BiLSTM编码器和Additive attention的组合）。我们的研究结果表明，当注意力机制与其他模型元素仔细结合时，它确实有潜力成为模型解释的捷径。
2022-10-31 cs.AI cs.CL cs.LG
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research（三星研究院）；SRI International（斯坦福国际研究院）
在本文中，我们提出了一种新的方法，可解释的问答（XQA）的任务，即，生成针对所述视觉问答（VQA）问题的自然语言（NL）解释。我们使用两个信息源生成NL解释，该解释包括支持对图像提出的问题的答案的证据：（a）图像中实体的注释（例如，对象标签、区域描述、关系短语），以及（b）由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体，仔细选择使用语言模型，可以给出合理的文字解释，而不需要任何额外的收集数据（解释说明等）。我们在Visual Genome（VG）数据集上运行我们的算法，并进行内部用户研究，以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示，展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Attention vs non-attention for a Shapley-based explanation method
University of Amsterdam（阿姆斯特丹大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Facebook AI Research（Facebook人工智能研究院）
可解释人工智能领域最近出现了高度非线性深度神经网络的解释方法数量的爆炸式增长。这种方法--通常在计算机视觉领域提出和测试--在多大程度上适合于解决NLP中的可解释性挑战，还相对未被探索。在这项工作中，我们考虑上下文分解（CD）-一种基于Shapley的输入特征归因方法，已被证明适用于经常性NLP模型-我们测试了它对包含注意力操作的模型的有用程度。为此，我们扩展CD，以涵盖基于注意力的模型所需的操作。然后，我们比较长距离主谓关系的处理模型和不注意，考虑到一些不同的句法结构，在两种不同的语言：英语和荷兰语。我们的实验证实，CD也可以成功地应用于基于注意力的模型，为现代神经网络提供了一种替代的基于Shapley的归因方法。特别是，使用CD，我们表明，英语和荷兰语模型表现出类似的处理行为，但在引擎盖下，我们的注意力和非注意力模型之间存在一致的差异。
2021-04-26 cs.CL
Corpus-level and Concept-based Explanations for Interpretable Document Classification
Virginia Tech（弗吉尼亚理工大学）
使用注意力权重来识别对模型决策重要的信息是解释基于注意力的神经网络的一种流行方法。在实践中，这通常通过基于注意力权重为每个文档生成热图来实现。但这种解释方法是脆弱的，并且容易发现矛盾的例子。在本文中，我们提出了一个语料库级的解释方法，其目的是捕捉关键字和模型预测之间的因果关系，通过学习关键字的重要性，预测标签在训练语料库的基础上的注意力权重。基于这一思想，我们进一步提出了一种基于概念的解释方法，可以自动学习更高级别的概念及其重要性，以建模预测任务。我们的基于概念的解释方法建立在一个新的抽象聚合网络，它可以在端到端的训练过程中自动聚类重要的关键字。我们将这些方法应用于文档分类任务，并表明它们在提取语义上有意义的关键字和概念方面是强大的。我们基于基于注意力的朴素贝叶斯分类器的一致性分析结果也证明了这些关键词和概念对模型预测的重要性。
2021-05-31 cs.CL cs.IR cs.LG
Towards Transparent and Explainable Attention Models
Indian Institute of Technology Madras（马德拉斯印度理工学院）；Robert Bosch Center for Data Science and Artificial Intelligence, IIT Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心）；Adobe Research（Adobe研究院）
最近关于注意力分布的可解释性的研究导致了对模型预测的可信和合理解释的概念。注意力分布可以被认为是一个忠实的解释，如果一个较高的注意力权重意味着更大的影响模型的预测。如果它们为模型的预测提供了人类可以理解的理由，它们可以被认为是一个合理的解释。在这项工作中，我们首先解释了为什么基于LSTM的编码器中当前的注意力机制既不能对模型的预测提供忠实的解释，也不能提供合理的解释。我们观察到，在基于LSTM的编码器中，不同时间步长的隐藏表示彼此非常相似（高锥度），并且在这些情况下注意力权重没有太大意义，因为即使注意力权重的随机排列也不会影响模型的预测。基于对各种任务和数据集的实验，我们观察到注意力分布通常将模型的预测归因于标点符号等不重要的单词，并且无法为预测提供合理的解释。为了使注意力机制更加可信和合理，我们提出了一个具有多样性驱动的训练目标的修改的LSTM单元，以确保在不同的时间步学习的隐藏表示是多样的。我们发现，由此产生的注意力分布提供了更大的透明度，因为它们（i）提供了更精确的隐藏状态的重要性排名（ii）更好地指示了对模型预测重要的单词（iii）与基于梯度的归因方法更好地相关。人类的评估表明，我们的模型所学到的注意力分布为模型的预测提供了一个合理的解释。我们的代码已在https://github.com/akashkm99/Interpretable-Attention上公开发布
2020-04-29 cs.CL
Attention Consistency for LLMs Explanation
Milkuya Studio（Milkuya工作室）；ERTIM, INALCO（ERTIM与INALCO）；Sorbonne University（索邦大学）；IRD（国家农业与食品研究所）；University of Washington（华盛顿大学）；VitaSight
为解决LLM可解释性方法分辨率低且计算成本高的问题，提出轻量级多层注意力一致性评分（MACS），通过衡量最大注意力一致性估计输入token重要性，在保持忠实度同时显著降低显存和延迟。
2025-09-21 cs.CL
Order in the Court: Explainable AI Methods Prone to Disagreement
University of Amsterdam（阿姆斯特丹大学）
通过计算注意力权重和特征添加剂解释方法之间的等级相关性，以前的分析要么无效，要么支持基于注意力的解释作为一个忠实的和可信的显着性测量的作用。为了研究这种方法是否合适，我们比较了LIME、集成的解释、DeepLIFT、Grad-SHAP、Deep-SHAP和基于注意力的解释，这些解释应用于在单序列和成对序列语言任务上训练的两种神经架构。在大多数情况下，我们发现我们选择的方法都不一致。基于我们的经验观察和理论异议，我们得出结论，秩相关性不衡量质量的特征添加剂的方法。从业者应该使用社区提出的众多严格的诊断方法。
2021-07-06 cs.CL cs.LG
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）
用知识图谱（KG）增强预训练的语言模型在各种常识推理任务上取得了成功。然而，对于给定的任务实例，KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件，但KG仍然总是被使用，并且注意力机制从未被明确教导应该使用哪些KG组件。同时，显著性方法可以测量KG特征（例如，图形、节点、路径）影响模型做出正确的预测，从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先，我们建议创建粗糙（KG有用吗？）和精细（KG中的哪些节点/路径有用？）显着性解释。其次，为了激励基于显着性的监督，我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三，我们提出了SalKG，KG增强模型的框架，从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释，SalKG联合训练模型来预测解释，然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试（CSQA，OBQA，CODAH）和一系列KG增强模型上，我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Extractive Adversarial Networks: High-Recall Explanations for Identifying Personal Attacks in Social Media Posts
University of Michigan（密歇根大学）
我们介绍了一种对抗性方法，用于产生神经文本分类器决策的高召回解释。基于现有的通过硬注意力进行提取解释的架构，我们添加了一个对抗层，该层扫描剩余的注意力以获得剩余的预测信号。出于在社交媒体评论中检测人身攻击的重要领域的动机，我们还证明了通过显式操纵其偏差项来手动设置模型的语义适当的“默认”行为的重要性。我们开发了一个验证集的人类注释的人身攻击，以评估这些变化的影响。
2018-10-19 cs.CL cs.IR cs.LG
Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns
University of North Texas（北卡罗来纳州立大学）
ExpNet通过学习Transformer注意力模式到标记重要性分数的映射，提供了一种轻量级的可解释AI方法，能够自动发现最佳注意力特征组合。
2026-01-21 cs.CL cs.LG
SEAT: Stable and Explainable Attention
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lehigh University（理海大学）；University of Georgia（佐治亚大学）；Iowa State University（爱荷华州立大学）；Computational Bioscience Research Center（计算生物科学研究中心）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence（沙特数据与人工智能局-阿卜杜拉国王科技大学数据科学与人工智能卓越中心）
目前，注意力机制成为大多数最先进的自然语言处理（NLP）模型中的标准装置，这不仅是因为它可以获得出色的性能，而且还因为它提供的神经结构行为的合理的内在解释，这是众所周知的难以分析。然而，最近的研究表明，注意力在训练或测试过程中的随机性和扰动（如随机种子和嵌入向量的轻微扰动）是不稳定的，这阻碍了它成为一个忠实的解释工具。因此，一个自然的问题是，我们是否可以找到一些替代品，目前的注意，这是更稳定的，可以保持最重要的特点，解释和预测的注意。在本文中，为了解决这个问题，我们提供了第一个严格的定义，这种替代，即稳定和可解释的注意力（SEAT）。具体地说，SEAT应该具有以下三个属性：（1）它的预测分布被强制接近基于普通注意力的分布;（2）它的top-k指数与普通注意力的top-k指数有很大的重叠;（3）它对扰动是鲁棒的，即，对SEAT的任何微小扰动都不会使预测分布发生太大变化，这隐含地表明它对随机性和扰动是稳定的。最后，通过对各种数据集的深入实验，我们通过六种不同的模型解释、稳定性和准确性评估指标，将我们的SEAT与使用RNN、BiLSTM和BERT架构的其他基线方法进行了比较。结果表明，SEAT模型在保持注意可解释性的同时，对不同的扰动和随机性具有更高的稳定性，是一种更可靠的解释。此外，与普通注意力相比，SEAT几乎没有效用（准确性）下降。
2022-11-23 cs.AI cs.CL cs.LG
User Perception of Attention Visualizations: Effects on Interpretability Across Evidence-Based Medical Documents
CENIA – Centro Nacional de Inteligencia Artificial（CENIA – 国家人工智能中心）；Pontificia Universidad Católica de Chile（天主教大学）；University of Pittsburgh（匹兹堡大学）；KU Leuven（根特大学）
该研究通过医学专家评估注意力可视化在生物医学文档分类中的作用，发现尽管Transformer模型（XLNet）分类准确，但注意力权重的解释有用性受可视化方式影响，用户更偏好直观的格式。
2025-08-05 cs.AI cs.CL cs.HC
Saliency Learning: Teaching the Model Where to Pay Attention
Oregon State University（俄勒冈州立大学）
深度学习已经成为许多NLP任务的引人注目的解决方案，具有显着的性能。然而，由于其不透明性，这些模型很难解释和信任。最近解释深度模型的工作引入了一些方法来提供对模型行为和预测的见解，这有助于评估模型预测的可靠性。然而，这种方法并没有提高模型的可靠性。在本文中，我们的目标是通过提供解释训练并确保模型的解释与地面真理解释的一致性，来教模型为正确的原因做出正确的预测。我们在多个任务和数据集上的实验结果证明了所提出的方法的有效性，与传统训练模型相比，该方法可以产生更可靠的预测，同时提供更好的结果。
2019-04-04 cs.AI cs.CL cs.LG
Attention Meets Post-hoc Interpretability: A Mathematical Perspective
Universit\'e C\ ote d'Azur, Inria, CNRS
针对注意力权重能否作为模型解释的争论，本文从数学上分析简单注意力架构，比较事后解释与注意力解释，证明事后方法虽有局限，却能提供更有用的内部行为洞见。
2024-06-17 cs.CL cs.LG stat.ML
Cross-Attention is Half Explanation in Speech-to-Text Models
Fondazione Bruno Kessler（布鲁诺·科塞勒基金会）
通过对比交叉注意力分数与输入显著性图，发现交叉注意力仅捕捉约50%的输入相关性，最多解释52-75%的显著性，表明其作为解释代理存在根本局限性。
2026-06-23 cs.AI cs.CL cs.SD
Evaluating self-attention interpretability through human-grounded experimental protocol
Ekimetrics（埃基Metrics公司）；Sorbonne University（索邦大学）；Aix-Marseille University（艾克斯-马赛大学）
注意力机制在复杂体系结构的开发中发挥了至关重要的作用，例如自然语言处理中的Transformers。然而，Transformers仍然很难解释，并且被认为是黑箱。本文的目的是评估如何注意系数从Transformers可以帮助提供可解释性。提出了一种新的基于注意力的可解释性方法CLaSsification-Attention（CLS-A）。CLS-A基于与特定于Transformer架构内的分类任务的部分相关的注意力系数分布来计算每个词的可解释性分数。一个人接地实验进行评估和比较CLS-A其他解释性方法。实验方案依赖于可解释性方法的能力，以提供符合人类推理的解释。实验设计包括测量人类受试者的反应时间和正确反应率。CLS-A在平均参与者反应时间和准确性方面与通常的可解释性方法相似。与其他可解释性方法相比，CLS-A的计算成本较低，并且在分类器中设计了它的可用性，这使得它特别有趣。数据分析还强调了分类器预测的概率得分与充分解释之间的联系。最后，我们的工作证实了使用CLS-A的相关性，并显示在何种程度上自注意力包含丰富的信息来解释Transformer分类器。
2023-03-27 cs.CL cs.LG
The Explanation Game: Towards Prediction Explainability through Sparse Communication
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单元（LUMLIS））；Unbabel（Unbabel（公司名））；Instituto Superior Técnico & Unbabel（里斯本高等理工学院和Unbabel）
可解释性是NLP中越来越重要的主题。在这项工作中，我们提供了一个统一的角度来解释作为一个解释者和外行之间的沟通问题分类的决定。我们使用这个框架来比较几种先前的方法提取解释，包括梯度方法，代表擦除，和注意力机制，在他们的沟通成功。此外，我们重新解释这些方法在经典的特征选择的光，我们以此为灵感，提出新的嵌入式方法的可解释性，通过使用选择性，稀疏注意。在文本分类，自然语言蕴涵，和机器翻译，使用不同的配置的解释者和外行（包括机器和人类）的实验，揭示了基于注意力的解释梯度和擦除方法的优势。此外，人类评估实验显示出有希望的结果与事后解释训练，以优化沟通的成功和忠诚。
2020-10-12 cs.CL
Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）
针对传统线性或加性代理模型与 Transformer 结构不兼容的问题，本文提出 SLALOM 代理模型，以更低成本或更高保真度实现特征归因解释并开源代码。
2025-01-09 cs.AI cs.CL cs.LG
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH（iteratec有限公司）；LMU Munich（慕尼黑大学）
机器学习（ML）模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中，我们解决了基于ML的问答（QA）模型的知识库（KB）和文本文档的组合的可解释性。我们采用LIME和输入扰动（IP）等事后解释方法，并将其与模型的自解释注意力机制进行比较。为此，我们提出了一个自动评估范例的解释方法的背景下，QA。我们还与人类注释者进行了一项研究，以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明，IP提供了更好的解释比石灰或注意，根据自动和人类的评价。我们在两个实验中获得了相同的方法排名，这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
GraphNarrator: Generating Textual Explanations for Graph Neural Networks
Emory University（埃默里大学）
本文提出GraphNarrator，首个为图神经网络生成自然语言解释的方法，通过生成式语言模型映射输入输出对，并利用基于显著性解释的伪标签和Expert Iteration训练端到端解释生成器，实验证明其生成的解释忠实、简洁且符合人类偏好。
2025-05-28 cs.CL cs.LG
Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features
Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
提出忠实注意力解释器（FAE），利用注意力模块从视觉特征生成文本解释，并学习特征-词语关联以增强解释，在CUB和ACT-X数据集上表现良好，并能解释人类注视注意力，促进人机交互。
2024-05-27 cs.AI cs.CL cs.CV
GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
National Cheng Kung University（国立成功大学）
本文解决了社交媒体上更真实场景下的假新闻检测问题。给定源短文本推文和相应的无文本评论的转推用户序列，我们的目标是预测源推文是否是假的，并通过突出可疑转推者及其关注的词的证据来产生解释。我们开发了一种新的神经网络为基础的模型，图形感知的协同注意力网络（GCAN），以实现这一目标。在真实的tweet数据集上进行的大量实验表明，GCAN的平均准确率可以显著超过最先进的方法16%。此外，案例研究也表明，GCAN可以产生合理的解释。
2020-04-24 cs.CL cs.LG stat.ML
Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
本文提出一种基于因果机制的LLM解释方法，通过识别因果重要的注意力头并生成自然语言解释，提高了模型解释的准确性和全面性。
2026-02-13 cs.AI cs.CL
Explainable Statute Prediction via Attention-based Model and LLM Prompting
TCS Research（TCS研究）
本文提出基于注意力模型和大语言模型提示的法规预测方法，通过生成可解释的预测结果提升法律AI系统的实用性。
2025-12-26 cs.CL
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（脸书人工智能研究院）
在许多情况下，既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的，提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法，并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务，并提出了一个新的模型，可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量地表明，使用文本解释进行训练不仅可以产生更好的文本证明模型，而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况，反之亦然，支持我们的论点，即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
Interpretable AI for Time-Series: Multi-Model Heatmap Fusion with Global Attention and NLP-Generated Explanations
Department of Electrical and Computer Engineering, Iowa State University, Ames, 50011 IA USA（电气与计算机工程系，爱荷华州立大学）；Department of Agricultural Biosystem Engineering, Iowa State University, Ames,IA 50011 USA（农业生物系统工程系，爱荷华州立大学）
本文提出融合ResNet热图与二维Transformer注意力并引入全局加权显著性的可解释AI框架，解决时空错位问题，在医疗和工业数据集上显著优于基线模型，并通过自然语言生成领域化解释。
2025-06-30 cs.AI cs.CL cs.LG
LaSQuE: Improved Zero-Shot Classification from Explanations Through Quantifier Modeling and Curriculum Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类智力的一个标志是纯粹从语言中学习新概念的能力。最近的几种方法已经探索了通过自然语言监督来训练机器学习模型。然而，这些方法在利用语言量词（如“总是”或“很少”）和模仿人类在组成学习复杂的任务。在这里，我们提出了LaSQuE，一种可以通过使用三种新策略从语言解释中学习zero-shot分类器的方法-（1）对解释中的语言量词的语义进行建模（包括利用序数强度关系，例如“总是”>“可能”），（2）使用基于注意力的机制从多个解释中聚合信息，以及（3）通过课程学习进行模型训练。有了这些策略，LaSQuE的性能优于之前的工作，在推广到看不见的真实世界分类任务时，绝对增益高达7%。
2022-12-18 cs.CL
When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
在人类交际中，诸如讽刺等间接言语实现了一系列的话语目标。虽然比喻语言的间接性保证了说话者实现某些语用目标，但人工智能智能体理解人类交流的这种特质是具有挑战性的。虽然讽刺识别一直是对话分析中的一个很好的探索主题，会话系统要真正把握会话的内在含义并产生适当的反应，简单地检测讽刺是不够的;解释其潜在的讽刺内涵以捕捉其真正的本质是至关重要的。在这项工作中，我们研究了讽刺会话的话语结构，并提出了一个新的任务--对话中的讽刺解释（SED）。该任务设置在多模态和代码混合的环境中，旨在生成讽刺对话的自然语言解释。为此，我们策划了WITS，一个新的数据集来支持我们的任务。我们提出MAF（模态感知融合），多模态上下文感知的注意力和全球信息融合模块来捕获多模态，并使用它来基准测试WITS。所提出的注意力模块超越了传统的多模态融合基线，并报告了几乎所有指标的最佳性能。最后，我们进行了详细的定量和定性分析。
2022-03-12 cs.AI cs.CL
Graph-based Extractive Explainer for Recommendations
University of Virginia（弗吉尼亚大学）
推荐系统中的提示帮助用户在一组推荐项目中做出明智的决定。大量的研究关注于生成自然语言解释来描述推荐是如何生成的以及为什么用户应该关注它们。然而，由于这些解决方案的不同限制，例如，无论是基于模板还是基于生成，都很难同时使解释易于感知、可靠和个性化。在这项工作中，我们开发了一个图形注意神经网络模型，无缝集成用户，项目，属性和句子提取为基础的解释。选择项目的属性作为中介，以促进消息传递，用于句子相关性的用户项目特定评估。为了平衡单个句子的相关性，整体属性覆盖率和内容冗余度，我们解决了一个整数线性规划问题，使句子的最终选择。针对两个基准审查数据集上的一组最先进的基线方法进行了广泛的实证评估，证明了所提出的解决方案的生成质量。
2022-02-20 cs.AI cs.CL cs.IR
