Do Human Rationales Improve Machine Explanations?
University of Texas at Austin（德克萨斯大学奥斯汀分校）
关于"理性学习"的研究表明，人类向机器学习系统提供解释可以提高系统的预测准确性。然而，这项工作尚未与“可解释的人工智能”的工作联系起来，后者涉及机器向人类解释其推理。在这项工作中，我们表明，学习的理由也可以提高质量的机器的解释，由人类法官评估。具体来说，我们提出的实验表明，对于基于CNN的文本分类，使用"监督注意"生成的解释被判定优于使用正常的无监督注意生成的解释。
2019-05-31 cs.CL
Towards Transparent and Explainable Attention Models
Indian Institute of Technology Madras（马德拉斯印度理工学院）；Robert Bosch Center for Data Science and Artificial Intelligence, IIT Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心）；Adobe Research（Adobe研究院）
最近关于注意力分布的可解释性的研究导致了对模型预测的可信和合理解释的概念。注意力分布可以被认为是一个忠实的解释，如果一个较高的注意力权重意味着更大的影响模型的预测。如果它们为模型的预测提供了人类可以理解的理由，它们可以被认为是一个合理的解释。在这项工作中，我们首先解释了为什么基于LSTM的编码器中当前的注意力机制既不能对模型的预测提供忠实的解释，也不能提供合理的解释。我们观察到，在基于LSTM的编码器中，不同时间步长的隐藏表示彼此非常相似（高锥度），并且在这些情况下注意力权重没有太大意义，因为即使注意力权重的随机排列也不会影响模型的预测。基于对各种任务和数据集的实验，我们观察到注意力分布通常将模型的预测归因于标点符号等不重要的单词，并且无法为预测提供合理的解释。为了使注意力机制更加可信和合理，我们提出了一个具有多样性驱动的训练目标的修改的LSTM单元，以确保在不同的时间步学习的隐藏表示是多样的。我们发现，由此产生的注意力分布提供了更大的透明度，因为它们（i）提供了更精确的隐藏状态的重要性排名（ii）更好地指示了对模型预测重要的单词（iii）与基于梯度的归因方法更好地相关。人类的评估表明，我们的模型所学到的注意力分布为模型的预测提供了一个合理的解释。我们的代码已在https://github.com/akashkm99/Interpretable-Attention上公开发布
2020-04-29 cs.CL
Attention Consistency for LLMs Explanation
Milkuya Studio（Milkuya工作室）；ERTIM, INALCO（ERTIM与INALCO）；Sorbonne University（索邦大学）；IRD（国家农业与食品研究所）；University of Washington（华盛顿大学）；VitaSight
为解决LLM可解释性方法分辨率低且计算成本高的问题，提出轻量级多层注意力一致性评分（MACS），通过衡量最大注意力一致性估计输入token重要性，在保持忠实度同时显著降低显存和延迟。
2025-09-21 cs.CL
Attention is not Explanation
Northeastern University（东北大学）
注意力机制在神经NLP模型中得到了广泛的应用。除了提高预测性能外，这些通常被吹捧为提供透明度：配备了注意力的模型提供了关注输入设备的分布，这通常被（至少是隐含地）表示为传达输入的相对重要性。然而，目前还不清楚注意力权重和模型输出之间存在什么关系。在这项工作中，我们在各种NLP任务中进行了广泛的实验，旨在评估注意力权重为预测提供有意义的“解释”的程度。我们发现，他们基本上没有。例如，学习的注意力权重通常与基于梯度的特征重要性度量不相关，并且可以识别非常不同的注意力分布，但仍然产生等效的预测。我们的研究结果表明，标准的注意力模块并不能提供有意义的解释，也不应该被当作有意义的解释。所有实验的代码可在https://github.com/successar/AttentionExplanation上获得。
2019-05-08 cs.AI cs.CL
Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease
Stevens Institute of Technology（史蒂文斯理工学院）
在这项工作中，我们提出了三种可解释的深度学习架构，根据语言能力自动检测阿尔茨海默病患者。架构用途：（1）仅词性特征;（2）仅语言嵌入特征;以及（3）这两个特征类经由统一架构。我们使用自注意力机制和可解释的一维卷积神经网络（CNN）来产生两种类型的解释模型的行动：类内解释和类间解释。类间解释捕获该类中每个不同特征的相对重要性，而类间解释捕获类之间的相对重要性。请注意，尽管我们在本文中考虑了两类功能，但由于其模块化，该架构可以轻松扩展到更多类。大量的实验和与最近几个模型的比较表明，我们的方法优于这些方法，在DementiaBank数据集上的准确率为92.2%，F1得分为0.952，同时能够生成解释。我们通过例子展示了如何使用注意力值来生成这些解释。
2021-01-08 cs.CL cs.LG
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research（三星研究院）；SRI International（斯坦福国际研究院）
在本文中，我们提出了一种新的方法，可解释的问答（XQA）的任务，即，生成针对所述视觉问答（VQA）问题的自然语言（NL）解释。我们使用两个信息源生成NL解释，该解释包括支持对图像提出的问题的答案的证据：（a）图像中实体的注释（例如，对象标签、区域描述、关系短语），以及（b）由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体，仔细选择使用语言模型，可以给出合理的文字解释，而不需要任何额外的收集数据（解释说明等）。我们在Visual Genome（VG）数据集上运行我们的算法，并进行内部用户研究，以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示，展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Supervising Model Attention with Human Explanations for Robust Natural Language Inference
Imperial College London（帝国理工学院）；Technion – Israel Institute of Technology（以色列理工学院）
众所周知，自然语言推理（NLI）模型可以从其训练数据中的偏差和伪影中学习，从而影响它们对其他不可见数据集的泛化能力。现有的去偏置方法集中在防止模型学习这些偏置，这可能导致限制性模型和较低的性能。相反，我们研究如何教模型人类将接近NLI任务，以学习功能，将更好地推广到以前看不见的例子。使用自然语言解释，我们监督模型的注意力权重，以鼓励更多的注意力集中在解释中出现的单词，显着提高模型的性能。我们的实验表明，这种方法的分布内改进也伴随着分布外改进，监督模型从更好地推广到其他NLI数据集的特征中学习。对模型的分析表明，人类的解释鼓励增加对重要词的关注，更多地关注前提词，而较少关注标点符号和停止词。
2022-05-01 cs.CL cs.LG
A Study of the Plausibility of Attention between RNN Encoders in Natural Language Inference
IRISA（IRISA（法国国家信息与自动化研究所联合的科研机构））；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）
本研究初步评估自然语言推理中RNN编码器间注意力图的合理性，发现启发式标注与人类标注相关，但原始注意力权重与合理解释关联松散。
2025-01-23 cs.CL
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在NLP社区中，关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中，我们（i）在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性，以及（ii）将这种分析扩展到也包括基于transformer的模型。我们发现，基于注意力的解释并不强烈相关的任何最近的特征归因方法，无论模型或任务。此外，我们发现，没有一个测试的解释强烈相关，彼此为transformer为基础的模型，导致我们质疑的基本假设，我们应该衡量基于注意力的解释的有效性的基础上，以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后，我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法，并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Learning to Deceive with Attention-Based Explanations
Carnegie Mellon University（卡内基梅隆大学）；Twitter（推特）
注意力机制是应用于自然语言处理的神经结构中普遍存在的组件。除了在预测准确性方面获得收益外，注意力权重通常被认为具有可解释性，据称对于为从业者提供见解以及解释模型为何向利益相关者做出决策都很有用。我们呼吁后者使用的注意力机制的问题，展示了一个简单的方法，训练模型，以产生欺骗性的注意力面具。我们的方法减少了分配给指定的不允许令牌的总权重，即使模型可以被证明仍然依赖于这些特征来驱动预测。在多个模型和任务中，我们的方法可以操纵注意力权重，同时在准确性方面付出的代价非常小。通过一项人类研究，我们表明，我们操纵的基于注意力的解释欺骗人们认为，对性别少数群体有偏见的模型的预测不依赖于性别。因此，我们的研究结果怀疑注意力的可靠性作为审计算法的工具，在公平性和问责制的背景下。
2020-04-06 cs.CL cs.LG
The Explanation Game: Towards Prediction Explainability through Sparse Communication
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）；LUMLIS (Lisbon ELLIS Unit)（里斯本ELLIS单元（LUMLIS））；Unbabel（Unbabel（公司名））；Instituto Superior Técnico & Unbabel（里斯本高等理工学院和Unbabel）
可解释性是NLP中越来越重要的主题。在这项工作中，我们提供了一个统一的角度来解释作为一个解释者和外行之间的沟通问题分类的决定。我们使用这个框架来比较几种先前的方法提取解释，包括梯度方法，代表擦除，和注意力机制，在他们的沟通成功。此外，我们重新解释这些方法在经典的特征选择的光，我们以此为灵感，提出新的嵌入式方法的可解释性，通过使用选择性，稀疏注意。在文本分类，自然语言蕴涵，和机器翻译，使用不同的配置的解释者和外行（包括机器和人类）的实验，揭示了基于注意力的解释梯度和擦除方法的优势。此外，人类评估实验显示出有希望的结果与事后解释训练，以优化沟通的成功和忠诚。
2020-10-12 cs.CL
Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Oslo（奥斯陆大学）
本文分析了图像描述模型的预测与注意力机制超出可视化的注意本身。我们开发了分层相关传播（LRP）和基于梯度的解释方法的变体，适合于具有注意力机制的图像描述模型。我们系统地比较了注意力热图的可解释性与LRP，Grad-CAM和Guided Grad-CAM等解释方法提供的解释。我们表明，解释方法提供同时像素的图像解释（支持和反对像素的输入图像）和语言的解释（支持和反对的话的前一个序列）的预测字幕中的每个字。我们通过大量的实验证明，解释方法1）可以揭示模型用于做出决策的额外证据; 2）与高精度的对象位置相关; 3）有助于“调试”模型，例如通过分析幻觉对象词的原因。结合观察到的解释属性，我们进一步设计了一种LRP推理微调策略，该策略在保证句子流畅性的同时，减少了图像描述模型中的对象幻觉问题。我们进行实验，两个广泛使用的注意力机制：自适应注意力机制计算的加法注意力和多头注意力机制计算的缩放点积。
2021-08-01 cs.CL cs.CV cs.LG
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布，这被广泛认为是特征重要性指标。然而，在本文中，我们发现一个关键的限制，注意力的解释：在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反，它们会施加抑制效应。有了这一发现，我们反映了目前的注意力为基础的技术，如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先，我们提出了一个可行的诊断方法（以下简称忠实违反测试）来衡量解释权重和影响极性之间的一致性。通过大量的实验，我们发现，大多数测试的解释方法出乎意料地阻碍了忠实违反问题，特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
Fine-grained Sentiment Analysis with Faithful Attention
Columbia University（哥伦比亚大学）
虽然文本情感分类的一般任务已经被广泛研究，但很少有研究专门关注指定源和目标之间的情感。为了解决这个问题，我们尝试了一个最先进的关系抽取模型。令人惊讶的是，我们发现，尽管有合理的表现，模型的注意力往往是系统性的不一致的话，有助于情绪。因此，我们直接用人类的理性来训练模型的注意力，并在我们定义的所有任务上将我们的模型性能提高了4~8个点。我们还使用新颖直观的指标对模型的注意力进行了严格的分析，包括训练和未训练的注意力。我们的研究结果表明，未经训练的注意力不提供忠实的解释，然而，经过训练的注意力与简明注释的人类理性不仅提高性能，而且带来忠实的解释。令人鼓舞的是，少量注释的人类原理足以纠正我们任务中的注意力。
2019-08-19 cs.CL
Explainable Statute Prediction via Attention-based Model and LLM Prompting
TCS Research（TCS研究）
本文提出基于注意力模型和大语言模型提示的法规预测方法，通过生成可解释的预测结果提升法律AI系统的实用性。
2025-12-26 cs.CL
Revisiting Attention Weights as Explanations from an Information Theoretic Perspective
Infinity Lab（无限实验室）；Stevens Institute of Technology（史蒂文斯理工学院）
注意力机制最近在一系列NLP任务上表现出令人印象深刻的性能，注意力分数通常用作模型可解释性的代理。然而，关于注意力权重实际上是否可以用来确定模型中最重要的输入，存在争议。我们从信息论的角度来处理这个问题，通过测量模型输出和隐藏状态之间的互信息。通过大量的实验，我们得出以下结论：（i）加法和深度注意力机制可能更好地保留隐藏状态和模型输出之间的信息（ii）消融研究表明，加法注意可以主动学习解释其输入的隐藏表征的重要性;（iii）当注意力值几乎相同时，注意力值的排序与互信息的排序不一致（iv）使用温度低于1的Gumbel-Softmax，与softmax相比，往往会产生更偏斜的注意力分数分布，因此是可解释设计的更好选择;（v）某些构建块在保持互信息的有序列表和注意力权重顺序之间的相关性方面更好（例如，BiLSTM编码器和Additive attention的组合）。我们的研究结果表明，当注意力机制与其他模型元素仔细结合时，它确实有潜力成为模型解释的捷径。
2022-10-31 cs.AI cs.CL cs.LG
Corpus-level and Concept-based Explanations for Interpretable Document Classification
Virginia Tech（弗吉尼亚理工大学）
使用注意力权重来识别对模型决策重要的信息是解释基于注意力的神经网络的一种流行方法。在实践中，这通常通过基于注意力权重为每个文档生成热图来实现。但这种解释方法是脆弱的，并且容易发现矛盾的例子。在本文中，我们提出了一个语料库级的解释方法，其目的是捕捉关键字和模型预测之间的因果关系，通过学习关键字的重要性，预测标签在训练语料库的基础上的注意力权重。基于这一思想，我们进一步提出了一种基于概念的解释方法，可以自动学习更高级别的概念及其重要性，以建模预测任务。我们的基于概念的解释方法建立在一个新的抽象聚合网络，它可以在端到端的训练过程中自动聚类重要的关键字。我们将这些方法应用于文档分类任务，并表明它们在提取语义上有意义的关键字和概念方面是强大的。我们基于基于注意力的朴素贝叶斯分类器的一致性分析结果也证明了这些关键词和概念对模型预测的重要性。
2021-05-31 cs.CL cs.IR cs.LG
Cross-Attention is Half Explanation in Speech-to-Text Models
Fondazione Bruno Kessler（布鲁诺·科塞勒基金会）
通过对比交叉注意力分数与输入显著性图，发现交叉注意力仅捕捉约50%的输入相关性，最多解释52-75%的显著性，表明其作为解释代理存在根本局限性。
2026-06-23 cs.AI cs.CL cs.SD
Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
本文提出一种基于因果机制的LLM解释方法，通过识别因果重要的注意力头并生成自然语言解释，提高了模型解释的准确性和全面性。
2026-02-13 cs.AI cs.CL
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features
Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
提出忠实注意力解释器（FAE），利用注意力模块从视觉特征生成文本解释，并学习特征-词语关联以增强解释，在CUB和ACT-X数据集上表现良好，并能解释人类注视注意力，促进人机交互。
2024-05-27 cs.AI cs.CL cs.CV
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）
用知识图谱（KG）增强预训练的语言模型在各种常识推理任务上取得了成功。然而，对于给定的任务实例，KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件，但KG仍然总是被使用，并且注意力机制从未被明确教导应该使用哪些KG组件。同时，显著性方法可以测量KG特征（例如，图形、节点、路径）影响模型做出正确的预测，从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先，我们建议创建粗糙（KG有用吗？）和精细（KG中的哪些节点/路径有用？）显着性解释。其次，为了激励基于显着性的监督，我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三，我们提出了SalKG，KG增强模型的框架，从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释，SalKG联合训练模型来预测解释，然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试（CSQA，OBQA，CODAH）和一系列KG增强模型上，我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
Extractive Adversarial Networks: High-Recall Explanations for Identifying Personal Attacks in Social Media Posts
University of Michigan（密歇根大学）
我们介绍了一种对抗性方法，用于产生神经文本分类器决策的高召回解释。基于现有的通过硬注意力进行提取解释的架构，我们添加了一个对抗层，该层扫描剩余的注意力以获得剩余的预测信号。出于在社交媒体评论中检测人身攻击的重要领域的动机，我们还证明了通过显式操纵其偏差项来手动设置模型的语义适当的“默认”行为的重要性。我们开发了一个验证集的人类注释的人身攻击，以评估这些变化的影响。
2018-10-19 cs.CL cs.IR cs.LG
User Perception of Attention Visualizations: Effects on Interpretability Across Evidence-Based Medical Documents
CENIA – Centro Nacional de Inteligencia Artificial（CENIA – 国家人工智能中心）；Pontificia Universidad Católica de Chile（天主教大学）；University of Pittsburgh（匹兹堡大学）；KU Leuven（根特大学）
该研究通过医学专家评估注意力可视化在生物医学文档分类中的作用，发现尽管Transformer模型（XLNet）分类准确，但注意力权重的解释有用性受可视化方式影响，用户更偏好直观的格式。
2025-08-05 cs.AI cs.CL cs.HC
Order in the Court: Explainable AI Methods Prone to Disagreement
University of Amsterdam（阿姆斯特丹大学）
通过计算注意力权重和特征添加剂解释方法之间的等级相关性，以前的分析要么无效，要么支持基于注意力的解释作为一个忠实的和可信的显着性测量的作用。为了研究这种方法是否合适，我们比较了LIME、集成的解释、DeepLIFT、Grad-SHAP、Deep-SHAP和基于注意力的解释，这些解释应用于在单序列和成对序列语言任务上训练的两种神经架构。在大多数情况下，我们发现我们选择的方法都不一致。基于我们的经验观察和理论异议，我们得出结论，秩相关性不衡量质量的特征添加剂的方法。从业者应该使用社区提出的众多严格的诊断方法。
2021-07-06 cs.CL cs.LG
SEAT: Stable and Explainable Attention
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lehigh University（理海大学）；University of Georgia（佐治亚大学）；Iowa State University（爱荷华州立大学）；Computational Bioscience Research Center（计算生物科学研究中心）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence（沙特数据与人工智能局-阿卜杜拉国王科技大学数据科学与人工智能卓越中心）
目前，注意力机制成为大多数最先进的自然语言处理（NLP）模型中的标准装置，这不仅是因为它可以获得出色的性能，而且还因为它提供的神经结构行为的合理的内在解释，这是众所周知的难以分析。然而，最近的研究表明，注意力在训练或测试过程中的随机性和扰动（如随机种子和嵌入向量的轻微扰动）是不稳定的，这阻碍了它成为一个忠实的解释工具。因此，一个自然的问题是，我们是否可以找到一些替代品，目前的注意，这是更稳定的，可以保持最重要的特点，解释和预测的注意。在本文中，为了解决这个问题，我们提供了第一个严格的定义，这种替代，即稳定和可解释的注意力（SEAT）。具体地说，SEAT应该具有以下三个属性：（1）它的预测分布被强制接近基于普通注意力的分布;（2）它的top-k指数与普通注意力的top-k指数有很大的重叠;（3）它对扰动是鲁棒的，即，对SEAT的任何微小扰动都不会使预测分布发生太大变化，这隐含地表明它对随机性和扰动是稳定的。最后，通过对各种数据集的深入实验，我们通过六种不同的模型解释、稳定性和准确性评估指标，将我们的SEAT与使用RNN、BiLSTM和BERT架构的其他基线方法进行了比较。结果表明，SEAT模型在保持注意可解释性的同时，对不同的扰动和随机性具有更高的稳定性，是一种更可靠的解释。此外，与普通注意力相比，SEAT几乎没有效用（准确性）下降。
2022-11-23 cs.AI cs.CL cs.LG
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（脸书人工智能研究院）
在许多情况下，既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的，提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法，并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务，并提出了一个新的模型，可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量地表明，使用文本解释进行训练不仅可以产生更好的文本证明模型，而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况，反之亦然，支持我们的论点，即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
Saliency Learning: Teaching the Model Where to Pay Attention
Oregon State University（俄勒冈州立大学）
深度学习已经成为许多NLP任务的引人注目的解决方案，具有显着的性能。然而，由于其不透明性，这些模型很难解释和信任。最近解释深度模型的工作引入了一些方法来提供对模型行为和预测的见解，这有助于评估模型预测的可靠性。然而，这种方法并没有提高模型的可靠性。在本文中，我们的目标是通过提供解释训练并确保模型的解释与地面真理解释的一致性，来教模型为正确的原因做出正确的预测。我们在多个任务和数据集上的实验结果证明了所提出的方法的有效性，与传统训练模型相比，该方法可以产生更可靠的预测，同时提供更好的结果。
2019-04-04 cs.AI cs.CL cs.LG
Attention Meets Post-hoc Interpretability: A Mathematical Perspective
Universit\'e C\ ote d'Azur, Inria, CNRS
针对注意力权重能否作为模型解释的争论，本文从数学上分析简单注意力架构，比较事后解释与注意力解释，证明事后方法虽有局限，却能提供更有用的内部行为洞见。
2024-06-17 cs.CL cs.LG stat.ML
Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns
University of North Texas（北卡罗来纳州立大学）
ExpNet通过学习Transformer注意力模式到标记重要性分数的映射，提供了一种轻量级的可解释AI方法，能够自动发现最佳注意力特征组合。
2026-01-21 cs.CL cs.LG
Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）
针对传统线性或加性代理模型与 Transformer 结构不兼容的问题，本文提出 SLALOM 代理模型，以更低成本或更高保真度实现特征归因解释并开源代码。
2025-01-09 cs.AI cs.CL cs.LG
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH（iteratec有限公司）；LMU Munich（慕尼黑大学）
机器学习（ML）模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中，我们解决了基于ML的问答（QA）模型的知识库（KB）和文本文档的组合的可解释性。我们采用LIME和输入扰动（IP）等事后解释方法，并将其与模型的自解释注意力机制进行比较。为此，我们提出了一个自动评估范例的解释方法的背景下，QA。我们还与人类注释者进行了一项研究，以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明，IP提供了更好的解释比石灰或注意，根据自动和人类的评价。我们在两个实验中获得了相同的方法排名，这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
National Cheng Kung University（国立成功大学）
本文解决了社交媒体上更真实场景下的假新闻检测问题。给定源短文本推文和相应的无文本评论的转推用户序列，我们的目标是预测源推文是否是假的，并通过突出可疑转推者及其关注的词的证据来产生解释。我们开发了一种新的神经网络为基础的模型，图形感知的协同注意力网络（GCAN），以实现这一目标。在真实的tweet数据集上进行的大量实验表明，GCAN的平均准确率可以显著超过最先进的方法16%。此外，案例研究也表明，GCAN可以产生合理的解释。
2020-04-24 cs.CL cs.LG stat.ML
Graph-based Extractive Explainer for Recommendations
University of Virginia（弗吉尼亚大学）
推荐系统中的提示帮助用户在一组推荐项目中做出明智的决定。大量的研究关注于生成自然语言解释来描述推荐是如何生成的以及为什么用户应该关注它们。然而，由于这些解决方案的不同限制，例如，无论是基于模板还是基于生成，都很难同时使解释易于感知、可靠和个性化。在这项工作中，我们开发了一个图形注意神经网络模型，无缝集成用户，项目，属性和句子提取为基础的解释。选择项目的属性作为中介，以促进消息传递，用于句子相关性的用户项目特定评估。为了平衡单个句子的相关性，整体属性覆盖率和内容冗余度，我们解决了一个整数线性规划问题，使句子的最终选择。针对两个基准审查数据集上的一组最先进的基线方法进行了广泛的实证评估，证明了所提出的解决方案的生成质量。
2022-02-20 cs.AI cs.CL cs.IR
WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions
UMBC（马里兰大学巴尔的摩县分校）；Booz Allen Hamilton（博兹·艾伦·汉密尔顿公司）；USC（南加州大学）
本文提出 WellDunn 评估框架，利用 MultiWD 与 WellXplain 检验语言模型识别健康维度的鲁棒性和注意力解释一致性，发现主流 LLM 表现不及 RoBERTa 且解释对齐极低。
2024-10-07 cs.AI cs.CL
Interpretable AI for Time-Series: Multi-Model Heatmap Fusion with Global Attention and NLP-Generated Explanations
Department of Electrical and Computer Engineering, Iowa State University, Ames, 50011 IA USA（电气与计算机工程系，爱荷华州立大学）；Department of Agricultural Biosystem Engineering, Iowa State University, Ames,IA 50011 USA（农业生物系统工程系，爱荷华州立大学）
本文提出融合ResNet热图与二维Transformer注意力并引入全局加权显著性的可解释AI框架，解决时空错位问题，在医疗和工业数据集上显著优于基线模型，并通过自然语言生成领域化解释。
2025-06-30 cs.AI cs.CL cs.LG
Does It Make Sense? And Why? A Pilot Study for Sense Making and Explanation
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Xidian University（西安电子科技大学）
将常识引入自然语言理解系统已经受到越来越多的研究关注。如何评价一个系统是否具有意义生成能力是一个基本问题。现有的基准间接衡量常识，没有解释。在本文中，我们发布了一个基准测试，以直接测试系统是否可以区分有意义的自然语言语句和没有意义的语句。此外，系统还被要求识别一个语句没有意义的最关键原因。我们评估了在大规模语言建模任务中训练的模型以及人类的表现，表明系统意义的形成存在不同的挑战。
2020-04-24 cs.AI cs.CL
