Adaptive Arena-based Contestable Argumentative Network-of-Experts for Open-Ended Care Plan Coordination
University of New Brunswick（新不伦瑞克大学）；National Research Council Canada（加拿大国家研究委员会）
针对开放式护理计划协调中单一LLM流程的不足，提出多Agent神经符号框架CANOE，经医学微调模型在相关数据集上表现出强临床正确性，且CANOE具备可解释性与人类可争议性。
2026-08-07 cs.AI cs.MA
Neurosymbolic Learning for Inference-Time Argumentation
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
本文提出了一种用于三元主张验证的可训练神经符号框架，通过在训练和推理过程中结合形式论证语义来指导大语言模型生成论证并分配基础分数，从而提高三元预测的准确性。
2026-06-09 cs.AI
Explainable Decision Making with Lean and Argumentative Explanations
Nanyang Technological University（南洋理工大学）；Imperial College London（伦敦帝国理工学院）
人们普遍认为，自动化决策的透明度对于智能系统的可部署性至关重要，解释为什么有些决策是“好”的，而有些则不是，是实现这种透明度的一种方法。我们考虑决策的两种变体，其中“好”的决策相当于（i）满足“大多数”目标的替代方案，以及（ii）满足“最优选”目标。然后，我们定义，对于每个变量和概念的“善良”（与文献中的一些现有概念相对应），以两种格式解释，为具有不同需求和能力的受众选择替代方案的理由：精益的解释，在满足的目标方面，对于一些“善良”的概念，替代性的决定，和论证性的解释，反映导致选择的决策过程，同时对应于精益解释。为了定义论证性解释，我们使用基于推理的论证（ABA），一种众所周知的结构化论证形式。具体来说，我们定义ABA框架，使“好”的决定是可受理的ABA参数，并从争议树制裁这种可受理性的争论性解释。最后，我们实例化我们的整体框架，可解释的决策，以适应目标和决策之间的连接，决策图纳入废止和非废止信息。
2022-01-24 cs.AI
Deep Arguing
Department of Computing（计算系）；Imperial College London（帝国理工学院伦敦校区）
本文提出深度辩论方法，结合深度学习与辩论构建与推理，实现多模态数据的可解释分类。通过端到端训练学习特征表示和辩论交互，提升可解释性和预测性能。
2026-05-11 cs.AI
Argumentative XAI: A Survey
Ericsson Research（爱立信研究院）；Imperial College London（帝国理工学院）；Università degli Studi di Brescia（布雷西亚大学）
可解释人工智能（XAI）已经研究了几十年，近年来与人工智能本身一起见证了前所未有的增长。在XAI的各种方法中，论证模型在AI和社会科学文献中都得到了提倡，因为它们的辩证性质似乎与解释活动的一些基本理想特征相匹配。在本调查中，我们概述了XAI方法，这些方法使用计算论证领域的方法构建，利用其广泛的推理抽象和解释交付方法。我们概述了文献集中在不同类型的解释（内在的和事后的），不同的模型，基于论证的解释部署，不同形式的交付，以及他们使用的不同的论证框架。我们还为未来的工作制定了路线图。
2021-05-24 cs.AI
Answering the "why" in Answer Set Programming - A Survey of Explanation Approaches
Institut de Recherche en Informatique de Toulouse (IRIT)（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
人工智能（AI）解决问题和决策的方法变得越来越复杂，导致解决方案的可理解性降低。欧盟新的《通用数据保护条例》试图通过规定人工智能系统所做决定的“解释权”来解决这一问题。可能受到这一新规定影响的人工智能范例之一是答案集编程（ASP）。由于出现了高效的解决方案，ASP最近已被用于解决各种领域的问题，包括医学，密码学和生物学。为了确保成功应用ASP作为解决问题的范例在未来，ASP解决方案的解释是至关重要的。在这项调查中，我们给出了一个概述的方法，提供了一个答案的问题，为什么答案集是一个解决方案，一个给定的问题，特别是离线的理由，因果图，论证性的解释和为什么不出处，并强调他们的相似性和差异。此外，我们审查的方法解释为什么一组文字是不是一个答案集或为什么没有解决方案存在于所有。
2018-09-21 cs.AI
Adaptive Collaboration of Arena-Based Argumentative LLMs for Explainable and Contestable Legal Reasoning
ACAL通过自适应多智能体协作和 Arena 基础论证框架，提升法律推理的可解释性和可争议性，实验证明其在效率和透明度上的优势。
2026-02-21 cs.AI cs.MA cs.SC
Free Argumentative Exchanges for Explaining Image Classifiers
Imperial College London（帝国理工学院）
提出基于双智能体辩论的多智能体论证框架FAX，用于生成图像分类器的可解释输出，并通过共识度与说服率实验证明其更忠实有效。
2025-02-18 cs.AI
Argument Attribution Explanations in Quantitative Bipolar Argumentation Frameworks (Technical Report)
Imperial College London（帝国理工学院）；Cardiff University（卡迪夫大学）
本文提出论证归因解释（AAEs）理论，将机器学习特征归因思想引入定量双极论证框架，用于度量论证对目标主题论证的影响，并通过假新闻检测和电影推荐两个案例验证其适用性。
2023-08-04 cs.AI
A User Study Evaluating Argumentative Explanations in Diagnostic Decision Support
Bielefeld University（比勒菲尔德大学）；CITEC（CITEC研究中心）；Semantic Computing Group（语义计算组）；Bielefeld University, Medical School and University Medical Center OWL（比勒菲尔德大学医学院和OWL大学医学中心）；Mara Hospital, Department of Epileptology（马拉医院，癫痫科）；Ruhr-Epileptology, University Hospital Knappschaftskrankenhaus Bochum（鲁尔-癫痫学，博希姆大学医院Knappschaftskrankenhaus）；Ruhr-University（鲁尔大学）
本文通过医生问卷与访谈的用户研究，评估诊断决策支持中不同 AI 生成的论证性解释，以识别最有效、最有用且能促进信任的解释类型。
2025-05-15 cs.AI
Altruist: Argumentative Explanations through Local Interpretations of Predictive Models
可解释的人工智能是一个新兴领域，为获取对自动化系统原理的见解提供解决方案。它通过提出解决关键道德和社会问题的方法而被放在人工智能地图上。现有的解释技术往往是无法理解的最终用户。缺乏评价和选择标准也使最终用户难以选择最合适的技术。在这项研究中，我们结合逻辑为基础的论证与可解释的机器学习，介绍了一个初步的元解释方法，确定的真实部分的功能重要性为导向的解释。这种方法，除了被用作元解释技术，可以被用作多个特征重要性技术的评估或选择工具。实验强烈表明，多种解释技术的集成产生了更真实的解释。
2022-04-29 cs.AI cs.LG cs.LO
SpArX: Sparse Argumentative Explanations for Neural Networks [Technical Report]
Imperial College London（帝国理工学院）；Cardiff University（卡迪夫大学）
本文提出SpArX方法，利用多层感知机与量化论证框架的关系，通过稀疏化MLP并转换为等价QAF，生成全局或局部论证解释，以更忠实地揭示神经网络的决策机制与实际推理过程。
2023-07-31 cs.AI cs.LG stat.ML
Interactive Explanations by Conflict Resolution via Argumentative Exchanges
Imperial College London（帝国理工学院）
针对XAI领域现有研究多聚焦静态解释的问题，提出基于计算论辩的论辩式交流（AXs）框架，用于智能体间冲突解决，分析其理论特性并通过模拟实验验证不同智能体行为的冲突解决效果。
2023-06-09 cs.AI cs.MA
xDNN(ASP): Explanation Generation System for Deep Neural Networks powered by Answer Set Programming
New Mexico State University（新墨西哥州立大学）
xDNN(ASP)基于答案集编程为深度神经网络提供全局解释，通过提取逻辑程序实现模型的可解释性，并用于优化网络结构。
2026-01-07 cs.AI
Higher-order Logic as Lingua Franca -- Integrating Argumentative Discourse and Deep Logical Analysis
Freie Universität Berlin（柏林自由大学）
我们提出了一种方法，对深，多元化的逻辑分析的论证话语，受益于国家的最先进的自动推理技术的经典高阶逻辑的应用。由于它的表达性，这种逻辑可以采用统一的\textit{lingua franca}状态，允许对形式化的论点（它们的深层逻辑结构）和辩证的相互作用（它们的攻击和支持关系）进行编码。我们通过分析一个关于气候工程的争论的摘录来说明这一点。另一个，新颖的贡献涉及抽象的定义，语言理论基础的表征和评估浅语义嵌入（SSE）的非经典逻辑在经典高阶逻辑，这构成了我们的方法的基石。我们绘制的新视角，使更简洁，更优雅的描述逻辑和逻辑组合的语义嵌入，这是证明了几个例子。
2020-07-02 cs.AI cs.LO
CasiMedicos-Arg: A Medical Question Answering Dataset Annotated with Explanatory Argumentative Structures
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信息科学与信号处理实验室）；HiTZ Center - Ixa（HiTZ中心-Ixa团队）；University of the Basque Country UPV/EHU（巴斯克大学）
本研究提出首个多语言医学问答数据集CasiMedicos-Arg，标注了临床病例诊断解释的论证结构与关系，为论证挖掘任务提供基准，可辅助住院医生训练解释能力。
2024-10-08 cs.AI cs.CL
Object-Centric Neuro-Argumentative Learning
针对深度学习决策的安全性、可靠性与可解释性问题，提出融合基于假设的论证与深度学习的神经论证学习架构，结合以对象为中心的图像编码与ABA学习，在合成数据上达到与现有最优方案相当的性能。
2025-06-17 cs.AI cs.LG
WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays
Department of Informatics, King’s College London（伦敦国王学院信息学系）；Waseda University（早稻田大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Sheffield（谢菲尔德大学）；Hosei University（法政大学）
研究提出WrAFT这一用于议论文的模块化自动写作评估系统，通过模块化设计及评估多种大语言模型构建，在评分上达先进水平，人机评估反馈认可度高，且开发了公开免费的交互式用户界面。
2026-07-17 cs.AI cs.CL
ILLC: Iterative Layer-by-Layer Compression for Enhancing Structural Faithfulness in SpArX
Institute for Clarity in Documentation（文献 clarity 研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康校区）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；The Kumquat Consortium（金桔联盟）
针对论证式XAI中现有压缩方法因同时简化所有层导致高累积信息损失的问题，提出逐层迭代压缩技术ILLC，通过单独压缩每层并补偿下一层误差，提升了模型输入输出与结构忠实度，在保持MLP紧凑性的同时无失真传达内部推理逻辑。
2025-03-05 cs.AI
Twin Systems for DeepCBR: A Menagerie of Deep Learning and Case-Based Reasoning Pairings for Explanation and Data Augmentation
University College Dublin（都柏林大学）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
最近，有人提出，深度学习（DL）和基于案例的推理（CBR）之间可能存在富有成效的协同作用;通过将CBR思想应用于DL中的问题（可以称为DeepCBR），可以获得一些见解。在本文中，我们报告了一项研究计划，将CBR解决方案应用于DL中的可解释AI（XAI）问题。我们描述了一系列双系统配对的不透明DL模型与透明CBR模型，允许后者解释前者使用事实，反事实和半事实的解释策略。这种配对表明，DL的功能抽象（例如，特征权重、特征重要性和决策边界）可用于驱动这些解释性解决方案。我们还提出了这项研究也适用于DL中的数据增强问题的前景，强调了这些DeepCBR想法的多产性。
2021-06-13 cs.AI
REVEL Framework to measure Local Linear Explanations for black-box models: Deep Learning Image Classification case of study
University of Granada（格拉纳达大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
针对可解释人工智能中局部线性解释缺乏理论一致的量化评估方法的问题，本文提出REVEL评估流程，统一解释概念并构建多维度指标，在四个图像基准数据集上验证了其描述与分析能力。
2022-11-11 cs.AI
DeepA2: A Modular Framework for Deep Argument Analysis with Pretrained Neural Text2Text Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Allen Institute for AI（艾伦人工智能研究所）
在本文中，我们提出并实现了一个多维的模块化框架，用于使用当前预训练的语言模型（PTLM）执行深度参数分析（DeepA 2）。ArgumentAnalyst --一个在DeepA 2中建立和训练的T5模型（Raffel et al. 2020）--将推进非正式论证的论证文本重建为有效论证：它插入，例如，遗漏的前提和结论，形式化推理，并连贯地将逻辑重构与源文本联系起来。我们创建了一个用于深度论点分析的合成语料库，并在这个新数据集以及现有数据上评估ArgumentAnalyst，特别是EntailmentBank（Dalvi et al. 2021）。我们的实证研究结果证明了整体框架和突出的优势，模块化设计，特别是它的能力，以模仿既定的解释学（如解释循环），探索模型的不确定性，以应付多个正确的解决方案（欠确定），并利用高阶证据。
2022-07-01 cs.AI cs.CL
Embedding Deep Networks into Visual Explanations
Oregon State University（俄勒冈州立大学）；Tencent（腾讯）
在本文中，我们提出了一种新的解释神经网络（XNN）来解释深度网络所做的预测。XNN通过学习将深度网络层的高维激活向量非线性嵌入到低维解释空间中来工作，同时保持忠实性，即，原始的深度学习预测可以从我们的解释网络提取的几个概念中构建。然后，我们将这些概念可视化，让人类了解深层网络用于决策的高级概念。我们提出了一个算法称为稀疏重建自动编码器（SRAE）学习嵌入的解释空间。SRAE的目标是重建原始特征空间的一部分，同时保持忠实性。在SRAE中引入拉离项，使解释空间的基更加正交。一个可视化系统，然后介绍了人类的理解的解释空间中的功能。所提出的方法被应用于解释图像分类任务中的CNN模型。我们进行了一项人体研究，结果表明，该方法优于单一显着性图基线，并提高了人类在困难的分类任务上的表现。此外，几个新的指标被引入到定量评估的解释性能没有人的参与。
2020-12-11 cs.AI cs.CV
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University（澳大利亚国立大学）
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效，但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论：如果这两个程序在形式上是等价的，那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧？我们解决这个悖论，把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
How Good is your Explanation? Algorithmic Stability Measures to Assess the Quality of Explanations for Deep Neural Networks
Brown University（布朗大学）；Université de Toulouse（图卢兹大学）；IRT Saint-Exupery（圣埃克苏佩里技术研究所）
已经提出了过多的方法来解释神经网络达到决策的深度，但相对而言，很少有人努力确保这些方法产生的解释是客观相关的。虽然已经制定了几个值得信赖的解释理想的属性，客观的措施一直很难得到。在这里，我们提出了两个新的措施来评估解释借用算法的稳定性领域：平均泛化MeGe和相对一致性ReCo。我们在不同的网络架构、常见的可解释性方法和几个图像数据集上进行了广泛的实验，以证明所提出的措施的好处。与我们的相比，流行的保真度措施不足以保证可信的解释。最后，我们发现，1-Lipschitz网络产生的解释比常见的神经网络具有更高的MeGe和ReCo，同时达到相似的准确性。这表明，1-Lipschitz网络是一个相关的方向，预测更可解释和更值得信赖。
2021-11-09 cs.AI cs.LG
Faithful Explanations for Deep Graph Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究了图神经网络（GNNs）的忠实解释。首先，我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法，包括特征属性和子图解释。其次，我们的分析和实证结果表明，特征属性的方法不能捕捉边缘特征的非线性效应，而现有的子图解释方法是不忠实的。第三，我们介绍了\emph{k-hop Explanation with a Convolutional Core}（KEC），一种新的解释方法，可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后，我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
DeepFaith: A Domain-Free and Model-Agnostic Unified Framework for Highly Faithful Explanations
DeepFaith提出领域无关、模型无关的统一框架，通过统一保真度指标推导最优目标，结合多解释方法训练，单次前向传播生成高保真解释，在12个任务中超越基线。
2025-08-05 cs.AI cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre（伊克尔兰技术研究中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；Mondragon University（蒙德拉贡大学）
深度学习已经成为不同领域中非常有价值的工具，没有人怀疑这些模型的学习能力。然而，由于深度学习模型由于缺乏可解释性而经常被视为黑匣子，因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡，可解释人工智能（XAI）近年来越来越受欢迎，该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题，这在需要实时反馈时是不可行的。为了加快这个过程，一些方法利用自动编码器来生成即时的反事实解释。最近，提出了一种称为深度引导反事实解释（DGCEx）的方法，该方法训练了一个连接到分类模型的自动编码器，以生成简单的反事实解释。然而，该方法不能确保生成的反事实实例接近数据流形，因此可能生成不切实际的反事实实例。为了克服这个问题，本文提出了分布式感知深度引导反事实推理（DA-DGCEx），它在DGCEx成本函数中添加了一个项，该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
Counterfactual Explanations for Deep Learning-Based Traffic Forecasting
ETH Zurich（苏黎世联邦理工学院）；WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）
本研究提出了一种基于反事实解释的框架，用于提升深度学习交通预测模型的可解释性，通过场景驱动的约束生成定制化解释，以揭示模型学习的交通模式。
2024-05-01 cs.AI cs.LG
XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Southampton（南安普顿大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Johns Hopkins University（约翰霍普金斯大学）
针对语音深度伪造检测缺乏可解释性的问题，提出一种免训练框架，融合XAI证据与多模态大语言模型，生成基于证据的特定解释，在PartialSpoof数据集上内部准确率提升超45%。
2026-06-16 cs.AI cs.CL
Local-to-Global Logical Explanations for Deep Vision Models
Oregon State University（俄勒冈州立大学）；Intel Labs（英特尔实验室）
本文提出了一种基于逻辑公式的方法，用于生成深度视觉模型的局部和全局解释，以提高模型的可解释性和透明度。
2026-01-19 cs.AI cs.CV
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology（华南理工大学）
GCFX通过生成模型级反事实解释，提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Towards Faithful Knowledge Graph Explanation Through Deep Alignment in Commonsense Question Answering
针对常识问答中知识图谱解释不忠实的问题，提出LM-KG保真度指标和LKDA对齐算法，在CommonsenseQA和OpenBookQA上显著提升解释保真度与模型性能。
2024-09-20 cs.AI cs.CL
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
反事实的解释，处理“为什么不呢？“场景，可以为AI代理的行为提供有见地的解释。在这项工作中，我们专注于为在Atari等视觉输入环境中运行的深度强化学习（RL）代理生成反事实解释。我们介绍了反事实状态解释，这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说，反事实状态说明了Atari游戏图像需要什么样的最小变化，以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查，如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人，我们比较与基线方法的基础上最近的邻居解释，使用图像从实际的游戏。我们的研究结果表明，反事实状态的解释有足够的保真度，以实际的游戏图像，使非专家更有效地确定一个有缺陷的RL代理相比，最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Deep Descriptive Clustering
University of California, Davis（加州大学戴维斯分校）
最近的工作可解释的聚类允许描述集群时的功能是可解释的。然而，许多现代机器学习都集中在复杂的数据上，如图像、文本和图形，其中使用了深度学习，但数据的原始特征是不可解释的。本文探讨了一种新的设置复杂的数据进行聚类，同时使用可解释的标签生成解释。我们提出了深度描述性聚类，在复杂数据上执行子符号表示学习，同时基于符号数据生成解释。通过最大化输入数据的经验分布与聚类目标的诱导聚类标签之间的互信息，形成良好的聚类。我们通过求解一个整数线性规划来生成解释，该规划为每个聚类生成简洁和正交的描述。最后，我们允许的解释，通知更好的聚类提出了一种新的成对损失与自我生成的约束，以最大限度地提高聚类和解释模块的一致性。在公开数据上的实验结果表明，我们的模型在聚类性能上优于竞争基线，同时提供高质量的聚类级解释。
2021-05-24 cs.AI cs.LG
A Survey on Understanding, Visualizations, and Explanation of Deep Neural Networks
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
机器学习和信号处理领域的最新进展已经导致对深度神经网络（DNN）的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在控制系统和医疗应用中），理解、信任并用一个词“解释”深层模型决策背后的论点是至关重要的。在许多应用中，人工神经网络（包括DNN）被认为是黑箱系统，其不能提供关于其内部处理动作的足够线索。尽管最近已经开始了一些努力来解释深度网络的行为和决策，但可解释的人工智能（XAI）领域，其目的是推理DNN的行为和决策，仍处于起步阶段。本文的目的是全面概述DNN内部和整体行为的理解，可视化和解释。
2021-02-02 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Shapley Explanation Networks
Purdue University（普渡大学）
Shapley值已成为最流行的特征属性解释方法之一。然而，大多数先前的工作都集中在事后Shapley解释上，由于其指数时间复杂度，这可能在计算上要求很高，并且在训练期间排除了基于Shapley解释的模型正则化。因此，我们建议将Shapley值本身作为深层模型中的潜在表示，从而使Shapley解释成为建模范式中的一等公民。这种内在解释方法可以实现分层解释，在训练期间对模型进行解释正则化，并在测试时进行快速解释计算。我们定义了Shapley变换，它将输入转换为给定特定函数的Shapley表示。我们将Shapley变换作为一个神经网络模块进行操作，并通过组合Shapley模块来构建浅层和深层网络，称为ShapNets。我们证明了我们的Shallow ShapNets计算精确的Shapley值，而我们的Deep ShapNets保持了Shapley值的缺失和准确性。我们在合成和真实世界的数据集上证明，我们的ShapNet能够实现分层Shapley解释，训练期间的新颖Shapley正则化，以及快速计算，同时保持合理的性能。代码可在https://github.com/inouye-lab/ShapleyExplanationNetworks上获得。
2021-04-06 cs.AI cs.LG
Generating Plausible Counterfactual Explanations for Deep Transformers in Financial Text Classification
Insight Centre ,University College Dublin（都柏林大学洞察中心）；University of Wollongong（卧龙岗大学）；The Hong Kong University of Science and Technology（香港科技大学）
企业并购（M&A）每年在全球范围内占数十亿美元的投资，并为人工智能提供了一个有趣且具有挑战性的领域。然而，在这些高度敏感的领域，不仅要有一个高度鲁棒和准确的模型，而且要能够生成有用的解释，以获得用户对自动化系统的信任，这一点至关重要。令人遗憾的是，最近关于金融文本分类中的可解释AI（XAI）的研究几乎没有受到关注，并且许多当前用于生成基于文本的解释的方法导致非常不可信的解释，这损害了用户对系统的信任。为了解决这些问题，本文提出了一种新的方法，用于产生合理的反事实解释，同时探索在金融科技领域对语言模型进行对抗性训练的正则化好处。详尽的定量实验表明，这种方法不仅提高了模型的准确性相比，目前的最先进的和人类的表现，但它也产生反事实的解释，这是显着更合理的基础上，人体试验。
2020-10-23 cs.AI cs.CL
Automated Natural Language Explanation of Deep Visual Neurons with Large Models
Iowa State University（爱荷华州立大学）；University of Georgia（佐治亚大学）
本文提出一种无需人工干预、基于大型基础模型的事后框架，自动生成深度视觉神经元的语义解释，兼容多种架构与数据集，并通过定性与定量实验验证其有效性。
2023-10-16 cs.AI cs.CV
MorphoSHAP: Rethinking the Unit of Attribution in Explanation for Deep Visual Models
AMIAD, Pôle Recherche, Palaiseau（AMIAD，研究部，帕莱索）
MorphoSHAP利用形态学形状作为Shapley归因单元，提供空间、文本和全局类级解释，在多个基准上优于现有方法，并通过用户研究验证其易用性。
2026-09-23 cs.AI cs.CV
Obtaining Example-Based Explanations from Deep Neural Networks
KTH Royal Institute of Technology（皇家理工学院）；École Polytechnique（巴黎综合理工学院）
提出EBE-DNN方法，利用深度神经网络嵌入和k近邻分类器生成示例归因，实现用少量训练示例解释预测，且不降低准确性，并发现嵌入层选择对准确性影响显著。
2025-02-27 cs.AI cs.LG
On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（数据分析洞察中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
人们越来越担心，人工智能领域最近取得的进展，特别是关于深度学习模型的预测能力，将因未能正确解释其操作和输出而受到破坏。为了应对这种不安，反事实解释在可解释人工智能（XAI）中变得非常流行，因为它们提出了计算心理和法律上的好处。然而，相比之下，半事实，这是一个类似的方式，人类通常解释他们的推理，令人惊讶的是没有得到关注。大多数反事实方法处理的是表格数据而不是图像数据，部分原因是后者的非离散性使得很难定义好的反事实。此外，生成躺在数据流形上的看似合理的解释是阻碍进展的另一个问题。本文提出了一种新的方法来产生合理的反事实（和半事实）的黑盒CNN分类器做计算机视觉。目前的方法，称为PlausIble基于异常的对比解释（PIECE），修改测试图像中的所有异常特征，使其从反事实类的角度来看是正常的（因此具体定义了反事实）。两个对照实验比较这种方法与文献中的其他方法，表明PIECE不仅在几个措施上产生最合理的反事实，而且还产生最好的半事实。
2020-09-10 cs.AI cs.LG
DeepXplain: XAI-Guided Autonomous Defense Against Multi-Stage APT Campaigns
本文提出DeepXplain框架，通过整合溯源图学习和统一XAI流程，提升APT防御的可解释性和有效性，实验显示F1分数和成功率显著提升。
2026-03-25 cs.AI cs.CR
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Hierarchical Symbolic Reasoning in Hyperbolic Space for Deep Discriminative Models
Imperial College London（帝国理工学院）
\emph{black-box}模型的解释帮助我们理解模型决策，并提供有关模型偏差和不一致性的信息。目前大多数的可解释性技术提供了一个单一的层次的解释，往往在输入空间中的特征重要性得分或特征注意力图。我们的重点是在\emph{multiple levels of abstraction}上解释深度判别模型，从细粒度到完全抽象的解释。我们通过使用\emph{hyperbolic geometry}的自然属性来更有效地建模符号特征的层次结构并生成\emph{hierarchical symbolic rules}作为我们解释的一部分来实现这一点。具体而言，对于任何给定的深度判别模型，我们通过使用矢量量化对连续潜在空间进行离散化来提取基础知识，以形成符号，然后通过\emph{hyperbolic reasoning block}来诱导\emph{abstraction tree}。我们遍历树中提取的符号规则和相应的视觉语义的解释。我们证明了我们的方法的有效性MNIST和AFHQ高分辨率的动物面孔数据集。我们的框架可以在\url{https://github.com/koriavinash1/SymbolicInterpretability}上找到。
2022-07-05 cs.AI cs.CV
Explanation Methods in Deep Learning: Users, Values, Concerns and Challenges
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（东德斯脑、认知与行为研究所）
关于可解释人工智能的问题涉及四个组成部分：用户，法律法规，解释和算法。这些组成部分共同提供了一个背景下，解释方法可以评估其充分性。本章的目标是弥合专家用户和外行用户之间的差距。识别不同类型的用户并揭示他们的关注点，在深度神经网络（DNN）的背景下分析通用数据保护法规的相关声明，介绍现有解释方法的分类，最后分析各类解释方法以验证用户关注点是否合理。总的来说，很明显，可以给出关于输入对输出的影响的各个方面的（视觉）解释。然而，值得注意的是，外行用户的解释方法或接口缺失，我们推测这些方法/接口应该满足哪些标准。最后，值得注意的是，解释方法很难解决两个重要的问题：对数据集中导致DNN有偏见的偏见的担忧，以及对不公平结果的怀疑。
2018-03-29 cs.AI cs.LG stat.ML
Influence-Directed Explanations for Deep Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
我们研究的问题，解释了丰富的一类行为性质的深度神经网络。与众不同的是，我们的影响导向解释通过在网络内部进行窥视来识别对感兴趣的数量和分布具有高度影响的神经元，使用公理化的影响度量，然后为这些神经元所代表的概念提供解释。我们通过在ImageNet上训练的卷积神经网络上展示其一些独特的功能来评估我们的方法。我们的评估表明，影响导向的解释（1）识别跨实例概括的有影响力的概念，（2）可用于提取网络学习到的关于类的“本质”，以及（3）隔离网络用于做出决策和区分相关类的个体特征。
2018-11-13 cs.AI cs.LG stat.ML
Training Deep Models to be Explained with Fewer Examples
NTT Communication Science Laboratories（NTT通信科学实验室）；Software Technology and Artificial Intelligence Research Laboratory（软件技术与人工智能研究实验室）；Chiba Institute of Technology（千叶工业大学）
虽然深度模型具有很高的预测性能，但人类很难理解它们所做的预测。可解释性对于现实世界的应用程序来说很重要，以证明其可靠性。已经提出了许多基于示例的解释方法，例如代表点选择，其中由一组训练示例定义的解释模型用于解释预测模型。为了提高解释性，减少解释模型中的示例数量是重要的。然而，具有较少实例的解释可能是不忠实的，因为很难通过这种基于实例的解释模型来很好地近似预测模型。不忠实解释是指可解释模型的预测结果与预测模型的预测结果不同。我们提出了一种训练深度模型的方法，使得它们的预测可以通过具有少量示例的解释模型来忠实地解释。我们训练的预测和解释模型，同时与稀疏正则化减少的例子。所提出的方法可以结合到任何神经网络为基础的预测模型。实验结果表明，该方法在保持预测性能的同时，提高了预测的可信度.
2021-12-07 cs.AI cs.LG stat.ML
Using KL-divergence to focus Deep Visual Explanation
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
我们提出了一种解释深度卷积神经网络的图像分类预测的方法，通过突出显示图像中影响最终类别预测的像素。我们的方法需要识别一个探试法，以选择假设是最相关的参数在这个预测，在这里，我们使用Kullback-Leibler分歧，以提供这个重点。总的来说，我们的方法有助于理解和解释深度网络预测，我们希望为理解深度学习网络奠定基础。在这篇简短的论文中，我们的实验评估了两种流行的网络在可解释性方面的性能。
2018-01-25 cs.AI cs.CV stat.ML
CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs
University of Cambridge（剑桥大学）
本文提出CGX分解式解释方法，利用对偶线性规划从DNN隐藏表示中提取规则，在保证稳定性与对齐性的同时将规则集缩小80%以上。
2023-04-11 cs.AI cs.LG
Causal Learning and Explanation of Deep Neural Networks via Autoencoded Activations
Charles River Analytics（查尔斯河分析公司）
深度神经网络复杂且不透明。当它们进入各种重要和安全关键领域的应用时，用户寻求解释其输出预测的方法。我们开发了一种通过在CNN中包含的突出概念上构建因果模型来解释深度神经网络的方法。我们开发了通过使用经过训练的自动编码器来提取目标网络中的突出概念的方法，以提取人类可理解的网络激活表示。然后，我们建立了一个基本的因果关系模型，使用这些提取的概念作为变量，以解释图像分类。最后，我们使用这个因果模型来识别和可视化对最终分类有显著因果影响的特征。
2018-02-02 cs.AI cs.LG stat.ML
Metrics for saliency map evaluation of deep learning explanation methods
Nantes Université（南特大学）；Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Nantes University Hospital（南特大学医院）；Inserm（法国国家健康与医学研究院）
由于深度学习模型的黑盒性质，最近开发了用于CNN视觉解释的解决方案。鉴于用户研究的高成本，度量标准是必要的，以比较和评估这些不同的方法。在本文中，我们批判性地分析了Petsiuk等人（2018）提出的曲线下删除面积（DAUC）和曲线下插入面积（IAUC）指标。这些指标旨在评估由Grad-CAM或RISE等通用方法生成的显着图的忠实性。首先，我们表明，显着性图给出的实际显着性分数值被忽略，因为只考虑分数的排名。这表明这些度量本身是不够的，因为显着图的视觉外观可以在不修改分数排名的情况下显著改变。其次，我们认为，在计算DAUC和IAUC时，模型呈现的图像超出了训练分布，这可能导致模型的不可靠行为。为了补充DAUC/IAUC，我们提出了新的度量标准，量化的稀疏性和校准的解释方法，两个以前未研究的属性。最后，我们给出了本文研究的指标，并讨论了如何在用户研究中评估它们。
2022-06-22 cs.AI cs.CV
Concept-Based Techniques for "Musicologist-friendly" Explanations in a Deep Music Classifier
Johannes Kepler University Linz（林茨约翰·开普勒大学）；Linz Institute of Technology（林茨理工学院）
用于解释应用于音乐数据的深度学习系统的当前方法提供了低级特征空间中的结果，例如，通过突出显示频谱图中潜在相关的时间-频率仓或钢琴卷中的时间-音高仓。这可能很难理解，特别是对于没有技术知识的音乐学家来说。为了解决这个问题，我们专注于基于高层次音乐概念的更人性化的解释。我们的研究目标是训练系统（事后解释），并探讨了两种方法：一种是监督的方法，用户可以定义一个音乐概念，并测试它是否与系统相关;一种是无监督的方法，自动选择包含相关概念的音乐摘录，并提供给用户进行解释。我们展示了现有的符号作曲家分类系统的技术，展示他们的潜力，并强调其内在的局限性。
2022-08-29 cs.AI cs.SD eess.AS
