On the Robustness of Most Probable Explanations
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在贝叶斯网络中，最可能的解释（MPE）是一个完整的变量实例，具有最高的概率给定的当前证据。在本文中，我们讨论的问题，找到单参数变化下的MPE的鲁棒性条件。具体来说，我们提出这样一个问题：在保持MPE不变的情况下，我们可以承受单个网络参数的多大变化？我们将描述一个过程，这是第一次，它在时间O（n exp（w））内计算贝叶斯网络变量中每个参数的答案，其中n是网络变量的数量，w是它的树宽。
2012-06-27 cs.AI
SoREX: Towards Self-Explainable Social Recommendation with Relevant Ego-Path Extraction
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院）；Beijing Key Laboratory of Research on Large Models（北京大模型研究关键实验室）；Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索工程研究中心）
SoREX通过引入自解释的GNN框架，利用相关自我路径提取提升社交推荐的预测准确性与解释能力。
2025-12-05 cs.AI cs.SI
Best-First AND/OR Search for Most Probable Explanations
本文评估了最佳优先搜索在与或搜索空间上解决贝叶斯网络中最可能解释（MPE）问题的能力。搜索空间的AND/OR表示的主要优点是它对问题结构的敏感性，这可以转化为显著的时间节省。近年来，深度优先AND/OR分支定界算法在探索这种搜索空间时被证明是非常有效的，特别是在使用缓存时。由于最佳优先策略被认为是优于深度优先时，内存的使用，探索最佳优先控制策略的要求。本文的主要贡献是表明，最近的扩展与/或搜索算法从深度优先分支定界最好的第一，确实是非常有效的计算贝叶斯网络中的MPE。我们实证证明了最佳优先搜索方法在各种概率网络上的优越性。
2012-06-20 cs.AI
DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems
Ryerson University（瑞尔森大学）
局部可解释模型不可知推理（LIME）是一种流行的技术，用于提高黑盒机器学习（ML）算法的可解释性和可解释性。LIME通常通过学习一个更简单的可解释模型（例如线性分类器）来为任何ML模型的单个预测生成解释，该模型通过随机扰动在实例周围生成模拟数据来学习预测，并通过应用某种形式的特征选择来获得特征重要性。虽然LIME和类似的局部算法由于其简单性而获得了普及，但是随机扰动和特征选择方法导致所生成的解释中的“不稳定性”，其中对于相同的预测，可以生成不同的解释。这是一个关键问题，可以防止在计算机辅助诊断（CAD）系统中部署LIME，其中稳定性对于赢得医疗专业人员的信任至关重要。在本文中，我们提出了一个确定性版本的LIME。代替随机扰动，我们利用凝聚层次聚类（HC）将训练数据分组在一起，并利用K-最近邻（KNN）选择正在解释的新实例的相关聚类。在找到相关聚类之后，在所选聚类上训练线性模型以生成解释。在三个不同的医学数据集上的实验结果显示了确定性局部可解释模型不可知解释（DLIME）的优越性，其中我们利用多个生成的解释之间的Jaccard相似性定量确定了DLIME与LIME相比的稳定性。
2019-06-24 cs.AI cs.LG stat.ML
Explaining Deep Learning-based Anomaly Detection in Energy Consumption Data by Focusing on Contextually Relevant Data
Western University（西安大略大学）
针对深度学习异常检测缺乏透明解释且SHAP类方法不稳定的问题，本文结合SHAP变体、全局特征重要性与加权余弦相似度，按异常上下文选择背景数据，在多模型、多数据集实验中将解释可变性平均降低约38%。
2025-01-10 cs.AI cs.LG
Entropy-based Logic Explanations of Neural Networks
University of Cambridge（剑桥大学）
提出一种端到端可微的基于熵准则的方法，用一阶逻辑从神经网络中自动提取简洁形式化解释，并在四类任务中取得优于白盒、媲美黑盒的准确率。
2022-01-31 cs.AI cs.CV cs.LG
CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马萨皮恩扎大学）
鉴于图神经网络（GNN）在现实世界中的应用前景越来越好，已经开发了几种方法来解释它们的预测。用于解释GNN预测的现有方法主要集中在生成与特定预测特别相关的子图。然而，这种方法本质上并不是反事实的（CF）：给定一个预测，我们想知道如何改变预测以实现另一种结果。在这项工作中，我们提出了一种为GNN生成CF解释的方法：对输入（图）数据的最小扰动，使得预测发生变化。仅使用边缘删除，我们发现我们的方法CF-GNNExplainer可以为GNN解释的三个广泛使用的数据集上的大多数实例生成CF解释，同时平均删除不到3条边缘，准确率至少为94%。这表明CF-GNNExplainer主要删除对原始预测至关重要的边缘，从而导致CF解释最少。
2022-02-22 cs.AI cs.LG
Quantifying the Intrinsic Usefulness of Attributional Explanations for Graph Neural Networks with Artificial Simulatability Studies
Institute of Theoretical Informatics (ITI)（理论信息学研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文将人工可模拟性研究扩展至图神经网络领域，通过解释可监督模型量化归因解释的内在有用性，发现相关解释能显著提升模型样本效率，为解释质量评估提供了正交于忠实性的新维度。
2023-05-25 cs.AI cs.LG
Personalized Showcases: Generating Multi-Modal Explanations for Recommendations
UC San Diego（加州大学圣地亚哥分校）
针对现有推荐解释模型内容单一的问题，提出个性化展示任务，通过选择个性化图像集并生成自然语言解释，构建多模态框架并利用对比学习生成多样化且视觉对齐的解释。
2023-04-06 cs.AI cs.CV cs.IR
Towards the Explanation of Graph Neural Networks in Digital Pathology with Information Flows
Tencent AI Lab（腾讯人工智能实验室）
随着图神经网络（GNN）在数字病理学中被广泛采用，人们越来越关注开发GNN的解释模型（解释器）以提高临床决策的透明度。现有的解释器发现一个解释子图相关的预测。然而，这样的子图不足以揭示用于预测的所有关键生物子结构，因为在移除该子图之后预测将保持不变。因此，一个解释性的子图不仅应该是预测所必需的，而且应该足以揭示解释的最具预测性的区域。这种解释需要测量从不同输入子图到预测输出的信息，我们将其定义为信息流。在这项工作中，我们解决了这些关键挑战，并提出了IFEXPLAINER，它为GNN产生了必要和充分的解释。为了评估GNN预测中的信息流，我们首先提出了一种新的预测性概念，称为$f$ -信息，它是有方向的，并结合了GNN模型的现实能力。在此基础上，IFEXPLAINER生成具有最大信息流的解释子图。同时，在删除解释后，它最大限度地减少了从输入到预测结果的信息流。因此，所产生的解释对于预测必然是重要的，并且足以揭示最关键的子结构。我们评估IFEXPLAINER来解释GNN对乳腺癌亚型的预测。在BRACS数据集上的实验结果表明了该方法的优越性能。
2021-12-18 cs.AI cs.LG
Explanation Methods in Deep Learning: Users, Values, Concerns and Challenges
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（东德斯脑、认知与行为研究所）
关于可解释人工智能的问题涉及四个组成部分：用户，法律法规，解释和算法。这些组成部分共同提供了一个背景下，解释方法可以评估其充分性。本章的目标是弥合专家用户和外行用户之间的差距。识别不同类型的用户并揭示他们的关注点，在深度神经网络（DNN）的背景下分析通用数据保护法规的相关声明，介绍现有解释方法的分类，最后分析各类解释方法以验证用户关注点是否合理。总的来说，很明显，可以给出关于输入对输出的影响的各个方面的（视觉）解释。然而，值得注意的是，外行用户的解释方法或接口缺失，我们推测这些方法/接口应该满足哪些标准。最后，值得注意的是，解释方法很难解决两个重要的问题：对数据集中导致DNN有偏见的偏见的担忧，以及对不公平结果的怀疑。
2018-03-29 cs.AI cs.LG stat.ML
ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
对比学习已经导致用于诸如图像分类的任务的学习的嵌入表示的质量的实质性改进。然而，现有的对比增强方法的一个关键缺点是，它们可能会导致修改的图像内容，这可能会产生不希望的改变其语义。这可能会影响模型在下游任务上的性能。因此，在本文中，我们问我们是否可以增加图像数据在对比学习，这样的任务相关的语义内容的图像被保留。为此，我们建议利用基于显着性的解释方法来创建内容保持掩蔽增强对比学习。我们的新的解释驱动的监督对比学习（ExCon）方法严格地服务于鼓励附近的图像嵌入具有相似的内容和解释的双重目标。为了量化ExCon的影响，我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明了ExCon在分类，解释质量，对抗鲁棒性以及分布偏移背景下的概率校准方面优于香草监督对比学习。
2022-04-18 cs.AI cs.CV cs.LG
Relevant Explanations: Allowing Disjunctive Assignments
Ben Gurion University of the Negev（本-古里安大学）
基于相关性的解释是一种方案，其中贝叶斯信念网络变量的部分分配是解释（溯因结论）。我们允许变量在解释中保持未分配，只要它们与解释无关，其中不相关性是根据统计独立性定义的。当系统中存在多值变量时，特别是当值的子集对应于事件的自然类型时，通过基于独立性的解释缓解的过度规范问题重新出现。作为对此的解决方案，以及为了解决解释特异性的问题，希望将这样的值的子集折叠成运行中的单个值。这里采用的等效方法是将赋值的概念推广到允许析取赋值。我们继续定义广义独立的解释为最大后验概率独立的广义分配（GIB-MAP）。GIB分配有一定的属性，便于设计的算法计算GIB-MAP。这里讨论了一种这样的算法，以及其他算法如何适用于计算GIB-MAP的建议。GIB-MAP的解释仍然存在不稳定性，这个问题可以通过使用？近似值？有条件的独立性是不相关的条件。
2013-03-06 cs.AI
Efficient Explanations With Relevant Sets
Université de Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究）；Université Paul Sabatier（保罗·萨巴捷大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
最近的工作提出了$δ$相关的输入（或集）作为一个概率的解释，由一个给定的输入分类的预测。$δ$相关集合是重要的，因为它们用于将（模型不可知的）参数与（模型精确的）PI解释相关联，以及其他解释方法。不幸的是，对于${NP}^{PP}$，最小尺寸的$δ$相关集合的计算是完全的，这使得它们的计算在实践中很大程度上是不可行的.本文研究了解决$δ$相关集的实际局限性的解决方案。首先，本文交替考虑了子集最小集的计算。其次，本文研究了具体的分类器族，包括决策树等。对于这些情况下，本文表明，子集最小的$δ$相关集的计算是在NP，可以解决一个多项式数量的调用NP预言。实验评估比较所提出的方法与启发式解释器的具体情况下的分类研究的文件，并确认所提出的解决方案的优势，在最先进的。
2021-06-01 cs.AI cs.LG
LIREx: Augmenting Language Inference with Relevant Explanation
University of Michigan（密歇根大学）；School of Information（信息学院）；Department of Learning Health Sciences（学习健康科学系）
自然语言解释（NLE）是一种特殊形式的数据注释，其中注释者在为数据实例分配标签时识别基本原理（最重要的文本标记），并基于基本原理用自然语言写出对标签的解释。NLE已被证明可以更好地捕捉人类推理，但对于自然语言推理（NLI）来说并不那么有益。在本文中，我们分析了两个主要缺陷的方式NLE目前用于训练解释生成器的语言推理任务。我们发现，解释发电机不考虑到固有的可变性，在人类的解释标签，目前的解释生成模型产生虚假的解释。为了克服这些限制，我们提出了一个新的框架，LIREx，它结合了一个合理的解释生成器和一个实例选择器，只选择相关的，合理的NLE来增强NLI模型。在标准化SNLI数据集上进行评估时，LIREx的准确率达到91.87%，比基线提高了0.32，与数据集上报告的最佳性能相匹配。当转移到域外MultiNLI数据集时，它也实现了比以前的研究更好的性能。定性分析表明，LIREx生成灵活，忠实和相关的NLE，使模型更强大的虚假解释。该代码可在https://github.com/zhaoxy92/LIREx上获得。
2020-12-16 cs.AI cs.CL
On Computing Relevant Features for Explaining NBCs
University of Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心图卢兹计算机科学研究所）
尽管模型不可知的可解释AI（XAI）取得了进展，但模型不可知的XAI可能会产生不正确的解释。一种替代方法是所谓的XAI正式方法，包括PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。相关特征的计算用于权衡解释中特征数量的概率精度。然而，即使对于非常简单的分类器，计算相关特征集的复杂性也是令人望而却步的。本文研究了朴素贝叶斯分类器（NBCs）的相关集的计算，并表明，在实践中，这些是很容易计算的。此外，实验证实，简洁的相关功能集可以得到与NBCs。
2022-07-11 cs.AI cs.LG
Provably Precise, Succinct and Efficient Explanations for Decision Trees
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究）；University of Toulouse III（图卢兹第三大学）；CNRS（法国国家科学研究中心）
决策树（DT）包含可解释的分类器。DTs一直被提倡部署在高风险应用程序中，但也用于解释其他复杂的分类器。然而，最近的工作表明，在DT的预测应该用严格的方法来解释。虽然严格的解释可以计算在多项式时间的DT，其大小可能超出了人类决策者的认知极限。本文研究了离散t的δ-相关集的计算问题。δ-相关集表示简洁且可证明精确的解释。这些集合代表了严格解释的概括，这些解释在概率为1的情况下是精确的，因此它们可以在解释大小与精度之间进行权衡。本文提出了两种计算DT最小δ-相关集的逻辑编码。本文进一步设计了计算δ-相关集的多项式时间算法，该算法不保证是子集最小的，但实验表明，在实践中，δ-相关集通常是子集最小的。实验结果也证明了计算最小δ-相关集的实际效率。
2022-05-19 cs.AI cs.LG
What will it take to generate fairness-preserving explanations?
Brown University（布朗大学）；Harvard University（哈佛大学）
在解释黑箱模型可能有用的情况下，黑箱的公平性往往也是一个相关的问题。然而，黑箱模型的公平性和对黑箱的解释行为之间的联系尚不清楚。我们专注于应用于表格数据集的解释，这表明解释不一定保持黑盒算法的公平性。换句话说，解释算法可能会忽略或模糊关键的相关属性，从而产生不正确或误导性的解释。更广泛地说，我们提出了未来的研究方向，以评估和生成解释，使它们从公平的角度提供信息和相关。
2021-06-24 cs.AI cs.CY cs.LG
On Computing Probabilistic Abductive Explanations
University of Toulouse（图卢兹大学）；Monash University（莫纳什大学）；VMware Research（威睿研究部）；UPS（图卢兹第三大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
最广泛研究的可解释人工智能（XAI）方法是不健全的。这是众所周知的模型不可知解释方法的情况，也是基于显着图的方法的情况。一个解决方案是考虑内在的可解释性，它不会表现出不合理的缺点。不幸的是，内在的可解释性可能会显示出笨拙的解释冗余。形式可解释性代表了这些非严格方法的替代方案，其中一个例子是PI解释。不幸的是，PI解释也表现出重要的缺点，其中最明显的可以说是它们的大小。最近，人们已经观察到，PI解释的（绝对）严谨性可以通过计算所谓的相关集来换取较小的解释大小。给定一个正的δ，一个特征集S是δ相关的，如果当S中的特征固定时，得到目标类的概率超过δ。然而，即使是非常简单的分类器，计算相关的功能集的复杂性是禁止的，与决策问题是NPPP-完全的基于电路的分类器。与早期的负面结果相比，本文探讨了实用的方法来计算相关集的一些广泛使用的分类器，包括决策树（DT），朴素贝叶斯分类器（NBCs），和几个家庭的分类器从命题语言。此外，该文件表明，在实践中，这些家庭的分类，相关的集合很容易计算。此外，实验证实，简洁的相关功能集，可以得到考虑的分类器的家庭。
2022-12-12 cs.AI cs.LG
On the Injunction of XAIxArt
本立场论文指出艺术中可解释人工智能（XAIxArt）的禁令反映了人类中心主义艺术观的不安全感及对旧有作者身份的怀旧，并区分了解释的装饰模型与意义建构模型。
2023-09-12 cs.AI cs.HC
Relevant Irrelevance: Generating Alterfactual Explanations for Image Classifiers
University of Augsburg（奥格斯堡大学）；Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种基于GAN的方法，首次为神经网络黑盒二值图像分类器生成改变无关特征的替代事实解释，并通过用户研究揭示其对反事实解释的补充作用。
2024-05-08 cs.AI cs.CV cs.LG
Diagrammatization and Abduction to Improve AI Interpretability With Domain-Aligned Explanations for Medical Diagnosis
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出DiagramNet模型，结合图解与溯因推理为医学诊断提供领域对齐的可解释AI，优于基线模型，且图解式解释在用户研究中更受青睐。
2025-02-26 cs.AI cs.HC cs.LG
Concept-Based Techniques for "Musicologist-friendly" Explanations in a Deep Music Classifier
Johannes Kepler University Linz（林茨约翰·开普勒大学）；Linz Institute of Technology（林茨理工学院）
用于解释应用于音乐数据的深度学习系统的当前方法提供了低级特征空间中的结果，例如，通过突出显示频谱图中潜在相关的时间-频率仓或钢琴卷中的时间-音高仓。这可能很难理解，特别是对于没有技术知识的音乐学家来说。为了解决这个问题，我们专注于基于高层次音乐概念的更人性化的解释。我们的研究目标是训练系统（事后解释），并探讨了两种方法：一种是监督的方法，用户可以定义一个音乐概念，并测试它是否与系统相关;一种是无监督的方法，自动选择包含相关概念的音乐摘录，并提供给用户进行解释。我们展示了现有的符号作曲家分类系统的技术，展示他们的潜力，并强调其内在的局限性。
2022-08-29 cs.AI cs.SD eess.AS
Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation
Prosperia
机器学习方法正越来越多地应用于敏感的社会环境中，在这些环境中，决策会影响人类生活。因此，有必要建立能力，为模型的预测提供易于解释的解释。最近在学术文献中，已经提出了大量的解释方法。不幸的是，据我们所知，关于机器学习从业者在现实世界中应用它们时最常面临的挑战，几乎没有记录。例如，一个典型的过程，如特征工程，可以使一些方法不再适用。本案例研究有两个主要目标。首先，揭露这些挑战，以及它们如何影响相关和新颖的解释方法的使用。第二，提出一套战略，以减轻在相关应用领域-贫困估计及其用于优先获得社会政策-实施解释方法时所面临的挑战。
2021-04-12 cs.AI cs.LG stat.AP
Sequential Explanations with Mental Model-Based Policies
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
在两方之间进行解释的行为是一个反馈循环，其中一方提供需要解释的信息，另一方提供与此信息相关的解释。我们应用一个强化学习框架，它通过提供基于被解释者当前心智模型的解释来模拟这种格式。我们进行新的在线人类实验，其中选择由各种解释方法生成的解释并呈现给参与者，使用观察参与者心理模型的策略，以优化可解释性代理。我们的研究结果表明，基于心理模型的政策（锚定在我们提出的状态表示）可能会增加多个顺序的解释，相比随机选择基线。这项工作提供了深入了解如何选择解释，增加用户的相关信息，并进行人性化的实验，以了解可解释性。
2020-07-17 cs.AI cs.HC cs.LG
A Cross Attention Approach to Diagnostic Explainability using Clinical Practice Guidelines for Depression
National Institute of Technology Kurukshetra（库鲁克谢特拉国家技术学院）；Artificial Intelligence Institute at the University of South Carolina（南卡罗来纳大学人工智能研究所）；University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；Wright State University（莱特州立大学）
本文提出PSAT模型，通过将抑郁症临床实践指南（CPG）知识融入交叉注意力机制，提升Transformer模型在心理健康对话分类中的可解释性和性能，并利用SNOMED-CT构建本体以增强GPT-3.5等模型生成应用相关解释的能力。
2024-10-18 cs.AI
Logic Explanation of AI Classifiers by Categorical Explaining Functors
University of Padova（帕多瓦大学）；Scuola Normale Superiore（正常大学）；University College London（伦敦大学学院）；Università della Svizzera Italiana（意大利瑞士大学）
本文提出基于范畴论的解释函子，以确保AI分类器解释的一致性和保真度，通过逻辑规则生成更可靠的解释。
2025-03-20 cs.AI
Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery
Georgia Institute of Technology（佐治亚理工学院）
随着智能系统功能的不断增强，机器人在我们日常生活中的整合越来越多。然而，当在如此复杂的人类环境中进行交互时，机器人系统的偶尔故障是不可避免的。可解释的人工智能领域一直试图使复杂的决策系统更具可解释性，但大多数现有技术都是针对领域专家的。相反，在许多故障情况下，机器人将需要非专家用户的恢复帮助。在这项工作中，我们引入了一种新的类型的解释，解释了一个意外的失败的原因，在代理的计划执行非专家。为了使错误的解释是有意义的，我们调查什么类型的信息在一组手写的解释是最有帮助的非专家的故障和解决方案的识别。此外，我们研究如何这样的解释可以自主生成，扩展现有的编码器-解码器模型，并在环境中推广。我们调查这样的问题的背景下，在家庭环境中执行拾取和放置操作任务的机器人。我们的研究结果表明，解释捕捉失败的背景和历史的过去的行动，是最有效的失败和解决方案识别之间的非专家。此外，通过第二次用户评估，我们验证了我们的模型生成的解释可以推广到一个看不见的办公环境，和手写的解释一样有效。
2021-01-05 cs.AI
Causal Explanations for Image Classifiers
King's College London（伦敦国王学院）；Amazon.com, Inc.（亚马逊公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Manchester（曼彻斯特大学）
本文提出基于实际因果理论的新型黑盒方法，证明算法终止性并展示其在解释效率和精度上的优势。
2026-07-03 cs.AI
Playing to distraction: towards a robust training of CNN classifiers through visual explanation techniques
Andalusian Research Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）；HAT.tec GmbH（HAT.tec有限公司）；Universität der Bundeswehr（联邦国防军大学）；University of Groningen（格罗宁根大学）；Universidad de Oviedo（奥维耶多大学）
深度学习领域正在朝着不同的方向发展，仍然需要更有效的训练策略。在这项工作中，我们提出了一种新的和强大的训练方案，在学习过程中集成了视觉解释技术。与关注图像相关部分的注意力机制不同，我们的目标是通过使模型也关注其他区域来提高模型的鲁棒性。一般来说，这个想法是分散分类器在学习过程中，迫使它不仅关注相关区域，而且还关注那些先验的，对于类别的区分来说信息量不大的区域。我们通过将其嵌入到卷积神经网络的学习过程中来测试所提出的方法，以分析和分类两个著名的数据集，即斯坦福汽车和FGVC-Aircraft。此外，我们评估了我们的模型在一个真实的情况下，以自我为中心的图像分类，使我们能够获得有关人们的生活方式的相关信息。特别是，我们致力于具有挑战性的EgoFoodPlaces数据集，以较低的复杂性实现最先进的结果。所得到的结果表明，我们提出的训练方案的适用性图像分类，提高了最终模型的鲁棒性。
2021-07-29 cs.AI cs.CV
Most General Explanations of Tree Ensembles (Extended Version)
CREATE, NUS, Singapore（新加坡国立大学CREATE研究所）；Monash University, Australia（澳大利亚墨尔本大学）；The University of Sydney, Australia（澳大利亚悉尼大学）；ICREA, University of Lleida, Spain（西班牙莱里达大学ICREA研究所）；OPTIMA ARC Industrial Training and Transformation Centre, Australia（澳大利亚OPTIMA ARC工业培训与转型中心）
针对树集成模型的AI决策解释问题，提出寻找最泛化膨胀溯因解释的方法，其覆盖输入空间最大、适用性最广，已被IJCAI2025录用。
2025-05-20 cs.AI cs.LG cs.LO
Explaining Legal Concepts with Augmented Large Language Models (GPT-4)
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）；Université de Montréal（蒙特利尔大学）
本研究评估GPT-4解释法律术语的能力，发现直接生成表面高质量但事实有误，通过法律信息检索增强可提升准确性并消除幻觉，为自动构建法律解释系统奠定基础。
2023-06-22 cs.AI cs.CL
P2ExNet: Patch-based Prototype Explanation Network
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
深度学习方法在多个领域取得了巨大成功，因为它们能够有效地处理大量数据，能够解决复杂的分类、预测、分割和其他任务。然而，它们具有不可解释性的固有缺点，限制了它们的适用性和可信度。虽然存在解决这一问题的工作，但由于直观和突出的概念，大多数现有方法仅限于图像模态。相反，时间序列领域的概念更复杂，也更不全面，但这些概念和对网络决策的解释在医疗、金融或工业等关键领域至关重要。为了满足可解释方法的需求，我们提出了一种新的可解释网络方案，旨在内在地使用受人类认知启发的可解释推理过程，而不需要额外的事后可解释性方法。因此，使用类特定的补丁，因为它们覆盖与分类相关的局部概念，以揭示与同类样本的相似性。此外，我们引入了一个新的损失有关的可解释性和准确性，限制P2ExNet提供可行的解释数据，包括相关的补丁，他们的位置，类的相似性和比较方法，而不影响准确性。对八个公开的时间序列数据集的结果分析表明，P2ExNet在提供可理解和可追溯的决策的同时，与其同行相比达到了相当的性能。
2020-11-19 cs.AI cs.LG
An Integrated Framework for Multi-Granular Explanation of Video Summarization
Information Technologies Institute (ITI), Centre for Research and Technology, Hellas (CERTH)（希腊研究与技术中心信息技术研究所）；Thessaloniki, Greece（希腊塞萨洛尼基）
该研究提出视频摘要多粒度解释集成框架，结合片段级与对象级解释方法，经实验验证可有效识别影响摘要的关键片段和对象并提供全面视觉解释。
2024-05-16 cs.AI cs.CV
Shapley Explanation Networks
Purdue University（普渡大学）
Shapley值已成为最流行的特征属性解释方法之一。然而，大多数先前的工作都集中在事后Shapley解释上，由于其指数时间复杂度，这可能在计算上要求很高，并且在训练期间排除了基于Shapley解释的模型正则化。因此，我们建议将Shapley值本身作为深层模型中的潜在表示，从而使Shapley解释成为建模范式中的一等公民。这种内在解释方法可以实现分层解释，在训练期间对模型进行解释正则化，并在测试时进行快速解释计算。我们定义了Shapley变换，它将输入转换为给定特定函数的Shapley表示。我们将Shapley变换作为一个神经网络模块进行操作，并通过组合Shapley模块来构建浅层和深层网络，称为ShapNets。我们证明了我们的Shallow ShapNets计算精确的Shapley值，而我们的Deep ShapNets保持了Shapley值的缺失和准确性。我们在合成和真实世界的数据集上证明，我们的ShapNet能够实现分层Shapley解释，训练期间的新颖Shapley正则化，以及快速计算，同时保持合理的性能。代码可在https://github.com/inouye-lab/ShapleyExplanationNetworks上获得。
2021-04-06 cs.AI cs.LG
Explaining Answers with Entailment Trees
Allen Institute for AI（艾伦人工智能研究所）；University of Arizona（亚利桑那大学）
在开放域文本问答（QA）的背景下，我们的目标是通过展示从已知到答案的推理路线来解释答案，而不是简单地展示文本证据的片段（“理性”）。如果能够做到这一点，理解和调试系统推理的新机会就成为可能。我们的方法是以蕴涵树的形式生成解释，即从已知的事实，通过中间结论，到感兴趣的假设（即问题+答案）的多前提蕴涵步骤树。为了训练具有这种技能的模型，我们创建了ENTAILMENTBANK，这是第一个包含多步蕴涵树的数据集。给定一个假设（问题+答案），我们定义了三个越来越困难的解释任务：生成一个有效的蕴涵树给定（a）所有相关的句子（b）所有相关和一些不相关的句子，或（c）语料库。我们表明，一个强大的语言模型可以部分解决这些任务，特别是当相关的句子包括在输入（例如，35%的树（a）是完美的），并具有推广到其他领域的迹象。这项工作意义重大，因为它提供了一种新型的数据集（多步蕴涵）和基线，为社区提供了一种新的途径来生成更丰富，更系统的解释。
2022-05-28 cs.AI cs.CL
On Validating, Repairing and Refining Heuristic ML Explanations
University of Lisbon（里斯本大学）；ISDCT SB RAS（俄罗斯科学院西伯利亚分院伊尔库茨克计算系统与信息技术研究所）；VMware Research（威睿研究院）
近年来，人们对机器学习（ML）模型预测的计算解释的兴趣迅速增长。对于不可解释的ML模型，最常用的计算解释方法本质上是启发式的。相比之下，最近的工作提出了计算解释的严格方法，适用于给定的ML模型和整个实例空间的预测。本文将早期的工作扩展到提升树的情况下，并评估与国家的最先进的启发式方法获得的解释的质量。在大多数考虑的数据集，并为绝大多数的情况下，与启发式方法得到的解释被证明是不够的，当整个实例空间（隐式）考虑。
2019-07-04 cs.AI cs.LG cs.LO
Not All Explanations are Created Equal: Investigating the Pitfalls of Current XAI Evaluation
本文指出当前XAI评估中“任何解释都比没有解释更能提高用户满意度”的陷阱，并通过国际象棋教学智能体助手实验证明应重视可操作解释，呼吁建立更全面的解释质量评估方法。
2025-09-27 cs.AI cs.HC
Locally-Minimal Probabilistic Explanations
CREATE, NUS（新加坡国立大学CREATE中心）；University of Toronto（多伦多大学）；ICREA, University of Lleida（莱里达大学ICREA）
本文针对概率溯因解释精确计算不现实的问题，提出计算局部最小PAXps的高效近似算法，并通过实验验证其实际效率。
2024-05-06 cs.AI cs.LG
Selecting The Most Informative Tokens in Natural Language Autoencoders
University of Turin（都灵大学）；University of Southern Denmark（南丹麦大学）
本研究探讨自然语言自编码器中如何选择最具信息量的标记位置，发现基于聊天结构的排序器优于计算信号，仅解释5%位置即可保留大部分威胁解释成功率，且预训练口头表达器可恢复隐藏单词。
2026-09-30 cs.AI cs.CL
Using KL-divergence to focus Deep Visual Explanation
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
我们提出了一种解释深度卷积神经网络的图像分类预测的方法，通过突出显示图像中影响最终类别预测的像素。我们的方法需要识别一个探试法，以选择假设是最相关的参数在这个预测，在这里，我们使用Kullback-Leibler分歧，以提供这个重点。总的来说，我们的方法有助于理解和解释深度网络预测，我们希望为理解深度学习网络奠定基础。在这篇简短的论文中，我们的实验评估了两种流行的网络在可解释性方面的性能。
2018-01-25 cs.AI cs.CV stat.ML
Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations
提出一种框架，通过检测演示中未充分指定的特征，并主动请求有针对性的纠正演示，从而从有缺陷的演示中恢复奖励函数，减少歧义。
2026-05-21 cs.AI cs.HC cs.LG
One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency
University of Bristol（布里斯托大学）
由于基于机器学习算法的预测系统在行业中的不断增长，因此需要其透明度。每当黑箱算法预测影响人类事务时，这些算法的内部工作应该被仔细检查，并向相关利益相关者解释其决策，包括系统工程师，系统操作员和案件被决定的个人。虽然有各种各样的可解释性和可解释性方法，但没有一种方法是万能药，可以满足所有不同的期望和有关各方可能要求的相互竞争的目标。在本文中，我们通过讨论交互式机器学习的承诺来解决这一挑战，该承诺使用对比解释的例子来提高黑盒系统的透明度--一种最先进的可解释机器学习方法。具体来说，我们展示了如何个性化的反事实的解释，通过互动调整他们的条件语句和提取额外的解释，要求后续“如果？“问题。我们在构建、部署和展示这种类型的系统方面的经验使我们能够列出所需的属性以及潜在的限制，这些属性可以用于指导交互式解释器的开发。在定制交互媒介的同时，用户界面包括各种通信渠道，可能会给人一种个性化的印象，我们认为，调整解释本身及其内容更重要。为此，除了明确告知被解释者其局限性和警告之外，还必须考虑解释的广度、范围、上下文、目的和目标等属性.
2020-01-27 cs.AI cs.LG stat.ML
