Be Careful When Evaluating Explanations Regarding Ground Truth
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；University of Natural Resources and Life Sciences Vienna（维也纳自然资源与生命科学大学）；Medical University of Graz（格拉茨医科大学）
针对图像分类器解释评估侧重模型而非解释方法的问题，提出联合评估深度神经网络与解释方法结合的安全关键系统鲁棒性的框架，通过微调程序量化对齐差异，实验揭示视觉Transformer鲁棒性及系统对抗攻击脆弱性。
2023-11-08 cs.CV cs.LG
Refining Language Models with Compositional Explanations
Peking University（北京大学）；Tsinghua University（清华大学）；University of Southern California（南加州大学）
预先训练的语言模型在文本分类任务上已经取得了成功，但容易从有偏见的数据集中学习虚假的相关性，因此在新领域中进行推断时很容易受到攻击。先前的工作揭示了这种虚假的模式，通过事后解释算法计算输入功能的重要性。此外，模型被正则化以使重要性分数与人类知识一致，从而消除了非预期的模型行为。然而，这样的正则化技术缺乏灵活性和覆盖范围，因为只有对一个预定义的功能列表的重要性分数进行调整，而更复杂的人类知识，如功能的相互作用和模式的泛化几乎不能被纳入。在这项工作中，我们建议通过收集人类提供的关于观察到的偏见的组成解释来完善目标域的学习语言模型。通过将这些解释解析成可执行的逻辑规则，来自一小组解释的人类指定的精化建议可以被推广到更多的训练样本。我们还引入了一个正则化项，允许调整特征的重要性和相互作用，以更好地纠正模型行为。我们证明了所提出的方法的有效性在两个文本分类任务，显示改进的性能在目标域以及改进后的模型公平性。
2021-12-31 cs.CL cs.LG
From explanation to synthesis: Compositional program induction for learning from demonstration
University of Edinburgh（爱丁堡大学）；FiveAI
混合系统是一种紧凑而自然的机制，可以用来解决机器人技术中的问题。这项工作介绍了一种方法来学习混合动力系统的演示，重点是提取模型，明确可验证的，易于解释的机器人操作员。我们适合一个序列的控制器使用顺序重要性采样下生成开关比例控制器的任务模型。在这里，我们使用比例增益和视觉可验证的关节角度目标来参数化控制器。在这种模型下的推理是具有挑战性的，但我们通过引入从神经端到端视觉控制模型中提取的归因先验来解决这个问题。鉴于控制器的序列，包括一个任务，我们简化了跟踪使用语法解析策略，利用序列组合性，接地控制器之前，通过训练感知网络来预测目标给定的图像。使用这种方法，我们能够成功地诱导一个程序的视觉达到任务，涉及循环和条件，从一个单一的演示和神经端到端的模型。此外，我们能够发现用于塔建设任务的程序。我们认为，计算机程序一样的控制系统是更可解释的替代端到端的学习方法，和混合系统本身允许更好地概括跨任务配置。
2019-05-29 cs.CV cs.LG cs.RO
Teaching Machine Comprehension with Compositional Explanations
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Information Science Institute, University of Southern California（南加州大学信息科学研究所）
机器阅读理解（MRC）的发展在很大程度上依赖于以（问题，段落，答案）三元组形式收集大规模人类注释的示例。相比之下，人类通常只需要几个例子就能概括，依赖于更深层次的世界知识，语言复杂性和/或仅仅是卓越的演绎能力。在本文中，我们专注于“教”机器阅读理解，使用少量的半结构化解释，明确告知机器为什么答案跨度是正确的。我们从解释中提取结构化变量和规则，并组成神经模块教师，注释用于训练下游MRC模型的实例。我们使用可学习的神经模块和软逻辑来处理语言变化并克服稀疏覆盖;这些模块与MRC模型联合优化以提高最终性能。在SQuAD数据集上，我们提出的方法在26种解释的监督下获得了70.14%F1分数，与使用1，100个标记实例的普通监督学习相当，速度提高了12倍。
2020-10-13 cs.CL cs.LG
COMIX: Compositional Explanations using Prototypes
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；LIRA Centre, Lancaster University（兰卡斯特大学LIRA中心）
本文提出 COMIX，通过学习概念分解图像并将各区域追溯到训练原型，实现与真实决策一致的组合式解释，在 ImageNet 上显著提升保真度与稀疏性。
2025-01-10 cs.LG
Evaluating the Faithfulness of Saliency-based Explanations for Deep Learning Models for Temporal Colour Constancy
University of British Columbia（不列颠哥伦比亚大学）；Huawei（华为）
深度学习模型的不透明性限制了它们的调试和改进。使用基于显著性的策略（如注意力）增强深度模型，可以帮助更好地理解黑盒模型的决策过程。然而，在自然语言处理（NLP）领域，最近的一些研究对显著性的忠实性提出了质疑，质疑注意力权重对模型真实决策过程的坚持。我们添加到这个讨论中，通过评估的忠实性模型显着性应用到视频处理任务的第一次，即时间的颜色恒定性。我们进行评估，以适应我们的目标任务，从最近的NLP文献，其方法，我们完善的一部分，我们的贡献的忠诚度的两个测试。我们发现，注意力未能实现忠诚，而信心，一种特殊类型的模型视觉显着性，成功。
2022-11-15 cs.CV cs.LG
Towards Evaluating Explanations of Vision Transformers for Medical Imaging
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
本文针对胸部 X 光分类 ViT，比较多种解释方法，并从忠实性、敏感性和复杂性评估，发现 transformer 版 LRP 表现最佳。
2023-04-12 cs.CV cs.LG
Evaluating Disentanglement of Structured Representations
我们介绍的第一个指标，用于评估在个人层次结构的潜在代表性。应用于以对象为中心的生成模型，这提供了一种系统的，统一的方法来评估（i）潜在插槽之间的对象分离（ii）单个插槽内的对象属性的解纠缠（iii）内在和外在对象属性的解纠缠。我们从理论上表明，对于结构化表示，我们的框架提供了更强的保证，选择一个好的模型比以前的解纠缠指标。实验上，我们证明，查看对象的组合性作为一个解纠缠的问题解决了几个问题，与以前的视觉指标的对象分离。作为一个核心技术组成部分，我们提出了第一个表示探测算法处理时隙排列不变性。
2022-01-29 cs.CV cs.LG
Obtaining Faithful Interpretations from Compositional Neural Networks
Allen Institute for AI（艾伦人工智能研究所）；Tel-Aviv University（特拉维夫大学）；University of California, Irvine（加利福尼亚大学欧文分校）；University of Pennsylvania（宾夕法尼亚大学）
神经模块网络（NMN）是一种流行的组合性建模方法：当应用于语言和视觉问题时，它们实现了高精度，同时反映了网络架构中问题的组成结构。然而，先前的工作隐含地假设，网络模块的结构，描述了抽象的推理过程，提供了一个忠实的解释模型的推理，也就是说，所有的模块执行其预期的行为。在这项工作中，我们提出并进行系统的评估NMN的中间输出NLVR2和DROP，两个数据集，需要组成多个推理步骤。我们发现，中间输出不同于预期的输出，说明网络结构不提供一个忠实的解释模型的行为。为了弥补这一点，我们用辅助监督训练模型，并为模块架构提出特定的选择，以最小的精度代价产生更好的忠诚度。
2020-09-08 cs.AI cs.CL cs.CV
CTL++: Evaluating Generalization on Never-Seen Compositional Patterns of Known Functions, and Compatibility of Neural Representations
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用科学大学）；KAUST（阿卜杜拉国王科技大学）
精心设计的诊断任务在研究神经网络（NN）系统泛化失败方面发挥了关键作用。著名的例子包括SCAN和组合查表（CTL）。在这里，我们介绍CTL++，一个新的诊断数据集的基础上组成的一元符号函数。虽然最初的CTL用于测试长度泛化或生产力，但CTL++旨在测试NN的系统性，即它们泛化到已知函数的不可见组合的能力。CTL++将函数分成组，并测试以训练期间未见过的方式组成的组元素的性能。我们发现，最近的CTL解决Transformer变种失败的CTL++。任务设计的简单性允许对任务难度进行细粒度的控制，以及许多有见地的分析。例如，我们测量测试的NN学习作曲需要多少组之间的重叠。我们还可视化了来自不同群体的函数输出中的学习符号表示在成功的情况下是如何兼容的，而在失败的情况下则不然。这些结果提供了深入了解失败的情况下，更复杂的组成报告在自然语言域。代码是公开的。
2022-10-12 cs.AI cs.LG cs.NE
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California（南加州大学）；Fudan University（复旦大学）
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合，我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性，突出单词和短语的组成。我们展示了一些先前的努力，分层解释，例如上下文分解，不满足数学上所需的属性，导致不一致的解释质量在不同的模型。在本文中，我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上，提出了采样和上下文分解（SCD）算法和采样和遮挡（SOC）算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明，我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成，提取分类规则，提高人类对模型的信任。项目页面：https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
该研究提出组合式强化学习（C-RL），发现大语言模型的个体性能与协作价值基本不相关，C-RL在多数设置中可显著提升多模型协作的性能。
2026-10-14 cs.AI cs.CL cs.LG
Neural Probabilistic Circuits: Enabling Compositional and Interpretable Predictions through Logical Reasoning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；College of William and Mary（威廉与玛丽学院）
提出神经概率电路（NPC），通过属性识别与概率电路逻辑推理实现组合式可解释预测，三阶段训练，理论误差有界，在四个基准上性能媲美黑盒模型且可解释性更强。
2025-01-20 cs.AI cs.LG
Evaluating Model Explanations without Ground Truth
Oxford Internet Institute（牛津互联网研究所）
针对模型解释评估依赖真值解释或模型敏感性的问题，本文提出真值无关的 AXE 框架，以独立度量局部特征重要性解释质量，并验证其可检测公平洗白。
2025-05-15 cs.AI cs.LG
The Blame Problem in Evaluating Local Explanations, and How to Tackle it
KTH Royal Institute of Technology（KTH皇家理工学院）
针对局部解释评估缺乏最优指标导致技术优劣难辨的问题，提出新评估分类体系，指出多数方法存在归因问题，基于可解释模型真实标签的方法更合理但仍有局限，明确该领域仍为开放研究方向。
2023-10-05 cs.LG
GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力，发现VQAScore指标优于现有方法，可通过黑盒排序提升生成效果，并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
能够向临床最终用户解释预测是利用人工智能模型支持临床决策的必要条件。对于医学图像，显着图是最常见的解释形式。这些地图突出了AI模型预测的重要特征。虽然已经提出了许多显着图方法，但尚不清楚它们在解释多模态医学图像上的决策方面的表现如何，其中每个模态/通道都具有相同的潜在生物医学现象的不同临床意义。理解这种模态依赖特征对于临床用户解释AI决策至关重要。为了解决这个临床上重要但技术上被忽视的问题，我们提出了MSFI（模态特定特征重要性）度量来检查显着性图是否可以突出模态特定的重要特征。MSFI对模态优先级和模态特定特征定位的临床要求进行编码。我们对16种常用的显着性图方法（包括临床医生用户研究）进行的评估表明，尽管大多数显着性图方法一般都能捕获模态重要性信息，但大多数方法都未能始终如一地精确突出模态特定的重要特征。评估结果指导显着图方法的选择，并提供见解，提出新的针对临床应用。
2021-07-11 cs.CV cs.LG
Framework for Evaluating Faithfulness of Local Explanations
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tel Aviv University（特拉维夫大学）
我们研究了解释系统对潜在预测模型的忠诚度。我们表明，这可以被捕获的两个属性，一致性和充分性，并引入定量措施的程度，这些举行。有趣的是，这些措施取决于测试时的数据分布。对于各种现有的解释系统，如锚，我们分析研究这些量。我们还提供了估计和样本的复杂性界限，经验确定的忠实性的黑盒解释系统。最后，我们通过实验验证了新的性质和估计。
2022-02-01 cs.LG stat.ML
Interpretability Benchmark for Evaluating Spatial Misalignment of Prototypical Parts Explanations
Jagiellonian University（雅盖隆大学）；Doctoral School of Exact and Natural Sciences, Jagiellonian University（雅盖隆大学精确与自然科学博士学院）；Faculty of Management and Social Communication, Jagiellonian University（雅盖隆大学管理与社会传播学院）；IDEAS NCBR
针对原型部件网络因感受野导致解释激活区域与图像依据不一致的问题，本文提出空间解释错位基准与量化指标，并设计补偿方法，实验验证了基准表达力和补偿有效性。
2023-08-16 cs.AI cs.CV cs.LG
Evaluating and Aggregating Feature-based Model Explanations
University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）；The Alan Turing Institute（艾伦·图灵研究所）
基于特征的模型解释表示每个输入特征对给定数据点的模型输出的贡献程度。随着建议的解释功能的数量增加，我们缺乏定量的评估标准，以帮助从业者知道什么时候使用哪个解释功能。本文提出了基于特征的解释的定量评价标准：低敏感度，高忠实度，低复杂度。我们设计了一个框架聚合解释功能。我们开发了一个程序，学习一个聚合的解释函数具有较低的复杂性，然后推导出一个新的聚合Shapley值解释函数，最大限度地减少敏感性。
2020-05-01 cs.AI cs.CY cs.LG
Explainable Artificial Intelligence Model for Evaluating Shear Strength Parameters of Municipal Solid Waste Across Diverse Compositional Profiles
The Joint Graduate School of Energy and Environment, King Mongkut's University of Technology Thonburi（泰国国王科技大学吞武里校区能源与环境联合研究生院）；AI Research Group, Department of Civil Engineering, Faculty of Engineering, King Mongkut's University of Technology Thonburi（泰国国王科技大学吞武里校区工程学院土木工程系人工智能研究组）；Center of Excellence on Energy Technology and Environment (CEE), PERDO, Ministry of Higher Education, Science, Research and Innovation (MHESI)（高等教育、科学、研究与创新部PERDO能源技术与环境卓越中心）；Department of Environmental Engineering, Faculty of Engineering, Kasetsart University（农业大学工程学院环境工程系）
本文提出一种结合多层感知器与SHAP分析的可解释AI框架，用于预测不同组成下城市固体废弃物的黏聚力和内摩擦角，较传统方法精度更高，并揭示纤维材料和颗粒级配为主要影响因素。
2025-02-26 cs.AI cs.LG
Evaluating SAE interpretability without explanations
EleutherAI
本研究提出一种无需生成自然语言解释即可评估稀疏编码器可解释性的方法，通过对比人类评估验证指标有效性，为社区提供改进建议。
2025-07-11 cs.LG
Evaluating Explanations: How much do explanations from the teacher aid students?
Carnegie Mellon University（卡内基梅隆大学）；Delhi Technological University（德里理工大学）；Google Research（谷歌研究院）
虽然许多方法都声称通过突出显著特征来解释预测，但这些解释的目的是什么以及应该如何评估它们往往没有说明。在这项工作中，我们引入了一个框架来量化解释的价值，通过准确性增益，他们赋予一个学生模型训练模拟教师模型。至关重要的是，这些解释在培训期间对学生可用，但在考试时却不可用。与以前的建议相比，我们的方法是不容易被玩弄，使原则性的，自动的，模型不可知的评价属性。使用我们的框架，我们比较了文本分类和问答的众多归因方法，并观察到在不同的学生模型架构和学习策略之间一致（中度到高度）的定量差异。
2021-12-17 cs.CL cs.LG
Evaluating Local Model-Agnostic Explanations of Learning to Rank Models with Decision Paths
KTH Royal Institute of Technology（瑞典皇家理工学院）
学习排名（LTR）模型的局部解释被认为是提取最重要的特征，这些特征有助于LTR模型对单个数据点预测的排名。评估这种解释的准确性是具有挑战性的，因为地面实况特征重要性分数对于大多数现代LTR模型是不可用的。在这项工作中，我们提出了一个系统的评价技术的解释LTR模型。而不是使用黑盒模型，如神经网络，我们建议专注于基于树的LTR模型，从中我们可以提取地面实况特征重要性分数使用决策路径。一旦被提取，我们就可以直接将地面实况特征重要性得分与使用解释技术生成的特征重要性得分进行比较。在MQ2008数据集上使用决策树和梯度提升模型时，我们比较了两种最近提出的LTR模型解释技术。我们表明，在这些技术的解释精度可以在很大程度上取决于解释模型，甚至哪个数据点解释。
2022-03-16 cs.LG stat.ML
CoSy: Evaluating Textual Explanations of Neurons
TU Berlin（柏林工业大学）；BIFOLD（柏林大数据中心）；ATB Potsdam（波茨坦农业与生物研究中心）；Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Potsdam（波茨坦大学）
针对缺乏统一定量方法评估神经元文本解释质量的问题，本文提出架构无关的CoSy框架，通过生成模型创建解释对应的数据点，比较神经元对生成数据与控制数据的响应评估质量，并在计算机视觉任务中验证了框架有效性。
2024-12-05 cs.AI cs.CL cs.LG
AGRI-Fidelity: Evaluating the Reliability of Listenable Explanations for Poultry Disease Detection
Virginia Tech（弗吉尼亚理工大学）
本文提出AGRI-Fidelity框架，通过跨模型共识与循环时间排列构建空分布并计算FDR，以评估可听解释的可靠性，克服传统掩码指标的不足。
2026-03-18 cs.LG
Evaluating Neuron Explanations: A Unified Framework with Sanity Checks
UC San Diego（加州大学圣地亚哥分校）
本文将神经元解释评估方法统一到数学框架下，提出两项健全性检查，发现多个常用指标失效，并给出评估指南与可靠指标集合。
2025-06-06 cs.LG
Evaluating Local Explanations using White-box Models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Spotify（声田）；University of Liège（列日大学）
使用人类受试者评估解释技术是昂贵的，耗时的，并可能导致主观评估。为了评估局部解释的准确性，我们需要访问给定实例的真实特征重要性分数。然而，模型的预测函数通常不会分解为线性加性项，以指示特征对输出的贡献程度。在这项工作中，我们建议将重点放在预测函数的对数比值比（LOR）上，它可以自然地分解为逻辑回归和朴素贝叶斯的加法项。我们演示了如何我们可以基准不同的解释技术在他们的相似性LOR分数的基础上，我们提出的方法。在实验中，我们比较了突出的局部解释技术，发现这些技术的性能取决于底层模型、数据集、解释的数据点、数据的归一化和相似性度量。
2022-01-28 cs.LG stat.ML
Evaluating Robustness of Counterfactual Explanations
Bielefeld University（比勒费尔德大学）
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作（如对输入的更改）向用户解释行为，这些操作将导致系统的不同（指定）行为。然而，这种解释方法对于输入的微小变化可能是不稳定的，即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的，因为两个相似的人可能会得到非常不同的解释。更糟糕的是，如果建议的行动在复杂性上有很大的不同，人们会认为这种不稳定的（反事实的）解释是不公平的。在这项工作中，我们正式和实证研究的鲁棒性的反事实的解释一般，以及在不同的模型和不同种类的扰动。此外，我们建议，合理的反事实解释，而不是最接近的反事实解释，以提高鲁棒性，从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Evaluating the overall sensitivity of saliency-based explanation methods
The University of British Columbia（不列颠哥伦比亚大学）
本文针对“黑盒”Deep Learning模型解释方法缺乏跨领域适用性和严谨方法论的问题，选择并扩展了一种模型无关的测试，通过设定阈值和标准来评估和比较解释方法的整体敏感性，并探讨了敏感性与忠实性的关系。
2023-06-21 cs.AI cs.LG
Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
提出一种自动将神经元激活与逻辑公式对齐的概念解释框架，通过值敏感离散化将连续状态转化为可解释原子概念，为深度强化学习模型提供细粒度神经元级解释。
2026-07-01 cs.AI cs.LG
Evaluating the stability of model explanations in instance-dependent cost-sensitive credit scoring
Ghent University（根特大学）；CVAMO Core Lab（CVAMO核心实验室）
本研究评估了实例依赖成本敏感（IDCS）信用评分模型中LIME和SHAP解释的稳定性，发现IDCS虽提升成本效率，但解释稳定性显著低于传统模型，凸显成本优化与可解释性的权衡及解决该问题的紧迫性。
2025-09-01 cs.LG
Evaluating Link Prediction Explanations for Graph Neural Networks
CENTAI Institute（CENTAI研究所）
本文针对图神经网络链路预测模型解释验证不足的问题，提出有/无真值情况下的定量评估指标，评估最先进可解释性方法，并探讨链路预测特定假设与技术细节对解释质量的影响。
2023-08-03 cs.AI cs.LG
Fairness via Explanation Quality: Evaluating Disparities in the Quality of Post hoc Explanations
Brown University（布朗大学）；Harvard University（哈佛大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
由于事后解释方法越来越多地被用来解释高风险环境中的复杂模型，因此确保所产生的解释的质量在包括少数群体在内的各种人口亚群中始终保持高质量变得至关重要。例如，与属于特定性别子组的实例相关联的解释（例如，女性）的准确性不如其他性别的准确性。然而，几乎没有研究评估是否存在这种基于群体的差异，在国家的最先进的解释方法输出的解释的质量。在这项工作中，我们解决了上述差距，通过启动研究，确定基于群体的差异的解释质量。为此，我们首先概述了构成解释质量的关键属性，以及差异可能特别成问题的地方。然后，我们利用这些属性，提出了一个新的评估框架，可以定量测量的差距，在质量的解释输出的最先进的方法。使用这个框架，我们进行了严格的实证分析，以了解是否以及何时出现基于群体的解释质量差异。我们的研究结果表明，当被解释的模型是复杂的和高度非线性的时，这种差异更有可能发生。此外，我们还观察到，某些事后解释方法（例如，综合征（SHAP）更有可能表现出上述差异。据我们所知，这项工作是第一个突出和研究的问题，基于群体的差异解释质量。在这样做的过程中，我们的工作揭示了以前未探索的方式，解释方法可能会在现实世界的决策中引入不公平。
2022-07-01 cs.LG
Evaluating Explanation Methods by the Predictors They Induce
Oslo Metropolitan University（奥斯陆城市大学）；SimulaMet；Oslo University Hospital（奥斯陆大学医院）
提出通过将解释转化为预测器并测试其复现能力来评估解释方法，证明特征依赖性决定方法优劣，SHAP在相关特征上领先。
2026-09-18 cs.LG
Evaluating Explanation Methods for Deep Learning in Security
Technische Universität Braunschweig（布伦瑞克工业大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
深度学习越来越多地被用作安全系统的构建块。不幸的是，神经网络很难解释，并且通常对从业者来说是不透明的。机器学习社区已经开始通过开发解释神经网络预测的方法来解决这个问题。虽然这些方法中的一些已经成功地应用于计算机视觉领域，但它们在安全方面的应用迄今为止很少受到关注。哪种解释方法适合于计算机安全，以及它们需要满足什么要求，这是一个悬而未决的问题。在本文中，我们介绍了在计算机安全的背景下比较和评估解释方法的标准。这些属性包括一般属性，例如解释的准确性，以及以安全为重点的方面，例如完整性，效率和鲁棒性。基于我们的标准，我们调查了六种流行的解释方法，并评估它们在恶意软件检测和漏洞发现的安全系统中的实用性。我们观察到的方法之间的显着差异，并建立在这些基础上，以获得一般性的建议，选择和应用解释方法在计算机安全。
2020-04-27 cs.CR cs.LG stat.ML
Evaluating Explanations: An Explanatory Virtues Framework for Mechanistic Interpretability -- The Strange Science Part I.ii
UK AI Security Institute（英国人工智能安全研究院）
本文针对机制可解释性缺乏评估解释通用方法的问题，引入了基于科学哲学四视角的解释性美德框架，系统评估并改进解释，指出 Compact Proofs 是极具前景的方法，并提出了未来研究方向。
2025-05-02 cs.AI cs.CL cs.HC
Evaluating the Ability of Explanations to Disambiguate Models in a Rashomon Set
本文提出AXE方法，用于评估模型解释的质量，以区分Rashomon集合中模型的行为差异，防止虚假解释误导评估。
2026-01-13 cs.AI cs.LG stat.ML
Evaluating Explanation Without Ground Truth in Interpretable Machine Learning
Texas A&M University（德州农工大学）
可解释的机器学习（IML）在许多现实世界的应用中变得越来越重要，例如自动驾驶汽车和医疗诊断，在这些应用中，人们更倾向于解释，以帮助人们更好地理解机器学习系统是如何工作的，并进一步增强他们对系统的信任。然而，由于场景的多样性和解释的主观性，我们很少有真值的基准评估在IML的质量产生的解释。具有解释质量的感觉不仅对评估系统边界很重要，而且有助于在实际环境中实现人类用户的真正利益。为了对IML中的评估进行基准测试，在这篇文章中，我们严格定义了评估解释的问题，并系统地回顾了现有的努力。具体来说，我们总结了解释的三个一般方面（即，概括性、忠实性和说服性），并分别对不同任务下的代表性方法论进行了评述。此外，根据开发人员和最终用户的分层需求，设计了一个统一的评估框架，可以很容易地在实践中采用不同的场景。最后，讨论了开放的问题，并提出了一些现有的评估技术的局限性，为未来的探索。
2019-08-15 cs.AI cs.HC cs.LG
Evaluating counterfactual explanations using Pearl's counterfactual method
University of the Witwatersrand（威特沃特斯兰德大学）
反事实解释（英语：Counterfactual explanations，CE）是一种产生另一种情景的方法，这种情景会产生不同的理想结果。例如，如果一个学生被预测会不及格，那么反事实解释可以为学生提供替代方法，这样他们就可以被预测会通过。应用程序很多。然而，CE目前是从机器学习模型生成的，这些模型不一定考虑数据中的真实因果结构。通过这样做，可以将偏差引入CE量中。我建议在这项研究中，测试CE使用朱迪亚珍珠的计算反事实的方法，迄今为止，令人惊讶的是，没有看到在反事实的解释（CE）的文献。此外，我评估这些CE上的三个不同的因果结构，以显示如何真正的潜在因果结构影响CE的产生。本研究提出了一种使用Pearl方法评估CE的方法，结果表明（尽管使用了有限的样本量），30%的CE与Pearl方法计算的CE相冲突。这表明，我们不能简单地相信CE，在使用原始机器学习模型盲目计算反事实之前，了解真正的因果结构至关重要。
2023-01-06 cs.LG stat.ML
CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
针对音乐生成模型缺乏有效评估机制的问题，提出CMI-RewardBench基准，包含大规模偏好数据集和参数高效奖励模型，实现多模态指令下的音乐质量评估。
2026-06-12 cs.AI cs.LG cs.MM
Learning and Evaluating Graph Neural Network Explanations based on Counterfactual and Factual Reasoning
Rutgers University（罗格斯大学）
结构化数据广泛存在于Web应用中，例如社会媒体中的社交网络、学术网站中的引文网络以及在线论坛中的线程数据。由于复杂的拓扑结构，很难处理和利用这些数据中的丰富信息。图神经网络（GNNs）在学习结构化数据表示方面显示出巨大的优势。然而，深度学习模型的非透明性使得解释和解释GNN做出的预测变得非常重要。同时，评估GNN解释也是一个很大的挑战，因为在许多情况下，地面实况解释是不可用的。在本文中，我们从因果推理理论中获得了反事实和事实（CF^2）推理的见解，以解决可解释GNN中的学习和评估问题。对于生成的解释，我们提出了一个模型不可知的框架，制定一个优化问题的基础上，两个休闲的角度。这将CF^2与以前只考虑其中一个的可解释GNN区分开来。这项工作的另一个贡献是对GNN解释的评估。为了在不需要地面事实的情况下对生成的解释进行定量评估，我们设计了基于反事实和事实推理的度量标准来评估解释的必要性和充分性。实验表明，无论地面真相解释是否可用，CF^2都能在真实世界数据集上生成比以前最先进的方法更好的解释。此外，统计分析证明地面实况评估的性能和我们提出的指标之间的相关性。源代码可在https://github.com/chrisjtan/gnn_cff上获得。
2022-05-10 cs.IR cs.LG
Does Data Scaling Lead to Visual Compositional Generalization?
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）
本研究通过控制实验证明，视觉组合泛化由数据多样性驱动而非数据规模，并揭示线性分解的表示结构是实现高效组合泛化的关键。
2025-07-09 cs.LG
When Machine Learning Gets Personal: Evaluating Prediction and Explanation
University of California, Santa Barbara（加州大学圣芭芭拉分校）
本文探讨了个性化模型对预测和解释的影响，提出统一框架量化个性化对两者的影响，并通过实证分析揭示了数据集统计对测试效果的限制。
2026-03-17 cs.LG
Evaluating Explainability for Graph Neural Networks
Adobe（奥多比公司）；University of Tennessee（田纳西大学）；Harvard Business School（哈佛商学院）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
随着事后解释越来越多地用于理解图神经网络（GNN）的行为，评估GNN解释的质量和可靠性变得至关重要。然而，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对于给定的任务没有或不可靠的地面实况解释。在这里，我们介绍一个合成图数据生成器，ShapeGGen，它可以生成各种基准数据集（例如，变化的图大小、度分布、同亲图与异亲图），并伴有地面实况解释。此外，生成各种合成数据集和相应的地面实况解释的灵活性使我们能够模拟各种真实世界应用程序生成的数据。我们将ShapeGGen和几个真实世界的图形数据集纳入开源图形解释库GraphXAI。除了具有地面实况解释的合成和真实世界图形数据集外，GraphXAI还提供数据加载器，数据处理功能，可视化工具，GNN模型实现和评估指标，以基准测试GNN可解释性方法的性能。
2023-01-16 cs.AI cs.LG
Towards a Unified Framework for Evaluating Explanations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文梳理机器学习与人机交互领域对可解释性的评估差异与重叠，提出构建统一评估框架，明确解释作为模型与利益相关者中介的作用及相关标准的关联，并以可解释神经网络预测学习者行为研究为例进行说明。
2024-07-14 cs.AI cs.LG
Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
近年来，解释机器学习模型的数学方法激增。我们进行了人类受试者测试，这是同类测试中的第一次，以隔离算法解释对模型可解释性，可模拟性的关键方面的影响，同时避免重要的混淆实验因素。当一个人可以根据新的输入预测其行为时，模型是可模拟的。通过文本和表格数据的两种模拟测试，我们评估了五种解释方法：（1）LIME，（2）锚，（3）决策边界，（4）原型模型，和（5）一个组合的方法，从每种方法的解释。在极少数情况下，发现方法有效性的明确证据：LIME提高了表格分类的可模拟性，我们的原型方法在反事实模拟测试中是有效的。我们也收集解释的主观评分，但我们没有发现评分可以预测解释的帮助程度。我们的研究结果提供了第一个可靠和全面的估计如何解释影响模拟性在各种解释方法和数据域。我们表明，（1）我们需要小心我们用来评估解释方法的指标，（2）目前的方法有很大的改进空间。我们所有的支持代码、数据和模型都可以在https://github.com/peterbhase/InterpretableNLP-ACL2020上公开获取。
2020-05-04 cs.AI cs.CL cs.LG
Evaluating Local Explainability Metrics for Machine Learning Models on Tabular Data
GECAD, ISEP, Polytechnic of Porto（GECAD、ISEP、波尔图理工大学）
研究局部可解释性技术在复杂表格分类任务中的可信度，通过基准测试LIME、Kernel SHAP和特征消融技术，发现解释质量主要受数据集复杂性和特征分布影响，而非模型预测性能。
2026-06-16 cs.LG
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge（剑桥大学）
本研究针对对称群下预测不变的神经网络，借助几何深度学习形式化解释不变性与等变性，提出鲁棒性度量指标、理论保证与提升方法，并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
Grounded but Misleading: Evaluating Semantic Alignment in AI-Generated Security Explanations
Virginia Tech（弗吉尼亚理工学院）
本文研究了AI生成的安全解释中语义对齐的问题，通过VEXA测试平台验证了词汇基础与语义风险对齐之间的差距，发现即使解释在词汇上显得合理，其语义解释可能削弱检测器的意图风险评估。
2026-06-03 cs.CL cs.CR cs.LG
Evaluating Explanation Methods for Multivariate Time Series Classification
University College Dublin（都柏林大学）
本文评估了针对多变量时间序列分类（MTSC）的基于显著性的解释方法（SHAP和dCAM），在合成与真实数据集上分析了ROCKET和dResNet分类器，发现通道拼接展平策略效果相当且SHAP改编表现良好，同时指出部分合成数据集不适用。
2023-09-07 cs.LG
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
在NLP社区中，关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中，我们（i）在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性，以及（ii）将这种分析扩展到也包括基于transformer的模型。我们发现，基于注意力的解释并不强烈相关的任何最近的特征归因方法，无论模型或任务。此外，我们发现，没有一个测试的解释强烈相关，彼此为transformer为基础的模型，导致我们质疑的基本假设，我们应该衡量基于注意力的解释的有效性的基础上，以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后，我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法，并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程，通过反事实实验评估大语言模型行为的解释，发现常见可解释性技术无预测提升，且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
Evaluating LLM-Based Process Explanations under Progressive Behavioral-Input Reduction
University of Twente（特文特大学）
本文评估了在渐进式缩减行为输入规模时，基于LLM生成过程模型解释的质量变化，发现适度缩减输入能在基本保持解释质量的同时降低计算成本，为资源受限环境下的高效过程分析提供了可行路径。
2025-10-10 cs.AI cs.LG
