Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题，本文提出EARL库用于生成反事实解释，并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Counterfactual Shapley Additive Explanations
J.P. Morgan AI Research（摩根大通人工智能研究院）
特征属性是模型解释的常见范例，因为它们简单地为模型的每个输入特征分配单个数值分数。在可操作的追索设置中，解释的目标是改善模型消费者的结果，通常不清楚如何正确使用特征属性。通过这项工作，我们的目标是加强和澄清可诉追索权和特征属性之间的联系。具体地说，我们提出了SHAP的一个变体，反事实SHAP（CF-SHAP），它结合了反事实信息来产生一个背景数据集，用于在边缘（也称为Shapley值框架。我们激励需要在可操作的追索权设置仔细考虑背景数据集时，使用Shapley值的特征属性与众多的合成的例子。此外，我们证明了CF-SHAP的有效性，提出并证明了一个定量分数的特征属性，反事实能力，表明通过这种度量，CF-SHAP是优于现有的方法时，公共数据集使用树集成进行评估。
2022-05-16 cs.AI cs.LG
Counterfactual Effect Decomposition in Multi-Agent Sequential Decision Making
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对多智能体马尔可夫决策过程，提出因果公式将行动的反事实效应分解并归因于智能体与状态变量，并在 Gridworld 和脓毒症管理场景验证可解释性。
2025-10-21 cs.AI cs.MA
Counterfactual States for Atari Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
尽管深度强化学习代理在许多领域都取得了令人印象深刻的成果，但它们的决策很难向人类解释。为了解决这个问题，过去的工作主要集中在解释为什么在给定的状态下选择一个动作。另一种有用的解释是反事实解释，它涉及“如果？“场景。在这项工作中，我们引入了反事实状态的概念，以帮助人类更好地了解Atari游戏图像中需要改变（最低限度）的代理选择不同的动作。我们引入了一种新的方法来从生成式深度学习架构中创建反事实状态。此外，我们评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的用户研究结果表明，我们生成的反事实状态是有用的，帮助非专家参与者获得更好地了解代理的决策过程。
2019-09-27 cs.AI cs.HC cs.LG
Joint Distribution-Informed Shapley Values for Sparse Counterfactual Explanations
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；AI Labs, King (Microsoft Gaming)（微软游戏AI实验室）
COLA通过联合分布感知的Shapley值方法，优化反事实解释的特征编辑，减少冗余修改，提升解释的清晰度和实用性。
2026-02-27 cs.AI cs.LG stat.ME
Explaining and visualizing black-box models through counterfactual paths
MI2.AI；Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）；Human-Centered AI Lab, University of Natural Resources and Life Sciences, Vienna（维也纳自然资源与生命科学大学人本人工智能实验室）
本文提出一种新颖的可解释AI方法，利用特征条件排列生成的反事实路径衡量特征重要性，为黑盒模型的解释和可视化引入额外的图维度，并在合成与医疗数据上验证了其实用性。
2023-08-01 cs.AI
Shapley Counterfactual Credits for Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
集中训练与分散执行（CTDE）是协作多智能体强化学习（MARL）环境中的一种流行范式，并在许多实际应用中得到广泛应用。训练过程中的一个主要挑战是信用分配，其目的是根据全局奖励来推断每个代理的贡献。现有的信用分配方法集中于将联合价值函数分解为单个价值函数或测量局部观测和动作对全局价值函数的影响。这些方法缺乏对多个代理之间复杂交互的全面考虑，导致不适当的信用分配，从而导致MARL结果平庸。我们提出了Shapley反事实信用分配，一种新的方法，明确的信用分配占联盟的代理。具体而言，Shapley值及其所需属性在深度MARL中被利用来对任何代理组合进行信贷，这使我们能够估计每个代理的个人信贷。尽管有这种能力，主要的技术困难在于Shapley值的计算复杂性，Shapley值随着代理的数量而因子地增长。相反，我们利用近似方法通过蒙特卡罗采样，这降低了样本的复杂性，同时保持其有效性。我们评估我们的方法在星际争霸II基准在不同的情况下。我们的方法优于现有的合作MARL算法显着，达到了最先进的，特别是大利润率的任务，更严重的困难。
2022-01-23 cs.AI cs.MA
Explaining black box decisions by Shapley cohort refinement
Hitachi, Ltd.（日立有限公司）；Stanford University（斯坦福大学）
我们引入了一个变量的重要性度量来量化单个输入变量对黑盒函数的影响。我们的措施是基于合作博弈论的Shapley值。许多变量重要性的度量通过改变一些预测值而其他预测值保持不变来操作，可能会产生不太可能甚至逻辑上不可能的组合。我们的队列Shapley测量仅使用观察到的数据点。我们不改变预测因子的值，而是包括或排除与该预测因子上的目标受试者相似的受试者，以形成相似性队列。然后我们将Shapley值应用于队列平均值。我们将可解释AI的变量重要性度量与全局敏感性分析的函数分解相连接。我们引入了一个平方队列Shapley值，将先前研究的Shapley效应与Shapley公理相一致。
2020-10-01 cs.AI cs.LG econ.EM
MultiSHAP: A Shapley-Based Framework for Explaining Cross-Modal Interactions in Multimodal AI Models
MultiSHAP是一种基于Shapley的框架，用于解释多模态AI模型中跨模态交互的可解释性方法，能够提供实例和数据集级别的解释，揭示模型预测的协同效应和跨模态整合机制。
2026-02-16 cs.AI
Shapley value-based approaches to explain the robustness of classifiers in machine learning
University of Campinas（坎皮纳斯大学）；Leeds University Business School（利兹大学商学院）；COMSATS University Islamabad（伊斯兰堡COMSATS大学）
算法不可知论方法的使用是一个新兴的研究领域，用于解释个体特征对预测结果的贡献。虽然重点是解释预测本身，但在解释这些模型的鲁棒性方面做了一些工作，即每个特征如何有助于实现这种鲁棒性。在本文中，我们建议使用Shapley值来解释每个特征对模型鲁棒性的贡献，这些特征可以用受试者工作特征（ROC）曲线和ROC曲线下面积（AUC）来衡量。借助一个说明性的例子，我们展示了解释ROC曲线，并可视化这些曲线的不确定性的建议的想法。对于不平衡数据集，使用精确召回曲线（PRC）被认为是更合适的，因此我们也演示了如何解释PRCs与Shapley值的帮助。鲁棒性的解释可以在许多方面帮助分析人员，例如，它可以通过识别可以被移除以降低计算复杂性的不相关特征来帮助特征选择。它还可以帮助识别对鲁棒性具有关键贡献或负面贡献的特征。
2022-11-03 cs.AI cs.LG
Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour
DeepFlow
本文提出AXIS方法，通过语言模型与环境模拟器交互生成人类中心的多智能体行为解释，提升解释正确性和目标预测准确性。
2025-10-28 cs.AI
ShaRP: Explaining Rankings and Preferences with Shapley Values
New York University（纽约大学）；Ukrainian Catholic University（乌克兰天主教大学）
针对排名任务中分类/回归解释方法不足的问题，提出基于 Shapley 值的 ShaRP 框架，解释特征对排名、top-k 及成对偏好结果的贡献，并通过多维评估验证其实用性。
2025-07-28 cs.AI cs.CY
Explaining medical AI performance disparities across sites with confounder Shapley value analysis
Stanford University（斯坦福大学）
医疗AI算法在以前看不见的网站上进行评估时，通常会遇到性能下降的情况。解决跨站点性能差异是确保AI在部署到不同患者人群时公平有效的关键。多中心评估是诊断此类差异的关键，因为它们可以在更广泛的潜在偏差（如患者人口统计学、设备类型和技术参数）中测试算法。然而，这样的测试并不能解释为什么模型表现得更差。我们的框架提供了一种方法，用于量化每种类型的偏差对整体性能差异的边际和累积影响，当模型在外部数据上进行评估时。我们在一个经过训练以检测气胸存在的深度学习模型的案例研究中证明了它的有用性，在这个案例研究中，我们的框架可以帮助解释不同部位之间高达60%的性能差异，这些差异具有已知的偏见，如疾病合并症和成像参数。
2021-11-12 cs.AI cs.LG
WindowSHAP: An Efficient Framework for Explaining Time-series Classifiers based on Shapley Values
University of Arizona（亚利桑那大学）；Virginia Tech（弗吉尼亚理工大学）；University of Cincinnati（辛辛那提大学）
提出WindowSHAP框架，通过时间窗口划分和三种算法高效计算Shapley值，解释时间序列分类器，在临床数据上优于基线方法并显著降低计算复杂度。
2023-05-08 cs.AI cs.LG
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin（都柏林大学学院）；Accenture Labs（埃森哲实验室）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
反事实解释是一种越来越受欢迎的事后解释形式，这是由于它们（i）跨问题领域的适用性，（ii）建议的法律合规性（例如，与GDPR），以及（iii）依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例，但我们探索了一种新的用例，其中使用“组反事实”（例如，以突出显示一组患者中的疾病的重复模式）。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的，组反事实算法，以产生高覆盖率的解释，是忠实于被解释的模型。该解释策略也在一项大型对照用户研究（N=207）中进行了评估，使用客观（即，准确性）和主观性（即，信心、解释满意度和信任）心理测量。结果表明，群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Explaining Drift using Shapley Values
American Express（美国运通）
本文提出 DBShap 框架，利用 Shapley 值识别并量化模型性能概念漂移的特征及输入输出关系变化等驱动因素，以解释漂移根因并提升模型鲁棒性。
2024-01-18 cs.AI cs.LG
Explaining the Model and Feature Dependencies by Decomposition of the Shapley Value
KU Leuven University（荷语鲁汶大学）
本文提出一种结合条件与非条件Shapley值的新算法，以消除解释选择负担，增强模型及特征依赖性的解释能力，并在真实数据集上验证其有效性。
2023-06-19 cs.AI cs.LG
Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces
UC San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
尽管现代复杂图像分类器具有很高的准确性，但由于其未知的决策过程和潜在的偏见，它们不能被信任用于敏感任务。反事实解释在为这些黑箱算法提供透明度方面非常有效。然而，生成可以对分类器输出产生一致影响但又暴露可解释的特征变化的反事实是一项非常具有挑战性的任务。我们介绍了一种新的方法，使用预训练的生成模型为图像分类器生成因果关系和可解释的反事实解释，而无需任何重新训练或调节。这种技术中的生成模型不一定要在与目标分类器相同的数据上进行训练。我们使用这个框架来获得对比和因果的充分性和必要性分数作为黑盒分类器的全球性解释。在人脸属性分类的任务中，我们展示了不同的属性如何通过提供因果和对比特征属性以及相应的反事实图像来影响分类器的输出。
2022-06-10 cs.AI cs.CV
HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization
本文提出基于Shapley值与交互作用的博弈论框架HyperSHAP，用于解释超参数优化中超参数的贡献与交互，提升HPO的可解释性和用户信任。
2025-11-10 cs.AI cs.LG stat.ML
Helpful or Harmful Data? Fine-tuning-free Shapley Attribution for Explaining Language Model Predictions
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局信息通信研究所）
本文针对实例归因分数对数据集重采样缺乏鲁棒性的问题，提出基于神经正切核的免微调Shapley值近似方法FreeShap，在实例归因及数据移除、数据选择、错误标签检测等任务中优于现有方法，并可扩展到大型语言模型。
2024-06-07 cs.AI cs.LG
Game-theoretic Counterfactual Explanation for Graph Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出一种基于半值（Banzhaf值）的非学习反事实解释方法，用于图神经网络节点分类，无需额外训练，较Shapley值方法样本复杂度更低、速度提升达四倍，且在噪声环境下更具鲁棒性，同时保持解释质量。
2024-02-08 cs.AI cs.LG
VCNet: A self-explaining model for realistic counterfactual generation
Orange Labs（橙色实验室）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与随机系统研究所）
反事实解释是对机器学习决策进行局部解释的一类常见方法。对于给定的实例，这些方法旨在找到改变由机器学习模型做出的预测决策的特征值的最小修改。反事实解释的挑战之一是如何有效地生成现实的反事实。为了应对这一挑战，我们提出了VCNet变分计数器网络模型架构，结合了预测器和反事实发生器，联合训练，回归或分类任务。VCNet能够生成预测，并生成反事实解释，而无需解决另一个最小化问题。我们的贡献是生成接近预测类分布的反事实。这是通过以联合训练方式有条件地学习变分自编码器到预测器的输出来完成的。我们对表格数据集和几个可解释性指标进行了实证评估。结果与最先进的方法具有竞争力。
2022-12-21 cs.AI cs.LG
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
The Explanation Game: Explaining Machine Learning Models Using Shapley Values
Fiddler Labs（菲德勒实验室）
已经提出了许多技术来通过将机器学习模型的预测归因于相应的输入特征来解释该预测。其中流行的技术是应用合作博弈论的Shapley值方法。虽然现有的论文专注于Shapley值的公理化动机和计算它们的有效技术，但它们几乎没有为所使用的博弈公式提供任何理由，也没有解决其方法输出中隐含的不确定性。例如，流行的SHAP算法的公式可能会对在模型中不起作用的特征赋予实质性的属性。在这项工作中，我们说明了如何微妙的差异，在现有的方法的基础游戏配方可能会导致大的差异，在归因的预测。然后，我们提出了一个通用的游戏配方，统一现有的方法，并使他们的属性直接的置信区间。此外，它允许我们将属性解释为相对于参考输入分布的输入的对比解释。我们将这个想法与认知心理学中关于对比解释的经典研究联系起来，并提出了一个概念框架，用于生成和解释ML模型的解释，称为公式化，近似，解释（FAE）。我们应用这个框架来解释在两个UCI数据集和一个Lending Club数据集上训练的黑盒模型。
2020-06-25 cs.AI cs.LG stat.ML
Explaining 3D Computed Tomography Classifiers with Counterfactuals
Stanford University（斯坦福大学）
本文将Latent Shift反事实生成方法扩展至3D CT分类器，通过基于切片的自编码器和梯度阻断解决训练样本有限及高内存需求问题，实现了内存高效且可解释的高分辨率3D医学成像反事实解释。
2025-04-02 cs.AI cs.CV
DeltaSHAP: Explaining Prediction Evolutions in Online Patient Monitoring with Shapley Values
KAIST（韩国科学技术院）
DeltaSHAP 是一种新型可解释 AI 算法，通过适应时间序列的 Shapley 值，实时解释在线患者监测中连续预测的演变，满足临床需求，并在 MIMIC-III 基准上显著提升了解释质量和计算效率。
2025-07-12 cs.AI cs.LG
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Explaining Concept Drift through the Evolution of Group Counterfactuals
Poznan University of Technology（波兹南技术大学）
本文提出通过分析群体反事实解释的时间演化来揭示概念漂移的成因，构建三层框架以区分数据偏移与概念重标注，实现更全面的漂移诊断。
2025-09-11 cs.AI cs.LG
Explaining Model Confidence Using Counterfactuals
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
人类与人工智能交互的可信度得分已被证明有助于建立人类与人工智能系统之间的信任。然而，大多数现有的研究仅使用置信度得分作为一种沟通形式。由于置信度分数只是另一个模型输出，因此用户可能希望了解算法为什么有信心确定是否接受置信度分数。在本文中，我们表明，信心分数的反事实解释有助于研究参与者更好地理解和更好地信任机器学习模型的预测。我们提出了两种使用反事实解释理解模型置信度的方法：（1）基于反事实示例;（2）基于反事实空间的可视化。两者都增加了研究参与者对没有解释的基线的理解和信任，但定性结果表明，它们的使用方式完全不同，从而提出了何时使用每一种解释的建议以及设计更好解释的方向。
2023-03-10 cs.AI cs.HC cs.LG
Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
Penn State Harrisburg（宾夕法尼亚州立大学哈里斯堡分校）
本研究提出基于知识图谱反事实的框架，通过最小结构扰动解释微调LLM，揭示其结构依赖与LoRA参数偏移的关联。
2025-09-25 cs.AI cs.LG
Explaining Black-Box Models through Counterfactuals
Delft University of Technology（代尔夫特理工大学）
本文介绍 Julia 软件包 CounterfactualExplanations.jl，利用多样化反事实生成器为黑盒模型生成 CE 与可执行 AR，强调易用性、可定制性和可扩展性。
2023-08-14 cs.AI cs.LG cs.PL
Explaining Bayesian Optimization by Shapley Values Facilitates Human-AI Collaboration
Ludwig-Maximilians-Universität (LMU) Munich（慕尼黑大学）；John A. Paulson Harvard School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Wyss Institute for Biologically Inspired Engineering, Harvard University（哈佛大学怀斯生物启发工程研究所）
针对贝叶斯优化（BO）自身黑箱性难以解释参数提议的问题，提出ShapleyBO框架，用Shapley值量化参数对采集函数及探索利用的贡献，还可拆解不确定性探索类型，配套人机界面支持人在回路干预，在可穿戴机器人个性化场景中验证能降低团队regret。
2024-03-08 cs.AI cs.HC cs.LG
Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach
New York University（纽约大学）
我们研究了反事实解释，以解释基于模型的AI系统所做的决定。我们考虑的反事实方法将解释定义为系统的一组数据输入，这些数据输入因果地驱动决策（即，改变集合中的输入改变判决）并且是不可约的（即，改变输入的任何子集不改变决策）。我们（1）演示了如何使用这个框架来解释一般的数据驱动的AI系统所做的决策，这些系统可能包含具有任意数据类型和多个预测模型的特征，以及（2）提出了一个启发式程序来根据上下文找到最有用的解释。然后，我们将反事实解释与通过根据特征的重要性对其进行加权来解释模型预测的方法进行对比（例如，SHAP，LIME），并提出了两个基本原因，为什么我们应该仔细考虑重要性权重解释是否适合解释系统决策。具体来说，我们表明：（i）对于模型预测具有较大重要性权重的特征可能不会影响相应的决策，以及（ii）重要性权重不足以传达特征是否以及如何影响决策。我们用几个简洁的例子和三个详细的案例研究来证明这一点，这些案例研究将反事实方法与SHAP进行了比较，以说明反事实解释比重要性权重更好地解释数据驱动决策的各种条件。
2021-10-13 cs.AI cs.LG stat.ML
Enhancing Interpretability for Vision Models via Shapley Value Optimization
本文提出一种通过Shapley值优化提升视觉模型可解释性的自解释框架，通过训练过程中的辅助任务实现预测分数的公平分配，从而提升模型的可解释性并保持性能。
2025-12-16 cs.AI cs.CV
Explaining $\mathcal{ELH}$ Concept Descriptions through Counterfactual Reasoning
Paderborn University（帕德博恩大学）
针对知识库与描述逻辑 $\u2113\u210b$ 中概念描述难以被非专业人士理解的问题，本文提出基于最小特征改变的反事实解释方法，并通过用户调研验证了候选项的偏好性。
2023-10-04 cs.AI cs.LG
Explaining Group Recommendations via Counterfactuals
Data Science Research Centre, Tampere University Tampere Finland；Hellenic Mediterranean University \& Archimedes/Athena RC Greece；Data Science Research Centre, Tampere University；Hellenic Mediterranean University \& Archimedes/Athena RC
本文提出群体反事实解释框架，通过分析历史交互对群体推荐的影响，设计高效算法并验证其在稀疏数据中的效率提升。
2026-11-04 cs.AI cs.IR
Explaining Low Perception Model Competency with High-Competency Counterfactuals
University of California, Berkeley（加州大学伯克利分校）
本文提出五种生成高能力反事实图像的方法，用于解释模型预测不确定性的原因，并通过实验验证了其在生成语言解释中的有效性。
2025-04-07 cs.AI cs.CV cs.LG
Explaining Large Language Models Decisions Using Shapley Values
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于合作博弈论 Shapley 值的模型无关方法，量化提示词各组件对 LLM 输出的贡献，揭示了 LLM 决策受低信息量 token 过度影响的“token 噪声”效应，为优化提示词和减轻认知偏差提供工具。
2024-11-12 cs.AI cs.CL cs.LG
Explaining Reject Options of Learning Vector Quantization Classifiers
Bielefeld University（比勒费尔德大学）
虽然机器学习模型通常被假设总是输出预测，但也存在拒绝选项形式的扩展，允许模型拒绝输入，其中只有具有不可接受的低确定性的预测是可能的。随着可解释人工智能的不断兴起，已经开发了许多解释模型预测的方法。然而，理解为什么一个给定的输入被拒绝，而不是被模型分类，也是有意义的。令人惊讶的是，迄今为止尚未考虑拒绝的解释。我们建议使用反事实的解释解释拒绝和调查如何有效地计算反事实的解释不同的拒绝选项的一类重要的模型，即基于原型的分类器，如学习矢量量化模型。
2022-02-15 cs.AI cs.LG
UniCoMTE: A Universal Counterfactual Framework for Explaining Time-Series Classifiers on ECG Data
Boston University（波士顿大学）；Sandia National Laboratories（桑迪亚国家实验室）；Boston Medical Center（波士顿医学中心）
UniCoMTE提出了一种通用反事实框架，用于生成ECG时间序列分类器的可解释性，通过分析时间特征提升模型可解释性。
2025-12-22 cs.AI cs.LG
Alterfactual Explanations -- The Relevance of Irrelevance for Explaining AI Systems
Augsburg University（奥格斯堡大学）
来自反事实思维领域的解释机制是可解释人工智能（XAI）的广泛使用的范例，因为它们遵循人类熟悉的自然推理方式。然而，该领域的所有常见方法都是基于对AI决策特别重要的特征或特性的信息进行交流。我们认为，为了充分理解一个决定，不仅需要有关相关特征的知识，而且对不相关信息的认识也有助于创建用户的人工智能系统的心理模型。因此，我们引入了一种解释AI系统的新方法。我们的方法，我们称之为Alterfactual Approachations，是基于显示一个替代现实，其中AI输入的不相关特征被改变。通过这样做，用户直接看到输入数据的哪些特性可以任意改变而不影响AI的决定。我们在一项广泛的用户研究中评估了我们的方法，发现它能够显著促进参与者对AI的理解。我们表明，非事实的解释是适合传达的AI的推理比既定的反事实的解释方法的不同方面的理解。
2022-07-19 cs.AI
Semantic Cooperative Games for Contribution Attribution in LLM-Based Multi-Agent Systems
New York University（纽约大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对基于大语言模型的多智能体系统贡献归因问题，提出语义合作博弈框架，定义语义夏普利值，介绍单轨迹算法SLIC，在特定基准测试中大幅降低计算成本，在多角色工作流程中表现良好，为复杂系统提供快速、无反事实且可解释的归因方法。
2026-10-02 cs.AI
Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, San Diego（加州大学圣迭戈分校）
最近，人们对可解释人工智能（XAI）的兴趣重新抬头，XAI旨在减少基于AI的决策系统的不透明性，使人类能够仔细检查并信任它们。在这种情况下，以前的工作集中在算法的决策，其输入的责任，其中的责任通常是作为一个纯粹的联想概念接近的属性。在本文中，我们提出了一个原则性的基于能力的方法来解释黑盒决策系统，解决现有的方法在XAI的局限性。我们框架的核心是概率对比反事实，这个概念可以追溯到人类如何产生和选择解释的理论的哲学，认知和社会基础。我们展示了这样的反事实可以量化的直接和间接的影响，一个变量的算法所作出的决定，并提供可操作的追索权的算法的决定产生负面影响的个人。与以前的工作不同，我们的系统，LEWIS：（1）可以计算可证明有效的解释和追索权在本地，全球和上下文水平（2）的设计与用户的基础因果模型的不同水平的背景知识和（3）除了其输入-输出数据的可用性算法系统的内部不作任何假设。我们在三个真实世界的数据集上对LEWIS进行了经验评估，并表明它生成了人类可以理解的解释，这些解释改进了XAI中最先进的方法，包括流行的LIME和SHAP。在合成数据上的实验进一步证明了LEWIS解释的正确性和补偿算法的可扩展性。
2021-06-23 cs.AI cs.DB cs.LG
Rational Shapley Values
University College London（伦敦大学学院）
解释不透明的机器学习算法的预测是一项重要且具有挑战性的任务，特别是随着复杂模型越来越多地用于帮助高风险决策，例如医疗保健和金融领域的决策。用于事后可解释人工智能（XAI）的大多数流行工具要么对上下文不敏感（例如，特征属性）或难以总结（例如，反事实）。在本文中，我介绍了$\textit{rational Shapley values}$，一种新的XAI方法，综合和扩展这些看似不兼容的方法在一个严格的，灵活的方式。我利用决策理论和因果建模的工具来形式化和实现一种实用的方法，解决了XAI中的一些已知挑战。通过配对的随机变量的分布与适当的参考类为一个给定的解释任务，我说明通过理论和实验如何用户的目标和知识可以通知和约束的解决方案集在一个迭代的方式。该方法在一系列定量和定性比较中与最先进的XAI工具相媲美。
2022-05-16 cs.AI cs.LG
Explaining k-Nearest Neighbors: Abductive and Counterfactual Explanations
本文从特征视角研究k近邻分类的可解释性，提出归纳和反事实解释方法，并探讨其计算复杂性及实际应用。
2026-01-22 cs.AI cs.LG
SHAPNN: Shapley Value Regularized Tabular Neural Network
Samsung Display America Lab（三星显示美国实验室）
SHAPNN 提出一种用实时 Shapley 值正则化的深度表格神经网络，在无额外计算开销下提供解释并提升 AUROC、透明度与流式数据鲁棒性。
2023-09-15 cs.AI cs.LG
Explaining the root causes of unit-level changes
Amazon（亚马逊）
现有的可解释AI和可解释ML的方法无法解释统计单元的输出变量值的变化，即输入值的变化和“机制”（将输入转换为输出的函数）的变化。我们提出了两种基于反事实的方法，用于解释单位级的变化，在不同的输入粒度使用的概念，从博弈论的Shapley值。这些方法满足任何单位级变化归因方法所需的两个关键公理。通过仿真，我们研究了所提出的方法的可靠性和可扩展性。我们从一个案例研究中得到了合理的结果，该案例研究确定了美国个人收入变化的驱动因素。
2022-06-26 cs.AI cs.LG
Asymmetric Shapley values: incorporating causal knowledge into model-agnostic explainability
Faculty；University of Birmingham（伯明翰大学）
解释人工智能系统对于开发高性能模型以及用户对它们的信任都是至关重要的。Shapley可解释性框架在其普遍适用性方面具有优势，结合其精确，严格的基础：它为AI可解释性提供了一种通用的模型不可知语言，并唯一满足一组直观的数学公理。然而，Shapley值在一个重要方面限制太多：它们忽略了数据中的所有因果结构。我们引入了一个限制较少的框架，非对称Shapley值（ASV），它严格建立在一组公理之上，适用于任何AI系统，并且足够灵活，可以包含任何已知的因果结构。我们证明了ASV可以（i）通过引入因果信息来改善模型解释，（ii）为模型预测中的不公平歧视提供明确的测试，（iii）在时间序列模型中实现顺序递增的解释，以及（iv）支持特征选择研究而无需模型再训练。
2021-12-20 cs.AI cs.LG stat.ML
AgentSHAP: Interpreting LLM Agent Tool Importance with Monte Carlo Shapley Value Estimation
Fiverr Labs（Fiverr实验室）
AgentSHAP通过蒙特卡洛夏普利值估计为LLM代理提供工具重要性解释，解决了工具层面可解释性问题。
2025-12-14 cs.AI cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University（卡内基梅隆大学）
以前的工作表明，深度NLP模型并不总是概念上合理的：它们并不总是学习正确的语言概念。具体来说，他们可能对词序不敏感。为了系统地评估模型的概念合理性，相对于词序，我们介绍了一种新的解释方法：顺序敏感Shapley值（OSV）。我们进行了广泛的实证评估，以验证该方法，并揭示各种深度NLP模型学习词序的效果。使用合成数据，我们首先表明，OSV是更忠实地解释模型的行为比基于梯度的方法。其次，应用于HANS数据集，我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性，但OSV表明，增强模型并没有从根本上提高模型的阶次学习。第三，我们发现并非所有的情感分析模型都能正确地学习否定：有些模型无法捕捉到否定结构的正确语法。最后，我们证明了预训练的语言模型，如BERT，可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务，我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Counterfactual explainability and analysis of variance
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）
针对现有复杂模型解释工具无因果性、缺机制理解的问题，提出受遗传力启发的反事实可解释性概念，结合有向无环图拓展全局敏感性分析方法至依赖变量场景，给出估计方法并应用于收入不平等解释。
2025-10-04 cs.AI cs.LG stat.ML
Sample Observed Effects: Enumeration, Randomization and Generalization
University of Sao Paulo（圣保罗大学）
针对因果效应反事实定义缺乏泛化性的问题，提出干预效应外部有效性的组合定义，基于背景集合制定泛化条件，用组合框架审视反事实公式问题，替代参数估计并展示在COVID-19问题中的应用。
2024-06-02 cs.AI stat.ME
Align-Deform-Subtract: An Interventional Framework for Explaining Object Differences
University of Edinburgh（爱丁堡大学）
给定两个对象图像，我们如何解释它们在潜在对象属性方面的差异？为了解决这个问题，我们提出了对齐-变形-减法（ADS）-一个解释对象差异的干预框架。通过利用图像空间中的语义对齐作为对底层对象属性的反事实干预，ADS迭代地量化并消除对象属性中的差异。其结果是一组“解开”的错误措施，解释对象的差异方面的基本属性。在真实数据和合成数据上的实验表明了该框架的有效性。
2022-07-20 cs.AI cs.CV cs.LG
Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）；Deakin University（迪肯大学）
动机：已经提出了许多高性能的DTA模型，但它们大多是黑盒的，因此缺乏人类的可解释性。可解释人工智能（XAI）可以使DTA模型更值得信赖，也可以使科学家从模型中提取生物学知识。反事实解释是解释深层神经网络行为的一种流行方法，它通过系统地回答以下问题来工作："如果输入以这种方式改变，模型输出将如何改变？" ".大多数反事实解释方法只对单个输入数据进行操作。如何将基于反事实的XAI方法扩展到DTA模型仍然是一个悬而未决的问题，DTA模型有两个输入，一个是药物，一个是靶标，它们在本质上也是离散的。研究方法：我们提出了一个多智能体强化学习框架，多智能体反事实药物靶点结合亲和力（MACDA），产生反事实的药物-蛋白质复合物的解释。我们提出的框架提供了人类可解释的反事实实例，同时优化了反事实生成的输入药物和目标。结果如下：我们基准建议MACDA框架使用戴维斯数据集，并发现我们的框架产生更简约的解释没有损失的解释有效性，编码相似性和QED测量。然后，我们提出了一个涉及ABL1和尼洛替尼的案例研究，以证明MACDA如何解释DTA模型在其预测中输入之间的底层子结构相互作用中的行为，揭示与先前领域知识一致的机制。
2021-06-02 cs.AI cs.LG
