Explaining Probabilistic Models with Distributional Values
Amazon Web Services（亚马逊网络服务）；Helsing（赫尔辛公司）
针对 SHAP 等方法只解释标量概率而难以说明模型输出变化的问题，本文提出分布值并推导其在多种收益博弈下的解析形式，为概率模型提供更细粒度的解释。
2024-10-25 cs.LG
Delta-XAI: A Unified Framework for Explaining Prediction Changes in Online Time Series Monitoring
AITRICS；KAIST（韩国科学技术院）；Sungkyunkwan University（全北大学）
本文提出Delta-XAI框架，通过封装函数适配14种XAI方法，并引入在线环境下的评估套件，解决时间序列模型解释中的时间依赖性和在线动态挑战，实验显示SWING方法在多种指标上表现优异。
2026-04-25 cs.AI cs.LG
Beyond explaining: XAI-based Adaptive Learning with SHAP Clustering for Energy Consumption Prediction
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Software AG（软件AG公司）；Granlund（格兰隆德公司）
本文提出一种结合SHAP聚类的XAI自适应学习方法，通过三阶段流程处理数据分布漂移，在能耗预测中平衡模型复杂度与性能，实验证明其有效提升预测性能并提供可解释性。
2024-02-07 cs.DB cs.LG
Explaining Predictive Uncertainty with Information Theoretic Shapley Values
Meta, Central Applied Science（Meta 中央应用科学）
本文提出用信息论Shapley值解释预测不确定性，通过量化各特征对模型输出条件熵的贡献，建立与信息论及条件独立性检验的联系，并给出有限样本错误率控制的推断方法和高效算法，应用于协变量偏移检测、主动学习等任务。
2023-10-31 cs.LG stat.ML
Explaining Groups of Points in Low-Dimensional Representations
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Determined AI
数据探索中的一个常见工作流程是学习数据的低维表示，识别该表示中的点组，并检查组之间的差异以确定它们代表什么。我们将此工作流程视为可解释的机器学习问题，通过利用学习低维表示的模型来帮助识别组之间的关键差异。为了解决这个问题，我们引入了一种新的解释，一个全球反事实解释（GCE），和我们的算法，传递全球翻译（TGT），计算GCE。TGT使用压缩感测来识别每对组之间的差异，但将这些成对差异约束为在所有组之间一致。从经验上讲，我们证明了TGT能够识别准确解释模型的解释，同时相对稀疏，并且这些解释与数据中的真实模式相匹配。
2020-08-14 cs.LG stat.ML
Interpretable Semantic Textual Similarity: Finding and explaining differences between sentences
UPV/EHU（巴斯克大学）
用户对人工智能代理的接受程度可能取决于它们解释其推理的能力，这需要添加一个可解释性层，以便于用户理解其行为。本文着重于在语义文本相似度（STS）之上增加一个可解释层，它衡量两个句子之间的语义等价程度。可解释性层被形式化为跨两个句子的片段对之间的对齐，其中片段之间的关系被标记有关系类型和相似性得分。我们提出了一个公开的数据集的句子对注释后的形式化。然后，我们开发了一个在这个数据集上训练的系统，给定一个句子对，以分级和类型化片段对齐的形式解释什么是相似的和不同的。当在数据集上进行评估时，系统的性能优于知情的基线，表明数据集和任务是定义良好且可行的。最重要的是，两个用户研究显示了系统输出如何用于自动生成自然语言的解释。用户在访问解释时表现更好，提供了初步证据，证明我们的数据集和自动生成解释的方法在实际应用中是有用的。
2016-12-14 cs.AI cs.CL cs.LG
Information-theoretic Evolution of Model Agnostic Global Explanations
Adobe Systems（Adobe系统公司）；Adobe Systems Noida Uttar Pradesh India（印度北方邦诺伊达的Adobe系统公司）
通过人类可解释的规则来解释黑盒机器学习模型的行为是一个重要的研究领域。最近的工作集中在局部解释模型行为，即特定的预测以及视觉，自然语言，强化学习和数据科学等领域的全球性。我们提出了一种新的模型不可知方法，该方法可以导出规则来全局解释在数值和/或分类数据上训练的分类模型的行为。我们的方法建立在现有的局部模型解释方法之上，提取解释模型行为的特定实例的重要条件，然后通过进化算法优化基于信息论的适应度函数，以构建解释全局模型行为的规则。我们展示了我们的方法如何在各种数据集上优于现有的方法。此外，我们还引入了一个参数来评估分布偏移情景下的解释质量。该参数评估解释如何预测先前未见过的数据分布的模型行为。我们展示了现有的解释模型的方法在全球范围内缺乏分布鲁棒性。最后，我们展示了如何通过将分布样本添加到用于学习解释的数据集来提高解释的质量，从而提高鲁棒性。我们论文中使用的所有数据集都是开放的，公开可用的。我们的方法已部署在领先的数字营销产品套件中。
2021-05-14 cs.LG
You Are What You Prompt: Prompt Quality, Domain Shift, and Uncertainty in Agrifood Vision-Language Models
University of Granada（格拉纳达大学）
该研究针对农业食品领域，评估了零样本提示集成（ZPE）在分布内与分布外场景的表现，提出PID方法提升严重领域偏移下的故障检测能力，验证了领域特定提示池的优势。
2026-08-20 cs.CL cs.LG
What's in the box? Explaining the black-box model through an evaluation of its interpretable features
Politecnico di Torino（都灵理工大学）
算法是我们每天使用的大部分信息背后强大而必要的工具。然而，它们可能会引入新的偏见、歧视和其他不公平做法，影响到不知情的人。更大的算法透明度对于提供更可信和可靠的服务必不可少。此外，要求开发人员设计透明的算法驱动的应用程序，使他们能够保持模型的可访问性和人类的可理解性，增加最终用户的信任。在本文中，我们提出了EBAnO，一个新的引擎，能够产生预测本地解释的黑盒模型，利用可解释的功能扰动。EBAnO利用超列表示和聚类分析来识别一组可解释的图像特征。此外，已经提出了两个指标来衡量输入特征对由CNN模型做出的最终预测的影响。EBAnO已经在一组异质图像上进行了初步测试。结果突出了EBAnO在解释的CNN分类通过可解释的功能影响的评估的有效性。
2019-07-31 cs.AI cs.CV cs.LG
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey（萨里大学）；Amazon Web Services（亚马逊云科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的形式的解释强化学习，基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明，这种性质的事后解释的一般方法是不可能在传统的强化学习。相反，解释所需的信息必须与培训代理人一起收集。我们得到的方法，旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法，并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
Explaining Concept Drift through the Evolution of Group Counterfactuals
Poznan University of Technology（波兹南技术大学）
本文提出通过分析群体反事实解释的时间演化来揭示概念漂移的成因，构建三层框架以区分数据偏移与概念重标注，实现更全面的漂移诊断。
2025-09-11 cs.AI cs.LG
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
Explaining and Adapting Graph Conditional Shift
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
该研究通过理论分析揭示图异配性与模型架构会加剧输入特征和标签间的条件偏移，并提出估计与最小化该偏移的无监督图域适应方法，在合成及真实分类任务中显著提升鲁棒性。
2023-06-05 cs.LG stat.ML
Explaining Concept Shift with Interpretable Feature Attribution
Carnegie Mellon University（卡内基梅隆大学）
提出SGShift方法，通过将概念漂移建模为特征选择任务，利用广义加性模型、敲除和吸收等统计工具识别导致源域与目标域模型性能差异的稀疏漂移特征。
2026-05-28 cs.LG stat.ML
"What are my options?": Explaining RL Agents with Diverse Near-Optimal Alternatives (Extended)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出并扩展了可解释强化学习方法DNA，通过局部修改Q-learning的奖励塑形生成有ε-最优性保证的多样化近最优轨迹策略，为人类用户提供可选择的智能体行动选项，也为RL的探索与自适应规划提供新思路。
2025-06-11 cs.LG
Explaining neural network predictions of material strength
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
我们最近开发了一种深度学习方法，可以通过查看材料晶体的扫描电子显微镜（SEM）图像来确定材料的临界峰值应力。然而，目前还不清楚网络在进行预测时会关闭什么样的图像特征。在计算机视觉中，通常使用可解释的AI显着图来告诉人们图像的哪些部分对网络的决策很重要。人们通常可以通过观察这些显著的位置来推断出重要的特征。然而，晶体的SEM图像对人类观察者来说比自然图像照片更抽象。因此，很难判断哪些特征在最显著的位置上是重要的。为了解决这个问题，我们开发了一种方法，可以帮助我们将SEM图像中重要位置的特征映射到更容易解释的非抽象纹理。
2021-11-05 cs.CV cs.LG eess.IV
Enhancing the Rationale-Input Alignment for Self-explaining Rationalization
Huazhong University of Science and Technology（华中科技大学）；iWudao Tech（iWudao科技）
针对自解释合理化中合作博弈算法偏差导致的理由偏移问题，提出基于预训练辅助模块的DAR方法实现理由与输入的判别对齐，经实验验证可显著提升解释质量。
2023-12-15 cs.AI cs.CL cs.LG
Generating Input Distributions for Explaining Portfolio Optimization Pipelines
Faculty of Economics and Business, University of Amsterdam, The Netherlands（阿姆斯特丹大学经济与商业学院，荷兰）；Warwick Business School, University of Warwick, United Kingdom（沃里克大学沃里克商学院，英国）；RIKEN AIP, Japan（日本理化学研究所AIP研究中心）
提出一种基于梯度的样本生成框架，通过构建有经济意义的假设问题，解释预测-优化流程在宏观经济条件下的行为差异，揭示不同决策流程的关键特征。
2026-06-25 cs.LG math.OC
Explaining Deep Learning Models with Constrained Adversarial Examples
Babylon Health（巴比伦健康公司）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）
机器学习算法通常遭受可解释性的问题。给定来自模型的分类结果，通常很难确定是什么导致做出决策，并给出信息性解释。我们探索了一种产生反事实解释的新方法，它不是解释为什么要进行特定的分类，而是解释如何实现不同的结果。这为解释的接受者提供了一种更好的方式来理解结果，并提供了一个可操作的建议。我们表明，所介绍的方法的约束对抗性的例子（CADEX）可以用于在现实世界中的应用，并产生解释，其中包括业务或领域的约束，如处理分类属性和范围的限制。
2019-06-25 cs.LG stat.ML
Explaining Time Series via Contrastive and Locally Sparse Perturbations
Nanjing University（南京大学）；Ailibaba Group（阿里巴巴集团）；Pennsylvania State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）；Florida International University（佛罗里达国际大学）；New Jersey Institute of Technology（新泽西理工学院）；A*STAR（新加坡科技研究局）；The University of Hong Kong（香港大学）
针对多变量时间序列解释的分布偏移等挑战，提出结合对比学习与样本特定稀疏门控的局部稀疏模型ContraLSP，生成更优解释掩码，在合成与真实数据集上表现超越现有最优模型。
2024-01-29 cs.AI cs.LG
What is Missing? Explaining Neurons Activated by Absent Concepts
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC）；Department of Computer Science, Technical University of Darmstadt（达姆施塔特技术大学计算机科学系）；Leibniz Institute for Resilience Research（莱比锡韧性研究所）；Institute for Quantitative and Computational Biosciences, Johannes Gutenberg University Mainz（美因茨雅各布·冯·特利尔大学定量与计算生物科学研究所）；University Medical Center Mainz（美因茨大学医学中心）
针对深度神经网络中编码缺失（概念缺失导致神经元激活）这一被忽视的因果关系，提出两种扩展归因和特征可视化方法以揭示并解释这种缺失，实验表明ImageNet模型利用此类缺失且考虑它们可改善去偏。
2026-05-29 cs.CV cs.LG
Explaining Data Mixing Scaling Laws
Beijing Institute of Technology（北京理工大学）；IIIS, Tsinghua University（清华大学智能产业研究院）
提出统一框架解释多领域数据混合中模型损失行为，基于能力竞争和噪声减少两个关键因素，在多个尺度上有效预测高性能混合。
2026-07-31 cs.AI cs.LG
Delta-Audit: Explaining What Changes When Models Change
dept. Computer Engineering University of Isfahan Isfahan, Iran（计算机工程系 哈尔基尔大学 伊朗伊斯法罕）
本文提出 Delta-Attribution 框架，通过差分逐特征归因解释模型版本间的行为变化，并在 45 种设置上验证其能区分良性调整与有意义的归纳偏置变化。
2025-08-27 cs.LG
Explaining the data or explaining a model? Shapley values that uncover non-linear dependencies
The University of Queensland（昆士兰大学）；Simula Research Laboratory（西穆拉研究实验室）；La Trobe University（拉筹伯大学）
Shapley值在机器学习文献中越来越受欢迎，这要归功于它们在满足某些“公平”概念方面的吸引人的公理化、灵活性和独特性。灵活性源于Shapley值\textit{game formulation}的无数潜在形式。这种灵活性的后果之一是，现在有许多类型的Shapley值正在讨论，这种多样性是潜在误解的来源。据我们所知，机器学习和统计文献中所有现有的游戏公式都属于我们命名为模型依赖的游戏公式类别。在这项工作中，我们考虑一种替代和新颖的配方，导致我们所谓的模型独立的Shapley值的第一个实例。这些Shapley值使用非线性相关性的（非参数）度量作为特征函数。这些Shapley值的优势在于它们能够发现和归因于特征之间的非线性依赖关系。我们介绍和演示使用的能量距离相关性，仿射不变的距离相关性，和Hilbert-Shannon的独立性准则作为Shapley值特征函数。特别是，我们证明了他们的潜在价值的探索性数据分析和模型诊断。我们得出结论，一个有趣的暂时应用到一个经典的医学调查数据集。
2021-03-06 cs.LG stat.ML
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University（波士顿大学）；UC Berkeley（加州大学伯克利分校）；Harvey Mudd College（哈维穆德学院）
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务，人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而，即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下，我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中，我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
This Looks Like That, Because ... Explaining Prototypes for Interpretable Image Recognition
University of Twente（特文特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
具有原型的图像识别被认为是黑盒深度学习模型的可解释替代方案。分类取决于测试图像“看起来像”原型的程度。然而，人类的感知相似性可能与分类模型学习的相似性不同。因此，仅仅可视化原型可能不足以让用户理解原型到底代表什么，以及为什么模型认为原型和图像相似。我们解决这种模糊性，并认为原型应该解释。我们通过自动增强视觉原型的文本定量信息的视觉特征被认为是重要的分类模型，提高可解释性。具体而言，我们的方法通过量化色调，形状，纹理，对比度和饱和度的影响来阐明原型的含义，并且可以生成全局和局部解释。由于我们的方法的通用性，它可以提高任何基于相似性的方法的原型图像识别的可解释性。在我们的实验中，我们将我们的方法应用到现有的原型零件网络（ProtoPNet）。我们的分析证实，全球性的解释是概括性的，往往对应于原型的视觉可感知的属性。我们的解释特别适用于那些可能被错误解释的原型。通过解释这种“误导”的原型，我们提高了基于原型的分类模型的可解释性和可模拟性。我们还使用我们的方法来检查视觉上相似的原型是否有类似的解释，并能够发现冗余。代码可在https://github.com/M-Nauta/Explaining_Prototypes上获得。
2021-03-31 cs.AI cs.CV cs.LG
Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition
Maastricht University（马斯特里赫特大学）
本文分析了SimCLR和VICReg等自监督学习框架在基于传感器的人类活动识别中的深度表示，通过鲁棒性比较、显著性图和探测方法揭示了其与监督模型在抗噪性、特征同质性和活动编码上的差异。
2023-07-31 cs.HC cs.LG eess.SP
Intention-aware policy graphs: answering what, how, and why in opaque agents
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文提出意图感知策略图及构建流水线，用概率图模型对不透明智能体的行为意图进行鲁棒数值计算，并通过可解释性度量回答智能体的“做什么、怎么做、为什么”问题。
2024-09-27 cs.AI cs.LG cs.MA
Opportunities and limitations of explaining quantum machine learning
Freie Universität Berlin（柏林自由大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Helmholtz-Zentrum Berlin für Materialien und Energie（亥姆霍兹柏林材料与能源研究中心）
针对量子机器学习模型可解释性缺乏全局视角的问题，本文梳理了研究途径并首创两种专用解释方法，通过对比新旧方法促进该领域可持续发展。
2024-12-19 cs.LG quant-ph stat.ML
Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection
University of Southern California（南加州大学）；Facebook AI（脸书人工智能研究院）
推荐是机器学习的一个普遍应用，影响着许多用户，因此，推荐模型的准确性和可解释性是很重要的。在这项工作中，我们提出了一种方法来解释和增强黑盒推荐系统的预测。特别是，我们建议从源推荐模型中解释特征交互，并在目标推荐模型中显式编码这些交互，其中源和目标模型都是黑盒。通过不假设推荐系统的结构，我们的方法可以在一般情况下使用。在我们的实验中，我们专注于机器学习推荐的一个突出用途：广告点击预测。我们发现，我们的相互作用的解释是既信息和预测，例如，显著优于现有的推荐模型。更重要的是，解释交互的相同方法可以提供对领域的新见解，甚至超越推荐，例如文本和图像分类。
2020-06-19 cs.LG stat.ML
"Faithful to What?" On the Limits of Fidelity-Based Explanations
Lafayette College（拉法叶学院）
研究指出基于忠实性的解释方法无法准确反映模型预测性能，通过线性得分λ(f)发现高忠实度代理模型可能无法恢复数据结构的预测优势。
2026-04-19 cs.LG stat.ML
Explaining the Unique Nature of Individual Gait Patterns with Deep Learning
Johannes Gutenberg-University Mainz（约翰内斯·古腾堡美因茨大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technical University Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
机器学习（ML）技术，如（深度）人工神经网络（DNN），正在非常成功地解决大量的任务，并为复杂的物理，化学，生物和社会系统提供新的预测模型。然而，在大多数情况下，这是作为一个黑盒子的缺点，很少提供关于是什么让他们得出特定预测的信息。ML技术的这种黑盒方面可能存在问题，特别是在医学诊断中，迄今为止阻碍了临床接受。本文研究了在临床生物力学中使用DNN的个人步态模式的唯一性。通过将模型预测的部分归因于输入变量（地面反作用力和全身关节角度），分层相关传播（LRP）技术可靠地证明了步态周期的哪些时间窗口的哪些变量与特定个体的步态模式特征最相关。通过测量每个输入变量对DNN等ML技术预测的时间分辨贡献，我们的方法描述了第一个通用框架，该框架能够理解和解释（生物力学）步态分析中的非线性ML方法，从而为分析，诊断和治疗人类步态提供了强大的工具。
2019-02-27 cs.LG stat.ML
What Does CNN Shift Invariance Look Like? A Visualization Study
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
利用卷积神经网络（CNN）进行特征提取是一种表示用于机器学习任务的图像的流行方法。这些表示寻求捕获全局图像内容，并且理想地应该独立于几何变换。我们专注于测量和可视化从流行的现成的CNN模型中提取的特征的移位不变性。我们提出了三个实验的结果比较表示数百万的图像与彻底移位的对象，检查局部不变性（在几个像素内）和全局不变性（整个图像帧）。我们的结论是，从流行的网络中提取的特征不是全局不变的，并且偏差和伪影存在于该方差内。此外，我们确定抗锯齿模型显着提高局部不变性，但不影响全局不变性。最后，我们提供了一个用于实验再现的代码库，以及一个与我们的结果进行交互的网站https://jakehlee.github.io/visualize-invariance。
2020-11-09 cs.LG
Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Rice University（莱斯大学）
针对神经网络迁移学习在多尺度非线性系统中的物理机制不清问题，提出结合数据与网络谱分析的框架，以2D湍流亚网格建模为例揭示了TL学到的滤波器物理特性，并基于物理与网络理论事先确定最佳重训练层。
2022-06-07 cs.LG physics.comp-ph physics.flu-dyn
What the Vec? Towards Probabilistically Grounded Embeddings
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）
Word2Vec（W2V）和GloVe是流行的、快速且有效的词嵌入算法。它们的嵌入被广泛使用，并在各种自然语言处理任务中表现良好。此外，W2V最近已被用于图嵌入领域，它支持几种领先的算法。然而，尽管它们普遍存在且模型架构相对简单，但对W2V和GloVe的嵌入参数学习了什么以及为什么在下游任务中有用的理论理解一直缺乏。我们发现，PMI向量之间的不同的相互作用反映了语义词的关系，如相似性和释义，编码在低维词嵌入下一个合适的投影，从理论上解释为什么嵌入的W2V和GloVe的工作。因此，我们也揭示了一个有趣的数学之间的相互联系所考虑的语义关系本身。
2019-11-11 cs.CL cs.LG stat.ML
