Causal Explanations for Sequential Decision-Making in Multi-Agent Systems
University of Edinburgh（爱丁堡大学）
本文提出 CEMA 框架，利用概率模型模拟反事实世界，为动态多智能体系统中的序贯决策生成因果自然语言解释，以提升自主智能体的可信赖度，并在自动驾驶场景中验证了其有效性和对用户信任的积极影响。
2024-02-14 cs.AI cs.RO
Not all users are the same: Providing personalized explanations for sequential decision making problems
Arizona State University（亚利桑那州立大学）
人们对设计能够与人类一起工作的自主智能体越来越感兴趣。毫无疑问，这些代理人将被期望解释他们的行为和决定。虽然生成解释是一个积极研究的主题，但大多数作品倾向于关注生成解释的方法，这些方法适用于所有人。因为在用户模型的细节完全被忽略。少数作品着眼于根据用户的背景来定制他们的解释，这依赖于用户的特定模型（分析模型或学习标记模型）。因此，这项工作的目标是提出一个端到端的自适应解释生成系统，开始学习不同类型的用户，代理可以与之交互。然后，在与目标用户的交互过程中，它的任务是在运行中识别类型，并相应地调整其解释。前者是通过数据驱动的聚类方法实现的，而对于后者，我们将解释生成问题编译为POMDP。我们证明了我们的系统在两个域上使用最先进的POMDP求解器的有用性。我们还报告了一项用户研究的结果，该研究调查了在人机交互环境中提供个性化解释的好处。
2021-06-23 cs.AI cs.HC
State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
本文提出State2Explanation框架，通过联合嵌入状态-动作对与概念解释，在训练时指导奖励塑形以加速智能体学习，在部署时提供可理解解释以提升用户任务表现，并在Connect 4和Lunar Lander中验证了双重益处。
2023-11-10 cs.AI cs.LG
Attribution-based Explanations for Markov Decision Processes
University of Oslo（奥斯陆大学）；Imperial College London（伦敦帝国理工学院）；RWTH Aachen University（亚琛工业大学）
本文提出基于归因的马尔可夫决策过程解释方法，通过策略合成技术计算状态和执行路径的重要性分数，提升序列决策代理的可解释性。
2026-05-12 cs.AI
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
"Guess what I'm doing": Extending legibility to sequential decision tasks
INESC-ID；Instituto Superior Técnico（高等技术学院）
本文提出PoL-MDP方法，在保持计算可行性的同时处理不确定性，将可读性扩展到序贯决策任务，并通过模拟、逆强化学习及用户研究验证其优势。
2023-12-27 cs.AI cs.RO
Order Matters: Generating Progressive Explanations for Planning Tasks in Human-Robot Teaming
Arizona State University（亚利桑那州立大学）
以前在规划和决策背景下生成解释的工作集中在提供AI代理决策背后的理由。虽然这些方法从解释者的角度提供了正确的解释，但它们没有注意到从被解释者（人类）的角度理解解释的认知要求。在这项工作中，我们着手解决这个问题，首先考虑的信息顺序的影响，在一个解释，或解释的渐进性。直觉上，渐进式将后来的概念建立在以前的概念上，并且有助于更好地学习。在这项工作中，我们的目标是调查解释生成过程中类似的效果时，解释被分解成多个部分，按顺序进行通信。这里的挑战在于对人类在接受这种解释以帮助理解时对信息顺序的偏好进行建模。鉴于这一顺序的过程中，制定基于目标的MDP生成渐进的解释。该MDP的奖励函数是基于通过人类受试者研究检索的解释通过逆强化学习学习的。我们首先评估了我们的方法在清道夫狩猎领域，以证明其有效地捕捉人类的喜好。在分析结果后，它揭示了一些更根本的：偏好强烈地产生于领域依赖和独立的功能。与域独立特征的相关性促使我们在密室域中进一步验证这一结果。结果证实了我们的假设，即理解解释的过程是一个动态的过程。反映这一点的人类偏好与隐藏在我们认知过程更深处的知识同化进程正好对应。
2020-10-17 cs.AI
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Local and Global Explanations of Agent Behavior: Integrating Strategy Summaries with Saliency Maps
Universität Augsburg（奥格斯堡大学）；Technion - Israel Institute of Technology（以色列理工学院）
随着强化学习（RL）的进步，智能体现在正在高风险应用领域（如医疗保健和交通）中开发。解释这些代理的行为是具有挑战性的，因为它们所处的环境具有很大的状态空间，并且它们的决策可能会受到延迟奖励的影响，因此很难分析它们的行为。为了解决这个问题，已经开发了几种方法。一些方法试图传达代理的$\textit{global}$行为，描述它在不同状态下采取的动作。其他方法设计了$\textit{local}$解释，提供关于代理在特定状态下的决策的信息。在本文中，我们结合了全球和本地的解释方法，并评估其联合和单独的贡献，提供（据我们所知）的第一个用户研究结合本地和全球的解释RL代理。具体来说，我们增加战略摘要，从代理的显着性图，显示代理出席什么信息的模拟中提取重要的状态轨迹。我们的研究结果表明，选择哪些国家包括在摘要（全球信息）强烈影响人们的理解代理：参与者显示的摘要，包括重要的国家显着优于参与者与代理行为在一组随机选择的世界状态。我们发现混合的结果与显着性图（本地信息）的增强演示，因为显着性图的添加在大多数情况下并没有显着提高性能。然而，我们确实发现了一些证据，表明显着性图可以帮助用户更好地了解代理在决策中依赖的信息，为未来的工作提出了进一步改善RL代理解释的途径。
2020-05-29 cs.AI cs.HC cs.LG
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research（谷歌研究院）
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习（RL）领域的兴趣，以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL，主要集中在离线策略优化上，旨在完全从离线数据中找到回报最大化的策略。在本文中，我们考虑了一种稍微不同的方法，将离线数据纳入顺序决策。我们的目标是回答这样一个问题，即应用于离线数据集的无监督目标能够学习状态表示，从而提高下游任务的性能，这些下游任务是否是在线RL，专家演示的模仿学习，甚至是基于同一离线数据集的离线策略优化？通过利用标准离线RL数据集进行的各种实验，我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能，否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如，奖励预测、连续或离散表示、预训练或微调--是最重要的，以及在哪些环境中。
2021-02-11 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Algorithmic Approaches to Sequential Decision-Making and Social Epistemology
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Emory University（埃默里大学）
本文运用算法工具研究顺序决策与社会认识论问题，在多臂老虎机问题中给出算法上下界及数据驱动保证，在社会认识论中分析理论模型作用，研究悲观陷阱及毅力影响，为相关现象建模并提供算法干预框架。
2026-07-24 cs.DS cs.LG
Sequential Feature Explanations for Anomaly Detection
Oregon State University（俄勒冈州立大学）
在许多应用中，异常检测系统将最异常的数据实例呈现给人类分析师，然后人类分析师必须确定该实例是否真正感兴趣（例如，安全设置中的威胁）。不幸的是，大多数异常检测器都没有解释为什么一个实例被认为是异常的，这使得分析师无法指导从哪里开始调查。为了解决这个问题，我们研究了计算和评估异常检测器的序列特征解释（SFE）的问题。异常的SFE是一系列特征，这些特征一次一个地（按顺序）呈现给分析员，直到突出显示的特征中包含的信息足以让分析员对异常做出有信心的判断。由于分析师的努力与他们在调查中考虑的信息量有关，因此解释的质量与必须揭示以获得信心的特征的数量有关。我们的主要贡献之一是提出了一个新的框架，大规模的定量评估的SFE，质量措施是基于分析师的努力。为此，我们根据真实数据集以及可以模拟进行评估的人工专家构建异常检测基准。我们的第二个贡献是评估框架内的几种新的解释方法和传统的异常检测基准，提供了一些见解的方法。
2015-02-28 cs.AI cs.LG stat.ML
Explanations that reveal all through the definition of encoding
New York University（纽约大学）
该研究提出编码的条件依赖定义，明确非编码解释的“所见即所得”特性，指出现有解释评分方法的排序缺陷，开发STRIPE-X实现正确排序，并验证LLM生成的情感分析解释仍存在编码问题。
2024-12-18 cs.AI cs.LG stat.ML
What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs
New York University（纽约大学）
提出自洽充分性（SCSuff）指标，利用 LLM 自身生成替代输入来评估自由文本解释的充分性，发现 LLM 解释通常不充分且与模型大小、准确率等弱相关。
2026-08-25 cs.AI cs.CL cs.LG
What will it take to generate fairness-preserving explanations?
Brown University（布朗大学）；Harvard University（哈佛大学）
在解释黑箱模型可能有用的情况下，黑箱的公平性往往也是一个相关的问题。然而，黑箱模型的公平性和对黑箱的解释行为之间的联系尚不清楚。我们专注于应用于表格数据集的解释，这表明解释不一定保持黑盒算法的公平性。换句话说，解释算法可能会忽略或模糊关键的相关属性，从而产生不正确或误导性的解释。更广泛地说，我们提出了未来的研究方向，以评估和生成解释，使它们从公平的角度提供信息和相关。
2021-06-24 cs.AI cs.CY cs.LG
Sufficient and Necessary Explanations (and What Lies in Between)
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对机器学习模型预测的解释问题，形式化了特征重要性的充分性与必要性概念，并提出一种沿必要性-充分性轴的统一重要性概念，以克服单一方法的局限并检测遗漏的重要特征。
2024-10-15 cs.AI cs.LG stat.ML
What-If Explanations Over Time: Counterfactuals for Time Series Classification
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文综述了时间序列分类中反事实解释的最新算法，探讨了实例基于、模式驱动、梯度优化和生成模型等方法，分析了其挑战与局限，并提出了未来研究方向。
2026-03-29 cs.AI cs.LG stat.ML
What Helps---and What Hurts: Bidirectional Explanations for Vision Transformers
Department of Electrical and Computer Engineering（电气与计算机工程系）
BiCAM通过双向类激活映射方法，提升视觉变换器的可解释性，通过保留正负属性并引入PNR比值，增强模型解释的完整性和对比性。
2026-03-02 cs.AI cs.CV cs.LG
Fine-grained Anomaly Detection in Sequential Data via Counterfactual Explanations
Utah State University（犹他州立大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Arkansas（阿肯色大学）
序列数据中的异常检测由于其在各种应用中的潜力而被研究了很长时间，例如从日志数据中检测异常系统行为。虽然许多方法可以实现良好的性能异常序列检测，如何识别序列中的异常条目仍然是具有挑战性的，由于缺乏在入口级的信息。在这项工作中，我们提出了一个新的框架，称为CFDet细粒度异常条目检测。CFDet利用了可解释的机器学习的思想。给定被检测为异常的序列，我们可以将异常条目检测视为可解释的机器学习任务，因为识别序列中的异常条目是为了提供对检测结果的解释。我们利用深度支持向量数据描述（Deep SVDD）方法来检测异常序列，并提出了一种新的基于反事实解释的方法来识别序列中的异常条目。在三个数据集上的实验结果表明，CFDet可以正确地检测异常条目。
2022-10-09 cs.LG
What Makes a Good Explanation?: A Harmonized View of Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
针对机器学习解释属性术语不统一、难以跨方法比较和场景匹配的问题，研究调研整合了可解释ML论文中的属性定义，梳理其表述权衡，为属性选型与领域标准化提供支撑。
2024-07-12 cs.LG
What Gets Echoed? Understanding the "Pointers" in Explanations of Persuasive Arguments
University of Colorado Boulder（科罗拉多大学博尔德分校）
人工智能是日常生活的核心，也是人工智能社区越来越感兴趣的话题。为了研究提供自然语言解释的过程，我们利用/r/ChangeMyView子Reddit的动态来构建一个数据集，其中包含36 K自然发生的解释，说明为什么论点具有说服力。我们提出了一个新的词级预测任务，以调查解释如何选择性地重用，或回声，从被解释的信息（以下简称为“巨大”）。我们开发的功能，以捕捉一个字的属性在巨人，并表明，我们提出的功能不仅有相对较强的预测能力的回声的一个字的解释，但也增强了神经方法生成的解释。特别是，虽然一个词本身的非上下文属性对停用词更有价值，但一个巨人的组成部分之间的相互作用在预测实词的呼应方面至关重要。我们还发现了一个单词被重复的有趣模式。例如，虽然名词一般不太可能被呼应，但主语和宾语根据它们的来源，在解释中更有可能被呼应。
2019-11-01 cs.AI cs.CL cs.CY
Explanatory machine learning for sequential human teaching
University of Bamberg（班贝格大学）；Imperial College London（伦敦帝国学院）
本文研究顺序教学中课程顺序与机器学习解释对人类理解的影响，提出顺序教学影响框架，并通过人类试验证明按复杂度递增教学能提升理解、促进分治策略再发现及优化问题求解表现。
2023-03-26 cs.AI cs.LG
Explanations based on the Missing: Towards Contrastive Explanations with Pertinent Negatives
IBM Research（IBM研究院）；University of Michigan（密歇根大学）
在本文中，我们提出了一种新的方法，提供对比解释证明了黑盒分类器，如深神经网络的输入分类。给定一个输入，我们发现什么应该是必然的、最小的和充分的（即图像中的重要对象像素）来证明其分类，以及类似地什么应该是最小的和必然的\emph{absent}（即某些背景像素）。我们认为，这样的解释是自然的人类和常用的领域，如医疗保健和犯罪学。什么是最低限度但关键的\emph{absent}是解释的重要部分，据我们所知，目前解释神经网络预测的解释方法还没有明确识别出这一部分。我们验证了我们的方法从不同领域获得的三个真实的数据集，即手写数字数据集MNIST，大型采购欺诈数据集和大脑活动强度数据集。在这三种情况下，我们都见证了我们的方法在生成精确解释方面的力量，这些解释也易于人类专家理解和评估。
2018-10-29 cs.AI cs.CV cs.LG
SeQwen at the Financial Misinformation Detection Challenge Task: Sequential Learning for Claim Verification and Explanation Generation in Financial Domains
Pulchowk Campus, IoE（普尔乔克校区，工程学院（Institute of Engineering））；IIT Roorkee（鲁基印度理工学院）；State University of New York, Buffalo（纽约州立大学布法罗分校）；University of Wisconsin（威斯康星大学）；Cohere For AI Community（Cohere 人工智能社区）；University of Maryland（马里兰大学）
本文提出面向 COLING 2025 FMD 挑战赛的 SeQwen 系统，结合 Qwen、Mistral、Gemma-2、预处理与序列学习，完成金融错误信息分类及解释生成，并取得 F1 0.8283、ROUGE-1 0.7253。
2024-11-30 cs.CE cs.CL cs.LG
Knowing What You Cannot Explain: Learning to Reject Low-Quality Explanations
DTAI lab & Leuven.AI（DTAI实验室与Leuven.AI）；KU Leuven（卢森堡大学）；CIMEC（CIMEC研究中心）；University of Trento（特伦托大学）；DISI（DISI学院）
本文提出REX框架，通过结合机器判断和人工标注学习拒绝低质量解释，优于现有LtR方法，同时公开了1050个人工标注的机器解释数据集。
2026-03-17 cs.LG
Learning to Select Prototypical Parts for Interpretable Sequential Data Modeling
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
基于原型的可解释性方法通过将样本与记忆样本或典型代表的参考集在相似性方面进行比较来提供对模型预测的直观解释。在序列数据建模领域，原型的相似性计算通常基于编码的表示向量。然而，由于高度递归的函数，基于原型的解释和原始输入之间通常存在不可忽略的差异。在这项工作中，我们提出了一个自我解释的选择模型（SESM），使用原型概念的线性组合来解释自己的预测。该模型采用基于案例推理的思想，通过选择主要激活不同概念的输入子序列作为原型部分，用户可以将其与从不同示例输入中选择的子序列进行比较，以理解模型决策。为了更好的可解释性，我们设计了多个约束，包括多样性，稳定性和局部性作为训练目标。在不同领域的大量实验表明，我们的方法具有良好的可解释性和竞争力的准确性。
2023-03-17 cs.AI cs.LG
We Need Explanation Cards to Connect Explanation Algorithms to the Real World
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；HUN-REN Institute for Computer Science and Control (SZTAKI), Budapest, Hungary（匈牙利科学院计算机科学与控制研究所（SZTAKI））
针对算法解释在实践中含义模糊且信息不足的问题，提出解释卡，通过补充鲁棒性和有效性信息及解释说明，帮助用户正确解读，并满足欧盟AI法案的可解释性要求。
2026-10-07 cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University（比勒费尔德大学）；University of Cyprus（塞浦路斯大学）
反事实解释是一种流行的解释类型，用于使决策系统的结果对用户透明。反事实解释告诉用户做什么，以改变系统的结果在一个理想的方式。然而，最近发现，关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中，我们提出了一个模型不可知的方法计算反事实的解释，不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Directive Explanations for Monitoring the Risk of Diabetes Onset: Introducing Directive Data-Centric Explanations and Combinations to Support What-If Explorations
KU Leuven（鲁汶大学）；University of Maribor（马里博尔大学）
可解释的人工智能越来越多地用于医疗保健中基于机器学习（ML）的决策系统。然而，很少有研究比较了不同的解释方法在指导医疗保健专家为病人护理的效用。此外，目前还不清楚这些方法对医疗保健专家的有用性、可理解性、可操作性和可信赖性，因为它们通常需要技术ML知识。本文提出了一个解释仪表板，预测糖尿病发病的风险，并解释这些预测与数据为中心，功能的重要性，并基于示例的解释。我们设计了一个交互式仪表板，以帮助医疗保健专家，如护士和医生，监测糖尿病发病的风险，并建议采取措施，以尽量减少风险。我们对11名医疗保健专家进行了定性研究，并对45名医疗保健专家和51名糖尿病患者进行了混合方法研究，以比较仪表板中不同解释方法的可理解性，有用性，可操作性和信任度。结果表明，我们的参与者更喜欢我们的代表数据为中心的解释，提供本地的解释与其他方法的全球概述。因此，本文强调了以数据为中心的视觉指导解释方法的重要性，以帮助医疗专家从患者的健康记录中获得可操作的见解。此外，我们分享我们的设计意义，为医疗保健专家定制不同解释方法的视觉表示。
2023-02-21 cs.AI cs.HC cs.LG
See What I Mean? CUE: A Cognitive Model of Understanding Explanations
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Centre of eXplainable Artificial Intelligence, Technological University Dublin（可解释人工智能中心，都柏林技术大学）
本文提出CUE认知模型，将解释属性分解为可辨识性、可读性和可解释性，并通过N=455实验证明视障用户的理解差距未被可及性颜色映射缩小，从而支持自适应XAI界面的必要性。
2025-09-22 cs.AI cs.HC cs.LG
"Faithful to What?" On the Limits of Fidelity-Based Explanations
Lafayette College（拉法叶学院）
研究指出基于忠实性的解释方法无法准确反映模型预测性能，通过线性得分λ(f)发现高忠实度代理模型可能无法恢复数据结构的预测优势。
2026-04-19 cs.LG stat.ML
Reimagining Anomalies: What If Anomalies Were Normal?
本文提出一种生成多个替代修改以解释异常检测机制的方法，通过语义解释帮助用户探索异常的"如果"场景。
2026-01-12 cs.CV cs.LG stat.ML
An Evaluation of the Human-Interpretability of Explanation
Harvard University（哈佛大学）；Google Brain（谷歌大脑）
近年来，人们对机器学习系统的兴趣激增，这些系统可以为其预测或决策提供人类可理解的理由。然而，究竟什么样的解释是真正的人类解释仍然知之甚少。这项工作推进了我们对用户可以使用机器学习系统执行的三个特定任务下解释的理解：响应的模拟，建议响应的验证，以及确定建议响应的正确性是否在输入的变化下发生变化。通过精心控制的人类受试者实验，我们确定了可用于优化机器学习系统可解释性的正则化器。我们的研究结果表明，复杂性的类型很重要：认知组块（新定义的概念）影响性能比变量重复，这些趋势是一致的跨任务和域。这表明解释系统可能存在一些共同的设计原则。
2019-08-28 cs.LG stat.ML
When and What to Recommend: Joint Modeling of Timing and Content for Active Sequential Recommendation
School of Computing, Macquarie University（麦考瑞大学计算学院）；Oracle Analytics Cloud, Oracle Corporation（Oracle公司分析云）
PASRec通过联合建模时机与内容，主动预测用户交互时间并推荐感兴趣物品，优于现有基线方法。
2025-11-24 cs.IR cs.LG
Navigating the Structured What-If Spaces: Counterfactual Generation via Structured Diffusion
IBM Research（IBM研究院）；Indian Institute of Delhi（德里印度理工学院）
本文提出结构化反事实扩散器（SCD），首个利用扩散模型为结构化数据生成反事实解释的即插即用框架，通过引导扩散模型生成高合理性、邻近性和多样性的反事实，优于现有方法。
2023-12-21 cs.AI cs.LG
CoLa-DCE -- Concept-guided Latent Diffusion Counterfactual Explanations
Continental Automotive Technologies GmbH（大陆汽车技术有限公司）；University of Bamberg（班贝格大学）
提出CoLa-DCE方法，利用概念引导的潜在扩散模型为图像分类器生成高可控、高粒度的反事实解释，通过最小特征变化提升透明度与可理解性。
2024-06-03 cs.AI cs.LG stat.ME
"Honey, Tell Me What's Wrong", Global Explanation of Textual Discriminative Models through Cooperative Generation
IRISA；IMATAG；Inria（法国国家信息与自动化研究所）
本文提出首个无需输入数据集的全局模型无关文本解释方法 Therapy，通过协作生成符合分类器分布的文本，在数据缺失场景下仍能有效揭示模型行为并优于依赖输入样本的方法。
2023-10-27 cs.CL cs.LG
Provably Robust Bayesian Counterfactual Explanations under Model Changes
School of Computing and Digital Technologies（计算与数字技术学院）；Sheffield Hallam University（谢菲尔德哈姆大学）；Lee Kong Chian School of Medicine（李科金医学院）；Nanyang Technological University（南洋理工大学）
本文提出PSCE方法，通过概率安全和鲁棒性保证，在模型变化下生成更可靠且具有判别性的反事实解释。
2026-02-10 cs.AI cs.LG
Counterfactual Explanations via Locally-guided Sequential Algorithmic Recourse
Royal Melbourne Institute of Technology（皇家墨尔本理工大学）；University of Bristol（布里斯托大学）；University of New South Wales（新南威尔士大学）
提出模型无关的 LocalFACE 技术，通过局部信息构建可行且可操作的反事实解释，在保护隐私与模型安全的同时解决现有方法在可行性与鲁棒性上的不足。
2023-09-08 cs.CY cs.LG
Informative Post-Hoc Explanations Only Exist for Simple Functions
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
本文提出基于学习理论的信息性解释框架，证明梯度、反事实、SHAP、anchor 等流行事后解释算法对复杂决策函数不具信息性，并给出使其具有信息性的条件，对 AI 审计与高风险应用具有重要启示。
2025-08-15 cs.AI cs.LG
From Attribution Maps to Human-Understandable Explanations through Concept Relevance Propagation
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希-赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所）
本文提出概念相关性传播（CRP）方法，结合局部与全局视角，同时回答单个预测中特征“在哪里”和“是什么”的问题，生成更具人类可解释性的解释并深入揭示模型的表示与推理过程。
2024-01-06 cs.AI cs.LG
What is Next when Sequential Prediction Meets Implicitly Hard Interaction?
Wuhan University of Technology（武汉理工大学）；NEC Corporation（日本电气股份有限公司）；University of Southern Queensland（南昆士兰大学）
源序列和它们的下一个目标之间的硬交互学习是具有挑战性的，这存在于无数的顺序预测任务中。在训练过程中，大多数现有的方法都集中在由错误反应引起的明确的硬交互上。然而，模型可能通过捕获可学习模式的子集来进行正确的响应，这会导致与一些未学习模式的隐式硬交互。因此，其泛化性能被削弱。在序贯预测中，由于大量相似候选目标的干扰，该问题变得更加严重。为此，我们提出了一个硬感知交互学习框架（HAIL），主要由两个基本的顺序学习网络和互斥蒸馏（MED）。基础网络被不同地初始化以学习不同的视图模式，从而获得不同的训练经验。以正确反应的不可能性的形式的经验由MED从彼此中提取，MED提供互斥知识以找出隐含的硬交互。此外，我们推断，不似然本质上是引入了额外的梯度，以推动正确反应的模式学习。我们的框架可以很容易地扩展到更多的对等网络。对涵盖网络和物理空间的四个数据集进行了评估。实验结果表明，我们的框架优于几个国家的最先进的方法在基于top-k的指标。
2022-02-14 cs.LG
What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
最近，我们看到越来越多的方法在可解释的人工智能领域。令我们惊讶的是，它们的开发是由模型开发人员驱动的，而不是对人类最终用户需求的研究。对需求的分析，如果做的话，采取A/B测试的形式，而不是对开放性问题的研究。为了回答“人类操作员想问ML模型什么？“我们提出了一个会话系统，解释预测模型的决定。在这个实验中，我们开发了一个名为dr_ant的聊天机器人来谈论经过训练的机器学习模型，以预测泰坦尼克号的生存几率。人们可以与dr_ant讨论模型的不同方面，以理解其预测背后的基本原理。在收集了1000多个对话的语料库后，我们分析了用户最常见的问题类型。据我们所知，这是第一项使用对话系统从预测模型的交互式和迭代对话探索中收集人类操作员需求的研究。
2020-07-31 cs.CL cs.CY cs.HC
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University（普渡大学）
可解释人工智能（XAI）方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入，这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而，它仍然具有挑战性，以量化其可解释性的正确性，因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中，我们提出了后门触发模式-隐藏的恶意功能，导致错误分类-自动评估显着性的解释。我们的主要观察是，触发器为输入提供了基础事实，以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征，因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标，用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释，通过36个模型特洛伊木马专门制作的触发器使用颜色，形状，纹理，位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域，只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
What does LIME really see in images?
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJAD（LJAD（暂缺通用中文名，保留原文））；Polytech Nice（尼斯综合理工学院）
现代算法在某些计算机视觉任务（如物体识别）上的性能现在接近人类。这一成功是以依赖于数百万个参数的复杂架构为代价的，并且理解如何进行特定预测变得非常具有挑战性。可解释性方法就是为了给我们这种理解。在本文中，我们研究石灰，也许是最流行的。在理论方面，我们表明，当生成的例子的数量是大的，LIME解释集中在一个极限解释，我们给出了一个明确的表达。我们进一步研究基本形状检测器和线性模型。作为这种分析的结果，我们发现了LIME和综合梯度之间的联系，这是另一种解释方法。更确切地说，LIME解释类似于LIME的预处理步骤中使用的超像素上的积分梯度之和。
2021-07-25 cs.CV cs.LG
Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations
提出一种框架，通过检测演示中未充分指定的特征，并主动请求有针对性的纠正演示，从而从有缺陷的演示中恢复奖励函数，减少歧义。
2026-05-21 cs.AI cs.HC cs.LG
Sequential Counterfactual Inference for Temporal Clinical Data: Addressing the Time Traveler Dilemma
Massachusetts General Hospital（麻省总医院）
本文提出顺序反事实框架，用于时间序列临床数据，解决时间旅行者困境，揭示心肾连锁反应的生物合理临床洞察。
2026-02-24 cs.LG
What Makes the Story Forward? Inferring Commonsense Explanations as Prompts for Future Event Generation
Tsinghua University（清华大学）；Singapore Management University（新加坡管理大学）；Virginia Tech（弗吉尼亚理工大学）
事件序列预测对于信息检索和自然语言处理中的许多实际应用是至关重要的。未来事件生成（FEG）是事件序列预测中的一项具有挑战性的任务，因为它不仅需要流畅的文本生成，而且需要常识推理来保持整个事件故事的逻辑连贯性。在本文中，我们提出了一个新的可解释FEG框架，Coep。它突出并整合了两种类型的事件知识，即直接事件-事件关系的顺序知识和反映事件之间的中间人物心理的推理知识，如意图，原因，反应，内在地推动故事向前发展。为了缓解知识遗忘问题，我们为每种类型的知识设计了两个模块，Im和Gm，它们通过提示微调组合在一起。首先，Im专注于理解推理知识，以生成常识解释，并为Gm提供软提示向量。我们还设计了一个对比的神经网络，以提高泛化能力。第二，Gm通过在Im的指导下对直接序列知识进行建模来生成未来事件。自动和人工评估表明，我们的方法可以生成更连贯，具体和逻辑的未来事件。
2022-08-18 cs.CL cs.LG
What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation
针对语言模型自解释的机制性因果主张，提出变量特定证据标准，通过配对零假设和干扰控制检验，发现现有统计量无法确立因果敏感性，需进一步验证。
2026-09-29 cs.AI cs.LG
How can we trust opaque systems? Criteria for robust explanations in XAI
Institute for Philosophy and Political Science（哲学与政治科学研究所）；TU Dortmund（多特蒙德技术大学）
本文提出XAI中解释稳健性和方法稳健性的准则，以提高深度学习算法的可信度和可解释性。
2025-08-18 cs.AI cs.LG
What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context
Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系）；ByteDance, US（字节跳动（美国））；Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系）
本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。
2026-04-16 cs.IR cs.LG
On the Computation of Necessary and Sufficient Explanations
University of California, Los Angeles（加州大学洛杉矶分校）
决策背后的完整原因是一个布尔公式，它描述了为什么做出决策。这个最近引入的概念有许多应用，其中包括生成解释，检测决策偏差和评估反事实查询。完全理由的原蕴涵被称为决策的充分理由，它们对应于所谓的PI解释和溯因解释。在本文中，我们把一个完整的理由的主要含义称为决策的必要理由。我们证明这个术语语义和显示，必要的原因对应于什么是所谓的对比解释。我们还研究了计算的多类决策树和图形的名义和数字的功能，我们得到有效的，封闭形式的完整的原因。我们进一步研究了计算最短的必要和充分的原因，广泛的一类完整的原因，其中包括派生的封闭形式和完整的原因，句子决策图（SDDs）。给出了一个在输出多项式时间内枚举出它们的最短必要原因的算法。为这类完整的理由列举最短的充分理由是困难的，即使是一个单一的理由。对于这个问题，我们提供了一个算法，似乎是相当有效的，因为我们经验表明。
2022-03-20 cs.AI cs.LG cs.LO
What Averages Do Not Tell -- Predicting Real Life Processes with Sequential Deep Learning
Eindhoven University of Technology（埃因霍温理工大学）
深度学习被证明是一种有效的建模工具，如自然语言，计算机视觉和信号处理的成功所示。流程挖掘涉及从支持信息系统记录的业务流程执行数据中发现有关业务流程的见解。记录的数据（事件日志）由对应于进程执行的事件序列（跟踪）组成。许多深度学习技术已经成功地适用于预测流程挖掘，旨在预测流程结果，剩余时间，下一个事件，甚至是运行轨迹的后缀。流程挖掘中的痕迹是多模态序列，其结构与自然语言句子或图像非常不同。这可能需要不同的处理方法。到目前为止，对这些差异和所带来的挑战关注甚少。将后缀预测视为这些任务中最具挑战性的任务，深度学习模型的性能仅在平均测量和少量真实事件日志中进行评估。由于不同的预处理和评价策略，比较论文之间的结果是困难的。可能相关的挑战是跟踪长度分布的偏斜度和真实事件日志中活动分布的偏斜度。我们提供了一个端到端的框架，使七个国家的最先进的顺序架构在常见的设置的性能进行比较。结果表明，对于大多数更复杂的数据集，序列建模仍然有很大的改进空间。需要进一步的研究和见解，以获得一致的性能，不仅在平均措施，而且在所有前缀。
2021-10-31 cs.LG
