CARE: Coherent Actionable Recourse based on Sound Counterfactual Explanations
University of Oslo（奥斯陆大学）
反事实解释方法以“假设情景”的形式解释机器学习模型的输出，而不损害真实性-可解释性权衡。他们解释了如何通过建议对输入特征进行小的更改来从模型中获得所需的预测，也就是资源。我们认为，应根据源于地面实况数据分布并与领域知识相关联的合理反事实解释，创建可诉追索权。此外，它需要保持变化/不变的功能之间的一致性，同时满足用户/域指定的约束。本文介绍了关怀，一个模块化的解释框架，解决了模型和用户级的desiderata连续和结构化的方式。我们通过提出在多目标优化框架中制定的新颖有效的解决方案来解决现有的要求。所设计的框架，使包括任意的要求，并产生反事实的解释和可采取行动的追索权的选择。作为一种与模型无关的方法，CARE为表格分类和回归设置中的任何黑盒模型生成多种多样的解释。在标准数据集和黑盒模型上的几个实验证明了我们的模块化框架的有效性及其与基线相比的优越性能。
2021-08-18 cs.AI cs.LG
Actionable CBFI: Prescriptive Interventional Diagnosis and Interaction-Aware Escalation for Sparse Causal Algorithmic Recourse
Dankook University（檀国大学）
该研究提出A-CBFI框架，结合结构分解与因果反事实追索，在金融、医疗领域可降低76.9%主动干预负担，保持因果有效性与追索成本，实现针对性可操作的反事实追索。
2026-10-28 cs.AI cs.LG
Actionable Recourse via GANs for Mobile Health
UC San Diego（加州大学圣地亚哥分校）；Maternity Foundation（产妇基金会）
移动健康应用程序提供了一种独特的数据收集手段，可用于提供适应性干预措施。预测结果在很大程度上影响了此类干预措施的选择。通过反事实的追索权提供了修改用户预测的有形机制。通过确定增加预期预测可能性的合理行动，利益相关者可以对他们的预测进行代理。此外，追索机制使反事实推理，可以帮助提供洞察候选人的因果干预功能。我们证明了GAN生成的移动健康应用程序的可行性，基于整体生存分析预测安全交付应用程序的中期参与，这是一种熟练助产士的数字培训工具。
2022-11-12 cs.LG
Beyond Individualized Recourse: Interpretable and Interactive Summaries of Actionable Recourses
Harvard University（哈佛大学）
随着预测模型越来越多地被部署在高风险决策中，人们对开发可以为受影响的个人提供资源的算法产生了很大的兴趣。虽然开发这些工具很重要，但更重要的是分析和解释预测模型，并对其进行彻底审查，以确保它提供的资源在现实世界中部署之前是有意义的和非歧视性的。为此，我们提出了一种新的模型不可知框架，称为可操作的追索权摘要（AReS），以构建全球反事实解释，为整个人口提供可解释和准确的追索权摘要。我们制定了一个新的目标，同时优化资源的正确性和解释的可解释性，同时最大限度地减少整个人口的整体资源成本。更具体地说，我们的目标使我们能够学习，与最优性保证追索权的正确性，一个小数量的紧凑的规则集，其中每个捕获资源定义良好的子群体内的数据。我们还从理论上证明，先前提出的几种方法，以产生资源的个人是我们的框架的特殊情况。真实世界数据集和用户研究的实验评估表明，我们的框架可以为决策者提供与任何黑盒模型相对应的资源的全面概述，从而帮助检测不期望的模型偏差和歧视。
2020-10-28 cs.LG stat.ML
Towards User Guided Actionable Recourse
University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对现有可执行补救措施忽视用户偏好的问题，提出通过三种软约束形式捕捉用户偏好，并采用基于梯度的方法生成用户偏好的可执行补救措施，实验验证了其有效性。
2023-09-05 cs.CY cs.LG
Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A Review
University of Washington（华盛顿大学）；Arthur AI（亚瑟人工智能公司）
机器学习在许多已部署的决策系统中发挥作用，通常以人类利益相关者难以或不可能理解的方式发挥作用。以人类可理解的方式解释机器学习模型的输入和输出之间的关系对于开发基于可信机器学习的系统至关重要。一个新兴的研究主体试图定义机器学习中可解释性的目标和方法。在本文中，我们试图对反事实解释的研究进行回顾和分类，反事实解释是一种特定的解释，它提供了一种联系，如果模型的输入以特定的方式改变，可能会发生什么。机器学习中的反事实可解释性的现代方法与许多国家的既定法律原则相联系，使它们对金融和医疗保健等高影响领域的现场系统具有吸引力。因此，我们设计了一个具有理想特性的反事实解释算法的量规，并对该量规全面评估了目前提出的所有算法。我们的标题提供了不同方法的优点和缺点的简单比较和理解，并作为该领域主要研究主题的介绍。我们还确定了差距，并讨论了有前途的研究方向，在空间的反事实的可解释性。
2022-11-15 cs.AI cs.LG stat.ML
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute（向量研究所）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Brain（谷歌大脑）；UT Austin（德克萨斯大学奥斯汀分校）
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下，个人可能会遭受不希望的结果（例如拒绝信贷），而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变，一个人可以采取，以改善其结果的问题。我们提出了一个追索算法，模型的基础数据分布或流形。然后，我们提供了一种机制，以产生最小的变化集，这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外，所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献，主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Actionable Recourse in Linear Classification
Harvard University（哈佛大学）；University of Southern California（南加州大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
机器学习模型越来越多地用于自动化影响人类的决策-决定谁应该获得贷款，工作面试或社会服务。在这样的应用程序中，一个人应该有能力改变模型的决定。例如，当一个人被信用评分拒绝贷款时，他们应该能够以保证批准的方式改变其输入变量。否则，只要模型被部署，他们将被拒绝贷款。更重要的是，他们将缺乏影响影响其生计的决定的能力。在本文中，我们将这些问题定义为追索权，我们将其定义为一个人通过改变可操作的输入变量（例如，收入与年龄或婚姻状况）。我们提出整数规划工具，以确保追索权的线性分类问题，而不干扰模型的开发。我们展示了我们的工具如何通过信用评分问题的实验来告知利益相关者。我们的研究结果表明，追索权可以显着影响模型开发的标准实践，并激励需要在实践中评估追索权。
2019-11-09 cs.LG stat.ML
KTCF: Actionable Recourse in Knowledge Tracing via Counterfactual Explanations for Education
KTCF通过反事实解释为教育中的知识追踪提供可操作的救济，提升教育AI的实用性和责任性。
2026-01-14 cs.AI cs.CY cs.LG
From Universal to Individualized Actionability: Revisiting Personalization in Algorithmic Recourse
Saarland Informatics Campus, Saarland University（萨尔大学萨尔兰信息学园区）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Institute for Psychology, University of Freiburg（弗莱堡大学心理学研究所）
本文重新审视算法救济中的个性化，提出将个性化定义为个体可执行性，通过硬约束和软约束分析其对救济关键指标的影响，揭示个性化对可执行性、成本和合理性的影响及潜在偏见。
2026-04-09 cs.AI cs.LG
On the Trade-Off between Actionable Explanations and the Right to be Forgotten
University of Tübingen（图宾根大学）；Max-Planck-Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本研究首次系统探讨机器学习中“被遗忘权”与“可操作解释权”的冲突，证明少量数据删除即可使多数追索权失效，并提出识别关键训练点以最大化失效比例的框架。
2023-10-11 cs.AI cs.CY cs.LG
Counterfactual Shapley Additive Explanations
J.P. Morgan AI Research（摩根大通人工智能研究院）
特征属性是模型解释的常见范例，因为它们简单地为模型的每个输入特征分配单个数值分数。在可操作的追索设置中，解释的目标是改善模型消费者的结果，通常不清楚如何正确使用特征属性。通过这项工作，我们的目标是加强和澄清可诉追索权和特征属性之间的联系。具体地说，我们提出了SHAP的一个变体，反事实SHAP（CF-SHAP），它结合了反事实信息来产生一个背景数据集，用于在边缘（也称为Shapley值框架。我们激励需要在可操作的追索权设置仔细考虑背景数据集时，使用Shapley值的特征属性与众多的合成的例子。此外，我们证明了CF-SHAP的有效性，提出并证明了一个定量分数的特征属性，反事实能力，表明通过这种度量，CF-SHAP是优于现有的方法时，公共数据集使用树集成进行评估。
2022-05-16 cs.AI cs.LG
Optimal Recourse Summaries via Bi-Objective Decision Tree Learning
Artificial Intelligence and Learning Systems Laboratory（人工智能与学习系统实验室）；National Technical University of Athens（希腊国家技术大学）
本文提出SOGAR方法，通过将补救摘要学习转化为最优决策树学习问题，找到帕累托前沿，实现补救效果与成本之间的平衡，产生稳定、低成本且有效的补救摘要。
2026-05-21 cs.LG
Explanations-Driven Active Feature Acquisition for Algorithmic Recourse
Western University（西安大略大学）
本研究提出解释驱动的特征获取（EDFA）方法，联合优化算法补救与特征获取，利用马尔可夫毯统一多种解释，按解释价值选择特征，在7个数据集上以更少特征实现同等准确率并保证补救有效性。
2026-09-14 cs.AI cs.LG
Fair Recourse for All: Ensuring Individual and Group Fairness in Counterfactual Explanations
University of Applied Sciences and Arts of Southern Switzerland（瑞士南方应用科学与艺术大学）；Università della Svizzera italiana（瑞士意大利大学）
本文提出了一种基于强化学习的方法，生成同时满足个体和群体公平性的反事实解释，以提升XAI的公平性和透明度。
2026-01-28 cs.AI cs.LG
Reinforcement Learning for Durable Algorithmic Recourse
University of Padova（帕多瓦大学）；Univesity of Trieste（特伦蒂诺大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出一种基于强化学习的耐用算法救济框架，通过建模候选人群体的适应性动态，生成可行且长期有效的建议，以提升自动化决策系统的救济效果。
2026-02-02 cs.AI cs.LG
Decomposing Counterfactual Explanations for Consequential Decision Making
University of Tübingen（图宾根大学）；University of Amsterdam（阿姆斯特丹大学）
算法追索的目标是扭转不利的决定（例如，从贷款拒绝到批准）通过建议可操作的特征改变（例如，减少信用卡的数量）。为了生成低成本的追索权，大多数方法都是在假设特征是可独立操作的（IMF）的情况下工作的。为了解决特征依赖性问题，通常通过因果追索范式来研究追索问题。然而，众所周知，强假设，编码在因果模型和结构方程，阻碍了这些方法的适用性在复杂的领域，因果依赖结构是模糊的。在这项工作中，我们开发了\texttt{DEAR}（解开因果关系追索权），一个新颖而实用的追索框架，弥补了国际货币基金组织和强因果假设之间的差距。\texttt{DEAR}通过从有希望的追索权特征的子集中分离出共变特征的潜在表示来生成追索权，以捕获主要的实际追索权需求。我们对真实世界数据的实验证实了我们的理论动机的追索权模型，并强调了我们的框架的能力，提供可靠的，低成本的追索权存在的功能依赖。
2022-11-03 cs.AI cs.CY cs.LG
Algorithmic Recourse in Abnormal Multivariate Time Series
Utah State University（犹他州立大学）；University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）
本文提出RecAD框架，通过回溯反事实推理为多元时间序列异常提供算法补救，端到端训练补救函数，实验验证其有效性。
2025-08-01 cs.LG
Relevance-aware Algorithmic Recourse
University of Notre Dame（圣母大学）
本文提出相关性感知的算法补救框架（RAAR），利用相关性概念改进回归任务的算法补救，在15个数据集上实验表明其效率更高、成本更低且效果与基线相当。
2024-05-29 cs.LG
Target-confidence Recourse Using tSeTlin machines: TRUST
Group Research and Development Det Norske Veritas (DNV)（挪威船级社（DNV）集团研发部）
提出TRUST框架，通过概率Tsetlin机器和贝叶斯优化直接搜索满足用户指定置信度目标的最小输入变化，生成更稳健和可解释的反事实解释。
2026-06-18 cs.AI cs.LG
A Causal Perspective on Meaningful and Robust Algorithmic Recourse
Institute for Statistics, LMU Munich（慕尼黑大学统计研究所）；Research Group Neuroinformatics, University of Vienna（维也纳大学神经信息学研究组）；Munich Center for Mathematical Philosophy, LMU Munich（慕尼黑大学慕尼黑数学哲学中心）
决策追索解释告知利益相关者如何采取行动来扭转不利的预测。然而，一般来说，ML模型不能很好地预测干预分布。因此，以期望的方式改变预测的动作可能不会导致潜在目标的改进。这种追索权对模型改装既无意义，也不可靠。扩展Karimi等人的工作。（2021），我们提出了有意义的算法追索权（MAR），只建议改善预测和目标的行动。我们证明这种选择约束突出模型审计和有意义的，可操作的追索权解释之间的差异。此外，我们引入了一种称为有效算法追索权（effective algorithmic recourse，缩写为MAR）的放松方法，在某些假设下，它只允许对目标的原因进行干预，从而产生有意义的追索权。
2021-07-16 cs.LG stat.ML
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen（图宾根大学）；CarePay International（CarePay国际公司）
反事实解释通过建议可操作的特征改变（例如，增加收入），使个人在未来取得有利的结果（例如，保险审批）。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样，有一个快速增长的文献与可用的方法。然而，在缺乏广泛可用的开源实现的情况下，支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA（反事实和追索权库），这是一个Python库，用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之，我们的工作提供了以下贡献：（i）11种流行的反事实解释方法的广泛基准，（ii）未来反事实解释方法研究的基准框架，以及（iii）一套标准化的综合评估措施和数据集，用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果，使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
CONFEX: Uncertainty-Aware Counterfactual Explanations with Conformal Guarantees
Department of Informatics, King’s College London（伦敦国王学院信息学院）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
CONFEX提出一种结合保形预测与混合整数线性规划的方法，生成具有局部覆盖保证的不确定性感知反事实解释，在预测不确定性和最优性上提供严格保证，并验证其稳健性与合理性。
2025-10-23 cs.LG
Diverse and Plausible Algorithmic Recourse via Tractable Recourse Distributions
提出易处理追索分布概率框架，实现算法追索的多样性、合理性与可行性，在基准数据集和 MNIST 上验证了其有效性。
2026-08-06 cs.LG
ElliCE: Efficient and Provably Robust Algorithmic Recourse via the Rashomon Sets
Princeton University（普林斯顿大学）；Ukrainian Catholic University（乌克兰天主教大学）；Rutgers University（罗格斯大学）；Taras Shevchenko National University of Kyiv（塔拉斯·谢甫琴科基斯林国立大学）；Microsoft Research NYC（微软研究院纽约）
ElliCE通过椭球近似Rashomon集，提供高效且可证明稳健的算法补救方法，提升反事实解释的鲁棒性和灵活性。
2026-02-07 cs.LG
ACTER: Diverse and Actionable Counterfactual Sequences for Explaining and Diagnosing RL Policies
Trinity College Dublin（都柏林圣三一学院）
ACTER提出一种算法，利用NSGA-II进化算法生成多样且可操作的逆事实动作序列，以解释和诊断强化学习策略中的失败，并在两个环境中验证其有效性。
2024-02-09 cs.AI cs.LG
Performative Validity of Recourse Explanations
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）；Korteweg-de Vries Institute for Mathematics, University of Amsterdam（阿姆斯特丹大学科特韦德-德-弗里斯数学研究所）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen（图宾根智能系统马克斯·普朗克研究所）
本文研究追索解释在申请人集体行动导致数据分布和决策边界变化时的施为性问题，形式化刻画了追索保持有效的条件，发现对非因果变量的干预会使追索失效，并倡导仅在因果变量上推荐行动的追索方法。
2025-11-07 cs.CY cs.LG stat.ML
Global Counterfactual Explanations: Investigations, Implementations and Improvements
J.P. Morgan AI Research（摩根大通人工智能研究院）
反事实解释在可解释性方面得到了广泛的研究，在公平性、追索权和模型理解方面出现了一系列依赖于应用的方法。然而，与这些方法相关的主要缺点是它们无法提供超出局部或实例级别的解释。虽然有些作品触及了全局解释的概念，通常建议聚合大量的局部解释，希望确定全局属性，但很少有人提供可靠或计算上易于处理的框架。与此同时，从业者要求更有效和互动的解释工具。我们借此机会调查现有的全球方法，重点是实施和改进可诉追索摘要（AReS），这是唯一已知的全球追索反事实解释框架。
2022-04-14 cs.AI cs.CY cs.LG
Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach
TU Dresden（德累斯顿工业大学）；University of Bristol（布里斯托大学）
黑盒机器学习模型的可解释性至关重要，特别是在医学或自动驾驶汽车等关键应用中部署时。现有的方法产生的解释模型的预测，然而，如何评估这种解释的质量和可靠性仍然是一个悬而未决的问题。在本文中，我们更进一步，以便为从业者提供工具来判断解释的可信度。为此，我们通过测量一组不同的自举代理解释者之间的有序共识来估计给定解释的不确定性。虽然我们鼓励多样性，使用集成技术，我们提出和分析指标，通过一个评级计划，聚合内的一组解释器中包含的信息。我们通过对最先进的卷积神经网络集成的实验来实证说明这种方法的特性。此外，通过量身定制的可视化，我们展示了具体的情况下，不确定性估计提供了具体的可操作的见解，用户超出了标准的替代解释。
2021-11-17 cs.AI cs.LG stat.ML
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne（墨尔本大学）；University of California, Irvine（加州大学欧文分校）
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定（例如拒绝贷款申请），那么它既需要解释为什么做出这个决定，也需要解释个人如何获得他们想要的结果（如果可能的话）。目前，这通常是使用反事实的解释，但这种解释一般不告诉个人如何行动。我们断言，反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先，我们提出了一个在线研究的结果，调查人们的看法的指示性解释。其次，我们提出了一个概念模型来产生这样的解释。我们的在线研究显示，人们对指令性解释（$p<0.001$）有明显的偏好。然而，受试者偏好的解释类型受到多种因素的影响，如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
The Role of Causality in Algorithmic Recourse
Georgia Institute of Technology（佐治亚理工学院）；Vector Institute（向量研究院）；Drexel University（德雷塞尔大学）；Leiden University（莱顿大学）
本研究针对算法追索仅关注翻转模型预测的缺陷，提出因果表演框架建模追索行动的因果传播，实验显示其优于标准方法并减少模型重训需求。
2026-07-31 cs.CY cs.GT cs.LG
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University（比勒费尔德大学）
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常，给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法，但只有很少的工作（除了因果关系领域的工作）考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中，我们加强了我们以前的工作，凸建模计算反事实的解释，确保actionability和actionability的机制，所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
CounteRGAN: Generating Realistic Counterfactuals with Residual Generative Adversarial Nets
Amazon（亚马逊）；Hired；Facebook（脸书）
机器学习模型在各个行业中的流行已经导致对模型可解释性以及对向用户提供有意义的求助的能力的需求不断增长。例如，希望改善诊断的患者或寻求增加批准机会的贷款申请人。在这方面，反事实可以通过识别输入扰动来提供帮助，这些扰动将导致更理想的预测结果。有意义的反事实应该能够实现预期的结果，但也是现实的，可操作的，有效的计算。目前的方法实现了预期的结果，具有适度的可操作性，但在现实性和延迟方面受到严重限制。为了解决这些限制，我们将生成对抗网络（GANs）应用于反事实搜索。我们还介绍了一种新的残差GAN（RGAN），与常规GANs相比，它有助于提高反事实现实主义和可操作性。所提出的CounteRGAN方法利用RGAN和目标分类器来产生能够提供有意义的追索权的反事实。对两个流行数据集的评估突出了CounteRGAN如何能够克服现有方法的局限性，包括延迟改善> 50倍至> 90，000倍，使有意义的追索权实时可用并适用于广泛的领域。
2021-05-27 cs.AI cs.LG stat.ML
Learning Actionable Counterfactual Explanations in Large State Spaces
Toyota Technological Institute at Chicago（丰田技术研究所（芝加哥））
本文针对低层级反事实解释与现实行动脱节的问题，提出三种基于现实行动的高层级CFE，并通过数据驱动方法学习CFE生成器以高效求解大规模状态空间中的最优追索策略，实验证明其准确、资源高效且优于低层级CFE。
2025-06-02 cs.LG
The Ladder: A Reliable Leaderboard for Machine Learning Competitions
机器学习竞赛的组织者面临的问题是保持准确的排行榜，该排行榜忠实地代表每个参赛团队的最佳提交的质量。使这个估计问题特别具有挑战性的是它的顺序和自适应性质。由于参与者被允许反复评估他们在排行榜上的提交，他们可能会开始过度拟合支持排行榜的保持数据。很少有理论结果给出了如何设计一个可靠的排行榜可操作的建议。因此，现有的方法往往诉诸于知之甚少的算法，如限制答案的位精度和重新提交的速度。在这项工作中，我们引入了一个概念的“排行榜的准确性”的竞争的格式。我们介绍了一个自然的算法，称为“梯子”，并证明它同时支持强有力的理论保证，在一个完全自适应的估计模型，承受实际的对抗攻击，并实现高实用性的真正提交文件从Kaggle主办的实际竞争。值得注意的是，我们能够回避最近一个强大的自适应风险估计的硬度结果，该结果在看似非常相似的准确性概念下排除了像我们这样的算法。在实际应用中，我们提供了一个完全无参数的算法变体，可以部署在真正的比赛中，不需要任何调整。
2015-02-16 cs.LG
Actionable Hallucination Detection: Translating Latent Uncertainty into Agentic Critique
Samsung Research America（美国三星研究院）
该研究提出Latent Critic轻量级LoRA适配器，可实时检测LLM智能体的幻觉，定位准确率超80%、AUROC达0.966，能拦截幻觉并助力智能体自我修正，效能优于同类基线方法。
2026-08-12 cs.AI cs.LG
The Effect of Data Poisoning on Counterfactual Explanations
Bielefeld University（比勒菲尔德大学）；University of Cyprus（塞浦路斯大学）；J.P. Morgan AI Research（摩根大通AI研究）；Inria, Sophia Antipolis（法国国家信息与自动化研究所，索菲亚安蒂波利斯）
本文形式化反事实解释中的数据投毒问题，提出通用投毒机制，并在配水管网事件检测及多种先进方法上验证其可提高追索成本且现有防御难以检测。
2025-07-28 cs.AI cs.LG
Attribution-based Explanations that Provide Recourse Cannot be Robust
Korteweg-de Vries Institute for Mathematics（科特韦赫-德弗里斯数学研究所）；University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文证明任何单一归因方法无法同时具备补救敏感性和鲁棒性，为LIME、SHAP等流行方法提供反例，并探讨了可能的绕行方案及受限情况下的精确刻画。
2023-12-20 cs.LG stat.ML
Counterfactual Explanations Can Be Manipulated
UC Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
反事实解释正在成为一个有吸引力的选择，为受到算法决策不利影响的个人提供追索权。由于它们被部署在关键应用程序中（例如执法，金融贷款），因此确保我们清楚地了解这些方法的脆弱性并找到解决这些问题的方法变得非常重要。然而，人们对反事实解释的脆弱性和缺点了解甚少。在这项工作中，我们介绍了第一个框架，描述了反事实解释的漏洞，并显示了它们可以被操纵。更具体地说，我们表明反事实的解释可能会收敛到显着不同的反事实下，一个小的扰动表明他们是不稳健的。利用这一洞察力，我们引入了一个新的目标，训练看似公平的模型，其中反事实的解释发现成本低得多的资源下轻微的扰动。我们描述了这些模型如何不公平地为数据中的特定子组提供低成本的追索权，同时对审计师来说是公平的。我们对贷款和暴力犯罪预测数据集进行了实验，其中某些子组在扰动下实现了高达20倍的低成本追索权。这些结果引起了人们对当前反事实解释技术的可靠性的关注，我们希望这将激发强有力的反事实解释的调查。
2021-11-03 cs.LG
FACE: Feasible and Actionable Counterfactual Explanations
University of Bristol（布里斯托尔大学）；University of Ghent（根特大学）
反事实解释的工作往往集中在“最接近的可能世界”的原则上，该原则确定了导致预期结果的微小变化。在本文中，我们认为，虽然这种方法最初似乎直观地吸引人，它表现出的缺点，在目前的文献中没有解决。首先，由最先进的系统生成的反事实示例不一定代表底层数据分布，并且因此可能规定无法实现的目标（例如，严重残疾的人寿保险申请人如未能成功投保，可获劝喻多做运动。其次，反事实可能不是基于主体的当前状态和建议状态之间的“可行路径”，使得可诉追索不可行（例如，低技能的不成功的抵押贷款申请人可能被告知要加倍他们的工资，如果不首先提高他们的技能水平，这可能是困难的）。这两个缺点可能会使反事实的解释不切实际，有时甚至是彻头彻尾的冒犯。为了解决这两个主要缺陷，首先，我们提出了一个新的反事实推理研究路线，旨在提供可操作和可行的路径，将选定的实例转换为满足特定目标的实例。第二，我们建议：一种基于密度加权度量定义的最短路径距离来揭示这些“可行路径”的算法上合理的方法。我们的方法生成与底层数据分布一致的反事实，并由变化的“可行路径”支持，这些路径是可以实现的，可以根据手头的问题进行定制。
2020-02-24 cs.LG stat.ML
Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, San Diego（加州大学圣迭戈分校）
最近，人们对可解释人工智能（XAI）的兴趣重新抬头，XAI旨在减少基于AI的决策系统的不透明性，使人类能够仔细检查并信任它们。在这种情况下，以前的工作集中在算法的决策，其输入的责任，其中的责任通常是作为一个纯粹的联想概念接近的属性。在本文中，我们提出了一个原则性的基于能力的方法来解释黑盒决策系统，解决现有的方法在XAI的局限性。我们框架的核心是概率对比反事实，这个概念可以追溯到人类如何产生和选择解释的理论的哲学，认知和社会基础。我们展示了这样的反事实可以量化的直接和间接的影响，一个变量的算法所作出的决定，并提供可操作的追索权的算法的决定产生负面影响的个人。与以前的工作不同，我们的系统，LEWIS：（1）可以计算可证明有效的解释和追索权在本地，全球和上下文水平（2）的设计与用户的基础因果模型的不同水平的背景知识和（3）除了其输入-输出数据的可用性算法系统的内部不作任何假设。我们在三个真实世界的数据集上对LEWIS进行了经验评估，并表明它生成了人类可以理解的解释，这些解释改进了XAI中最先进的方法，包括流行的LIME和SHAP。在合成数据上的实验进一步证明了LEWIS解释的正确性和补偿算法的可扩展性。
2021-06-23 cs.AI cs.DB cs.LG
GLANCE: Global Actions in a Nutshell for Counterfactual Explainability
Institute for the Management of Information Systems, Athena Research Center（信息管理系统研究所，雅典研究中心）；Department of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程系，雅典技术大学）；Max Planck Institute for Software Systems（软件系统马克斯·普朗克研究所）；Université Libre de Bruxelles（布鲁塞尔自由大学）；FARI Institute, Belgium（比利时FARI研究所）；Department of Informatics, Athens University of Economics and Business（信息系，雅典经济与商业大学）；Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（信息与电信系，雅典国家与卡波迪斯蒂亚大学）；Archimedes, Athena Research Center（阿基米德，雅典研究中心）
本文提出GLANCE算法，通过聚类方法平衡有效性、成本和动作数量，提升因果可解释性。
2025-11-17 cs.LG
Bridging Data Center AI Systems with Edge Computing for Actionable Information Retrieval
Data Science and Learning division（数据科学与学习部）；Argonne National Laboratory（阿贡国家实验室）；X-ray Science Division（X射线科学部）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Stanford University（斯坦福大学）
在现代同步加速器和X射线自由电子激光光源光束线处的极高数据率促使将机器学习方法用于数据缩减、特征检测和其他目的。无论应用如何，基本概念是相同的：在实验的早期阶段收集的数据、来自过去类似实验的数据和/或针对即将到来的实验模拟的数据被用于训练机器学习模型，该模型实际上学习那些数据的特定特征;然后，这些模型被用于比一般模型更有效地处理后续数据，缺乏特定数据集或数据类知识的目的模型。因此，一个关键的挑战是能够以足够的速度训练模型，使它们能够在有用的时间尺度内部署和使用。我们在这里描述了如何通过地理分布的工作流程将专用数据中心AI（DCAI）系统用于此目的。实验表明，尽管使用远程DCAI系统进行DNN训练存在数据移动成本和服务开销，但周转时间仍然小于使用本地可部署GPU的1/30。
2022-02-06 cs.LG
MC3G: Model Agnostic Causally Constrained Counterfactual Generation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；CETINIA, Universidad Rey Juan Carlos（雷昂卡洛斯大学CETINIA）
针对高风险场景中机器学习决策的透明度与算法保密性平衡需求，提出与模型无关的因果约束反事实生成框架MC3G，通过代理模型生成反事实并优化成本计算，提供更优建议。
2025-08-24 cs.AI cs.LG cs.LO
Towards Reliable Testing of Machine Unlearning
Cornell University（康奈尔大学）
本文提出了一种基于因果的路径中心视角，通过因果模糊测试生成预算干预，以估计残留直接和间接影响并生成可操作的泄漏报告，解决机器无学习测试中的覆盖路径、调试诊断、回归执行和黑盒适用性问题。
2026-04-16 cs.AI cs.LG cs.SE
Density-Guided Robust Counterfactual Explanations on Tabular Data under Model Multiplicity
School of Computer Science and Engineering, Central South University, Changsha, China（计算机科学与工程学院，中南大学，长沙，中国）
提出DensityFlow生成框架，利用神经ODE和密度评分构建鲁棒反事实解释，避免低密度区域，并在模型多重性下保持有效性。
2026-05-29 cs.LG
