Diagrammatization and Abduction to Improve AI Interpretability With Domain-Aligned Explanations for Medical Diagnosis
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出DiagramNet模型,结合图解与溯因推理为医学诊断提供领域对齐的可解释AI,优于基线模型,且图解式解释在用户研究中更受青睐。
2025-02-26 cs.AI cs.HC cs.LG
Recycling Computed Answers in Rewrite Systems for Abduction
在基于规则的系统中,面向目标的计算自然对应于可以解释观察的可能方式。在某些应用中,我们需要计算具有相同域的一系列观测的解释。问题是以前计算的答案是否可以回收利用。一个肯定的答案可能会节省大量的重复计算。对于基于经典逻辑的系统,答案是肯定的。然而,对于非单调系统,人们倾向于认为答案应该是否定的,因为循环是增加信息的一种形式。在本文中,我们表明,计算的答案总是可以回收,在一个非平凡的方式,为类的重写程序,我们提出了较早的逻辑程序与否定。我们提出了一些实验结果的编码的物流域。
2004-02-16 cs.AI
Abduction and Argumentation for Explainable Machine Learning: A Position Survey
University of Cyprus(塞浦路斯大学);Open University of Cyprus(塞浦路斯开放大学)
本文提出了溯因推理和论证推理作为推理的两种基本形式,并充实了它们在机器学习中所起的基本作用。它回顾了过去几十年来关于这两种推理形式与机器学习工作之间联系的最先进的工作,并从中阐述了溯因推理和论证的推理生成作用如何使它们成为可解释机器学习和AI系统开发的自然适合机制。溯因通过数据的转换、准备和同质化促进学习,从而有助于实现这一目标。作为经典演绎推理的保守扩展,论证为学习提供了一种灵活的预测和覆盖机制--一种用于学习知识的相关目标语言--明确承认需要在学习的上下文中处理与任何经典表示的逻辑理论不相容的不确定、不完整和不一致的数据。
2020-10-24 cs.AI cs.LG cs.LO
Visual Explanation by High-Level Abduction: On Answer-Set Programming Driven Reasoning about Moving Objects
HCC Lab., University of Bremen(不来梅大学 HCC 实验室);MPI Lab., Örebro University(厄勒布鲁大学 MPI 实验室);University of Warsaw(华沙大学);Aarhus University(奥胡斯大学)
我们提出了一个混合体系结构,系统地计算强大的视觉解释(S),包括假设形成,信念修正,和默认推理与视频数据。该架构由两个紧密集成的协同组件组成:(1)(功能)答案集编程为基础的溯因推理与时空轨迹作为本地实体;(2)基于检测的对象跟踪和运动分析的视觉处理管道。我们提出了正式的框架,其一般实现作为一个(声明)的方法在答案集编程,和一个示例应用程序和评估的基础上两个不同的视频数据集:MOTChallenge基准开发的视觉社区,和最近开发的电影数据集。
2017-12-03 cs.AI cs.CV cs.LO
A Minimal $κ$--$τ$ Logic for Risk-Sensitive Abduction
本文针对风险敏感溯因推理领域,提出含认知交互与承诺阈值的最小κ–τ逻辑框架,其作为神经符号架构的符号管控层,可实现透明可审计的溯因推理。
2026-08-11 cs.AI
Abductive Computational Systems: Creative Abduction and Future Directions
University of Sydney(悉尼大学);Data61, CSIRO(Data61,CSIRO)
本文回顾了溯因推理在认识论、科学与设计中的探讨,分析了计算系统的应用,指出当前理论与实现均未充分解决创造性假设的生成问题,并拆解系统组件提出了未来研究方向。
2025-07-11 cs.AI
Representative Sets in Propositional Abduction
Jönköping University(约克灵根大学);Jönköping University Linköping University(约克灵根大学-林霍姆大学);Linköping University(林霍姆大学)
研究命题归结中给定解释集能否表示其他解释的问题,先从经典复杂性角度分类,再研究参数化复杂性,发现完整分类需解决编码理论中覆盖半径问题的参数化复杂性,揭示编码理论与非单调推理新联系。
2026-07-24 cs.AI cs.CC cs.DS
A Human-Grounded Evaluation Benchmark for Local Explanations of Machine Learning
Texas A&M University(德克萨斯农工大学);University of Florida(佛罗里达大学)
可解释机器学习的研究提出了不同的计算和人类主体方法来评估模型显着性解释。这些方法测量不同质量的解释,以实现设计可解释的机器学习系统的不同目标。在本文中,我们提出了一个人类注意力基准的图像和文本域使用多层人类注意力面具聚合从多个人类注释。然后,我们提出了一个评估研究,以评估模型的显着性解释使用梯度凸轮和石灰技术。我们证明了我们的基准的效用模型解释的定量评估,通过比较它与人类的主观评级和地面实况单层分割掩模评估。我们的研究结果表明,我们的阈值不可知的评估方法与人类的注意力基线是更有效的比单层对象分割面具地面真相。我们的实验还揭示了用户在模型显着性解释的主观评级中的偏见。
2020-06-28 cs.AI cs.HC
Theory of Machine Learning with Limited Data
MetaPattern(元模式)
机器学习的应用可以理解为通过解释累积的观察、训练集来获得新的知识以供实际使用。皮尔士用“溯因”一词来表示这种推论。在这里,我将实值假设的溯因概念形式化,并展示了14个最受欢迎的教科书ML学习者(我测试的每个学习者),包括分类,回归和聚类,实现了这种溯因推理的概念。该方法是作为统计学习理论的替代方案提出的,统计学习理论需要无限增加训练集的不切实际的假设来证明其合理性。
2023-01-01 cs.AI cs.LG cs.LO
Audience-specific Explanations for Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文针对机器翻译中因文化差异导致目标受众难以理解某些词语的问题,提出一种从大规模平行语料库中半自动提取词语解释的技术,并在英德、英法、英中三种语言对上验证了其有效性和鲁棒性。
2023-09-22 cs.AI cs.CL
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Technische Universität Berlin(柏林工业大学);Charité – Universitätsmedizin Berlin(柏林夏里特医学院)
针对可解释人工智能(XAI)缺乏标准化实证验证的问题,研究者搭建了整合带真值解释的基准数据集与新型量化指标的EXACT平台,用于评估事后XAI方法质量,发现主流方法常弱于随机基线且同性能架构解释存在差异,为XAI方法验证提供标准化基础。
2024-05-20 cs.AI cs.LG
Analytic Abduction: Causal Decomposition and Governed Commitment for Human--AI Coordination
Stake Lab, University of Molise(莫利塞大学斯塔克实验室)
研究分析性溯因推理,核心方法是κ - τ 机制及因果簇,贡献在于将未确定分解作为共享协调对象,用于人机协作,为决策者提供竞争解释场景及证据,助力合理行动。
2026-07-17 cs.AI
Sea-cret Agents: Maritime Abduction for Region Generation to Expose Dark Vessel Trajectories
EpochGeo
本文提出结合溯因推理、逻辑程序设计与规则学习的海事暗船定位方法,在接近完全召回的同时比机器学习方法所需搜索区域更小。
2025-02-06 cs.AI cs.LG cs.LO
CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs
Sharif University of Technology(谢里夫理工大学);University of Tehran(德黑兰大学)
本文提出过程感知强化学习框架CEDAR-GRPO,通过后训练提升LLM的通用溯因推理能力,在11个未见任务上实现显著性能提升,验证了其迁移有效性。
2026-08-18 cs.AI
Feature Necessity & Relevancy in ML Classifier Explanations
University of Toulouse(图卢兹大学);Univ. Paul Sabatier(保罗·萨巴蒂埃大学);Universitat de Lleida(莱里达大学);CNRS(法国国家科学研究中心)
给定机器学习(ML)模型和预测,解释可以被定义为足以用于预测的特征集。在某些应用程序中,除了要求解释之外,还必须了解敏感特征是否可以出现在某些解释中,或者不感兴趣的特征是否必须出现在所有解释中。本文首先将这些问题分别与基于逻辑的溯因推理中的关联性和必要性问题联系起来。然后证明了几个ML分类器的家庭成员和硬度的结果。然后分别给出了两类分类器的具体算法。实验结果证实了所提出的算法的可扩展性。
2023-02-07 cs.AI cs.LG
Abductive Reasoning with Syllogistic Forms in Large Language Models
Keio University(Keio大学);The University of Tokyo(东京大学)
本文研究大型语言模型在演绎推理中的准确性,通过转换三段论数据集探讨其偏见及改进方向,强调上下文推理的重要性。
2026-03-06 cs.AI cs.CL
Abductive Reasoning in a Paraconsistent Framework
Université de Bordeaux, CNRS, Bordeaux INP, LaBRI, UMR 5800(波尔多大学、法国国家科学研究中心、波尔多INP、LaBRI、UMR 5800);Japanese-French Laboratory for Informatics, CNRS, NII, IRL 2537(日法信息实验室、法国国家科学研究中心、日本信息产业技术研究所、IRL 2537);National Institute of Informatics, Tokyo, Japan(日本信息处理研究所)
本文在Belnap--Dunn四值逻辑的两种扩展中定义并研究溯因推理,证明二者不可互归约,分析相关推理任务复杂性,并给出归约到经典命题逻辑以复用现有方法。
2024-08-23 cs.AI cs.LO math.LO
How do Humans Understand Explanations from Machine Learning Systems? An Evaluation of the Human-Interpretability of Explanation
Harvard University(哈佛大学);Google Brain(谷歌大脑)
近年来,人们对机器学习系统的兴趣激增,这些系统可以为其预测或决策提供人类可理解的理由。然而,究竟什么样的解释是真正的人类解释仍然知之甚少。这项工作推进了我们对是什么使解释在特定的验证背景下可解释的理解。假设我们有一个预测X的机器学习系统,我们为这个预测X提供了基本原理。给定一个输入、一个解释和一个输出,输出是否与输入和假设的基本原理一致?通过一系列的用户研究,我们确定了什么样的复杂性增加对人类验证原理所需的时间影响最大,哪些似乎相对不敏感。
2018-02-02 cs.AI
Probably Approximately Correct Explanations of Machine Learning Models via Syntax-Guided Synthesis
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);National University of Singapore(新加坡国立大学)
我们提出了一种新的方法来理解复杂机器学习模型的决策(例如,深度神经网络)使用可能近似正确学习(PAC)和被称为语法引导合成(SyGuS)的逻辑推理方法的组合。我们证明,我们的框架产生的解释很有可能只产生很少的错误,并根据经验表明,它可以有效地产生小的、人类可解释的解释。
2020-09-18 cs.AI
Towards Explainable Goal Recognition Using Weight of Evidence (WoE): A Human-Centered Approach
The University of Melbourne(墨尔本大学);King Khalid University(国王哈立德大学);Macquarie University(麦考瑞大学);The University of Queensland(昆士兰大学);Monash University(莫纳什大学)
本研究提出基于证据权重(WoE)的可解释目标识别(XGR)模型,通过人类中心框架生成“为什么”和“为什么不”解释,在八个基准和三项用户研究中显著提升理解、信任与决策能力。
2024-09-18 cs.AI
Generating Hypothetical Events for Abductive Inference
Heidelberg University(海德堡大学)
溯因推理从一些观察开始,旨在为这些观察找到最合理的解释。为了进行溯因推理,人类经常利用时间和因果推理,以及关于某些假设情况如何导致不同结果的知识。这项工作提供了第一个研究,这些知识如何影响外展NLI任务-这包括选择更可能的解释给定的意见。我们训练一个专门的语言模型LMI,它的任务是从一个给定事件演变而来的假设场景中生成接下来可能发生的事情。然后,我们提出了一个多任务模型MTL来解决外展NLI任务,它通过以下方式预测一个合理的解释:a)考虑候选假设中出现的不同可能事件-由LMI生成的事件-以及b)选择与观察结果最相似的事件。我们表明,我们的MTL模型比之前的香草预训练LM更好,这些LM在外展NLI上进行了微调。我们的人工评估和分析表明,从不同的假设场景中学习可能的下一个事件支持溯因推理。
2021-06-07 cs.AI cs.CL
Computing Rule-Based Explanations of Machine Learning Classifiers using Knowledge Graphs
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典国立技术大学)
使用符号知识表示和推理作为解决机器学习分类器缺乏透明性的一种方法是近年来吸引了许多研究人员的研究领域。在这项工作中,我们使用知识图谱作为基础框架,提供了用于表示机器学习分类器的操作的解释的术语。特别是,给出了一个描述的应用领域的分类器的形式的知识图谱,我们介绍了一种新的方法,用于提取和表示黑箱解释其操作,在一阶逻辑规则的形式表示的术语的知识图谱。
2022-02-08 cs.AI
Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments
本文提出利用多个预训练模型减少感知误差的归纳推理方法,通过逻辑程序编码预测和错误检测规则,采用整数规划和启发式搜索算法提升预测覆盖度和一致性,实验表明在复杂分布偏移场景中性能优于单一模型和传统集成基线。
2026-03-20 cs.AI cs.CV cs.LG
Measuring the Quality of Explanations: The System Causability Scale (SCS). Comparing Human and Machine Explanations
Ottawa Hospital Research Institute(渥太华医院研究所);Medical University Graz(格拉茨医科大学)
最近在人工智能(AI)和机器学习(ML)方面取得的成功允许自动解决问题,而无需任何人为干预。自主方法可能非常方便。然而,在某些领域,例如,在医学领域中,有必要使领域专家能够理解为什么算法得出某个结果。因此,可解释人工智能(xAI)领域迅速在全球各个领域,特别是医学领域引起了人们的兴趣。可解释AI研究不透明AI/ML的透明度和可追溯性,并且已经有各种各样的方法。例如,利用逐层相关性传播,可以突出显示导致结果的神经网络的输入的相关部分和神经网络中的表示。这是确保最终用户,例如,医疗专业人员,负责AI/ML的决策,并对专业人员和监管机构感兴趣。交互式ML将人类专业知识的组成部分添加到AI/ML过程中,使他们能够重新制定和追溯AI/ML结果,例如让他们检查其可扩展性。这需要新的人机界面来实现可解释的AI。为了构建有效和高效的人机交互界面,我们必须处理如何评估可解释AI系统给出的解释质量的问题。在本文中,我们介绍了我们的系统因果性量表(SCS)来衡量解释的质量。它基于我们的因果性概念(Holzinger等人,2019)结合了从广泛接受的可用性量表改编的概念。
2019-12-19 cs.AI
Towards Analogy-Based Explanations in Machine Learning
Paderborn University(帕德博恩大学);Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所)
类比推理的原理最近已经应用于机器学习的背景中,例如开发用于分类和偏好学习的新方法。在本文中,我们认为,虽然类比推理肯定是有用的构建新的学习算法具有较高的预测精度,可以说是不那么有趣的可解释性和可解释性的角度来看。更具体地说,我们认为,在可解释的人工智能和可解释的机器学习领域,基于类比的方法是现有方法的可行替代方案,并且对机器学习算法产生的预测的基于类比的解释可以以有意义的方式补充基于相似性的解释。为了证实这些说法,我们概述了基于类比的解释的基本思想,并通过一些例子说明其潜在的实用性。
2020-05-23 cs.AI cs.LG
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne(墨尔本大学);University of California, Irvine(加州大学欧文分校)
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定(例如拒绝贷款申请),那么它既需要解释为什么做出这个决定,也需要解释个人如何获得他们想要的结果(如果可能的话)。目前,这通常是使用反事实的解释,但这种解释一般不告诉个人如何行动。我们断言,反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先,我们提出了一个在线研究的结果,调查人们的看法的指示性解释。其次,我们提出了一个概念模型来产生这样的解释。我们的在线研究显示,人们对指令性解释($p<0.001$)有明显的偏好。然而,受试者偏好的解释类型受到多种因素的影响,如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Counterfactual Explanations for Support Vector Machine Models
Columbia University(哥伦比亚大学)
我们解决了计算反事实解释的问题-对翻转不受欢迎的模型预测的特征进行最小的更改。我们提出了一个解决这个问题的线性支持向量机(SVMs)模型。此外,我们引入了一种方法来考虑加权的行动,允许更多的变化,在某些功能比其他。特别是,我们展示了如何找到反事实的解释,以增加模型的可解释性。这些解释是有效的,只改变可操作的特征,接近数据分布,稀疏,并考虑到特征之间的相关性。我们将其转换为混合整数规划优化问题。此外,我们引入了两个新的尺度不变成本函数来评估反事实解释的质量,并使用它们来评估我们的方法与真实医疗数据集的质量。最后,我们建立了一个支持向量机模型来预测法律专业学生是否会通过律师考试使用保护功能,并使用我们的算法来揭示SVM的固有偏见。
2022-12-14 cs.AI cs.LG
MeLIME: Meaningful Local Explanation for Machine Learning Models
Aarhus University(奥胡斯大学)
大多数最先进的机器学习算法都引入了黑盒模型,这阻碍了它们在许多敏感领域的应用。因此,已经提出了许多用于解释机器学习模型的方法来解决这个问题。在这项工作中,我们引入策略,以改善当地的解释考虑到用于训练的黑箱模型的数据的分布。我们表明,与其他技术相比,我们的方法MeLIME在不同的ML模型上产生了更有意义的解释,对各种类型的数据进行操作。MeLIME推广了LIME方法,允许更灵活的扰动采样和使用不同的本地可解释模型。此外,我们对本地可解释模型的标准训练算法进行了修改,以促进更强大的解释,甚至允许产生反事实的例子。为了展示所提出的方法的优势,我们包括对表格数据,图像和文本的实验;所有这些都显示出改进的解释。特别是,MeLIME在MNIST数据集上生成的解释比GuidedBackprop,SmoothGrad和Layer-wise Relevance Propagation等方法更有意义。MeLIME可在https://github.com/tiagobotari/melime上获得。
2020-09-12 cs.AI cs.LG
Sound Explanation for Trustworthy Machine Learning
University of YYY(YYY大学);Institute of WWW(WWW研究所)
该研究形式化探讨机器学习可解释性问题,证明归因算法无法同时满足四项性质,定义了“可靠解释”概念,并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research(IBM研究院)
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法,称为TED,要求在训练数据中提供解释,以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序,实验进行了调查与TED的一些实际考虑,包括其性能与不同的分类算法,不同数量的解释,和解释的变化。针对某些训练样本没有解释的情况,提出了一种新的算法。我们的研究结果表明,TED是强大的越来越多的解释,嘈杂的解释,和大部分的缺失的解释,从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
Counterfactual Explanations for Machine Learning: Challenges Revisited
University of Washington(华盛顿大学);Arthur AI;University of Maryland(马里兰大学)
反事实解释(CFE)是机器学习(ML)模型可解释性保护伞下的一种新兴技术。它们提供“如果”形式的反馈,“如果输入数据点是$x'$而不是$x$,那么ML模型的输出将是$y'$而不是$y$。ML模型的反事实解释性尚未在工业中得到广泛采用。在这篇简短的论文中,我们解释了这种缓慢吸收的原因。利用最近概述CFE理想属性的工作以及我们运行模型监控初创公司ML翼的经验,我们确定了阻碍CFE在行业中部署的突出障碍。
2021-06-14 cs.AI cs.LG
Debiased-CAM to mitigate systematic error with faithful visual explanations of machine learning
模型解释(如显着性图)可以通过突出预测的重要特征来提高用户对AI的信任。然而,当解释受系统误差(偏差)影响的图像预测时,这些会变得扭曲和误导。此外,尽管模型对受不同因素(模糊、色温、白天/夜晚)影响的图像进行了微调,但失真仍然存在。我们提出Debiased-CAM通过训练多输入,多任务模型,辅助任务的解释和偏见水平预测,以恢复各种偏见类型和水平的解释忠诚度。在模拟研究中,该方法不仅提高了预测精度,而且还生成了关于这些预测的高度可信的解释,就好像图像是无偏的一样。在用户研究中,去偏见的解释提高了用户的任务绩效,感知真实性和感知有用性。去偏训练可以为具有数据偏差的广泛应用提供一个多功能平台,以实现强大的性能和解释忠实性。
2022-03-01 cs.AI cs.HC
Machine Guides, Human Supervises: Interactive Learning with Global Explanations
KU Leuven(KU Leuven(天主教鲁汶大学));University of Trento(特伦托大学)
我们介绍解释性引导学习(XGL),一种新的交互式学习策略,其中机器引导人类主管选择信息丰富的分类器的例子。通过全局解释来提供指导,该全局解释总结了分类器在实例空间的不同区域上的行为并暴露其缺陷。与其他解释性交互式学习策略相比,这些策略是机器发起的,依赖于本地解释,XGL被设计为对机器提供的解释超过分类器质量的情况具有鲁棒性。此外,XGL利用全局解释来打开人类发起的交互的黑盒子,使主管能够选择挑战学习模型的信息示例。通过与交互式机器教学相联系,我们从理论上证明了全局解释是指导主管的可行方法。我们的模拟表明,解释性引导学习避免了过度销售模型的质量,并在模型质量方面比机器和人类发起的交互式学习策略表现更好。
2020-09-21 cs.AI cs.LG stat.ML
Ultra Strong Machine Learning: LLM-Generated Explanations Do Not Yet Suffice for Teaching Humans Active Learning Strategy
Department of Computing, Imperial College London(帝国理工学院计算系)
本研究提出LENS框架,通过神经符号方法生成逻辑程序解释,发现LLM生成的解释在人类学习中效果有限,需结合人类认知约束实现超强机器学习。
2026-09-23 cs.AI cs.LG
On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company(ABB集团ABB能力创新中心);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
随着基于人工智能(AI)的解决方案和分析计算引擎技术的进步,机器学习(ML)模型变得越来越复杂。这些模型中的大多数通常被用作黑箱,没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI(XAI)方法来证明ML模型的可解释性和可解释性,以使其预测更加可信。在这篇手稿中,我们提出了一种方法,我们定义为本地可解释模型不可知的形状解释(LIMASE)。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下(a)通过使用局部忠实和可解释的决策树模型来解释任何模型的预测,其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释,提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e)与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
University of Waterloo(滑铁卢大学)
本研究对比人类与机器生成的大语言模型解释,发现人类显著性图更具帮助性,但支持错误AI预测的有用解释会降低任务表现,揭示了AI错误的解释困境。
2024-04-11 cs.AI cs.HC
Can I Trust the Explanations? Investigating Explainable Machine Learning Methods for Monotonic Models
Kunshan Duke University(昆山杜克大学)
本文研究可解释机器学习方法应用于具有领域知识的单调模型时是否能给出一致解释,提出三条单调性公理,并发现个体单调性下 Shapley 值表现良好,而强成对单调性下 Integrated gradients 平均更合理。
2023-09-23 cs.AI cs.LG q-fin.CP
Robust Counterfactual Explanations in Machine Learning: A Survey
Imperial College London(帝国理工学院)
本综述系统回顾了机器学习中鲁棒反事实解释的研究,分析了鲁棒性形式、现有解决方案及其局限,为未来发展奠定基础。
2024-02-02 cs.AI cs.LG
Metamorphic Testing with the Rashomon Set: Explanation Faithfulness in Machine Learning
Norwegian Ministry of Education and Research(挪威教育与研究部)
针对机器学习中因Rashomon效应导致解释不可靠的问题,提出基于蜕变测试的框架,通过后验解释方法评估特征归因的忠实性,无需真实标签。
2026-06-04 cs.AI cs.LG cs.SE
Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation
Prosperia
机器学习方法正越来越多地应用于敏感的社会环境中,在这些环境中,决策会影响人类生活。因此,有必要建立能力,为模型的预测提供易于解释的解释。最近在学术文献中,已经提出了大量的解释方法。不幸的是,据我们所知,关于机器学习从业者在现实世界中应用它们时最常面临的挑战,几乎没有记录。例如,一个典型的过程,如特征工程,可以使一些方法不再适用。本案例研究有两个主要目标。首先,揭露这些挑战,以及它们如何影响相关和新颖的解释方法的使用。第二,提出一套战略,以减轻在相关应用领域-贫困估计及其用于优先获得社会政策-实施解释方法时所面临的挑战。
2021-04-12 cs.AI cs.LG stat.AP
LEx: A Framework for Operationalising Layers of Machine Learning Explanations
The University of Melbourne(墨尔本大学);Georgia Institute of Technology(佐治亚理工学院)
有几个社会因素会影响人们对人工智能解释的反应,这些解释用于证明影响他们个人的人工智能决策。在这份立场文件中,我们定义了一个称为\textit{layers of explanation}(LEx)的框架,通过这个框架,我们可以评估不同类型解释的适当性。该框架使用的概念\textit{sensitivity}(情绪反应)的功能和\textit{stakes}(决策的后果)在一个域中,以确定是否不同类型的解释是\textit{appropriate}在给定的上下文中。我们展示了如何使用该框架来评估不同领域中不同类型解释的适当性。
2021-04-15 cs.AI cs.HC cs.LG
Score-Based Explanations in Data Management and Machine Learning
Universidad Adolfo Ibáñez(阿道夫·伊瓦涅斯大学);Data Observatory Foundation(数据观测基金会);IMFD(千禧数据基金会)
我们描述了一些方法来解释数据管理和机器学习中观察到的结果。它们是根据对预定义的和可能相关的投入的数值评分。更具体地说,我们考虑在数据库中的查询答案的解释,并从分类模型的结果。所描述的方法大多是因果和反事实的性质。我们认为需要把域和语义知识得分计算,并提出了一些方法来做到这一点。
2020-08-19 cs.AI cs.DB cs.LG
Fast Calibrated Explanations: Efficient and Uncertainty-Aware Explanations for Machine Learning Models
Jönköping University(延雪平大学);University of Bologna(博洛尼亚大学)
提出 Fast Calibrated Explanations,融合 ConformaSight 扰动技术与 CE 核心要素,在保留校准预测、局部特征重要性及不确定性量化的同时显著提升解释生成效率。
2024-10-28 cs.AI cs.CY cs.LG
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Robust Counterfactual Explanations under Model Multiplicity Using Multi-Objective Optimization
Faculty of Business(商学部);Kyoritsu Women’s University(京都女子大学)
针对机器学习中反事实解释在多相似精度模型下不鲁棒的问题,提出引入帕累托改进观点及多目标优化方法生成鲁棒反事实解释,实验验证了该方法的鲁棒性与实用性。
2026-07-07 cs.AI cs.LG
From Human Explanation to Model Interpretability: A Framework Based on Weight of Evidence
Microsoft Research(微软研究院);University of Michigan(密歇根大学);University of Maryland(马里兰大学)
我们从人类解释的研究中获得灵感,为机器学习中可解释性方法的设计和评估提供信息。首先,我们调查了哲学,认知科学和社会科学中关于人类解释的文献,并提出了一系列对人类有意义的机器生成解释的设计原则。利用信息论中证据权重的概念,我们开发了一种方法来生成符合这些原则的解释。我们表明,这种方法可以适应于处理高维,多类设置,产生一个灵活的框架生成的解释。我们证明,这些解释可以准确地估计从有限的样本,是强大的输入的小扰动。我们还通过与机器学习从业者的定性用户研究来评估我们的方法,在那里我们观察到,尽管一些参与者在努力解决先验类概率等背景概念,但所得到的解释是可用的。最后,我们得出结论,表面~设计~一般的可解释性工具的影响。
2021-09-20 cs.AI cs.LG
The Disagreement Problem in Explainable Machine Learning: A Practitioner's Perspective
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Drexel University(德雷塞尔大学)
针对可解释机器学习中事后解释方法存在分歧却缺乏研究的问题,通过访谈定义分歧概念、构建定量框架,结合实证分析与用户研究发现解释方法常分歧且从业者用临时启发式解决,强调需开发原则性评估框架。
2025-04-17 cs.AI cs.LG
Explanatory machine learning for sequential human teaching
University of Bamberg(班贝格大学);Imperial College London(伦敦帝国学院)
本文研究顺序教学中课程顺序与机器学习解释对人类理解的影响,提出顺序教学影响框架,并通过人类试验证明按复杂度递增教学能提升理解、促进分治策略再发现及优化问题求解表现。
2023-03-26 cs.AI cs.LG
One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency
University of Bristol(布里斯托大学)
由于基于机器学习算法的预测系统在行业中的不断增长,因此需要其透明度。每当黑箱算法预测影响人类事务时,这些算法的内部工作应该被仔细检查,并向相关利益相关者解释其决策,包括系统工程师,系统操作员和案件被决定的个人。虽然有各种各样的可解释性和可解释性方法,但没有一种方法是万能药,可以满足所有不同的期望和有关各方可能要求的相互竞争的目标。在本文中,我们通过讨论交互式机器学习的承诺来解决这一挑战,该承诺使用对比解释的例子来提高黑盒系统的透明度--一种最先进的可解释机器学习方法。具体来说,我们展示了如何个性化的反事实的解释,通过互动调整他们的条件语句和提取额外的解释,要求后续“如果?“问题。我们在构建、部署和展示这种类型的系统方面的经验使我们能够列出所需的属性以及潜在的限制,这些属性可以用于指导交互式解释器的开发。在定制交互媒介的同时,用户界面包括各种通信渠道,可能会给人一种个性化的印象,我们认为,调整解释本身及其内容更重要。为此,除了明确告知被解释者其局限性和警告之外,还必须考虑解释的广度、范围、上下文、目的和目标等属性.
2020-01-27 cs.AI cs.LG stat.ML
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Example-based Explanations for Random Forests using Machine Unlearning
Purdue University(普渡大学)
本文提出FairDebugger系统,利用机器遗忘和Apriori算法识别导致随机森林不公平结果的训练数据子集,生成前k个解释,并在三个真实数据集上验证其有效性。
2024-02-07 cs.AI cs.LG
Context sequence theory: a common explanation for multiple types of learning
虽然神经科学的原理,如强化学习,视觉感知和注意力已经应用在机器学习模型中,但机器学习和哺乳动物学习之间存在巨大的差距。基于神经科学的发展,本文提出了上下文序列理论,对哺乳动物的多种学习类型给出了一个共同的解释,并希望能为机器学习模型的构建提供新的思路。
2022-07-17 cs.AI cs.LG q-bio.NC