Reasoning about Explanations for Negative Query Answers in DL-Lite
Free University of Bozen-Bolzano(博尔扎诺-博岑自由大学);Vienna University of Technology(维也纳工业大学);University of Oxford(牛津大学)
为了满足可用性需求,大多数基于逻辑的应用程序提供推理服务的解释设施。这也适用于描述逻辑,其中研究集中在TBox推理和最近的查询回答的解释上。除了解释查询答案中元组的存在之外,解释为什么给定的元组丢失也很重要。我们解决后一个问题,例如,通过采用溯因推理,在DL-Lite本体上进行合取查询回答;也就是说,我们寻找ABox的补充,强制给定的元组出现在结果中。作为推理任务,我们考虑存在和承认的解释,相关性和必要性的一个给定的声明的解释。我们刻画了这些问题的计算复杂性的任意,子集最小,基数最小的解释。
2014-02-04 cs.AI cs.LO
Reasoning about Counterfactuals and Explanations: Problems, Results and Directions
Universidad Adolfo Ibáñez(阿道夫·伊瓦涅斯大学)
最近有一些关于使用答案集编程来指定对分类下的实体的反事实干预以及对它们的推理的方法和结果。这些方法是灵活和模块化的,因为它们允许无缝添加领域知识。推理是通过应答集程序的查询应答来实现的。该程序可用于指定和计算基于责任的数值分数作为分类结果的属性解释。
2021-08-25 cs.AI cs.LO
Knowledge is Power, Understanding is Impact: Utility and Beyond Goals, Explanation Quality, and Fairness in Path Reasoning Recommendation
University of Cagliari(卡利亚里大学);Polytechnic University of Turin(都灵理工大学)
路径推理是基于知识图谱(KG)对高阶用户-产品关系建模的著名推荐方法。这种方法可以提取推荐产品和已经体验过的产品之间的推理路径,然后将这些路径转化为用户的文本解释。不幸的是,在这一领域的评估协议出现异构和有限的,很难上下文的影响,现有的方法。在本文中,我们复制了三个国家的最先进的相关路径推理推荐方法提出的顶级会议。在一个共同的评估协议下,基于两个公共数据集,并与其他知识感知的方法相比,我们研究了它们在多大程度上满足推荐效用和超越目标,解释质量,消费者和提供者的公平性。我们的研究提供了在这一领域的进展情况,突出开放的问题和未来的方向。源代码:\url{https://github.com/giacoballoccu/rep-path-reasoning-recsys}。
2023-01-14 cs.AI cs.IR
A Comparative Study of Neurosymbolic AI Approaches to Interpretable Logical Reasoning
Raffles Institution(拉夫斯学院)
本研究比较了神经符号AI中整合与混合两种方法,发现混合方法(如LLM-SS)在通用逻辑推理上更具可解释性和优势,并提出了一个模块化、模型无关的通用框架。
2025-08-05 cs.AI cs.CL cs.LG
Schema-Agnostic Graph Reasoning Agent for Hybrid Knowledge Graphs
提出图推理智能体GRA,探索混合知识图谱,在工业基准UFK-M上准确率优于全上下文智能体,读取令牌更少,增益源于选择性访问。
2026-08-18 cs.AI cs.CL cs.DB
SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning
University of Southern California(南加州大学);IIT Delhi(印度理工学院德里分校)
用知识图谱(KG)增强预训练的语言模型在各种常识推理任务上取得了成功。然而,对于给定的任务实例,KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件,但KG仍然总是被使用,并且注意力机制从未被明确教导应该使用哪些KG组件。同时,显著性方法可以测量KG特征(例如,图形、节点、路径)影响模型做出正确的预测,从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先,我们建议创建粗糙(KG有用吗?)和精细(KG中的哪些节点/路径有用?)显着性解释。其次,为了激励基于显着性的监督,我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三,我们提出了SalKG,KG增强模型的框架,从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释,SalKG联合训练模型来预测解释,然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试(CSQA,OBQA,CODAH)和一系列KG增强模型上,我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。
2022-03-20 cs.AI cs.CL cs.LG
A Model-Agnostic SAT-based Approach for Symbolic Explanation Enumeration
CRIL(朗斯计算机科学实验室);Univ. Artois(阿图瓦大学);CNRS(法国国家科学研究中心)
在本文中,我们提出了一个通用的不可知的方法,允许生成不同的和互补类型的符号解释的符号解释的模型不可知SAT为基础的方法。更准确地说,我们通过分析特征和输出之间的关系来生成解释,以局部解释单个预测。我们的方法使用一个命题编码的预测模型和SAT为基础的设置生成两种类型的符号解释,这是充分的理由和反事实。在图像分类任务上的实验结果表明了该方法的可行性及其在提供充分理由和反事实解释方面的有效性。
2022-08-15 cs.AI
Visual Explanation by High-Level Abduction: On Answer-Set Programming Driven Reasoning about Moving Objects
HCC Lab., University of Bremen(不来梅大学 HCC 实验室);MPI Lab., Örebro University(厄勒布鲁大学 MPI 实验室);University of Warsaw(华沙大学);Aarhus University(奥胡斯大学)
我们提出了一个混合体系结构,系统地计算强大的视觉解释(S),包括假设形成,信念修正,和默认推理与视频数据。该架构由两个紧密集成的协同组件组成:(1)(功能)答案集编程为基础的溯因推理与时空轨迹作为本地实体;(2)基于检测的对象跟踪和运动分析的视觉处理管道。我们提出了正式的框架,其一般实现作为一个(声明)的方法在答案集编程,和一个示例应用程序和评估的基础上两个不同的视频数据集:MOTChallenge基准开发的视觉社区,和最近开发的电影数据集。
2017-12-03 cs.AI cs.CV cs.LO
ASTERYX : A model-Agnostic SaT-basEd appRoach for sYmbolic and score-based eXplanations
Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心);CRIL(计算机科学与基础信息实验室)
在实践中越来越多地使用机器学习技术的复杂性不断增加,这就需要解释这些模型的预测和决策,这些模型通常被用作黑箱。可解释的人工智能方法要么是基于数值特征的,旨在量化每个特征在预测中的贡献,要么是提供某些形式的符号解释(如反事实)的符号解释。本文提出了一种通用的不可知论的方法,名为ASTERY X允许生成符号解释和分数为基础的。我们的方法是声明性的,它是基于编码的模型被解释在一个等效的符号表示,后者用于生成特别是两种类型的符号解释,这是充分的理由和反事实。然后,我们将分数与一些属性相关联,这些分数反映了解释和特征w.r.t的相关性。我们的实验结果表明,所提出的方法的可行性和有效性,在提供符号和分数为基础的解释。
2022-06-23 cs.AI
BayLIME: Bayesian Local Interpretable Model-Agnostic Explanations
University of Liverpool(利物浦大学);Heriot-Watt University(赫瑞-瓦特大学);Centrum voor Wiskunde en Informatica(荷兰国家数学与计算机科学研究所);Delft University of Technology(代尔夫特理工大学)
鉴于迫切需要确保算法的透明度,可解释AI(XAI)已成为AI研究的关键领域之一。在本文中,我们开发了一种新的贝叶斯扩展LIME框架,这是XAI中最广泛使用的方法之一-我们称之为BayLIME。与LIME相比,BayLIME利用先验知识和贝叶斯推理来提高单个预测的重复解释的一致性和对内核设置的鲁棒性。BayLIME还表现出比最先进的(LIME,SHAP和GradCAM)更好的解释保真度,因为它能够整合来自以下方面的先验知识:各种其他XAI技术,以及验证和确认(V&V)方法。我们通过理论分析和大量的实验证明了BayLIME的理想性能。
2021-05-29 cs.AI
Model Agnostic Local Explanations of Reject
University of Cyprus(塞浦路斯大学);Bielefeld University(比勒费尔德大学)
基于机器学习的决策系统在安全关键领域的应用需要可靠的高确定性预测。拒绝选项是确保系统所做预测具有足够高确定性的常见方法。虽然能够拒绝不确定的样本很重要,但能够解释为什么特定样本被拒绝也很重要。然而,解释一般拒绝选项仍然是一个悬而未决的问题。我们提出了一个模型不可知的方法,通过可解释的模型和反事实的解释来局部解释任意拒绝选项。
2022-05-16 cs.AI cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
MAGIX: Model Agnostic Globally Interpretable Explanations
Adobe Systems(奥多比系统公司)
在实例级别解释黑盒机器学习模型的行为对于建立信任非常有用。但是,理解模型的全局行为也很重要。这样的理解提供了对模型训练所依据的数据和它所学习的模式的洞察。我们在这里提出了一种学习“若-则”规则的方法,以全局地解释用于解决分类问题的黑盒机器学习模型的行为。该方法的工作原理是首先提取的情况下,重要的实例级,然后通过一个遗传算法与适当的适应度函数的规则。总的来说,这些规则代表了决策模型所遵循的模式,对于理解其行为非常有用。我们通过解释使用公开数据集以及私人数字营销数据集创建的黑盒模型来证明该方法的有效性和实用性。
2018-06-15 cs.AI
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
PARs: Predicate-based Association Rules for Efficient and Accurate Model-Agnostic Anomaly Explanation
Siemens Technology China(西门子中国技术)
针对现有异常检测研究重检测轻解释的问题,提出基于谓词的关联规则PARs模型无关异常解释方法,经用户研究和多基准实验验证,其解释更易被用户理解,且计算效率与准确性优于现有先进方法。
2023-12-18 cs.AI cs.IR cs.LG
Causality-Aware Local Interpretable Model-Agnostic Explanations
University of Pisa(比萨大学)
本文针对XAI方法的特征独立性假设缺陷,提出一种整合因果知识的局部模型无关解释器扩展,通过在数据中编码显式因果关系,提升了黑盒模型解释的忠实度、一致性与可靠性。
2024-04-15 cs.AI cs.LG
Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company(ABB集团ABB能力创新中心);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
随着基于人工智能(AI)的解决方案和分析计算引擎技术的进步,机器学习(ML)模型变得越来越复杂。这些模型中的大多数通常被用作黑箱,没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI(XAI)方法来证明ML模型的可解释性和可解释性,以使其预测更加可信。在这篇手稿中,我们提出了一种方法,我们定义为本地可解释模型不可知的形状解释(LIMASE)。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下(a)通过使用局部忠实和可解释的决策树模型来解释任何模型的预测,其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释,提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e)与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
Addressing Explainability of Generative AI using SMILE (Statistical Model-agnostic Interpretability with Local Explanations)
School of Computer Science(计算机科学学院);University of Hull(赫尔大学)
gSMILE通过受控扰动、Wasserstein距离和加权替代模型,提升生成AI的可解释性,实现细粒度归因和直观热图生成。
2026-02-01 cs.AI
On Interactive Explanations as Non-Monotonic Reasoning
Imperial College London(帝国理工学院)
最近的工作显示了与解释的一致性问题,方法生成的本地解释似乎是合理的实例,但在实例之间是不一致的。这不仅表明实例方面的解释可能不可靠,而且主要表明,当通过多个输入与系统交互时,用户实际上可能对系统失去信心。为了更好地分析这个问题,在这项工作中,我们把解释的对象,可以受到推理,并提出了一个正式的模型,用户和系统之间的互动场景,通过输入,输出和解释的序列。我们认为,解释可以被认为是致力于一些模型的行为(即使只是表面上),暗示一种形式的蕴涵,其中,我们认为,应该被认为是非单调的。这允许:1)解决解释中的一些考虑的不一致性,例如通过特异性关系; 2)考虑非单调推理文献中的属性并讨论它们的可取性,从而对交互式解释场景有更多的了解。
2022-07-30 cs.AI
DeepFaith: A Domain-Free and Model-Agnostic Unified Framework for Highly Faithful Explanations
DeepFaith提出领域无关、模型无关的统一框架,通过统一保真度指标推导最优目标,结合多解释方法训练,单次前向传播生成高保真解释,在12个任务中超越基线。
2025-08-05 cs.AI cs.LG
TACENR: Task-Agnostic Contrastive Explanations for Node Representations
University of Ioannina, Greece(希腊伊奥安妮亚大学);Archimedes/Athena Research Center, Greece(阿基米德/雅典娜研究中心)
本文提出TACENR,一种任务无关的节点表示对比解释方法,通过对比学习识别节点表示空间中对节点表示贡献最大的属性、接近性和结构性特征。
2026-04-21 cs.AI cs.LG
ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
Haverford College(哈弗福德学院)
研究针对多语言推理评估依赖翻译基准的问题,提出ADAGE语言无关管道,结合母语者策划与大语言模型辅助生成构建基准,通过为多种语言构建基准并评估模型,发现文化推理差距,还发布了相关内容。
2026-07-28 cs.AI cs.CL
Learning Model Agnostic Explanations via Constraint Programming
Univ. Artois(阿图瓦大学);CNRS(法国国家科学研究中心);Centre de Recherche en Informatique de Lens (CRIL)(朗斯信息学研究中心)
本文将黑盒模型的模型无关解释问题构建为约束优化问题,通过约束求解器寻找最小误差和有界大小的解释,提供PAC风格理论保证,并在统计上优于启发式Anchors方法。
2024-11-13 cs.AI cs.LG
ConceptDistil: Model-Agnostic Distillation of Concept Explanations
Feedzai
基于概念的解释旨在填补非技术人员的模型可解释性缺口。以前的工作集中在为特定模型(例如,神经网络)或数据类型(例如,图像)提供概念,并尝试从已经训练的网络中提取概念或通过多任务学习训练可自我解释的模型。在这项工作中,我们提出了ConceptDistil,一种使用知识蒸馏将概念解释带到任何黑盒分类器的方法。ConceptDistil被分解为两个组件:(1)预测给定实例中存在哪些领域概念的概念模型,以及(2)尝试使用概念模型预测来模仿黑盒模型的预测的蒸馏模型。我们在真实世界的用例中验证了ConceptDistil,表明它能够优化这两项任务,为任何黑盒模型带来概念解释能力。
2022-05-07 cs.AI cs.LG
DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems
Ryerson University(瑞尔森大学)
局部可解释模型不可知推理(LIME)是一种流行的技术,用于提高黑盒机器学习(ML)算法的可解释性和可解释性。LIME通常通过学习一个更简单的可解释模型(例如线性分类器)来为任何ML模型的单个预测生成解释,该模型通过随机扰动在实例周围生成模拟数据来学习预测,并通过应用某种形式的特征选择来获得特征重要性。虽然LIME和类似的局部算法由于其简单性而获得了普及,但是随机扰动和特征选择方法导致所生成的解释中的“不稳定性”,其中对于相同的预测,可以生成不同的解释。这是一个关键问题,可以防止在计算机辅助诊断(CAD)系统中部署LIME,其中稳定性对于赢得医疗专业人员的信任至关重要。在本文中,我们提出了一个确定性版本的LIME。代替随机扰动,我们利用凝聚层次聚类(HC)将训练数据分组在一起,并利用K-最近邻(KNN)选择正在解释的新实例的相关聚类。在找到相关聚类之后,在所选聚类上训练线性模型以生成解释。在三个不同的医学数据集上的实验结果显示了确定性局部可解释模型不可知解释(DLIME)的优越性,其中我们利用多个生成的解释之间的Jaccard相似性定量确定了DLIME与LIME相比的稳定性。
2019-06-24 cs.AI cs.LG stat.ML
A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation
Lenovo Research(联想研究院);University of Chinese Academy of Sciences(中国科学院大学)
可解释性是人工智能与社会之间的一个门户,因为当前流行的深度学习模型在解释推理过程和预测结果方面普遍较弱。局部可解释模型不可知解释(LIME)是一种最近的技术,它通过在预测周围局部学习可解释模型来忠实地解释任何分类器的预测。然而,LIME标准实施中的抽样操作存在缺陷。扰动样本是从均匀分布中产生的,忽略了特征之间复杂的相关性。本文提出了一种新的改进的扰动采样操作LIME(MPS-LIME),这是形式化的团集构造问题。在图像分类中,MPS-LIME将超像素图像转换为无向图。各种实验表明,MPS-LIME解释的黑盒模型实现了更好的性能,在可理解性,保真度和效率。
2020-02-18 cs.AI cs.LG stat.ML
Explanatory causal effects for model agnostic explanations
University of South Australia(南澳大学);Hefei University of Technology(合肥工业大学)
本文研究了通过机器学习模型估计特征对特定实例的预测的贡献以及特征对模型的总体贡献的问题。特征(变量)对预测结果的因果效应很好地反映了特征对预测的贡献。一个挑战是,大多数现有的因果效应不能估计数据没有已知的因果关系图。在本文中,我们定义了一个解释性的因果效应的基础上假设的理想实验。这个定义给模型不可知论的解释带来了几个好处。首先,解释是透明的,具有因果意义。第二,解释性因果效应估计可以是数据驱动的。第三,因果效应既为特定预测提供了局部解释,也为预测模型中某个特征的整体重要性提供了全局解释。我们进一步提出了一种方法,使用基于解释因果效应的个体和组合变量进行解释。我们的定义和方法的工作与一些现实世界的数据集上的实验。
2022-06-23 cs.AI cs.LG stat.ME
Qualitative Propagation and Scenario-based Explanation of Probabilistic Reasoning
Carnegie Mellon University(卡内基梅隆大学);Rockwell International Science Center(罗克韦尔国际科学中心)
概率推理的可理解性解释是专家系统和决策支持系统中贝叶斯方法被广泛接受的先决条件。一项关于人类在不确定性下推理的研究提出了两种不同的策略来解释概率推理:第一种是定性信念传播,通过信念网络从一个变量到下一个变量追踪证据的定性效果。这种传播算法是Wellman(1988)的图约简算法的替代,用于定性概率网络中的推理。它是基于一个定性分析的因果关系推理,这是一个概括的珍珠的“解释了”,并替代韦尔曼的定性协同作用的定义。另一种是基于情景的推理,涉及到替代因果“故事”的产生。比较几个最可能的场景提供了一种近似的方法来解释概率推理的结果。这两种方案采用因果关系以及概率知识。概率可以被呈现为短语和/或数字。用户可以控制解释的风格、抽象性和完整性。
2013-03-27 cs.AI
MaNtLE: Model-agnostic Natural Language Explainer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出模型无关的自然语言解释器MaNtLE,通过在数千个合成分类任务上进行多任务训练生成忠实解释,在多项任务中忠实度优于LIME和Anchors,帮助用户更准确地预测模型行为。
2023-05-22 cs.AI cs.CL cs.LG
LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations
针对机器学习模型黑箱缺乏透明度的问题,提出基于马尔可夫毯的LaPLACE模型无关解释器,可自动生成最优特征子集的概率因果解释,性能优于LIME和SHAP,在多场景具备实用价值。
2023-10-01 cs.AI cs.LG
LIMREF: Local Interpretable Model Agnostic Rule-based Explanations for Forecasting, with an Application to Electricity Smart Meter Data
Monash University(莫纳什大学)
准确的电力需求预测在可持续电力系统中起着至关重要的作用。为了更好地做出决策,特别是针对最终用户的需求灵活性,不仅需要提供准确的预测,还需要提供可理解和可操作的预测。为了提供准确的预测,跨时间序列训练的全局预测模型(GFM)最近在许多需求预测竞赛和实际应用中显示出优于单变量预测方法的结果。我们的目标是填补全球预测方法的准确性和可解释性之间的差距。为了解释全球模型预测,我们提出了本地可解释模型不可知的基于规则的预测解释(LIMREF),一个本地解释器框架,为特定的预测产生k-最优的影响规则,考虑全球预测模型作为一个黑盒模型,在模型不可知的方式。它提供了不同类型的规则来解释全局模型的预测和反事实规则,这些规则为潜在的变化提供了可操作的见解,以获得给定实例的不同输出。我们使用大规模的电力需求数据集进行实验,这些数据集具有温度和日历效应等外生特征。在这里,我们评估质量的解释所产生的LIMREF框架在定性和定量方面,如准确性,保真度和可理解性和基准对其他本地解释者。
2022-02-15 cs.AI cs.LG
Bridging AI and Clinical Reasoning: Abductive Explanations for Alignment on Critical Symptoms
本文利用形式溯因解释,通过最小充分特征集提供一致且保证的推理,使AI决策与临床推理对齐,在保持预测准确性的同时提供可操作的临床见解,建立可信AI框架。
2026-05-22 cs.AI
Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions
KU Leuven(鲁汶大学)
本文提出两种模型无关的交互式特征归因方法(Occlusion和Shapley values),通过纠正后的解释生成局部数据来重训模型,显著提升了模型性能与主动学习中的样本效率。
2023-06-28 cs.AI cs.LG
Model-Agnostic Counterfactual Explanations for Consequential Decisions
MPI-IS(马克斯·普朗克智能系统研究所);MPI-SP(马克斯·普朗克软件系统研究所);IMDEA Software Institute(马德里高级研究中心软件研究所)
预测模型正越来越多地用于支持审前保释和贷款审批等个人层面的重大决策。因此,越来越多的社会和法律压力要求提供解释,帮助受影响的个人不仅理解为什么会输出预测,而且还要理解如何采取行动以获得预期的结果。为此,一些作品提出了基于优化的方法来生成最接近的反事实解释。然而,这些方法通常限于模型的特定子集(例如,决策树或线性模型)和可微距离函数。相反,我们建立在标准的理论和工具,从形式化验证,并提出了一种新的算法,解决了一系列的可满足性问题,其中的距离函数(目标)和预测模型(约束)表示为逻辑公式。如我们在真实世界数据上的实验所示,我们的算法是:i)模型不可知的({非}线性、{非}可微、{非}凸); ii)数据类型不可知的(异构特征); iii)距离不可知的($\ell_0, \ell_1, \ell_\infty$及其组合); iv)能够为任何样本生成合理且多样的反事实(即,100%覆盖率);以及v)在可证明的最佳距离处。
2020-02-28 cs.AI cs.LG cs.LO
Generating Explanations for Evidential Reasoning
IRIDIA;Service d'Automatique(自动化服务);Universite libre de Bruxelles(布鲁塞尔自由大学)
在本文中,我们提出了两种方法来提供解释的推理与信念功能的评估为基础的系统。受Strat方法的启发,一种方法是基于灵敏度分析,但它的计算比Strat方法更简单,因此更容易实现。另一种是通过对证据中信息含量的度量来考察证据对结论的影响。我们展示了在基于估值的系统的背景下,条件独立的证据的可加性属性。我们将给出一个例子来说明这些方法是如何应用于证据网络。
2013-02-20 cs.AI
Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance
University of Washington(华盛顿大学);University of California, Irvine(加利福尼亚大学尔湾分校)
可解释机器学习的核心问题是人类是否能够对模型的行为做出准确的预测。在这个问题中假设可解释输出的三个属性:覆盖率,精度和努力。覆盖率是指人类认为他们可以预测模型行为的频率,精度是指人类在这些预测中的准确程度,而努力是解释模型所需的前期工作,或者对模型行为进行预测所需的工作。在这项工作中,我们提出锚石灰(aLIME),模型不可知的技术,产生高精度的基于规则的解释,覆盖范围的边界是非常清楚的。我们比较aLIME与线性LIME与模拟实验,并展示了aLIME的灵活性与定性的例子,从各种领域和任务。
2016-11-17 cs.AI cs.LG stat.ML
On the Veracity of Local, Model-agnostic Explanations in Audio Classification: Targeted Investigations with Adversarial Examples
Johannes Kepler University Linz(林茨约翰·开普勒大学);LIT AI Lab, Linz Institute of Technology(林茨理工学院人工智能实验室)
局部解释方法,如LIME已成为流行的MIR工具,用于生成事后,模型的分类决策的模型不可知论的解释。其基本思想是识别一小组人类可理解的特征的分类的例子是最有影响力的分类器的预测。这些都是作为一个解释。在出版物中对这种解释的评估往往采取接受与人类期望相匹配的内容,而实际上无法验证解释所显示的内容是否真正导致了模型的预测。本文报道了有针对性的调查,我们试图更深入地了解LIME在音频分类任务中解释的实际准确性。我们故意为分类器设计对抗性的例子,让我们知道输入的哪些部分可能对模型的(错误)预测负责。让LIME来解释对这些对手的预测,可以让我们研究局部解释是否真的能检测到这些感兴趣的区域。我们还研究了LIME是否能更成功地找到对人类来说更突出、更容易注意到的扰动。我们的研究结果表明,LIME不一定能够识别最相关的输入特征,因此仍然不清楚解释是否有用,甚至是误导。
2021-09-06 cs.AI cs.SD eess.AS
RealAC: A Domain-Agnostic Framework for Realistic and Actionable Counterfactual Explanations
Arizona State University(亚利桑那州立大学)
提出领域无关框架RealAC,通过联合分布对齐自动保留特征依赖并支持冻结属性,生成兼顾真实性与可执行性的反事实解释,在多项指标上超越现有基线方法。
2025-08-14 cs.AI cs.LG
Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs
University of Pennsylvania(宾夕法尼亚大学)
大语言模型(LLM)像人类一样推理的潜力一直是机器学习社区中备受争议的话题。然而,人类的推理能力是多方面的,可以以各种形式出现,包括类比,空间和道德推理等。这一事实提出了一个问题,即LLM是否可以在所有这些不同的领域中表现同样出色。本研究旨在通过直接使用或借鉴现有类比和空间推理数据集的实验,研究LLM在不同推理任务中的表现。此外,为了评估LLM像人类一样推理的能力,他们的表现是在更开放的自然语言问题上进行评估的。我的研究结果表明,法学硕士擅长类比和道德推理,但在空间推理任务上表现得很熟练。我相信这些实验对于为LLM的未来发展提供信息至关重要,特别是在需要多样化推理专业知识的背景下。通过揭示LLM的推理能力,这项研究旨在推动我们对它们如何更好地模仿人类认知能力的理解。
2023-03-22 cs.AI cs.CL
PAX-TS: Model-agnostic multi-granular explanations for time series forecasting via localized perturbations
Department of Computer(计算机系);Systems Sciences Stockholm University(系统科学学院 斯德哥尔摩大学)
针对时间序列预测模型不透明且现有方法不适配的问题,提出模型无关的事后算法PAX-TS,基于局部扰动生成多粒度解释并刻画跨通道相关性,在基准测试中展现出有效捕捉模型行为、识别性能关联模式等优势,可阐释模型机制并回答实际预测问题。
2025-11-15 cs.AI cs.LG
CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations
National University of Singapore(新加坡国立大学)
本文通过认知建模分析不同XAI方法在结构化数据推理中的策略,发现模型能更准确拟合人类决策,为改进AI解释的可理解性提供新思路。
2026-04-30 cs.AI
ReasoningRec: Bridging Personalized Recommendations and Human-Interpretable Explanations through LLM Reasoning
Texas A&M University(德克萨斯农工大学)
本研究提出基于推理的推荐框架ReasoningRec,用大LLM生成用户偏好合成解释来微调小LLM,在提升推荐准确率(最高超SOTA12.5%)的同时提供人类可理解的解释,弥合了推荐与可解释性之间的差距。
2024-10-30 cs.AI cs.IR
Det-LIME: Detector-Aware, Multi-Instance Local Interpretable Model-Agnostic Explanations for Automated Marine Mammal Detection
Duke University(杜克大学)
Det-LIME通过检测器感知的多实例LIME方法,为海洋哺乳动物检测提供框对齐的实例级解释,显著提升多实例归因性能,支持调试与数据优化。
2026-09-16 cs.AI cs.CV
Exploiting Constraint Reasoning to Build Graphical Explanations for Mixed-Integer Linear Programming
Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC));University of Southampton(南安普顿大学)
本文提出 X-MILP 方法,通过将用户查询编码为约束并计算不可约不可行子系统(IIS),为混合整数线性规划构建对比性“原因图”解释,并在标准优化实例上验证了其计算难度。
2025-07-17 cs.AI
Can We Trust AI Explanations? Evidence of Systematic Underreporting in Chain-of-Thought Reasoning
Adobe Inc.(奥多比公司)
研究发现AI在链式推理中系统性低估提示信息,强制报告反而降低准确性,提示用户偏好尤其危险。
2025-12-25 cs.AI
Comparison of decision trees with Local Interpretable Model-Agnostic Explanations (LIME) technique and multi-linear regression for explaining support vector regression model in terms of root mean square error (RMSE) values
本文在5个数据集上比较决策树、LIME与多元线性回归对支持向量回归模型的解释能力,发现决策树在87%运行中RMSE更低且结果显著。
2024-04-10 cs.AI cs.LG
Causal Explanations Over Time: Articulated Reasoning for Interactive Environments
Technical University of Darmstadt(德累斯顿技术大学);Eindhoven University of Technology(埃因霍温理工大学);Hessian Center for Artificial Intelligence(黑森人工智能中心);German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文将结构性因果解释推广为递归解释树,以建模时间交互和智能体反馈回路,并在合成时序数据与2D网格游戏中验证其优于基础SCE及现有方法。
2025-06-04 cs.AI
Model Agnostic Multilevel Explanations
IBM Research(IBM研究院)
近年来,黑箱模型的事后局部实例级和全局数据集级可解释性受到了广泛关注。在中间或集团层面获得见解的关注要少得多,这是最近研究实现《通用数据保护条例》(GDPR)中指导方针的挑战的工作中概述的需求。在本文中,我们提出了一个元方法,给定一个典型的局部可解释性方法,可以建立一个多级解释树。该树的叶子对应于局部解释,根对应于全局解释,中间层对应于它自动聚类的数据点组的解释。该方法还可以利用边信息,其中用户可以指定他们可能希望解释相似的点。我们认为,这样的多级结构也可以是一种有效的沟通形式,在这里,人们可以通过考虑我们的解释树中的适当级别来获得表征整个数据集的解释。通过将新测试点与最接近的训练点相关联,可以成本有效地获得新测试点的解释。当局部可解释性技术是广义可加性(即LIME,GAMs)时,我们提出了一种快速近似算法来建立多级树,并研究了其收敛行为。我们验证了所提出的技术的有效性的基础上两个人类的研究-一个与专家和其他非专家用户-在现实世界的数据集,并表明,我们产生高保真稀疏解释其他几个公共数据集。
2020-03-12 cs.AI cs.LG stat.ML
Positive and Negative Explanations of Uncertain Reasoning in the Framework of Possibility Theory
Universite Paul Sabatier(保罗·萨巴蒂埃大学)
本文提出了一种开发基于规则的专家系统管理不精确和不确定知识的解释能力的方法。不确定性的处理发生在可能性理论的框架中,其中关于逻辑或数值变量的值的可用信息由限制其或多或少可能值的可能性分布表示。我们首先讨论不同类型的查询,然后集中在以下两种类型:i)如何获得特定的可能性分布(仅强调主要原因); ii)为什么在计算的可能性分布中,特定值的可能性程度如此之高,如此之低或与预期相反。该方法是基于最大-最小代数方程的开发。这种形式主义包括某些和精确信息的极限情况。
2013-03-27 cs.AI
Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations
使人类能够识别代理决策中的潜在缺陷是一个重要的可解释人工智能应用。我们考虑在一个复杂的实时战略游戏的基于规划的深度强化学习(RL)代理中识别这样的缺陷。特别是,代理通过树搜索使用学习的模型和评估函数在可解释的状态和动作上做出决策。这使得人类有可能在树中的推理步骤级别识别缺陷,即使整个推理过程过于复杂而无法理解。然而,由于树木的大小和复杂性,目前还不清楚人类是否能够识别这些缺陷。我们描述了一个用户界面和案例研究,其中一小群AI专家和开发人员试图识别由于不准确的代理学习而导致的推理缺陷。总的来说,该界面允许该小组识别出各种类型的一些重大缺陷,证明了这种方法的前景。
2021-09-28 cs.AI
Explainable Control Framework (XCF) based on Fuzzy Model-Agnostic Explanation and LLM Agent-Supported Interface
Department of Engineering, Faculty of Natural, Mathematical & Engineering Sciences, King’s College London(工程系,自然、数学与工程科学学院,伦敦国王学院)
提出可解释控制框架XCF,通过分层模糊模型无关解释方法HFMAE-C和LLM智能体接口,为闭环控制器提供模型无关的解释,并在倒立摆和Turtlebot避障案例中验证有效性。
2026-06-25 cs.AI cs.HC cs.SY
Reasoning with Natural Language Explanations
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(英国癌症研究中心曼彻斯特研究所国家生物标志物中心(曼彻斯特大学))
本教程围绕基于解释的自然语言推理(NLI)领域,以解释的认识论-语言学基础为依托,系统介绍相关架构趋势与评估方法,回应该领域兼具的挑战与研究机遇。
2024-10-05 cs.AI cs.CL
Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations
Cornell University(康奈尔大学)
本文提出一种利用互斥解释的溯因常识推理方法,通过后验正则化强制互斥约束,无需人工标注监督即可区分流畅与合理解释,在多数据集上表现优于或可比于零样本预训练模型及知识增强方法。
2023-05-24 cs.AI cs.CL
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);Facebook AI(脸书人工智能)
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型(PLM)可以在这些任务上实现接近人类的性能,同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中,我们展示了如何使用这些相同的模型来生成这样的证据:受人类解释的对比性质的启发,我们使用PLM来完成解释提示,根据证明正确答案所需的关键属性(例如,花生通常是咸的,而葡萄干是甜的)来对比替代品。与以前的非对比替代方案相比,这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关,并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL