Does It Make Sense? And Why? A Pilot Study for Sense Making and Explanation
Westlake University(西湖大学);Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);Xidian University(西安电子科技大学)
将常识引入自然语言理解系统已经受到越来越多的研究关注。如何评价一个系统是否具有意义生成能力是一个基本问题。现有的基准间接衡量常识,没有解释。在本文中,我们发布了一个基准测试,以直接测试系统是否可以区分有意义的自然语言语句和没有意义的语句。此外,系统还被要求识别一个语句没有意义的最关键原因。我们评估了在大规模语言建模任务中训练的模型以及人类的表现,表明系统意义的形成存在不同的挑战。
2020-04-24 cs.AI cs.CL
Answering the "why" in Answer Set Programming - A Survey of Explanation Approaches
Institut de Recherche en Informatique de Toulouse (IRIT)(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);Technische Universität Darmstadt(达姆施塔特工业大学)
人工智能(AI)解决问题和决策的方法变得越来越复杂,导致解决方案的可理解性降低。欧盟新的《通用数据保护条例》试图通过规定人工智能系统所做决定的“解释权”来解决这一问题。可能受到这一新规定影响的人工智能范例之一是答案集编程(ASP)。由于出现了高效的解决方案,ASP最近已被用于解决各种领域的问题,包括医学,密码学和生物学。为了确保成功应用ASP作为解决问题的范例在未来,ASP解决方案的解释是至关重要的。在这项调查中,我们给出了一个概述的方法,提供了一个答案的问题,为什么答案集是一个解决方案,一个给定的问题,特别是离线的理由,因果图,论证性的解释和为什么不出处,并强调他们的相似性和差异。此外,我们审查的方法解释为什么一组文字是不是一个答案集或为什么没有解决方案存在于所有。
2018-09-21 cs.AI
The What, the Why, and the How of Artificial Explanations in Automated Decision-Making
City, University of London(伦敦大学城市学院)
越来越多的人工智能以自动化系统的形式融入决策过程,不仅突出了决策理论对自动化系统的重要性,而且还强调了这些决策过程对参与其中的人的解释的必要性。传统实在论对解释的解释是一种关系,这种关系在一个人和一个人之间永远保持(或不保持),不足以解释人为决策程序所需要的解释概念。我们提供了一个替代帐户的解释,用于自动决策的背景下,使解释的认知现象,是依赖于上下文。对解释的这种解释更好地说明了我们谈论和使用解释和衍生概念(如“解释力”)的方式,也使我们能够区分不需要具有认识方面的原因或原因与具有认识方面的解释。在此理论背景下,我们然后审查现有的方法来解释人工智能和机器学习,并建议desiderata真正可解释的决策系统应该履行。
2018-08-21 cs.AI cs.CY cs.HC
Contrastive Explanations in Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
视觉解释是基于视觉特征的逻辑论证,这些视觉特征证明了神经网络所做的预测是正确的。当前的视觉解释模式回答了$`Why \text{ } P?'$形式的问题。这些$Why$问题在广泛的背景下操作,从而在某些情况下提供不相关的答案。我们建议约束这些$Why$问题的基础上,一些上下文$Q$,使我们的解释回答对比问题的形式$`Why \text{ } P, \text{} rather \text{ } than \text{ } Q?'$。在本文中,我们形式化结构的对比视觉解释的神经网络。我们定义对比度的基础上神经网络,并提出了一种方法来提取定义的对比度。然后,我们将提取的对比度作为现有$`Why \text{ } P?'$技术(特别是Grad-CAM)之上的插件。我们展示了它们在分析大规模识别、细粒度识别、地下地震分析和图像质量评估应用中的网络和数据方面的价值。
2020-08-01 cs.AI cs.CV cs.LG
"Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations
Cornell University(康奈尔大学);Zshield Inc(Zshield公司)
解释机器学习黑箱模型的方法增加了结果的透明度,从而使人们深入了解算法的可靠性和公平性。然而,解释本身可能包含重大的不确定性,破坏了对结果的信任,并引起了对模型可靠性的担忧。聚焦于方法“本地可解释模型不可知解释”(LIME),我们证明了存在两个来源的不确定性,即在其采样过程中的随机性和不同的输入数据点的解释质量的变化。这种不确定性甚至存在于具有高训练和测试精度的模型中。我们将LIME应用于合成数据和两个公共数据集,20个新闻组中的文本分类和COMPAS中的累犯风险评分,以支持我们的论点。
2019-06-04 cs.AI cs.LG stat.ML
Eliminating The Impossible, Whatever Remains Must Be True
Monash University(莫纳什大学);VMWare Research(VMware 研究院);IRIT, CNRS(IRIT,法国国家科学研究中心)
人工智能预测和决策方法的兴起导致了对更可解释的人工智能(XAI)方法的迫切需求。XAI的一种常见方法是产生一个事后解释,解释为什么黑盒ML模型做出了某种预测。事后解释的正式方法为为什么做出预测以及为什么没有做出另一个预测提供了简洁的理由。但这些方法假设特征是独立的且均匀分布的。虽然这意味着“为什么”的解释是正确的,但它们可能比要求的要长。这也意味着“为什么不”的解释可能是可疑的,因为他们所依赖的反例可能没有意义。在本文中,我们展示了如何应用背景知识来给出更简洁的“为什么”的正式解释,这可能更容易被人类解释,并给出更准确的“为什么不”的解释。此外,我们将展示如何使用现有的规则归纳技术,有效地从数据集中提取背景信息,以及如何报告哪些背景信息被用来作出解释,如果他们怀疑解释的正确性,允许人类检查它。
2022-11-30 cs.AI cs.LG cs.LO
Empathy in Explanation
University of Cambridge(剑桥大学);MIT(麻省理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本研究从社会互动视角出发,构建考虑情绪影响的解释计算框架,经医生解释患病场景验证,该模型对人类直觉的预测优于无情绪消融模型,证实情绪在解释行为中的作用。
2025-06-16 cs.AI cs.HC
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University(乌尔姆大学);Institute of Artificial Intelligence(人工智能研究所)
针对PbRL反馈表达不足的问题,提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法,并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Why do explanations fail? A typology and discussion on failures in XAI
本文针对XAI解释失败问题,提出系统性与用户性失败的类型学框架,倡导整体视角,以帮助从业者理解局限并提升解释质量。
2025-10-16 cs.AI cs.HC cs.LG
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德德尔海兹)
在各种商业环境中,人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术,因为这些模型被认为是“黑匣子”,即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法,合理预测的蒙特卡罗边界。在大误差的情况下,MC-BRP确定(1)将导致合理预测的特征值,以及(2)每个特征和目标之间的一般趋势,两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究,对真实用户的真实数据集进行评估,以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误,以及这是否会促进对自动学习模型的信任。我们的研究表明,当提供这些对比解释时,用户能够回答关于模型预测的客观问题,总体准确率为81.1%。我们发现,看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析,并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It
University of Electronic Science and Technology of China(电子科技大学)
本文分析了图神经网络解释中自不一致性的成因(重新解释引起的上下文扰动),提出潜在信号分配假设解释边缘敏感性,并设计无需训练的后处理策略 Self-Denoising 来校准解释。
2026-05-30 cs.AI cs.LG
Why this and not that? A Logic-based Framework for Contrastive Explanations
TU Wien(维也纳技术大学);Tampere University(塔尔库大学)
本文提出一个基于命题逻辑的反事实解释框架,通过计算并比较P和Q的原因来回答“为什么是P而不是Q”,分析了计算复杂性,并使用回答集编程实现了CNF公式的问题。
2025-07-11 cs.AI cs.LG cs.LO
"Why Here and Not There?" -- Diverse Contrasting Explanations of Dimensionality Reduction
KIOS Research and Innovation Center of Excellence, University of Cyprus(塞浦路斯大学KIOS卓越研究与创新中心);Bielefeld University(比勒费尔德大学)
模糊性约简是数据采掘中常用的预处理方法和工具。透明度,这通常是通过解释的方式来实现的,现在是一个广泛接受的和关键的要求,机器学习为基础的系统,如分类器和推荐系统。然而,降维和其他数据采掘工具的透明度还没有被深入考虑,理解它们的行为仍然是至关重要的--特别是从业者可能想知道为什么特定的样本被映射到特定的位置。为了(局部地)理解给定的降维方法的行为,我们引入了对降维的对比解释的抽象概念,并将此概念的实现应用于解释二维的数据可视化的具体应用。
2023-02-22 cs.AI cs.LG
Why did I fail? A Causal-based Method to Find Explanations for Robot Failures
Faculty of Electrical Engineering, Chalmers University of Technology(查尔姆斯理工大学电气工程学院)
机器人在以人为中心的环境中出现故障是不可避免的。因此,机器人解释此类故障的能力对于与人类互动以增加信任和透明度至关重要。为了实现这一技能,本文所面临的主要挑战是:(1)获取足够的数据来学习环境的因果模型;(2)基于该模型生成因果解释。我们通过从模拟数据中学习因果贝叶斯网络来解决I)。关于II),我们提出了一种新的方法,使机器人产生对比的解释任务失败。解释是基于设置失败状态,与允许成功执行的最接近的状态形成对比。这种状态是通过广度优先搜索找到的,并且是基于学习的因果模型的成功预测。我们在两种不同的情况下评估了我们的方法:I)堆叠立方体和II)将球体放入容器中。所获得的因果关系模型分别达到70%和72%的sim 2 real准确度。最后,我们证明了我们的新方法可以扩展到多个任务,并允许真正的机器人给出失败的解释,比如“上面的立方体堆叠得太高,离下面的立方体太远了。'
2022-06-21 cs.AI cs.RO
A Logic of Knowing Why
Peking University(北京大学);University of Bern(伯尔尼大学)
当我们说“我知道他为什么迟到”时,我们不仅知道他迟到的事实,而且还知道对这一事实的解释。我们在已有的关于为什么问题、科学解释和证明逻辑的形式研究的启发下,提出了一个“知道为什么”的逻辑框架。我们将Ky_i算子引入到认知逻辑的语言中来表达“主体i知道为什么是phi”,并提出了一种Kripke式的语义。我们得到两个健全和完整的公理化w.r.t.两个不同的模型类,取决于关于内省的不同假设。
2017-03-14 cs.AI cs.LO math.LO
Why Trust in AI May Be Inevitable
Sasin School of Management, Chulalongkorn University(朱拉隆功大学萨辛管理学院);INSEAD(欧洲工商管理学院)
本研究论证信任可能是AI交互的前提,因解释在有限时间内可能失败,即使条件理想;随着AI生成虚假解释,人类可能默认信任,带来风险。
2025-02-28 cs.AI cs.CY cs.HC
Why Uncertainty Calibration Matters for Reliable Perturbation-based Explanations
Siemens AG(西门子公司);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Goethe University Frankfurt(法兰克福歌德大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联合会)
本文研究不确定性校准与基于扰动的解释的关系,提出ReCalX方法在保留原始预测的同时重校准模型,实验证明其能生成更符合人类感知与实际物体位置的解释。
2025-06-24 cs.AI cs.LG
Why Reinforcement Learning in Energy Systems Needs Explanations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对经济发展下基础设施复杂性增加及能源转型需求,本文探讨能源系统中强化学习的应用局限,提出模型解释可提升其说服力与实用性。
2024-05-29 cs.AI cs.SY eess.SY
Tell Me Why: Incentivizing Explanations
Harvard University(哈佛大学);Federal Reserve Bank of Chicago(芝加哥联邦储备银行);Massachusetts Institute of Technology(麻省理工学院)
针对现有机制无法激励智能体为信念提供解释的问题,本研究基于智能体信念信息源重叠的假设提出审议机制,使真实报告信念和理据成为完美贝叶斯均衡,提升信息聚合效率。
2025-02-19 cs.AI cs.GT econ.TH
Why do CNNs excel at feature extraction? A mathematical explanation
研究卷积神经网络为何擅长特征提取,引入基于特征提取的新型图像分类数学模型,证明卷积神经网络分类器能零误差解决图像分类任务,构造分段线性函数并表明可由卷积网络实现。
2026-07-20 cs.AI cs.CV
How to Answer Why -- Evaluating the Explanations of AI Through Mental Model Analysis
Institute for Multimedia and Interactive Systems(多媒体与交互系统研究所);University of Lübeck(吕贝克大学)
为了在用户-人工智能交互的背景下实现最佳的人-系统集成,重要的是用户开发人工智能如何工作的有效表示。在大多数与技术系统的日常交互中,用户构建心理模型(即,系统用来执行给定任务的预期机制的抽象)。如果系统(例如,自我解释AI)或其他来源(例如,教师)没有提供明确的解释,则心理模型通常基于经验(即,用户在交互期间的观察)形成。这种心理模型和实际系统功能的一致性是至关重要的,因为它用于假设,预测,从而用于有关系统使用的决策。因此,以人为中心的人工智能研究的一个关键问题是如何有效地调查用户的心理模型。本研究的目的是确定合适的启发方法的心理模型分析。我们评估了心理模型是否适合作为一种实证研究方法。此外,认知辅导的方法是集成的。我们提出了一个示例性的方法来评估可解释的人工智能方法以人为中心的方式。
2020-01-11 cs.AI cs.HC
Tell me why! Explanations support learning relational and causal structure
DeepMind(深度思维)
推理世界的抽象关系和因果结构是学习代理的主要挑战。对人类来说,语言-特别是以解释的形式-在克服这一挑战方面起着相当大的作用。在这里,我们证明了语言可以在复杂环境中为深度RL代理发挥类似的作用。虽然代理通常很难获得关系和因果知识,但通过训练他们预测语言描述和解释来增加他们的经验可以克服这些限制。我们表明语言可以帮助智能体学习具有挑战性的关系任务,并研究语言的哪些方面有助于其益处。然后,我们表明,解释可以帮助代理推断不仅关系,而且因果结构。语言可以塑造智能体从模糊的、因果混淆的训练中概括分布外的方式,解释甚至允许智能体学习执行实验干预以识别因果关系。我们的研究结果表明,语言描述和解释可能是提高智能体学习和泛化能力的有力工具。
2022-05-25 cs.AI cs.LG stat.ML
Why Would You Suggest That? Human Trust in Language Model Responses
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文通过新闻标题生成任务研究解释的呈现方式如何影响用户对LLM的信任,发现比较场景下解释能提升信任,但单独展示时用户会无差别信任所有回答。
2024-10-04 cs.AI cs.CL cs.HC
Why not both? Complementing explanations with uncertainty, and the role of self-confidence in Human-AI collaboration
The University of Edinburgh(爱丁堡大学)
本研究针对高风险领域人机协作需求,通过实证研究探究不确定性估计与模型解释结合对用户依赖、理解及信任模型的影响,同时分析用户自信对行为的作用及对相关分析结果的扭曲效应。
2023-04-27 cs.AI
Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution
SRM Institute of Science and Technology(SRM科学与技术学院)
研究显示,预测等效模型在特征归因上存在显著差异,揭示了假设类对解释稳定性的影响,提出解释可靠性评分R(x)以评估解释稳定性。
2026-03-16 cs.AI cs.LG
`Why didn't you allocate this task to them?' Negotiation-Aware Explicable Task Allocation and Contrastive Explanation Generation
Arizona State University(亚利桑那州立大学);WS AI Labs(WS人工智能实验室)
本文提出一种协商感知的集中式任务分配方法,通过模拟协商生成可解释分配,并利用反事实生成对比解释,实验证明其公平性和说服力,同时分析了信息不完整对解释长度的影响。
2023-05-25 cs.AI
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);King Khalid University(哈利德国王大学)
我们介绍和评估eXplainable目标识别(XGR)模型,该模型使用证据权重(WoE)框架来解释目标识别问题。我们的模型提供了以人为本的解释,回答了为什么?为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实,我们进一步表明XGR模型可以成功地生成类似人类的解释。然后,我们报告了一项研究,60名参与者观察代理人玩推箱子游戏,然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
"Why is this misleading?": Detecting News Headline Hallucinations with Explanations
Google Research(谷歌研究院);Google(谷歌)
自动标题生成使用户能够及时理解正在发生的新闻事件,近年来已成为Web挖掘和自然语言处理的一个重要任务。随着对新闻标题生成需求的不断增长,我们认为,幻觉问题,即生成的标题不受原始新闻故事的支持,是在网络规模系统中部署此功能的关键挑战。同时,由于幻觉案例的不常见以及评分员需要仔细阅读才能达成正确的共识,很难获得用于训练模型的大数据集以通过人工管理来检测这种幻觉。在这项工作中,我们提出了一个名为ExHalder的新框架来解决标题幻觉检测的挑战。ExHalder将来自公共自然语言推理数据集的知识适应到新闻领域,并学习生成自然语言句子来解释幻觉检测结果。为了评估模型的性能,我们仔细收集了一个包含6000多个标签<article,headline>对的数据集。在这个数据集和另外六个公共数据集上进行的大量实验表明,ExHalder可以准确地识别幻觉标题,并通过人类可读的自然语言解释证明其预测是正确的。
2023-02-12 cs.AI cs.CL cs.IR
"Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans
University of Colorado(科罗拉多大学)
为了用机器学习模型支持人类决策,我们经常需要阐明模型中嵌入的模式,这些模式对人类来说是不明显的、未知的或违反直觉的。虽然现有的方法专注于在实时辅助下解释机器预测,但我们探索了模型驱动的教程,以帮助人类在训练阶段理解这些模式。我们认为这两个教程的指导方针,从科学论文,类似于目前的做法,科学通信,并自动选择的例子,从训练数据与解释。我们使用欺骗性评论检测作为测试平台,并进行大规模的随机人类受试者实验,以检查此类教程的有效性。我们发现,教程确实提高了人类的表现,有和没有实时援助。特别是,尽管深度学习提供了比简单模型更优越的预测性能,但来自简单模型的教程和解释对人类更有用。我们的工作为以人为本的教程和解释提出了未来的方向,以实现人类和人工智能之间的协同作用。
2020-01-14 cs.AI cs.CL cs.CY
Adding Why to What? Analyses of an Everyday Explanation
Paderborn University(帕德博恩大学)
本文基于双重本性理论分析20个游戏解释,发现解释者先关注架构后关注相关性,为构建合成解释提供思路。
2023-08-08 cs.AI
Why am I Still Seeing This: Measuring the Effectiveness Of Ad Controls and Explanations in AI-Mediated Ad Targeting Systems
Princeton University(普林斯顿大学)
本研究评估Meta转向AI中介定向后“See less”广告控制与定向解释的有效性,发现该控制未能显著减少相关广告且解释缺乏可操作性,表明亟需适应复杂AI广告系统的新透明度与控制方法。
2024-08-21 cs.AI cs.CY cs.HC
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University(苏塞克斯大学);Air Force Research Laboratory(空军研究实验室)
本文提出对比解释学习框架VisionMask,通过自监督方式对比智能体所选动作与备选动作来生成解释,在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势,提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
"Why did you do that?": Explaining black box models with Inductive Synthesis
Uppsala University(乌普萨拉大学)
就其本质而言,黑盒模型的组成是不透明的。这使得产生对刺激反应的解释的能力具有挑战性。鉴于人工智能和机器学习系统的流行以及围绕它们建立法律和监管框架的需要,解释黑盒模型的重要性变得越来越重要。这样的解释也可以增加对这些不确定系统的信任。在我们的论文中,我们提出了RICE,一种用于生成解释的黑盒模型的行为的方法,通过(1)探测模型,提取模型输出的例子,使用灵敏度分析;(2)应用CNPInduce,归纳逻辑程序合成的方法,生成基于关键输入输出对的逻辑程序;(3)解释作为人类可读的解释的目标程序。我们通过生成一个人工神经网络的解释来演示我们的方法的应用,该神经网络被训练成在一个假设的自动驾驶汽车模拟中遵循简单的交通规则。最后,我们讨论了我们的方法的可扩展性和可用性及其潜在的应用程序,以简化关键的场景。
2019-04-17 cs.AI cs.LG
Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations
本文提出RFxG分类法,通过区分点对点与对比性解释及不同粒度,改进显著性图的评估框架,以更符合人类认知需求。
2025-11-18 cs.AI cs.CV cs.LG
Can You Tell the Difference? Contrastive Explanations for ABox Entailments
Knowledge in Artificial Intelligence, Vrije Universiteit Amsterdam, The Netherlands(人工智能知识,荷兰阿姆斯特丹自由大学);Data Science Group, Heinz Nixdorf Institute, Paderborn University, Germany(数据科学组,海因茨·尼克斯多夫研究所,帕德博恩大学)
针对“为何a是C实例而b不是”的问题,提出对比ABox解释概念,分析其在描述逻辑本体ABox推理中的计算复杂度并实现初步方法,聚焦a和b的共性与差异。
2025-11-14 cs.AI cs.LO
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对情感分类中“problems”等非直观特征与标签的关联,提出自动检测与解释方法,并通过众包实验验证其有效性,填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
On Identifying Why and When Foundation Models Perform Well on Time-Series Forecasting Using Automated Explanations and Rating
本文结合传统XAI与RDE评估ARIMA、Gradient Boosting、Chronos及Llama在四类异构时间序列数据集上的表现,揭示基础模型与特征工程模型各自适用的情境及可解释性差异。
2025-08-28 cs.AI cs.LG
Why is the User Interface a Dark Pattern? : Explainable Auto-Detection and its Analysis
Waseda University(早稻田大学);National Consumer Affairs Center of Japan(日本国民生活中心);Waseda Research Institute for Science and Engineering(早稻田大学理工学研究所)
本文研究可解释的暗模式自动检测,使用BERT模型在电子商务数据集上训练,并结合LIME和SHAP事后解释技术揭示影响暗模式预测的关键术语,以防止用户被操纵并促进更公平的互联网服务构建。
2023-12-30 cs.AI cs.HC cs.LG
Ranking Counterfactual Explanations
Federation University(联邦大学);IRIT-CNRS(法国国家科研中心图卢兹计算机科学研究所)
针对反事实解释缺乏精准研究的问题,本文提出反事实解释的形式化定义及超越最小性条件的排序方法,经12个真实数据集实验验证,该方法能选出更具代表性、更稳健全面的最优反事实解释。
2025-03-20 cs.AI
Comparative Explanations of Recommendations
University of Virginia(弗吉尼亚大学);Alibaba Group(阿里巴巴集团)
由于推荐本质上是一个比较(或排名)过程,因此一个好的解释应该向用户说明为什么一个项目被认为比另一个项目更好,即,对推荐项目的比较说明。理想情况下,在阅读解释后,用户应该达到与系统相同的项目排名。不幸的是,很少有研究注意到这种比较的解释。在这项工作中,我们开发了一个提取和细化架构来解释一组排名项目从推荐系统之间的相对比较。对于每个推荐项目,我们首先从相关评论中提取一个句子,最适合与一组参考项目进行所需的比较。然后,通过生成模型将该提取的句子进一步与目标用户相连接,以更好地解释为什么推荐该项目。我们设计了一个新的解释质量指标的基础上BLEU指导提取和细化组件的端到端的训练,这避免了通用内容的生成。对两个大型推荐基准数据集和一系列最先进的可解释推荐算法的认真用户研究的广泛离线评估表明了比较解释的必要性和我们解决方案的有效性。
2022-04-25 cs.AI cs.CL cs.IR
Why This, Not That? Mining User Profiles for Pair-wise Counterfactuals
University of Colorado Boulder(科罗拉多大学博尔德分校);Tel Aviv University(特拉维夫大学)
该研究针对推荐系统解释多聚焦单个项目的问题,提出挖掘用户资料的成对反事实解释任务,基于反事实学习挖掘促成项目相对排名的用户资料项目,为比较性解释提供依据。
2026-08-25 cs.AI cs.IR
Why is plausibility surprisingly problematic as an XAI criterion?
Simon Fraser University(西蒙弗雷泽大学);The University of British Columbia(不列颠哥伦比亚大学)
本文批判性审查了XAI中的合理性准则,指出其无法有效衡量可解释性且会引发误导用户、破坏信任等伦理问题,主张社区停止将其作为评估优化准则,并提出了改进XAI的新研究方向。
2025-05-30 cs.AI cs.HC
There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average
Cornell University(康奈尔大学)
目前,最成功的半监督学习方法是基于一致性正则化,从而训练模型对其输入和参数的小扰动具有鲁棒性。为了理解一致性正则化,我们从概念上探讨了损失几何如何与训练过程相互作用。一致性损失大大提高了仅监督训练的泛化性能;然而,我们发现SGD难以收敛于一致性损失,并继续进行大的步骤,导致测试数据的预测发生变化。出于这些观察,我们提出了训练一致性为基础的方法与随机权重平均(SWA),最近的方法,平均权重沿SGD的轨迹与修改后的学习率调度。我们还提出了快速SWA,它通过对周期性学习率调度的每个周期内的多个点进行平均来进一步加速收敛。通过加权平均,我们在CIFAR-10和CIFAR-100上实现了最知名的半监督结果,超过了许多不同数量的标记训练数据。例如,我们在CIFAR-10上实现了5.0%的错误,只有4000个标签,而文献中以前的最佳结果为6.3%。
2019-02-21 cs.AI cs.CV cs.LG
"Why Should I Trust You?": Explaining the Predictions of Any Classifier
University of Washington(华盛顿大学)
尽管被广泛采用,但机器学习模型仍然主要是黑箱。然而,了解预测背后的原因对于评估信任非常重要,如果一个人计划根据预测采取行动,或者选择是否部署新模型,这是至关重要的。这种理解还提供了对模型的洞察,可以用来将不可信的模型或预测转换为可信的模型或预测。在这项工作中,我们提出了LIME,一种新的解释技术,通过在预测周围局部学习可解释的模型,以可解释和忠实的方式解释任何分类器的预测。我们还提出了一种解释模型的方法,通过以非冗余的方式呈现代表性的个人预测及其解释,将任务框架为子模块优化问题。我们通过解释文本(例如随机森林)和图像分类(例如神经网络)的不同模型来展示这些方法的灵活性。我们通过新的实验,模拟和人类受试者,在各种需要信任的情况下显示解释的效用:决定是否应该信任预测,在模型之间进行选择,改进不值得信任的分类器,并确定为什么分类器不应该被信任。
2016-08-09 cs.AI cs.LG stat.ML
Why Did This Model Forecast This Future? Closed-Form Temporal Saliency Towards Causal Explanations of Probabilistic Forecasts
Delft University of Technology(代尔夫特理工大学)
围绕低层次人类行为动态的预测任务对多个研究领域具有重要意义。在这种情况下,解释特定预测的方法可以使领域专家深入了解行为之间的预测关系。在这项工作中,我们介绍并解决以下问题:给定一个概率预测模型,我们如何确定观察到的窗口,该模型认为显着时,作出预测?我们建立在基于人类感知的信息理论显着性的一般定义基础上,并通过利用该领域的一个关键属性将其扩展到预测环境:单个观察可以导致多个有效的未来。我们建议表达的显着性观察到的窗口的差分熵的预测未来的分布。与现有的方法,要么需要显式训练的显着性机制或访问的预测模型的内部状态,我们获得了一个封闭形式的解决方案的显着性图中常用的密度函数在概率预测。我们经验性地展示了我们的框架如何使用合成的会话数据集从发言转向预测的样本任务的头部姿势特征中恢复显着的观察窗口。
2022-06-01 cs.AI cs.IT cs.LG
XplainLLM: A Knowledge-Augmented Dataset for Reliable Grounded Explanations in LLMs
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Nanyang Technological University(南洋理工大学)
本文提出 XplainLLM 数据集及解释框架,利用知识图谱和图注意力网络生成有依据的解释,以增强 LLM 透明度、减少幻觉并验证输出可靠性。
2024-09-20 cs.AI cs.CL
Tell Me Why: Designing an Explainable LLM-based Dialogue System for Student Problem Behavior Diagnosis
School of Educational Technology, Beijing Normal University, Beijing, China(北京师范大学教育技术学院);Advanced Innovation Center for Future Education, Beijing Normal University, Beijing, China(北京师范大学未来教育创新中心);Faculty of Education, The University of Hong Kong, Hong Kong SAR, China(香港大学教育学院)
本文提出基于LLM的可解释对话系统,通过层次归因方法生成自然语言解释,提升教育对话系统中LLM的可解释性,实验证明其在识别支持证据方面优于基线方法。
2026-04-24 cs.AI cs.CL
Why Are You Wrong? Counterfactual Explanations for Language Grounding with 3D Objects
Institute of Advanced Computer Science, Leiden University(先进计算机科学研究所,莱顿大学);BMW Group(宝马集团)
本文针对3D物体语言接地中模型错误预测难以解释的问题,提出通过生成保持原描述结构且语义相似的反事实示例来揭示描述弱点与模型偏差,并在ShapeTalk数据集和三个模型上验证了其有效性。
2025-05-09 cs.AI cs.CV cs.LG
Why should I not follow you? Reasons For and Reasons Against in Responsible Recommender Systems
Universidade de São Paulo(圣保罗大学)
一些推荐系统(RS)诉诸解释,以提高信任的建议。然而,目前的解释生成技术倾向于强烈支持推荐的产品,而不是提出支持和反对它们的理由。我们认为,一个RS可以更好地提高整体的信任和透明度,坦率地显示这两种原因给users.We开发了这样一个RS利用知识图谱和应用Snedegar的实践推理理论。我们表明,我们实现的RS具有出色的性能,我们报告的实验与人类受试者,显示的价值,提出支持和反对的理由,在信任,参与和说服力的显着改善。
2020-09-08 cs.AI cs.IR cs.SI
A Categorisation of Post-hoc Explanations for Predictive Models
University College Dublin(都柏林大学学院)
基于机器学习的预测模型在现代社会中无处不在,这自然会让人们问这些模型的可信度如何?在预测建模中,在准确性和可解释性之间进行权衡是很常见的。例如,医生想知道某些治疗对患者的有效性,或者为什么模型会建议对表现出这些症状的患者使用特定的药物?我们承认,可解释性的必要性是问题的不完全形式化的结果,或者更确切地说,是坚持一个特定概念的多重含义的结果。对于某些问题,仅仅得到答案(是什么)是不够的,模型还必须解释它是如何得出这个结论的(为什么),因为正确的预测只能部分解决原始问题。在这篇文章中,我们扩展了现有的分类技术,以帮助模型的可解释性和测试这种分类。
2019-04-04 cs.AI cs.LG
Why so? or Why no? Functional Causality for Explaining Query Answers
University of Washington(华盛顿大学)
在本文中,我们提出因果关系作为解释查询答案和非答案的统一框架,从而概括和扩展了之前提出的几种出处和缺失查询结果解释方法。我们从Halpern和Pearl对实际原因的充分研究的定义开始发展我们的框架。在确定了一些不可取的特点,原来的定义,我们提出了一个完善的定义因果关系的功能性原因与几个可取的属性。这些属性允许我们在数据库上下文中应用因果关系的概念,并以几种方式统一地应用它来定义查询结果的原因及其各自的贡献:(i)我们可以对出处和非答案两者进行建模,(ii)我们可以将解释定义为输入关系中的数据或查询计划中的关系操作,(3)我们可以对个别原因的责任程度进行分级,从而使我们能够对原因进行排序。特别是,我们的方法使我们能够解释的贡献关系的聚合功能和排名原因根据各自的责任。我们给出了复杂性的结果,并描述了多项式算法在易处理的情况下,因果关系的评估。在整个文件中,我们用几个例子说明了我们的框架的适用性。总体而言,我们在本文中开发的因果关系理论在数据库环境中的理论基础。
2009-12-29 cs.AI cs.DB
A Benchmark Arabic Dataset for Commonsense Explanation
Jordan University of Science and Technology(约旦科技大学)
机器的语言理解和常识知识验证是一项具有挑战性的任务,目前仍在对阿拉伯语文本进行研究和评估。在本文中,我们提出了一个基准阿拉伯语数据集的常识解释。该数据集由没有意义的阿拉伯语句子组成,以及三个选择,以从中选择解释为什么句子是错误的。此外,本文提出的基线结果,以协助和鼓励在这一领域的研究的未来评估。该数据集在Creative Commons CC-BY-SA 4.0许可下分发,可以在GitHub上找到
2020-12-18 cs.AI cs.CL cs.LG
A Definition of Good Explanations and the Challenges Explaining LLM Outputs
本文提出一种基于反事实解释且考虑对话者先验信念的好解释定义,并探讨该定义对AI可解释性的影响,特别是为何LLM输出难以产生好解释。
2026-06-16 cs.AI
Same Accuracy, Different Gene Panels: How the Hyperparameter Grid Chooses the Reported Explanation
University of Hertfordshire(赫特福德大学)
研究机器学习模型预测一致但解释不同的问题,引入EvoXplain框架,通过分析训练和模型选择过程中解释样本,判断解释是否唯一确定,揭示平均共识与单一训练模型的关系,将可解释性视为训练管道属性。
2026-07-07 cs.AI cs.LG