WHY: Natural Explanations from a Robot Navigator
Hunter College, City University of New York(纽约市立大学亨特学院)
机器人和人之间的有效协作需要自然的沟通。当机器人与人类同伴一起旅行时,机器人应该能够用自然语言解释其导航行为。本文解释了如何认知为基础的,自主的机器人导航系统产生信息丰富,直观的解释其决策。这里的语言生成基于机器人的常识、定性推理和学习的空间模型。这种方法产生自然的解释,在实时的的机器人,因为它在一个大的,复杂的室内环境中导航。
2017-09-27 cs.AI cs.CL cs.HC
Answering the "why" in Answer Set Programming - A Survey of Explanation Approaches
Institut de Recherche en Informatique de Toulouse (IRIT)(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);Technische Universität Darmstadt(达姆施塔特工业大学)
人工智能(AI)解决问题和决策的方法变得越来越复杂,导致解决方案的可理解性降低。欧盟新的《通用数据保护条例》试图通过规定人工智能系统所做决定的“解释权”来解决这一问题。可能受到这一新规定影响的人工智能范例之一是答案集编程(ASP)。由于出现了高效的解决方案,ASP最近已被用于解决各种领域的问题,包括医学,密码学和生物学。为了确保成功应用ASP作为解决问题的范例在未来,ASP解决方案的解释是至关重要的。在这项调查中,我们给出了一个概述的方法,提供了一个答案的问题,为什么答案集是一个解决方案,一个给定的问题,特别是离线的理由,因果图,论证性的解释和为什么不出处,并强调他们的相似性和差异。此外,我们审查的方法解释为什么一组文字是不是一个答案集或为什么没有解决方案存在于所有。
2018-09-21 cs.AI
Empathy in Explanation
University of Cambridge(剑桥大学);MIT(麻省理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本研究从社会互动视角出发,构建考虑情绪影响的解释计算框架,经医生解释患病场景验证,该模型对人类直觉的预测优于无情绪消融模型,证实情绪在解释行为中的作用。
2025-06-16 cs.AI cs.HC
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University(乌尔姆大学);Institute of Artificial Intelligence(人工智能研究所)
针对PbRL反馈表达不足的问题,提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法,并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Why do explanations fail? A typology and discussion on failures in XAI
本文针对XAI解释失败问题,提出系统性与用户性失败的类型学框架,倡导整体视角,以帮助从业者理解局限并提升解释质量。
2025-10-16 cs.AI cs.HC cs.LG
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德德尔海兹)
在各种商业环境中,人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术,因为这些模型被认为是“黑匣子”,即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法,合理预测的蒙特卡罗边界。在大误差的情况下,MC-BRP确定(1)将导致合理预测的特征值,以及(2)每个特征和目标之间的一般趋势,两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究,对真实用户的真实数据集进行评估,以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误,以及这是否会促进对自动学习模型的信任。我们的研究表明,当提供这些对比解释时,用户能够回答关于模型预测的客观问题,总体准确率为81.1%。我们发现,看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析,并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
Contrastive Explanations in Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
视觉解释是基于视觉特征的逻辑论证,这些视觉特征证明了神经网络所做的预测是正确的。当前的视觉解释模式回答了$`Why \text{ } P?'$形式的问题。这些$Why$问题在广泛的背景下操作,从而在某些情况下提供不相关的答案。我们建议约束这些$Why$问题的基础上,一些上下文$Q$,使我们的解释回答对比问题的形式$`Why \text{ } P, \text{} rather \text{ } than \text{ } Q?'$。在本文中,我们形式化结构的对比视觉解释的神经网络。我们定义对比度的基础上神经网络,并提出了一种方法来提取定义的对比度。然后,我们将提取的对比度作为现有$`Why \text{ } P?'$技术(特别是Grad-CAM)之上的插件。我们展示了它们在分析大规模识别、细粒度识别、地下地震分析和图像质量评估应用中的网络和数据方面的价值。
2020-08-01 cs.AI cs.CV cs.LG
"There Is Not Enough Information": On the Effects of Explanations on Perceptions of Informational Fairness and Trustworthiness in Automated Decision-Making
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
自动决策系统(ADS)越来越多地用于后续决策。这些系统通常依赖于复杂但不透明的机器学习模型,这些模型不允许理解给定决策是如何得出的。在这项工作中,我们进行了一项人类受试者研究,以评估人们对信息公平性的看法(即,人们是否认为他们被给予了关于过程及其结果的足够的信息和解释)以及当被提供关于系统的不同类型的信息时基础ADS的可信度。更具体地说,我们在自动贷款审批领域实例化ADS,并生成文献中常用的不同解释。我们通过向特定人群提供与其他人相同的解释以及额外的解释,随机分配了研究参与者看到的信息量。从我们的定量分析中,我们观察到不同数量的信息以及人们的(自我评估)AI素养显着影响感知的信息公平性,这反过来又与ADS的感知可信度呈正相关。定性反馈的综合分析揭示了人们对解释的渴望,其中包括(i)一致性(与人们的期望和不同的解释),(ii)特征和结果之间的单调关系的披露,以及(iii)建议的可操作性。
2022-05-11 cs.AI cs.HC
"Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations
Cornell University(康奈尔大学);Zshield Inc(Zshield公司)
解释机器学习黑箱模型的方法增加了结果的透明度,从而使人们深入了解算法的可靠性和公平性。然而,解释本身可能包含重大的不确定性,破坏了对结果的信任,并引起了对模型可靠性的担忧。聚焦于方法“本地可解释模型不可知解释”(LIME),我们证明了存在两个来源的不确定性,即在其采样过程中的随机性和不同的输入数据点的解释质量的变化。这种不确定性甚至存在于具有高训练和测试精度的模型中。我们将LIME应用于合成数据和两个公共数据集,20个新闻组中的文本分类和COMPAS中的累犯风险评分,以支持我们的论点。
2019-06-04 cs.AI cs.LG stat.ML
Eliminating The Impossible, Whatever Remains Must Be True
Monash University(莫纳什大学);VMWare Research(VMware 研究院);IRIT, CNRS(IRIT,法国国家科学研究中心)
人工智能预测和决策方法的兴起导致了对更可解释的人工智能(XAI)方法的迫切需求。XAI的一种常见方法是产生一个事后解释,解释为什么黑盒ML模型做出了某种预测。事后解释的正式方法为为什么做出预测以及为什么没有做出另一个预测提供了简洁的理由。但这些方法假设特征是独立的且均匀分布的。虽然这意味着“为什么”的解释是正确的,但它们可能比要求的要长。这也意味着“为什么不”的解释可能是可疑的,因为他们所依赖的反例可能没有意义。在本文中,我们展示了如何应用背景知识来给出更简洁的“为什么”的正式解释,这可能更容易被人类解释,并给出更准确的“为什么不”的解释。此外,我们将展示如何使用现有的规则归纳技术,有效地从数据集中提取背景信息,以及如何报告哪些背景信息被用来作出解释,如果他们怀疑解释的正确性,允许人类检查它。
2022-11-30 cs.AI cs.LG cs.LO
Why am I Still Seeing This: Measuring the Effectiveness Of Ad Controls and Explanations in AI-Mediated Ad Targeting Systems
Princeton University(普林斯顿大学)
本研究评估Meta转向AI中介定向后“See less”广告控制与定向解释的有效性,发现该控制未能显著减少相关广告且解释缺乏可操作性,表明亟需适应复杂AI广告系统的新透明度与控制方法。
2024-08-21 cs.AI cs.CY cs.HC
Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It
University of Electronic Science and Technology of China(电子科技大学)
本文分析了图神经网络解释中自不一致性的成因(重新解释引起的上下文扰动),提出潜在信号分配假设解释边缘敏感性,并设计无需训练的后处理策略 Self-Denoising 来校准解释。
2026-05-30 cs.AI cs.LG
Hows and Whys of Artificial Intelligence for Public Sector Decisions: Explanation and Evaluation
Crime and Security Research Institute(犯罪与安全研究院);Cardiff University(卡迪夫大学);Y Lab(Y实验室);Nesta(内斯塔);IBM Research(IBM研究院)
评估一直是基于人工智能(AI)的软件开发中的一个关键挑战,这是由于软件工件的技术复杂性,并且通常嵌入在复杂的社会技术过程中。由深度神经网络实现的机器学习(ML)的最新进展加剧了评估此类软件的挑战,因为这些基于ML的工件具有不透明的性质。一个关键的相关问题是(在)这样的系统产生有用的解释,他们的输出的能力,我们认为,解释和评价问题是密切相关的。本文在涉及人工智能和人类智能的公共部门决策(PSD)应用的背景下对基于ML的AI系统的元素进行建模,并将这些元素映射到评估和解释中的问题,显示两者之间的关系。我们考虑了一些常见的PSD应用模式,根据我们的模型,并确定了一组关键问题连接到每种情况下的解释和评估。最后,我们提出了多种策略来促进PSD中AI/ML技术的广泛采用,其中每种策略都以关注我们模型的不同元素为特征,使PSD政策制定者能够采用最适合其背景和关注点的方法。
2018-10-19 cs.AI cs.CY
"Why Here and Not There?" -- Diverse Contrasting Explanations of Dimensionality Reduction
KIOS Research and Innovation Center of Excellence, University of Cyprus(塞浦路斯大学KIOS卓越研究与创新中心);Bielefeld University(比勒费尔德大学)
模糊性约简是数据采掘中常用的预处理方法和工具。透明度,这通常是通过解释的方式来实现的,现在是一个广泛接受的和关键的要求,机器学习为基础的系统,如分类器和推荐系统。然而,降维和其他数据采掘工具的透明度还没有被深入考虑,理解它们的行为仍然是至关重要的--特别是从业者可能想知道为什么特定的样本被映射到特定的位置。为了(局部地)理解给定的降维方法的行为,我们引入了对降维的对比解释的抽象概念,并将此概念的实现应用于解释二维的数据可视化的具体应用。
2023-02-22 cs.AI cs.LG
Why this and not that? A Logic-based Framework for Contrastive Explanations
TU Wien(维也纳技术大学);Tampere University(塔尔库大学)
本文提出一个基于命题逻辑的反事实解释框架,通过计算并比较P和Q的原因来回答“为什么是P而不是Q”,分析了计算复杂性,并使用回答集编程实现了CNF公式的问题。
2025-07-11 cs.AI cs.LG cs.LO
Appropriate Fairness Perceptions? On the Effectiveness of Explanations in Enabling People to Assess the Fairness of Automated Decision Systems
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
人们经常认为,解释自动决策系统(ADS)的一个目标是促进积极的看法(例如,公平性或可信度)。然而,这种观点隐含了一个假设,即给定的ADS是公平和值得信赖的。如果ADS发布了不公平的结果,那么人们可能会期望对该系统的运作的解释将揭示其缺点,从而导致公平感的下降。因此,我们建议,更有意义的是根据解释的有效性来评估它们,使人们能够适当地评估质量(例如,一个关联的ADS。我们认为,一个有效的解释,公平的看法应该增加,当且仅当基础ADS是公平的。在这项正在进行的工作中,我们介绍了适当的公平感的必要条件,提出了一种新的研究设计,以评估它,并概述了下一步的综合实验。
2021-08-14 cs.AI cs.HC
Automated Explanation Selection for Scientific Discovery
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院,德国)
本文提出结合机器学习和自动推理的科学发现循环,通过社会学和认知科学的洞察,构建解释选择的分类体系,扩展并完善现有解释方法。
2026-03-19 cs.AI
A Logic of Knowing Why
Peking University(北京大学);University of Bern(伯尔尼大学)
当我们说“我知道他为什么迟到”时,我们不仅知道他迟到的事实,而且还知道对这一事实的解释。我们在已有的关于为什么问题、科学解释和证明逻辑的形式研究的启发下,提出了一个“知道为什么”的逻辑框架。我们将Ky_i算子引入到认知逻辑的语言中来表达“主体i知道为什么是phi”,并提出了一种Kripke式的语义。我们得到两个健全和完整的公理化w.r.t.两个不同的模型类,取决于关于内省的不同假设。
2017-03-14 cs.AI cs.LO math.LO
Does It Make Sense? And Why? A Pilot Study for Sense Making and Explanation
Westlake University(西湖大学);Zhejiang University(浙江大学);Singapore University of Technology and Design(新加坡科技设计大学);Xidian University(西安电子科技大学)
将常识引入自然语言理解系统已经受到越来越多的研究关注。如何评价一个系统是否具有意义生成能力是一个基本问题。现有的基准间接衡量常识,没有解释。在本文中,我们发布了一个基准测试,以直接测试系统是否可以区分有意义的自然语言语句和没有意义的语句。此外,系统还被要求识别一个语句没有意义的最关键原因。我们评估了在大规模语言建模任务中训练的模型以及人类的表现,表明系统意义的形成存在不同的挑战。
2020-04-24 cs.AI cs.CL
How to Answer Why -- Evaluating the Explanations of AI Through Mental Model Analysis
Institute for Multimedia and Interactive Systems(多媒体与交互系统研究所);University of Lübeck(吕贝克大学)
为了在用户-人工智能交互的背景下实现最佳的人-系统集成,重要的是用户开发人工智能如何工作的有效表示。在大多数与技术系统的日常交互中,用户构建心理模型(即,系统用来执行给定任务的预期机制的抽象)。如果系统(例如,自我解释AI)或其他来源(例如,教师)没有提供明确的解释,则心理模型通常基于经验(即,用户在交互期间的观察)形成。这种心理模型和实际系统功能的一致性是至关重要的,因为它用于假设,预测,从而用于有关系统使用的决策。因此,以人为中心的人工智能研究的一个关键问题是如何有效地调查用户的心理模型。本研究的目的是确定合适的启发方法的心理模型分析。我们评估了心理模型是否适合作为一种实证研究方法。此外,认知辅导的方法是集成的。我们提出了一个示例性的方法来评估可解释的人工智能方法以人为中心的方式。
2020-01-11 cs.AI cs.HC
Why Uncertainty Calibration Matters for Reliable Perturbation-based Explanations
Siemens AG(西门子公司);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Goethe University Frankfurt(法兰克福歌德大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联合会)
本文研究不确定性校准与基于扰动的解释的关系,提出ReCalX方法在保留原始预测的同时重校准模型,实验证明其能生成更符合人类感知与实际物体位置的解释。
2025-06-24 cs.AI cs.LG
PEAK: Explainable Privacy Assistant through Automated Knowledge Extraction
Bogazici University(海峡大学);Amazon Alexa AI(亚马逊Alexa人工智能);Utrecht University(乌得勒支大学)
本文提出PEAK隐私助手,通过潜在主题发现、解释类别识别和自动化解释生成,为隐私决策提供可理解解释,用户研究表明其解释有用易理解,并能提升隐私助手自身决策能力。
2023-05-31 cs.AI cs.CR cs.HC
Why Reinforcement Learning in Energy Systems Needs Explanations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对经济发展下基础设施复杂性增加及能源转型需求,本文探讨能源系统中强化学习的应用局限,提出模型解释可提升其说服力与实用性。
2024-05-29 cs.AI cs.SY eess.SY
Perceptions of Fairness and Trustworthiness Based on Explanations in Human vs. Automated Decision-Making
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
自动决策系统(ADS)在许多高风险领域已经变得无处不在。这些系统通常涉及复杂但不透明的人工智能(AI)技术,这些技术很少允许完全理解其内部工作原理,特别是对于受影响的个人。因此,ADS容易出现监督和校准不足,这可能导致不期望的(例如,不公平的结果。在这项工作中,我们与200名参与者进行了一项在线研究,以检查人们对ADS的公平性和可信赖性的看法,并与人类而不是ADS做出高风险决策的情况进行比较-我们提供了关于两种情况下决策的完全相同的解释。令人惊讶的是,我们发现人们认为ADS比人类决策者更公平。我们的分析还表明,人们的人工智能素养会影响他们的看法,这表明人工智能素养较高的人更倾向于ADS而不是人类决策者,而人工智能素养较低的人在他们的看法上没有显着差异。
2021-09-13 cs.AI cs.HC
Towards Automated Evaluation of Explanations in Graph Neural Networks
IIT Madras(印度理工学院马德拉斯分校);IBM Research(IBM研究院);IBM(国际商业机器公司);IBM Data and AI(IBM数据与人工智能部门)
以易于理解的术语向AI应用程序的最终用户解释图神经网络预测仍然是一个未解决的问题。特别是,我们没有很好的自动评估解释的方法,更接近用户如何消费这些解释。基于最近的应用趋势和我们自己的经验,在现实世界中的问题,我们提出了自动评估方法的GNN解释。
2021-06-22 cs.AI cs.LG
Tell Me Why: Incentivizing Explanations
Harvard University(哈佛大学);Federal Reserve Bank of Chicago(芝加哥联邦储备银行);Massachusetts Institute of Technology(麻省理工学院)
针对现有机制无法激励智能体为信念提供解释的问题,本研究基于智能体信念信息源重叠的假设提出审议机制,使真实报告信念和理据成为完美贝叶斯均衡,提升信息聚合效率。
2025-02-19 cs.AI cs.GT econ.TH
Why do CNNs excel at feature extraction? A mathematical explanation
研究卷积神经网络为何擅长特征提取,引入基于特征提取的新型图像分类数学模型,证明卷积神经网络分类器能零误差解决图像分类任务,构造分段线性函数并表明可由卷积网络实现。
2026-07-20 cs.AI cs.CV
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);King Khalid University(哈利德国王大学)
我们介绍和评估eXplainable目标识别(XGR)模型,该模型使用证据权重(WoE)框架来解释目标识别问题。我们的模型提供了以人为本的解释,回答了为什么?为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实,我们进一步表明XGR模型可以成功地生成类似人类的解释。然后,我们报告了一项研究,60名参与者观察代理人玩推箱子游戏,然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
Why not both? Complementing explanations with uncertainty, and the role of self-confidence in Human-AI collaboration
The University of Edinburgh(爱丁堡大学)
本研究针对高风险领域人机协作需求,通过实证研究探究不确定性估计与模型解释结合对用户依赖、理解及信任模型的影响,同时分析用户自信对行为的作用及对相关分析结果的扭曲效应。
2023-04-27 cs.AI
Tell me why! Explanations support learning relational and causal structure
DeepMind(深度思维)
推理世界的抽象关系和因果结构是学习代理的主要挑战。对人类来说,语言-特别是以解释的形式-在克服这一挑战方面起着相当大的作用。在这里,我们证明了语言可以在复杂环境中为深度RL代理发挥类似的作用。虽然代理通常很难获得关系和因果知识,但通过训练他们预测语言描述和解释来增加他们的经验可以克服这些限制。我们表明语言可以帮助智能体学习具有挑战性的关系任务,并研究语言的哪些方面有助于其益处。然后,我们表明,解释可以帮助代理推断不仅关系,而且因果结构。语言可以塑造智能体从模糊的、因果混淆的训练中概括分布外的方式,解释甚至允许智能体学习执行实验干预以识别因果关系。我们的研究结果表明,语言描述和解释可能是提高智能体学习和泛化能力的有力工具。
2022-05-25 cs.AI cs.LG stat.ML
Towards Trustworthy Automated Driving through Qualitative Scene Understanding and Explanations
Simula Research Laboratory(西穆拉研究实验室);University of Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
提出定性可解释图(QXG),通过时空图和定性约束从传感器数据提取场景语义,为自动驾驶提供实时、可解释的场景理解与决策解释。
2024-03-25 cs.AI
Taking the Whys Seriously: Limitations of Counterfactual Explanations in Justification and Recourse
Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学);University of Tampere(坦佩雷大学)
本文探讨反事实解释(CEs)在AI模型部署中用于正当性与算法求助的规范正当性,发现其会忽略ML流程中组织的关键选择,无法充分回答重要的“为什么”问题,凸显需考虑此类选择。
2026-09-01 cs.AI cs.CY
`Why didn't you allocate this task to them?' Negotiation-Aware Explicable Task Allocation and Contrastive Explanation Generation
Arizona State University(亚利桑那州立大学);WS AI Labs(WS人工智能实验室)
本文提出一种协商感知的集中式任务分配方法,通过模拟协商生成可解释分配,并利用反事实生成对比解释,实验证明其公平性和说服力,同时分析了信息不完整对解释长度的影响。
2023-05-25 cs.AI
"Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans
University of Colorado(科罗拉多大学)
为了用机器学习模型支持人类决策,我们经常需要阐明模型中嵌入的模式,这些模式对人类来说是不明显的、未知的或违反直觉的。虽然现有的方法专注于在实时辅助下解释机器预测,但我们探索了模型驱动的教程,以帮助人类在训练阶段理解这些模式。我们认为这两个教程的指导方针,从科学论文,类似于目前的做法,科学通信,并自动选择的例子,从训练数据与解释。我们使用欺骗性评论检测作为测试平台,并进行大规模的随机人类受试者实验,以检查此类教程的有效性。我们发现,教程确实提高了人类的表现,有和没有实时援助。特别是,尽管深度学习提供了比简单模型更优越的预测性能,但来自简单模型的教程和解释对人类更有用。我们的工作为以人为本的教程和解释提出了未来的方向,以实现人类和人工智能之间的协同作用。
2020-01-14 cs.AI cs.CL cs.CY
Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking
Department of Computer Science, University of Copenhagen(计算机科学系,哥本哈根大学);University of Copenhagen(哥本哈根大学);Linköping University(_linköping大学)
本文通过访谈事实核查人员,研究其证据评估、工具使用及解释需求,提出自动化事实核查解释应呈现推理路径、证据、不确定性与信息缺口。
2025-02-13 cs.AI cs.CL cs.HC
Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution
SRM Institute of Science and Technology(SRM科学与技术学院)
研究显示,预测等效模型在特征归因上存在显著差异,揭示了假设类对解释稳定性的影响,提出解释可靠性评分R(x)以评估解释稳定性。
2026-03-16 cs.AI cs.LG
Automated detection of dark patterns in cookie banners: how to do it poorly and why it is hard to do it any other way
University of Bergen(卑尔根大学);Utrecht University(乌得勒支大学)
Cookie横幅,即弹出窗口,似乎收集您的同意数据汇集,是一个诱人的地面黑暗模式。深色图案是用来影响用户选择不符合他们兴趣的选项的设计元素。暗模式的使用使征求同意变得毫无意义,并使改善数据公平收集和使用的努力落空。机器学习能否用于自动检测Cookie横幅中是否存在深色图案?在这项工作中,300个新闻网站的cookie横幅数据集被用来训练一个预测模型,正是这样做。我们使用的机器学习管道包括特征工程、参数搜索、训练梯度提升树分类器和评估。训练模型的准确性是有希望的,但允许有很大的改进空间。我们提供了一个深入分析的跨学科的挑战,自动暗模式检测构成的人工智能。使用机器学习创建的数据集和所有代码都可以在库的URL中找到,以供审查。
2022-04-21 cs.AI cs.HC cs.LG
Adding Why to What? Analyses of an Everyday Explanation
Paderborn University(帕德博恩大学)
本文基于双重本性理论分析20个游戏解释,发现解释者先关注架构后关注相关性,为构建合成解释提供思路。
2023-08-08 cs.AI
Why did I fail? A Causal-based Method to Find Explanations for Robot Failures
Faculty of Electrical Engineering, Chalmers University of Technology(查尔姆斯理工大学电气工程学院)
机器人在以人为中心的环境中出现故障是不可避免的。因此,机器人解释此类故障的能力对于与人类互动以增加信任和透明度至关重要。为了实现这一技能,本文所面临的主要挑战是:(1)获取足够的数据来学习环境的因果模型;(2)基于该模型生成因果解释。我们通过从模拟数据中学习因果贝叶斯网络来解决I)。关于II),我们提出了一种新的方法,使机器人产生对比的解释任务失败。解释是基于设置失败状态,与允许成功执行的最接近的状态形成对比。这种状态是通过广度优先搜索找到的,并且是基于学习的因果模型的成功预测。我们在两种不同的情况下评估了我们的方法:I)堆叠立方体和II)将球体放入容器中。所获得的因果关系模型分别达到70%和72%的sim 2 real准确度。最后,我们证明了我们的新方法可以扩展到多个任务,并允许真正的机器人给出失败的解释,比如“上面的立方体堆叠得太高,离下面的立方体太远了。'
2022-06-21 cs.AI cs.RO
Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);University of Surrey(萨里大学)
关于欧盟《一般数据保护条例》中的解释权及其存在、利弊,学界已有不少讨论。实施解释权,打开算法决策的黑箱,面临着重大的法律和技术障碍。解释复杂算法决策系统的功能及其在特定情况下的基本原理是一个技术上具有挑战性的问题。一些解释可能无法为数据主体提供有意义的信息,从而引发对其价值的质疑。自动化决策的解释不需要依赖于公众对算法系统如何运作的理解。尽管这种可解释性非常重要,而且应该加以追求,但原则上可以在不打开黑匣子的情况下提供解释。将解释视为帮助数据主体采取行动而不仅仅是理解的一种手段,人们可以根据它们旨在支持的特定目标或行动来衡量解释的范围和内容。从受自动化决策影响的个人的角度来看,我们提出了三个解释目标:(1)告知并帮助个人理解为什么做出特定的决定,(2)如果结果是不期望的,则提供理由来质疑该决定,以及(3)根据当前的决策模型,了解需要改变什么才能在未来获得期望的结果。我们评估这些目标如何在GDPR中得到支持。我们建议数据控制者应该提供一种特殊类型的解释,无条件的反事实解释,以支持这三个目标。这些反事实的解释描述了对世界所做的最小改变,以获得理想的结果,或者达到最接近的可能世界,而不需要解释系统的内部逻辑。
2018-03-21 cs.AI
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University(苏塞克斯大学);Air Force Research Laboratory(空军研究实验室)
本文提出对比解释学习框架VisionMask,通过自监督方式对比智能体所选动作与备选动作来生成解释,在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势,提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
Trustworthy Automated Driving through Qualitative Scene Understanding and Explanations
Simula(西穆拉研究院);LIRMM(Montpellier 电子与计算机科学实验室)
本文提出定性可解释图(QXG),一种实时构建的符号场景表示,用于自动驾驶中通过时空图和定性约束解释决策,提升可信度并支持乘客告知、VRU提醒及事后分析。
2024-01-29 cs.AI cs.CV
Why can't Epidemiology be automated (yet)?
Centre for Longitudinal Studies, University College London(伦敦大学学院长期研究所在);Centre for Advanced Research Computing, University College London(伦敦大学学院先进计算研究中心)
本文探讨流行病学研究中人工智能应用的潜力与限制,指出尽管生成式AI提供了机遇,但现有工具和人类系统限制了其效能,需流行病学家与工程师的协同合作。
2025-07-21 cs.AI cs.CY
"Why did you do that?": Explaining black box models with Inductive Synthesis
Uppsala University(乌普萨拉大学)
就其本质而言,黑盒模型的组成是不透明的。这使得产生对刺激反应的解释的能力具有挑战性。鉴于人工智能和机器学习系统的流行以及围绕它们建立法律和监管框架的需要,解释黑盒模型的重要性变得越来越重要。这样的解释也可以增加对这些不确定系统的信任。在我们的论文中,我们提出了RICE,一种用于生成解释的黑盒模型的行为的方法,通过(1)探测模型,提取模型输出的例子,使用灵敏度分析;(2)应用CNPInduce,归纳逻辑程序合成的方法,生成基于关键输入输出对的逻辑程序;(3)解释作为人类可读的解释的目标程序。我们通过生成一个人工神经网络的解释来演示我们的方法的应用,该神经网络被训练成在一个假设的自动驾驶汽车模拟中遵循简单的交通规则。最后,我们讨论了我们的方法的可扩展性和可用性及其潜在的应用程序,以简化关键的场景。
2019-04-17 cs.AI cs.LG
Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI
Oxford Internet Institute, University of Oxford(牛津大学牛津互联网研究所);The Alan Turing Institute(阿兰·图灵研究所);Department of Electrical and Electronic Engineering, University of Surrey(萨里大学电气与电子工程系)
本文确定了欧洲的歧视概念和现有的公平统计措施之间的严重不相容。首先,我们回顾了根据欧盟非歧视法提出索赔的证据要求。由于算法和人类歧视的不同性质,欧盟目前的要求过于上下文,依赖直觉,并对司法解释开放,无法自动化。其次,我们展示了当人工智能而不是人类歧视时,非歧视法提供的法律保护如何受到挑战。人类歧视是由于消极的态度(如陈规定型观念、偏见)和无意的偏见(如组织惯例或内化的陈规定型观念),这可能会向受害者发出歧视已经发生的信号。最后,我们研究了机器学习中现有的公平性工作如何与欧盟非歧视法下评估案件的程序相一致。我们提出了“条件性人口差异”(CDD)作为一个标准的基线统计测量,符合欧洲法院的“黄金标准”。“为自动化歧视案件建立一套标准的统计证据,有助于确保对涉及人工智能和自动化系统的案件进行一致的评估程序,而不是司法解释。通过这一关于自动化歧视识别和评估的程序规则性的建议,我们澄清了如何尽可能将公平性考虑纳入自动化系统,同时仍然尊重和支持欧盟非歧视法下实践的司法解释的上下文方法。N.B.摘要
2020-05-12 cs.AI
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对情感分类中“problems”等非直观特征与标签的关联,提出自动检测与解释方法,并通过众包实验验证其有效性,填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations
本文提出RFxG分类法,通过区分点对点与对比性解释及不同粒度,改进显著性图的评估框架,以更符合人类认知需求。
2025-11-18 cs.AI cs.CV cs.LG
X-Blocks: Linguistic Building Blocks of Natural Language Explanations for Automated Vehicles
Queensland University of Technology (QUT)(昆士兰科技大学);ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)(农村和偏远地区自动化车辆培训中心)
X-Blocks框架通过分层分析识别自动驾驶车辆自然语言解释的构建块,提供场景感知解释的设计原则,提升透明性和用户信任。
2026-02-02 cs.AI cs.CL cs.RO
Textual Explanations for Automated Commentary Driving
UVC Partners(UVC合伙公司);University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所)
本文提出一种改进的自动驾驶解释生成模型,通过集成词性预测和特殊标记惩罚,在BDD-X数据集上使BLEU指标比SOTA提升7.7倍,推动可解释自动驾驶发展。
2023-04-12 cs.AI cs.CL cs.HC
Automated Rationale Generation: A Technique for Explainable AI and its Effects on Human Perceptions
Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);University of Kentucky(肯塔基大学)
自动原理生成是一种用于实时解释生成的方法,其中计算模型学习将自主智能体的内部状态和动作数据表示翻译成自然语言。对人类解释数据的训练可以使智能体能够学习为其行为生成类似人类的解释。在本文中,使用的代理人,扮演青蛙,我们描述了(a)如何收集语料库的解释,(b)如何训练神经理性发生器产生不同风格的理由,以及(c)人们如何看待这些理由。我们进行了两项用户研究。第一项研究建立了每种类型的生成的理由,并沿着信心,人性化,充分的理由和可理解性的维度定位他们的用户感知。第二项研究进一步探讨了用户之间的偏好所产生的理由方面的信心,在自主智能体,沟通失败和意想不到的行为。总体而言,我们发现生成的理由的功能的预期差异和用户感知的差异之间的一致性。此外,如果环境允许,参与者更喜欢详细的理由,以形成一个稳定的心理模型的代理人的行为。
2019-01-11 cs.AI cs.HC
Automated Multi-Source Debugging and Natural Language Error Explanation for Dashboard Applications
Palo Alto Networks(派拓网络)
本文提出了一种自动化多源调试系统,利用大型语言模型生成自然语言错误解释,以提高仪表盘应用的调试效率和用户体验。
2026-02-17 cs.AI cs.SE
Automated Assessment of Students' Code Comprehension using LLMs
University of Memphis(孟菲斯大学)
本文探索利用大语言模型自动评估学生对程序代码的简短开放式解释,发现少样本和思维链提示下的LLMs可与微调后的编码器模型相媲美。
2023-12-19 cs.AI cs.CL cs.CY
Can You Tell the Difference? Contrastive Explanations for ABox Entailments
Knowledge in Artificial Intelligence, Vrije Universiteit Amsterdam, The Netherlands(人工智能知识,荷兰阿姆斯特丹自由大学);Data Science Group, Heinz Nixdorf Institute, Paderborn University, Germany(数据科学组,海因茨·尼克斯多夫研究所,帕德博恩大学)
针对“为何a是C实例而b不是”的问题,提出对比ABox解释概念,分析其在描述逻辑本体ABox推理中的计算复杂度并实现初步方法,聚焦a和b的共性与差异。
2025-11-14 cs.AI cs.LO
Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation
University of Passau(帕绍大学)
本研究分析了LLM在生成安全补丁时的失败原因,指出其在安全性和功能上的不足,并提出安全修复评分以量化这一差距。
2026-03-10 cs.AI cs.CR