Towards Transparent Robotic Planning via Contrastive Explanations
University of Virginia(弗吉尼亚大学)
提供所选机器人动作的解释可以帮助增加机器人规划的透明度并提高用户的信任度。社会科学认为,最好的解释是对比性的,不仅解释为什么采取一种行动,而且解释为什么采取一种行动而不是另一种行动。我们借鉴社会科学的见解,基于马尔科夫决策过程正式定义了机器人规划政策的对比解释概念。我们提出了自动生成对比解释的方法,有三个关键因素:选择性,收缩性和责任。在Amazon Mechanical Turk平台上对100名参与者进行的用户研究结果表明,我们生成的对比解释有助于提高用户对机器人规划策略的理解和信任,同时减少用户的认知负担。
2020-03-16 cs.AI cs.RO
Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
Oregon State University(俄勒冈州立大学)
我们研究了一种深度强化学习(RL)架构,该架构支持解释为什么学习代理更喜欢一个动作。其关键思想是学习行动价值观,这些价值观通过预期未来的人类可理解属性直接表示。这是通过嵌入式自预测(ESP)模型实现的,该模型根据人类提供的特征来学习所述属性。然后,可以通过对比为每个动作预测的未来属性来解释动作偏好。为了解决的情况下,有大量的功能,我们开发了一种新的方法来计算最小的足够的解释从一个ESP。我们在三个领域的案例研究,包括一个复杂的战略游戏,表明ESP模型可以有效地学习,并支持有见地的解释。
2021-01-17 cs.AI
Contrastive Explanations of Centralized Multi-agent Optimization Solutions
Univ. Carlos III de Madrid(卡洛斯三世大学)
针对多智能体优化中智能体对解不满的问题,提出领域无关的CMAoE方法,通过生成强制属性且差异最小的新解并突出差异,提供对比解释,提升人类满意度且优于现有方法。
2024-03-13 cs.AI
Let the CAT out of the bag: Contrastive Attributed explanations for Text
Microsoft(微软);IBM Research(IBM研究院)
最近,理解黑箱模型行为的对比解释获得了很多关注,因为它们提供了潜在的追索权。在本文中,我们提出了一种方法对比属性的解释文本(CAT),它提供了一个新的扭曲的对比解释自然语言的文本数据,因为我们建立和利用属性分类器,导致更多的语义有意义的解释。为了确保我们的对比生成的文本相对于原始文本具有尽可能少的编辑,同时也流畅且接近人类生成的对比,我们采用了一种最小扰动方法,该方法使用BERT语言模型和在可用属性上训练的属性分类器进行正则化。我们通过定性的例子和用户研究表明,我们的方法不仅传达了更多的洞察力,因为这些属性,但也导致更好的质量(对比)的文本。量化,我们表明,我们的方法优于其他国家的最先进的方法在四个基准指标的四个数据集。
2022-11-02 cs.AI cs.CL
Contrastive Explanations of Plans Through Model Restrictions
University of Strathclyde(斯特拉斯克莱德大学);PS Research(PS研究公司)
在自动化计划中,当建议的计划与用户的期望之间存在不匹配时,需要解释。我们在计划协商问题的背景下构建了可解释的人工智能规划,其中生成并解决了一系列假设的规划问题。协商的目的是让用户理解并最终达成满意的计划。我们提出的用户研究的结果表明,当用户问问题的计划,这些问题是对比,即“为什么是A,而不是B?".我们使用本研究的数据来构建一个分类的用户问题,经常出现在计划谈判。我们正式定义我们的方法,通过模型的限制,作为一个迭代过程的计划谈判。这种方法通过用户问题隐含的约束来限制模型,从而生成假设问题和对比计划。我们正式定义基于模型的编译PDDL 2.1中的每个约束来自一个用户的问题的分类,并根据经验评估编译的计算复杂性。编译实现的解释框架,采用迭代模型限制的一部分。我们在第二个用户研究中展示了它的好处。
2021-03-29 cs.AI
Efficient computation of contrastive explanations
Bielefeld University(比勒费尔德大学)
随着机器学习系统在实践中的部署越来越多,透明度和可解释性已经成为严重的问题。对比解释被认为是有用的和直观的,特别是当它涉及到解释的决定,外行人,因为他们模仿的方式,人类解释。然而,到目前为止,几乎没有研究已经解决了计算上可行的技术,它允许保证唯一性和最优性的解释,并使一个简单的纳入额外的约束。在这里,我们将专注于特定类型的模型,而不是黑盒技术。我们研究了对比和反事实解释的关系,并提出了数学形式化以及一个2阶段算法,用于有效地计算许多标准机器学习模型的(看似合理的)相关积极因素。
2021-01-04 cs.AI cs.LG
RADAR-X: An Interactive Mixed Initiative Planning Interface Pairing Contrastive Explanations and Revised Plan Suggestions
Arizona State University(亚利桑那州立大学)
决策支持系统力求促成知情决策。近年来,自动化规划技术已被用于使此类系统能够更好地帮助人在回路中。这种决策支持系统的中心思想是用自动规划技术增强人在回路中的能力,并提高决策的质量。除了提供规划支持外,有效的决策支持系统必须能够根据特定的用户查询为其最终用户提供直观的解释。以此为动机,我们提出了我们的决策支持系统雷达-X展示的能力,让用户在一个互动的解释性对话,首先使他们能够指定一个替代建议的决定(我们称之为箔),然后提供对比解释这些用户指定的箔,帮助用户理解为什么选择了一个特定的计划替代(或箔)。此外,该系统使用此对话,以引起用户的潜在偏好,并通过三种不同的交互策略提供修改后的计划建议。
2022-06-03 cs.AI
`Why didn't you allocate this task to them?' Negotiation-Aware Explicable Task Allocation and Contrastive Explanation Generation
Arizona State University(亚利桑那州立大学);WS AI Labs(WS人工智能实验室)
本文提出一种协商感知的集中式任务分配方法,通过模拟协商生成可解释分配,并利用反事实生成对比解释,实验证明其公平性和说服力,同时分析了信息不完整对解释长度的影响。
2023-05-25 cs.AI
The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models
University of Trento, Italy(特伦托大学,意大利);Fondazione Bruno Kessler, Italy(布鲁诺·凯塞勒基金会,意大利);Laboratoire de Linguistique Formelle, Université Paris Cité, CNRS, Paris, France(形式语言实验室,巴黎城市大学,法国国家科学研究中心,法国巴黎)
本文提出一种新方法,通过分析输入频谱如何影响语音转文本模型在替代输出间的抉择,实现对比解释,用于性别识别任务中音频特征的准确识别。
2025-09-30 cs.AI cs.CL
Contrastive Explanations That Anticipate Human Misconceptions Can Improve Human Decision-Making Skills
Harvard University(哈佛大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对AI决策支持下人类决策能力难提升甚至退化的问题,提出生成以人为中心的对比性解释的框架,实验证明其可在不降低决策准确率的同时提升人类独立决策技能,为缓解技能退化、促进人机协同中人类能力发展提供新思路。
2025-03-19 cs.AI cs.HC
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);Facebook AI(脸书人工智能)
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型(PLM)可以在这些任务上实现接近人类的性能,同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中,我们展示了如何使用这些相同的模型来生成这样的证据:受人类解释的对比性质的启发,我们使用PLM来完成解释提示,根据证明正确答案所需的关键属性(例如,花生通常是咸的,而葡萄干是甜的)来对比替代品。与以前的非对比替代方案相比,这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关,并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL
Interpreting Language Models with Contrastive Explanations
Carnegie Mellon University(卡内基梅隆大学)
模型可解释性方法通常用于解释文本分类等任务的NLP模型决策,其中输出空间相对较小。然而,当应用于语言生成时,其中输出空间通常由数万个标记组成,这些方法无法提供信息丰富的解释。语言模型必须考虑各种特征来预测标记,例如其词性、数字、时态或语义。现有的解释方法将所有这些特征的证据合并为一个单一的解释,这对人类的理解来说是不太可解释的。为了理清语言建模中的不同决策,我们着重于对比解释语言模型:我们寻找显著的输入标记,解释为什么模型预测一个标记而不是另一个。我们表明,对比解释是量化优于非对比解释验证主要的语法现象,他们显着提高对比模型的模拟人类观察者。我们还确定了模型使用类似证据的对比决策组,并且我们能够描述在各种语言生成决策期间模型使用的输入令牌。
2022-05-23 cs.AI cs.CL cs.LG
Can You Tell the Difference? Contrastive Explanations for ABox Entailments
Knowledge in Artificial Intelligence, Vrije Universiteit Amsterdam, The Netherlands(人工智能知识,荷兰阿姆斯特丹自由大学);Data Science Group, Heinz Nixdorf Institute, Paderborn University, Germany(数据科学组,海因茨·尼克斯多夫研究所,帕德博恩大学)
针对“为何a是C实例而b不是”的问题,提出对比ABox解释概念,分析其在描述逻辑本体ABox推理中的计算复杂度并实现初步方法,聚焦a和b的共性与差异。
2025-11-14 cs.AI cs.LO
Generating Counterfactual and Contrastive Explanations using SHAP
IIIT Hyderabad(海得拉巴国际信息技术学院)
随着GDPR的出现,可解释的人工智能和模型可解释性领域获得了额外的推动力。提取和传达决策模型可视性的方法已成为法律要求。两种特定类型的解释,对比和反事实已被确定为适合人类理解。在本文中,我们提出了一个模型不可知的方法及其系统的实现,以产生这些解释,使用shapely添加剂的解释(SHAP)。我们讨论了一个生成管道来创建对比解释,并使用它来进一步生成反事实数据点。该管道在IRIS,葡萄酒质量和移动功能数据集上进行了测试和讨论。所得结果分析如下。
2019-06-21 cs.AI cs.LG stat.ML
Distinguish Before Answer: Generating Contrastive Explanation as Knowledge for Commonsense Question Answering
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
提出CPACE模型,将检索的符号知识转化为对比解释以增强常识问答,在CSQA、QASC和OBQA数据集上取得SOTA或显著提升。
2023-05-21 cs.AI cs.CL
Contrastive Explanations for Model Interpretability
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
对比解释阐明了为什么一个事件的发生与另一个事件相反。他们更是天生的直觉,以人类既生产和理解。我们提出了一种方法来产生对比的分类模型的解释,通过修改表示忽略非对比的信息,并修改模型的行为只基于对比推理。我们的方法基于将模型表示投影到一个潜在空间,该空间仅捕获(对模型)有用的特征以区分两个潜在决策。我们通过分析两种不同的情况下,使用高层次的抽象概念的属性和低层次的输入标记/跨度属性,两个广泛使用的文本分类任务的对比解释的价值。具体来说,我们产生的解释回答:对于哪个标签,并针对哪个替代标签,是输入有用的一些方面?输入的哪些方面对特定决策有用,哪些方面对特定决策有用?总的来说,我们的研究结果揭示了标签对比解释的能力,为模型的决策提供了更准确和更细粒度的可解释性。
2021-09-14 cs.AI cs.CL cs.LG
ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
对比学习已经导致用于诸如图像分类的任务的学习的嵌入表示的质量的实质性改进。然而,现有的对比增强方法的一个关键缺点是,它们可能会导致修改的图像内容,这可能会产生不希望的改变其语义。这可能会影响模型在下游任务上的性能。因此,在本文中,我们问我们是否可以增加图像数据在对比学习,这样的任务相关的语义内容的图像被保留。为此,我们建议利用基于显着性的解释方法来创建内容保持掩蔽增强对比学习。我们的新的解释驱动的监督对比学习(ExCon)方法严格地服务于鼓励附近的图像嵌入具有相似的内容和解释的双重目标。为了量化ExCon的影响,我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明了ExCon在分类,解释质量,对抗鲁棒性以及分布偏移背景下的概率校准方面优于香草监督对比学习。
2022-04-18 cs.AI cs.CV cs.LG
Contrastive Explanations for Explaining Model Adaptations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
在现实世界中部署的许多决策系统都不是静态的-一种称为模型自适应的现象会随着时间的推移而发生。基于人工智能的决策模型对透明度和可解释性的需求被广泛接受,因此已经得到了广泛的研究。通常,解释方法假设一个静态的系统,必须加以解释。解释非静态系统仍然是一个开放的研究问题,这对如何解释模型适应提出了挑战。在这方面的贡献,我们提出了一个框架,并(经验)评估解释模型适应性的对比解释。我们还提出了一种方法,用于自动查找受给定模型适应影响的数据空间中的区域,因此应该进行解释。
2021-04-07 cs.AI cs.LG
Leveraging Counterfactual Paths for Contrastive Explanations of POMDP Policies
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出利用用户提供的反事实路径,通过特征期望对比POMDP策略性能,并在搜索与救援场景中验证了该方法。
2024-03-28 cs.AI cs.HC
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut(贝鲁特美国大学)
对比解释方法超越了透明度,并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择,以提供可操作的变化的情况下,分类器的决定产生不利影响。然而,它们对文本数据的扩展还没有得到充分的探索,并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础,一个新的评价方案的启发,忠实的解释。因此,我们扩展计算的三个指标,接近性,连通性和稳定性,文本数据和我们的基准两个成功的对比方法,多汁和MiCE,我们建议的指标。在情感分析数据上的实验表明,在两种模型中,反事实与其原始对应物的连通性都不明显。更有趣的是,生成的对比文本更容易与POLYJUICE,突出了潜在表征在反事实搜索的重要性。最后,我们对文本追索方法进行了第一次语义对抗攻击。结果表明,POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
Contrastive Explanations for Comparing Preferences of Reinforcement Learning Agents
Trinity College Dublin(都柏林圣三一学院);IBM Ireland(IBM爱尔兰公司)
在复杂任务中,奖励函数不是直接的,而是由一组目标组成,通过调整单个目标对奖励函数的影响,可以训练出多个强化学习(RL)策略,这些策略可以充分执行任务,但采用不同的策略。理解策略之间的差异对于用户在提供的策略之间进行选择是必要的,并且可以帮助开发人员理解从RL系统中的各种奖励函数和训练超参数中出现的不同行为。在这项工作中,我们比较的行为的两个政策培训相同的任务,但不同的偏好的目标。我们提出了一种方法来区分行为的差异,这些差异源于不同的能力,而这些能力是两个RL代理的相反偏好的结果。此外,我们只使用基于偏好的差异的数据,以生成关于代理人偏好的对比解释。最后,我们在自动驾驶任务上测试和评估了我们的方法,并比较了以安全为导向的策略和更喜欢速度的策略的行为。
2021-12-17 cs.AI
VAE-CE: Visual Contrastive Explanation using Disentangled VAEs
Eindhoven University of Technology(埃因霍温理工大学)
分类模型的目标是为数据分配正确的标签。在大多数情况下,这些数据并没有被给定的标签集完全描述。领域中通常存在一组丰富的有意义的概念,可以更精确地描述每个数据点。这些概念对于解释模型的分类也非常有用。在本文中,我们提出了一个模型,表示为变分自编码器为基础的对比解释(VAE-CE),表示数据与高层次的概念,并使用这种表示的分类和生成的解释。解释以对比的方式产生,传达为什么数据点被分配给一个类而不是另一个类。解释被指定为输入数据点的一组转换,每一步都描述了一个概念向对比类的变化。我们使用一个解开的VAE,扩展与一个新的监督方法解开个别尺寸的模型。对合成数据和MNIST的分析表明,解纠缠和解释的方法提供了优于其他方法的优点。
2021-08-20 cs.AI cs.CV cs.LG
Argumentation-based Agents that Explain their Decisions
Federal University of Technology - Paraná (UTFPR)(巴拉那联邦理工大学)
可解释的人工智能(XAI)系统,包括智能代理,必须能够向与之交互的人类(或其他系统)解释其内部决策、行为和推理。在本文中,我们专注于BDI(信念-欲望-意图)代理的扩展模型如何能够生成关于他们的推理的解释,特别是关于他决定承诺的目标。我们的建议是基于论证理论,我们使用参数来表示的原因,导致代理人作出决定,并使用论证语义来确定可接受的论点(原因)。我们提出了两种类型的解释:部分的和完整的。我们将我们的建议应用于救援机器人的场景。
2020-09-13 cs.AI
Contrastive Explanations in Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
视觉解释是基于视觉特征的逻辑论证,这些视觉特征证明了神经网络所做的预测是正确的。当前的视觉解释模式回答了$`Why \text{ } P?'$形式的问题。这些$Why$问题在广泛的背景下操作,从而在某些情况下提供不相关的答案。我们建议约束这些$Why$问题的基础上,一些上下文$Q$,使我们的解释回答对比问题的形式$`Why \text{ } P, \text{} rather \text{ } than \text{ } Q?'$。在本文中,我们形式化结构的对比视觉解释的神经网络。我们定义对比度的基础上神经网络,并提出了一种方法来提取定义的对比度。然后,我们将提取的对比度作为现有$`Why \text{ } P?'$技术(特别是Grad-CAM)之上的插件。我们展示了它们在分析大规模识别、细粒度识别、地下地震分析和图像质量评估应用中的网络和数据方面的价值。
2020-08-01 cs.AI cs.CV cs.LG
Concept-Based Abductive and Contrastive Explanations for Behaviors of Vision Models
Colorado State University(科罗拉多州立大学);KBR Inc.(KBR公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于概念的归纳与对比解释方法,用于解释视觉模型的行为,通过概念擦除过程建立因果关系,实现对单张图像和图像集合的预测理解。
2026-05-07 cs.AI cs.LG
Why this and not that? A Logic-based Framework for Contrastive Explanations
TU Wien(维也纳技术大学);Tampere University(塔尔库大学)
本文提出一个基于命题逻辑的反事实解释框架,通过计算并比较P和Q的原因来回答“为什么是P而不是Q”,分析了计算复杂性,并使用回答集编程实现了CNF公式的问题。
2025-07-11 cs.AI cs.LG cs.LO
CoRTX: Contrastive Framework for Real-time Explanation
Rice University(莱斯大学);Meta Platforms, Inc.(Meta平台公司)
可解释机器学习的最新进展为解释模型行为提供了有效和可靠的解决方案。然而,许多解释方法遇到效率问题,这在很大程度上限制了它们在实际场景中的部署。因此,已经提出了实时的【形】解释器(RTX)框架,通过学习一个前馈解释器来加速模型解释过程。现有的RTX框架通常在监督学习范式下构建解释器,这需要大量的解释标签作为基础事实。由于计算资源和人力资源的限制,准确的解释标签通常难以获得,有效的解释者训练在实践中仍然具有挑战性。在这项工作中,我们提出了一个对比实时的【形】解释(CoRTX)框架来学习面向解释的表示,并减轻解释器训练对解释标签的强烈依赖。具体而言,我们设计了一个综合策略,选择积极和消极的情况下学习的解释。理论分析表明,我们的选择策略有利于解释任务的对比学习过程。在三个真实数据集上的实验结果进一步证明了我们提出的CoRTX框架的效率和有效性。
2023-03-05 cs.AI cs.CY cs.GT
Towards Relatable Explainable AI with the Perceptual Process
National University of Singapore(新加坡国立大学)
机器学习模型需要提供对比解释,因为人们经常试图理解为什么会出现令人困惑的预测,而不是一些预期的结果。目前的对比解释是例子或原始特征之间的基本比较,由于它们缺乏语义意义,因此仍然难以解释。我们认为,解释必须更相关的其他概念,假设和协会。受认知心理学感知过程的启发,我们提出了XAI感知处理框架和RexNet模型,用于具有对比显着性,反事实合成和对比线索解释的相关可解释AI。我们研究了语音情感识别的应用,并实现了一个模块化的多任务深度神经网络来预测和解释语音中的情感。从有声思维和对照研究中,我们发现反事实解释是有用的,并进一步加强了语义线索,但不显着性解释。这项工作为感知应用提供了提供和评估相关对比可解释AI的见解。
2022-03-29 cs.AI cs.HC
Explanations based on the Missing: Towards Contrastive Explanations with Pertinent Negatives
IBM Research(IBM研究院);University of Michigan(密歇根大学)
在本文中,我们提出了一种新的方法,提供对比解释证明了黑盒分类器,如深神经网络的输入分类。给定一个输入,我们发现什么应该是必然的、最小的和充分的(即图像中的重要对象像素)来证明其分类,以及类似地什么应该是最小的和必然的\emph{absent}(即某些背景像素)。我们认为,这样的解释是自然的人类和常用的领域,如医疗保健和犯罪学。什么是最低限度但关键的\emph{absent}是解释的重要部分,据我们所知,目前解释神经网络预测的解释方法还没有明确识别出这一部分。我们验证了我们的方法从不同领域获得的三个真实的数据集,即手写数字数据集MNIST,大型采购欺诈数据集和大脑活动强度数据集。在这三种情况下,我们都见证了我们的方法在生成精确解释方面的力量,这些解释也易于人类专家理解和评估。
2018-10-29 cs.AI cs.CV cs.LG
Learning Global Transparent Models Consistent with Local Contrastive Explanations
IBM Research, NY(IBM研究(纽约))
关于黑盒模型(例如神经网络)的局部对比/反事实解释,有丰富且不断增长的文献。在这些方法中,对于输入,解释是以对比点的形式,该对比点在非常少的特征上与原始输入不同并且位于不同的类中。其他工作试图建立全局可解释的模型,如决策树和规则列表的基础上使用实际的标签的数据或基于黑盒模型的预测。虽然这些可解释的全球模型可能是有用的,但它们可能与特定黑盒选择的局部解释不一致。在这项工作中,我们探讨的问题:我们可以产生一个透明的全球模型,同时准确和一致的地方(对比)解释的黑盒模型?我们引入了一个自然的本地一致性度量,如果本地的解释和预测的黑盒模型也与代理全球透明模型一致,量化。基于一个关键的见解,我们提出了一种新的方法,我们创建自定义布尔功能从稀疏的本地对比解释的黑盒模型,然后训练一个全球透明的模型,只是这些,并展示经验,这样的模型具有更高的本地一致性相比,其他已知的策略,同时仍然是接近的性能模型,训练访问原始数据。
2020-10-29 cs.AI cs.LG stat.ML
Contrastive Counterfactual Visual Explanations With Overdetermination
City Data Science Institute - City, University of London(伦敦城市大学城市数据科学研究所)
本文介绍了一种新的可解释的人工智能方法--CLEAR Image。CLEAR Image基于这样一种观点,即一个令人满意的解释应该是对比的、反事实的和可衡量的。CLEAR Image通过将图像与通过对抗学习自动生成的相应图像进行对比来解释图像的分类概率。这使得显着的分割和扰动,忠实地确定每个段的重要性。CLEAR Image已成功应用于医学成像案例研究,使用一种新的指向游戏度量,它的平均性能优于Grad-CAM和LIME等方法27%。CLEAR Image擅长识别“因果超定”的情况,即图像中有多个补丁,其中任何一个本身都足以使分类概率接近1。
2022-06-09 cs.AI cs.CV
TACENR: Task-Agnostic Contrastive Explanations for Node Representations
University of Ioannina, Greece(希腊伊奥安妮亚大学);Archimedes/Athena Research Center, Greece(阿基米德/雅典娜研究中心)
本文提出TACENR,一种任务无关的节点表示对比解释方法,通过对比学习识别节点表示空间中对节点表示贡献最大的属性、接近性和结构性特征。
2026-04-21 cs.AI cs.LG
Explaining NLP Models via Minimal Contrastive Editing (MiCE)
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
人类已经被证明可以给出对比解释,解释为什么观察到的事件发生,而不是其他一些反事实事件(对比情况)。尽管对比性在人类如何解释中发挥着重要作用,但目前解释NLP模型的方法基本上缺少这种属性。我们提出了最小对比编辑(MiCE),一种以编辑输入的形式产生模型预测的对比解释的方法,该方法将模型输出改变为对比情况。我们在三个任务上的实验--二元情感分类、主题分类和多项选择问答--表明MiCE不仅能够产生对比编辑,而且能够产生与人类对比编辑一致的最小化和流畅的编辑。我们展示了MiCE编辑如何用于NLP系统开发中的两个用例-调试不正确的模型输出和发现数据集工件-从而说明产生对比解释是模型可解释性的一个有前途的研究方向。
2021-06-23 cs.AI cs.CL
Tradeoff-Focused Contrastive Explanation for MDP Planning
Carnegie Mellon University(卡内基梅隆大学)
随着自动化决策和规划越来越多地用于人们生活的许多方面,最终用户对自动化代理的信任非常重要。在实际的规划应用中,往往涉及多个优化目标。因此,规划代理的决策可能涉及竞争目标之间的复杂权衡。最终用户可能很难理解为什么代理根据其目标值决定特定的规划解决方案。其结果是,用户可能不知道代理是否作出正确的决定,并可能缺乏信任it.In这项工作中,我们贡献了一种方法,基于对比解释,使多目标MDP规划代理解释其决策的方式,沟通其权衡的理由,在域级别的概念。我们进行了人类受试者的实验,以评估我们的解释方法在移动机器人导航域的有效性。结果表明,我们的方法显着提高了用户的理解,并在他们的理解,规划代理的权衡理由的信心。
2020-08-02 cs.AI cs.HC
Evaluative Item-Contrastive Explanations in Rankings
Intesa Sanpaolo S.p.A.(意大利联合圣保罗银行股份公司);Univ. Brescia(布雷西亚大学)
本研究针对排名系统的可解释性需求,提出适配排名场景的评估型项目对比解释方法,结合评估型AI方法论考量排名影响的正反因素,并通过公开数据实验验证其应用特性。
2023-12-14 cs.AI cs.CY cs.HC
Understanding a Robot's Guiding Ethical Principles via Automatically Generated Explanations
Ulm University(乌尔姆大学);University of Sarajevo(萨拉热窝大学)
机器人的不断发展使它们能够在人类环境中得到更广泛的使用。机器人更值得信赖,可以做出越来越重要的决策,并产生潜在的关键结果。因此,必须考虑机器人运作所遵循的道德原则。在本文中,我们研究如何对比和非对比的解释可以用来理解机器人行动计划的道德。我们建立在现有的道德框架之上,允许用户对计划提出建议,并接收自动生成的对比解释。用户研究的结果表明,生成的解释有助于人类理解机器人计划背后的道德原则。
2022-06-20 cs.AI cs.RO
Eliciting Critical Reasoning in Retrieval-Augmented Language Models via Contrastive Explanations
Idiap Research Institute(Idiap研究机构);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);National Biomarker Centre (NBC), CRUK Manchester Institute(国家生物标志物中心(NBC),CRUK曼彻斯特研究所)
提出C-RAG框架,通过检索、筛选段落并生成对比相关性解释来激发RAG的批判性推理,从而以更少提示提升模型性能与抗噪鲁棒性。
2024-10-30 cs.AI cs.CL
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University(苏塞克斯大学);Air Force Research Laboratory(空军研究实验室)
本文提出对比解释学习框架VisionMask,通过自监督方式对比智能体所选动作与备选动作来生成解释,在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势,提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
Human-centered explanation does not fit all: The interplay of sociotechnical, cognitive, and individual factors in the effect AI explanations in algorithmic decision-making
University of Pittsburgh(匹兹堡大学);Northeastern University(东北大学);Syracuse University(Syracuse大学)
本研究探讨了AI辅助决策中解释效果的影响因素,发现对比性和选择性解释的偏好受认知负荷、参与度及社会技术语境等个体与情境差异的制约,呼吁AI界面设计应适应这些差异。
2025-05-02 cs.AI cs.CY cs.HC
Interpreting Language Reward Models via Contrastive Explanations
Imperial College London(帝国理工学院);J.P. Morgan AI Research(摩根大通人工智能研究院)
本研究提出用对比解释方法解释奖励模型的二元比较,通过生成相似比较刻画局部行为,并分析全局敏感性,以提升LLM对齐的可解释性与信任度。
2025-02-26 cs.AI cs.LG
"Why This Avoidance Maneuver?" Contrastive Explanations in Human-Supervised Maritime Autonomous Navigation
Department of ICT and Natural Sciences, Norwegian University of Science and Technology (NTNU), Ålesund, Norway(挪威科技大学(NTNU)奥勒松校区信息通信技术与自然科学系);Department of Ocean Operations and Civil Engineering, Norwegian University of Science and Technology (NTNU), Ålesund, Norway(挪威科技大学(NTNU)奥勒松校区海洋运营与土木工程系);Department of Science and Mathematics, Volda University College (HVO), Volda, Norway(沃尔达大学学院(HVO)科学与数学系);Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU), Trondheim, Norway(挪威科技大学(NTNU)特隆赫姆校区工程控制论系)
本文探讨如何通过对比解释帮助海上导航员理解避让决策,提出生成对比解释的方法,并通过用户研究验证其在复杂多船场景中的有效性及认知负荷影响。
2026-04-09 cs.AI cs.RO
Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
University of Bamberg(班贝格大学)
在最近的研究中,人类可以理解的机器学习模型解释受到了广泛关注。解释通常以模型简化或可视化的形式给出。然而,正如认知科学和早期人工智能研究所显示的那样,概念理解也可以通过将概念的给定实例与类似的反例对齐来提高。将一个给定的实例与一个结构相似但不属于该概念的实例进行对比,突出了概念成员资格所必需的特征。温斯顿(Winston,1970)提出了这种近乎失败的学习方法,作为关系领域学习的有效指导。我们介绍了一个解释生成算法的关系概念与归纳逻辑程序设计(\textsc{GeNME})。该算法从给定的一组实例中识别出近距离错过的实例,并根据这些实例与特定正实例的接近程度对这些实例进行排名。一个修改后的规则,它涵盖了近距离错过,但不是原来的情况下,作为一个解释。我们说明\textsc{GeNME}与著名的家庭域组成的亲属关系,视觉关系温斯顿拱门域和现实世界的域处理文件管理。我们还提出了一个心理实验,比较人类的偏好,基于规则的,基于例子的,和近错过的解释在家庭和拱门域。
2021-06-15 cs.AI cs.LG
CELL your Model: Contrastive Explanations for Large Language Models
IBM Research(IBM研究院)
本文提出仅需黑盒查询访问的 LLM 对比解释方法,利用用户可理解的评分函数和预算约束算法生成轻微修改提示下的对比响应,以解释模型输出。
2025-02-17 cs.AI cs.CL cs.LG
Don't Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
研究发现对比VLMs在广告理解任务中依赖启发式方法而非多模态推理,作者引入对抗性测试集TRADE揭示该缺陷,呼吁改进自动广告理解的操作化定义。
2024-05-31 cs.AI cs.CL
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德德尔海兹)
在各种商业环境中,人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术,因为这些模型被认为是“黑匣子”,即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法,合理预测的蒙特卡罗边界。在大误差的情况下,MC-BRP确定(1)将导致合理预测的特征值,以及(2)每个特征和目标之间的一般趋势,两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究,对真实用户的真实数据集进行评估,以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误,以及这是否会促进对自动学习模型的信任。我们的研究表明,当提供这些对比解释时,用户能够回答关于模型预测的客观问题,总体准确率为81.1%。我们发现,看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析,并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
Towards Counterfactual and Contrastive Explainability and Transparency of DCNN Image Classifiers
COMSATS University Islamabad(COMSATS大学伊斯兰堡校区);University of Lincoln(林肯大学)
本研究提出一种模型侵入式方法,通过探查DCNN内部重要滤波器与对应概念,生成图像分类的对比及反事实解释,提升模型透明度,在CUB 2011数据集上验证了方法有效性。
2025-01-12 cs.AI cs.CV
Reason to explain: Interactive contrastive explanations (REASONX)
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学院)
REASONX是一个基于约束逻辑编程的交互式对比解释工具,通过整合背景知识、处理信息不充分场景并为决策树及代理模型生成事实与对比规则,提升了机器学习模型解释的灵活性和用户适配性。
2023-05-29 cs.AI cs.CY cs.LG
Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces
UC San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
尽管现代复杂图像分类器具有很高的准确性,但由于其未知的决策过程和潜在的偏见,它们不能被信任用于敏感任务。反事实解释在为这些黑箱算法提供透明度方面非常有效。然而,生成可以对分类器输出产生一致影响但又暴露可解释的特征变化的反事实是一项非常具有挑战性的任务。我们介绍了一种新的方法,使用预训练的生成模型为图像分类器生成因果关系和可解释的反事实解释,而无需任何重新训练或调节。这种技术中的生成模型不一定要在与目标分类器相同的数据上进行训练。我们使用这个框架来获得对比和因果的充分性和必要性分数作为黑盒分类器的全球性解释。在人脸属性分类的任务中,我们展示了不同的属性如何通过提供因果和对比特征属性以及相应的反事实图像来影响分类器的输出。
2022-06-10 cs.AI cs.CV
A User Study on Contrastive Explanations for Multi-Effector Temporal Planning with Non-Stationary Costs
University of Bristol(布里斯托尔大学)
本文针对智能家居多执行器时序规划问题,设计自定义规划器并采用反事实解释,通过128人用户研究证明其能提升用户满意度、理解度和对AI推荐方案的帮助性评价。
2024-09-20 cs.AI cs.HC cs.LG
Contrastive Explanations with Local Foil Trees
Dutch Research Organization for Applied Research (TNO)(荷兰应用科学研究组织(TNO));Technical University of Delft(代尔夫特理工大学);Utrecht University(乌得勒支大学)
可解释机器学习(iML)和可解释AI(XAI)的最新进展基于分类任务中特征的重要性构建解释。然而,在高维特征空间中,如果不限制重要特征的集合,这种方法可能变得不可行。我们建议利用人类的倾向,问这样的问题“为什么这个输出(事实),而不是输出(箔)?将特征的数量减少到在所要求的对比度中起主要作用的那些特征。我们提出的方法利用本地训练的一对全部决策树来识别不相交的规则集,这些规则集导致树将数据点分类为箔而不是事实。在这项研究中,我们说明了这种方法的三个基准分类任务。
2018-06-19 cs.AI cs.LG stat.ML
GRACE: Generating Concise and Informative Contrastive Sample to Explain Neural Network Model's Prediction
The Pennsylvania State University(宾夕法尼亚州立大学)
尽管最近在图像和文本数据的可解释AI/ML主题方面取得了进展,但当数据集是表格并且其特征是高维向量化格式时,当前的大多数解决方案都不适合解释神经网络模型的预测。为了减轻这种限制,因此,我们借用两个值得注意的想法(即,因果关系中的“干预解释”和哲学中的“解释是对比的”),并提出了一种新的解决方案,称为GRACE,该方案更好地解释了神经网络模型对表格数据集的预测。特别是,给定一个模型的预测为标签X,GRACE干预并生成一个最小修改的对比样本被分类为Y,并有直观的文本解释,回答了“为什么是X而不是Y?“我们使用11个不同规模和领域的公共数据集(例如,特征数量范围从5到216),并在不同的指标上将GRACE与竞争基线进行比较:保真度,简洁性,信息增益和影响力。用户研究表明,我们生成的解释不仅更直观,更容易理解,而且还有助于最终用户做出比Lime更准确的解释后决策。
2020-10-26 cs.AI cs.LG stat.ML
Exploiting Constraint Reasoning to Build Graphical Explanations for Mixed-Integer Linear Programming
Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC));University of Southampton(南安普顿大学)
本文提出 X-MILP 方法,通过将用户查询编码为约束并计算不可约不可行子系统(IIS),为混合整数线性规划构建对比性“原因图”解释,并在标准优化实例上验证了其计算难度。
2025-07-17 cs.AI
Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA
Xidian University(西安电子科技大学)
针对VQA中自然语言解释不忠实的问题,提出多层级对比学习模型MCLE,通过语义、图像和实例级事实与反事实样本对齐特征,提升解释与答案及图像的一致性。
2023-12-21 cs.AI cs.CL cs.CV
Contrastive Token-level Explanations for Graph-based Rumour Detection
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出 CT-LRP 框架,通过词元级对比解释增强基于 GNN 的谣言检测可解释性,并在多个公开数据集上验证其能生成高保真解释。
2025-02-05 cs.AI cs.CL cs.LG