Talking Back -- human input and explanations to interactive AI systems
Cardiff Metropolitan University(卡迪夫城市大学);Swansea University(斯旺西大学);University of Pisa(比萨大学)
本文探讨人类向AI解释判断能否促进协同人机系统,研究人类输入如何引导机器学习模型生成更贴合人类概念的自动判断与解释。
2025-03-06 cs.AI cs.CY cs.HC
Evaluating Human Trust in LLM-Based Planners: A Preliminary Study
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Virginia(弗吉尼亚大学)
本研究通过PDDL领域用户研究比较人类对基于LLM的规划器与经典规划器的信任,发现正确性是信任和性能的主要驱动因素;LLM解释提升评估准确性但信任影响有限,规划改进有增加信任的潜力。
2025-02-27 cs.AI cs.HC
Balancing Explicability and Explanation in Human-Aware Planning
Arizona State University(亚利桑那州立大学)
人类感知规划要求智能体在其决策过程中意识到回路中人类的意图、能力和心理模型。这可能涉及生成对人类观察者可解释的计划以及在无法生成此类计划时提供解释的能力。这导致了“多模型规划”的概念,其目的是将人类期望的影响纳入规划者的审议过程-无论是以可解释的任务规划或解释的形式产生。在本文中,我们把这两个概念结合在一起,并展示了一个规划师如何可以占这些需求,并实现了权衡在计划生成过程本身通过模型空间搜索方法MEGA。这实际上提供了一个全面的角度来看,它意味着什么决策代理是“人类意识”,将现有的规划原则下的一个单一的计划生成过程的保护伞。我们将我们的讨论,特别是记住最近的工作,可解释的规划和解释生成,并说明这些概念的修改版本的两个众所周知的规划域,以及演示的机器人参与一个典型的搜索和侦察任务与外部主管。
2018-02-03 cs.AI
Altruist: Argumentative Explanations through Local Interpretations of Predictive Models
可解释的人工智能是一个新兴领域,为获取对自动化系统原理的见解提供解决方案。它通过提出解决关键道德和社会问题的方法而被放在人工智能地图上。现有的解释技术往往是无法理解的最终用户。缺乏评价和选择标准也使最终用户难以选择最合适的技术。在这项研究中,我们结合逻辑为基础的论证与可解释的机器学习,介绍了一个初步的元解释方法,确定的真实部分的功能重要性为导向的解释。这种方法,除了被用作元解释技术,可以被用作多个特征重要性技术的评估或选择工具。实验强烈表明,多种解释技术的集成产生了更真实的解释。
2022-04-29 cs.AI cs.LG cs.LO
To Explain or Not to Explain: A Study on the Necessity of Explanations for Autonomous Vehicles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Apple Inc.(苹果公司)
在自动驾驶汽车等自动系统的背景下,可解释的人工智能引起了研究人员的广泛兴趣。最近的研究发现,为自动驾驶汽车的行为提供解释有很多好处(例如,增加信任和接受度),但很少强调何时需要解释以及解释的内容如何随驾驶上下文而变化。在这项工作中,我们调查的情况下,人们需要解释,以及如何解释的关键程度与情况和驱动程序类型的变化。通过用户实验,我们要求参与者评估解释的必要性,并测量在不同背景下对他们对自动驾驶汽车信任的影响。此外,我们提出了一个自动驾驶解释数据集,其中包含第一人称解释和1103个视频片段的必要性的相关度量,增强了Berkeley Deep Drive Attention数据集。我们的研究表明,驾驶员类型和驾驶场景决定了是否需要解释。特别是,人们倾向于同意的必要性,近碰撞事件,但持有不同的意见,正常或异常的驾驶情况。
2022-12-21 cs.AI cs.HC
A Bayesian explanation of machine learning models based on modes and functional ANOVA
Honeywell International(霍尼韦尔国际公司)
本文提出一种基于贝叶斯框架和函数ANOVA分解的逆解释方法,通过特征距离排序解释标签偏差,相比SHAP更直观稳健,且额外成本与维度无关。
2024-11-05 cs.AI cs.LG stat.CO
I-CEE: Tailoring Explanations of Image Classification Models to User Expertise
本文提出I-CEE框架,依据用户专业水平选择示例图像、局部解释与模型决策,以定制图像分类解释;模拟及100人实验表明其显著提升用户对模型决策的可模拟性。
2025-07-24 cs.AI cs.CV cs.HC
Hierarchical Expertise-Level Modeling for User Specific Robot-Behavior Explanations
School of Computing, Informatics, and Decision Systems Engineering(计算、信息与决策系统工程学院);Arizona State University(亚利桑那州立大学)
人工智能研究界对开发能够向用户解释其行为的自主系统越来越感兴趣。一个方面的解释生成问题,尚未得到很大的关注是解释计划的任务,用户的专业知识水平不同的解释者。我们提出了一种方法来解决这个问题,表示用户的模型作为一个抽象的领域模型,规划师使用。我们提出的算法,在这种抽象的人类模型是未知的情况下,产生最小的解释。我们减少了问题的产生解释的抽象模型的空间搜索和调查可能的贪婪近似最小的解释。我们还经验表明,我们的方法可以有效地计算各种问题的解释。
2018-02-19 cs.AI
Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning
IRIT, Toulouse, France(法国图卢兹计算机科学研究所);LAAS-CNRS, Toulouse, France(法国国家科学研究中心图卢兹系统分析与架构实验室);IRT Saint Exupery, Toulouse, France(法国图卢兹圣埃克苏佩里技术研究所);CNRS, Toulouse, France(法国国家科学研究中心);Australian National University, Canberra, Australia(澳大利亚国立大学)
本文提出一种代理框架,通过对话帮助用户理解规划解决方案,提升系统信任度,通过目标冲突解释进行用户研究。
2026-07-07 cs.AI cs.CL cs.HC
Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Inscrutable Representations
Arizona State University(亚利桑那州立大学)
随着越来越复杂的人工智能系统被引入我们的日常生活,这些系统能够解释其决策的理由并允许用户对这些决策提出异议变得非常重要。允许这种解释性对话的一个重要障碍可能是用户和AI系统之间的词汇不匹配。本文介绍的方法提供对比解释用户指定的概念顺序决策设置的系统的任务模型可能是最好的代表作为一个不可理解的模型。我们这样做,通过建立局部近似的任务,可以利用回答用户查询的部分符号模型。我们测试这些方法上流行的雅达利游戏(蒙特祖玛的复仇)和变体推箱子(一个著名的规划基准),并报告用户研究的结果,以评估人们是否发现这种形式产生的解释有用。
2022-03-19 cs.AI
A User Study on Contrastive Explanations for Multi-Effector Temporal Planning with Non-Stationary Costs
University of Bristol(布里斯托尔大学)
本文针对智能家居多执行器时序规划问题,设计自定义规划器并采用反事实解释,通过128人用户研究证明其能提升用户满意度、理解度和对AI推荐方案的帮助性评价。
2024-09-20 cs.AI cs.HC cs.LG
Towards the Role of Theory of Mind in Explanation
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
心理理论通常被定义为将心理状态(例如,信念,目标)对自己,对他人。从社会科学到人工智能,大量先前的工作都发现,心理理论能力对于向另一个智能体提供解释或解释该智能体的行为至关重要。在本文中,我们建立和扩大以前的工作,提供一个帐户的解释,代理人的信念和机制,代理人修改他们的信念可能的解释。我们进一步确定了一套必要的解释,利用心理理论。这些必要条件为我们基于信仰的解释提供了信息。
2020-05-06 cs.AI
Adequate and fair explanations
IRIT, Université Paul Sabatier(IRIT,保罗·萨巴捷大学);Telindus;Amazon Research(亚马逊研究院)
解释复杂的基于机器学习的系统是人工智能基础的一个重要问题。最近的努力显示了提供解释的各种方法。这些方法可以大致分为两个流派:那些提供本地和人类可解释的近似机器学习算法的方法,以及逻辑方法,精确地解释决策的一个方面。在本文中,我们集中在第二个学校的确切解释与严格的逻辑基础。这些精确的方法有一个认识论问题。虽然它们可以提供完整的解释,但这种解释可能太复杂,人类无法理解,甚至无法以人类可读的形式写下来。可解释性需要在认识上可理解的解释,人类可以理解的解释。然而,什么是一个足够完整的认识上可理解的解释仍然需要澄清。我们在这里这样做的反事实,以下[Wachter等人,2017年]。在反事实解释中,提供完整解释所需的许多假设都是隐含的。为此,反事实解释利用特定数据点或样本的属性,因此也是局部和部分解释。我们探讨如何从局部局部解释,我们称之为完整的局部解释,然后到全球的。但是为了保持可访问性,我们主张需要可访问性。这使得它有可能隐藏明确的偏见存在于算法中,可能是有害的或不公平的。我们调查它是多么容易发现这些偏见,在提供完整和公平的解释,利用结构的反事实集提供一个完整的本地解释。
2021-08-21 cs.AI
Contrastive explanations of BDI agents
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出对比性解释方法,用于BDI代理回答为何选择动作X而非其他动作F的问题,并评估其在提升信任和透明性方面的有效性。
2026-02-10 cs.AI
Not all users are the same: Providing personalized explanations for sequential decision making problems
Arizona State University(亚利桑那州立大学)
人们对设计能够与人类一起工作的自主智能体越来越感兴趣。毫无疑问,这些代理人将被期望解释他们的行为和决定。虽然生成解释是一个积极研究的主题,但大多数作品倾向于关注生成解释的方法,这些方法适用于所有人。因为在用户模型的细节完全被忽略。少数作品着眼于根据用户的背景来定制他们的解释,这依赖于用户的特定模型(分析模型或学习标记模型)。因此,这项工作的目标是提出一个端到端的自适应解释生成系统,开始学习不同类型的用户,代理可以与之交互。然后,在与目标用户的交互过程中,它的任务是在运行中识别类型,并相应地调整其解释。前者是通过数据驱动的聚类方法实现的,而对于后者,我们将解释生成问题编译为POMDP。我们证明了我们的系统在两个域上使用最先进的POMDP求解器的有用性。我们还报告了一项用户研究的结果,该研究调查了在人机交互环境中提供个性化解释的好处。
2021-06-23 cs.AI cs.HC
Subgoal-Based Explanations for Unreliable Intelligent Decision Support Systems
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
智能决策支持(IDS)系统利用人工智能技术来生成建议,这些建议引导人类用户完成任务的决策阶段。然而,一个关键的挑战是,IDS系统并不完美,在复杂的现实世界中,可能会产生不正确的输出或完全无法工作。可解释人工智能规划(XAIP)领域一直在寻求开发技术,使顺序决策人工智能系统的决策对最终用户更具解释性。至关重要的是,在将XAIP技术应用于IDS系统之前的工作已经假设规划者提出的计划总是最优的,因此作为决策支持向用户推荐的行动或计划总是正确的。在这项工作中,我们研究了新手用户与非鲁棒IDS系统的交互-偶尔会建议错误的操作,并且在用户习惯了它的指导后可能会变得不可用。我们引入了一种新的解释类型,基于子目标的解释,基于规划的IDS系统,补充传统的IDS输出的子目标的信息,建议的行动将有助于。我们证明了基于子目标的解释可以提高用户任务性能,提高用户区分最佳和次优IDS建议的能力,受到用户的青睐,并在IDS失败的情况下实现更强大的用户性能
2023-02-03 cs.AI
Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University(亚利桑那州立大学计算、信息与决策系统工程学院)
在人机合作框架中,提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而,为了维持人类队友的认知需求以理解所提供的解释,先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外,这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中,我们认为,代理生成的解释,特别是复杂的,应抽象到与人类队友的愿望,以保持收件人的认知负荷的细节水平保持一致。因此,学习层次解释模型是一项具有挑战性的任务。此外,智能体需要遵循一致的高级策略,将学习到的队友偏好转移到新的场景中,而较低级别的详细计划则不同。我们的评估证实了理解解释的过程,特别是复杂和详细的解释,是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现,分层解释实现了更好的任务性能和行为的可解释性,同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Providing personalized Explanations: a Conversational Approach
Zhejiang University(浙江大学);University of Bern(伯尔尼大学);Utrecht University(乌得勒支大学)
本文提出了一种通过连续对话为不同背景的用户提供个性化解释的方法,并证明了对话终止的条件。
2023-07-21 cs.AI cs.LO cs.MA
Providing Explanations for Recommendations in Reciprocal Environments
Bar-Ilan University(巴伊兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
支持用户找到互利匹配的自动化平台,如在线约会和招聘网站,正变得越来越受欢迎。这些平台通常包括帮助用户找到合适匹配的推荐系统。虽然为他们的推荐提供解释的推荐系统已经显示出许多好处,但解释方法还有待于在推荐合适的匹配中进行调整和测试。在本文中,我们介绍并广泛评估使用“互惠解释”-解释提供推理,为什么双方都有望从比赛中受益。通过广泛的实证评估,在有287名人类参与者的模拟和现实世界约会平台中,我们发现,当接受推荐涉及重大成本时(例如,货币或情感),互惠解释优于仅考虑推荐接收者的标准解释方法。然而,与人们的预期相反,当接受一项建议的成本可以忽略不计时,相互解释的效果不如传统的解释方法。
2018-07-03 cs.AI cs.HC cs.IR
Storing and Indexing Plan Derivations through Explanation-based Analysis of Retrieval Failures
基于案例的规划(CBP)提供了一种方法来扩展领域独立的规划,以解决复杂领域中的大型问题。它取代了详细和冗长的搜索与检索和调整以前的规划经验的解决方案。一般来说,CBP已被证明可以提高生成(从头开始)规划的性能。然而,它提供的性能改进依赖于对问题相似性的充分判断。特别是,虽然CBP可以大大减少规划工作的整体,它是一个错误的检索问题。CBP的成功取决于这些检索错误相对较少。本文描述了基于实例的计划器DERSNLP+EBL的重放框架的设计与实现。DERSNLP+EBL通过结合基于解释的学习技术扩展了当前的CBP方法,使其能够解释并从遇到的检索失败中学习。这些技术用于在做出错误决定时根据反馈改进对案例相似性的判断。采用相同的故障分析方法,通过添加维修实例建立实例库。大型问题被拆分并存储为单个目标子问题。多目标问题仅在这些较小的案例无法合并为完整解决方案时才被存储。对这种方法的实证评估表明,从有经验的检索失败中学习的优势。
1997-11-01 cs.AI
Interactively Providing Explanations for Transformer Language Models
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
Transformer语言模型是众多NLP任务中的最新技术。尽管取得了这些成功,但其不透明性仍然是个问题。最近的方法,旨在提供可解释性和可解释性的黑箱模型主要集中在事后解释(有时是虚假的)输入输出相关性。相反,我们强调使用原型网络直接纳入模型架构,从而解释网络决策背后的推理过程。我们的架构与几个语言模型表现相当,而且,使学习用户交互。这不仅提供了对语言模型的更好理解,而且还利用人类的能力来整合纯数据驱动方法的严格范围之外的知识。
2022-03-11 cs.AI cs.CL cs.LG
RADAR-X: An Interactive Mixed Initiative Planning Interface Pairing Contrastive Explanations and Revised Plan Suggestions
Arizona State University(亚利桑那州立大学)
决策支持系统力求促成知情决策。近年来,自动化规划技术已被用于使此类系统能够更好地帮助人在回路中。这种决策支持系统的中心思想是用自动规划技术增强人在回路中的能力,并提高决策的质量。除了提供规划支持外,有效的决策支持系统必须能够根据特定的用户查询为其最终用户提供直观的解释。以此为动机,我们提出了我们的决策支持系统雷达-X展示的能力,让用户在一个互动的解释性对话,首先使他们能够指定一个替代建议的决定(我们称之为箔),然后提供对比解释这些用户指定的箔,帮助用户理解为什么选择了一个特定的计划替代(或箔)。此外,该系统使用此对话,以引起用户的潜在偏好,并通过三种不同的交互策略提供修改后的计划建议。
2022-06-03 cs.AI
Synthesizing Robust Plans under Incomplete Domain Models
Arizona State University(亚利桑那州立大学);Palo Alto Research Center(帕洛阿尔托研究中心)
大多数当前的规划师假设完整的领域模型,并专注于生成正确的计划。不幸的是,领域建模是一项费力且容易出错的任务。虽然领域专家不能保证完整性,但他们通常能够通过提供关于领域模型的哪些部分可能不完整的注释来限制模型的不完整性。在这种情况下,目标应该是生成相对于域的任何已知不完整性而言是健壮的计划。在本文中,我们首先介绍的领域不完全性的知识表示的注释,并形式化的概念,计划的鲁棒性相对于一个不完整的领域模型。然后,我们提出了一种方法来编译的问题,找到稳健的计划,以符合概率规划问题。我们目前的实验结果与Probabilistic-FF,一个国家的最先进的规划,显示我们的方法的承诺。
2011-04-27 cs.AI
Abduction-Based Explanations for Machine Learning Models
University of Lisbon(里斯本大学);ISDCT SB RAS(俄罗斯科学院西伯利亚分院系统动力与控制论研究所);VMware(威睿)
机器学习(ML)在众多环境中的应用范围不断扩大,激发了为预测计算小解释的能力。人们普遍认为,简短的解释更容易让人类决策者理解。大多数早期的工作计算的解释是基于启发式的方法,提供没有保证的质量,在如何接近这样的解决方案是从基数或子集最小的解释。本文开发了一种约束不可知的解决方案,用于计算任何ML模型的解释。所提出的解决方案利用溯因推理,并施加的要求,ML模型可以表示为使用一些目标约束推理系统,决策问题可以回答一些预言集的约束。在知名数据集上获得的实验结果验证了所提出方法的可扩展性以及计算解决方案的质量。
2018-11-26 cs.AI
What Makes a Good Diffusion Planner for Decision Making?
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
通过在离线强化学习下训练评估超6000个扩散模型,系统研究了扩散规划的关键组件,发现反常规设计能提升性能,并据此提出了在标准基准上达到最先进水平的基线。
2025-03-01 cs.AI cs.LG
Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance
Stanford University(斯坦福大学)
本文提出异议解释概念,利用性能相近但预测冲突的模型生成相互矛盾的解释,并通过实验证明其能在不降低整体准确率的前提下减少用户对模型预测的过度依赖,同时给出了全局与局部生成方法。
2024-08-08 cs.AI
Explanation Hacking: The perils of algorithmic recourse
Utrecht University(乌得勒支大学);University of Edinburgh(爱丁堡大学)
该研究指出AI决策的追索解释存在伦理弊端与概念陷阱,易引发解释黑客攻击削弱其伦理地位,提出AI决策解释应以理解为目标的替代方案。
2024-03-22 cs.AI cs.CY
Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios
University of New South Wales(新南威尔士大学);Deakin University(迪肯大学);Federation University(联邦大学);Universidad Central de Chile(智利中央大学)
可解释的人工智能是一个试图为自主智能系统提供更多透明度的研究领域。可解释性已经被使用,特别是在强化学习和机器人场景中,以更好地理解机器人决策过程。然而,以前的工作主要集中在提供人工智能从业者比非专家最终用户更容易理解的技术解释上。在这项工作中,我们利用从成功的概率建立的类似人类的解释来完成自主机器人在执行动作后所显示的目标。这些解释旨在让没有或很少有人工智能方法经验的人理解。本文提出了一个用户试验,以研究这些解释,重点是成功的行动,在其目标的概率是否构成一个合适的解释,为非专家的最终用户。获得的结果表明,非专家参与者评价机器人解释,重点是成功的概率更高,比从Q值生成的技术解释的方差更小,也有利于反事实的解释比独立的解释。
2022-07-07 cs.AI
Generating Counterfactual Explanations Using Cardinality Constraints
Institute of Digitalization and Informatics(数字化与信息学研究所)
针对反事实解释因与原始样本差异特征过多而难以解读的问题,提出在反事实生成中加入基数约束以限制差异特征数量,提升反事实的可解释性与易懂性。
2024-04-11 cs.AI cs.LG
Toward Personalized XAI: A Case Study in Intelligent Tutoring Systems
The University of British Columbia(不列颠哥伦比亚大学);Augsburg University(奥格斯堡大学)
我们的研究是朝着确定XAI中个性化需求迈出的一步,我们这样做是在调查AI驱动的提示和反馈的解释价值的背景下进行的,这些提示和反馈在智能教学系统(ITS)中是有用的。我们为自适应CSP(ACSP)小程序提供的自适应提示添加了解释功能,ACSP是一种交互式模拟,通过提供适应学生预测学习水平的AI驱动提示,帮助学生学习约束满足问题的算法。我们提出的解释功能的设计和控制研究的结果,以评估其对学生的学习和感知的ACPS提示。该研究分析了这些结果如何受到几个用户特征(如人格特质和认知能力)的影响,以评估是否应根据这些特征进行个性化解释。我们的研究结果表明,提供解释增加了学生的信任ACPS提示,感知有用的提示,并打算再次使用它们。此外,我们表明,学生的访问的解释和学习收益调制的用户特征,提供见解设计个性化的可解释的人工智能(XAI)的ITS。
2020-08-12 cs.AI cs.HC
Robust Counterfactual Explanations in Machine Learning: A Survey
Imperial College London(帝国理工学院)
本综述系统回顾了机器学习中鲁棒反事实解释的研究,分析了鲁棒性形式、现有解决方案及其局限,为未来发展奠定基础。
2024-02-02 cs.AI cs.LG
Semantic Modeling for Food Recommendation Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院)
随着越来越多地使用人工智能方法来提供健康方面的建议,特别是在食物饮食建议领域,也越来越需要这些建议的可解释性。这种解释将使推荐系统的用户受益,使他们有理由遵循系统的建议。我们提出的食品解释本体(FEO),提供了一个形式主义的建模解释给用户的食品相关的建议。FEO对食物推荐进行建模,使用来自解释域的概念来创建对用户从AI系统(如个性化知识库问答系统)收到的关于食物推荐的问题的回答。FEO使用模块化、可扩展的结构,可用于各种解释,同时仍保留重要的语义细节,以准确地表示食物推荐的解释。为了评估这个系统,我们使用了一组能力问题,来自文献中的解释类型,是相关的食品建议。我们使用FEO的动机是让用户能够做出关于他们健康的决定,充分了解AI推荐系统,因为它们与用户问题有关,通过解释的形式提供建议背后的推理。
2021-05-04 cs.AI
Model Explanations under Calibration
Imperial College London(帝国理工学院)
解释和解释推荐系统的决策变得非常重要,既可以提高预测性能,又可以为用户提供有效的解释。虽然最近的兴趣主要集中在提供本地的解释,有一个低得多的重视研究模型动力学的影响和它对解释的影响。在本文中,我们进行了重点研究的影响模型的可解释性的背景下,校准。具体来说,我们解决了过度自信和自信不足的预测与使用注意力分布的可解释性的挑战。我们的研究结果表明,使用注意力分布的可解释性的手段是高度不稳定的未校准的模型。我们对注意力分布稳定性的实证分析提出了注意力对可解释性的效用问题。
2019-06-18 cs.AI cs.IR cs.LG
Refining Diffusion Planner for Reliable Behavior Synthesis by Automatic Detection of Infeasible Plans
UNIST(蔚山国立科学技术院);KAIST(韩国科学技术院);INEEJI
本文提出通过恢复差距指标和归因图正则化器自动检测并精炼扩散规划器生成的不可行计划,在三个离线长时程控制基准上验证了可靠性、可解释性与性能提升。
2023-10-30 cs.AI cs.LG cs.RO
Transformer-Enhanced Motion Planner: Attention-Guided Sampling for State-Specific Decision Making
Harbin Institute of Technology(哈尔滨工业大学)
本文提出TEMP深度学习运动规划框架,通过EISE语义编码与MPT注意力引导采样提升路径质量、搜索效率及跨任务泛化能力。
2024-04-30 cs.AI cs.RO
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University(比勒费尔德大学)
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常,给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法,但只有很少的工作(除了因果关系领域的工作)考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中,我们加强了我们以前的工作,凸建模计算反事实的解释,确保actionability和actionability的机制,所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University(迪肯大学);Federation University(联邦大学)
在过去的几年里,可解释人工智能(XAI)和紧密结合的可解释机器学习(IML)的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资,以及公众日益关注。人们每天都受到自主决策的影响,公众需要了解决策过程才能接受结果。然而,绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释,个人的决定是如何达成的基础上,一个特定的数据。虽然重要,但这些解释很少提供对代理的见解:信念和动机;其他(人类,动物或AI)代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而,我们认为,所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次,并描述如何将它们整合起来,以创建一个人性化的会话解释系统。在这样做的时候,本文将调查目前的方法,并讨论不同的技术,以实现这些水平与广泛的可解释人工智能(Broad-XAI)的整合,从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
The Problem of Coherence in Natural Language Explanations of Recommendations
Short Affiliation of First Author(第一作者所属的简短机构);Short Affiliation of Second Author and Third Author(第二和第三作者所属的简短机构)
本文针对推荐自然语言解释与预测评分缺乏连贯性的问题,提出自动连贯性评估方法和一种基于 transformer 的解释生成方法,实验证明其可显著提升连贯性且不损害推荐性能。
2025-03-18 cs.AI cs.CL cs.IR
Explanations Can Reduce Overreliance on AI Systems During Decision-Making
Stanford University(斯坦福大学);University of Washington(华盛顿大学)
之前的工作已经发现了一种威胁人类AI决策团队性能的弹性现象:过度依赖,当人们同意AI时,即使它是不正确的。令人惊讶的是,与只提供预测相比,当人工智能为其预测提供解释时,过度依赖并没有减少。有些人认为过度依赖是认知偏差或未校准的信任的结果,将过度依赖归因于人类认知的必然性。相比之下,我们的论文认为,人们会从战略上选择是否参与人工智能的解释,这从经验上证明,在某些情况下,人工智能的解释会减少过度依赖。为了实现这一目标,我们在成本效益框架中正式确定了这一战略选择,在这个框架中,参与任务的成本和收益与依赖人工智能的成本和收益进行了权衡。我们在迷宫任务中操纵成本和收益,参与者与模拟AI合作找到迷宫的出口。通过5个研究(N = 731),我们发现,成本,如任务难度(研究1),解释难度(研究2,3),和利益,如金钱补偿(研究4)影响过度依赖。最后,研究5采用认知努力折扣范式来量化不同解释的效用,为我们的框架提供进一步的支持。我们的研究结果表明,文献中发现的一些零效应可能部分是由于解释不足以降低验证AI预测的成本。
2023-01-26 cs.AI cs.HC
Explanations are a Means to an End: Decision Theoretic Explanation Evaluation
本文提出了一种决策理论框架,用于评估解释的价值,通过理论基准、人类互补价值和行为价值三个估计目标,评估解释对决策任务的改进效果。
2026-02-22 cs.AI stat.ML
Towards Transparent Robotic Planning via Contrastive Explanations
University of Virginia(弗吉尼亚大学)
提供所选机器人动作的解释可以帮助增加机器人规划的透明度并提高用户的信任度。社会科学认为,最好的解释是对比性的,不仅解释为什么采取一种行动,而且解释为什么采取一种行动而不是另一种行动。我们借鉴社会科学的见解,基于马尔科夫决策过程正式定义了机器人规划政策的对比解释概念。我们提出了自动生成对比解释的方法,有三个关键因素:选择性,收缩性和责任。在Amazon Mechanical Turk平台上对100名参与者进行的用户研究结果表明,我们生成的对比解释有助于提高用户对机器人规划策略的理解和信任,同时减少用户的认知负担。
2020-03-16 cs.AI cs.RO
Distributional Counterfactual Explanations With Optimal Transport
Technical University of Denmark(丹麦技术大学);Microsoft(微软公司);NekoHealth;Aalto University(阿尔托大学)
本文提出分布反事实解释(DCE),利用最优传输构建机会约束优化问题,使反事实分布与事实分布对齐,从而为黑盒决策模型提供比现有方法更深入的分布层面洞察。
2025-03-12 cs.AI stat.ML
Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations
Maastricht University(马斯特里赫特大学)
本研究通过混合方法用户研究评估了可解释职位推荐系统,发现真实解释未显著提升决策速度和准确性,但利益相关者更倾向于将其视为提供健康摩擦的决策支持工具。
2024-09-24 cs.AI cs.HC
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Taking the Whys Seriously: Limitations of Counterfactual Explanations in Justification and Recourse
Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学);University of Tampere(坦佩雷大学)
本文探讨反事实解释(CEs)在AI模型部署中用于正当性与算法求助的规范正当性,发现其会忽略ML流程中组织的关键选择,无法充分回答重要的“为什么”问题,凸显需考虑此类选择。
2026-09-01 cs.AI cs.CY
Global Explainability of GNNs via Logic Combination of Learned Concepts
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Cambridge(剑桥大学)
本文提出GLGExplainer,首次将局部解释聚类为图形概念并组合成任意布尔逻辑公式,为GNN提供准确、可解释且忠实于模型预测的全局解释,并可用于诊断模型学到的错误规则。
2023-04-11 cs.AI cs.LG cs.LO
Interpreting Inflammation Prediction Model via Tag-based Cohort Explanation
University of California, Davis(加利福尼亚大学戴维斯分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于局部特征重要性分数的队列解释框架,通过标签生成简洁的簇描述,并在食物炎症预测模型上验证其能产生符合领域知识的可靠解释。
2024-10-17 cs.AI cs.LG
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne(墨尔本大学);University of California, Irvine(加州大学欧文分校)
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定(例如拒绝贷款申请),那么它既需要解释为什么做出这个决定,也需要解释个人如何获得他们想要的结果(如果可能的话)。目前,这通常是使用反事实的解释,但这种解释一般不告诉个人如何行动。我们断言,反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先,我们提出了一个在线研究的结果,调查人们的看法的指示性解释。其次,我们提出了一个概念模型来产生这样的解释。我们的在线研究显示,人们对指令性解释($p<0.001$)有明显的偏好。然而,受试者偏好的解释类型受到多种因素的影响,如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
Unsynthesizable Cores - Minimal Explanations for Unsynthesizable High-Level Robot Behaviors
California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
随着多功能通用机器人的日益普及,需要使非专家用户能够命令这些机器人执行复杂的高级任务。为此,高层次的机器人控制已经看到了正式的方法,自动合成正确的结构控制器从用户定义的规范的应用;合成失败,当且仅当不存在控制器,实现指定的行为。最近的工作还解决了当规范未能产生相应的控制器时向用户提供易于理解的反馈的挑战。现有技术提供关于导致故障的规范的部分的反馈,但是以粗粒度这样做。这项工作提出了改进这种反馈的技术,提取最低限度的解释unsynthesizability。
2014-09-04 cs.AI cs.RO
Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces
UC San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
尽管现代复杂图像分类器具有很高的准确性,但由于其未知的决策过程和潜在的偏见,它们不能被信任用于敏感任务。反事实解释在为这些黑箱算法提供透明度方面非常有效。然而,生成可以对分类器输出产生一致影响但又暴露可解释的特征变化的反事实是一项非常具有挑战性的任务。我们介绍了一种新的方法,使用预训练的生成模型为图像分类器生成因果关系和可解释的反事实解释,而无需任何重新训练或调节。这种技术中的生成模型不一定要在与目标分类器相同的数据上进行训练。我们使用这个框架来获得对比和因果的充分性和必要性分数作为黑盒分类器的全球性解释。在人脸属性分类的任务中,我们展示了不同的属性如何通过提供因果和对比特征属性以及相应的反事实图像来影响分类器的输出。
2022-06-10 cs.AI cs.CV
On Faithfulness and Coherence of Language Explanations for Recommendation Systems
University of California, San Diego(加州大学圣迭戈分校)
评论包含丰富的信息,产品的特点和用户的兴趣,因此通常用于提高推荐系统的性能。具体来说,以前的工作表明,共同学习执行审查生成提高评级预测性能。同时,这些模型生成的评论作为推荐解释,为用户提供预测评级的见解。然而,尽管现有的模型可以生成流畅的、类似人类的评论,但目前还不清楚这些评论在多大程度上充分揭示了联合预测评级背后的基本原理。在这项工作中,我们进行了一系列的评估,探测国家的最先进的模型和他们的审查生成组件。我们发现,所产生的解释是脆弱的,需要进一步的评估,然后才被视为字面上的理由估计评级。
2022-09-12 cs.AI cs.CL cs.IR
Explanation from Specification
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);MTA-SZTE RGAI(MTA-SZTE人工智能研究组)
XAI算法中的可解释组件通常来自一组熟悉的模型,例如线性模型或决策树。我们制定了一种方法,其中产生的解释类型是由规范指导。规格是从用户那里得到的,可能使用与用户的交互以及来自其他领域的贡献。可以获得规范的领域包括法医、医学和科学应用。提供一个菜单的可能类型的规格在一个区域是一个探索性的知识表示和推理任务的算法设计者,旨在了解的可能性和限制,有效地计算模式的解释。两个例子进行了讨论:贝叶斯网络使用的论证理论的解释,和图神经网络的解释。后一种情况说明了具有用户可用于指定所请求的解释类型的表示形式的可能性,例如,用于对分子进行分类的化学查询语言。该方法的动机是在科学哲学的解释理论,它是与当前的问题,在科学哲学的机器学习的作用。
2020-12-13 cs.AI cs.HC cs.LG