Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University(亚利桑那州立大学计算、信息与决策系统工程学院)
在人机合作框架中,提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而,为了维持人类队友的认知需求以理解所提供的解释,先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外,这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中,我们认为,代理生成的解释,特别是复杂的,应抽象到与人类队友的愿望,以保持收件人的认知负荷的细节水平保持一致。因此,学习层次解释模型是一项具有挑战性的任务。此外,智能体需要遵循一致的高级策略,将学习到的队友偏好转移到新的场景中,而较低级别的详细计划则不同。我们的评估证实了理解解释的过程,特别是复杂和详细的解释,是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现,分层解释实现了更好的任务性能和行为的可解释性,同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Balancing Explicability and Explanation in Human-Aware Planning
Arizona State University(亚利桑那州立大学)
人类感知规划要求智能体在其决策过程中意识到回路中人类的意图、能力和心理模型。这可能涉及生成对人类观察者可解释的计划以及在无法生成此类计划时提供解释的能力。这导致了“多模型规划”的概念,其目的是将人类期望的影响纳入规划者的审议过程-无论是以可解释的任务规划或解释的形式产生。在本文中,我们把这两个概念结合在一起,并展示了一个规划师如何可以占这些需求,并实现了权衡在计划生成过程本身通过模型空间搜索方法MEGA。这实际上提供了一个全面的角度来看,它意味着什么决策代理是“人类意识”,将现有的规划原则下的一个单一的计划生成过程的保护伞。我们将我们的讨论,特别是记住最近的工作,可解释的规划和解释生成,并说明这些概念的修改版本的两个众所周知的规划域,以及演示的机器人参与一个典型的搜索和侦察任务与外部主管。
2018-02-03 cs.AI
Explainable Knowledge Graph Embedding: Inference Reconciliation for Knowledge Inferences Supporting Robot Actions
Georgia Institute of Technology(佐治亚理工学院)
支持机器人的学习知识图谱表示包含丰富的驱动机器人行为的领域知识。然而,不存在一个推理和解框架,表示如何影响机器人的顺序决策的知识图谱表示。我们使用教学方法来解释一个学习,黑盒知识图谱表示,一个知识图谱嵌入的推论。我们的可解释模型,使用决策树分类器来局部近似黑盒模型的预测,并提供非专家可解释的自然语言解释。从我们的算法评估结果肯定了我们的模型设计的选择,我们的用户研究的结果与非专家支持所提出的推理和解框架的需要。关键的是,我们的模拟机器人评估结果表明,我们的解释使非专家纠正不稳定的机器人行为,由于荒谬的信念在黑盒子。
2022-05-04 cs.AI cs.RO
Order Matters: Generating Progressive Explanations for Planning Tasks in Human-Robot Teaming
Arizona State University(亚利桑那州立大学)
以前在规划和决策背景下生成解释的工作集中在提供AI代理决策背后的理由。虽然这些方法从解释者的角度提供了正确的解释,但它们没有注意到从被解释者(人类)的角度理解解释的认知要求。在这项工作中,我们着手解决这个问题,首先考虑的信息顺序的影响,在一个解释,或解释的渐进性。直觉上,渐进式将后来的概念建立在以前的概念上,并且有助于更好地学习。在这项工作中,我们的目标是调查解释生成过程中类似的效果时,解释被分解成多个部分,按顺序进行通信。这里的挑战在于对人类在接受这种解释以帮助理解时对信息顺序的偏好进行建模。鉴于这一顺序的过程中,制定基于目标的MDP生成渐进的解释。该MDP的奖励函数是基于通过人类受试者研究检索的解释通过逆强化学习学习的。我们首先评估了我们的方法在清道夫狩猎领域,以证明其有效地捕捉人类的喜好。在分析结果后,它揭示了一些更根本的:偏好强烈地产生于领域依赖和独立的功能。与域独立特征的相关性促使我们在密室域中进一步验证这一结果。结果证实了我们的假设,即理解解释的过程是一个动态的过程。反映这一点的人类偏好与隐藏在我们认知过程更深处的知识同化进程正好对应。
2020-10-17 cs.AI
Subgoal-Based Explanations for Unreliable Intelligent Decision Support Systems
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
智能决策支持(IDS)系统利用人工智能技术来生成建议,这些建议引导人类用户完成任务的决策阶段。然而,一个关键的挑战是,IDS系统并不完美,在复杂的现实世界中,可能会产生不正确的输出或完全无法工作。可解释人工智能规划(XAIP)领域一直在寻求开发技术,使顺序决策人工智能系统的决策对最终用户更具解释性。至关重要的是,在将XAIP技术应用于IDS系统之前的工作已经假设规划者提出的计划总是最优的,因此作为决策支持向用户推荐的行动或计划总是正确的。在这项工作中,我们研究了新手用户与非鲁棒IDS系统的交互-偶尔会建议错误的操作,并且在用户习惯了它的指导后可能会变得不可用。我们引入了一种新的解释类型,基于子目标的解释,基于规划的IDS系统,补充传统的IDS输出的子目标的信息,建议的行动将有助于。我们证明了基于子目标的解释可以提高用户任务性能,提高用户区分最佳和次优IDS建议的能力,受到用户的青睐,并在IDS失败的情况下实现更强大的用户性能
2023-02-03 cs.AI
On Exploiting Hitting Sets for Model Reconciliation
Washington University in St. Louis(圣路易斯华盛顿大学);Ericsson Research(爱立信研究院)
本文提出基于逻辑的模型调和框架,利用两个知识库间 MCS 与 MUS 的击中集对偶关系寻找基数最小解释,并在规划及 SAT 竞赛实例上验证其优势。
2023-09-27 cs.AI cs.LO
Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations
使人类能够识别代理决策中的潜在缺陷是一个重要的可解释人工智能应用。我们考虑在一个复杂的实时战略游戏的基于规划的深度强化学习(RL)代理中识别这样的缺陷。特别是,代理通过树搜索使用学习的模型和评估函数在可解释的状态和动作上做出决策。这使得人类有可能在树中的推理步骤级别识别缺陷,即使整个推理过程过于复杂而无法理解。然而,由于树木的大小和复杂性,目前还不清楚人类是否能够识别这些缺陷。我们描述了一个用户界面和案例研究,其中一小群AI专家和开发人员试图识别由于不准确的代理学习而导致的推理缺陷。总的来说,该界面允许该小组识别出各种类型的一些重大缺陷,证明了这种方法的前景。
2021-09-28 cs.AI
Towards Transparent Robotic Planning via Contrastive Explanations
University of Virginia(弗吉尼亚大学)
提供所选机器人动作的解释可以帮助增加机器人规划的透明度并提高用户的信任度。社会科学认为,最好的解释是对比性的,不仅解释为什么采取一种行动,而且解释为什么采取一种行动而不是另一种行动。我们借鉴社会科学的见解,基于马尔科夫决策过程正式定义了机器人规划政策的对比解释概念。我们提出了自动生成对比解释的方法,有三个关键因素:选择性,收缩性和责任。在Amazon Mechanical Turk平台上对100名参与者进行的用户研究结果表明,我们生成的对比解释有助于提高用户对机器人规划策略的理解和信任,同时减少用户的认知负担。
2020-03-16 cs.AI cs.RO
On Model Reconciliation: How to Reconcile When Robot Does not Know Human's Model?
New Mexico State University(新墨西哥州立大学)
模型协调问题(MRP)是为了解决可解释的人工智能规划中的问题而引入的。MRP的解决方案是对人类和计划代理(机器人)模型之间差异的解释。大多数解决MRP的方法都假设需要提供解释的机器人知道人类模型。这种假设在某些情况下并不总是现实的(例如,人类可能决定更新她的模型,而机器人不知道这些更新)。在本文中,我们提出了一个基于对话的方法来计算MRP的解释的假设下,(i)机器人不知道的人类模型;(ii)人类和机器人共享的一组谓词的规划域和他们的交流是关于动作描述和流利的价值观;(iii)双方之间的沟通是完美的;(iv)双方是真实的。MRP的解决方案是通过对话计算的,定义为机器人和人类之间的一系列交换。在每一轮中,机器人都会向人类发送一个潜在的解释,称为建议,人类会回复她对建议的评价,称为回应。我们开发的算法计算建议的机器人和人类的反应,并实现这些算法在一个系统中,结合了必要的手段与答案集编程使用的多镜头功能的clingo。
2022-08-05 cs.AI cs.DM cs.HC
Towards Personalized Explanation of Robot Path Planning via User Feedback
University of Virginia(弗吉尼亚大学)
先前的研究发现,解释机器人的决策和行动有助于提高系统的透明度,提高用户的理解,并实现有效的人机协作。在本文中,我们提出了一个系统,通过用户反馈生成个性化的机器人路径规划的解释。我们考虑机器人在建模为马尔可夫决策过程(MDP)的环境中导航,并开发一种算法来自动生成最佳MDP策略的个性化解释,基于用户对四个元素(即,目标、位置、特异性和语料库)。此外,我们设计的系统与用户互动,通过回答用户的进一步的问题,产生的解释。用户可以选择更新他们的偏好以查看不同的解释。该系统能够通过用户交互来检测和解决任何偏好冲突。在线用户研究的结果表明,生成的个性化解释提高用户满意度,而大多数用户喜欢系统的问答和冲突检测/解决的能力。
2021-03-05 cs.AI cs.RO
Tradeoff-Focused Contrastive Explanation for MDP Planning
Carnegie Mellon University(卡内基梅隆大学)
随着自动化决策和规划越来越多地用于人们生活的许多方面,最终用户对自动化代理的信任非常重要。在实际的规划应用中,往往涉及多个优化目标。因此,规划代理的决策可能涉及竞争目标之间的复杂权衡。最终用户可能很难理解为什么代理根据其目标值决定特定的规划解决方案。其结果是,用户可能不知道代理是否作出正确的决定,并可能缺乏信任it.In这项工作中,我们贡献了一种方法,基于对比解释,使多目标MDP规划代理解释其决策的方式,沟通其权衡的理由,在域级别的概念。我们进行了人类受试者的实验,以评估我们的解释方法在移动机器人导航域的有效性。结果表明,我们的方法显着提高了用户的理解,并在他们的理解,规划代理的权衡理由的信心。
2020-08-02 cs.AI cs.HC
Experience-driven discovery of planning strategies
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对新规划策略的形成过程未知问题,本研究提出新规划策略通过元认知强化学习发现的观点,经实验与模型验证其比其他机制更能解释人类策略发现,但模型发现速率慢于人类,有待改进。
2024-12-04 cs.AI
Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Inscrutable Representations
Arizona State University(亚利桑那州立大学)
随着越来越复杂的人工智能系统被引入我们的日常生活,这些系统能够解释其决策的理由并允许用户对这些决策提出异议变得非常重要。允许这种解释性对话的一个重要障碍可能是用户和AI系统之间的词汇不匹配。本文介绍的方法提供对比解释用户指定的概念顺序决策设置的系统的任务模型可能是最好的代表作为一个不可理解的模型。我们这样做,通过建立局部近似的任务,可以利用回答用户查询的部分符号模型。我们测试这些方法上流行的雅达利游戏(蒙特祖玛的复仇)和变体推箱子(一个著名的规划基准),并报告用户研究的结果,以评估人们是否发现这种形式产生的解释有用。
2022-03-19 cs.AI
Generating Decision Structures and Causal Explanations for Decision Making
Universite Laval(拉瓦尔大学)
本文探讨了两个相关的问题,是中央发展自主决策代理,如机器人。这两个问题都需要从非结构化声明性知识的数据库中生成结构化表示,该数据库包括许多在问题上下文中不相关的事实和规则。第一个问题是如何从这样的数据库中生成一个结构良好的决策问题。第二个问题是如何从同一个数据库中生成一个结构良好的解释,解释为什么会出现某种可能世界。在本文中,它表明,产生适当的决策结构或解释的问题是棘手的,而不引入进一步的限制,在数据库中的知识。本文提出通过向数据库中添加事件间因果关系的知识来约束问题的搜索空间。为了确定最有用的因果知识,提出了确定性和不确定性宇宙的因果理论。一个使用这些因果约束的程序已经被用来产生对错误计划的解释。该程序显示了预期的效率增加的因果约束的引入。
2013-03-27 cs.AI
On Generating Monolithic and Model Reconciling Explanations in Probabilistic Scenarios
New Mexico State University(新墨西哥州立大学);Washington University in St. Louis(圣路易斯华盛顿大学);Ericsson Research(爱立信研究)
针对不确定环境下AI决策解释生成的难题,提出生成概率整体解释与模型调和解释的新框架,引入评估指标与高效算法,实验验证了其有效性与可扩展性。
2025-09-02 cs.AI
Causal Explanations for Sequential Decision-Making in Multi-Agent Systems
University of Edinburgh(爱丁堡大学)
本文提出 CEMA 框架,利用概率模型模拟反事实世界,为动态多智能体系统中的序贯决策生成因果自然语言解释,以提升自主智能体的可信赖度,并在自动驾驶场景中验证了其有效性和对用户信任的积极影响。
2024-02-14 cs.AI cs.RO
Towards Probabilistic Causal Discovery, Inference & Explanations for Autonomous Drones in Mine Surveying Tasks
University of York(约克大学);University of Oxford(牛津大学)
针对盐矿无人机面临的混杂、非平稳和因果模型不完备问题,提出融合因果 POMDP 规划、在线 SCM 适配与反事实解释的概率因果框架,并规划仿真与真实数据验证。
2023-10-01 cs.AI cs.RO
Online Explanation Generation for Human-Robot Teaming
Arizona State University(亚利桑那州立大学)
随着人工智能成为我们生活中不可或缺的一部分,开发可解释的人工智能,体现在人工智能或机器人代理的决策过程中,变得势在必行。对于一个机器人队友来说,产生解释来证明其行为的能力是可解释代理的关键要求之一。先前的解释生成工作一直集中在支持机器人的决定或行为背后的基本原理。然而,这些方法没有考虑到理解所接受的解释的心理需求。换句话说,无论给出多少信息,人类队友都应该理解解释。在这项工作中,我们认为,解释,特别是那些复杂的性质,应该在执行过程中,在一个在线的方式,这有助于分散的信息来解释,从而减少人类在高认知要求的任务的心理工作量。然而,这里的一个挑战是,解释的不同部分可能相互依赖,在生成在线解释时必须考虑到这一点。为此,在线解释生成的一般配方提出了三个变化满足不同的“在线”属性。新的解释生成方法是基于我们以前的工作中引入的模型和解设置。我们评估了我们的方法都与人类受试者在一个模拟的漫游者域,使用美国宇航局的任务负荷指数(TLX),并综合了十个不同的问题,在两个标准的IPC域。结果强烈表明,我们的方法产生的解释,被认为是认知要求较低,更喜欢的基线和计算效率。
2020-08-31 cs.AI
Counterfactual Explanations as Plans
University of Edinburgh(爱丁堡大学);Alan Turing Institute(阿兰·图灵研究所)
针对依赖观察的序列行动场景需更丰富解释的问题,本文基于行动序列形式化反事实解释,借助情景演算模态片段区分真实与已知情况,可推广至智能体持有部分/弱化真相或错误信念的场景。
2025-02-13 cs.AI cs.LO
Towards Providing Explanations for AI Planner Decisions
King’s College London(伦敦国王学院)
为了让人们对人工智能产生信任,人类必须了解人工智能系统试图实现什么,以及为什么。为了克服这个问题,底层的人工智能过程必须产生对用户透明和可理解的理由和解释。AI规划能够很好地应对这一挑战。在本文中,我们提出了一种方法来提供初步的解释,由规划师的决定。通过允许用户在计划中建议替代行动,然后将产生的计划与计划者找到的计划进行比较,来创建解释。该方法在新的XAI计划框架中实施。
2018-10-15 cs.AI
Iterative Planning with Plan-Space Explanations: A Tool and User Study
Saarland University(萨尔兰大学)
在各种应用程序设置中,用户对规划任务的偏好-精确的优化目标-很难得出。一种可能的补救方法是将计划作为迭代过程,允许用户迭代地细化和修改示例计划。支持这一过程的一个关键步骤是解释,回答用户关于当前计划的问题。特别是,一个相关的问题是“为什么你建议的计划不满足$p$?其中p是用户期望的计划属性。请注意,这样的问题涉及计划空间,即,一套可能的替代方案。采用最近的方法来回答这样的问题,在计划属性的依赖关系,在这里,我们实现了一个工具和用户界面,人为引导的迭代规划,包括计划空间的解释。该工具在标准Web浏览器中运行,并为开发人员和用户提供简单的用户界面。我们进行了第一次用户研究,其结果表明迭代规划中的计划属性依赖解释的有用性。
2020-11-19 cs.AI
RADAR-X: An Interactive Mixed Initiative Planning Interface Pairing Contrastive Explanations and Revised Plan Suggestions
Arizona State University(亚利桑那州立大学)
决策支持系统力求促成知情决策。近年来,自动化规划技术已被用于使此类系统能够更好地帮助人在回路中。这种决策支持系统的中心思想是用自动规划技术增强人在回路中的能力,并提高决策的质量。除了提供规划支持外,有效的决策支持系统必须能够根据特定的用户查询为其最终用户提供直观的解释。以此为动机,我们提出了我们的决策支持系统雷达-X展示的能力,让用户在一个互动的解释性对话,首先使他们能够指定一个替代建议的决定(我们称之为箔),然后提供对比解释这些用户指定的箔,帮助用户理解为什么选择了一个特定的计划替代(或箔)。此外,该系统使用此对话,以引起用户的潜在偏好,并通过三种不同的交互策略提供修改后的计划建议。
2022-06-03 cs.AI
Contrastive Explanations of Plans Through Model Restrictions
University of Strathclyde(斯特拉斯克莱德大学);PS Research(PS研究公司)
在自动化计划中,当建议的计划与用户的期望之间存在不匹配时,需要解释。我们在计划协商问题的背景下构建了可解释的人工智能规划,其中生成并解决了一系列假设的规划问题。协商的目的是让用户理解并最终达成满意的计划。我们提出的用户研究的结果表明,当用户问问题的计划,这些问题是对比,即“为什么是A,而不是B?".我们使用本研究的数据来构建一个分类的用户问题,经常出现在计划谈判。我们正式定义我们的方法,通过模型的限制,作为一个迭代过程的计划谈判。这种方法通过用户问题隐含的约束来限制模型,从而生成假设问题和对比计划。我们正式定义基于模型的编译PDDL 2.1中的每个约束来自一个用户的问题的分类,并根据经验评估编译的计算复杂性。编译实现的解释框架,采用迭代模型限制的一部分。我们在第二个用户研究中展示了它的好处。
2021-03-29 cs.AI
Petri Net Relaxation for Infeasibility Explanation and Sequential Task Planning
Colorado School of Mines(科罗拉多矿业学院);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出基于Petri网松弛的方法,用于提升计划更新中不可行性的检测与解释能力,同时在顺序任务规划中表现更优。
2026-02-25 cs.AI
Storing and Indexing Plan Derivations through Explanation-based Analysis of Retrieval Failures
基于案例的规划(CBP)提供了一种方法来扩展领域独立的规划,以解决复杂领域中的大型问题。它取代了详细和冗长的搜索与检索和调整以前的规划经验的解决方案。一般来说,CBP已被证明可以提高生成(从头开始)规划的性能。然而,它提供的性能改进依赖于对问题相似性的充分判断。特别是,虽然CBP可以大大减少规划工作的整体,它是一个错误的检索问题。CBP的成功取决于这些检索错误相对较少。本文描述了基于实例的计划器DERSNLP+EBL的重放框架的设计与实现。DERSNLP+EBL通过结合基于解释的学习技术扩展了当前的CBP方法,使其能够解释并从遇到的检索失败中学习。这些技术用于在做出错误决定时根据反馈改进对案例相似性的判断。采用相同的故障分析方法,通过添加维修实例建立实例库。大型问题被拆分并存储为单个目标子问题。多目标问题仅在这些较小的案例无法合并为完整解决方案时才被存储。对这种方法的实证评估表明,从有经验的检索失败中学习的优势。
1997-11-01 cs.AI
Hierarchical Expertise-Level Modeling for User Specific Robot-Behavior Explanations
School of Computing, Informatics, and Decision Systems Engineering(计算、信息与决策系统工程学院);Arizona State University(亚利桑那州立大学)
人工智能研究界对开发能够向用户解释其行为的自主系统越来越感兴趣。一个方面的解释生成问题,尚未得到很大的关注是解释计划的任务,用户的专业知识水平不同的解释者。我们提出了一种方法来解决这个问题,表示用户的模型作为一个抽象的领域模型,规划师使用。我们提出的算法,在这种抽象的人类模型是未知的情况下,产生最小的解释。我们减少了问题的产生解释的抽象模型的空间搜索和调查可能的贪婪近似最小的解释。我们还经验表明,我们的方法可以有效地计算各种问题的解释。
2018-02-19 cs.AI
Towards Probabilistic Planning of Explanations for Robot Navigation
King’s College London(伦敦国王学院)
本文提出一种概率框架,将用户中心设计融入机器人路径规划,通过概率建模用户解释偏好,自动规划解释以增强透明度和适应性。
2024-10-26 cs.AI cs.RO
Effective Explanations Support Planning Under Uncertainty
University of Tübingen(图宾根大学);Technical University Darmstadt(达姆施塔特技术大学);Max Planck Institute for Biological Cybernetics(生物 cybernetics 最大平面研究所);University of Cambridge(剑桥大学);Stanford University(斯坦福大学)
本文提出一种计算模型,将解释转化为行动计划,通过大规模语言模型生成策略先验和价值图,结合规划代理在部分可观测条件下执行,验证了高质量解释能提升导航效率。
2026-05-08 cs.AI cs.CL
Progressive Explanation Generation for Human-robot Teaming
Computer Science and Engineering Department at Arizona State University(亚利桑那州立大学计算机科学与工程系)
生成解释来解释其行为是机器人队友的基本能力。沟通帮助人类伙伴更好地了解情况,并保持对队友的信任。机器人生成解释的先前工作集中在提供其决策背后的推理。然而,这些方法没有注意到理解解释的认知要求。换句话说,虽然它们从解释者的角度提供了正确的解释,但方程式的被解释者部分被忽略了。在这项工作中,我们沿着这个方向解决一个重要方面,有助于更好地理解给定的解释,我们称之为解释的渐进性。渐进式解释通过限制每一步解释所需的认知努力来提高理解。因此,这种解释预计会更流畅,因此更容易理解。提出了渐进解释的一般公式。算法的基础上提供了几种替代量化的认知努力的解释,这是在一个标准的规划竞争域进行评估。
2019-02-02 cs.AI
UCEpic: Unifying Aspect Planning and Lexical Constraints for Generating Explanations in Recommendation
University of California, San Diego(加州大学圣地亚哥分校)
本文提出 UCEpic,通过基于插入的生成框架统一方面规划与词汇约束,并结合鲁棒预训练和个性化参考,显著提升 RateBeer、Yelp 上推荐解释的多样性与信息量。
2023-06-03 cs.AI cs.CL
Argument Schemes and Dialogue for Explainable Planning
King’s College London(伦敦国王学院);University of Lincoln(林肯大学)
人工智能(AI)越来越多地应用于实际应用。然而,人工智能系统是否会受到人类的信任是一个主要问题。为了建立对人工智能系统的信任,用户需要了解其解决方案背后的推理。因此,系统应该能够解释和证明其输出。在本文中,我们提出了一种基于论证模式的方法来解释人工智能规划领域。我们提出了新的论点计划,以创建参数,解释计划及其关键要素;和一组关键问题,允许参数之间的互动,使用户能够获得有关计划的关键要素的进一步信息。此外,我们提出了一个新的对话系统使用的论点计划和关键问题,提供互动的辩证解释。
2021-02-14 cs.AI
Mind the Prompt: Self-adaptive Generation of Task Plan Explanations via LLMs
University of York, UK(英国约克大学);Cyprus University of Technology, Cyprus(塞浦路斯技术大学)
本文提出COMPASS方法,通过将提示工程建模为认知和概率决策过程,实现复杂任务规划系统中自适应的解释生成和提示优化。
2026-04-22 cs.AI cs.SE
Preprint: Exploring Inevitable Waypoints for Unsolvability Explanation in Hybrid Planning Problems
School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science, Kolkata(数学与计算科学学院,印度科学培养协会,科希马)
本文提出了一种基于最长公共子序列问题的新型方法,用于识别混合规划问题中的不可回避路径点,从而解释其不可解性。
2025-11-24 cs.AI cs.FL
Task planning and explanation with virtual actions
University of Science and Technology of China(中国科学技术大学)
任务规划的挑战之一是找出导致规划失败的原因以及如何明智地处理失败。本文展示了如何实现这一点。这个想法受到连通图的启发:每个顶点代表一组兼容的\textit{states},每个边代表一个\textit{action}。对于任何给定的初始状态和目标,我们构建虚拟动作,以确保我们总是通过任务规划获得计划。本文介绍了如何引入虚动作来扩展动作模型,使图成为连通的:i)显式定义静态谓词(类型、永久属性等)或动态谓词(状态); ii)为每个状态构造一个全虚动作或半虚动作; iii)通过渐进式规划方法找到规划失败的原因。在三个典型的场景中评估了实施情况。
2022-01-10 cs.AI cs.RO
Understanding a Robot's Guiding Ethical Principles via Automatically Generated Explanations
Ulm University(乌尔姆大学);University of Sarajevo(萨拉热窝大学)
机器人的不断发展使它们能够在人类环境中得到更广泛的使用。机器人更值得信赖,可以做出越来越重要的决策,并产生潜在的关键结果。因此,必须考虑机器人运作所遵循的道德原则。在本文中,我们研究如何对比和非对比的解释可以用来理解机器人行动计划的道德。我们建立在现有的道德框架之上,允许用户对计划提出建议,并接收自动生成的对比解释。用户研究的结果表明,生成的解释有助于人类理解机器人计划背后的道德原则。
2022-06-20 cs.AI cs.RO
Counterfactual Scenarios for Automated Planning
Free University of Bozen-Bolzano(博洛尼亚自由大学);Department of Computing, Imperial College London(伦敦帝国学院计算机系);Fondazione Bruno Kessler(布鲁诺·凯塞林基金会)
针对自动规划中反事实解释难以捕捉问题高层属性的局限,论文提出反事实场景范式,给出两类实例并分析复杂性,证明其通常与规划求解同阶且具备实用可行性。
2025-08-29 cs.AI
Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning
IRIT, Toulouse, France(法国图卢兹计算机科学研究所);LAAS-CNRS, Toulouse, France(法国国家科学研究中心图卢兹系统分析与架构实验室);IRT Saint Exupery, Toulouse, France(法国图卢兹圣埃克苏佩里技术研究所);CNRS, Toulouse, France(法国国家科学研究中心);Australian National University, Canberra, Australia(澳大利亚国立大学)
本文提出一种代理框架,通过对话帮助用户理解规划解决方案,提升系统信任度,通过目标冲突解释进行用户研究。
2026-07-07 cs.AI cs.CL cs.HC
Understanding Path Planning Explanations
Ulm University(乌尔姆大学);University of Sarajevo(萨拉热窝大学)
本文提出通过视觉和文本解释使移动机器人的导航决策对人类可理解,并计划通过用户研究评估解释的可理解性和简洁性。
2023-11-13 cs.AI cs.HC cs.RO
Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery
Georgia Institute of Technology(佐治亚理工学院)
随着智能系统功能的不断增强,机器人在我们日常生活中的整合越来越多。然而,当在如此复杂的人类环境中进行交互时,机器人系统的偶尔故障是不可避免的。可解释的人工智能领域一直试图使复杂的决策系统更具可解释性,但大多数现有技术都是针对领域专家的。相反,在许多故障情况下,机器人将需要非专家用户的恢复帮助。在这项工作中,我们引入了一种新的类型的解释,解释了一个意外的失败的原因,在代理的计划执行非专家。为了使错误的解释是有意义的,我们调查什么类型的信息在一组手写的解释是最有帮助的非专家的故障和解决方案的识别。此外,我们研究如何这样的解释可以自主生成,扩展现有的编码器-解码器模型,并在环境中推广。我们调查这样的问题的背景下,在家庭环境中执行拾取和放置操作任务的机器人。我们的研究结果表明,解释捕捉失败的背景和历史的过去的行动,是最有效的失败和解决方案识别之间的非专家。此外,通过第二次用户评估,我们验证了我们的模型生成的解释可以推广到一个看不见的办公环境,和手写的解释一样有效。
2021-01-05 cs.AI
Actionable Counterfactual Explanations Using Bayesian Networks and Path Planning with Applications to Environmental Quality Improvement
Universidad Politécnica de Madrid(马德里理工大学)
提出一种基于贝叶斯网络密度估计与路径规划的可执行反事实解释方法,不直接利用训练数据,在合成基准和EPA真实数据上优于现有算法,兼顾公平性与隐私保护。
2025-08-04 cs.AI cs.LG
Mixed Logical and Probabilistic Reasoning for Planning and Explanation Generation in Robotics
The University of Auckland(奥克兰大学)
机器人在复杂的领域中帮助人类,必须在感觉运动水平和社会水平上代表知识和理性。本文所描述的架构耦合的非单调逻辑推理能力的声明性语言与概率信念修订,使机器人表示和推理的定性和定量的描述知识和程度的信念。具体来说,不完整的领域知识,包括在所有,但少数例外情况下,持有的信息,表示为一个答案集Prolog(ASP)程序。通过求解该程序获得的答案集用于推理、规划和联合解释(a)由于外源动作引起的意外动作结果和(b)从传感器输入提取的部分场景描述。对于任何给定的任务,答案集中包含的计划中的每个动作都是按概率执行的。自动识别与动作相关的域的子集,并且从传感器输入中提取的观测对在该域子集上定义的置信分布执行增量贝叶斯更新,其中高度可能的置信被提交给ASP程序。该体系结构的能力,说明在模拟和移动机器人的上下文中的机器人服务员在餐厅的餐厅。
2015-08-01 cs.AI cs.LO cs.RO
Evaluating Human Trust in LLM-Based Planners: A Preliminary Study
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Virginia(弗吉尼亚大学)
本研究通过PDDL领域用户研究比较人类对基于LLM的规划器与经典规划器的信任,发现正确性是信任和性能的主要驱动因素;LLM解释提升评估准确性但信任影响有限,规划改进有增加信任的潜力。
2025-02-27 cs.AI cs.HC
Explainable AI for System Failures: Generating Explanations that Improve Human Assistance in Fault Recovery
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics and Intelligent Machines(机器人与智能机器研究所)
随着智能系统功能的不断增强,人工智能(AI)和机器人在日常生活中的整合正在增加。然而,当在如此复杂的人类环境中进行交互时,智能系统(如机器人)的故障可能是不可避免的,需要用户的恢复帮助。在这项工作中,我们开发了自动化的,自然语言的解释失败期间遇到的人工智能智能体的计划执行。这些解释的重点是帮助非专家用户了解不同的故障点,以更好地提供恢复帮助。具体来说,我们引入了一个基于上下文的信息类型的解释,既可以帮助非专家用户了解系统故障的根本原因,并选择适当的故障恢复。此外,我们扩展了现有的序列到序列的方法来自动生成我们的基于上下文的解释。通过这样做,我们能够开发一个模型,可以概括基于上下文的解释在不同的故障类型和故障场景。
2020-11-19 cs.AI cs.RO
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
Columbia University(哥伦比亚大学)
本文提出REFLECT框架,利用LLM基于多感官经验的分层总结进行机器人失败解释,并指导语言规划器纠正失败,通过RoboFail数据集验证其有效性。
2023-10-16 cs.AI cs.CL cs.CV
Post-Hoc Explanations Fail to Achieve their Purpose in Adversarial Contexts
University of Tübingen(蒂宾根大学)
现有和计划中的立法规定了提供有关机器学习算法及其功能的信息的各种义务,通常被解释为“解释”的义务。许多研究人员建议使用事后解释算法来实现这一目的。在本文中,我们结合法律,哲学和技术参数表明,事后解释算法是不适合实现法律的目标。事实上,大多数要求解释的情况都是对抗性的,这意味着解释的提供者和接受者有相反的利益和动机,因此提供者可能会为了自己的目的而操纵解释。我们表明,这一根本冲突无法解决,因为高度的模糊性的事后解释在现实的应用场景。因此,事后解释算法不适合实现法律规范所固有的透明度目标。相反,有必要更明确地讨论“可解释性”义务所依据的目标,因为这些目标往往可以通过其他机制更好地实现。特别是鉴于目前正在就欧洲联盟《人工智能法》草案进行谈判,迫切需要就对抗性背景下的事后解释的潜力和局限性进行更公开和诚实的讨论。
2022-05-10 cs.AI cs.LG
GNN Explanations that do not Explain and How to find Them
本文揭示了SE-GNN解释的失效现象,提出了一种新的忠实性度量以识别退化解释,强调了可靠审计的重要性。
2026-02-28 cs.AI cs.LG
AsyncVoice Agent: Real-Time Explanation for LLM Planning and Reasoning
Duke University(杜克大学);Adobe Research(Adobe研究)
本文提出 AsyncVoice Agent,通过异步解耦流式 LLM 后端与语音前端,实现推理过程实时叙述及用户随时打断、询问和引导,交互延迟较基线降低逾600倍。
2025-10-17 cs.AI cs.MM eess.AS
Outlier Detection in Plantar Pressure: Human-Centered Comparison of Statistical Parametric Mapping and Explainable Machine Learning
University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道工业大学);DIERS International GmbH(DIERS国际有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究面向足底压力数据质量控制,比较SPM与SHAP解释的CNN异常值检测方法,证明可解释ML性能更优且二者具有互补价值。
2025-09-29 cs.AI cs.LG
Towards Temporal Change Explanations from Bi-Temporal Satellite Images
Nara Institute of Science and Technology(奈良科学技术大学)
针对双时相卫星影像时序变化解释任务人工构建数据集成本高的问题,研究LVLMs的相关能力,提出三种适配双影像输入的提示方法,经人工评估验证逐步推理提示法有效,为人机协作开展该任务提供支撑。
2024-06-27 cs.AI cs.CV
VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation
AfterQuery
VADER是一个含174个真实漏洞的人工评估基准,用于测试LLM在漏洞评估、检测、解释和修复上的能力,发现当前最先进模型准确率仅约50%,且修复质量与分类准确性高度相关。
2025-05-26 cs.AI cs.CR
Explanatory Summarization with Discourse-Driven Planning
Saarland University(萨尔兰大学);University of Edinburgh(爱丁堡大学)
本文提出一种基于话语驱动的规划方法,通过将规划作为输入或输出前缀来引导解释性摘要生成,在三个数据集上优于现有方法,并提升鲁棒性与可控性。
2025-05-26 cs.AI cs.CL cs.LG
Local Post-Hoc Explanations for Predictive Process Monitoring in Manufacturing
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔大学)
该研究提出了一种创新的可解释的预测质量分析解决方案,通过结合过程挖掘,机器学习和可解释的人工智能(XAI)方法,促进制造过程规划的数据驱动决策。为此,在整合从各种企业信息系统获得的顶层和车间数据后,应用深度学习模型来预测过程结果。由于本研究旨在通过将预测性见解嵌入决策过程来实现所提供的预测性见解,因此必须为领域专家提供相关解释。为此,两个互补的局部事后解释方法,Shapley值和个人条件期望(ICE)图,预计将提高决策能力,使专家从不同的角度来检查解释。在用相关的二进制分类评估措施评估所应用的深度神经网络的预测强度之后,提供了对所生成的解释的讨论。
2021-06-10 cs.AI cs.LG stat.ML
CIDER: Commonsense Inference for Dialogue Explanation and Reasoning
University of Michigan(密歇根大学);Singapore University of Technology and Design(新加坡科技设计大学)
理解和解释人类语言的常识推理是自然语言处理的一个基本研究问题。解释人类对话是一个巨大的挑战,因为它需要上下文理解,规划,推理和推理的几个方面,包括因果,时间和常识推理。在这项工作中,我们介绍了CIDER -一个手动策划的数据集,包含二元对话解释的形式,使用上下文常识推断推断的隐式和显式知识三元组。从对话中提取如此丰富的解释有助于改进几个下游应用程序。注释的三元组通过存在的常识知识的类型(例如,因果的、条件的、时间的)。我们设置了三个不同的任务条件的注释数据集:对话级自然语言推理,跨度提取,多选择跨度选择。基于变压器的模型获得的基线结果表明,任务是困难的,为有前途的未来研究铺平了道路。数据集和基线实现可在https://cider-task.github.io/cider/上公开获得。
2021-06-30 cs.AI cs.CL cs.LG