Towards Unifying Evaluation of Counterfactual Explanations: Leveraging Large Language Models for Human-Centric Assessments
AAAI-25
本研究通过收集人类评分并微调大语言模型,实现了对反事实解释的以人为中心的统一评估,显著提高了评估的准确性和可扩展性。
2025-04-22 cs.AI cs.CL
Explaining Agent Behavior with Large Language Models
University of Michigan(密歇根大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种与底层模型无关的方法,仅通过状态和动作观测学习智能体行为的紧凑表示,并借助预训练大语言模型生成低幻觉的自然语言解释,实验表明其解释效果可与人类专家相媲美。
2023-09-19 cs.AI cs.CL cs.LG
TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models
Department of Chemical and Biological Engineering, Seoul National University, Republic of Korea(化学与生物工程系,首尔国立大学);Davidson School of Chemical Engineering, Purdue University, United States(化学工程大卫森学院,普渡大学)
TalkToAgent提出多智能体LLM框架,通过五个专门智能体自动映射用户查询至XRL工具,提供交互式自然语言解释,并在四水箱基准上验证了高准确性和有效解释。
2025-09-08 cs.AI cs.HC
Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning
IRIT, Toulouse, France(法国图卢兹计算机科学研究所);LAAS-CNRS, Toulouse, France(法国国家科学研究中心图卢兹系统分析与架构实验室);IRT Saint Exupery, Toulouse, France(法国图卢兹圣埃克苏佩里技术研究所);CNRS, Toulouse, France(法国国家科学研究中心);Australian National University, Canberra, Australia(澳大利亚国立大学)
本文提出一种代理框架,通过对话帮助用户理解规划解决方案,提升系统信任度,通过目标冲突解释进行用户研究。
2026-07-07 cs.AI cs.CL cs.HC
From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
研究长期语言智能体训练中现有强化学习方法面临的挑战,提出事后诸葛亮策略优化方法,通过投影到意图空间提取低方差学习信号,聚合相似状态和行动,理论和实证证明可稳定提升策略性能。
2026-07-21 cs.AI cs.CL cs.LG
Battery-Sim-Agent: Leveraging LLM-Agent for Inverse Battery Parameter Estimation
Peking University(北京大学);Microsoft Research(微软研究院);Zhejiang University(浙江大学);Chalmers University of Technology(皇家理工学院)
提出Battery-Sim-Agent框架,将电池逆参数估计重构为推理任务,利用LLM智能体与高保真模拟器闭环交互,通过物理假设和结构化参数更新,显著优于贝叶斯优化等黑箱优化方法。
2026-05-28 cs.AI
Agent-OM: Leveraging LLM Agents for Ontology Matching
Australian National University(澳大利亚国立大学);Monash University(墨尔本大学)
本文提出Agent-OM框架,结合检索与匹配代理及OM工具,有效提升复杂和少样本本体匹配任务性能,接近传统最佳表现。
2026-11-12 cs.AI cs.CL cs.IR
Automated Interpretability and Feature Discovery in Language Models with Agents
Harvard University(哈佛大学)
本文提出一个自主多代理框架,用于自动化大型语言模型的内部特征发现与解释,通过两个耦合循环提升解释精度和可验证性。
2026-05-02 cs.AI cs.CL cs.HC
Mediators: Conversational Agents Explaining NLP Model Behavior
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technische Universität Berlin(柏林工业大学)
以人为中心的可解释人工智能(HCXAI)社区提出了将解释过程框定为人机对话的需求。在本立场文件中,我们为中介者(Mediators)建立了必要条件,中介者是基于文本的对话代理,能够使用自然语言交互式解释神经模型的行为。从自然语言处理(NLP)研究的角度来看,我们工程师这样一个调解人的情感分析的任务的蓝图,并评估目前的研究有多远的道路上,以对话为基础的解释。
2022-06-13 cs.AI cs.CL cs.HC
Uncovering Code Insights: Leveraging GitHub Artifacts for Deeper Code Understanding
本文提出利用 GitHub 中的拉取请求、议题和提交信息等自然语言工件增强 LLM 代码理解,并通过提取、解释和验证三组件系统生成无幻觉的代码洞见,用户研究表明其解释有帮助且非平凡。
2025-11-05 cs.AI cs.SE
Explainable Control Framework (XCF) based on Fuzzy Model-Agnostic Explanation and LLM Agent-Supported Interface
Department of Engineering, Faculty of Natural, Mathematical & Engineering Sciences, King’s College London(工程系,自然、数学与工程科学学院,伦敦国王学院)
提出可解释控制框架XCF,通过分层模糊模型无关解释方法HFMAE-C和LLM智能体接口,为闭环控制器提供模型无关的解释,并在倒立摆和Turtlebot避障案例中验证有效性。
2026-06-25 cs.AI cs.HC cs.SY
TheoremExplainAgent: Towards Video-based Multimodal Explanations for LLM Theorem Understanding
University of Waterloo(滑铁卢大学);Votee AI;Vector Institute(向量研究所)
TheoremExplainAgent利用Manim动画生成长篇定理解释视频,通过TheoremExplainBench基准和5个评估指标验证,o3-mini智能体成功率93.8%,并揭示多模态解释能暴露更深推理缺陷。
2025-05-25 cs.AI cs.CL cs.CV
AsyncVoice Agent: Real-Time Explanation for LLM Planning and Reasoning
Duke University(杜克大学);Adobe Research(Adobe研究)
本文提出 AsyncVoice Agent,通过异步解耦流式 LLM 后端与语音前端,实现推理过程实时叙述及用户随时打断、询问和引导,交互延迟较基线降低逾600倍。
2025-10-17 cs.AI cs.MM eess.AS
Leveraging Machine-Generated Rationales to Facilitate Social Meaning Detection in Conversations
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出利用大型语言模型生成推理理由来增强对话文本,从而提升隐式社会意义检测在域内、零样本和少样本迁移场景下的分类性能。
2024-06-27 cs.AI cs.CL
PseudoAct: Leveraging Pseudocode Synthesis for Flexible Planning and Action Control in Large Language Model Agents
Department of Electrical and Computer Engineering, Texas A&M University(电气与计算机工程系,德克萨斯A&M大学)
PseudoAct通过伪代码合成实现LLM代理的灵活规划与动作控制,提升长时决策效率。
2026-02-27 cs.AI cs.SY eess.SY
Leveraging Large Language Models for Hybrid Workplace Decision Support
Microsoft(微软);Office of Applied Research, Microsoft(微软应用研究院)
本文提出利用大型语言模型的推理能力为混合工作环境中的员工提供工作场所选择决策支持,通过用户研究验证了系统能有效影响并辅助员工决策。
2024-02-06 cs.AI cs.CL cs.HC
ChatGPT on the Road: Leveraging Large Language Model-Powered In-vehicle Conversational Agents for Safer and More Enjoyable Driving Experience
Computer Science, Virginia Tech, Blacksburg, Virginia, USA(计算机科学,弗吉尼亚理工学院,弗吉尼亚州黑斯堡,美国;弗吉尼亚理工学院黑斯堡弗吉尼亚美国);Virginia Tech Blacksburg Virginia USA
本研究探索基于ChatGPT的车载对话代理,通过40名驾驶员的模拟器实验发现,相比无代理和预设脚本代理,该代理能显著提升驾驶稳定性、主观评价及交互多样性,从而增强驾驶安全与用户体验。
2025-08-11 cs.AI cs.HC cs.SE
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
本文提出State2Explanation框架,通过联合嵌入状态-动作对与概念解释,在训练时指导奖励塑形以加速智能体学习,在部署时提供可理解解释以提升用户任务表现,并在Connect 4和Lunar Lander中验证了双重益处。
2023-11-10 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology(以色列理工学院)
针对现有可解释强化学习局部解释无法展现动作结果的问题,提出可视化对比所选动作与反事实动作结果的COViz方法,实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所);Deakin University(迪肯大学)
动机:已经提出了许多高性能的DTA模型,但它们大多是黑盒的,因此缺乏人类的可解释性。可解释人工智能(XAI)可以使DTA模型更值得信赖,也可以使科学家从模型中提取生物学知识。反事实解释是解释深层神经网络行为的一种流行方法,它通过系统地回答以下问题来工作:"如果输入以这种方式改变,模型输出将如何改变?" ".大多数反事实解释方法只对单个输入数据进行操作。如何将基于反事实的XAI方法扩展到DTA模型仍然是一个悬而未决的问题,DTA模型有两个输入,一个是药物,一个是靶标,它们在本质上也是离散的。研究方法:我们提出了一个多智能体强化学习框架,多智能体反事实药物靶点结合亲和力(MACDA),产生反事实的药物-蛋白质复合物的解释。我们提出的框架提供了人类可解释的反事实实例,同时优化了反事实生成的输入药物和目标。结果如下:我们基准建议MACDA框架使用戴维斯数据集,并发现我们的框架产生更简约的解释没有损失的解释有效性,编码相似性和QED测量。然后,我们提出了一个涉及ABL1和尼洛替尼的案例研究,以证明MACDA如何解释DTA模型在其预测中输入之间的底层子结构相互作用中的行为,揭示与先前领域知识一致的机制。
2021-06-02 cs.AI cs.LG
Tell me why! Explanations support learning relational and causal structure
DeepMind(深度思维)
推理世界的抽象关系和因果结构是学习代理的主要挑战。对人类来说,语言-特别是以解释的形式-在克服这一挑战方面起着相当大的作用。在这里,我们证明了语言可以在复杂环境中为深度RL代理发挥类似的作用。虽然代理通常很难获得关系和因果知识,但通过训练他们预测语言描述和解释来增加他们的经验可以克服这些限制。我们表明语言可以帮助智能体学习具有挑战性的关系任务,并研究语言的哪些方面有助于其益处。然后,我们表明,解释可以帮助代理推断不仅关系,而且因果结构。语言可以塑造智能体从模糊的、因果混淆的训练中概括分布外的方式,解释甚至允许智能体学习执行实验干预以识别因果关系。我们的研究结果表明,语言描述和解释可能是提高智能体学习和泛化能力的有力工具。
2022-05-25 cs.AI cs.LG stat.ML
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University(苏塞克斯大学);Air Force Research Laboratory(空军研究实验室)
本文提出对比解释学习框架VisionMask,通过自监督方式对比智能体所选动作与备选动作来生成解释,在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势,提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
Computing Rule-Based Explanations by Leveraging Counterfactuals
University of Washington(华盛顿大学);Relational AI(Relational AI公司)
复杂的机器模型越来越多地用于日常生活中的高风险决策。迫切需要为这种自动化决策开发有效的解释技术。基于规则的解释已经被提出用于高风险决策,如贷款申请,因为它们增加了用户对决策的信任。然而,基于规则的解释是非常低效的计算,现有的系统牺牲其质量,以达到合理的性能。我们提出了一种新的方法来计算基于规则的解释,通过使用不同类型的解释,反事实推理,其中几个有效的系统已经开发出来。我们证明了一个对偶定理,表明基于规则的解释和基于反事实的解释是相互对偶的,然后使用这个观察来开发一个有效的算法来计算基于规则的解释,它使用基于反事实的解释作为一个预言。我们进行了大量的实验表明,我们的系统计算基于规则的解释更高的质量,并具有相同或更好的性能,比以前的两个系统,MinSetCover和锚。
2022-10-31 cs.DB cs.LG
Leveraging Local Structure for Improving Model Explanations: An Information Propagation Approach
Illinois Institute of Technology(伊利诺伊理工学院)
提出IProp方法,利用马尔可夫奖励过程建模像素间解释信息的动态传播,结合结构相似像素联合评估归因分数,兼容现有方法并显著提升多种可解释性指标。
2024-09-24 cs.AI cs.CV cs.LG
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Google DeepMind(谷歌DeepMind)
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题,提出RBRL框架,联合优化决策与解释,在真实场景中性能媲美深度RL且效率优于LLM微调,解释质量获提升。
2025-02-15 cs.AI cs.LG
BayesNAM: Leveraging Inconsistency for Reliable Explanations
Chung-Ang University(中央大学);Seoul National University(首尔大学)
本文指出神经加性模型(NAM)产生的不一致解释具有内在价值,提出BayesNAM框架,结合贝叶斯神经网络与特征dropout来捕捉不一致性,从而提供更可靠的解释并揭示数据与模型结构的潜在问题。
2024-11-10 cs.AI cs.LG cs.NE
Concept Distillation: Leveraging Human-Centered Explanations for Model Improvement
M42;IIIT Hyderabad(印度国际信息技术学院海得拉巴分校)
本文提出概念蒸馏方法,将概念激活向量扩展至事前训练,通过引入概念损失和类原型在中间层定义概念,利用预训练模型作为教师创建丰富概念,从而提高模型可解释性、减少偏差并引入先验知识。
2023-11-26 cs.AI cs.LG
Towards the Linear Algebra Based Taxonomy of XAI Explanations
本文提出了一种替代方法的基本分类的解释所产生的可解释的人工智能技术。可解释人工智能(XAI)的方法被开发出来,以回答为什么做出某种预测或估计的问题,最好是用人类代理容易理解的术语。文献中提出的XAI分类法主要集中在区分涉及人类代理的解释上,这使得提供更多的数学方法来区分和比较不同的解释变得复杂。本文缩小其注意力的情况下,感兴趣的数据集属于$\mathbb{R} ^n$,并提出了一个简单的线性代数为基础的分类局部解释。
2023-01-30 cs.AI cs.LG
Leveraging Explanations in Interactive Machine Learning: An Overview
University of Trento(特伦托大学);Optum(欧唯特健康);Technical University Darmstadt(达姆施塔特工业大学);IBM Research(IBM研究院)
在AI和机器学习(ML)社区中,为了提高模型的透明度,并允许用户形成经过训练的ML模型的心理模型,简化已经获得了越来越多的兴趣。然而,解释可以超越这种单向交流,作为一种机制来引起用户控制,因为一旦用户理解,他们就可以提供反馈。本文的目标是提出一个研究的概述,解释与交互功能相结合,作为一种手段,从头开始学习新的模型,编辑和调试现有的。为此,我们绘制了一个最先进的概念图,根据其预期目的和它们如何构建交互,突出它们之间的相似性和差异性,对相关方法进行分组。我们还讨论了开放的研究问题,并概述了可能的发展方向,希望能促进对这一蓬勃发展的研究课题的进一步研究。
2022-10-09 cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架,通过鲁棒区域和最小反事实分析,揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology(以色列理工学院);University of Augsburg(奥格斯堡大学)
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体,并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Toward Auditable Fraud Detection: Combining Graph Features, Model Explanations, and Agentic Case Investigation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
研究欺诈检测系统,通过分层管道结合多种方法,包括梯度提升分类器等。在PaySim数据集上实验,各组件在特定条件下起作用,如校正后图特征等未提升全测试集平均精度,但在部分子集有作用,调查代理表现不佳,还标记了其错误。
2026-11-10 cs.AI cs.LG
Symbolic Explanation of Affinity-Based Reinforcement Learning Agents with Markov Models
Sparebank 1 SR-Bank;Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
人工智能的扩散越来越依赖于模型理解。理解既需要解释(人类对模型行为的推理),也需要解释(模型功能的符号表示)。尽管透明性对于安全、信任和接受至关重要,但最先进的强化学习算法的不透明性掩盖了其学习策略的雏形。我们已经开发了一个政策正规化的方法,断言学习策略的全球内在亲和力。这些相似性提供了一种推理策略行为的方法,从而使其具有内在的可解释性。我们已经展示了我们在个性化繁荣管理中的方法,其中个人的消费行为及时决定了他们的投资策略,即不同的消费个性可能与不同的投资类别有不同的关联。现在,我们通过用离散化的马尔可夫模型再现潜在的原型策略来解释我们的模型。这些全局代理是原型策略的符号表示。
2022-08-29 cs.AI cs.LG
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey(萨里大学);Amazon Web Services(亚马逊云科技);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的形式的解释强化学习,基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明,这种性质的事后解释的一般方法是不可能在传统的强化学习。相反,解释所需的信息必须与培训代理人一起收集。我们得到的方法,旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法,并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne(墨尔本大学)
可解释的人工智能(XAI)系统需要包括一个解释模型,以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中,我们重点关注解释者和被解释者之间有意义的交互的挑战,并研究交互解释的结构方面,以提出交互协议。我们遵循自下而上的方法,通过分析不同的解释对话类型与398解释对话的成绩单,得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架(ADF)作为一种新的对话类型,然后评估它在人与代理的交互研究与101个对话,从14个参与者。我们的研究结果表明,该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
FRACTION: Fraud Explanation Generation via Agentic Graph Context Navigation
ByteDance Inc.(字节跳动公司)
本文提出FRACTION框架,通过配备图工具的智能体结合rubric引导的轨迹蒸馏策略,解决图欺诈解释生成的评估与信息粒度问题,在三个欺诈数据集上优于现有最优基线。
2026-10-14 cs.LG
Selective Explanations: Leveraging Human Input to Align Explainable AI
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
本文提出选择性解释框架,通过利用人类输入从模型理由中选择与接收者偏好相符的子集,实验表明其能减少对AI的过度依赖并改善决策结果与主观感知。
2023-08-07 cs.AI cs.CL cs.HC
Model-Agnostic Policy Explanations with Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
提出一种模型无关的方法,通过学习局部可解释替代模型引导大型语言模型生成智能体行为的自然语言解释,显著提升了解释的可理解性、正确性及人类对未来动作的预测准确率。
2025-08-11 cs.LG
Leveraging Latent Features for Local Explanations
IBM Research(IBM研究院);University of Michigan(密歇根大学)
随着深度神经网络在医学成像、视频监控和自动驾驶汽车等众多领域的应用激增,解释这些模型决策的需求已成为全球和地方层面的热门研究课题。在当地,大多数解释方法都集中在识别特征的相关性上,限制了可能的解释类型。在本文中,我们研究了一个新的方向,利用潜在的功能,以产生对比的解释,预测解释不仅突出本身足以证明分类的方面,但也通过新的方面,如果添加将改变分类。本文的主要贡献在于我们如何以一种正式但可解释的方式向丰富的数据添加特征,从而产生有意义的结果。我们对“加法”的新定义使用了潜在的特征,超越了以前解释的局限性,解决了Dhurandhar等人提出的一个悬而未决的问题。(2018),它创建了局部对比解释,但仅限于简单的数据集,如灰度图像。我们的方法在创建直观的解释,也是定量优于其他方法的优势是证明了三个不同的图像数据集(皮肤病变,面部和时尚服装)。一项有200名参与者的用户研究进一步证实了对比信息的好处,这可以被视为对其他最先进的可解释性方法的补充。
2021-05-29 cs.LG stat.ML
Local and Global Explanations of Agent Behavior: Integrating Strategy Summaries with Saliency Maps
Universität Augsburg(奥格斯堡大学);Technion - Israel Institute of Technology(以色列理工学院)
随着强化学习(RL)的进步,智能体现在正在高风险应用领域(如医疗保健和交通)中开发。解释这些代理的行为是具有挑战性的,因为它们所处的环境具有很大的状态空间,并且它们的决策可能会受到延迟奖励的影响,因此很难分析它们的行为。为了解决这个问题,已经开发了几种方法。一些方法试图传达代理的$\textit{global}$行为,描述它在不同状态下采取的动作。其他方法设计了$\textit{local}$解释,提供关于代理在特定状态下的决策的信息。在本文中,我们结合了全球和本地的解释方法,并评估其联合和单独的贡献,提供(据我们所知)的第一个用户研究结合本地和全球的解释RL代理。具体来说,我们增加战略摘要,从代理的显着性图,显示代理出席什么信息的模拟中提取重要的状态轨迹。我们的研究结果表明,选择哪些国家包括在摘要(全球信息)强烈影响人们的理解代理:参与者显示的摘要,包括重要的国家显着优于参与者与代理行为在一组随机选择的世界状态。我们发现混合的结果与显着性图(本地信息)的增强演示,因为显着性图的添加在大多数情况下并没有显着提高性能。然而,我们确实发现了一些证据,表明显着性图可以帮助用户更好地了解代理在决策中依赖的信息,为未来的工作提出了进一步改善RL代理解释的途径。
2020-05-29 cs.AI cs.HC cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI(索尼人工智能研究院);Birkbeck, University of London(伦敦大学伯贝克学院)
深度强化学习(RL)涉及使用深度神经网络(DNN)来做出顺序决策,以最大化奖励。对于许多任务来说,深度强化学习策略产生的动作序列可能很长,人类很难理解。人类解释的一个关键组成部分是选择性,即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解,并生成一组简洁的指令来帮助未来代理的学习。为此,我们使用了一个深度RL代理与情景记忆系统,以确定和叙述在政策执行过程中的关键决策。我们表明,这些决策形成了一个简短的、人类可读的解释,也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID(里斯本高等理工学院信息技术与系统研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作解决了感知世界的问题:如何学习强化学习代理环境的多模态表示,允许在不完整的感知条件下执行任务。为了解决这个问题,我们主张在设计的表示模型的层次结构,并与一个新的多模态表示模型,MUSE。所提出的模型学习分层表示:低层次的模态特定的表示,从原始观测数据编码,和一个高层次的多模态表示,编码联合模态信息,以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型,在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究,表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后,我们评估了MUSE在文献标准的多模态场景中的性能,这些场景具有更高的数量和更复杂的模态,表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
Evaluating and Improving Graph-based Explanation Methods for Multi-Agent Coordination
Georgia Institute of Technology(佐治亚理工学院);College of Computing(计算学院);School of Interactive Computing(交互式计算学院)
本文研究 GNN 解释器在多智能体协调中的适用性,提出注意力熵正则化以增强基于 GAT 策略的可解释性,并在多任务、多团队规模下验证其可提升解释质量且不损害性能。
2025-02-14 cs.AI cs.LG cs.MA
Building Safer Autonomous Agents by Leveraging Risky Driving Behavior Knowledge
Thapar Institute of Eng. & Tech.(塔帕尔工程与技术学院);Bournemouth University(伯恩茅斯大学)
模拟环境有利于以抽象的方式学习不同的驾驶任务,如换道,停车或处理十字路口等。然而,这些仿真环境往往限制自己在保守的相互作用行为下不同的车辆之间的操作。但是,正如我们所知道的,真正的驾驶任务往往涉及非常高的风险情况下,其他司机往往没有在预期的意义上表现。这种行为可能有很多原因,比如疲劳或缺乏经验。仿真环境在训练导航代理时没有考虑这些信息。因此,在这项研究中,我们特别关注系统地创建这些具有高流量和意外随机行为的风险场景,以创建更好的无模型学习代理。我们通过在highway-env仿真包中创建新的自定义马尔可夫决策过程(MDP)环境迭代来生成多个自动驾驶场景。行为策略由在深度强化学习模型的帮助下训练的代理学习。我们的行为政策是经过深思熟虑的,以处理碰撞和危险的随机驾驶员行为。我们训练模型自由学习代理的风险倾向驾驶场景的补充信息,并比较他们的性能与基线代理。最后,我们随意地测量在训练过程中添加这些扰动的影响,以精确地解释利用这些场景中的学习所获得的性能改进。
2021-10-17 cs.AI cs.LG
Leveraging Conditional Generative Models in a General Explanation Framework of Classifier Decisions
Incepto Medical(Incepto医疗);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院)
为分类器的决策提供一个人类可以理解的解释,对于在日常任务中使用它们产生信任已经变得至关重要。虽然许多作品已经通过生成视觉解释图来解决这个问题,但它们通常提供嘈杂和不准确的结果,迫使使用与所讨论的分类器无关的启发式正则化。在本文中,我们提出了一个克服这些局限性的视觉解释问题的新的总体视角。我们表明,视觉解释可以产生通过两个特定的条件生成模型获得的两个生成的图像之间的差异。两个生成模型都是使用分类器来解释和数据库来训练的,以强制执行以下属性:(i)由第一生成器生成的所有图像被分类为与输入图像类似,而第二生成器的输出被相反地分类。(ii)生成的图像属于真实图像的分布。(iii)输入图像和相应的生成图像之间的距离是最小的,使得生成的元素之间的差异仅揭示了所研究的分类器的相关信息。使用对称和循环约束,我们提出了两种不同的近似和实现的一般配方。在实验中,我们展示了三个不同的公共数据集上的显着改进。特别地,影响分类器的区域的定位与人类注释一致。
2021-06-21 cs.CV cs.LG
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma(计算机科学学院俄克拉荷马大学)
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题,提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架,提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
e-QRAQ: A Multi-turn Reasoning Dataset and Simulator with Explanations
IBM T. J. Watson Research Center(IBM T. J. Watson 研究中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在本文中,我们提出了一个新的数据集和用户模拟器e-QRAQ(可解释的查询,原因和回答问题),它测试代理的能力,阅读一个模棱两可的文本,问问题,直到它可以回答一个挑战性的问题,并解释其问题和答案背后的推理。用户模拟器为Agent提供了一个简短、模糊的故事和一个关于故事的挑战问题。这个故事是模棱两可的,因为一些实体已经被变量所取代。在每个回合中,Agent可能会询问变量的值或尝试回答挑战问题。作为响应,用户模拟器提供自然语言解释为什么代理的查询或回答在缩小可能答案的集合方面是有用的。为了演示e-QRAQ数据集的一个潜在应用,我们训练了一个基于端到端记忆网络的新神经架构,以成功生成对其当前对问题的理解的预测和部分解释。我们观察到预测和解释的质量之间有很强的相关性。
2017-08-05 cs.AI cs.CL cs.LG
iLLuMinaTE: An LLM-XAI Framework Leveraging Social Science Explanation Theories Towards Actionable Student Performance Feedback
EPFL(洛桑联邦理工学院);Institute for Public Policy Research(公共政策研究所);University College London(伦敦大学学院)
提出iLLuMinaTE框架,利用社会科学解释理论生成可操作的学生反馈,经多模型多方法评估,89.52%用户偏好,具泛化潜力。
2025-01-24 cs.CY cs.HC cs.LG
The Argument is the Explanation: Structured Argumentation for Trust in Agents
本研究提出将结构化论证用于AI可解释性,将LLM文本转为可逐步骤验证的论证图,在多项论证分类任务上取得SOTA,还实现了多智能体风险评估中的透明协作与自动幻觉检测,并提供开源部署工具。
2025-10-03 cs.AI cs.LG cs.MA