Why Don't You Do Something About It? Outlining Connections between AI Explanations and User Actions
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个框架,梳理可解释AI中解释信息与用户行为的关联,指出当前评估忽视行动及信息呈现方面的研究空白。
2023-05-10 cs.AI cs.HC
Why Change My Design: Explaining Poorly Constructed Visualization Designs with Explorable Explanations
本研究通过众包实验评估六种解释方法及可探索解释在帮助人们识别并改进不佳可视化设计中的效果,发现参与者接受超60%的提议修改,但方法间无显著差异。
2023-09-04 cs.HC
Interactive Explanations: Diagnosis and Repair of Reinforcement Learning Based Agent Behaviors
强化学习技术成功地生成了令人信服的代理行为,但仍然很难定制行为以符合用户的特定偏好。在本文中,我们提出了一种新的交互方法,使用交互式解释,使用模板的自然语言作为一种通信方法。这种交互方法的主要优点是,它使用户和代理之间的双向通信通道;机器人可以解释其思维过程的用户,用户可以使用相同的交互式解释传达他们的行为偏好的机器人。通过这种方式,机器人的思维过程是透明的,用户可以向机器人提供纠正,包括建议采取的行动,要实现的目标以及这些决定背后的原因。我们在一个名为\textit{Super Mario Bros.}的视频游戏克隆中测试了我们提出的方法,结果表明我们的交互式解释方法在诊断和修复机器人行为方面是有效的。
2021-05-27 cs.HC
ELI-Why: Evaluating the Pedagogical Utility of Language Model Explanations
University of Southern California(南加州大学);Stanford University(斯坦福大学)
该研究提出包含1.34万个“为什么”问题的ELI-Why基准,通过两项人类研究和自动化评估发现,语言模型生成的教育解释在年级适配度、用户信息需求匹配度上均显著低于人类策划内容,教学效用有限。
2025-06-17 cs.CL cs.HC
Justification vs. Transparency: Why and How Visual Explanations in a Scientific Literature Recommender System
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文在科学文献推荐系统RIMA中,基于HCD方法和What-Why-How框架设计并实现“为什么”与“如何”两类视觉解释,通过用户研究证实解释可理解性类型的选择取决于解释目标与用户类型。
2023-05-26 cs.AI cs.HC cs.IR
(When) Are Contrastive Explanations of Reinforcement Learning Helpful?
Harvard University(哈佛大学)
对强化学习(RL)代理的预期行为的全局解释可以使其部署更安全。然而,由于许多RL政策的复杂性,这种解释往往难以理解。有效的人类解释通常是对比的,引用已知的对比(政策)来减少冗余。与此同时,这些解释也需要额外的努力,在评估解释时参考这种对比。我们进行了一项用户研究,以了解对比解释是否以及何时可能优于不需要引用对比的完整解释。我们发现,完整的解释通常是更有效的,当他们是相同的大小或更小的对比解释相同的政策,并没有更糟,当他们更大。这表明,对比解释不足以解决有效解释强化学习策略的问题,需要在这种情况下使用额外的仔细研究。
2022-11-14 cs.HC cs.LG
WHY: Natural Explanations from a Robot Navigator
Hunter College, City University of New York(纽约市立大学亨特学院)
机器人和人之间的有效协作需要自然的沟通。当机器人与人类同伴一起旅行时,机器人应该能够用自然语言解释其导航行为。本文解释了如何认知为基础的,自主的机器人导航系统产生信息丰富,直观的解释其决策。这里的语言生成基于机器人的常识、定性推理和学习的空间模型。这种方法产生自然的解释,在实时的的机器人,因为它在一个大的,复杂的室内环境中导航。
2017-09-27 cs.AI cs.CL cs.HC
The What, the Why, and the How of Artificial Explanations in Automated Decision-Making
City, University of London(伦敦大学城市学院)
越来越多的人工智能以自动化系统的形式融入决策过程,不仅突出了决策理论对自动化系统的重要性,而且还强调了这些决策过程对参与其中的人的解释的必要性。传统实在论对解释的解释是一种关系,这种关系在一个人和一个人之间永远保持(或不保持),不足以解释人为决策程序所需要的解释概念。我们提供了一个替代帐户的解释,用于自动决策的背景下,使解释的认知现象,是依赖于上下文。对解释的这种解释更好地说明了我们谈论和使用解释和衍生概念(如“解释力”)的方式,也使我们能够区分不需要具有认识方面的原因或原因与具有认识方面的解释。在此理论背景下,我们然后审查现有的方法来解释人工智能和机器学习,并建议desiderata真正可解释的决策系统应该履行。
2018-08-21 cs.AI cs.CY cs.HC
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中,我们介绍和评估的远端解释模型的无模型强化学习代理,可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链,其形式为“A促成B,B促成C”。使用的见解,从分析240个解释中产生的人类代理实验,我们定义了一个远端解释模型,可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链,并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中,我们发现,与两种基线解释模型相比,我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Empathy in Explanation
University of Cambridge(剑桥大学);MIT(麻省理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本研究从社会互动视角出发,构建考虑情绪影响的解释计算框架,经医生解释患病场景验证,该模型对人类直觉的预测优于无情绪消融模型,证实情绪在解释行为中的作用。
2025-06-16 cs.AI cs.HC
Embodied Explainability and Ontological Obstacles: Why We Struggle to Explain the Answers of Large Language Models (LLMs)
University of Waterloo(滑铁卢大学)
本文从具身认知角度论证可解释性是在使用中通过共享实践中的可供性创造的,揭示了解释大型语言模型时的本体论障碍,并强调可解释性应限于在情境实践中提供可供性的设计。
2026-06-24 cs.HC
Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning
LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal(里斯本大学科学学院LASIGE,葡萄牙)
本文提出一种基于强化学习的科学解释生成方法,通过代理人设引导解释代理器适应专家认知策略,提升解释的适应性和预测性能。
2026-08-03 cs.AI cs.HC
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University(乌尔姆大学);Institute of Artificial Intelligence(人工智能研究所)
针对PbRL反馈表达不足的问题,提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法,并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Why do explanations fail? A typology and discussion on failures in XAI
本文针对XAI解释失败问题,提出系统性与用户性失败的类型学框架,倡导整体视角,以帮助从业者理解局限并提升解释质量。
2025-10-16 cs.AI cs.HC cs.LG
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德德尔海兹)
在各种商业环境中,人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术,因为这些模型被认为是“黑匣子”,即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法,合理预测的蒙特卡罗边界。在大误差的情况下,MC-BRP确定(1)将导致合理预测的特征值,以及(2)每个特征和目标之间的一般趋势,两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究,对真实用户的真实数据集进行评估,以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误,以及这是否会促进对自动学习模型的信任。我们的研究表明,当提供这些对比解释时,用户能够回答关于模型预测的客观问题,总体准确率为81.1%。我们发现,看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析,并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
Why Trust in AI May Be Inevitable
Sasin School of Management, Chulalongkorn University(朱拉隆功大学萨辛管理学院);INSEAD(欧洲工商管理学院)
本研究论证信任可能是AI交互的前提,因解释在有限时间内可能失败,即使条件理想;随着AI生成虚假解释,人类可能默认信任,带来风险。
2025-02-28 cs.AI cs.CY cs.HC
ASQ-IT: Interactive Explanations for Reinforcement-Learning Agents
Technion - I.I.T(以色列理工学院);University of Haifa(海法大学)
随着强化学习方法越来越多地积累成就,理解其解决方案的需求变得更加重要。大多数可解释的强化学习(XRL)方法生成静态解释,描述了开发人员对应该解释什么和如何解释的直觉。相反,社会科学的文献提出,有意义的解释被构造为解释者和被解释者之间的对话,这表明用户和她与代理人的沟通扮演着更积极的角色。在本文中,我们提出了ASQ-IT -一个交互式工具,提出了代理在其环境中的查询的基础上,描述感兴趣的行为的时间属性的代理的视频剪辑。我们的方法是基于形式化的方法:查询ASQ-IT的用户界面映射到一个片段的线性时序逻辑有限的痕迹(LTLf),我们开发的,我们的算法是基于自动机理论的查询处理。用户研究表明,最终用户可以理解和制定查询ASQ-IT,并使用ASQ-IT帮助用户识别错误的代理行为。
2023-01-24 cs.AI cs.HC
How to Answer Why -- Evaluating the Explanations of AI Through Mental Model Analysis
Institute for Multimedia and Interactive Systems(多媒体与交互系统研究所);University of Lübeck(吕贝克大学)
为了在用户-人工智能交互的背景下实现最佳的人-系统集成,重要的是用户开发人工智能如何工作的有效表示。在大多数与技术系统的日常交互中,用户构建心理模型(即,系统用来执行给定任务的预期机制的抽象)。如果系统(例如,自我解释AI)或其他来源(例如,教师)没有提供明确的解释,则心理模型通常基于经验(即,用户在交互期间的观察)形成。这种心理模型和实际系统功能的一致性是至关重要的,因为它用于假设,预测,从而用于有关系统使用的决策。因此,以人为中心的人工智能研究的一个关键问题是如何有效地调查用户的心理模型。本研究的目的是确定合适的启发方法的心理模型分析。我们评估了心理模型是否适合作为一种实证研究方法。此外,认知辅导的方法是集成的。我们提出了一个示例性的方法来评估可解释的人工智能方法以人为中心的方式。
2020-01-11 cs.AI cs.HC
Calibrating LLM Explanations to Human Decisions with Reinforcement Learning
Northwestern University(西北大学)
本研究提出HD-RL强化学习框架,将其应用于Qwen 3.6模型优化AI文本检测的LLM解释,使人类决策准确率从51.3%提升至63.7%,优于多种基线方法。
2026-10-28 cs.HC cs.LG
Experiential Explanations for Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
针对强化学习系统难以解释的问题,提出“经验解释”技术,通过训练影响预测器生成反事实解释,恢复策略反映环境的信息,两项人类评估显示其在行为预测准确性及解释质量上均优于其他方法。
2025-04-14 cs.AI cs.HC
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);King Khalid University(哈利德国王大学)
我们介绍和评估eXplainable目标识别(XGR)模型,该模型使用证据权重(WoE)框架来解释目标识别问题。我们的模型提供了以人为本的解释,回答了为什么?为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实,我们进一步表明XGR模型可以成功地生成类似人类的解释。然后,我们报告了一项研究,60名参与者观察代理人玩推箱子游戏,然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
Explainable Reinforcement Learning Through a Causal Lens
The University of Melbourne(墨尔本大学)
认知科学中流行的理论认为,人类通过因果关系来理解和表征世界的知识。在理解世界的过程中,我们在头脑中建立因果模型来编码事件的因果关系,并使用这些模型来解释新事件发生的原因。在本文中,我们使用因果模型推导出强化学习代理的行为的因果解释。我们提出了一种方法,在强化学习过程中学习结构因果模型,并对感兴趣的变量之间的因果关系进行编码。然后,该模型用于基于因果模型的反事实分析来产生行为解释。我们报告了一项研究,120名参与者观察代理人玩实时战略游戏(星际争霸II),然后接受代理人行为的解释。研究内容包括:(1)被试通过任务预测解释获得的理解;(2)解释满意度;(3)信任度。我们的研究结果表明,因果模型的解释表现更好,这些措施相比,其他两个基线解释模型。
2019-11-20 cs.AI cs.HC cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心(CWI));Eindhoven University of Technology(埃因霍温理工大学)
该研究针对帕累托条件强化学习的帕累托条件网络,提出命令空间反事实解释方法CF-ZOO,通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models
Department of Chemical and Biological Engineering, Seoul National University, Republic of Korea(化学与生物工程系,首尔国立大学);Davidson School of Chemical Engineering, Purdue University, United States(化学工程大卫森学院,普渡大学)
TalkToAgent提出多智能体LLM框架,通过五个专门智能体自动映射用户查询至XRL工具,提供交互式自然语言解释,并在四水箱基准上验证了高准确性和有效解释。
2025-09-08 cs.AI cs.HC
Why am I Still Seeing This: Measuring the Effectiveness Of Ad Controls and Explanations in AI-Mediated Ad Targeting Systems
Princeton University(普林斯顿大学)
本研究评估Meta转向AI中介定向后“See less”广告控制与定向解释的有效性,发现该控制未能显著减少相关广告且解释缺乏可操作性,表明亟需适应复杂AI广告系统的新透明度与控制方法。
2024-08-21 cs.AI cs.CY cs.HC
Temporal Counterfactual Explanations of Behaviour Tree Decisions
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与计算机工业研究所,CSIC-UPC)
本文提出了一种生成反事实解释的方法,通过构建行为树的因果模型来解释机器人决策原因,提高了机器人系统的透明性和安全性。
2026-05-20 cs.HC cs.RO
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology(以色列理工学院);University of Augsburg(奥格斯堡大学)
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体,并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对情感分类中“problems”等非直观特征与标签的关联,提出自动检测与解释方法,并通过众包实验验证其有效性,填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
Why is the User Interface a Dark Pattern? : Explainable Auto-Detection and its Analysis
Waseda University(早稻田大学);National Consumer Affairs Center of Japan(日本国民生活中心);Waseda Research Institute for Science and Engineering(早稻田大学理工学研究所)
本文研究可解释的暗模式自动检测,使用BERT模型在电子商务数据集上训练,并结合LIME和SHAP事后解释技术揭示影响暗模式预测的关键术语,以防止用户被操纵并促进更公平的互联网服务构建。
2023-12-30 cs.AI cs.HC cs.LG
"Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans
University of Colorado(科罗拉多大学)
为了用机器学习模型支持人类决策,我们经常需要阐明模型中嵌入的模式,这些模式对人类来说是不明显的、未知的或违反直觉的。虽然现有的方法专注于在实时辅助下解释机器预测,但我们探索了模型驱动的教程,以帮助人类在训练阶段理解这些模式。我们认为这两个教程的指导方针,从科学论文,类似于目前的做法,科学通信,并自动选择的例子,从训练数据与解释。我们使用欺骗性评论检测作为测试平台,并进行大规模的随机人类受试者实验,以检查此类教程的有效性。我们发现,教程确实提高了人类的表现,有和没有实时援助。特别是,尽管深度学习提供了比简单模型更优越的预测性能,但来自简单模型的教程和解释对人类更有用。我们的工作为以人为本的教程和解释提出了未来的方向,以实现人类和人工智能之间的协同作用。
2020-01-14 cs.AI cs.CL cs.CY
Why Would You Suggest That? Human Trust in Language Model Responses
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文通过新闻标题生成任务研究解释的呈现方式如何影响用户对LLM的信任,发现比较场景下解释能提升信任,但单独展示时用户会无差别信任所有回答。
2024-10-04 cs.AI cs.CL cs.HC