ELIXIR: Learning from User Feedback on Explanations to Improve Recommender Models
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);IIT Bhilai(印度理工学院比莱校区)
系统提供的建议解释是实现透明和可信赖的AI的重要组成部分。然而,在最先进的研究中,这是一个单向信号,以提高用户的接受度。在本文中,我们把解释的作用,并调查他们如何有助于提高质量的建议本身。我们设计了一个人在环框架,称为ELIXIR,用户反馈的解释是利用成对学习的用户偏好。ELIXIR利用对推荐和解释的反馈来学习用户特定的潜在偏好向量,通过基于项目相似性的邻域的标签传播来克服稀疏性。我们的框架实例化使用广义图推荐通过随机游走与重启。一个真实的用户研究的有见地的实验表明,在项目级反馈的电影和书籍推荐显着改善。
2021-04-30 cs.AI cs.IR cs.LG
Hybrid Deep Embedding for Recommendations with Dynamic Aspect-Level Explanations
Sichuan University(四川大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
可解释性推荐还远未得到很好的解决,部分原因在于三个挑战。第一种是偏好学习的个性化,这要求不同的项目/用户对用户偏好或项目质量的学习有不同的贡献。二是动态解释,这对建议解释的及时性至关重要。最后一个是解释的粒度。在实践中,方面级的解释比项目级或用户级的更有说服力。在本文中,为了同时解决这些挑战,我们提出了一种新的模型,称为混合深度嵌入(HDE),用于基于方面的可解释建议,可以使用动态方面级解释进行建议。HDE的主要思想是通过融合从评论中提取的动态隐式反馈和关注的用户-项目交互,学习用于评分预测的用户和项目的动态嵌入以及用于生成方面级解释的动态潜在方面偏好/质量向量。特别地,由于自动学习用户/项目的方面偏好/质量,HDE能够捕获在用户或项目的评论中未提及的方面的影响。在真实数据集上进行的大量实验验证了HDE的推荐性能和可解释性。我们工作的源代码可以在\url{https://github.com/lola63/HDE-Python}上找到
2020-01-18 cs.AI cs.IR cs.LG
Explanation as a process: user-centric construction of multi-level and multi-modal explanations
University of Bamberg(班贝格大学)
在过去的几年里,XAI的研究主要关注开发新的技术方法来解释深度学习模型。最近的研究已经开始认识到需要根据不同的背景和利益攸关方的要求进行解释。解释不仅要适合模型开发人员,还要适合领域专家和最终用户。因此,为了满足不同的利益相关者,解释方法需要结合起来。虽然多模态解释已被用于使模型预测更加透明,但很少有研究将解释视为一个过程,用户可以根据在某个时间点获得的理解水平要求提供信息。因此,除了多模态解释之外,还应该提供一个探索不同抽象层次解释的机会。我们提出了一个基于过程的方法,结合多层次和多模态的解释。用户可以通过会话交互以向下钻取的方式要求文本解释或可视化。我们使用归纳逻辑程序设计,一种可解释的机器学习方法,来学习可理解的模型。此外,我们提出了一种算法,创建一个解释树的每个例子,分类器的决定是要解释。用户可以导航解释树以获得不同详细级别的答案。我们提供了一个概念验证的实现,从语义网生物的概念。
2021-10-07 cs.AI cs.HC cs.LG
Beyond One-Size-Fits-All: Adapting Counterfactual Explanations to User Objectives
National Technical University of Athens(雅典国立技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院);Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室)
针对现有反事实解释(CFEs)忽略不同场景下用户多样化目标、缺乏定制化适配的问题,本文梳理了三类核心用户目标及对应CFEs的所需特征,提出设计适配用户需求的定制化反事实解释,以提升人机协作效果。
2024-04-12 cs.AI cs.LG
"How do I fool you?": Manipulating User Trust via Misleading Black Box Explanations
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学)
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等关键领域,人们越来越重视开发以人类可解释的方式解释这些黑匣子的技术。最近很明显,对黑盒ML模型的高保真解释可能无法准确反映黑盒中的偏见。因此,解释有可能误导人类用户相信有问题的黑盒。在这项工作中,我们严格探索误导性解释的概念,以及它们如何影响黑盒模型中的用户信任。更具体地说,我们提出了一个新的理论框架,理解和产生误导性的解释,并进行了用户研究领域的专家,以证明这些解释可以用来误导用户。我们的工作是第一个经验性地建立用户信任的黑盒模型可以通过误导性的解释来操纵。
2019-11-15 cs.AI
TimeREISE: Time-series Randomized Evolving Input Sample Explanation
DFKI GmbH(德国人工智能研究中心)
深度神经网络是跨不同领域最成功的分类器之一。然而,由于它们在可解释性方面的局限性,它们的使用仅限于安全关键环境。可解释的人工智能的研究领域解决了这个问题。然而,大多数可解释性方法通过设计与图像模态一致。本文介绍了TimeREISE模型不可知的归因方法,特别是对准成功的时间序列分类的上下文中。该方法表现出优越的性能相比,现有的方法,关于不同的完善的测量。TimeREISE适用于任何时间序列分类网络,其运行时不会以线性方式扩展输入形状,并且不依赖于先验数据知识。
2022-05-27 cs.AI cs.LG
Towards Personalized Explanation of Robot Path Planning via User Feedback
University of Virginia(弗吉尼亚大学)
先前的研究发现,解释机器人的决策和行动有助于提高系统的透明度,提高用户的理解,并实现有效的人机协作。在本文中,我们提出了一个系统,通过用户反馈生成个性化的机器人路径规划的解释。我们考虑机器人在建模为马尔可夫决策过程(MDP)的环境中导航,并开发一种算法来自动生成最佳MDP策略的个性化解释,基于用户对四个元素(即,目标、位置、特异性和语料库)。此外,我们设计的系统与用户互动,通过回答用户的进一步的问题,产生的解释。用户可以选择更新他们的偏好以查看不同的解释。该系统能够通过用户交互来检测和解决任何偏好冲突。在线用户研究的结果表明,生成的个性化解释提高用户满意度,而大多数用户喜欢系统的问答和冲突检测/解决的能力。
2021-03-05 cs.AI cs.RO
MetaExplainer: A Framework to Generate Multi-Type User-Centered Explanations for AI Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);Amazon Science(亚马逊科学);IBM Research(IBM研究院)
MetaExplainer是一个神经符号框架,通过三阶段流程(LLM问题分解、模型解释器生成建议、自然语言综合)结合解释本体论,为用户生成多类型、问题驱动的可解释性解释,在糖尿病数据集上验证了高绩效与广泛适用性。
2025-09-10 cs.AI cs.HC cs.LG
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes(雷恩大学);IRISA(IRISA研究所);Univ. Sorbonne(索邦大学);LIP6(LIP6实验室);Trento University(特伦托大学);Univ. Artois(阿图瓦大学);KU Leuven(鲁汶大学);Aalborg University(奥尔堡大学);Institut Agro(法国农艺学院);INRIA(法国国家信息与自动化研究所)
本论文研究为已部署机器学习模型生成局部解释的方法,通过增强规则解释、评估线性解释及比较反事实解释,并结合用户实验,提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
Hierarchical Expertise-Level Modeling for User Specific Robot-Behavior Explanations
School of Computing, Informatics, and Decision Systems Engineering(计算、信息与决策系统工程学院);Arizona State University(亚利桑那州立大学)
人工智能研究界对开发能够向用户解释其行为的自主系统越来越感兴趣。一个方面的解释生成问题,尚未得到很大的关注是解释计划的任务,用户的专业知识水平不同的解释者。我们提出了一种方法来解决这个问题,表示用户的模型作为一个抽象的领域模型,规划师使用。我们提出的算法,在这种抽象的人类模型是未知的情况下,产生最小的解释。我们减少了问题的产生解释的抽象模型的空间搜索和调查可能的贪婪近似最小的解释。我们还经验表明,我们的方法可以有效地计算各种问题的解释。
2018-02-19 cs.AI
Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition
University of Florida(佛罗里达大学);University of Texas in Dallas(德克萨斯大学达拉斯分校)
可解释的机器学习和人工智能模型已被用于证明模型的决策过程。这种增加的透明度旨在帮助提高用户性能和对底层模型的理解。然而,在实践中,可解释系统面临着许多开放的问题和挑战。具体来说,设计师可能会降低深度学习模型的复杂性,以提供可解释性。然而,这些简化模型产生的解释可能无法准确地证明模型的合理性和真实性。这可能会进一步增加用户的困惑,因为他们可能会发现解释对模型预测没有意义。了解这些解释如何影响用户行为是一个持续的挑战。在本文中,我们探讨如何解释准确性影响用户的性能和协议的智能系统。通过一个受控的用户研究与可解释的活动识别系统,我们比较了解释的准确性的变化,视频审查和查询任务。结果表明,与准确的解释和没有解释的系统相比,低准确性的解释显着降低用户的性能和协议。这些发现表明了准确和可理解的解释的重要性,并警告说,就其对用户性能和对人工智能系统的依赖性的影响而言,糟糕的解释有时可能比没有解释更糟糕。
2020-05-05 cs.AI cs.HC cs.LG
Flexible Counterfactual Explanations with Generative Models
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universiteit Antwerpen(安特卫普大学);Harvard University(哈佛大学)
提出灵活反事实解释框架,结合生成对抗网络FCEGAN,支持用户动态指定可变特征,适用于黑盒场景,提升解释有效性。
2025-02-24 cs.AI cs.LG stat.ME
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
Explainable AI does not provide the explanations end-users are asking for
Arca Blanca Ltd.(阿尔卡布兰卡有限公司)
可解释的人工智能(XAI)技术经常被许多AI系统中的用户所需要,其目标是理解复杂模型及其相关预测并获得信任。虽然适用于开发过程中的某些特定任务,但组织采用它们来增强对机器学习系统的信任会产生意想不到的后果。在本文中,我们讨论了XAI在部署方面的局限性,并得出结论,透明度和严格的验证更适合在AI系统中获得信任。
2023-03-21 cs.AI cs.HC cs.LG
Why Don't You Do Something About It? Outlining Connections between AI Explanations and User Actions
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个框架,梳理可解释AI中解释信息与用户行为的关联,指出当前评估忽视行动及信息呈现方面的研究空白。
2023-05-10 cs.AI cs.HC
State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
本文提出State2Explanation框架,通过联合嵌入状态-动作对与概念解释,在训练时指导奖励塑形以加速智能体学习,在部署时提供可理解解释以提升用户任务表现,并在Connect 4和Lunar Lander中验证了双重益处。
2023-11-10 cs.AI cs.LG
Iterative Planning with Plan-Space Explanations: A Tool and User Study
Saarland University(萨尔兰大学)
在各种应用程序设置中,用户对规划任务的偏好-精确的优化目标-很难得出。一种可能的补救方法是将计划作为迭代过程,允许用户迭代地细化和修改示例计划。支持这一过程的一个关键步骤是解释,回答用户关于当前计划的问题。特别是,一个相关的问题是“为什么你建议的计划不满足$p$?其中p是用户期望的计划属性。请注意,这样的问题涉及计划空间,即,一套可能的替代方案。采用最近的方法来回答这样的问题,在计划属性的依赖关系,在这里,我们实现了一个工具和用户界面,人为引导的迭代规划,包括计划空间的解释。该工具在标准Web浏览器中运行,并为开发人员和用户提供简单的用户界面。我们进行了第一次用户研究,其结果表明迭代规划中的计划属性依赖解释的有用性。
2020-11-19 cs.AI
User Decision Guidance with Selective Explanation Presentation from Explainable-AI
Faculty of Systems Design, Tokyo Metropolitan University(东京都立大学系统设计学院);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI))
本文提出X-Selector方法,通过选择性呈现XAI解释并预测其影响,引导用户采纳AI建议,实验显示在高AI准确率下能提升决策一致性及任务表现。
2024-05-27 cs.AI cs.HC
Not all users are the same: Providing personalized explanations for sequential decision making problems
Arizona State University(亚利桑那州立大学)
人们对设计能够与人类一起工作的自主智能体越来越感兴趣。毫无疑问,这些代理人将被期望解释他们的行为和决定。虽然生成解释是一个积极研究的主题,但大多数作品倾向于关注生成解释的方法,这些方法适用于所有人。因为在用户模型的细节完全被忽略。少数作品着眼于根据用户的背景来定制他们的解释,这依赖于用户的特定模型(分析模型或学习标记模型)。因此,这项工作的目标是提出一个端到端的自适应解释生成系统,开始学习不同类型的用户,代理可以与之交互。然后,在与目标用户的交互过程中,它的任务是在运行中识别类型,并相应地调整其解释。前者是通过数据驱动的聚类方法实现的,而对于后者,我们将解释生成问题编译为POMDP。我们证明了我们的系统在两个域上使用最先进的POMDP求解器的有用性。我们还报告了一项用户研究的结果,该研究调查了在人机交互环境中提供个性化解释的好处。
2021-06-23 cs.AI cs.HC
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin(都柏林大学学院);Accenture Labs(埃森哲实验室);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
反事实解释是一种越来越受欢迎的事后解释形式,这是由于它们(i)跨问题领域的适用性,(ii)建议的法律合规性(例如,与GDPR),以及(iii)依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例,但我们探索了一种新的用例,其中使用“组反事实”(例如,以突出显示一组患者中的疾病的重复模式)。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的,组反事实算法,以产生高覆盖率的解释,是忠实于被解释的模型。该解释策略也在一项大型对照用户研究(N=207)中进行了评估,使用客观(即,准确性)和主观性(即,信心、解释满意度和信任)心理测量。结果表明,群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Towards an Explanation Space to Align Humans and Explainable-AI Teamwork
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Montreal University (Polytechnic)(蒙特利尔大学(理工学院))
为最终用户提供有意义和可操作的解释是在现实世界中实现可解释智能系统的基本前提。可解释性是用户和AI系统之间的一种情境交互,而不是静态的设计原则。解释的内容是依赖于上下文的,必须由关于用户及其上下文的证据来定义。本文旨在通过提出一个形成性的架构,从用户的角度定义的解释空间,这一概念的可操作性。该体系结构包括五个相互交织的组件,以概述任务的解释要求:(1)最终用户的心理模型,(2)最终用户的认知过程,(3)用户界面,(4)人类解释者代理,和(5)代理过程。我们首先定义架构的每个组件。然后,我们提出了抽象的解释空间,一个建模工具,聚合架构的组件,以支持设计师系统地调整解释与最终用户的工作实践,需求和目标。它指导了需要解释的内容(内容-最终用户的心理模型)的规范,为什么这种解释是必要的(上下文-最终用户的认知过程),以界定如何解释它(格式-人类解释器代理和用户界面),以及何时应该给出解释。然后,我们将该工具的使用在一个正在进行的案例研究,在飞机维修领域。最后,我们讨论了该工具可能的贡献,已知的局限性/改进领域,以及未来要做的工作。
2021-06-02 cs.AI cs.HC
CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations
National University of Singapore(新加坡国立大学)
本文通过认知建模分析不同XAI方法在结构化数据推理中的策略,发现模型能更准确拟合人类决策,为改进AI解释的可理解性提供新思路。
2026-04-30 cs.AI
Why Did the Robot Cross the Road? A User Study of Explanation in Human-Robot Interaction
Georgia Institute of Technology(佐治亚理工学院);H2O.ai
这项工作记录了一项试点用户研究,评估了对比,因果和示例解释在支持人类理解人工智能在一个假设的普通人类机器人交互HRI场景的有效性。在这样做的过程中,这项工作将可解释的AI XAI置于社会科学的背景下,并建议在社会科学的指导下改进HRI解释。
2020-11-30 cs.AI cs.HC cs.RO
Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI
School of Computing, Robert Gordon University(罗伯特戈登大学计算机学院)
本研究针对对话式XAI中多样化用户解释需求的满足问题,提出整合解释追问功能的意图满足框架及对话模型,经用户研究验证可提升用户参与度、系统实用性与整体体验。
2024-05-16 cs.AI cs.HC
Explainable Artificial Intelligence (XAI) from a user perspective- A synthesis of prior literature and problematizing avenues for future research
LUT University(拉彭兰塔-拉赫蒂工业大学);Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(挪威科技工业研究院数字研究所)
系统性文献综述(SLR)的最终检索查询于2022年7月15日进行。最初,我们从Scopus和Web of Science数据库中提取了1707篇期刊和会议文章。然后应用纳入和排除标准,选择58篇文章进行SLR。研究结果显示了塑造AI解释的四个维度,即格式(解释表示格式),完整性(解释应包含所有必要的信息,包括补充信息),准确性(关于解释准确性的信息)和货币(解释应包含最近的信息)。此外,随着解释的自动表示,用户可以在需要时请求附加信息。我们还发现了XAI效应的五个维度:信任、透明度、可理解性、可用性和公平性。此外,我们调查了当前的知识,从选定的文章问题化未来的研究议程,随着可能的研究路径的研究问题。因此,XAI及其对用户行为可能产生的影响的综合框架已经开发出来。
2022-11-24 cs.AI cs.LG
Use-Case-Grounded Simulations for Explanation Evaluation
Carnegie Mellon University(卡内基梅隆大学)
越来越多的研究机构进行了人类主体评估,以研究向用户提供机器学习模型的解释是否可以帮助他们解决实际的现实用例。然而,运行用户研究具有挑战性且成本高,因此每个研究通常仅评估有限数量的不同设置,例如,研究往往只评估几个任意选择的解释方法。为了应对这些挑战并帮助用户设计研究,我们引入了基于案例的模拟评估(SimEvals)。SimEvals涉及训练算法代理,这些算法代理将在人类受试者研究中呈现给每个参与者的信息内容(例如模型解释)作为输入,以预测感兴趣用例的答案。算法代理的测试集准确性提供了下游用例的信息内容的预测性的度量。我们对三个真实世界的用例(正向模拟,模型调试和反事实推理)进行了全面的评估,以证明Simevals可以有效地识别哪些解释方法可以帮助人类解决每个用例。这些结果证明SimEvals可用于有效筛选一组重要的用户研究设计决策,例如,在运行可能昂贵的用户研究之前,选择应向用户提供哪些解释。
2022-08-20 cs.AI cs.HC cs.LG
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院Insight SFI数据分析中心);VistaMilk SFI Research Centre, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院VistaMilk SFI研究中心);School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin(都柏林圣三一学院心理学院和神经科学研究所)
该研究通过127人的对照实验发现,反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高,且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
Whom do Explanations Serve? A Systematic Literature Survey of User Characteristics in Explainable Recommender Systems Evaluation
University of Zurich(苏黎世大学);Dublin City University(都柏林城市大学)
本文调查了124篇在用户研究中评估推荐系统解释的论文,发现当前研究主要涵盖特定用户,缺乏代表性,且数据报告存在不一致性,建议采取行动迈向更具包容性和可重复性的评估。
2025-02-03 cs.AI cs.HC cs.IR
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University(于默奥大学)
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注,以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法,他们主要是为技术用户。在许多有用的和实际的应用中,对最终用户的解释被忽视了。在这项工作中,我们提出了上下文的重要性(CI)和上下文的效用(CU)的概念,提取的解释,很容易理解的专家以及新手用户。该方法解释了预测结果,而无需将模型转换为可解释的模型。我们提出了一个例子,提供解释线性和非线性模型,以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值,以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用,提出完整的(即个人预测的原因)和对比解释(即对比实例对感兴趣的实例)。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
User Driven Model Adjustment via Boolean Rule Explanations
IBM Research(IBM研究院)
人工智能解决方案在很大程度上依赖于输入训练数据的质量和准确性,然而,训练数据可能并不总是完全反映最新的策略环境,或者可能缺少业务逻辑。可解释性的进步为用户提供了与机器学习预测的可解释进行交互的可能性,以便注入更准确地反映系统当前现实的修改或约束。在本文中,我们提出了一种解决方案,该解决方案利用ML模型的预测能力,同时允许用户指定对决策边界的修改。我们的交互式叠加方法实现了这一目标,而不需要模型重新训练,使其适用于需要即时更改决策的系统。我们证明了用户反馈规则可以与ML预测分层,以提供即时的变化,从而支持使用更少的数据进行学习。
2022-03-28 cs.AI cs.HC cs.LG
Less or More: Towards Glanceable Explanations for LLM Recommendations Using Ultra-Small Devices
Purdue University(普渡大学);Meta Reality Labs(元宇宙实验室);University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究针对超小型设备上LLM推荐解释的冗长问题,探索了结构化与时间自适应解释方法,发现结构化解释能减少用户认知负担但满意度较低,并提出了设计启示。
2025-02-26 cs.AI cs.HC
Robust Explanations for User Trust in Enterprise NLP Systems
Workday AI
本文提出一种统一的黑盒鲁棒性评估框架,用于评估token级解释的鲁棒性,通过留一法遮挡和现实扰动测试,发现解码器LLM比编码器基线更稳定,且模型规模越大稳定性越强,同时建立了鲁棒性与推理成本的实用权衡曲线。
2026-07-20 cs.AI cs.CL cs.LG
A User Study on Contrastive Explanations for Multi-Effector Temporal Planning with Non-Stationary Costs
University of Bristol(布里斯托尔大学)
本文针对智能家居多执行器时序规划问题,设计自定义规划器并采用反事实解释,通过128人用户研究证明其能提升用户满意度、理解度和对AI推荐方案的帮助性评价。
2024-09-20 cs.AI cs.HC cs.LG
I-CEE: Tailoring Explanations of Image Classification Models to User Expertise
本文提出I-CEE框架,依据用户专业水平选择示例图像、局部解释与模型决策,以定制图像分类解释;模拟及100人实验表明其显著提升用户对模型决策的可模拟性。
2025-07-24 cs.AI cs.CV cs.HC
Introducing User Feedback-based Counterfactual Explanations (UFCE)
DISPeA(DISPeA机构);University of Urbino(乌尔比诺大学);CiTIUS(CiTIUS机构);Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学)
针对现有反事实解释忽视关键特征与建议实用性的问题,提出UFCE方法,通过纳入用户约束和特征依赖生成最小可行修改,并在五个数据集上验证其在邻近性、稀疏性和可行性上优于两种主流方法。
2024-02-26 cs.AI cs.HC cs.LG
ContextualSHAP : Enhancing SHAP Explanations Through Contextual Language Generation
Kanazawa University(金泽大学)
本文提出结合大语言模型生成上下文解释的ContextualSHAP,提升SHAP解释的可理解性与实用性,通过医疗案例验证其有效性。
2025-12-08 cs.AI cs.HC cs.LG
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(阿霍德德尔海兹)
在各种商业环境中,人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术,因为这些模型被认为是“黑匣子”,即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法,合理预测的蒙特卡罗边界。在大误差的情况下,MC-BRP确定(1)将导致合理预测的特征值,以及(2)每个特征和目标之间的一般趋势,两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究,对真实用户的真实数据集进行评估,以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误,以及这是否会促进对自动学习模型的信任。我们的研究表明,当提供这些对比解释时,用户能够回答关于模型预测的客观问题,总体准确率为81.1%。我们发现,看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析,并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
A Knowledge Driven Approach to Adaptive Assistance Using Preference Reasoning and Explanation
Franklin & Marshall College(富兰克林与马歇尔学院);Massachusetts Institute of Technology(麻省理工学院);Occidental College(西方学院)
社会辅助机器人(SAR)需要通过解释其推理来提供其行为的透明度。此外,推理和解释应该代表用户的偏好和目标。为了满足这种可解释的推理和表示的需要,我们建议机器人使用类比心理理论来推断用户正在尝试做什么,并使用提示引擎根据用户正在尝试做什么来找到适当的帮助。如果用户不确定或困惑,机器人会向用户提供由解释合成器生成的解释。解释帮助用户理解机器人对用户偏好的推断,以及机器人为什么决定提供它所提供的帮助。知识驱动的方法提供了关于偏好、帮助和解释的推理的透明度,从而促进了用户反馈的结合,并允许机器人学习和适应用户。
2020-12-05 cs.AI cs.HC cs.RO
The AI-DEC: A Card-based Design Method for User-centered AI Explanations
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出AI-DEC卡片式设计方法,定义AI解释的四个维度,并通过多行业协同设计验证其能支持用户设计满足不同性能与自主性需求的解释。
2024-05-26 cs.AI cs.HC
Towards Probabilistic Planning of Explanations for Robot Navigation
King’s College London(伦敦国王学院)
本文提出一种概率框架,将用户中心设计融入机器人路径规划,通过概率建模用户解释偏好,自动规划解释以增强透明度和适应性。
2024-10-26 cs.AI cs.RO
Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
近年来,解释机器学习模型的数学方法激增。我们进行了人类受试者测试,这是同类测试中的第一次,以隔离算法解释对模型可解释性,可模拟性的关键方面的影响,同时避免重要的混淆实验因素。当一个人可以根据新的输入预测其行为时,模型是可模拟的。通过文本和表格数据的两种模拟测试,我们评估了五种解释方法:(1)LIME,(2)锚,(3)决策边界,(4)原型模型,和(5)一个组合的方法,从每种方法的解释。在极少数情况下,发现方法有效性的明确证据:LIME提高了表格分类的可模拟性,我们的原型方法在反事实模拟测试中是有效的。我们也收集解释的主观评分,但我们没有发现评分可以预测解释的帮助程度。我们的研究结果提供了第一个可靠和全面的估计如何解释影响模拟性在各种解释方法和数据域。我们表明,(1)我们需要小心我们用来评估解释方法的指标,(2)目前的方法有很大的改进空间。我们所有的支持代码、数据和模型都可以在https://github.com/peterbhase/InterpretableNLP-ACL2020上公开获取。
2020-05-04 cs.AI cs.CL cs.LG
Semantic Modeling for Food Recommendation Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院)
随着越来越多地使用人工智能方法来提供健康方面的建议,特别是在食物饮食建议领域,也越来越需要这些建议的可解释性。这种解释将使推荐系统的用户受益,使他们有理由遵循系统的建议。我们提出的食品解释本体(FEO),提供了一个形式主义的建模解释给用户的食品相关的建议。FEO对食物推荐进行建模,使用来自解释域的概念来创建对用户从AI系统(如个性化知识库问答系统)收到的关于食物推荐的问题的回答。FEO使用模块化、可扩展的结构,可用于各种解释,同时仍保留重要的语义细节,以准确地表示食物推荐的解释。为了评估这个系统,我们使用了一组能力问题,来自文献中的解释类型,是相关的食品建议。我们使用FEO的动机是让用户能够做出关于他们健康的决定,充分了解AI推荐系统,因为它们与用户问题有关,通过解释的形式提供建议背后的推理。
2021-05-04 cs.AI
Personalizing explanations of AI-driven hints to users' characteristics: an empirical evaluation
本文通过实证研究,探讨了针对低认知需求和尽责性用户个性化AI驱动提示解释的效果,发现个性化能提升用户互动、理解和学习效果。
2026-03-10 cs.AI cs.CY cs.HC
Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals
Simon Fraser University(西蒙弗雷泽大学)
非技术终端用户是最先进的可解释人工智能(XAI)技术的沉默和无形的用户。他们对AI可解释性的需求和要求并没有被纳入XAI技术的设计和评估中,XAI技术的开发是为了向最终用户解释AI决策的基本原理,并帮助他们做出关键决策。这使得XAI技术在高风险应用中无效甚至有害,例如医疗保健,刑事司法,金融和自动驾驶系统。为了系统地了解最终用户的需求,以支持XAI的技术开发,我们在四个AI辅助的关键任务中与32名非专业参与者进行了EUCA用户研究。该研究确定了基于特征、示例和规则的XAI技术的全面用户需求(表现为最终用户友好的解释形式)和XAI评估目标(表现为解释目标),这些都有助于直接激发新XAI算法和评估指标的建议。EUCA研究结果、技术规范的确定解释表格和目标以及EUCA研究数据集支持以最终用户为中心的XAI技术的设计和评估,以实现可访问、安全和可问责的AI。
2023-02-15 cs.AI cs.HC
Towards Transparent Robotic Planning via Contrastive Explanations
University of Virginia(弗吉尼亚大学)
提供所选机器人动作的解释可以帮助增加机器人规划的透明度并提高用户的信任度。社会科学认为,最好的解释是对比性的,不仅解释为什么采取一种行动,而且解释为什么采取一种行动而不是另一种行动。我们借鉴社会科学的见解,基于马尔科夫决策过程正式定义了机器人规划政策的对比解释概念。我们提出了自动生成对比解释的方法,有三个关键因素:选择性,收缩性和责任。在Amazon Mechanical Turk平台上对100名参与者进行的用户研究结果表明,我们生成的对比解释有助于提高用户对机器人规划策略的理解和信任,同时减少用户的认知负担。
2020-03-16 cs.AI cs.RO
Effective Explanations for Belief-Desire-Intention Robots: When and What to Explain
LASR Lab, TU Dresden(德累斯顿技术大学LASR实验室);Department of Computing Science, Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学计算机科学系)
本文研究BDI机器人在日常清洁任务中何时及如何向用户解释其行为,通过用户偏好调查提出识别意外行为并生成简洁有效解释的两种算法,以提升人机交互体验。
2025-07-02 cs.AI cs.RO
Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery
Georgia Institute of Technology(佐治亚理工学院)
随着智能系统功能的不断增强,机器人在我们日常生活中的整合越来越多。然而,当在如此复杂的人类环境中进行交互时,机器人系统的偶尔故障是不可避免的。可解释的人工智能领域一直试图使复杂的决策系统更具可解释性,但大多数现有技术都是针对领域专家的。相反,在许多故障情况下,机器人将需要非专家用户的恢复帮助。在这项工作中,我们引入了一种新的类型的解释,解释了一个意外的失败的原因,在代理的计划执行非专家。为了使错误的解释是有意义的,我们调查什么类型的信息在一组手写的解释是最有帮助的非专家的故障和解决方案的识别。此外,我们研究如何这样的解释可以自主生成,扩展现有的编码器-解码器模型,并在环境中推广。我们调查这样的问题的背景下,在家庭环境中执行拾取和放置操作任务的机器人。我们的研究结果表明,解释捕捉失败的背景和历史的过去的行动,是最有效的失败和解决方案识别之间的非专家。此外,通过第二次用户评估,我们验证了我们的模型生成的解释可以推广到一个看不见的办公环境,和手写的解释一样有效。
2021-01-05 cs.AI
Policy alone is probably not the solution: A large-scale experiment on how developers struggle to design meaningful end-user explanations
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);Colby College(科尔比学院);Howard University(霍华德大学);Department of Sociology, Yale University(社会学系,耶鲁大学)
研究发现,仅靠政策无法有效提升开发者设计面向终端用户的解释能力,需结合培训、工具和支持。
2026-01-16 cs.AI cs.HC cs.LG
Explanation through Reward Model Reconciliation using POMDP Tree Search
Department of Aerospace Engineering Sciences, University of Colorado Boulder(科罗拉多大学博尔德分校航空航天工程科学系);Applied Physics Laboratory, Johns Hopkins University(约翰霍普金斯大学应用物理实验室)
本文通过POMDP树搜索协调算法与用户隐式奖励模型差异,以提升用户对AI系统的信任度。
2023-05-01 cs.AI cs.HC cs.LG
Diagrammatization and Abduction to Improve AI Interpretability With Domain-Aligned Explanations for Medical Diagnosis
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出DiagramNet模型,结合图解与溯因推理为医学诊断提供领域对齐的可解释AI,优于基线模型,且图解式解释在用户研究中更受青睐。
2025-02-26 cs.AI cs.HC cs.LG
Path-based summary explanations for graph recommenders (extended version)
Archimedes/Athena RC(阿基米德/雅典娜研究中心);University of Ioannina(约阿尼纳大学)
针对现有图推荐路径解释多聚焦个体推荐的局限,提出基于斯坦纳树等高效图算法的摘要解释方法,可生成精简且保信息的集体行为解释,多维度质量优于基线方法。
2024-12-07 cs.AI
An Ontology-Enabled Approach For User-Centered and Knowledge-Enabled Explanations of AI Systems
IBM Research(IBM研究院);Center for Computational Health (CCH)(计算健康中心)
本论文提出解释本体与知识增强问答流水线,在临床场景中实现以用户为中心的知识增强解释,并探索组合多AI方法与多模态解释,以弥合模型可解释性与用户中心可解释性之间的差距。
2024-10-23 cs.AI
Subgoal-Based Explanations for Unreliable Intelligent Decision Support Systems
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
智能决策支持(IDS)系统利用人工智能技术来生成建议,这些建议引导人类用户完成任务的决策阶段。然而,一个关键的挑战是,IDS系统并不完美,在复杂的现实世界中,可能会产生不正确的输出或完全无法工作。可解释人工智能规划(XAIP)领域一直在寻求开发技术,使顺序决策人工智能系统的决策对最终用户更具解释性。至关重要的是,在将XAIP技术应用于IDS系统之前的工作已经假设规划者提出的计划总是最优的,因此作为决策支持向用户推荐的行动或计划总是正确的。在这项工作中,我们研究了新手用户与非鲁棒IDS系统的交互-偶尔会建议错误的操作,并且在用户习惯了它的指导后可能会变得不可用。我们引入了一种新的解释类型,基于子目标的解释,基于规划的IDS系统,补充传统的IDS输出的子目标的信息,建议的行动将有助于。我们证明了基于子目标的解释可以提高用户任务性能,提高用户区分最佳和次优IDS建议的能力,受到用户的青睐,并在IDS失败的情况下实现更强大的用户性能
2023-02-03 cs.AI