Trust Considerations for Explainable Robots: A Human Factors Perspective
Massachusetts Institute of Technology(麻省理工学院)
人工智能(AI)和机器人技术的最新进展引起了人们对AI系统和机器人的关注,人类用户需要能够理解。可解释人工智能(XAI)和可解释机器人文献旨在通过为用户提供有关人工智能和机器人行为的必要信息来增强人类理解和人类-机器人团队绩效。同时,人的因素文献长期以来一直致力于解决有助于人类表现的重要因素,包括人类对自治系统的信任。在本文中,从人的因素的文献,我们讨论了三个重要的信任相关的设计可解释的机器人系统的考虑:信任的基础,信任校准,和信任的特异性。我们进一步详细说明现有的和潜在的机器人系统的基础上提供的解释,可解释的机器人的信任评估指标。
2020-05-12 cs.HC cs.RO
Explanations as Dialogues: Toward Human-Centered Conversational Explainable AI
Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学)
本文提出解释应被视为动态对话而非静态产物,强调时机、语气、角色和对话历史对解释效果的关键作用,并展望以人为中心的对话式可解释人工智能(HC2XAI)。
2026-05-26 cs.HC
Towards Directive Explanations: Crafting Explainable AI Systems for Actionable Human-AI Interactions
针对现有可解释AI方法多面向技术专家、难以指导非技术用户达成预期结果的问题,研究打造可指导用户优化人机交互实现目标的XAI系统,阐述研究思路与用户研究发现,提出未来待解决的协作优化挑战。
2024-02-02 cs.HC
Explainable Human-Robot Training and Cooperation with Augmented Reality
针对无技术背景用户难理解机器人知识与任务表征的问题,研究提出用增强现实提升人机交互的可解释性与效率,并展示了示教训练、规划验证、助行意图传达三个用例。
2023-02-02 cs.HC
From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction
本综述回顾以人为中心的人工智能文献,超越可解释与可争议AI,聚焦交互式AI,倡导赋予用户更大自主权以参与AI的设计与演进。
2024-05-23 cs.HC
From Human-Human Collaboration to Human-Agent Collaboration: A Vision, Design Philosophy, and an Empirical Framework for Achieving Successful Partnerships Between Humans and LLM Agents
Northeastern University(东北大学);University of Notre Dame(圣母大学);ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出通过借鉴远程人类协作的研究来设计和研究人与LLM智能体的合作,建立新的协作范式和研究议程。
2026-02-05 cs.HC
Designs for Enabling Collaboration in Human-Machine Teaming via Interactive and Explainable Systems
MIT Lincoln Laboratory(麻省理工学院林肯实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院)
针对基于学习的HMT方法脆弱且缺乏协同的问题,提出支持迭代混合主动团队开发的方法,允许用户交互式重编程可解释AI队友,发现白盒交互修改能促进团队发展,黑盒更易训练,揭示了可解释性与训练易用性的权衡。
2024-11-17 cs.HC cs.RO
Explainable Representations of the Social State: A Model for Social Human-Robot Interactions
School of Mathematical and Computer Sciences(数学与计算机科学学院);Heriot-Watt University(赫瑞-瓦特大学)
在本文中,我们提出了一个最小的概念和信号需要跟踪社会状态在人机交互。我们研究了在多个人类和机器人的社会背景下复杂的连续交互的问题,并讨论了创建一个可解释和易于处理的表示/模型的社会互动。我们讨论这些表示,根据其代表性和通信特性,并将其组织成四个认知域(场景理解,行为分析,心理状态,对话接地)。
2020-10-09 cs.HC cs.RO
An Explainable AI Assistant for Introductory Programming Education: Improving Feedback Reliability with Instructor-AI Collaboration
North Carolina State University(北卡罗来纳州立大学);University of California, Berkeley(加州大学伯克利分校)
提出一种可解释AI驱动的课堂助手,通过分析学生代码、映射逻辑错误到教师识别的误解并提供教师撰写的反馈,提高入门编程课程中反馈的可靠性和可解释性。
2026-06-12 cs.AI cs.CY cs.ET
Who is this Explanation for? Human Intelligence and Knowledge Graphs for eXplainable AI
Cefriel(切夫里尔);Politecnico di Milano(米兰理工大学)
可解释的AI专注于为AI算法的输出向用户(通常是决策者)生成解释。这样的用户需要解释人工智能系统,以决定是否信任机器的结果。因此,在应对这一挑战时,应适当注意提供目标用户群体可以理解的解释。在本章中,我们主张需要更好地研究什么构成了人类的解释,即人类决策者可以解释和行动的机器行为的正当性。特别是,我们专注于人类智能可以为可解释的AI带来的贡献,特别是与知识图谱的开发相结合。事实上,我们呼吁知识表示与推理、社会科学、人类计算和人机合作研究之间更好地相互作用--正如其他人工智能分支已经探索的那样--以便通过采用人在回路方法来支持可解释人工智能的目标。
2020-05-27 cs.AI cs.HC
How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey
IT University of Copenhagen(哥本哈根信息技术大学);Royal Danish Academy(丹麦皇家艺术学院)
本文系统性综述了53篇文献,指出可解释界面(EIs)聚焦XAI的用户界面与体验设计,以提升系统可用性与实际可解释性,并揭示了人机交互趋势及未来设计与开发方向。
2024-03-21 cs.AI cs.HC
Explainable agency: human preferences for simple or complex explanations
本研究提出一种抽象因果推理链的解释模型,通过在线实验发现,人们对解释的满意度取决于因果关系的连贯性,而非简单或复杂的偏好,关键在于情境中相关的因果信息类型。
2024-03-18 cs.HC
An Actionability Assessment Tool for Explainable AI
针对可解释AI中可操作性概念模糊、相关论断缺乏依据的问题,研究人员构建了含7个问题的可操作性评估工具,经两项用户研究验证其可区分不同解释的可操作性且符合人类判断,为该领域提供了首个以人为本的可操作性评估定义与工具。
2024-06-19 cs.HC
Towards Human-centered Design of Explainable Artificial Intelligence (XAI): A Survey of Empirical Studies
本文综述以人为本的XAI实证研究,梳理算法、利益相关者、需求发现、设计空间、评估指标、发现与陷阱,并提出结合实证研究的设计框架。
2024-10-28 cs.HC
A Benchmark to Assess Common Ground in Human-AI Collaboration
Microsoft Research(微软研究院);Harvard University(哈佛大学)
本文提出一个评估人机协作中共同基础的基准,通过协作拼图任务验证,揭示人机交互与人类协作的差异。
2026-02-24 cs.HC
A Pilot Study on Clinician-AI Collaboration in Diagnosing Depression from Speech
本文通过小规模用户研究评估基于语音可解释ML的抑郁症检测辅助系统,发现更多XAI解释可提升临床医生信任但增加复杂度,并指出其融入筛查流程的潜力与可视化等局限。
2024-10-23 cs.HC
Designing Human-AI Systems: Anthropomorphism and Framing Bias on Human-AI Collaboration
本研究通过招聘场景中的3×3实验,发现拟人化显著影响用户对AI推荐的认同,而框架效应无显著影响,表明认知偏差影响人机协作,需定制化AI设计。
2024-11-10 cs.HC
Designing Human and Generative AI Collaboration
本研究通过创意写作实验发现,包含人类创意输入的人机协作设计能提升作品质量、满意度与多样性,强调了在生成式AI协作中保留人类创意角色的重要性。
2025-01-29 cs.HC
Towards a Comprehensive Human-Centred Evaluation Framework for Explainable AI
KU Leuven(鲁汶大学)
针对可解释人工智能(XAI)缺乏标准化以人为中心评估流程、现有评估未整体性考量解释对人的复杂影响的问题,研究调整推荐系统的用户中心评估框架,整合解释维度、梳理属性及关系并分类评估指标,助力XAI评估的以人为中心标准化。
2023-07-31 cs.AI cs.HC
Toward Affective XAI: Facial Affect Analysis for Understanding Explainable Human-AI Interactions
Department of Computer Science and Technology(计算机科学与技术系);University of Cambridge(剑桥大学)
随着机器学习方法越来越多地用于增强人类决策,可解释人工智能(XAI)研究已经探索了将系统行为传达给人类的方法。然而,这些方法往往无法解释人类在与解释互动时的情绪反应。面部情感分析,检查人类面部表情的情绪,是了解用户如何参与解释的一个有前途的镜头。因此,在这项工作中,我们的目标是(1)确定当人们与XAI界面交互时,哪些面部情感特征是明显的,以及(2)开发一种多任务特征嵌入,用于将面部情感信号与参与者使用解释联系起来。我们的分析和结果表明,面部AU 1和AU 4的发生和价值,以及唤醒被试未能有效地使用解释时,提高。这表明,面部情感分析应纳入XAI个性化解释个人的互动风格,并根据执行任务的难度调整解释。
2021-10-15 cs.CV cs.HC
CoAIcoder: Examining the Effectiveness of AI-assisted Human-to-Human Collaboration in Qualitative Analysis
本文针对AI辅助协作式定性分析,设计CoAIcoder并通过32对参与者的被试间实验,揭示共享AI中介提升效率与早期一致性但可能降低代码多样性。
2023-07-25 cs.HC
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University(首尔大学);Carnegie Mellon University(卡内基梅隆大学)
可解释人工智能(XAI)是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法,例如来自卫星图像的损坏检测任务,因为全自动方法不太可能完全安全可靠。然而,大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此,我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究,以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究,我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响,我们的研究结果的设计XAI方法,这样的视觉检测环境,并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
该研究通过大规模分析18254篇可解释人工智能文献,发现仅0.7%的论文提供了人类可解释性的实证证据,指出XAI研究存在验证缺口并呼吁加强人类评估。
2025-03-13 cs.AI cs.HC
Explainable Goal Recognition: A Framework Based on Weight of Evidence
University of Melbourne(墨尔本大学);Monash University(莫纳什大学);King Khalid University(哈利德国王大学)
我们介绍和评估eXplainable目标识别(XGR)模型,该模型使用证据权重(WoE)框架来解释目标识别问题。我们的模型提供了以人为本的解释,回答了为什么?为什么不呢问题.我们计算评估我们的系统在八个不同领域的性能。使用人类行为研究来从人类注释者那里获得基本事实,我们进一步表明XGR模型可以成功地生成类似人类的解释。然后,我们报告了一项研究,60名参与者观察代理人玩推箱子游戏,然后接收目标识别输出的解释。通过任务预测、解释满意度和信任度来考察被试对解释的理解。
2023-03-09 cs.AI cs.HC
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
Explainable Computational Creativity
Monash University(莫纳什大学);University of London(伦敦大学);Goldsmiths, University of London(伦敦大学金史密斯学院)
在计算创造力(CC)领域,人类与系统的协作通常限于浅层交互,其中系统和人类的创造性过程都是孤立进行的,没有用户的任何(或很少)干预,也没有关于如何展开决策的任何讨论。富有成效的共同创作需要持续不断的互动,包括讨论想法,与以前/其他作品的比较,增量改进和修改等。这意味着为CC系统提供发言权,并在它们和它们的用户之间建立双向沟通渠道,以便它们能够:解释它们的流程和决策,支持它们的想法,以便它们的创意合作者认真考虑这些想法,并从这些讨论中学习,以进一步改进它们的创意流程。为此,我们提出了一套CC系统的设计原则,旨在支持与人类合作者进行更大的共同创造和协作。
2022-05-11 cs.AI cs.HC
Human-centered Explainable AI: Towards a Reflective Sociotechnical Approach
Georgia Institute of Technology(佐治亚理工学院)
解释-一种事后可解释性的形式-在使系统可访问方面发挥着重要作用,因为人工智能继续扩散复杂和敏感的社会技术系统。在本文中,我们介绍了以人为中心的可解释人工智能(HCXAI)作为一种将人类置于技术设计中心的方法。它通过考虑价值观、人际动态和人工智能系统的社会地位的相互作用,发展了对人类“谁”的全面理解。特别是,我们提倡一种反思性的社会技术方法。我们通过一个针对非技术最终用户的解释系统的案例研究来说明HCXAI,该案例研究展示了技术进步和对人为因素的理解如何共同发展。在案例研究的基础上,我们提出了开放性研究问题,这些问题涉及进一步完善我们对人类“谁”的理解,并超越1对1的人机交互。最后,我们提出,一个反思HCXAI范式介导的关键技术实践的角度,并辅之以策略从HCI,如价值敏感的设计和参与式设计-不仅有助于我们了解我们的知识盲点,但它也可以打开新的设计和研究空间。
2020-02-05 cs.AI cs.HC
Reversing the Lens: Using Explainable AI to Understand Human Expertise
Department of Photon Science(光子科学系);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);Department of Machine Learning(机器学习系)
本研究利用可解释人工智能方法分析人类在调节粒子加速器任务中的学习过程,揭示专家能力发展中的问题分解与策略演变机制。
2025-11-21 cs.AI cs.HC cs.LG
Human-Centered Explainable AI (XAI): From Algorithms to User Experiences
Microsoft Research(微软研究院);IBM Research(IBM研究院)
近年来,可解释人工智能(XAI)领域已经产生了大量的算法,为研究人员和从业者构建XAI应用程序提供了有用的工具箱。随着丰富的应用机会,可解释性被认为已经超越了数据科学家或研究人员理解他们开发的模型的需求,成为人们信任和采用在众多领域部署的人工智能的基本要求。然而,可解释性本质上是以人为中心的属性,该领域开始接受以人为中心的方法。这一领域的人机交互(HCI)研究和用户体验(UX)设计正变得越来越重要。在本章中,我们从XAI算法的技术前景的高层次概述开始,然后有选择地调查我们自己和其他最近的HCI作品,这些作品采用以人为本的方法来设计,评估,并为XAI提供概念和方法工具。我们提出的问题是“以人为本的方法为XAI做什么”,并强调他们在塑造XAI技术中发挥的三个作用,帮助导航,评估和扩展XAI工具箱:通过用户的可解释性需求来驱动技术选择,发现现有XAI方法的陷阱并告知新方法,并为人类兼容的XAI提供概念框架。
2022-04-19 cs.AI cs.HC
A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人工智能(AI)辅助决策的研究正在经历巨大的增长,越来越多的研究评估了AI与可解释AI(XAI)领域的技术对人类决策性能的影响。然而,由于任务和实验设置因不同的目标而异,一些研究报告通过XAI提高了用户决策性能,而另一些研究报告的效果可以忽略不计。因此,在这篇文章中,我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析,以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外,第一批结果表明,人工智能决策往往会在文本数据上产生更好的任务性能。然而,与单独的AI预测相比,我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究,调查潜在的原因,并有助于进一步开发算法,通过提供有意义的解释,有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration
PUC-Rio(里约热内卢天主教大学)
本文首次在Overcooked-AI基准中,对分层特设智能体(HA²)架构生成的文本/音频实时解释开展被试间实验,分析XAI对人机协作的影响,为评估可解释强化学习架构建立基线方法。
2026-08-10 cs.AI cs.HC cs.MA
On the Influence of Explainable AI on Automation Bias
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人工智能(AI)正在获得动力,其对许多领域(如医学和银行业)未来工作的重要性正在不断上升。然而,关于人类和人工智能有效合作的见解仍然很少。通常,人工智能通过解决人类的局限性来支持人类的决策。然而,它也可能引起人类偏见,特别是以过度依赖人工智能建议的自动化偏见的形式。我们的目标是通过可解释AI(XAI)来揭示影响自动化偏见的潜力。在这个预测试中,我们得出了一个研究模型,并描述了我们的研究设计。随后,我们进行了在线实验,酒店评论分类和讨论的第一个结果。我们希望我们的研究有助于设计和开发安全的混合智能系统。
2022-04-19 cs.AI cs.HC
The Effect of Explainable AI-based Decision Support on Human Task Performance: A Meta-Analysis
University of Bamberg(班贝格大学)
本文通过元分析探究可解释AI决策支持对分类任务中人类绩效的影响,发现其能提升绩效,但解释本身非关键驱动因素,偏倚风险起调节作用。
2025-03-22 cs.AI cs.HC
Culture-Based Explainable Human-Agent Deconfliction
University of Cambridge(剑桥大学)
几个世纪以来,法律法规帮助组织社会,随着人工智能系统获得更多的自主权,我们质疑人类智能体系统如何在相同的规范下作为对等体运行,特别是在资源竞争时。我们认为,代理人必须是负责任的,并通过引用哪些规则来解释他们的决定。对解释的需求与用户的接受和信任有关。本文的贡献是双重的:i)我们提出了一个基于争论的人类代理架构,将人类的规则映射到具有可解释行为的人工代理的文化中。我们的架构依靠的概念,争论的对话,并产生解释,从历史上这样的对话;和ii)我们验证我们的架构与用户研究的背景下,人类代理路径deconfliction。我们的研究结果表明,当系统更复杂时,解释提供了显着更高的改善人类的表现。因此,我们认为,定义解释的需要的标准也应该考虑系统的复杂性。定性的研究结果表明,当规则更复杂,解释显着降低人类的挑战感。
2019-11-22 cs.HC cs.LO cs.MA
Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
HRL Laboratories, LLC(HRL实验室有限责任公司)
基于任务的刺激的快速非语言交流是人机合作的一个挑战,特别是在驾驶等闭环交互中。为了实现这一点,我们必须理解人类和机器的信息表示,并确定桥接这些表示的基础。分层相关传播(LRP)等可解释的人工智能(XAI)技术为深度神经网络等高维机器学习技术提供了视觉热图解释。在人类认知方面,视觉注意是由与当前任务相关的感觉输入的自下而上和自上而下的处理驱动的。由于XAI和人类认知都应该关注与任务相关的刺激,因此它们对视觉注意力的表示可能会重叠,从而可能提供人类和机器之间的非语言交流手段。在这项工作中,我们研究了经过训练以预测驾驶行为的神经网络的LRP热图解释与人类驾驶员的眼睛注视热图之间的相关性。该分析用于确定使用这种技术来提高驾驶性能的可行性。我们发现,LRP热图显示出越来越多的相似性水平与眼睛注视根据任务特异性的神经网络。然后,我们提出这些发现如何通过视觉上将注意力引导到相关区域来帮助人类。据我们所知,我们的工作提供了第一个已知的分析LRP和眼睛注视的驾驶任务。
2021-01-30 cs.AI cs.HC
Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations
Technical University of Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学);Rice University(莱斯大学)
本文系统回顾了过去五年97篇XAI用户研究核心论文,按信任、理解、可用性和人机协作性能分类,发现用户评估稀少且缺乏认知科学见解,并提出了实用指南和未来研究方向。
2024-10-16 cs.AI cs.HC
Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating Explainable AI Systems
Harvard University(哈佛大学)
可解释的人工智能(XAI)系统是社会技术系统的一部分,例如,人类+AI团队负责决策。然而,目前的XAI系统很少通过衡量人类+AI团队在实际决策任务中的表现来进行评估。我们进行了两项在线实验和一项面对面的有声思维研究,以评估目前用于评估XAI系统的两种常用技术:(1)使用代理,人工任务,例如人类如何根据给定的解释预测AI的决策,以及(2)使用信任和偏好的主观测量作为实际表现的预测因子。我们的实验结果表明,评估与代理任务没有预测的结果与实际的决策任务的评估。此外,对实际决策任务的评价的主观测量并不能预测这些相同任务的客观表现。我们的研究结果表明,通过使用误导性的评估方法,我们的领域可能会在无意中减缓开发人类+人工智能团队的进展,这些团队可以可靠地表现得比人类或人工智能更好。
2020-01-22 cs.AI cs.HC
Towards Explainable and Controllable Open Domain Dialogue Generation with Dialogue Acts
Microsoft Corporation(微软公司);Beihang University(北京航空航天大学)
我们研究开放域对话生成与对话行为,旨在解释人们如何参与社交聊天。为了模仿人类的行为,我们建议管理人机交互的流程,并将对话行为作为策略。策略和响应生成是从人与人的对话中共同学习的,并且前者通过强化学习方法进一步优化。与对话行为,我们实现了显着的改善,在国家的最先进的方法对给定的上下文和对话长度的机器-机器模拟和人机对话的响应质量。
2018-07-20 cs.AI cs.CL cs.HC
Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning
University of Edinburgh(爱丁堡大学);University of Southampton(南安普顿大学)
本文指出可解释强化学习评估应从主观指标转向基于可观察行为的客观人类指标,提出了几种用于调试智能体行为和人机协作的客观评估方法,并呼吁未来研究采用标准化基准以增强可比性。
2025-01-31 cs.AI cs.HC cs.RO
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University(迪肯大学);Federation University(联邦大学)
在过去的几年里,可解释人工智能(XAI)和紧密结合的可解释机器学习(IML)的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资,以及公众日益关注。人们每天都受到自主决策的影响,公众需要了解决策过程才能接受结果。然而,绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释,个人的决定是如何达成的基础上,一个特定的数据。虽然重要,但这些解释很少提供对代理的见解:信念和动机;其他(人类,动物或AI)代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而,我们认为,所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次,并描述如何将它们整合起来,以创建一个人性化的会话解释系统。在这样做的时候,本文将调查目前的方法,并讨论不同的技术,以实现这些水平与广泛的可解释人工智能(Broad-XAI)的整合,从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
Bridging Human Concepts and Computer Vision for Explainable Face Verification
Université de Mons (UMONS)(蒙斯大学);Université Libre de Bruxelles (ULB)(布鲁塞尔自由大学);EPITA(埃皮塔学院);Université Gustave-Eiffel(古斯塔夫·埃菲尔大学)
本文提出结合计算机与人类视觉的方法,利用Mediapipe分割人脸语义区域并改编两种模型无关算法,提升人脸验证决策的可解释性。
2024-01-30 cs.AI cs.CV cs.HC
Deep state-space modeling for explainable representation, analysis, and generation of professional human poses
Centre for Robotics, Mines Paris, Université PSL(巴黎高等矿业学院机器人中心,巴黎文理研究大学)
本文提出三种新方法,将人体运动表述为遵循GOM结构的深度状态空间模型,以解决随机性和可解释性挑战,用于专业人员全身灵巧性分析和人工专业运动生成。
2023-05-24 cs.AI cs.CV cs.HC
What's So Human about Human-AI Collaboration, Anyway? Generative AI and Human-Computer Interaction
本文探讨生成式AI语言能力如何重塑人机协作研究,提出将社会科学中人类协作特征引入人机交互分析,并结合行业访谈与多模态AI助手构建实践提供见解。
2025-03-07 cs.CY cs.HC
How explainable AI affects human performance: A systematic review of the behavioural consequences of saliency maps
TUD Dresden University of Technology(德累斯顿工业大学)
该系统综述通过分析68项用户研究,梳理了显著性图对人类表现的影响及调节因素,发现其效应存在差异且受任务类型等多种条件影响,可为后续用户研究设计提供参考。
2024-04-26 cs.AI cs.HC
Explainable AI And Visual Reasoning: Insights From Radiology
UC San Diego(加州大学圣迭戈分校)
本文探讨放射学中XAI解释为何无法获得信任,提出镜像人类推理与证据论证过程的解释设计原则,以提升其实用性与可信度。
2023-04-06 cs.AI cs.HC
The Utility of Explainable AI in Ad Hoc Human-Machine Teaming
Georgia Institute of Technology(佐治亚理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
机器学习的最新进展导致人们对可解释人工智能(xAI)的兴趣越来越大,以使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣,但xAI技术的实用性尚未在人机合作中得到表征。重要的是,xAI提供了增强团队态势感知(SA)和共享心理模型开发的承诺,这是有效人机团队的关键特征。快速开发这样的心智模型在特别的人机合作中尤其重要,因为智能体对其他人的决策策略没有先验知识。在本文中,我们提出了两个新的人类受试者实验,量化了在人机合作场景中部署xAI技术的好处。首先,我们证明了xAI技术可以支持SA($p<0.05)$ .其次,我们研究了通过协作AI策略抽象诱导的不同SA级别如何影响特定的人机协作性能。重要的是,我们发现xAI的好处并不普遍,因为它强烈依赖于人机团队的组成。新手受益于xAI提供增加的SA($p<0.05$),但易受认知开销($p<0.05$)的影响。另一方面,专家的性能随着基于xAI的支持($p<0.05$)的增加而下降,这表明关注xAI的成本超过了从提供额外信息以增强SA中获得的好处。我们的研究结果表明,研究人员必须通过仔细考虑人机团队组成以及xAI方法如何增强SA,在正确的场景中故意设计和部署正确的xAI技术。
2022-09-08 cs.AI cs.HC
Using Large Language Models to Compare Explainable Models for Smart Home Human Activity Recognition
University of Milan(米兰大学)
针对智能家居人类活动识别中XAI方法评估依赖成本高、公平性难保障的用户调研的问题,提出用大语言模型自动筛选最优XAI方法的方案,初步验证其评估结果与用户调研一致。
2024-07-24 cs.AI cs.HC
A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction
University of Genoa(热那亚大学);Italian Institute of Technology(意大利理工学院)
最先进的人工智能(AI)技术已经达到了令人印象深刻的复杂性。因此,研究人员正在发现越来越多的方法在现实世界中使用它们。然而,这种系统的复杂性需要引入使这些系统对人类用户透明的方法。人工智能社区正试图通过引入可解释人工智能(XAI)领域来克服这个问题,这是为了让人工智能算法不那么不透明。然而,近年来,人们越来越清楚地认识到,XAI不仅仅是一个计算机科学问题:因为它是关于通信的,XAI也是一个人机交互问题。此外,人工智能从实验室出来,用于现实生活。这意味着需要为非专家用户量身定制的XAI解决方案。因此,我们提出了一个以用户为中心的框架XAI,专注于其社会互动方面的灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式XAI解决方案的结构。
2021-11-05 cs.AI cs.HC cs.RO
Explainable Artificial Intelligence for Human Decision-Support System in Medical Domain
Aalto University(阿尔托大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
在本文中,我们提出了潜在的可解释的人工智能方法的决策支持在医学图像分析方案。通过将三种类型的可解释方法应用于相同的医学图像数据集,我们的目标是提高卷积神经网络(CNN)提供的决策的可理解性。视觉解释是在从视频胶囊内窥镜(VCE)获得的体内胃图像上提供的,目的是增加卫生专业人员对黑箱预测的信任。我们实现了两个事后可解释的机器学习方法LIME和SHAP以及以上下文价值和效用(CIU)为中心的替代解释方法CIU。所产生的解释使用人类评价进行评价。根据LIME、SHAP和CIU提供的解释,我们进行了三项用户研究。来自不同非医学背景的用户在基于网络的调查设置中进行了一系列测试,并陈述了他们的经验和对给定解释的理解。三个用户组(n=20,20,20)与三种不同形式的解释进行了定量分析。我们发现,正如假设的那样,CIU可解释方法在增加对人类决策的支持以及更透明,从而为用户所理解方面比LIME和SHAP方法表现得更好。此外,CIU通过更快地生成解释而优于LIME和SHAP。我们的研究结果表明,有显着的差异,在人类决策之间的各种解释支持设置。根据这一点,我们提出了三种潜在的可解释的方法,这些方法可以在未来的改进中推广到不同的医疗数据集上,并可以为医学专家提供很大的决策支持。
2021-05-05 cs.AI cs.CV cs.HC
Explain To Decide: A Human-Centric Review on the Role of Explainable Artificial Intelligence in AI-assisted Decision Making
College of Computing and Informatics(计算与信息学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
该综述聚焦人机协作决策场景下可解释人工智能(XAI)的作用,梳理相关实证研究,指出当前研究对解释如何影响人机团队绩效关注不足的问题,明确挑战并提出未来研究方向。
2023-12-11 cs.HC cs.LG
Assessing Gender Bias in Predictive Algorithms using eXplainable AI
Universitat de les Illes Balears(巴利阿里群岛大学)
预测算法具有强大的潜力,可以在医学或教育等不同领域提供好处。然而,这些算法和它们使用的数据是由人类构建的,因此,它们可以继承人类存在的偏见和偏见。结果可能会系统地重复错误,造成不公平的结果,甚至可能导致歧视(例如性别、社会或种族歧视)。为了说明使用多样化的训练数据集进行计数以避免偏见的重要性,我们操纵了一个著名的面部表情识别数据集来探索性别偏见并讨论其含义。
2022-03-19 cs.HC cs.LG
Robot Assisted Tower Construction - A Resource Distribution Task to Study Human-Robot Collaboration and Interaction with Groups of People
Cornell University(康奈尔大学);Robinhood(罗宾汉);RoBotany(机器人植物学)
人类与机器人协作或人类与机器人合作的研究主要集中在理解和实现单个机器人与单个人类之间的协作。将人机协作研究扩展到二元体之外,提出了关于机器人如何在组成员之间分配资源以及分配的社会和任务相关后果的新问题。需要方法上的进步,使研究人员能够收集有关涉及多人的人类机器人协作的数据。本文介绍了塔建设,一种新的资源分配任务,允许研究人员检查机器人和人群之间的协作。通过关注机器人的资源分配(建筑任务所需的木块)是否以及如何影响协作动态和结果的问题,我们提供了一个案例,说明如何在实验室研究中应用该任务,其中有124名参与者收集有关涉及多个人类的人类机器人协作的数据。我们强调了任务可以产生的各种见解。特别是,我们发现,资源的分配会影响性能的看法,和人类团队成员之间的人际动态。
2018-12-22 cs.HC cs.RO
Explainable and Human-Grounded AI for Decision Support Systems: The Theory of Epistemic Quasi-Partnerships
Faculty of Philosophy, Philosophy of Science and the Study of Religion, Ludwig Maximilian University Munich(哲学学院、科学哲学与宗教研究学院,慕尼黑路德维希-马克西米利安大学)
本文提出了一种新的理论框架,即知识性准伙伴关系理论(EQP),用于指导开发能够提供人类基础解释(原因、反事实和置信度)的AI决策支持系统,以满足伦理和可解释AI(XAI)的需求。
2024-09-23 cs.AI cs.ET cs.HC
Outlining the design space of eXplainable swarm (xSwarm): experts perspective
Bournemouth University(伯恩茅斯大学);University of Southampton(南安普顿大学)
本研究通过调查26位专家,概述了可解释群体(xSwarm)的设计空间,旨在明确群体机器人中可解释性的需求与挑战,为建立该新研究领域奠定基础。
2023-09-03 cs.CY cs.HC cs.RO