Visualizations for an Explainable Planning Agent
Computer Science Department, Arizona State University(亚利桑那州立大学计算机科学系);IBM T. J. Watson Research Center(IBM T.J.沃森研究中心)
在本文中,我们报告了一个可解释的人工智能规划(XAIP)代理,可以支持人类在循环决策的可视化功能。为了与端到端自动规划系统建立信任和共同点,对这些代理人提出透明度和可解释性要求尤为重要。可视化代理的内部决策过程是实现这一目标的关键一步。这可能包括外部化代理的“大脑”-从其感官输入开始,逐步由它做出更高阶的决定,以驱动其规划组件。我们还展示了规划师如何引导可解释规划的最新技术,以将计划可视化作为计划解释问题,从而提供简洁的基于模型的可视化计划。我们在仪表化会议空间中的智能助理的自动规划组件的背景下演示了这些功能。
2018-02-08 cs.AI cs.CY cs.HC
Interestingness Elements for Explainable Reinforcement Learning: Understanding Agents' Capabilities and Limitations
SRI International(斯坦福国际研究院)
我们提出了一个可解释的强化学习(XRL)框架,该框架分析代理与环境交互的历史,以提取有助于解释其行为的兴趣元素。该框架依赖于从标准RL算法中容易获得的数据,这些数据可以很容易地由代理在学习时收集。我们描述了如何创建一个代理的行为在短视频剪辑的形式突出关键的互动时刻,建议的元素的基础上的视觉摘要。我们还报告了一项用户研究,在该研究中,我们评估了人类正确感知具有不同特征的代理人的能力,包括他们的能力和局限性,并给出了我们的框架自动生成的视觉摘要。结果表明,不同兴趣度元素所捕获的方面的多样性对于帮助人类正确理解智能体在执行任务时的优势和局限性至关重要,并确定何时可能需要调整以提高其性能。
2020-08-19 cs.AI cs.HC cs.LG
Towards Visual Explainable Active Learning for Zero-Shot Classification
Tianjin University(天津大学);Tianjin cultural heritage conservation and inheritance engineering technology center(天津文化遗产保护与传承工程技术中心);Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage, China(国家文物局文物表面监测与分析重点科研基地)
零样本分类是解决训练类和测试类不相交问题的一种很有前途的方法。实现这一点通常需要专家通过手动指定类属性矩阵来定义哪些类具有哪些属性,从而将其领域知识具体化。设计一个合适的类属性矩阵是后续过程的关键,但这个设计过程是繁琐的,反复试验,没有指导。本文提出了一种可视化的可解释的主动学习方法-语义导航器来解决上述问题。这种方法在每个交互循环中通过四个动作(询问、解释、推荐、响应)促进人类与人工智能的合作。机器提出对比性问题,以指导人类对属性的思考过程。一种称为语义图的新颖可视化解释了机器的当前状态。因此,分析师可以更好地理解为什么机器会对物体进行错误分类。此外,机器为每个属性推荐类的标签,以减轻标记负担。最后,人类可以通过交互式地修改标签来控制模型,而机器则调整其推荐。与无指导的方法相比,视觉可解释的主动学习方法提高了人类交互式建立zero-shot分类模型的效率。我们证明我们的结果与用户研究使用标准的基准zero-shot分类。
2021-08-15 cs.AI cs.HC
Explainable AI And Visual Reasoning: Insights From Radiology
UC San Diego(加州大学圣迭戈分校)
本文探讨放射学中XAI解释为何无法获得信任,提出镜像人类推理与证据论证过程的解释设计原则,以提升其实用性与可信度。
2023-04-06 cs.AI cs.HC
Visual Analytics for Explainable and Trustworthy Artificial Intelligence
Utrecht University(乌特勒支大学)
本文探讨了可视化分析如何通过结合AI模型与交互式可视化,在典型AI管道各阶段培养信任,并提出创新可视化设计空间及支持关键任务的VA仪表板。
2025-07-14 cs.AI cs.HC cs.LG
Helping results assessment by adding explainable elements to the deep relevance matching model
在本文中,我们解决的可解释性网络搜索引擎。我们提出了两个可解释的元素上的搜索引擎结果页面:一个可视化的查询词权重和可视化的通道相关性。这个想法是,搜索引擎向用户表明为什么检索结果是由用户的价值更高,并获得用户的信任。我们从深度相关匹配模型(DRMM)中的术语门控网络推导出查询术语权重,并将其可视化为甜甜圈图。此外,我们用DRMM训练了一个高级排名器,它从每个文档中选择最相关的段落,并在结果页面上显示为片段。在片段旁边,我们显示了一个文档缩略图,突出显示了这段文字。我们评估建议的接口在一个在线用户研究,要求用户判断的可解释性和可评估性的接口。我们发现,用户判断我们提出的界面明显更易于解释和更容易评估比常规的搜索引擎结果页面。然而,他们在从前5名中选择相关文件方面并没有明显的优势。这表明搜索引擎结果页面的可解释性导致更好的用户体验。因此,我们得出结论,建议的可解释元素是有前途的可视化搜索引擎用户。
2021-06-09 cs.HC cs.IR
Interactive Decision Tree Creation and Enhancement with Complete Visualization for Explainable Modeling
Central Washington University(中华盛顿大学)
本文提出两种基于通用线坐标(BC和SPC)的决策树可视化新方法,可完整展示属性关系、数据流、阈值敏感性和案例密度,帮助专家评估和改进模型并防止过拟合。
2023-05-28 cs.HC cs.LG
The benefits and costs of explainable artificial intelligence in visual quality control: Evidence from fault detection performance and eye movements
该研究通过巧克力工厂视觉质检模拟实验及眼动分析,探究可解释人工智能(XAI)的收益与成本,发现XAI虽能提速,但对错误率的影响依赖其准确性,且可能降低人们自主信息分析的投入意愿。
2023-11-13 cs.HC
Characterizing Human Explanation Strategies to Inform the Design of Explainable AI for Building Damage Assessment
Seoul National University(首尔大学);Carnegie Mellon University(卡内基梅隆大学)
可解释人工智能(XAI)是一种支持人类与人工智能协作执行高风险视觉检测任务的有前途的方法,例如来自卫星图像的损坏检测任务,因为全自动方法不太可能完全安全可靠。然而,大多数现有的XAI技术并不了解人类对解释的特定任务需求。因此,我们朝着了解人类在损伤检测任务中需要什么形式的XAI迈出了第一步。我们进行了一项在线众包研究,以了解人们在根据卫星图像评估建筑物损坏的严重程度时如何解释自己的评估。通过对60名群众工作者的研究,我们发现了人类用来解释他们的视觉损害评估的六种主要策略。我们目前的影响,我们的研究结果的设计XAI方法,这样的视觉检测环境,并讨论未来的研究机会。
2021-11-04 cs.AI cs.HC
Explainable XR: Understanding User Behaviors of XR Environments using LLM-assisted Analytics Framework
Stony Brook University(石溪大学);Center for Visual Computing(视觉计算中心)
本文提出可解释XR框架,通过用户动作描述符、平台无关会话记录器和LLM辅助可视化分析界面,解决跨虚拟性、多用户协作及多模态数据下的XR用户行为分析难题。
2025-03-10 cs.CL cs.HC
NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis
Stony Brook University(石溪大学)
深度学习领域的最新进展已经显示了超大型神经网络在几种应用中的有效性。但是,随着这些深度神经网络的规模不断增长,配置它们的许多参数以获得良好的结果变得越来越困难。目前,分析人员必须试验许多不同的配置和参数设置,这是劳动密集型和耗时的。另一方面,在没有人类专家的领域知识的情况下,用于神经网络架构搜索的全自动技术的能力是有限的。为了解决这个问题,我们将神经网络结构优化的任务描述为一个基于一次性结构搜索技术的图空间探索。在这种方法中,所有候选架构的超级图在一次训练中被训练,并且最佳神经网络被识别为子图。在本文中,我们提出了一个框架,允许分析师有效地建立解决方案的子图空间,并通过注入他们的领域知识指导网络搜索。从由基本神经网络组件组成的网络架构空间开始,分析师可以通过我们的一次性搜索方案有效地选择最有前途的组件。以迭代方式应用该技术允许分析人员针对给定应用收敛到性能最佳的神经网络架构。在探索过程中,分析师可以使用他们的领域知识,并通过搜索空间的散点图可视化提供的线索来编辑不同的组件,并指导搜索以实现更快的收敛。我们与几位深度学习研究人员合作设计了我们的界面,并通过用户研究和两个案例研究对其最终有效性进行了评估。
2022-08-06 cs.CV cs.HC cs.LG
VIOLET: Visual Analytics for Explainable Quantum Neural Networks
针对量子神经网络难以理解的问题,提出可视分析方法VIOLET,通过三个视图和两种新可视化设计提升可解释性,并经案例研究和专家访谈验证其有效性。
2023-12-23 cs.HC quant-ph
Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
HRL Laboratories, LLC(HRL实验室有限责任公司)
基于任务的刺激的快速非语言交流是人机合作的一个挑战,特别是在驾驶等闭环交互中。为了实现这一点,我们必须理解人类和机器的信息表示,并确定桥接这些表示的基础。分层相关传播(LRP)等可解释的人工智能(XAI)技术为深度神经网络等高维机器学习技术提供了视觉热图解释。在人类认知方面,视觉注意是由与当前任务相关的感觉输入的自下而上和自上而下的处理驱动的。由于XAI和人类认知都应该关注与任务相关的刺激,因此它们对视觉注意力的表示可能会重叠,从而可能提供人类和机器之间的非语言交流手段。在这项工作中,我们研究了经过训练以预测驾驶行为的神经网络的LRP热图解释与人类驾驶员的眼睛注视热图之间的相关性。该分析用于确定使用这种技术来提高驾驶性能的可行性。我们发现,LRP热图显示出越来越多的相似性水平与眼睛注视根据任务特异性的神经网络。然后,我们提出这些发现如何通过视觉上将注意力引导到相关区域来帮助人类。据我们所知,我们的工作提供了第一个已知的分析LRP和眼睛注视的驾驶任务。
2021-01-30 cs.AI cs.HC
Reviewing the Need for Explainable Artificial Intelligence (xAI)
人工智能(AI)应用在组织和社会中的扩散推动了解释AI决策的研究。可解释人工智能(xAI)领域正在迅速扩大,有许多方法可以提取信息并可视化人工智能技术的输出(例如深度神经网络)。然而,我们对xAI研究如何解决可解释AI的需求的理解有限。我们对xAI文献进行了系统的回顾,并确定了xAI如何解决黑盒问题的四个主题辩论。基于对xAI奖学金的批判性分析,我们将研究结果综合到未来的研究议程中,以进一步发展xAI知识体系。
2021-01-26 cs.HC
How Learner Control and Explainable Learning Analytics on Skill Mastery Shape Student Desires to Finish and Avoid Loss in Tutored Practice
本研究探究不同控制层级结合可解释学习分析对辅导系统练习中学生选择策略的影响,通过中学生访谈发现学习者控制、技能掌握分析与假设解释可分别提升自我调节、引导弱项练习与强化优势掌握,为学习调节支持提供新思路。
2024-12-13 cs.HC
Explanation Strategies for Image Classification in Humans vs. Current Explainable AI
本研究比较图像分类中人类与XAI的解释策略,发现人类采用聚焦或探索性两种策略,突出可观测因果性特征的XAI方法更匹配人类解释。
2023-04-10 cs.HC
On the Forces of Driver Distraction: Explainable Predictions for the Visual Demand of In-Vehicle Touchscreen Interactions
University of Cologne(科隆大学);MBition GmbH(MBition有限公司)
随着现代信息娱乐系统的发展,驾驶员越来越倾向于在驾驶时从事次要任务。由于分心驾驶已经是致命事故的主要原因之一,车载触摸屏人机界面(HMI)必须尽可能少地分散注意力。为了确保这些系统使用安全,它们需要经过精心设计和昂贵的经验测试,需要功能齐全的原型。因此,早期阶段的方法通知设计师的影响,他们的设计可能对司机分心是非常有价值的。本文提出了一种机器学习方法,基于预期的使用场景,预测的视觉需求的车载触摸屏交互,并提供本地和全局的解释的因素影响驾驶员的视觉注意力分配。该方法基于从生产线车辆连续收集的大规模自然驾驶数据,并采用SHapley加法解释(SHAP)方法来提供利用明智的设计决策的解释。我们的方法比相关工作更准确,并确定了68%的准确率发生长时间扫视的相互作用,并预测了总的扫视时间,平均误差为2.4秒。我们的解释复制了最近各种研究的结果,并提供了关于UI元素,驾驶自动化和车辆速度对驾驶员分心的影响的快速和易于访问的见解。该系统不仅可以帮助设计师评估当前的设计,还可以帮助他们更好地预测和理解他们的设计决策可能对未来设计的影响。
2023-01-05 cs.AI cs.HC
From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction
Institute of Theoretical and Applied Informatics, PAS(波兰科学院理论与应用信息研究所)
该研究提出多智能体框架,将时间序列预测的视觉输出转为模型感知文本解释,可提升非视觉交互的可访问性,其可解释配置使解释质量最高提升32%。
2026-08-27 cs.AI cs.HC
Explainable AI improves task performance in human-AI collaboration
本文通过制造业与医学两项预注册视觉检查实验,证明可视化热力图形式的可解释AI相较黑箱AI能帮助专家正确遵从或推翻预测,并显著降低决策错误率。
2024-06-12 cs.HC
Fiper: a Visual-based Explanation Combining Rules and Feature Importance
Università di Pisa(比萨大学);Università degli Studi di Bari Aldo Moro(巴里阿尔多·莫罗大学);ISTI - CNR(意大利国家研究委员会信息科学与技术研究所)
本文提出Fiper,一种结合规则与特征重要性的可视化解释方法,通过15人用户研究验证了其在提升黑盒算法可解释性方面优于原始输出和文本表示。
2024-04-25 cs.AI cs.HC