Interactive Example-based Explanations to Improve Health Professionals' Onboarding with AI for Human-AI Collaborative Decision Making
Singapore Management University(新加坡管理大学);Singapore General Hospital(新加坡综合医院)
提出交互式基于示例的解释方法,通过呈现最近邻样本协助健康专业人员入门AI,实验证明该方法能优化人员对AI的依赖并提高正确决策比例,降低错误决策比例。
2024-09-24 cs.AI cs.HC cs.LG
UNIPO: Unified Interactive Visual Explanation for RL Fine-Tuning Policy Optimization
Georgia Tech(佐治亚理工学院)
UNIPO通过统一设计揭示RL微调算法的token级训练动态,提供高阶训练概述、步骤级提示响应检查器和算法对比视图,支持非专家教学和AI从业者算法选择。
2026-07-10 cs.HC
From Explanation to Diagnosis: Next Generation Interactive Video Coach with Misstep Awareness
Georgia Institute of Technology(佐治亚理工学院)
提出一种基于双模型架构的失误感知教练能力,通过将任务-方法-知识模型与教学模型结合,实现学习者错误的检测、分类和诊断性支架生成,从而提供更精确、可操作的反馈。
2026-08-04 cs.HC
Improving Human Verification of LLM Reasoning through Interactive Explanation Interfaces
University of Virginia(弗吉尼亚大学);Auburn University(奥本大学)
本文提出三种交互式推理界面,通过增强用户对LLM推理过程的理解,提高人类验证效率和准确性。
2026-01-26 cs.HC
X-SYS: A Reference Architecture for Interactive Explanation Systems
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD – 柏林学习与数据基础研究所);Technical University Dublin(都柏林理工大学)
本文提出X-SYS参考架构,通过STAR质量属性和五组件分解,指导交互解释系统的设计与实现,解决可解释AI在系统部署中的挑战。
2026-04-13 cs.AI cs.HC cs.SE
ASQ-IT: Interactive Explanations for Reinforcement-Learning Agents
Technion - I.I.T(以色列理工学院);University of Haifa(海法大学)
随着强化学习方法越来越多地积累成就,理解其解决方案的需求变得更加重要。大多数可解释的强化学习(XRL)方法生成静态解释,描述了开发人员对应该解释什么和如何解释的直觉。相反,社会科学的文献提出,有意义的解释被构造为解释者和被解释者之间的对话,这表明用户和她与代理人的沟通扮演着更积极的角色。在本文中,我们提出了ASQ-IT -一个交互式工具,提出了代理在其环境中的查询的基础上,描述感兴趣的行为的时间属性的代理的视频剪辑。我们的方法是基于形式化的方法:查询ASQ-IT的用户界面映射到一个片段的线性时序逻辑有限的痕迹(LTLf),我们开发的,我们的算法是基于自动机理论的查询处理。用户研究表明,最终用户可以理解和制定查询ASQ-IT,并使用ASQ-IT帮助用户识别错误的代理行为。
2023-01-24 cs.AI cs.HC
Modelling GDPR-Compliant Explanations for Trustworthy AI
通过《通用数据保护条例》(GDPR),欧盟制定了自动决策(ADM)和人工智能的愿景,这些愿景必须可靠且以人为本。特别是,我们对解释权感兴趣,这要求行业提供ADM的解释。为支持这一愿景的实施而设立的人工智能高级别专家组(AI-HLEG)已经制定了指导方针,讨论了适合以用户为中心的(交互式)解释工具的解释类型。在本文中,我们基于ISO 9241中以用户为中心的概念提出了我们的解释性叙述(EN)版本,作为与GDPR和AI-HLEG指南一致的以用户为中心的解释模型。通过使用EN,我们转换成一个适当的路径在一个解释空间的识别问题生成的解释ADM,允许explainees交互式地探索它,并产生最适合他们的需要的解释。为此,我们列出了合适的勘探理论,我们研究的属性和结构的解释,并讨论了所提出的模型,确定其弱点和优势。
2021-09-09 cs.HC
Interactive Explanation with Varying Level of Details in an Explainable Scientific Literature Recommender System
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文针对可解释推荐系统中解释静态且一刀切的问题,提出一种以用户为中心的交互式解释模型,在RIMA系统中实现基础、中级和高级三个细节层级的解释。定性用户研究(N=14)表明,赋予用户控制权能满足不同需求,有效提升系统的透明度、信任、满意度和用户体验。
2023-10-18 cs.AI cs.CY cs.HC
Interactive dense pixel visualizations for time series and model attribution explanations
University of Konstanz(康斯坦茨大学)
提出交互式可视化分析方法 DAVOTS,通过密集像素可视化探索时间序列数据、神经网络激活值与归因,并应用聚类和排序策略辅助发现模式,帮助理解模型决策与解释。
2024-08-27 cs.AI cs.HC cs.LG
Dialogue based Interactive Explanations for Safety Decisions in Human Robot Collaboration
Department of Civil Engineering and Management, Faculty of Science and Engineering, The University of Manchester(曼彻斯特大学科学与工程学院土木工程与管理系);VRAIN, Universitat Politècnica de València(瓦伦西亚理工大学VRAIN研究所);Department of Engineering, University of Cambridge(剑桥大学工程系);Department of Mechanical and Aerospace Engineering, Faculty of Science and Engineering, The University of Manchester(曼彻斯特大学科学与工程学院机械与航空航天工程系);Center for the Possible Futures, Kyoto Institute of Technology(京都工艺纤维大学未来可能性中心);Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Graduate School of Frontier Sciences, The University of Tokyo(东京大学新领域创成科学研究科)
本文提出一种基于对话的交互式解释框架,用于人机协作中的安全决策,通过约束基础的安全评估实现解释与决策的紧密耦合,支持因果、对比和反事实查询,提升安全干预的透明度和协作效率。
2026-04-10 cs.HC cs.RO
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
尽管人工智能有望改善人类在社会关键领域的决策,但人类-人工智能团队如何在具有挑战性的预测任务(也称为互补性能)中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向,以了解在实现互补性能的差距。首先,我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能,我们设计了具有不同分布类型的实验,并研究了分布内和分布外示例的人类性能。其次,我们开发了新的界面来支持交互式解释,以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验,我们证明了分布内和分布外之间的明显差异,并观察到交互式解释的混合结果:虽然交互式解释提高了人类对人工智能辅助有用性的感知,但它们可能会加强人类的偏见并导致有限的性能改善。总的来说,我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC
LangLasso: Interactive Cluster Descriptions through LLM Explanation
University of Konstanz(康斯坦茨大学);Utrecht University(乌得勒支大学);Eindhoven University of Technology(埃因霍温理工大学)
LangLasso通过LLM生成交互式自然语言描述,使非专家也能理解聚类结构并整合外部知识。
2026-01-15 cs.HC cs.LG stat.CO
Effects of interactivity and presentation on review-based explanations for recommendations
用户评论已经成为推荐和解释产品或服务的重要来源。特别地,基于用户评论提供解释可以改善用户对推荐系统(RS)的感知。然而,很少有人知道如何审查为基础的解释,可以有效地和高效地呈现给用户的RS。我们调查的潜力,互动的解释在评论为基础的RS领域的酒店,并提出了一个解释方案的启发对话模型和正式的论点结构。此外,我们还解决了交互性和不同的演示风格(即只使用文本,条形图或表格)的综合效果,以及不同的用户特征可能对用户的感知系统及其解释的影响。为此,我们使用矩阵分解解释方法实现了基于评论的RS,并进行了用户研究。我们的研究结果表明,提供更多的交互式解释在基于评论的RS有一个显着的积极影响的解释质量,有效性和信任的感知系统的用户,用户的特征,如理性的决策风格和社会意识也有显着的影响,这种看法。
2021-09-03 cs.HC
Impact of Feedback Type on Explanatory Interactive Learning
University College Dublin(都柏林大学)
解释性交互学习(XIL)收集用户对视觉模型解释的反馈,以实现基于人在回路(HITL)的交互学习场景。不同的用户反馈类型将对用户体验和与收集反馈相关联的成本具有不同的影响,因为不同的反馈类型涉及不同级别的图像注释。虽然XIL已被用于提高多个领域的分类性能,但不同用户反馈类型对模型性能和解释准确性的影响尚未得到很好的研究。为了指导未来的XIL工作,我们比较了图像分类任务中两种不同用户反馈类型的有效性:(1)指示算法忽略某些虚假图像特征,以及(2)指示算法专注于某些有效图像特征。我们使用的解释,从一个服从加权类激活映射(GradCAM)为基础的XIL模型,以支持这两种反馈类型。我们发现,识别和注释虚假的图像特征,一个模型发现显着的结果在优越的分类和解释精度比用户反馈,告诉模型专注于有效的图像特征。
2022-09-26 cs.AI cs.HC
Outcome-Explorer: A Causality Guided Interactive Visual Interface for Interpretable Algorithmic Decision Making
算法决策系统的广泛采用带来了解释这些决策背后的推理的必要性。这些系统中的大多数是复杂的黑盒模型,辅助模型通常用于近似并解释其行为。然而,最近的研究表明,这种解释对于没有机器学习专业知识的普通用户来说并不容易理解,这可能导致对底层模型的错误解释。在本文中,我们表明,基于因果关系的预测和交互式模型本质上是可解释的,不需要任何辅助模型,并允许专家和非专家用户全面理解模型。为了证明我们的方法,我们开发了结果资源管理器,因果关系引导的交互式界面,并进行有声思维会议与三个专家用户和用户研究与18个非专家用户进行评估。所有三个专家用户都发现我们的工具在支持他们的解释需求方面是全面的,而非专家用户能够轻松理解模型的内部工作原理。
2022-02-25 cs.HC
Generative Lecture: Making Lecture Videos Interactive with LLMs and AI Clone Instructors
University of Colorado Boulder(科罗拉多大学博尔德分校)
Generative Lecture通过AI克隆讲师和生成式AI使讲座视频互动化,支持学生个性化学习和双向沟通。
2025-12-29 cs.HC
From Philosophy to Interfaces: an Explanatory Method and a Tool Inspired by Achinstein's Theory of Explanation
我们提出了一种新的方法解释人工智能(AI)和一个工具来测试其表达能力在用户界面。为了弥合哲学和人机界面之间的差距,我们展示了一种新的方法,用于生成基于复杂的人工智能算法管道的交互式解释,用于将自然语言文档结构化为知识图谱,有效地和令人满意地回答问题。在解释的主流哲学理论中,我们发现了一个在我们看来更容易作为以用户为中心的工具的实用模型的解释理论:Achinstein的解释理论。通过这项工作,我们的目标是证明Achinstein提出的理论实际上可以适用于被实施到一个具体的软件应用程序,作为一个互动的过程回答问题。为此,我们找到了一种处理一般(原型)问题的方法,这些问题隐含地将解释过程作为初步的概述,而不是作为对明确问题的回答。为了展示这种方法的表达能力,我们设计并实现了一个人工智能算法的管道,用于以概述的形式生成交互式解释,专注于解释的这一方面,而不是现有的接口和问答的呈现逻辑层。我们在IBM著名的XAI支持的信贷审批系统上测试了我们的假设,将PEM(一种用于事后解释的静态解释工具)与我们开发的基于我们的模型添加交互式解释的扩展进行比较。涉及100多名参与者的用户研究结果表明,我们提出的解决方案在基线上产生了统计学相关的有效性改善(U=931.0,p=0.036),从而为我们的理论提供了证据。
2021-09-09 cs.AI cs.HC
SQLucid: Grounding Natural Language Database Queries with Interactive Explanations
Purdue University(普渡大学);University of Sydney(悉尼大学);University of Notre Dame(圣母大学)
本文提出 SQLucid 交互式界面,通过视觉对应、中间结果和可编辑的自然语言分步 SQL 解释,帮助非专家理解并优化查询,实验证明其提升了任务准确性与用户信心。
2024-09-10 cs.CL cs.HC
MisVisFix: An Interactive Dashboard for Detecting, Explaining, and Correcting Misleading Visualizations using Large Language Models
MisVisFix利用大语言模型提供交互式工具,用于检测、解释和纠正误导性可视化信息,提升数据解读的准确性和可信度。
2025-08-06 cs.HC
Interactive Machine Learning Interfaces for Disease Risk Prediction: Effects on Risk Perception and Behaviour
University of Waterloo(滑铁卢大学)
本研究通过15人混合方法实验,发现用户对交互式2型糖尿病风险界面的实际理解优于自我感知,但存在术语、风险框架和解释障碍,据此提出设计指南以提升信任与公平。
2026-10-05 cs.HC
DeepSeer: Interactive RNN Explanation and Debugging via State Abstraction
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学);Purdue University(普渡大学)
递归神经网络(RNN)在处理序列数据时具有优越的性能,已被广泛应用于自然语言处理(NLP)任务中。然而,由于RNN固有的复杂性和缺乏透明度,解释和调试RNN具有挑战性。虽然已经为RNN提出了许多可解释的AI(XAI)技术,但其中大多数只支持局部解释而不是全局解释。在本文中,我们介绍了DeepSeer,这是一个交互式系统,它在多个紧密协调的视图中提供了RNN行为的全局和局部解释,用于模型理解和调试。DeepSeer的核心是一种状态抽象方法,它将语义相似的隐藏状态捆绑在RNN模型中,并将模型抽象为有限状态机。用户可以通过检查与每个状态相关联的文本模式以及状态之间的转换来探索全局模型行为。用户还可以通过检查给定输入的状态跟踪和中间预测结果来深入到各个预测中。一项有28名参与者的受试者间用户研究表明,与流行的XAI技术LIME相比,使用DeepSeer的参与者对RNN模型行为进行了更深入、更全面的评估,更准确地识别了错误预测的根本原因,并提出了更可行的计划来提高模型性能。
2023-03-02 cs.HC cs.LG cs.SE
Melody: Generating and Visualizing Machine Learning Model Summary to Understand Data and Classifiers Together
随着机器学习模型的日益复杂,开发仅关注一个实例(局部解释)的模型解释技术以确保对原始模型的忠实性的趋势日益增长。虽然这些技术提供了对各种数据基元(例如,表格、图像或文本),整体可解释人工智能(XAI)体验还需要对模型和数据集进行全局解释,以实现不同粒度的意义构建。因此,协同模型解释和可视化分析方法具有巨大的潜力。在本文中,我们提出了MELODY,一个交互式的算法来构建一个最佳的全球概述的模型和数据的行为,通过总结当地的解释,使用信息论。结果(即,解释概要)不需要额外的学习模型、数据原语的限制或来自用户的机器学习知识。我们还设计了MELODY UI,这是一个交互式视觉分析系统,用于演示解释摘要如何将各种XAI任务中的点从全局概述连接到本地检查。我们提出了三个使用场景的表格,图像和文本分类,以说明如何概括不同数据的模型可解释性。我们的实验表明,我们的方法:(1)提供了一个更好的解释总结相比,一个简单的信息理论总结和(2)实现了显着的加速在端到端的数据建模管道。
2020-07-21 cs.HC
Fanoos: Multi-Resolution, Multi-Strength, Interactive Explanations for Learned Systems
Carnegie Mellon University(卡内基梅隆大学)
机器学习对于控制复杂环境中的安全和财务关键组件的行为变得越来越重要,在复杂环境中,无法理解一般的学习组件,特别是神经网络,对它们的采用构成了严重障碍。学习系统的可解释性和可解释性方法已经获得了相当多的学术关注,但是当前方法的焦点仅集中在解释的一个方面,在固定的抽象层次上,并且如果有任何正式保证的话,则有限,这阻止了相关利益相关者(例如,最终用户、认证机构、工程师)的不同背景和具体情况的需求。我们介绍Fanoos,结合形式化验证技术,启发式搜索和用户交互的框架,以探索在所需的粒度和保真度水平的解释。我们证明了Fanoos的能力,生产和调整的抽象性的解释,以响应用户的要求,在一个学习控制器的倒立双摆和学习的CPU使用模型。
2022-02-15 cs.AI cs.HC cs.LG
Interactive Analysis of Global Explanations using Aggregated Class Activation Maps for Network Data
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
针对网络流量分类中同一类别内存在不同模式的问题,提出基于聚合类激活图的可视化交互式系统,可实现全局解释的探索优化,辅助专家检测新模式、制定网络管理规则及优化深度学习模型。
2026-08-17 cs.AI cs.HC cs.LG
HANSEL: Interactive Evidence for Post-Hoc Verification of Web Agents
University of California, Irvine(加州大学尔湾分校)
提出HANSEL系统,从AI智能体轨迹中提取可交互验证的证据,减少用户审查负担,在基准测试中达到83.7%精确率和88.9%召回率,用户研究显示显著降低任务完成时间和感知努力。
2026-06-18 cs.HC
CueTip: An Interactive and Explainable Physics-aware Pool Assistant
University of Edinburgh(爱丁堡大学);Lightspeed Studios(光速工作室);Independent Researcher(独立研究者)
本文提出 CueTip 台球助手,通过自然语言事件轨迹、物理感知推理、专家规则解释和神经适配器,实现可复用的交互式可解释教练功能。
2025-03-18 cs.AI cs.HC
Transformer Explainer: Learning LLM Transformers with Interactive Visual Explanation and Experimentation
Georgia Tech(佐治亚理工学院);IBM Research AI(IBM研究院人工智能部门);Yonsei University(延世大学)
针对非专家难以学习Transformer的问题,本文推出交互式可视化工具Transformer Explainer,可在浏览器运行GPT-2实例支持实验,经90人研究验证其提升理解与参与度的优势,已获超49万用户使用。
2026-08-11 cs.AI cs.CL cs.HC
EXMOS: Explanatory Model Steering Through Multifaceted Explanations and Data Configurations
KU Leuven(鲁汶大学);University of Glasgow(格拉斯哥大学);University of Maribor(马里博尔大学)
本研究针对交互式机器学习系统中不同类型全局解释辅助医疗专家优化模型的有效性问题,通过定量与定性研究验证了数据中心与模型中心解释的混合融合方案效果最优,并给出解释驱动型系统的设计启示。
2024-02-01 cs.AI cs.HC
Understanding Large Language Model Behaviors through Interactive Counterfactual Generation and Analysis
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);IBM Research(IBM研究院)
本文提出LLM Analyzer交互式可视化系统,通过反事实分析高效探索LLM行为,生成语义反事实并计算特征归因,经用户研究验证其有效性与人机协作价值。
2025-08-07 cs.AI cs.CL cs.HC
Personalized Interpretability -- Interactive Alignment of Prototypical Parts Networks
Jagiellonian University(雅盖隆大学);University of Trento(特伦托大学);Transmission Dynamics University of Warsaw(传输动力学华沙大学);Ardigen SA(阿德金集团)
本文提出YoursProtoP交互式策略,通过用户监督对原型部件概念进行适配与拆分,在保持模型准确率的同时实现概念一致性,满足用户个性化理解需求。
2025-06-05 cs.CV cs.HC
Interactive Counterfactual Generation for Univariate Time Series
University of Konstanz(康斯坦茨大学)
提出一种交互式方法,利用二维投影和决策边界图生成单变量时间序列分类的反事实解释,通过ECG5000数据集验证,显著提升可解释性和用户理解。
2024-08-20 cs.HC cs.LG
ViCE: Visual Counterfactual Explanations for Machine Learning Models
New York University Abu Dhabi(纽约大学阿布扎比分校);NYU Tandon School of Engineering(纽约大学坦登工程学院)
机器学习模型的预测准确性的持续改进使得它们能够广泛地实际应用。然而,许多看似准确的模型做出的决策仍然需要领域专家的验证。此外,模型的最终用户还希望了解具体决策背后的原因。因此,对可解释性的需求越来越重要。在本文中,我们提出了一个交互式的可视化分析工具,ViCE,生成反事实的解释,上下文和评估模型的决策。评估每个样本,以确定翻转模型输出所需的最小更改集。这些解释旨在为最终用户提供个性化的可操作见解,以便理解,并可能质疑或改进自动化决策。结果有效地显示在一个可视化界面中,其中突出显示了反事实的解释,并为用户提供了交互式方法来探索数据和模型。该工具的功能证明了其应用程序的房屋净值信贷额度数据集。
2020-03-05 cs.AI cs.HC cs.LG
Human-Centered Explainability in Interactive Information Systems: A Survey
本文系统综述了交互式信息系统中以人为中心的解释性研究,基于100篇文献提出解释性概念化的五个维度、解释设计分类方案及六个以用户为中心的测量维度,为设计透明可信的系统提供理论指导。
2025-07-03 cs.HC
Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions
University of Bamberg(班贝格大学)
交互式机器学习(IML)将使智能系统能够交互式地从最终用户那里学习,并且正变得越来越重要。虽然它将人类置于循环中,但交互主要是通过错过上下文信息的相互解释来执行的。此外,目前的模型无关的IML策略,如CAIPI,仅限于“破坏性”反馈,这意味着它们只允许专家阻止学习者使用不相关的功能。在这项工作中,我们提出了一个新的交互框架,称为语义交互学习的文本域。我们框架的问题,将建设性的和上下文反馈到学习者作为一项任务,找到一个架构,(a)使更多的语义对齐人类和机器之间,(b)在同一时间有助于保持统计特征的输入域时,生成用户定义的反例的基础上有意义的更正。因此,我们引入一种称为SemanticPush的技术,该技术可有效地将人类的概念校正翻译为非外推训练样本,从而将学习者的推理推向所需的行为。在几个实验中,我们证明了我们的方法在下游多类分类任务中的预测性能和局部解释质量方面明显优于CAIPI,CAIPI是最先进的IML策略。
2022-09-07 cs.AI cs.HC cs.LG
Decisions that Explain Themselves: A User-Centric Deep Reinforcement Learning Explanation System
随着深度强化学习(RL)系统(如自动驾驶)的广泛部署,但在很大程度上仍然是不透明的,开发人员经常使用可解释的RL(XRL)工具来更好地理解和使用深度RL代理。然而,以前的XRL作品采用以技术为中心的研究方法,忽略了RL开发人员如何看待生成的解释。通过一项试点研究,我们确定了RL从业者使用XRL方法的主要目标,以及扩大现有XRL方法与这些目标之间差距的四个陷阱。陷阱包括难以理解的推理过程,不一致或无法理解的解释,以及无法概括的解释。为了填补发现的差距,我们提出了一种基于反事实推理的解释方法,发现RL代理的推理过程的细节,并生成自然语言的解释。围绕这种方法,我们建立了一个交互式XRL系统,用户可以积极探索解释和有影响力的信息。在一项有14名参与者的用户研究中,我们验证了开发人员使用我们的系统识别RL代理的异常行为和限制比基线方法多20.9%,并且使用我们的系统帮助最终用户在自动驾驶任务中将其可操作性测试的性能提高了25.1%,在星际争霸II微观管理任务中提高了16.9%。
2022-12-11 cs.HC
Co-constructing Explanations for AI Systems using Provenance
本文提出由交互式智能体与用户基于数据溯源共同构建 AI 解释,并给出智能体原型及结合用户模拟与 LLM 评判的可扩展评估框架。
2025-05-31 cs.HC
Enhancing XAI Interpretation through a Reverse Mapping from Insights to Visualizations
针对用户难以有效推理AI解释的问题,提出反向映射方法,通过大型语言模型提取用户结构化洞察并映射回视觉解释,促进审慎交互,在原型系统中展示效果并获得定性反馈。
2025-08-26 cs.HC
Augmented Math: Authoring AR-Based Explorable Explanations by Augmenting Static Math Textbooks
University of Calgary(卡尔加里大学);Aarhus University(奥胡斯大学)
本文提出Augmented Math,一种无需编程即可通过OCR和计算机视觉提取静态数学教科书内容并生成AR交互式动画的系统,帮助非技术用户创建个性化可探索解释,研究证实其能提升数学学习的吸引力。
2023-07-30 cs.CV cs.HC
VERA: Generating Visual Explanations of Two-Dimensional Embeddings via Region Annotation
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学系);Baylor College of Medicine(贝勒医学院)
VERA通过自动生成静态区域注释,为二维嵌入提供可视化解释,减少手动探索时间,支持探索性数据分析。
2026-04-30 cs.HC cs.LG
Allowing humans to interactively guide machines where to look does not always improve human-AI team's classification accuracy
Auburn University(奥本大学);University of Alberta(阿尔伯塔大学);Princeton University(普林斯顿大学)
本文研究了测试时交互编辑特征重要性图对人机团队准确率的影响,构建了交互工具CHM-Corr++,但18名专家的实验表明该方法未显著提升CUB-200分类准确率,挑战了交互性提升人机协同的假设。
2024-04-20 cs.CV cs.HC
VOICE: Visual Oracle for Interaction, Conversation, and Explanation
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);TU Wien(维也纳工业大学);Linköping University(林雪平大学);Umeå University(于默奥大学)
本文提出VOICE,一种将大语言模型的对话能力与交互式探索可视化相结合的科学传播新方法,通过多机器人系统实现任务分配、指令提取和内容生成,结合文本到可视化方法和自然语言交互,实现实时3D模型导航和操控,并在分子可视化领域验证其有效性。
2024-01-22 cs.GR cs.HC
Explanation as Question Answering based on Design Knowledge
Georgia Institute of Technology(佐治亚理工学院)
解释一个人工智能智能体需要了解它的设计和操作。一个悬而未决的问题是如何识别,访问和使用这些设计知识生成解释。许多在实践中使用的人工智能智能体,例如在教育环境中部署的智能辅导系统,通常都带有用户指南,解释代理做什么,如何工作以及如何使用代理。然而,很少有人真正详细阅读用户指南。相反,大多数用户会根据需要寻求问题的答案。在本文中,我们描述了一个问答代理(AskJill),使用用户指南的交互式学习环境(VERA)自动回答问题,从而解释了域,功能和操作VERA。我们提出了一个初步评估AskJill在VERA。
2021-12-16 cs.AI cs.HC
Generating User-Centred Explanations via Illocutionary Question Answering: From Philosophy to Interfaces
Università di Bologna(博洛尼亚大学)
我们提出了一种新的方法来生成解释与AI和一个工具来测试其表达能力在用户界面。为了弥合哲学和人机界面之间的差距,我们展示了一种新的方法,用于生成基于复杂的人工智能算法管道的交互式解释,用于将自然语言文档结构化为知识图谱,有效地和令人满意地回答问题。通过这项工作,我们的目标是证明,哲学理论的解释所提出的Achinstein实际上可以适用于被实施到一个具体的软件应用程序,作为一个互动和以言行事的过程中回答问题。具体来说,我们的贡献是一种方法,以框架在计算机友好的方式,以实现以用户为中心的统计问答。事实上,我们框架的解释过程中的言外之语的机制,负责预测的形式未提出的,隐含的,原型问题的被解释者的需求,从而提高用户为中心的基本解释过程。因此,我们假设,如果一个解释过程是一个以言行事的行为,提供内容的答案的问题,和以言行事是我们定义的,越显着和隐式的问题可以回答的解释工具,更有用的解释。我们通过一项涉及60多名参与者的用户研究来测试我们的假设,该研究涉及两个基于XAI的系统,一个用于信贷审批,一个用于心脏病预测。结果表明,提高解释工具的言外之力可以显著提高解释工具的有效性。这一点,再加上有效性和满意度之间的明显一致性,表明我们对言外之语的理解是正确的,为我们的理论提供了证据。
2022-01-19 cs.AI cs.HC
Explainability Requires Interactivity
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health, Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
在解释深层神经网络的决策时,简单的故事很诱人,但也很危险。特别是在计算机视觉中,最流行的解释方法给用户一种错误的理解感,并提供一个过于简单的图片。我们引入了一个交互式框架来理解现代视觉模型的高度复杂的决策边界。它允许用户彻底检查,探测和测试网络的决策。在一系列的案例研究中,我们比较了我们的交互式方法与静态解释方法的力量,展示了这些方法如何导致用户误入歧途,并可能带来严重的后果。
2021-09-16 cs.CV cs.HC cs.LG
Cases for Explainable Software Systems:Characteristics and Examples
随着机器学习或自适应等复杂技术的兴起,系统向用户解释行为的需求变得更加明显。一般来说,当系统的行为与用户的期望不匹配时,就需要解释。然而,不匹配可能有几个原因,包括错误、目标冲突或多代理干扰。考虑到各种情况,我们需要精确和一致的解释需求描述以及基准,以调整可解释系统的研究。在本文中,我们提出了一个分类,结构需要根据不同的原因进行解释。我们专注于解释,以改善用户与系统的交互。对于分类法中的每个叶节点,我们提供了一个场景来描述软件系统应该提供解释的具体情况。这些情景被称为解释案例,说明了对解释的不同需求。我们的分类法可以指导交互式智能系统的解释能力的需求启发和我们的解释案例建立一个共同的基准的基础。我们相信,分类和解释的情况下,帮助社区调整未来的研究可解释的系统。
2021-08-12 cs.HC cs.SE
Preliminary Quantitative Study on Explainability and Trust in AI Systems
University of Maryland, College Park(马里兰大学学院公园分校)
本研究通过交互式贷款审批模拟实验,定量探究AI系统可解释性与用户信任的关系,发现交互性增强参与度和信心,解释清晰度与相关性是信任关键决定因素。
2025-10-17 cs.AI cs.HC
An Interactive Explanatory AI System for Industrial Quality Control
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS)
基于机器学习的图像分类算法,如深度神经网络方法,将越来越多地用于关键环境,如工业中的质量控制,其中决策的透明度和可理解性至关重要。因此,我们的目标是将缺陷检测任务扩展到一个交互式的人在环的方法,使我们能够整合丰富的背景知识和复杂关系的推理超越传统的纯数据驱动的方法。我们提出了一种方法,在工业质量控制设置的分类,结合(可解释的)知识驱动和数据驱动的机器学习方法,特别是归纳逻辑程序设计和卷积神经网络的优势,与人类的专业知识和控制的交互式支持系统。由此产生的系统可以帮助领域专家进行决策,为结果提供透明的解释,并整合来自用户的反馈;从而减少人类的工作量,同时尊重他们的专业知识,而不会消除他们的代理或责任。
2022-03-17 cs.CV cs.HC cs.LG
Interactivity x Explainability: Toward Understanding How Interactivity Can Improve Computer Vision Explanations
Princeton University(普林斯顿大学)
针对计算机视觉静态解释存在的信息过载等问题,研究交互性在热图、概念、原型三类解释中的作用,通过鸟类识别任务研究发现交互性的优势与挑战,并提出设计建议。
2025-04-14 cs.CV cs.HC
Interactive Counterfactual Exploration of Algorithmic Harms in Recommender Systems
University of Pittsburgh(匹兹堡大学);Quest Diagnostics(奎斯特诊断公司)
针对推荐系统存在算法偏差引发不公平体验的问题,本研究开发了结合可视化、反事实解释与交互模块的探索工具,经用户访谈验证可提升算法透明度,助力理解偏差并推动更公平的推荐。
2024-09-10 cs.AI cs.HC cs.IR
Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform
KU Leuven(鲁汶大学);University of Glasgow(格拉斯哥大学);University of Maribor(马里博尔大学)
本报告总结两项针对EXMOS平台的医疗专家用户研究,发现数据中心与模型中心的全局解释结合使用,在提升信任、可理解性及模型优化上效果最优,为解释驱动的交互式ML系统开发提供参考。
2024-02-02 cs.HC cs.LG
Aligning Eyes between Humans and Deep Neural Network through Interactive Attention Alignment
Emory University(埃默里大学);George Mason University(乔治梅森大学)
虽然深度神经网络(DNN)通过其强大的自动化在几乎每个领域都取得了重大创新,但我们也目睹了自动化背后的危险,如自动种族主义,性别偏见和敌对偏见。随着DNN的社会影响力越来越大,找到一种有效的方法来引导DNN使其行为与人类的心理模型保持一致,这对于实现公平和负责任的模型是必不可少的。我们提出了一种新的交互式注意力对齐(IAA)框架,旨在实现人类可操纵的深度神经网络(DNN)。IAA利用DNN模型解释方法作为交互媒介,人类可以使用它来揭示模型注意力偏差的情况并直接调整注意力。在使用人类生成的调整注意力来改进DNN时,我们引入了GRADIA,这是一种新型的计算管道,可以最大限度地提高注意力质量和预测精度。我们评估了IAA框架在研究1和研究2中的性别分类问题的GRADIA。研究一发现,应用IAA可以显著提高人眼对模型注意的感知质量。在研究2中,我们发现使用GRADIA可以(1)显着提高模型注意力的感知质量,(2)在训练样本有限的情况下显着提高模型性能。我们提出了未来的交互式用户界面设计对人类可理解的人工智能的影响。
2022-02-06 cs.AI cs.HC
i-Algebra: Towards Interactive Interpretability of Deep Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学)
为深度神经网络(DNN)提供解释对于它们在决策的可解释性是关键先决条件的领域中的使用至关重要。尽管有大量关于解释DNN的工作,但大多数现有的解决方案都以临时、一次性和静态的方式提供可解释性,而没有考虑最终用户的感知、理解或响应,导致其在实践中的可用性较差。在本文中,我们认为DNN的可解释性应该实现为用户和模型之间的交互。我们提出了i-Algebra,这是第一个用于解释DNN的交互式框架。它的核心是一个原子的、可组合的运算符库,这些运算符在不同的输入粒度、不同的推理阶段以及不同的解释角度解释模型行为。利用声明性查询语言,用户能够构建各种分析工具(例如,“下钻”、“比较”、“假设”分析)。我们对i-Algebra进行了原型设计,并在一组具有代表性的分析任务中进行了用户研究,包括检查对抗性输入,解决模型不一致性,以及清理受污染的数据,所有这些都证明了它有前途的可用性。
2021-01-22 cs.HC cs.LG
idMotif: An Interactive Motif Identification in Protein Sequences
University of Oklahoma(俄克拉荷马大学);Oklahoma State University(俄克拉荷马州立大学)
idMotif 是一个可视化分析框架,利用深度学习分类和局部解释,通过交互式视图帮助专家识别蛋白质序列中的基序,以支持疾病预测。
2024-02-04 cs.GR cs.HC cs.LG
Interactive Visual Learning for Stable Diffusion
Georgia Tech(佐治亚理工学院);IBM Research(IBM研究院)
针对扩散模型内部机制难以被非专家理解的问题,提出首个交互式可视化工具Diffusion Explainer,通过集成视觉概览与详细解释,支持用户在浏览器中实时调整Stable Diffusion参数,已有超113国7200余名用户使用,有效推动了AI民主化。
2024-04-22 cs.AI cs.HC