A Game-Based Approach for Helping Designers Learn Machine Learning Concepts
机器学习(ML)在我们日常使用的系统中变得越来越普遍。然而,这些系统的设计者在使用这些技术进行设计方面装备不足。最近,交互式可视化已被用于向非专家呈现ML概念。然而,很少有研究评估设计师如何在这些环境中建立对ML的理解,或者如何设计指导他们学习的界面。在用户研究(n = 21)中,我们观察设计师如何与我们的交互式可视化工具,\textit{QUBE},专注于通过游戏隐喻可视化Q-学习。我们分析了设计师如何处理交互式可视化和游戏隐喻,以形成对ML概念的理解以及他们在此过程中面临的挑战。我们发现交互式可视化显着提高了参与者对ML概念的高层次理解。然而,它并不支持他们用这些概念进行设计的能力。我们提出了关于参与者在学习ML概念及其自我指导学习行为时所面临的挑战的主题。我们的研究结果提出了设计建议,通过指导学习界面和游戏隐喻来支持对ML概念的理解。
2020-09-11 cs.HC
Interactive Tools for Reproducible Science -- Understanding, Supporting, and Motivating Reproducible Science Practices
可复制性应该是科学的基石,因为它使验证和重用成为可能。近年来,科学界和公众越来越意识到可复制性危机,即研究人员普遍无法复制已发表的工作,包括他们自己的工作。科学研究越来越多地集中在创建,观察,处理和分析大量数据。一方面,这种向计算和数据密集型科学的转变对研究的可重复性和重复使用提出了新的挑战。另一方面,计算和网络技术的可用性增加和进步为解决再现性危机提供了新的机会。本论文报告了在数据密集型粒子物理学重点实验室CERN进行的以用户为中心的设计研究。在这篇论文中,我们建立了一个更广泛的理解研究人员的互动工具,支持研究文档,保存和共享。从人机交互(HCI)的角度来看,以下几个方面是基本的:(1)表征和映射的研究,保存和再利用的要求和做法。(2)了解研究数据管理(RDM)工具在科学工作流程中的更广泛作用和影响。(3)设计工具和互动,促进,激励和承认可重复的研究实践。本论文的研究报告代表了人机交互方法在可再现科学交互工具的研究和设计中的首次系统应用。我们提倡HCI在支持,激励和通过设计工具,使有效的RDM转换可重复的研究实践的独特作用。这篇论文为与RDM工具的交互铺平了新的道路,这些工具支持和激励了可再现的科学。
2020-11-10 cs.HC
From Performers to Creators: Understanding Retired Women's Perceptions of Technology-Enhanced Dance Performance
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Xiamen University(厦门大学)
本文通过交互式舞蹈技术与AI生成内容,帮助退休女性克服年龄相关限制,提升舞台表现并成为表演共创者。
2026-03-09 cs.HC
Towards Interactive Multimodal Representation of ML Functions for Human Understanding of ML
Carnegie Mellon University(卡内基梅隆大学)
本文通过交互式可视化增强对机器学习的理解,旨在通过透明数据集探索提升对ML的积极态度,鼓励更多人探索该领域。
2026-05-01 cs.GR cs.HC cs.MM
An Interactive Visualization Tool for Understanding Active Learning
Simon Fraser University(西蒙菲莎大学)
尽管最近在人工智能和机器学习方面取得了进展,但许多最先进的方法缺乏可解释性和透明度。解释机器学习模型做出的预测并准确评估这些模型的能力至关重要。在本文中,我们提出了一个交互式可视化工具来阐明主动学习的训练过程。该工具使人们能够选择感兴趣的数据点样本,查看其预测值在不同查询阶段如何变化,从而更好地了解主动学习何时以及如何工作。此外,用户可以利用这个工具来比较不同的主动学习策略,同时检查为什么有些策略优于其他在某些情况下。通过一些初步的实验,我们证明了我们的可视化面板具有很大的潜力,可以用于各种主动学习实验,并帮助用户适当地评估他们的模型。
2021-11-09 cs.HC cs.LG
GAN Lab: Understanding Complex Deep Generative Models using Interactive Visual Experimentation
Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑)
最近在深度学习方面取得的成功引起了从业者和学生的极大兴趣,激发了许多人学习这项新技术。虽然已经成功开发了可视化和交互式方法来帮助人们更轻松地学习深度学习,但大多数现有工具都专注于更简单的模型。在这项工作中,我们提出了GAN Lab,这是第一个交互式可视化工具,专为非专家学习和实验生成对抗网络(GANs),这是一类流行的复杂深度学习模型。通过GAN Lab,用户可以交互式地训练生成模型,并可视化动态训练过程的中间结果。GAN Lab紧密集成了一个模型概览图,它总结了GAN的结构,以及一个分层分布视图,帮助用户解释子模型之间的相互作用。GAN实验室引入了新的交互式实验功能,用于学习复杂的深度学习模型,例如在多个抽象级别上进行分步训练,以了解复杂的训练动态。GAN Lab使用TensorFlow.js实现,任何人都可以通过现代Web浏览器访问,无需安装或专用硬件,克服了部署深度学习交互式工具的重大实际挑战。
2018-09-05 cs.AI cs.HC cs.LG
Panda or not Panda? Understanding Adversarial Attacks with Interactive Visualization
University of Waterloo(滑铁卢大学)
针对图像分类中对抗攻击难以理解的问题,本研究推出多层次交互式可视化系统AdvEx,经评估证实其能有效帮助入门学习者理解AML机制并提供良好学习体验。
2024-10-05 cs.CV cs.HC
InCoRe -- An Interactive Co-Regulation Model: Training Teacher Communication Skills in Demanding Classroom Situations
本文提出 InCoRe 交互式共同调节模型,结合课堂管理与情感模型,利用心理学模型驱动虚拟学生交互,并通过标注教师主观心理体验支持教师沟通技能培训与混合 AI 系统研究。
2025-03-17 cs.HC
Interactive Machine Learning Interfaces for Disease Risk Prediction: Effects on Risk Perception and Behaviour
University of Waterloo(滑铁卢大学)
本研究通过15人混合方法实验,发现用户对交互式2型糖尿病风险界面的实际理解优于自我感知,但存在术语、风险框架和解释障碍,据此提出设计指南以提升信任与公平。
2026-10-05 cs.HC
MUSE: An Interactive Meta-Agent for Understanding and Steering LLM-powered Data Science Systems
Purdue University(普渡大学);Microsoft Research(微软研究院)
本文提出交互式元智能体MUSE,通过重构执行轨迹、支持上下文交互与混合意图操控,提升用户对大语言模型驱动的数据科学系统的理解与控制,经15人被试间研究验证可提高任务效率与用户信心。
2026-08-18 cs.AI cs.HC
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
尽管人工智能有望改善人类在社会关键领域的决策,但人类-人工智能团队如何在具有挑战性的预测任务(也称为互补性能)中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向,以了解在实现互补性能的差距。首先,我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能,我们设计了具有不同分布类型的实验,并研究了分布内和分布外示例的人类性能。其次,我们开发了新的界面来支持交互式解释,以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验,我们证明了分布内和分布外之间的明显差异,并观察到交互式解释的混合结果:虽然交互式解释提高了人类对人工智能辅助有用性的感知,但它们可能会加强人类的偏见并导致有限的性能改善。总的来说,我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC
SimSpark: Interactive Simulation of Social Media Behaviors
针对现有社交媒体行为模拟平台灵活性不足的问题,本文提出包含模拟算法与交互界面的SimSpark系统,借助大语言模型生成可信智能体行为,支持交互控制与结果分析,经多维度评估验证了有效性。
2025-06-17 cs.HC
Understanding Large Language Model Behaviors through Interactive Counterfactual Generation and Analysis
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);IBM Research(IBM研究院)
本文提出LLM Analyzer交互式可视化系统,通过反事实分析高效探索LLM行为,生成语义反事实并计算特征归因,经用户研究验证其有效性与人机协作价值。
2025-08-07 cs.AI cs.CL cs.HC
NarrativePlay: Interactive Narrative Understanding
King’s College London(伦敦国王学院);University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所)
本研究提出新型交互式叙事系统NarrativePlay,借助LLMs基于叙事提取的性格特征生成类人回应,搭配自动生成的视觉与语音内容,支持用户以选定角色视角在侦探、冒险类叙事中探索或提升角色好感度。
2023-10-02 cs.AI cs.CL cs.HC
Reading Protocol: Understanding what has been Read in Interactive Information Retrieval Tasks
在交互式信息检索(IIR)实验中,用户在网页上的注视运动通常是通过眼动追踪来记录的。这些数据用于分析凝视行为或识别用户查看的感兴趣区域(AOI)。到目前为止,用于分析眼动追踪数据的工具在支持IIR实验中的注视行为分析方面具有一定的局限性。实验通常由大量不同的访问网页组成。在现有的分析工具中,数据只能在视频或图像中进行分析,每个网页的AOI必须手动指定,这是一个非常耗时的过程。在这项工作中,我们提出了阅读协议的软件,打破眼动追踪数据到文本级别考虑的HTML结构的网页。这对分析师来说有很多好处。首先,它可以很容易地在大规模上识别出受试者在刺激页面上实际观看和阅读的内容。第二,可以使用网页结构来过滤AOI。第三,多个用户的注视数据可以呈现在同一页面上,第四,文本上的注视时间可以导出并在其他工具中进一步处理。我们介绍了软件,它的验证,并从三个现有的IIR实验数据的示例用例。
2019-02-12 cs.HC cs.IR
RWKV-UI: UI Understanding with Enhanced Perception and Reasoning
Sun Yat-sen University(中山大学);Shenzhen Yuanshi Intelligence Co., Ltd(深圳元石智能有限公司)
本文提出基于RWKV架构的视觉语言模型RWKV-UI,通过布局检测视觉提示和思维链视觉提示增强高分辨率UI理解与交互推理能力,实验验证了其显著性能提升。
2025-02-06 cs.CV cs.HC
InterVLS: Interactive Model Understanding and Improvement with Vision-Language Surrogates
InterVLS通过发现文本对齐概念并用模型无关的线性替代模型测量其影响,结合可视化分析,实现无需编码的交互式模型理解与改进,用户研究验证其有效性。
2024-06-25 cs.AI cs.CV cs.HC
Auto-Slides: An Interactive Multi-Agent System for Creating and Customizing Research Presentations
AGI Lab, Westlake University(西湖大学 AGI 实验室);Teeni AI;University of California at Merced(加州大学默塞德分校)
本文提出Auto-Slides系统,利用大语言模型将学术论文转化为结构化的多模态幻灯片,通过交互式编辑器实现个性化学习,提升学习者对复杂概念的理解与参与度。
2026-04-01 cs.HC cs.MA
ViT-Explainer: An Interactive Walkthrough of the Vision Transformer Pipeline
Pontificia Universidad Católica de Chile(智利天主教大学);University of Notre Dame(圣母大学)
ViT-Explainer 通过交互式可视化帮助用户理解视觉变换器的完整推理流程,结合动画 walkthrough、patch 注意力叠加和 Logit Lens,提升模型可解释性。
2026-04-02 cs.CV cs.HC
MindTrellis: Co-Creating Knowledge Structures with AI through Interactive Visual Exploration
University of Waterloo(多伦多大学);York University(约克大学);Nanyang Technological University(南洋理工大学)
本文提出MindTrellis系统,通过人机协作动态构建知识图谱,提升多文档信息整合效率,降低认知负荷。
2026-04-25 cs.AI cs.HC cs.IR