SketchMeHow: Interactive Projection Guided Task Instruction with User Sketches
在这项工作中,我们提出了一个交互式通用教学框架SketchMeHow指导普通用户实时完成日常任务。与传统的基于增强现实的教学系统相比,该框架利用用户草图作为系统输入,从绘图界面获取用户的生产意图。给定用户草图,可以基于每个任务的子任务划分和空间定位来分析指定的任务指令。采用投影仪-摄像机系统,利用空间增强现实技术对终端用户进行投影引导。为了验证所提出的框架,我们进行了多米诺骨牌安排和便当生产的两个案例研究。从我们的用户研究,建议的系统可以帮助新手用户完成任务,有效地与用户满意度。我们相信所提出的SketchMeHow可以拓宽基于草图的现实世界应用在人机交互的研究课题。
2021-09-07 cs.HC
CoreUI: Interactive Core Training System with 3D Human Shape
我们提出了一个交互式核心训练系统的核心训练使用单目摄像机图像作为输入。使用深度相机或多个相机以常规方法捕获人类姿势通常是昂贵的。为了解决这个问题,我们采用皮肤的多人线性模型的人体形状恢复的三维人体姿态从2D图像使用姿态估计和人体网格恢复方法。为了支持用户在训练中保持正确的姿势,我们采用三维人体形状估计的目标图像和输入摄像机视频。我们提出了CoreUI,一个用户界面,用于提供视觉指导,显示在核心训练中估计的目标和当前的人体形状之间的差异,这是可视化的标记在十个身体部位的颜色变化。从我们的用户研究,建议的核心训练系统是有效的,方便的2D骨架相比,传统的指导。
2021-06-17 cs.HC
NarrativeSteward: Coordinating Delegation, Guidance, and Verification in Agent-Assisted Interactive Narrative Authoring
Tencent Inc(腾讯公司)
NarrativeSteward通过组织关联工件、对话与结构审查,协调智能体委托、指导与验证,提升作者对交互式叙事的理解与修订效率。
2026-10-01 cs.AI cs.CL cs.HC
Facilitating Proactive and Reactive Guidance for Decision Making on the Web: A Design Probe with WebSeek
The Hong Kong University of Science and Technology(香港科技大学)
WebSeek是一种混合初始化浏览器扩展,通过主动和反应式指导提升网页决策中的用户分析能力与透明度。
2026-01-21 cs.HC
Calibrate: Interactive Analysis of Probabilistic Model Output
New York University(纽约大学);ICMC-USP(圣保罗大学数学与计算机科学研究所);Capital One(第一资本金融公司)
分析分类模型的性能是机器学习实践者的一项重要任务。虽然从业者经常使用从混淆矩阵中导出的基于计数的度量,如准确性,但许多应用,如天气预测,体育博彩或患者风险预测,依赖于分类器的预测概率而不是预测标签。在这些情况下,从业者关心的是产生一个校准模型,即一个输出反映真实分布的概率的模型。模型标定通常通过静态可靠性图进行可视化分析,然而,传统的标定可视化可能会因其所需的强大聚合而遭受各种缺点。此外,基于计数的方法无法充分分析模型校准。我们提出校准,一个互动的可靠性图,解决了上述问题。Calibrate构建了一个可靠性图,它克服了传统方法的缺点,并允许交互式子组分析和实例级检查。我们通过真实世界和合成数据的用例演示了Calibrate的实用性。我们通过与定期分析模型校准的数据科学家一起展示有声思维实验的结果来进一步验证校准。
2022-07-27 cs.HC cs.LG
The Open Vault Challenge -- Learning how to build calibration-free interactive systems by cracking the code of a vault
Université de Paris(巴黎大学)
这个演示采取了对IJCAI社区的挑战的形式。一个物理保险库,由一个4位数的代码保护,将被放置在演示区。作者将通过在基于触摸的界面上输入代码公开打开保险库,并根据要求多次打开。对IJCAI参与者的挑战将是破解密码,打开保险库,并收集其内容。该接口是基于以前的工作校准免费的交互式系统,使用户能够开始指示机器,而机器不知道如何解释用户的行动事先。人类的意图和行为同时被机器学习。一个在线演示和视频可供读者参加的挑战。演示当天还将展示一个使用语音命令的额外界面,展示我们处理连续输入信号的方法的可扩展性。
2019-06-06 cs.AI cs.CR cs.HC
An Explainable and Fair AI Tool for PCOS Risk Assessment: Calibration, Subgroup Equity, and Interactive Clinical Deployment
本文提出经公平性审计的可解释PCOS风险预测机器学习框架,对比多种校准模型的性能与亚组公平性,最终选用平衡校准度与可解释性的随机森林模型,配套交互式网页界面支撑临床落地。
2025-11-08 cs.CY cs.HC cs.LG
Interactive Optimization of Generative Image Modeling using Sequential Subspace Search and Content-based Guidance
The University of Tokyo(东京大学);National Taiwan University(台湾大学)
生成式图像建模技术,如GAN,展示了高度令人信服的图像生成结果。然而,用户交互往往是必要的,以获得所需的结果。现有的尝试增加了交互性,但需要定制的架构或额外的数据。我们提出了一个人的优化方法,允许用户直接探索和搜索生成图像建模的潜在向量空间。我们的系统通过对潜在向量空间进行采样来提供多个候选项,并且用户使用多个滑块来选择子空间内的最佳混合权重。此外,用户可以通过图像编辑工具表达自己的意图。系统基于输入对潜在向量进行采样,并迭代地向用户呈现新的候选。我们的公式的一个优点是,人们可以将我们的方法应用于任意的预训练模型,而无需开发专门的架构或数据。我们用各种生成图像建模应用程序演示了我们的方法,并在与现有技术iGAN的比较用户研究中显示出优异的性能。
2020-08-29 cs.CV cs.GR cs.HC
Sensing the Breath: A Multimodal Singing Tutoring Interface with Breath Guidance
呼吸是歌唱表演的重要组成部分,但在大多数与歌唱相关的音乐界面中,对呼吸的研究还比较少。在本文中,我们提出了一个多模态系统,检测学习者的歌唱音高和呼吸状态,并提供实时视觉辅导反馈。具体地,呼吸检测器是具有压力传感器和柔性织物的可穿戴带。它可以实时监测腹部、后腰和双肋骨的身体运动。呼吸可视化算法的开发,以显示实时呼吸状态,连同歌唱音高轮廓的交互式评分界面。用户研究表明,我们的系统不仅可以帮助用户在唱歌时获得更深的呼吸,而且还可以提高声乐训练中的音高准确性,特别是对于那些有一定音乐背景的人。
2022-07-05 cs.HC
ILoveEye: Eyeliner Makeup Guidance System with Eye Shape Features
画眼线对于缺乏眼妆经验的人来说不是一件容易的事。每个人都有一双独特的眼睛,所以他们需要以适合自己眼睛的风格画眼线。我们提出了ILoveEye,一个交互式系统,支持眼妆新手绘制自然和合适的眼线。所提出的系统分析了用户的眼睛的形状和分类的眼睛类型从相机帧。该系统可以根据设计的推荐规则向用户推荐眼线风格。然后,系统可以生成与眼线风格相对应的原始图案,用户可以在观察实时化妆指导的同时绘制眼线。用户评价实验表明,ILoveEye系统能够帮助用户根据特定的眼睛形状绘制合理的眼线,提高眼妆效果。
2022-03-25 cs.HC
Guided Statistical Workflows with Interactive Explanations and Assumption Checking
本文提出计算笔记本中的交互式界面 GuidedStats,将线性回归和双样本 T 检验等统计流程分解为带自动可视化与解释的引导式步骤,帮助用户检查假设并导出代码,从而减少误用并提升分析有效性。
2024-10-01 cs.HC
Guided Data Discovery in Interactive Visualizations via Active Search
可视化分析的最新进展使我们能够从用户交互中学习并发现分析目标。这些创新为在数据探索期间积极引导用户奠定了基础。随着数据集规模和复杂性的增长,提供这种指导将变得更加重要,无法进行详尽的调查。与此同时,机器学习社区也在努力应对规模和复杂性不断增长的数据集,从而排除了详尽的标签。主动学习是为在训练期间主动引导模型而开发的广泛的算法家族。我们将考虑这些类似的研究重点的交叉点。首先,我们讨论了匹配主动学习算法的选择与手头任务的细微差别。这对性能至关重要,我们在模拟研究中证明了这一点。然后,我们提出的特定任务的数据发现的指导下,专门为这项任务设计的主动学习算法的用户研究的结果。
2022-07-15 cs.HC
System-driven Interactive Design Support for Cloud Architecture: A Qualitative User Experience Study with Novice Engineers
针对新手工程师云架构设计的挑战,本研究通过60名新手使用系统驱动设计支持工具的定性体验,发现结构化主动指导可提升其设计参与度,模拟对比功能具教育价值,同时指出需改进信息适应性、输出验证及工作流集成等方向。
2025-08-17 cs.HC cs.SE
Branch Explorer: Leveraging Branching Narratives to Support Interactive 360° Video Viewing for Blind and Low Vision Users
本文提出Branch Explorer系统,通过将360°视频转化为分支叙事并利用多模态机器学习管道生成叙事路径,结合沉浸式音频引导,显著提升了盲与低视力用户在360°视频观看中的自主性与参与度。
2025-07-14 cs.HC
Interactive Region-of-Interest Discovery using Exploratory Feedback
在本文中,我们提出了一个地理空间数据管理框架IRIDEF捕获和分析用户的探索性反馈,丰富的指导机制,在互动分析的背景下。我们讨论了探索性反馈可以是决策反馈时,后者是稀缺或不可用的代理。IRIDEF通过探索性反馈识别感兴趣区域(ROI),并突出显示每个ROI中的一些有趣和看不见的POI。这些亮点使用户能够塑造他/她未来与系统的交互。我们以数据分析管道的形式详细介绍了我们提出的框架的组件,并介绍了每个组件的效率和有效性。我们还讨论了IRIDEF的评估计划和未来方向。
2021-07-29 cs.DB cs.HC
HealthGenie: Empowering Users with Healthy Dietary Guidance through Knowledge Graph and Large Language Models
The University of Tokyo(东京大学);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Smartor Inc.(Smartor公司);MIT Media Lab(麻省理工学院媒体实验室);Korea University(韩国大学)
HealthGenie结合知识图谱与大语言模型,提供个性化饮食推荐和可视化概览,通过交互调整减少用户认知负担,实验证明其有效支持健康决策。
2025-04-20 cs.AI cs.CL cs.HC
MOOSE-Copilot: A Web-Based Interactive Assistant for Unified Exploratory and Fine-Grained Scientific Hypothesis Discovery
Central Conservatory of Music(中央音乐学院);Nanyang Technological University(南洋理工大学)
提出MOOSE-Copilot,通过形式化的人机交互协议,将发散性探索和收敛性细化统一,利用蓝图、路由和反馈三种信号引导生成,显著优于纯自主基线。
2026-06-08 cs.AI cs.CE cs.CL
IFTT-PIN: A PIN-Entry Method Leveraging the Self-Calibration Paradigm
University of Glasgow(格拉斯哥大学)
IFTT-PIN是Roth等人(2004)[1]中引入的PIN输入方法的自校准版本。在[1]中,数字被分成两组,并分别指定一种颜色。为了传达他们的数字,用户按下与分配给他们的数字相同颜色的按钮,因此可以在几次迭代后通过消除来识别。IFTT-PIN使用相同的原理,但不会为每个按钮预先分配颜色。相反,用户可以自由选择每种颜色使用哪个按钮。按钮到颜色的映射只存在于用户的脑海中,永远不会直接传达给界面。换句话说,IFTT-PIN同时推断用户的PIN和他们偏好的按钮到颜色映射,这个过程称为自校准。在本文中,我们提出了在线互动演示IFTT-PIN的自校准和不自校准,并介绍了关键的概念和假设,使自校准成为可能。IFTT-PIN可以在www.example.com上进行测试,并在https://youtu.be/5I1ibPJdLHM上提供视频介绍。https://jgrizou.github.io/IFTT-PIN/我们回顾了脑机接口领域的相关工作,并进一步提出自校准作为一种新的方法来保护用户免受肩膀冲浪攻击。最后,我们介绍了一个金库破解的挑战,作为一个测试的可用性和安全性,在我们的研究所进行了非正式的测试。通过IFTT-PIN,我们希望展示一种新的交互式体验,用户可以主动决定如何使用界面。自校准范例可能会导致新的机会,在其他应用程序或领域的互动。我们希望这项工作将激励社区发明它们。
2022-05-26 cs.AI cs.HC cs.LG
SIGMA: An Open-Source Interactive System for Mixed-Reality Task Assistance Research
Microsoft Research(微软研究院);Microsoft(微软公司)
SIGMA是一个开源交互系统,结合混合现实设备与大型语言视觉模型,提供逐步任务指导,旨在降低研究门槛并推动社区驱动的端到端评估。
2024-05-16 cs.AI cs.HC
SpaceEditing: Integrating Human Knowledge into Deep Neural Networks via Interactive Latent Space Editing
Jilin University(吉林大学);University of Tokyo(东京大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
我们提出了一种交互式编辑方法,允许人类帮助深度神经网络(DNN)学习与人类知识更一致的潜在空间,从而提高对无法区分的模糊数据的分类准确性。首先,我们通过降维方法将高维数据特征可视化,并设计了一个交互式系统\textit{SpaceEditing}来显示可视化的数据。\textit{SpaceEditing}提供了一个基于空间布局思想的2D工作空间。在该工作空间中,用户可以根据系统引导在其中移动投影数据。然后,\textit{SpaceEditing}根据用户移动的投影数据找到相应的高维特征,并将高维特征反馈给网络进行再训练,从而达到为用户交互修改高维潜在空间的目的。其次,为了更合理地将人类知识融入到神经网络的训练过程中,我们设计了一个新的损失函数,使网络能够学习用户修改的信息。最后,我们通过三个案例分析来说明\textit{SpaceEditing}是如何满足用户需求的,并对我们提出的新方法进行了评估,结果证实了我们的方法的有效性。
2022-12-08 cs.HC cs.LG
Seek and You Shall Find: Design & Evaluation of a Context-Aware Interactive Search Companion
Neu-Ulm University of Applied Sciences(新乌尔姆应用科学大学);University of Regensburg(雷根斯堡大学)
本研究设计并评估了一种情境感知的交互式搜索助手,旨在通过轻量级指导提升用户搜索素养和探索能力。
2026-01-16 cs.HC cs.IR
Clutter Detection and Removal by Multi-Objective Analysis for Photographic Guidance
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出一种相机指导系统,通过多目标美学分析识别杂乱,并结合生成对抗网络修复图像,帮助用户在更短时间内拍出更高质量的照片。
2025-07-19 cs.CV cs.HC
Efficient Human-in-the-loop System for Guiding DNNs Attention
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);Jilin University(吉林大学);The University of Tokyo(东京大学)
注意力引导是解决深度学习中数据集偏差的一种方法,其中模型依赖于不正确的特征来做出决策。专注于图像分类任务,我们提出了一个高效的人在回路系统,以交互方式将分类器的注意力引导到用户指定的区域,从而减少同现偏差的影响,提高DNN的可移植性和可解释性。以前的注意力引导方法需要准备像素级的注释,并没有被设计为交互式系统。我们提出了一种新的交互式方法,允许用户简单的点击注释图像,并研究了一种新的主动学习策略,以显着减少注释的数量。我们进行了数值评估和用户研究,以评估多个数据集上的拟议系统。与现有的非主动学习方法相比,这种方法通常依赖于大量基于神经网络的分割模板来微调或训练DNN,我们的系统可以节省大量的人力和金钱,并获得一个微调的网络,即使在数据集有偏差的情况下也能更好地工作。实验结果表明,该系统高效、合理、可靠。
2023-02-06 cs.CV cs.HC cs.LG
DashAct: A Progressive Diagnostic Benchmark for GUI Agents in Interactive Dashboard Analysis
Zhejiang University(浙江大学)
DashAct是首个细粒度诊断GUI代理在交互式仪表板分析中失败的基准,通过渐进式诊断级联评估端到端执行、动作预测和视觉定位,揭示当前模型在逐步支持下的瓶颈并提供改进指导。
2026-10-20 cs.AI cs.HC