React to This! How Humans Challenge Interactive Agents using Nonverbal Behaviors
本研究通过Wizard-of-Oz实验观察20人与6类智能体的1169次非言语互动,整理出含188种行为的码本,为构建更可信、交互感知更强的机器人提供设计依据。
2024-09-17 cs.HC
From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction
本综述回顾以人为中心的人工智能文献,超越可解释与可争议AI,聚焦交互式AI,倡导赋予用户更大自主权以参与AI的设计与演进。
2024-05-23 cs.HC
Atlas of Human-AI Interaction: An Interactive Knowledge Graph for Research Sensemaking at Scale
MIT Media Lab, Massachusetts Institute of Technology(麻省理工学院媒体实验室)
本文提出Atlas of Human-AI Interaction平台,用LLM从千余篇HCI论文中抽取因果发现并构建可导航知识图谱,支持研究者识别主题与研究空白。
2026-10-26 cs.HC
Report on The 1st Workshop on Human-Centered Proactive and Personalized Agents for Interactive Information Access at CHIIR 2026
University of Washington(华盛顿大学);AMD(超威半导体);UC Berkeley(加州大学伯克利分校);TikTok(抖音国际版);Georgetown University(乔治城大学)
该报告总结了CHIIR 2026第一届相关研讨会,探讨交互式信息获取向主动个性化智能体转变的机遇与问题,明确主动的核心内涵并梳理出相关设计挑战。
2026-08-20 cs.HC
Visualization for Human-Centered AI Tools
University of Iowa(爱荷华大学);Aarhus University(奥胡斯大学)
本文探讨交互式可视化如何赋能以人为中心的AI工具,通过文献综述和访谈定义其特征,并给出设计指南。
2026-06-11 cs.HC
DraftMarks: Enhancing Transparency in Human-AI Co-Writing Through Interactive Skeuomorphic Process Traces
Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出增强阅读工具DraftMarks,利用橡皮屑、胶带等拟物化痕迹呈现人机写作过程与协作指标,并通过形成性研究验证其评估AI合著文本的有效性。
2025-09-27 cs.HC
IntentTuner: An Interactive Framework for Integrating Human Intents in Fine-tuning Text-to-Image Generative Models
针对现有文生图微调忽略用户意图对齐的问题,提出交互式框架IntentTuner,在微调全流程融入人类意图,支持意图表达、自动数据增强与意图对齐评估,可简化流程、降低负担并提升模型效果。
2024-01-28 cs.HC
Towards Effective Human-AI Collaboration in GUI-Based Interactive Task Learning Agents
Carnegie Mellon University(卡内基梅隆大学)
我们认为,为智能代理提供可用和有用的交互式任务学习的一个关键挑战是促进有效的人机协作。我们回顾了过去5年来在设计、开发和研究SUGILITE系统方面所做的努力,讨论了将人工智能的最新进展与人机交互原则结合到混合主动交互和多模式交互中的问题,并总结了我们学到的经验教训。最后,我们确定了几个挑战和机遇,并描述了我们正在进行的工作
2020-03-05 cs.AI cs.HC
Human-Interactive Subgoal Supervision for Efficient Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Samsung Research America(三星美国研究院)
人类能够理解和执行复杂的任务,通过战略性地将任务结构化为渐进的步骤或子目标。对于试图学习执行具有关键子目标状态的顺序任务的机器人,这些状态可以提供与人类专家交互的自然机会。本文分析了将子目标的概念与人在环(HITL)框架的逆强化学习(IRL)的好处。学习过程是交互式的,人类专家首先以完整演示的形式提供输入以及一些子目标状态。这些子目标状态定义了一组子任务,供学习代理完成,以实现最终目标。学习代理查询部分演示对应于每个子任务时,需要的代理挣扎的子任务。建议的人类交互式IRL(HI-IRL)框架进行评估几个离散的路径规划任务。我们证明,基于子目标的交互式结构的学习任务的结果显着更有效的学习,只需要一小部分的演示数据需要学习的基础奖励函数与基线IRL模型。
2018-06-22 cs.AI cs.HC
Evaluation of Interactive Machine Learning Systems
INRA(法国国家农业科学研究院);Université Paris-Saclay(巴黎萨克雷大学);Univ Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);LRI(计算机研究所);INRIA(法国国家信息与自动化研究所)
交互式机器学习系统的评估仍然是一项艰巨的任务。这些系统向人类学习并适应人类,但与此同时,人类接受反馈并适应系统。要清楚地了解这些微妙的合作和共同适应机制是一项挑战。在本章中,我们报告了我们在设计和评估来自不同领域的各种交互式机器学习应用程序方面的经验。我们主张耦合两种类型的验证:以算法为中心的分析,研究系统的计算行为;以人为中心的评估,观察最终用户的应用程序的实用性和有效性。我们使用可视化分析应用程序进行引导搜索,使用交互式进化方法构建,作为我们工作的典范。我们的观察是,以人为本的设计和评估补充了算法分析,并在解决机器学习的“黑箱”效应方面发挥了重要作用。最后,我们讨论了需要人机交互方法的研究机会,以支持人类在交互式机器学习中扮演的可见和隐藏的角色。
2018-01-24 cs.AI cs.HC
Aligning Eyes between Humans and Deep Neural Network through Interactive Attention Alignment
Emory University(埃默里大学);George Mason University(乔治梅森大学)
虽然深度神经网络(DNN)通过其强大的自动化在几乎每个领域都取得了重大创新,但我们也目睹了自动化背后的危险,如自动种族主义,性别偏见和敌对偏见。随着DNN的社会影响力越来越大,找到一种有效的方法来引导DNN使其行为与人类的心理模型保持一致,这对于实现公平和负责任的模型是必不可少的。我们提出了一种新的交互式注意力对齐(IAA)框架,旨在实现人类可操纵的深度神经网络(DNN)。IAA利用DNN模型解释方法作为交互媒介,人类可以使用它来揭示模型注意力偏差的情况并直接调整注意力。在使用人类生成的调整注意力来改进DNN时,我们引入了GRADIA,这是一种新型的计算管道,可以最大限度地提高注意力质量和预测精度。我们评估了IAA框架在研究1和研究2中的性别分类问题的GRADIA。研究一发现,应用IAA可以显著提高人眼对模型注意的感知质量。在研究2中,我们发现使用GRADIA可以(1)显着提高模型注意力的感知质量,(2)在训练样本有限的情况下显着提高模型性能。我们提出了未来的交互式用户界面设计对人类可理解的人工智能的影响。
2022-02-06 cs.AI cs.HC
Parachute: Evaluating Interactive Human-LM Co-writing Systems
Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学)
语言模型(LM)的发展已经引起了人们对使用LM来构建共同写作系统的极大兴趣,在该系统中,人类和LM交互地贡献于共享的写作工件。然而,缺乏研究评估在互动环境中的共同写作系统。我们提出了一个以人为中心的评价框架,降落伞,交互式合作写作系统。Parachute展示了交互评估的综合视图,其中每个评估方面都由分类的实用指标组成。此外,我们提出了降落伞的一个用例来演示如何使用降落伞评估和比较共同编写系统。
2023-03-25 cs.AI cs.CL cs.HC
Interactive AI and Human Behavior: Challenges and Pathways for AI Governance
本文基于跨学科研讨会,识别交互式人工智能中人机长期关系带来的治理挑战,提出整合行为洞察的以结果为导向的监管方法,并给出以人为中心的治理建议。
2025-08-12 cs.CY cs.HC
Unpacking Human Teachers' Intentions For Natural Interactive Task Learning
University of Michigan(密歇根大学);Palo Alto Research Center(帕洛阿尔托研究中心)
交互式任务学习(ITL)是一个新兴的研究议程,研究设计复杂的智能机器人,可以通过自然的人类教师-机器人学习者互动获得新的知识。ITL方法对于设计智能机器人特别有用,这些机器人的行为可以通过与它们合作的人类来调整。各种研究团体都在为ITL提供方法,这项研究的一个很大的子集是\emph{robot-centered},重点是开发可以快速在线学习的算法。本文从\emph{human-centered}的角度研究ITL问题,为机器人设计提供指导,使人类教师可以自然地教授ITL机器人。在本文中,我们提出了1)互动教学研究(N=10)的定性双向分析,通过它,我们描述了人类教师在教机器人时所打算和执行的动作的各个方面; 2)深入讨论了两个参与者所采用的教学方法,以了解个人适应个人教学风格的必要性;和3)ITL机器人设计的要求,基于我们的分析和通知的计算理论的协作互动,SharedPlans。
2021-07-02 cs.HC cs.RO
Talking Back -- human input and explanations to interactive AI systems
Cardiff Metropolitan University(卡迪夫城市大学);Swansea University(斯旺西大学);University of Pisa(比萨大学)
本文探讨人类向AI解释判断能否促进协同人机系统,研究人类输入如何引导机器学习模型生成更贴合人类概念的自动判断与解释。
2025-03-06 cs.AI cs.CY cs.HC
Whispering Water: Materializing Human-AI Dialogue as Interactive Ripples
MIT Media Lab(麻省理工学院媒体实验室);New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
通过将语音情感转换为激发频率、语义内容输入多智能体LLM系统,以及用对数间距和Bark尺度映射分解合成语音为谐波分量,在物理水面上实现人机对话的物化。
2026-06-11 cs.HC cs.MM
An Interactive Human-Machine Learning Interface for Collecting and Learning from Complex Annotations
University of Bristol(布里斯托尔大学)
本文提出一种用于二分类任务的交互式人机学习界面,允许标注者使用反事实示例补充传统二值标签,以提升标注灵活性和机器学习效果。
2024-03-28 cs.HC cs.LG
Human-Based Risk Model for Improved Driver Support in Interactive Driving Scenarios
Honda Research Institute Europe(本田欧洲研究所);Honda Research Institute Japan(本田日本研究所)
针对现有驾驶员辅助系统未充分利用驾驶员感知信息的问题,提出结合驾驶员失误感知与个性化特征的以人为基础的风险模型,仿真验证其可更早预警、减少错误,提升交互式驾驶场景下的辅助效果。
2024-10-03 cs.AI cs.HC
SpaceEditing: Integrating Human Knowledge into Deep Neural Networks via Interactive Latent Space Editing
Jilin University(吉林大学);University of Tokyo(东京大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
我们提出了一种交互式编辑方法,允许人类帮助深度神经网络(DNN)学习与人类知识更一致的潜在空间,从而提高对无法区分的模糊数据的分类准确性。首先,我们通过降维方法将高维数据特征可视化,并设计了一个交互式系统\textit{SpaceEditing}来显示可视化的数据。\textit{SpaceEditing}提供了一个基于空间布局思想的2D工作空间。在该工作空间中,用户可以根据系统引导在其中移动投影数据。然后,\textit{SpaceEditing}根据用户移动的投影数据找到相应的高维特征,并将高维特征反馈给网络进行再训练,从而达到为用户交互修改高维潜在空间的目的。其次,为了更合理地将人类知识融入到神经网络的训练过程中,我们设计了一个新的损失函数,使网络能够学习用户修改的信息。最后,我们通过三个案例分析来说明\textit{SpaceEditing}是如何满足用户需求的,并对我们提出的新方法进行了评估,结果证实了我们的方法的有效性。
2022-12-08 cs.HC cs.LG
Towards Involving End-users in Interactive Human-in-the-loop AI Fairness
Fujitsu Limited(富士通有限公司);University of Glasgow(格拉斯哥大学);City, University of London(伦敦城市大学);Fujitsu Research of Europe Ltd.(富士通欧洲研究有限公司)
确保人工智能(AI)的公平性对于在深远的应用中抵制偏见和歧视至关重要。最近的工作已经开始研究人类如何判断公平性,以及如何支持机器学习(ML)专家使他们的AI模型更公平。从交互式机器学习中使用的可解释人工智能(XAI)方法\emph{explanatory debugging}中汲取灵感,我们的工作探索设计可解释和交互式的人在回路界面,允许普通终端用户在没有任何技术或领域背景的情况下识别潜在的公平问题,并可能在贷款决策的背景下解决这些问题。通过与最终用户的研讨会,我们共同设计并实现了一个原型系统,该系统允许最终用户查看为什么进行预测,然后更改功能的权重以“调试”公平性问题。我们通过在线研究评估了这个原型系统的使用。为了研究全球不同人类价值观对公平的影响,我们还探讨了文化维度如何在使用这个原型中发挥作用。我们的研究结果有助于界面的设计,使最终用户能够通过人在回路的方法参与判断和解决AI的公平性。
2022-04-22 cs.AI cs.HC
EpiMob: Interactive Visual Analytics of Citywide Human Mobility Restrictions for Epidemic Control
自二零二零年一月下旬以来,新型冠状病毒病(COVID-19)爆发已席卷超过180个国家及地区。作为全球范围内的紧急应对措施,各国政府已实施各种措施和政策,如自我隔离、旅行限制、在家工作和区域封锁,以控制疫情的传播。这些对策旨在限制人员流动,因为COVID-19是一种通过人际传播传播的高度传染性疾病。医学专家和政策制定者表示,迫切需要借助大数据和信息技术有效评估人类限制政策的结果。因此,基于大的人类移动数据和城市POI数据,一个交互式的可视化分析系统,称为流行病流动(EpiMob)的设计在这项研究中。该系统响应于某个限制策略或策略组合(例如,区域封锁、远程办公、筛查)。用户可以方便地指定不同的移动性限制策略的空间和时间范围。然后,动态展示反映不同策略下感染情况的结果,并可灵活进行深入对比分析。在日本最大的都市地区(即,大东京地区),以证明该系统可以通过测量和比较,深入了解不同的人口流动限制政策对流行病控制的影响。
2021-11-29 cs.HC cs.SI
ViviDoc: Generating Interactive Documents through Human-Agent Collaboration
National University of Singapore(新加坡国立大学);University of Virginia(弗吉尼亚大学);Cornell University(康奈尔大学)
ViviDoc通过多智能体流程和三级人类控制,系统性解决交互式文档生成问题,构建了ViviBench基准并实现高内容丰富度和交互质量。
2026-03-30 cs.AI cs.HC
ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation
Pompeu Fabra University(庞培法布拉大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学)
本文提出Araida,一种基于类比推理的交互式数据标注方法,通过错误感知策略动态协调标注模型与KNN模型,有效提升自动标注准确率,平均减少11.02%的人工修改负担。
2024-06-01 cs.CL cs.HC
RLHF-Blender: A Configurable Interactive Interface for Learning from Diverse Human Feedback
University of Konstanz(康斯坦茨大学);ETH Zurich(苏黎世联邦理工学院)
本文提出可配置交互式界面 RLHF-Blender,通过模块化实验框架支持系统研究演示、排序、比较和自然语言指令等多种人类反馈对奖励学习的影响,弥补了标准化工具不足的问题。
2023-08-08 cs.HC cs.LG
Allowing humans to interactively guide machines where to look does not always improve human-AI team's classification accuracy
Auburn University(奥本大学);University of Alberta(阿尔伯塔大学);Princeton University(普林斯顿大学)
本文研究了测试时交互编辑特征重要性图对人机团队准确率的影响,构建了交互工具CHM-Corr++,但18名专家的实验表明该方法未显著提升CUB-200分类准确率,挑战了交互性提升人机协同的假设。
2024-04-20 cs.CV cs.HC
VRGym: A Virtual Testbed for Physical and Interactive AI
UCLA Center for Vision, Cognition, Learning, and Autonomy(加州大学洛杉矶分校视觉、认知、学习与自主中心)
我们提出了VRGym,一个虚拟现实的实验平台,为现实的人机交互。与现有的工具包和虚拟现实环境不同,VRGym强调为机器人、机器学习和认知科学构建和训练物理和交互代理。VRGym利用各种机制,可以通过基于物理的模拟生成具有高度真实感的各种3D场景。我们证明,VRGym能够(i)收集人类的互动和精细的操作,(ii)容纳各种机器人与ROS桥,(iii)支持实验的人机交互,(iv)提供工具包,用于训练国家的最先进的机器学习算法。我们希望VRGym可以帮助推进通用机器人和机器学习代理,以及在认知科学领域协助人类研究。
2019-04-02 cs.HC cs.RO
InterDeepResearch: Enabling Human-Agent Collaborative Information Seeking through Interactive Deep Research
State Key Lab of CAD&CG Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室);Zhejiang University(浙江大学)
本文提出InterDeepResearch系统,通过交互式深度研究框架提升人机协作信息检索效率,实验证明其在性能和用户研究支持方面具有竞争力。
2026-03-13 cs.HC cs.IR
Visions of Destruction: Exploring a Potential of Generative AI in Interactive Art
Tallinn University(塔林大学);Academy of Media Art Cologne(科隆媒体艺术学院)
本文以交互艺术作品《Visions of Destruction》为案例,探讨了生成式AI在交互艺术中的潜力,通过基于注视的交互动态改变数字景观,象征人类活动对环境的影响,为创意AI和交互艺术领域做出重要贡献。
2024-08-26 cs.AI cs.HC
Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback
Aalto University(阿尔托大学);University of Cambridge(剑桥大学);University of Trento(特伦特大学);KTH Royal Institute of Technology(皇家理工学院)
本文提出交互式组间比较方法,通过可视化和主动学习提升强化学习从人类反馈中学习的奖励和策略效果。
2025-11-27 cs.HC cs.LG
A Human-Centered Approach to Interactive Machine Learning
University of Alberta(阿尔伯塔大学)
交互式机器学习(IML)社区旨在通过开发自动决策系统来增强人类随着时间的推移进行学习和决策的能力。这种交互代表了多个智能系统--人类和机器之间的协作。缺乏对所涉及的人的适当考虑可能导致有问题的系统行为,以及公平性,问责制和透明度问题。这项工作提出了一个以人为本的思想方法,应用IML方法。本指南旨在供人工智能从业者使用,他们将人为因素纳入工作中。这些从业者负责相互作用的人类的健康,安全和福祉。对公众互动负责的义务意味着正直、诚实、公平地行事,并遵守适用的法律法规。有了这些价值观和原则,我们作为一个研究社区可以更好地实现增强人类能力的集体目标。本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2019-05-15 cs.CY cs.HC cs.LG
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
尽管人工智能有望改善人类在社会关键领域的决策,但人类-人工智能团队如何在具有挑战性的预测任务(也称为互补性能)中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向,以了解在实现互补性能的差距。首先,我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能,我们设计了具有不同分布类型的实验,并研究了分布内和分布外示例的人类性能。其次,我们开发了新的界面来支持交互式解释,以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验,我们证明了分布内和分布外之间的明显差异,并观察到交互式解释的混合结果:虽然交互式解释提高了人类对人工智能辅助有用性的感知,但它们可能会加强人类的偏见并导致有限的性能改善。总的来说,我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC
StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Tencent Hunyuan(腾讯混元);Nanjing University(南京大学)
本文提出一种两阶段自回归适应与加速框架,通过自回归蒸馏和对抗性细化,使高保真人类视频扩散模型适用于实时交互流式生成,实现自然对话与倾听行为。
2026-03-28 cs.AI cs.CV cs.HC
Human Engagement Providing Evaluative and Informative Advice for Interactive Reinforcement Learning
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学)
交互式强化学习提出使用外部来源的信息来加速学习过程。当与学习者代理交互时,人类可以提供评价性或信息性的建议。之前的研究主要集中在人工建议的效果上,包括对交互式强化学习过程的实时反馈,特别是旨在提高智能体的学习速度,同时最大限度地减少对人类的时间需求。这项工作的重点是回答这两种方法,评估或信息,是人类的首选教学方法。此外,这项工作提出了一个实验装置,旨在比较人们使用的方法来提供建议,在人类参与方面的人类试验。所获得的结果表明,用户提供翔实的建议,学习者代理提供更准确的建议,愿意帮助学习者代理更长的时间,并提供更多的建议,每集。此外,自我评价的参与者使用的信息的方法表明,代理人的能力,遵循的建议是较高的,因此,他们觉得自己的建议是更高的准确性相比,人们提供的评价性建议。
2022-07-07 cs.AI cs.HC cs.MA
Learning Shaping Strategies in Human-in-the-loop Interactive Reinforcement Learning
Dalian University of Technology(大连理工大学);Ocean University of China(中国海洋大学)
为强化学习代理提供信息丰富的人类知识可以显着改善学习的各个方面。先前的工作已经开发了不同类型的塑造方法,使代理在复杂的环境中有效地学习。然而,所有这些方法都在专门的成形过程中为代理人量身定制人类指导,从而在不同领域体现出各种特征和优势。在本文中,我们研究了不同的整形方法之间的相互作用,以获得更强大的学习性能。我们提出了一种自适应成形算法,它能够学习最合适的成形方法在一个在线的方式。在两个经典领域的结果验证了它的有效性,从模拟和真实的人类研究,揭示了人的因素在人-机器人协作学习中的作用和影响。
2018-11-10 cs.AI cs.HC cs.LG
Interactive Narrative Analytics: Bridging Computational Narrative Extraction and Human Sensemaking
Universidad Católica del Norte(智利北方大学)
本文提出交互式叙事分析,结合计算叙事提取与交互式可视化,以提升大规模新闻和社交媒体中的叙事认知处理能力。
2026-01-16 cs.AI cs.CL cs.CY
Towards Interactive Intelligence for Digital Humans
本文提出交互智能新范式,通过Mio框架实现人格一致表达、自适应交互和自进化,建立新基准测试,展示框架在交互智能方面优于现有方法。
2026-03-13 cs.CL cs.CV cs.GR
SakugaFlow: A Stagewise Illustration Framework Emulating the Human Drawing Process and Providing Interactive Tutoring for Novice Drawing Skills
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室, 有限公司);The University of Tokyo(东京大学)
针对 AI 绘画工具缺乏过程教学的问题,本文提出四阶段框架 SakugaFlow,结合扩散图像生成与 LLM 辅导,为新手提供实时反馈、非线性修改与版本分支,实现创作探索与技能学习。
2025-06-10 cs.CV cs.HC
Interactive Text2Pickup Network for Natural Language based Human-Robot Collaboration
Seoul National University(首尔国立大学);Kakao Brain
在本文中,我们提出了交互式文本拾取(IT2P)网络的人与机器人的协作,使一个有效的互动与人类用户,尽管用户的命令的模糊性。我们专注于机器人的任务,预计将拿起一个由人类指示的对象,并与人类互动时,给定的指令是模糊的。所提出的网络理解人类用户的命令,并首先估计所需对象的位置。为了处理人类语言命令中固有的歧义,生成可以解决歧义的合适的问题。用户对问题的回答与初始命令相结合,并反馈给网络,从而获得更准确的估计。实验结果表明,在给定明确的命令,所提出的方法可以估计所请求的对象的位置与我们的测试数据集的基础上,准确率为98.49%。考虑到模糊的语言命令,我们表明,将从互动中获得的信息后,拿起任务的准确性增加了1.94倍。
2018-05-28 cs.CL cs.HC cs.RO
InterFeedback: Unveiling Interactive Intelligence of Large Multimodal Models via Human Feedback
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
本文提出InterFeedback交互式评估框架及基准,通过人类反馈测试大型多模态模型的交互智能,发现包括OpenAI-o1在内的先进模型仍难以有效利用反馈改进回答,指出需发展增强LMM反馈利用能力的方法。
2025-11-07 cs.AI cs.CL cs.CV
CvhSlicer 2.0: Immersive and Interactive Visualization of Chinese Visible Human Data in XR Environments
针对人体解剖学研究与教育需求,提出CvhSlicer 2.0创新XR系统,可在商用XR头显上实现CVH数据集的沉浸式交互式可视化,经评估能提升用户参与度与教育效果。
2025-01-24 cs.GR cs.HC cs.MM
Towards interactive evaluations for interaction harms in human-AI systems
针对现有静态AI评估无法捕捉反复人机交互产生的交互危害的问题,本文提出基于交互伦理的交互式评估范式,给出设计原则并探讨实施挑战,为更贴合实际使用的AI评估与治理奠定基础。
2026-09-14 cs.AI cs.CY cs.HC
Interactive Example-based Explanations to Improve Health Professionals' Onboarding with AI for Human-AI Collaborative Decision Making
Singapore Management University(新加坡管理大学);Singapore General Hospital(新加坡综合医院)
提出交互式基于示例的解释方法,通过呈现最近邻样本协助健康专业人员入门AI,实验证明该方法能优化人员对AI的依赖并提高正确决策比例,降低错误决策比例。
2024-09-24 cs.AI cs.HC cs.LG
Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
University of Florida(佛罗里达大学)
混合主动系统允许用户交互式地提供反馈,以潜在地提高系统性能。人工反馈可以纠正模型错误并更新模型参数,以动态适应不断变化的数据。此外,许多用户希望能够有更高的控制水平,并修复他们所依赖的系统中的感知缺陷。然而,向自治系统提供反馈的能力如何影响用户信任,这在很大程度上是一个尚未探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一个对照实验,使用一个模拟的目标检测系统与图像数据,研究交互式反馈收集对用户印象的影响。结果表明,提供人在回路反馈降低了参与者对系统的信任和他们对系统准确性的感知,无论系统准确性是否响应他们的反馈而提高。这些结果强调了在设计智能系统时考虑最终用户反馈对用户信任的影响的重要性。
2020-08-28 cs.AI cs.HC cs.LG
SPEAR: Five Principles for Interactive Human-Agent Alignment
Columbia University(哥伦比亚大学)
本文提出将人机对齐视为交互设计问题,并引入SPEAR五原则:规范、过程、评估、适应与重新校准,以指导智能体在长期社会情境中的持续对齐。
2026-10-07 cs.AI cs.HC cs.MA
Cost-effective Interactive Attention Learning with Neural Attention Processes
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Yonsei University College of Medicine(延世大学医学院);AITRICS
我们提出了一种新的交互式学习框架,我们称之为交互式注意力学习(IAL),其中人类主管交互式地操纵分配的注意力,通过更新注意力生成网络来纠正模型的行为。然而,由于缺乏人类注释,这样的模型容易过度拟合,并且需要昂贵的重新训练。此外,它几乎是不可行的,为人类的注释员,以审查对吨的实例和功能的关注。我们通过提出一种样本高效的注意力机制和一种针对实例和特征的经济高效的重新排序算法来应对这些挑战。首先,我们提出了神经注意力过程(NAP),这是一个注意力发生器,可以通过合并新的注意力水平监督来更新其行为,而无需任何重新训练。其次,我们提出了一种算法,优先考虑的实例和功能的负面影响,使模型可以产生很大的改善与最小的人的反馈。我们在来自多个领域(医疗保健,房地产和计算机视觉)的各种时间序列数据集上验证了IAL,在这些数据集上,IAL的性能显着优于传统注意力机制的基线,或者没有成本效益的重新排序,具有更少的再培训和人类模型交互成本。
2020-06-09 cs.HC cs.LG stat.ML
Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement
Montanuniversität(莱奥本矿业大学)
针对现有IML难以处理连续空间且交互形式受限的问题,提出含PEI获取函数的IBO框架,支持用户塑造策略,并通过仿真与Franka Panda机器人验证人机协作效果。
2024-01-23 cs.AI cs.HC cs.LG
TagLab: A human-centric AI system for interactive semantic segmentation
Visual Computing Lab(视觉计算实验室);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
高度特定的语义类别和复杂形状的全自动语义分割可能无法满足科学家所要求的准确性标准。在这种情况下,以人为本的人工智能解决方案,能够帮助操作员,同时保持人类对复杂任务的控制,是一个很好的权衡,以加快图像标记,同时保持高精度水平。TagLab是一款开源的人工智能辅助软件,用于注释大型正射图像,它利用不同程度的自动化;它通过辅助工具从头开始加速图像注释,创建自定义的全自动语义分割模型,最后,允许快速编辑自动预测。由于正射图像分析适用于多个科学学科,TagLab设计了灵活的标记管道。我们报告我们的结果在两个不同的情况下,海洋生态和建筑遗产。
2021-12-23 cs.AI cs.CV cs.HC
A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning
DeepMind(深度思维)
交互式机器学习(IML)是一个研究领域,探索如何在决策系统中利用人类和计算能力。IML代表了多个互补的人类和机器智能系统之间的协作,每个系统都有自己独特的能力和局限性。这种团队合作可能意味着两个系统同时或按顺序采取行动。IML领域的两个主要开放研究问题是:“我们应该如何设计能够随着时间的推移通过人机交互学习做出更好决策的系统?以及"我们应该如何评估这种系统的设计和部署?“对所涉及的人缺乏适当的考虑可能会导致系统行为问题,以及公平性、问责制和透明度问题。因此,我们这项工作的目标是提出一个以人为本的指南,以设计和评估IML系统,同时降低风险。本指南旨在供负责人类互动的健康、安全和福祉的机器学习从业者使用。对公众互动负责的义务意味着正直、诚实、公平地行事,并遵守适用的法律法规。牢记这些价值观和原则,我们作为机器学习研究社区可以更好地实现增强人类技能和能力的目标。因此,本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2022-04-20 cs.GL cs.HC cs.LG
Unsupervised Evaluation of Interactive Dialog with DialoGPT
Dialog Research Center, Language Technologies Institute(语言技术研究所对话研究中心);Carnegie Mellon University(卡内基梅隆大学)
定义有意义和可解释的自动评估指标对于开放域对话研究是非常重要的。标准的语言生成度量已被证明对对话无效。本文介绍了FED度量(对话的细粒度评估),这是一种使用DialoGPT的自动评估度量,无需任何微调或监督。它还介绍了FED数据集,该数据集是通过注释一组具有18个细粒度对话质量的人-系统和人-人对话而构建的。FED度量(1)不依赖于地面实况响应,(2)不需要训练数据,以及(3)在回合和整个对话级别上测量细粒度对话质量。FED在这两个水平上都与人类判断达到中度到高度相关。
2020-06-23 cs.AI cs.CL cs.HC
A Framework for Interactive Knowledge-Aided Machine Teaching
Georgia Institute of Technology(佐治亚理工学院)
机器教学(MT)是一个交互式的过程,其中人类通过扮演教师的角色来训练机器学习模型。设计机器翻译系统的过程涉及可能影响人类教师效率和机器学习者性能的决策。以前的研究提出并评估了具体的MT系统,但有一个一般的框架设计它们的讨论有限。我们提出了一个设计机器翻译系统的框架,并详细介绍了一个系统的文本分类问题作为一个具体的例子。我们的框架侧重于三个组成部分,即教学界面,机器学习者和知识库,和他们的关系描述了每个组件如何可以使其他人受益。我们的初步实验表明,机器翻译系统可以减少人类的教学时间和机器学习的出错率。
2022-04-21 cs.AI cs.HC cs.LG
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
DeepMind(深度思维)
人工智能的一个重要目标是创建能够与人类自然交互并从他们的反馈中学习的代理。在这里,我们演示了如何使用基于人类反馈的强化学习(RLHF)来改进模拟的、具体的代理,这些代理通过模仿学习训练到基本的能力水平。首先,我们收集了人类在模拟的3D世界中与代理交互的数据。然后,我们要求注释者记录他们认为智能体朝着人类指示的目标前进或倒退的时刻。使用这些注释数据,我们利用了一种新的方法-我们称之为“跨时间布拉德利-特里”(IBT)建模-来构建一个捕获人类判断的奖励模型。经过培训以优化IBT奖励模型提供的奖励的代理在我们的所有指标方面都有所改进,包括在与代理的实时交互期间的后续人类判断。总之,我们的研究结果展示了如何成功地利用人类的判断来改善代理行为,使我们能够在没有程序奖励功能的复杂的具体领域中使用强化学习。代理行为的视频可以在https://youtu.be/v_Z9F2_eKk4上找到。
2022-11-21 cs.HC cs.LG cs.MA
Interactive Model Cards: A Human-Centered Approach to Model Documentation
Tableau Research & User Research(Tableau研究与用户研究部);Salesforce Research(赛富时研究院);Hugging Face(抱抱脸)
用于自然语言处理(NLP)的深度学习模型越来越多地被分析师采用和部署,而无需接受NLP或机器学习(ML)的正式培训。然而,旨在传达模型细节和适当使用的文档主要是针对具有ML或NLP专业知识的个人定制的。为了解决这一差距,我们进行了设计调查的交互式模型卡,这增加了传统的静态模型卡与启示,探索模型文档和模型本身的互动。我们的调查包括与ML,NLP和AI伦理学专家进行的初步概念研究,然后是与在工作中使用ML模型的非专家分析师进行的单独评估研究。使用半结构化的访谈格式,加上有声思维协议,我们收集了反馈,共30名参与者从事不同版本的标准和交互式模型卡。通过对收集到的数据进行主题分析,我们确定了几个概念维度,总结了标准和交互式模型卡的优势和局限性,包括:利益相关者;设计;指导;可理解性和可解释性;意义理解和怀疑;信任和安全。我们的研究结果表明,精心考虑的设计和互动的重要性,为导向和支持非专家分析师使用深度学习模型,以及需要考虑更广泛的社会技术背景和组织动态。我们还确定了支持交互性并使非交互式内容可访问的设计元素,例如语言,视觉提示和警告等。我们总结了我们的研究结果作为设计指南,并讨论了它们对以人为本的AI/ML文档方法的影响。
2022-05-05 cs.AI cs.CL cs.HC
The Interactive Minority Game: a Web-based investigation of human market interactions
万维网提供的前所未有的访问带来了收集大量人类活动数据的潜力。在这里,我们利用这一点,通过使用玩具模型的金融市场,少数人博弈(MG),调查人类的投机交易行为和信息能力。在基于网络的交互式少数民族游戏中,数百人与计算机控制的代理人进行了数万次的游戏回合。对MG的分析理解允许对遇到的市场情况进行微调,允许在各种受控环境中调查人类行为。特别是,我们的研究结果表明,在球员的决策,市场变得更加困难,之间的演绎行为利用市场的短期趋势,高度重复的行为,完全忽略了市场的历史,但优于随机决策。PACS:02.50.Le; 89.65.Gh; 89.70.+关键词:决策论与博弈论;经济学与金融市场;信息论
2003-11-05 cond-mat.stat-mech cs.HC nlin.AO
Towards Interactive Multimodal Representation of ML Functions for Human Understanding of ML
Carnegie Mellon University(卡内基梅隆大学)
本文通过交互式可视化增强对机器学习的理解,旨在通过透明数据集探索提升对ML的积极态度,鼓励更多人探索该领域。
2026-05-01 cs.GR cs.HC cs.MM