CoVe: Training Interactive Tool-Use Agents via Constraint-Guided Verification
Huawei Research（华为研究）
CoVe通过约束引导验证方法有效提升交互式工具使用代理的训练数据合成效率与质量。
2026-03-02 cs.AI
Interactive Hierarchical Guidance using Language
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；US Army Research Lab（美国陆军研究实验室）
强化学习在机器人控制、游戏、能源管理等许多任务中取得了成功。在奖励稀疏、任务范围较长的复杂现实世界环境中，样本效率仍然是一个重大挑战。大多数复杂的任务可以很容易地分解为高层次的计划和低层次的控制。因此，重要的是使代理能够利用层次结构并将较大的任务分解为多个较小的子任务。我们介绍了一种方法，我们使用语言来指定子任务和一个高层次的规划师问题的语言命令的低级别控制器。低级控制器基于语言命令执行子任务。我们的实验表明，该方法能够解决复杂的长期规划任务与有限的人力监督。使用语言增加了可解释性的好处，并使专家能够接管高级规划任务，并在必要时提供语言命令。
2021-10-09 cs.AI
Correctness Learning: Deductive Verification Guided Learning for Human-AI Collaboration
Zhengzhou University（郑州大学）；University of Electronic Science and Technology（电子科技大学）
本文提出正确性学习（CL）和模式驱动的正确性学习（PDCL），通过演绎验证从历史高质量方案中提取正确性模式并建立反馈机制，以引导智能决策模型实现更优的人机协同决策和资源优化。
2025-03-10 cs.AI
A Human-Centered Safe Robot Reinforcement Learning Framework with Interactive Behaviors
Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；King’s College London（伦敦国王学院）；Tongji University（同济大学）
本文提出一个以人为中心的安全机器人强化学习框架，包含安全探索、价值对齐和协作三阶段，并强调利用交互行为（如ChatGPT）来应对鲁棒性、效率、透明性和适应性挑战。
2023-10-16 cs.AI cs.RO
Toward Deployable Multi-Robot Collaboration via a Symbolically-Guided Decision Transformer
Purdue University（普渡大学）
本文提出符号引导决策Transformer（SGDT）框架，通过神经符号规划器生成符号子目标，引导目标条件决策Transformer进行多机器人操作的低层序列决策，首次将DT技术应用于多机器人操作，并在零样本和少样本场景中验证了其结构化、可解释和可泛化的决策能力。
2025-08-19 cs.AI cs.RO
ViviDoc: Generating Interactive Documents through Human-Agent Collaboration
National University of Singapore（新加坡国立大学）；University of Virginia（弗吉尼亚大学）；Cornell University（康奈尔大学）
ViviDoc通过多智能体流程和三级人类控制，系统性解决交互式文档生成问题，构建了ViviBench基准并实现高内容丰富度和交互质量。
2026-03-30 cs.AI cs.HC
Effects of Collaboration on the Performance of Interactive Theme Discovery Systems
University of Colorado Boulder（科罗拉多大学波德沃分校）
本文研究了同步与异步协作对三种NLP辅助定性研究工具性能的影响，分析了结果的一致性、凝聚力和正确性差异。
2026-04-21 cs.CL cs.HC
Interactive graph query language for multidimensional data in Collaboration Spotting visual analytics framework
数据网可视化分析中的人类推理主要依赖于视觉感知的质量和从不同方面交互地探索数据的能力。网络的视觉质量取决于网络的规模和维度复杂度，而网络的探索能力则取决于用户前端的直观性和表现力。本文所采取的方法旨在解决上述问题，通过分解数据网成多个网络的较小的尺寸和建立一个交互式的图形查询语言，支持跨子网络的全面导航。在降维的子网络中，结构抽象和语义技术可以用来进一步增强视觉感知。
2017-12-12 cs.DB cs.HC
CoAug-MR: An MR-based Interactive Office Workstation Design System via Augmented Multi-Person Collaboration
使用3D建模和数字人体模型的数字原型设计和评估对于根据用户偏好定制产品变得越来越实用。然而，3D建模对于普通用户来说不太容易获得，并且数字人体模型遭受身体数据不足以及人们如何使用产品或产品如何适应他们身体的不直观说明。近年来，基于虚拟现实技术的“Do It Yourself”设计通过捕捉用户的姿势，实现了实时的人机工程学评估，但缺乏可靠性和设计质量。在本文中，我们探讨了一种多人交互式设计方法，使设计师，用户，甚至人体工学家合作，以实现有效和可靠的设计和原型任务。利用Hololens和运动跟踪设备的混合现实已经开发出来，以提供即时的设计反馈和评估，并在物理空间中体验原型设计。我们评估系统的可用性研究的基础上，休闲用户和设计师从事的互动过程中的设计项目的身体信息，偏好和环境。
2020-05-22 cs.GR cs.HC
Interactive Text2Pickup Network for Natural Language based Human-Robot Collaboration
Seoul National University（首尔国立大学）；Kakao Brain
在本文中，我们提出了交互式文本拾取（IT2P）网络的人与机器人的协作，使一个有效的互动与人类用户，尽管用户的命令的模糊性。我们专注于机器人的任务，预计将拿起一个由人类指示的对象，并与人类互动时，给定的指令是模糊的。所提出的网络理解人类用户的命令，并首先估计所需对象的位置。为了处理人类语言命令中固有的歧义，生成可以解决歧义的合适的问题。用户对问题的回答与初始命令相结合，并反馈给网络，从而获得更准确的估计。实验结果表明，在给定明确的命令，所提出的方法可以估计所请求的对象的位置与我们的测试数据集的基础上，准确率为98.49%。考虑到模糊的语言命令，我们表明，将从互动中获得的信息后，拿起任务的准确性增加了1.94倍。
2018-05-28 cs.CL cs.HC cs.RO
DashAct: A Progressive Diagnostic Benchmark for GUI Agents in Interactive Dashboard Analysis
Zhejiang University（浙江大学）
DashAct是首个细粒度诊断GUI代理在交互式仪表板分析中失败的基准，通过渐进式诊断级联评估端到端执行、动作预测和视觉定位，揭示当前模型在逐步支持下的瓶颈并提供改进指导。
2026-10-20 cs.AI cs.HC
Designs for Enabling Collaboration in Human-Machine Teaming via Interactive and Explainable Systems
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）
针对基于学习的HMT方法脆弱且缺乏协同的问题，提出支持迭代混合主动团队开发的方法，允许用户交互式重编程可解释AI队友，发现白盒交互修改能促进团队发展，黑盒更易训练，揭示了可解释性与训练易用性的权衡。
2024-11-17 cs.HC cs.RO
CineVision: An Interactive Pre-visualization Storyboard System for Director-Cinematographer Collaboration
针对电影前期制作中导演与摄影师沟通效率低、精准度不足的问题，提出AI驱动的交互式预可视化分镜系统CineVision，支持动态灯光、风格模拟与定制角色设计，经24人实验验证效率与可用性更优，可助力创意协同。
2025-08-04 cs.HC
Exploiting and Guiding User Interaction in Interactive Machine Teaching
人类具有在教学过程中进行各种互动的能力。然而，当人类想要教授AI时，现有的交互系统只允许人类进行重复的标记，导致教学体验不尽如人意。我的博士研究研究交互式机器教学（IMT），这是HCI研究的一个新兴领域，旨在增强人类在AI创建过程中的教学经验。我的研究建立了IMT系统，利用和引导用户交互，并表明这种人类交互的深度整合可以使AI模型和用户体验受益。
2022-09-06 cs.HC
Dialogue based Interactive Explanations for Safety Decisions in Human Robot Collaboration
Department of Civil Engineering and Management, Faculty of Science and Engineering, The University of Manchester（曼彻斯特大学科学与工程学院土木工程与管理系）；VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN研究所）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Department of Mechanical and Aerospace Engineering, Faculty of Science and Engineering, The University of Manchester（曼彻斯特大学科学与工程学院机械与航空航天工程系）；Center for the Possible Futures, Kyoto Institute of Technology（京都工艺纤维大学未来可能性中心）；Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科）
本文提出一种基于对话的交互式解释框架，用于人机协作中的安全决策，通过约束基础的安全评估实现解释与决策的紧密耦合，支持因果、对比和反事实查询，提升安全干预的透明度和协作效率。
2026-04-10 cs.HC cs.RO
PromptPilot: Improving Human-AI Collaboration Through LLM-Enhanced Prompt Engineering
University of Bayreuth（拜罗伊特大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
针对用户难以设计高质量提示、现有提示工程方法存在不足的问题，提出基于四项实证设计目标的交互式提示助手PromptPilot，实验验证其能显著提升任务表现，为人机协作提供可行技术路径。
2025-10-01 cs.AI cs.HC
Intuitive and Efficient Human-robot Collaboration via Real-time Approximate Bayesian Inference
Intel Labs（英特尔研究院）
协作机器人和端到端人工智能的结合，有望实现工厂和仓库中人工任务的灵活自动化。然而，这样的承诺似乎还需要一些突破。与此同时，人类和协作机器人将相互合作，互相帮助。为了使这些合作有效和安全，机器人需要建模，预测和利用人类的意图，以进行响应性决策过程。近似贝叶斯计算（ABC）是一种对不确定量进行概率预测的综合分析方法。ABC方便地包括先验知识，利用采样算法进行推理，并且可以灵活地从复杂的模型中受益，例如通过模拟器。然而，已知ABC在计算上太密集而不能以有效的人机协作任务所需的交互式帧速率运行。在本文中，我们制定了人类达到意图预测作为ABC问题，并描述了两个关键的性能创新，使计算在互动率。我们的现实世界的实验与协作机器人设置，证明了我们所提出的方法的可行性。实验评估传达的优势和价值的人类意图预测包装合作任务。定性结果表明，如何预测人类的达到意图，提高人类与机器人的协作，而不影响安全。定量的任务流畅性指标证实了定性的要求。
2022-05-17 cs.AI cs.HC cs.RO
Interactive AI with a Theory of Mind
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
相互理解是合作成功的关键。对人类来说，将心理状态归因于他人，即心理理论，提供了至关重要的优势。我们主张将人类与人工智能的交互作为一个多智能体问题，赋予人工智能一个计算理论来理解和预测用户。为了区别于以前的工作的方法，我们介绍了一个分类的用户建模方法的基础上，在互动中学会的机构的水平。我们描述了我们最近的工作，使用嵌套的多智能体建模，制定用户模型的多臂土匪为基础的交互式人工智能系统，包括概念验证用户研究。
2019-12-01 cs.AI cs.HC
Collaboration with Conversational AI Assistants for UX Evaluation: Questions and How to Ask them (Voice vs. Text)
Rochester Institute of Technology（罗切斯特理工学院）；University of Waterloo（滑铁卢大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
人工智能在帮助用户体验评估人员分析可用性测试方面很有前途，但其判断通常以非交互式可视化的形式呈现。评估人员可能对测试记录有疑问，但无法询问。交互式会话助理提供可以提高分析效率和评估者自主性的Q&A动态。为了了解与分析相关的所有问题，我们对20名通过文本或语音与模拟AI助手进行交互的参与者进行了一项绿野仙踪设计探索研究。我们发现，参与者询问了五类信息：用户操作、用户心理模型、人工智能助手的帮助、产品和任务信息以及用户人口统计数据。那些使用文本助手的人问了更多的问题，但问题长度相似。文本助理被认为效率更高，但两者在满意度和信任度方面的评分相同。我们还为未来的对话式AI助手提供设计考虑，以进行UX评估。
2023-03-07 cs.AI cs.HC
Towards Effective Generation of Interactive Visualizations with Vibe Coding: An Empirical Study
Beijing Institute of Technology（北京理工大学）
本研究通过78名参与者的用户研究，系统性评估氛围编码生成交互式可视化的能力、用户体验与协作策略，为优化氛围编码实践提供了见解。
2026-09-01 cs.HC
Interactive Collaborative Exploration using Incomplete Contexts
University of Kassel（卡塞尔大学）；Research Center for Information System Design（信息系统设计研究中心）
属性探索是形式概念分析领域中一种著名的知识获取方法。它用于在领域专家的帮助下揭示一组属性中的依赖关系。在大多数应用中，没有一个专家能够（时间和知识方面）单独探索知识领域。然而，到目前为止，还没有理论模型的多个专家的属性探索任务的不完全知识的互动。为此，我们开发了一个理论框架，允许多个专家一起探索领域。我们使用不完整知识的表示作为三值上下文。然后，我们适应相应版本的属性探索，以适应多个专家的设置。我们建议形式化的关键组成部分，如专家知识，互动和协作策略。特别是，我们定义了一个顺序，允许比较不同的探索策略的结果在同一个任务方面的信息完整性。此外，我们还讨论了比较合作策略的其他方法，并为未来的研究提出了建议。
2020-01-31 cs.AI cs.HC cs.LG
Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement
Montanuniversität（莱奥本矿业大学）
针对现有IML难以处理连续空间且交互形式受限的问题，提出含PEI获取函数的IBO框架，支持用户塑造策略，并通过仿真与Franka Panda机器人验证人机协作效果。
2024-01-23 cs.AI cs.HC cs.LG
TofuML: A Spatio-Physical Interactive Machine Learning Device for Interactive Exploration of Machine Learning for Novices
The University of Tokyo（东京大学）；Tsukuba University（筑波大学）；Fujitsu Limited（富士通株式会社）
本研究推出面向非专业用户的物理空间交互ML系统TofuML，通过两项用户研究证实其相比GUI版本更能提升用户参与度、降低ML入门门槛，为普适性交互式ML系统开发提供依据。
2025-08-06 cs.HC
Web-Based 3D and Haptic Interactive Environments for e-Learning, Simulation, and Training
知识创造发生在社会交往过程中。随着我们以服务为基础的社会逐渐演变为以知识为基础的社会，迫切需要更有效的协作和知识共享系统，供地理上分散的人们使用。我们提出使用Web3D组件和标准，如X3D，结合触觉（触觉）范例，开发新的通信渠道，电子学习和模拟。
2019-03-01 cs.GR cs.HC
Using Game Design to Inform a Plastics Treaty: Fostering Collaboration between Science, Machine Learning, and Policymaking
本研究通过游戏化设计开发交互式决策支持工具，促进科学、机器学习与政策制定的协作，以支持国际塑料污染条约的制定。
2025-12-02 cs.HC
PPTP: Performance-Guided Physiological Signal-Based Trust Prediction in Human-Robot Collaboration
针对人机协作中的信任预测问题，提出PPTP框架，融合ECG、GSR和EMG生理信号与协作性能评估，在三级别和七级别信任分类中分别达到81%和74.3%的准确率，优于基线方法。
2025-06-20 cs.HC cs.RO
RealGUINoise: An Interactive Cross-Platform Benchmark for GUI Agent Robustness under Real-World Interface Noise
Stanford University（斯坦福大学）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；Renmin University of China（中国人民大学）
针对真实界面噪声下GUI智能体性能与安全风险，提出交互式跨平台基准RealGUINoise，含42种噪声和7个框架，实验证明噪声降低性能并增加不安全行为。
2026-10-01 cs.HC
Enhancing Human-Robot Collaboration through Existing Guidelines: A Case Study Approach
Nagoya University（名古屋大学）；IMAGINARY Corporation（IMAGINARY公司）；Atelier Corporation（Atelier公司）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
本研究通过案例研究评估现有AI伦理与安全指南在人机协作系统中的适用性与局限性，提出人机交互改进方案，为指南落地提供参考，助力未来AI关键系统的保障与认证。
2025-02-12 cs.AI cs.HC cs.RO
InterDeepResearch: Enabling Human-Agent Collaborative Information Seeking through Interactive Deep Research
State Key Lab of CAD&CG Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）；Zhejiang University（浙江大学）
本文提出InterDeepResearch系统，通过交互式深度研究框架提升人机协作信息检索效率，实验证明其在性能和用户研究支持方面具有竞争力。
2026-03-13 cs.HC cs.IR
A Two-Phase Visualization System for Continuous Human-AI Collaboration in Sequelae Analysis and Modeling
针对医疗数据分析中人机协作被简化的问题，提出两阶段可视化系统框架，结合形成性研究，支持回顾性分析与迭代建模，以促进有效协作。
2024-07-20 cs.HC
Making Abstraction Concrete: A Design Space and Interaction Model of Abstraction in Interactive Systems
University of California San Diego（加州大学圣地亚哥分校）；Allen Institute for AI（艾伦人工智能研究所）
本文通过调研457篇论文，构建了抽象技术的六维设计空间，重新诠释了执行与评估的沟壑，揭示了用户与系统如何通过抽象桥梁进行交互设计。
2026-05-11 cs.HC
Scholastic: Graphical Human-Al Collaboration for Inductive and Interpretive Text Analysis
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
解释学者从文本语料库中生成知识，通过手动采样文档，应用代码，并将代码提炼和整理成类别，直到有意义的主题出现。在一个大型语料库中，机器学习可以帮助扩展这种数据采样和分析，但之前的研究表明，专家们普遍担心算法可能会破坏或推动解释性学术。我们采取以人为本的设计方法来解决机器辅助解释性研究的问题，以构建Scholastic，它采用了机器在环聚类算法来支撑解释性文本分析。作为一个学者应用代码的文件，并细化它们，所产生的编码模式作为结构化的元数据，约束层次的文件和词集群推断从语料库。这些集群的交互式可视化可以帮助学者战略性地对文档进行采样，进一步获得见解。Scholastic演示了以人为中心的算法设计和可视化如何使用熟悉的隐喻，通过交互式主题建模和文档聚类来支持归纳和解释性研究方法论。
2022-08-12 cs.HC cs.LG
Jokeasy: Exploring Human-AI Collaboration in Thematic Joke Generation
College of Design and Innovation, Tongji University（同济大学设计创意学院）
Jokeasy通过人机协作提升主题笑话生成，结合搜索功能与双角色LLM代理，优化创意流程与素材整合。
2026-02-10 cs.HC
A Survey on Interactive Reinforcement Learning: Design Principles and Open Challenges
交互式强化学习（RL）已经成功地应用于不同领域的各种应用中，这也激励了HCI研究人员在这一领域做出贡献。在本文中，我们调查交互式强化学习，使人机交互（HCI）的研究人员在强化学习需要设计新的交互技术，并提出新的应用程序的技术背景。我们阐明了人机交互研究人员在交互式强化学习中所扮演的角色，确定想法和有前途的研究方向。此外，我们提出了通用的设计原则，这将为研究人员提供一个指导，以有效地实现交互式RL应用程序。
2021-05-27 cs.HC
Winds Through Time: Interactive Data Visualization and Physicalization for Paleoclimate Communication
本文介绍了一项多学科合作，为公共科学中心设计了一个关于古气候的交互式展览，通过可触摸操作的山脉和冰盖数据实体化与风模拟可视化交互，展示北美洲现在与末次冰盛期气候的巨大差异。
2025-09-16 cs.HC cs.MM
A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning
DeepMind（深度思维）
交互式机器学习（IML）是一个研究领域，探索如何在决策系统中利用人类和计算能力。IML代表了多个互补的人类和机器智能系统之间的协作，每个系统都有自己独特的能力和局限性。这种团队合作可能意味着两个系统同时或按顺序采取行动。IML领域的两个主要开放研究问题是：“我们应该如何设计能够随着时间的推移通过人机交互学习做出更好决策的系统？以及"我们应该如何评估这种系统的设计和部署？“对所涉及的人缺乏适当的考虑可能会导致系统行为问题，以及公平性、问责制和透明度问题。因此，我们这项工作的目标是提出一个以人为本的指南，以设计和评估IML系统，同时降低风险。本指南旨在供负责人类互动的健康、安全和福祉的机器学习从业者使用。对公众互动负责的义务意味着正直、诚实、公平地行事，并遵守适用的法律法规。牢记这些价值观和原则，我们作为机器学习研究社区可以更好地实现增强人类技能和能力的目标。因此，本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2022-04-20 cs.GL cs.HC cs.LG
