Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making
Microsoft Research(微软研究院);University of Virginia(弗吉尼亚大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学);Human Computation Institute(人类计算研究所);LMU Munich(慕尼黑大学);Western Washington University(西华盛顿大学)
人类-人工智能协作决策努力实现团队绩效,超过人类或人工智能单独的绩效。然而,许多因素可能会影响人类-AI团队的成功,包括用户的领域专业知识,AI系统的心理模型,对建议的信任等等。这项工作研究了用户与三个模拟算法模型的交互,所有这些模型都具有相似的准确性,但对真阳性率和真阴性率的调整不同。我们的研究检查了用户在一个重要的血管标记任务中的表现,参与者指出了给定的血管是流动还是停滞。我们的研究结果表明,虽然来自AI助手的建议可以帮助用户决策,但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显著影响整体团队绩效。新手用户有所改善,但没有达到AI的准确性水平。高度熟练的用户通常能够辨别何时应该遵循人工智能的建议,并通常保持或提高他们的性能。与人工智能具有相似准确性水平的中等表现者,在人工智能建议是否有助于或损害他们的表现方面变化最大。此外,我们发现,用户对人工智能性能的感知相对于他们自己也对他们在获得人工智能建议时的准确性是否提高产生了重大影响。这项工作提供了有关人机协作因素复杂性的见解,并就如何开发以人为本的人工智能算法以补充决策任务中的用户提供了建议。
2022-08-16 cs.AI cs.HC
Development of Mental Models in Human-AI Collaboration: A Conceptual Framework
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出概念框架,阐明人机协作设计如何通过数据情境化、推理透明度和绩效反馈机制驱动三种心智模型的发展,以促进有效协作。
2025-10-09 cs.AI cs.HC
AI Agents for Inventory Control: Human-LLM-OR Complementarity
Stern School of Business, New York University(纽约大学斯特恩商学院);Columbia University(哥伦比亚大学);Graduate School of Business and Data Science Institute, Columbia University(哥伦比亚大学商学院与数据科学研究院)
本文研究了人类、大语言模型和运筹学算法在库存控制中的互补性,通过实验发现人机协作能提升利润,且大量个体从中受益。
2026-02-13 cs.AI cs.HC cs.LG
Alignment Games: A Framework for Conceptual Repair in Human-AI Collaboration
Stanford University(斯坦福大学)
本文提出对齐博弈框架,通过识别和修复人机协作中的概念错位,利用对齐动作干预情境与推理,支持任务充分的概念对齐。
2026-09-29 cs.AI cs.HC
A Taxonomy of Human and ML Strengths in Decision-Making to Investigate Human-ML Complementarity
Carnegie Mellon University(卡内基梅隆大学)
本研究提出人机决策优势分类体系,梳理人机决策差异与互补性能潜在机制,构建数学聚合框架并通过合成模拟验证其可用于探索分类体系及人机判断结合的最优机制。
2023-11-05 cs.HC cs.LG
When Thinking Pays Off: Incentive Alignment for Human-AI Collaboration
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);IBM Research(IBM 研究院)
研究探讨了人机协作中激励结构对过度依赖AI的影响,提出新的激励机制减少过度依赖,通过实验验证其有效性,强调激励设计需与任务和互补性对齐。
2026-05-14 cs.HC
Learning Complementary Policies for Human-AI Teams
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);ESADE Business School(ESADE商学院)
本文研究人机团队决策中的互补性挑战,提出一种对模型错误设定稳健的延迟协作策略学习方法,通过战略分配实例给人类或AI以最大化决策奖励,显著优于独立决策且仅需少量人类介入即可提升性能。
2025-11-03 cs.AI cs.HC
Conformal Set-based Human-AI Complementarity with Multiple Experts
The Hong Kong Polytechnic University(香港理工大学)
针对多专家场景,提出利用保形预测集进行实例特定专家子集选择的贪心算法,基于真实数据验证其能获得近最优子集并提升多专家分类性能。
2025-08-09 cs.AI cs.HC cs.LG
Mixed-Initiative Context: Structuring and Managing Context for Human-AI Collaboration
George Mason University(乔治梅森大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);City University of Hong Kong(香港城市大学)
本文提出混合发起式上下文,通过结构化和可操作的交互对象,动态组织协作流程中的上下文,提升人机协作效率与可控性。
2026-04-08 cs.AI cs.HC
Deconstructing Human-AI Collaboration: Agency, Interaction, and Adaptation
ETH Zurich(苏黎世联邦理工学院)
本文提出一套以能动性、交互和适应性为核心的新维度,用于分析和描述人机协作系统,并通过文献调研、专家访谈和实例应用验证其有效性。
2024-04-18 cs.AI cs.HC
The Impact of Concept Explanations and Interventions on Human-Machine Collaboration
Cardiff University(卡迪夫大学);Imperial College London(伦敦帝国学院);IBM Research Europe(IBM欧洲研究院)
本文研究了概念瓶颈模型(CBMs)在人机协作中的影响,发现其提升可解释性但未显著提高任务准确率。
2025-10-19 cs.AI cs.HC
CrossTalk: Intelligent Substrates for Language-Oriented Interaction in Video-Based Communication and Collaboration
University of California San Diego(加州大学圣地亚哥分校)
本文提出CrossTalk视频会议系统,通过面板基底、语言意图识别和轻量级交互技术,将智能主动融入通信协作,实现更流畅灵活的交互体验。
2023-08-07 cs.AI cs.CL cs.HC
Exploratory Unstructured Data Analysis: A Formative Study and Implications for Human-AI Collaboration
TU Wien(维也纳工业大学);University of Applied Sciences St. Pölten (USTP)(圣珀尔滕应用科学大学)
本研究提出EluDA框架,通过形成性研究发现用户自下而上构建分面分类、CLIP分配不可靠但支持语义分组,进而明确人机协作的四大关键机遇。
2026-09-04 cs.HC
Conceptual Metaphors Impact Perceptions of Human-AI Collaboration
Stanford University(斯坦福大学)
随着对话式人工智能(AI)代理的出现,了解影响用户对这些代理的体验的机制非常重要。我们研究了设计师工具箱中的一个常用工具:概念隐喻。隐喻可以把一个代理人描述成一个扭曲的青少年,一个蹒跚学步的孩子,或者一个有经验的管家。隐喻的选择如何影响我们对人工智能智能体的体验?沿着温暖和能力的维度采样隐喻-由心理学理论定义为人类社会感知的变化的主轴-我们进行了一项研究(N=260),我们操纵的隐喻,但不是行为,一个向导的奥兹会话代理。以下的经验,参与者进行调查,他们的意图使用代理,他们的愿望与代理合作,代理的可用性。与目前设计师使用高能力隐喻来描述人工智能产品的趋势相反,我们发现,与高能力的隐喻相比,低能力的隐喻会导致对智能体的更好评价。尽管高能力和低能力的代理人都具有人类水平的表现,而且巫师对条件视而不见,这种效果仍然存在。第二项研究证实,采用的意图迅速减少能力预测的隐喻增加。在第三项研究中,我们评估了隐喻选择对潜在用户尝试系统的愿望的影响,发现用户被吸引到投射更高的能力和温暖的系统。这些结果表明,投射能力可能有助于吸引新的用户,但这些用户可能会放弃代理,除非它可以迅速纠正与较低的能力隐喻。我们结束了一个回顾性的分析,发现类似的模式之间的隐喻和用户对过去的会话代理人,如小冰,达卡,Woebot,Mitsuku和泰的态度。
2020-08-05 cs.AI cs.HC
Align When They Want, Complement When They Need! Human-Centered Ensembles for Adaptive Human-AI Collaboration
本文提出了一种人本适应性AI集成,通过上下文提示在对齐与互补模型间切换,以提升人机协作的性能与信任。
2026-02-23 cs.AI cs.HC cs.LG
TeleSHift: Telexisting TUI for Physical Collaboration & Interaction
目前的工作流程的共同编辑和同时呈现的3-D形状被限制在屏幕上的操纵,这会导致损失的感知信息时,呈现感知概念或复杂的形状之间的成员。因此,我们创建TeleSHift,一个3-D有形的用户界面(TUI)与电传通信框架为基础的协作和演示。在这项工作中,我们提出了一个更大规模的概念验证原型,为基于形状的交互提供动手操作,包括多边协作和一对多演示。与以前的作品相比,我们进一步扩展使用的TUI,以支持与telexistence合作任务,同时使可操纵位的链接,以提供更好的用户体验和交互性。
2022-09-17 cs.HC
Co-badge: An Activity for Collaborative Engagement with Data Visualization Design Concepts
针对数据可视化普及下的协作科普需求,提出90分钟的Co-Badge协作设计活动,经三场不同背景参与者的工作坊验证,该活动可趣味化普及设计原则,为多元主体的数据可视化教育提供新方案。
2024-09-12 cs.HC
Using Conformity to Probe Interaction Challenges in XR Collaboration
一致性谱的概念被引入来描述虚拟化与用户周围的真实世界物理特性的粘附程度。然后,这是用来检查在不同层次的虚拟性和一致性协作时的交互挑战。
2020-04-10 cs.HC
MAD-TN: A Tool for Measuring Fluency in Human-Robot Collaboration
Harvey Mudd College(哈维穆德学院);Olin College of Engineering(欧林工程学院)
流畅性是人机交互(HRI)中的一个重要指标,它描述了人类和机器人在任务上协作的协调性。流畅性与任务的时间有着内在的联系,这使得时间约束网络成为建模和测量流畅性的一种很有前途的方法。我们表明,多智能体菊花时序网络(MAD-TN)制定,扩展了菊花结构网络的现有概念,既是一个有效的人机协作模型和一个自然的方式来衡量现有的流畅性指标。MAD-TN模型强调了我们假设与人类队友对流畅性的感知密切相关的新指标。
2020-02-14 cs.AI cs.HC cs.RO
Critical-Reflective Human-AI Collaboration: Exploring Computational Tools for Art Historical Image Retrieval
本研究通过访谈和出声思考实验,探讨如何通过设计计算工具支持艺术史图像检索中的人机协作,提出批判性反思是核心前提,并给出四项设计启示。
2023-06-22 cs.HC
Human-Machine Collaboration-Guided Space Design: Combination of Machine Learning Models and Humanistic Design Concepts
本文提出人机协作框架,将机器学习的设计自动化与人类设计师的情感、文化和美学判断相结合,并通过办公与住宅案例验证其在提升空间设计效率与人文价值方面的作用。
2025-07-02 cs.HC cs.MM
Human-Computer Collaboration for Visual Analytics: an Agent-based Framework
本文提出一个基于智能体的可视分析概念模型,借鉴人工智能思想统一可视分析流程,以支持混合主动、引导式和协作式分析场景的推理与刻画。
2023-04-19 cs.HC
Constructing AI ethics narratives based on real-world data: Human-AI collaboration in data-driven visual storytelling
本研究针对AI伦理叙事缺失问题,基于故事模型五要素提出人机协作概念框架,在真实AI新闻案例中利用生成式AI进行数据驱动视觉叙事,为构建真实AI伦理叙事提供参考,以促进公众参与和AI政策发展。
2025-02-02 cs.HC
Toward Collaborative Information Seeking (CIS)
人类在处理复杂问题时进行合作是很自然的。在这篇文章中,我认为这一过程中的信息寻求的背景下合作。这里提出的研究和讨论是由两个不满驱动的:(1)今天的大多数IR系统不直接促进协作,(2)协作的概念本身没有得到很好的理解。我首先探讨协作的概念,并提出一个模型,帮助我们理解成功协作的要求。然后,基于扩展的信息搜索模型,给出了协同信息搜索(CIS)环境的模型。
2009-08-05 cs.HC cs.IR
What do you mean by human-AI collaboration: Prerequisite functions and the affordances needed to achieve it
UCL Knowledge Lab & UCL Centre for Artificial Intelligence, University College London(伦敦大学学院知识实验室与人工智能中心)
本文基于学习科学对协作的严格定义,提出人机协作需满足对称关系、共享目标等条件,并通过五级诊断分类法指出当前人机交互多为咨询而非协作,最后推导出实现协作所需的功能。
2026-06-16 cs.CY cs.HC
Extended Reality for Enhanced Human-Robot Collaboration: a Human-in-the-Loop Approach
University of Victoria(维多利亚大学)
针对自动化制造灵活性不足的问题,提出融入人在回路原则、结合XR的自主机器学习机械臂实现框架,回顾相关现有方案并讨论挑战与未来方向。
2024-10-31 cs.HC cs.LG cs.RO