Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi
MIT Lincoln Laboratory(麻省理工学院林肯实验室);MIT Department of Electrical Engineering and Computer Science(麻省理工学院电气工程与计算机科学系);U.S. Air Force Artificial Intelligence Accelerator(美国空军人工智能加速器)
深度强化学习已经在围棋和星际争霸等竞技游戏中产生了超人的AI。类似的学习技术能否为人机协作游戏创造一个优秀的AI队友?人类会更喜欢那些能提高客观团队绩效的AI队友,还是那些能提高主观信任度的AI队友?在这项研究中,我们进行了单盲评估团队的人类和人工智能智能体在合作纸牌游戏Hanabi,与基于规则和基于学习的代理。除了作为人类-AI团队表现的客观指标的游戏得分外,我们还量化了人类感知性能、团队合作、可解释性、信任和AI队友整体偏好的主观指标。我们发现,在几乎所有的主观指标上,人类对基于规则的AI队友(SmartBot)的偏好都明显高于最先进的基于学习的AI队友(E-Play),并且通常对基于学习的代理持负面态度,尽管在游戏得分上没有统计差异。这一结果对未来的人工智能设计和强化学习基准测试具有影响,强调需要纳入人类-人工智能团队的主观指标,而不是单一关注客观任务性能。
2021-10-21 cs.AI cs.HC
What Types of Human-AI Teams Exist?
Centre for Assuring Autonomy, University of York(自主性保障中心,约克大学)
本文分析53篇人机团队论文,基于团队心理分类法将其分为五类,指出同一术语下存在多种团队类型,并提出识别与报告建议。
2026-07-03 cs.AI cs.HC
Agent Teaming Situation Awareness (ATSA): A Situation Awareness Framework for Human-AI Teaming
Zhejiang University(浙江大学)
该文提出ATSA框架,统一人机行为,通过双向动态交互和感知循环建模人机团队情境意识,以提升团队协作效能。
2023-09-04 cs.AI cs.HC
Adapting Behaviour Based On Trust In Human-Agent Ad Hoc Teamwork
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学)
这项工作提出了一个框架,将信任与人类代理团队的特设团队合作的情况下,代理必须与人类合作执行任务。在执行任务期间,智能体必须通过交互和观察来推断人类对它的信任程度,并调整其行为以最大限度地提高团队的绩效。为了实现这一目标,我们建议从实验中的人类参与者那里收集数据,以定义不同的设置(基于信任级别),并为每个设置学习最佳策略。然后,我们创建一个模块来推断当前的设置(取决于信任度)。最后,我们在现实世界的场景中验证了这个框架,并分析了这种适应性的行为如何影响信任。
2022-10-13 cs.AI cs.HC
The Social Cost of an AI Teammate: How an Artificial Teammate Reshapes Human-Human Communication in Small-Team Decision-Making
University of California, Irvine(加利福尼亚大学欧文分校);University of Tübingen(蒂宾根大学)
该研究通过随机对照实验发现,AI队友虽话最多但贡献的新信息最少,人机团队中人类成员的沟通响应性、归属感更低,AI主导性越强人类成员越不被重视,即时存在社会成本。
2026-11-03 cs.AI cs.CY cs.HC
Designing Trustworthy AI: A Human-Machine Teaming Framework to Guide Development
Carnegie Mellon University’s Software Engineering Institute(卡内基梅隆大学软件工程研究所);Université de Montréal(蒙特利尔大学)
人工智能(AI)有很大的希望赋予我们知识并提高我们的效率。我们能够--也必须--确保人类的安全和控制,特别是在影响广大人群的政府和公共部门应用方面。人工智能开发团队如何利用人工智能系统的力量,并将其设计成对人类有价值?构建值得信赖的人工智能系统需要多样化的团队,而这些团队需要围绕一套共同的道德标准进行整合。人工智能领域有很多关于道德和信任的讨论,但在创建这些系统时,很少有框架可供人们使用。本文中描述的用于设计道德AI体验的人机团队合作(HMT)框架,当与一套技术道德一起使用时,将指导AI开发团队创建负责任,无风险,尊重,安全,诚实和可用的AI系统。为了支持小组的工作,将介绍了解人们的需要和关注的活动,以及支持小组工作的主题。例如,可用性测试可以帮助确定受众是否理解AI系统的工作方式并符合HMT框架。HMT框架是基于对现有的道德规范和人机交互和软件开发的最佳实践的审查。当人类用户可以信任人工智能系统按预期、安全、可靠和可理解地运行时,人机团队是最强大的。使用HMT框架来设计值得信赖的AI系统将为团队提供支持,帮助他们提前识别潜在的问题,并为人类创造良好的体验。
2019-10-08 cs.AI cs.HC
Teaming up with information agents
TNO(荷兰应用科学研究组织)
尽管将计算机设计为团队合作伙伴涉及复杂的问题,但我们可以观察团队行为的模式,这使我们能够在一般层面上描述人工智能系统如何与人类合作。虽然大多数关于人机合作的工作都集中在物理代理(例如机器人系统)上,但我们的目标是研究人类如何与信息代理合作。我们提出了一些合适的团队设计模式,并使用我们的合作情报分析(CIA)工具进行测试。
2021-01-15 cs.AI cs.HC
Adaptive Agent Architecture for Real-time Human-Agent Teaming
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
团队合作是一组相互关联的推理,行动和行为的团队成员,促进共同的目标。团队工作理论和实验已经在人-人和代理-代理团队中产生了一组团队有效性的状态和过程。然而,人类-代理团队合作的研究较少,因为它是如此的新,并且涉及人类团队中不存在的政策和意图的不对称。为了优化人类-代理团队合作中的团队绩效,代理推断人类意图并调整其策略以实现平稳协调至关重要。大多数人类代理合作的文献都是参考学习过的人类模型来构建代理的。虽然这些代理可以保证在学习模型中表现良好,但它们对人类策略进行了大量假设,例如最优性和一致性,这在许多现实场景中是不可能的。本文在双人合作游戏《团队空间堡垒》(TSF)中提出了一种新型的无人类模型环境下的自适应代理体系结构。以往的人-人团队研究表明,TSF博弈中的互补策略和人类参与者技能的多样性,这鼓励我们放松对人类策略的假设。因此,我们放弃了从人类数据中学习人类模型,而是在由RL算法或基于规则的方法组成的预先训练的范例策略库上使用自适应策略,其中对人类行为的假设最少。适应策略依赖于一种新的相似性度量来推断人类的政策,然后选择我们的库中最互补的政策,以最大限度地提高团队的绩效。自适应代理体系结构可以实时的【形】部署,并推广到任何现成的静态代理。我们进行了人类代理实验,以评估所提出的自适应代理框架,并证明了次优,多样性和人类代理团队的人类政策的适应性。
2021-03-07 cs.AI cs.HC cs.RO
Team Learning as a Lens for Designing Human-AI Co-Creative Systems
Carnegie Mellon University(卡内基梅隆大学)
生成的ML驱动的交互系统有可能改变人们在创造过程中与计算机交互的方式-将工具转变为共同创造者。然而,目前还不清楚我们如何在开放式任务领域实现有效的人类-人工智能协作。在与ML驱动系统的交互中,围绕通信存在几个已知的挑战。在共同创造系统的设计中,一个被忽视的方面是如何更好地支持用户学习与这样的系统协作。在这里,我们将人类与人工智能的协作重新定义为一个学习问题:受团队学习研究的启发,我们假设,适用于人类与人类团队的类似学习策略也可能提高人类与共同创造生成系统的协作效率和质量。在这份立场文件中,我们的目标是促进团队学习,将其作为设计更有效的共同创造人类-人工智能协作的镜头,并强调协作过程质量是共同创造系统的目标。此外,我们概述了一个初步的示意性框架,用于在共同创造的AI系统中嵌入团队学习支持。最后,我们提出了一个研究议程,并提出了进一步研究的开放性问题,以支持人们学习与生成式人工智能系统合作。
2022-07-06 cs.AI cs.HC
On the Utility of Prediction Sets in Human-AI Teams
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
对人工智能团队的研究通常为专家提供单一标签,这忽略了模型推荐中的不确定性。共形预测(CP)是一个成熟的研究路线,专注于构建一个理论上有基础的,校准的预测集,其中可能包含多个标签。我们将探讨这种预测集如何影响人类AI团队中的专家决策。我们对人类受试者的评估发现,集值预测对专家有积极影响。然而,我们注意到CP提供的预测集可能非常大,这导致了无用的AI助手。为了减轻这种情况,我们引入了D-CP,这是一种在一些示例上执行CP并尊重专家的方法。我们证明了D-CP可以减少非延迟样本的预测集大小。我们展示了D-CP在定量和人体实验($n=120$)中的表现。我们的研究结果表明,CP预测集可以提高人类-AI团队的表现,而不是单独显示前1个预测,专家们发现D-CP预测集比CP预测集更有用。
2022-05-26 cs.AI cs.HC
Improving the State of the Art for Training Human-AI Teams: Technical Report #5 -- Individual Differences and Team Qualities to Measure in a Human-AI Teaming Testbed
本报告面向人类-AI团队研究,梳理应测量的个体差异与团队特质构念,并探讨在合成任务环境中利用绩效前后调查进行数据采集的方法。
2025-06-05 cs.HC
Stress Propagation in Human-Robot Teams Based on Computational Logic Model
Schulich School of Engineering(舒利希工程学院);University of Calgary(卡尔加里大学);Jet Propulsion Laboratory(喷气推进实验室)
任务小组面临着生死决定的情感代价。这些小组由受过专门训练的人组成,由智能机器支持,用于处理紧张的环境和场景。我们开发了一个复合模型,用于在人类和自主机器的团队中进行压力监测。该模型旨在确定可能导致飞行任务失败的条件。该模型由三部分组成:1)静态描述队友压力状态的计算逻辑部分; 2)反映任务状态的决策部分; 3)基于标准SIS范式的压力传播部分。与基于代理、随机游走和博弈模型等方法相比,该模型结合了多种机制来满足小群体压力传播的条件。我们的核心方法涉及数据结构,如决策表和决策图。这些工具也适用于人机合作。
2022-11-08 cs.AI cs.HC
Modeling Human-AI Team Decision Making
Tongji University(同济大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
人工智能和人类为小组审议带来了互补的技能。当考虑包括风险因素和评估人类和人工智能智能体能力的探索-利用过程时,对这种群体决策进行建模尤其具有挑战性。为了研究这个问题,我们向一组由不完美的人工智能智能体辅助的人类群体提出了一系列的问题。一个小组的目标是评估小组成员的相关专业知识及其可用的人工智能智能体,评估与不同行动相关的风险,并通过达成共识来最大化整体回报。我们提出并实证验证了在这种不确定情况下人类-AI团队决策的模型,并展示了前景理论、影响力动态和贝叶斯学习的社会认知结构在预测人类-AI群体行为方面的价值。
2022-01-08 cs.AI cs.HC
TRAIL: A Platform for Configurable Human--AI Teaming Experiments
School of Education, University of California, Irvine(加州大学伊文斯分校教育学院)
研究人工智能队友设计属性对团队的影响,TRAIL平台将大五人格等与多种实验方法结合,在课堂部署中实现纵向链式实验、文本相似性分析等,发现不同人格代理对团队有不同影响。
2026-07-15 cs.AI cs.HC
Two Many Cooks: Understanding Dynamic Human-Agent Team Communication and Perception Using Overcooked 2
本文描述了一项研究,旨在调查人类与人工智能协作过程中有效沟通的变化,特别关注团队成员对能力的感知以及团队中不同水平的任务负载。我们还将研究人与人之间的团队合作和人与智能体之间的团队合作之间的差异。我们的项目将测量人类演员在不同任务负载下与人类队友或模拟AI队友玩商业现成游戏(COTS)的通信质量,团队感知和表现的差异。我们认为,随着任务负荷的增加,认知负荷的增加将与团队绩效呈负相关,并对沟通质量产生负面影响。此外,我们认为,积极的团队感知将对人类和AI队友条件下用户与队友之间的沟通质量产生积极影响。该项目将通过考虑通信质量,团队感知和认知工作量增加下的性能,提供对协作任务中人类-人工智能关系动态的更精细的见解。
2021-10-06 cs.HC
Improving the State of the Art for Training Human-AI Teams: Technical Report #3 -- Analysis of Testbed Alternatives
Sonalysts, Inc.(索纳利斯特公司);Arizona State University(亚利桑那州立大学)
Sonalysts团队为研究人机协作,调研现有测试平台替代方案,制定评估标准并对候选平台进行定性与定量评估,最终确定五个候选测试平台。
2023-08-29 cs.AI cs.HC
Searching for Synergy in Shared Workspace Human-AI Collaboration
Carnegie Mellon University(卡内基梅隆大学)
研究共享工作空间的人机团队协作,通过Collaborative Gym环境实验发现,缺乏协调结构时增加协作者会降低性能,而结合共享记忆和模拟人在环门控的脚手架可提升团队绩效。
2026-06-23 cs.AI cs.HC
Perception of an AI Teammate in an Embodied Control Task Affects Team Performance, Reflected in Human Teammates' Behaviors and Physiological Responses
本研究通过虚拟现实感知运动任务发现,加入类人AI队友反而降低团队绩效,尤其在任务难度增加时,并导致人类队友唤醒度升高、参与度与沟通减弱,挑战了AI提升团队表现的假设,强调以人为中心的AI设计。
2025-01-25 cs.HC q-bio.NC
Improving the State of the Art for Training Human-AI Teams: Technical Report #1 -- Results of Subject-Matter Expert Knowledge Elicitation Survey
Sonalysts, Inc.(索纳利斯特公司)
本文介绍了Sonalysts公司为支持人机团队训练,开发基于JADC2的合成任务环境(STE),通过12名主题专家的调查,明确了测试平台需支持矩阵式团队和多种通信方式的研究需求。
2023-08-29 cs.AI cs.HC
CREW: Facilitating Human-AI Teaming Research
Duke University(杜克大学)
CREW是一个面向实时决策场景的人机协同研究平台,提供预置任务、多模态生理信号记录和人类引导强化学习基准测试,并通过50名受试者实验验证其有效性。
2025-01-01 cs.AI cs.HC cs.LG
Considerations for Task Allocation in Human-Robot Teams
University of Michigan(密歇根大学)
在智能体一起协作的人机团队中,需要向智能体明确分配任务。任务分配可以帮助实现人类-机器人团队的预期利益,例如提高团队绩效。已经提出了许多任务分配方法,包括因素,如代理能力,可用性,工作量,疲劳,任务和域特定的参数。在本文中,选定的工作任务分配进行审查。此外,还讨论了在任务分配中需要继续和进一步考虑的一些领域。这些领域包括协作水平、新任务、未知和动态代理能力、谈判和公平性以及道德。在适当的情况下,我们还提到我们在任务分配方面的一些工作。通过在任务分配方面的持续努力和考虑,可以改善人机协作。
2022-10-06 cs.AI cs.HC cs.RO
TagTeam: Towards Wearable-Assisted, Implicit Guidance for Human--Drone Teams
传感器丰富的智能可穿戴设备和微型但功能强大的无人驾驶车辆(如纳米四轴飞行器)的出现,为一类新型的高度互动、注意力共享的人机团队提供了机会。可靠,轻量级,但被动的意图,数据和推理在这样的人机团队内交换,使它们适合搜索和救援等场景,在速度,准确性和语义意识方面显着提高性能。在本文中,我们阐述了这样的人-无人机团队的愿景和这些团队必须具备的关键技术能力。我们提出了TagTeam,这样一个团队的早期原型,并分享了一个关键能力(即,运动感知)。
2022-08-10 cs.HC
TeamCAMS: An Open-Source Research Platform for Studying Human Behaviour in Human-AI Teams
University of Applied Sciences and Arts of Southern Switzerland(南瑞士应用与艺术大学);University of Fribourg(弗里堡大学)
本文介绍TeamCAMS,一个基于心理学理论的多任务模拟开源平台,用于研究人机团队中的人类行为,支持团队合作与人机交互研究,并促进透明与可重复性。
2026-09-18 cs.HC
Birds of a Different Feather Flock Together: Exploring Opportunities and Challenges in Animal-Human-Machine Teaming
Arizona State University(亚利桑那州立大学);Aptima, Inc.(Aptima公司);Georgia Institute of Technology(佐治亚理工学院);Tufts University(塔夫茨大学)
本文系统探讨动物-人类-机器团队的设计维度,通过安检、搜救和导盲犬案例展示其协同潜力,并提出开放研究方向。
2025-04-17 cs.AI cs.HC cs.MA
Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
人工智能从业者通常努力开发最准确的系统,并隐含假设人工智能系统将自主运行。然而,在实践中,人工智能系统通常用于为刑事司法、金融和医疗保健等领域的人们提供建议。在这种人工智能建议的决策中,人类和机器组成了一个团队,人类负责做出最终决策。但最准确的AI是最好的队友吗?我们认为“不”-可预测的性能可能值得在AI准确性方面做出轻微牺牲。相反,我们认为人工智能系统应该以人为本的方式进行训练,直接针对团队绩效进行优化。我们研究了一种特定类型的人类-人工智能团队的建议,其中人类监督者选择接受人工智能的建议或自己解决任务。为了优化团队在这种情况下的表现,我们最大化团队的预期效用,以最终决策的质量,验证成本以及人和机器的个体准确性表示。我们在真实世界的高风险数据集上使用线性和非线性模型进行的实验表明,最准确的人工智能可能不会带来最高的团队绩效,并通过提高数据集之间的预期团队效用,考虑到人类技能和错误成本等参数,显示了在训练期间建模团队合作的好处。我们讨论了当前优化方法的缺点,这些方法超出了研究得很好的损失函数,如对数损失,并鼓励未来在人工智能优化问题上的工作,这些问题是由人类-人工智能协作驱动的。
2021-02-19 cs.AI cs.HC cs.LG
Collective Intelligence in Human-AI Teams: A Bayesian Theory of Mind Approach
我们开发了一个贝叶斯代理网络,集体从观察到的通信模型的队友的精神状态。使用生成计算方法的认知,我们做了两个贡献。首先,我们证明了我们的智能体可以产生干预措施,提高人类-人工智能团队的集体智慧,超越人类单独实现的水平。第二,我们开发了一种实时测量人类心理理论能力的方法,并对人类认知理论进行了测试。我们使用从一个在线实验中收集的数据,在这个实验中,29个只有5个人的团队中的145个人通过一个基于聊天的系统进行交流,以解决一个认知任务。我们发现,人类(a)很难将来自队友的信息完全整合到他们的决策中,特别是当沟通负荷很高时,(b)有认知偏见,导致他们低估某些有用但模糊的信息。我们的心理理论能力测量预测个人和团队水平的表现。观察团队的前25%的信息可以解释最终团队表现的8%的变化,与当前的技术水平相比提高了170%。
2023-03-28 cs.HC
LLMs as Policy-Agnostic Teammates: A Case Study in Human Proxy Design for Heterogeneous Agent Teams
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)
本研究提出用LLMs作为策略无关的人类代理生成合成数据,以解决异构智能体团队训练中人类数据昂贵的问题,实验表明LLMs输出与专家决策对齐且能模拟人类风险行为变异性,为策略无关队友模拟提供可扩展基础。
2025-10-07 cs.AI cs.HC cs.LG
A Critique of Human-Autonomous Team Dynamics: Contrasting Qualitative and Quantitative Perspectives
本文对比评述HAT领域的定性与定量研究,指出二者均表明Multi-Human HATs绩效更优,并强调人类感知的关键作用,呼吁关注AI主导团队中的信任与怀疑。
2023-12-11 cs.HC
Enabling Intuitive Human-Robot Teaming Using Augmented Reality and Gesture Control
US CCDC Army Research Laboratory(美国CCDC陆军研究实验室);Oak Ridge Associated Universities(橡树岭联合大学);Defence Science and Technology(国防科学技术集团);Swinburne University of Technology(斯威本科技大学)
人机合作提供了巨大的潜力,因为有机会结合异质代理的优势。然而,实现有效的人机团队的关键挑战之一是有效的信息交换-从人到机器人以及从机器人到人。在这项工作中,我们提出并分析了一个增强现实,基于手势的系统,通过改进的信息交换,支持直观的人机合作。我们提出的系统不需要外部仪器,除了人类可穿戴设备,并显示出面向服务的任务的现实世界的适用性的承诺。此外,我们提出了与人类参与者进行的试点研究的初步结果,并强调了经验教训和开放的研究问题,这些问题可能有助于指导自主HRI系统的未来开发、部署和实验。
2019-09-13 cs.AI cs.HC cs.RO
A study on human-agent teaming through spoken interaction: the impact of human individual traits and agent characteristics
Instituto de Investigación en Ciencias de la Computación, UBA-CONICET(布宜诺斯艾利斯大学-国家科学技术研究委员会计算机科学研究所);Departamento de Computación, Facultad de Ciencias Exactas y Naturales, Universidad de Buenos Aires(布宜诺斯艾利斯大学精确与自然科学学院计算机系);Universidad Nacional de Córdoba(科尔多瓦国立大学);Instituto de Educación, Universidad Nacional de Hurlingham, UNAHUR-CONICET(Hurlingham国立大学-国家科学技术研究委员会教育研究所)
本研究通过协作游戏实验,发现智能体在语音交互中采用共情、礼貌等简单社会策略,能显著提升人类对其作为队友的感知,且个体特质影响感知,最小行为改变即可产生积极效果。
2026-10-06 cs.AI cs.DB cs.HC
Training Human-Robot Teams by Improving Transparency Through a Virtual Spectator Interface
University of Michigan(密歇根大学);Oakland University(奥克兰大学);U.S. Army DEVCOM Ground Vehicle Systems Center(美国陆军DEVCOM地面车辆系统中心)
针对人机团队行动后回顾(AAR)难以理解机器人意图的问题,提出虚拟观察者界面(VSI)训练工具,通过1×3组间实验发现其虽未显著提升团队表现,但能更有效改善态势感知(SA)。
2025-04-12 cs.AI cs.HC cs.RO
Tools and methods for Human-Autonomy Teaming: Contributions to cognitive state monitoring and system adaptation
最近出现了人类自主团队模式(HAT)来建模和设计混合团队,其中人类操作员必须与人工代理合作,能够在动态和不确定的情况下独立进化。HAT的一个重要挑战是将自主系统转变为更好的队友,能够加入人类高度相互依赖的活动。所展示的作品探索了两个主要途径,由工业合作(在运输和工业系统领域),学术合作伙伴关系(特别是与南澳大利亚大学)和博士生的监督支持。第一个轴涉及认知状态的监测,使机器具有检测人类何时面临困难的能力。为了解决这个问题,提出了一种全局的方法来分类操作员的心理负荷的融合多源的生理和行为数据。第二个轴专注于适应人类自主团队的机制,使机器与人类更加兼容。探讨了两种解决方案。一个侧重于离线增强的专门知识,以配合机器,与援助的CWA方法和MDE技术。另一个是人机合作的在线适应,其中自主系统可以被认为是团队内部的队友,也可以被认为是团队之上的教练。最后,在法国和国外正在进行的举措的支持下,开辟了新的研究方向。这些观点涉及到认知状态监测的多层次方法的巩固,人类和自治之间的透明对话的建设,更深入地考虑过渡和纵向的情况下,在HAT,和规模扩大的挑战,研究HAT与人类团队。
2023-01-17 cs.HC
Unraveling Human-AI Teaming: A Review and Outlook
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学);Peking University(北京大学)
本文综述了AI智能体从工具到协作者的演变,基于团队态势感知理论指出价值对齐和能力利用两大缺口,并提出围绕组建、协调、维护和训练四方面的人机协同研究框架。
2025-04-09 cs.AI cs.HC econ.GN
Understanding Human-Multi-Agent Team Formation for Creative Work
KAIST(韩国科学技术院);National University of Singapore(新加坡国立大学);Chungbuk National University(忠北国立大学)
本研究利用CrafTeam技术探针,探索如何通过自主团队运作和直接指挥代理来形成人类-多智能体团队以提高创意工作的协作效率。
2026-01-20 cs.HC
Confidence-weighted integration of human and machine judgments for superior decision-making
Max Planck Institute for Neurobiology of Behavior – caesar, Bonn, Germany(马克斯·普朗克行为神经生物学研究所——caesar,波恩,德国);Department of Experimental Psychology, University College London, London, United Kingdom(实验心理学系,伦敦大学学院,伦敦,英国)
本文提出一种基于逻辑回归框架的置信度加权方法,整合人与机器的判断,证明人机协作在图像分类和神经科学预测任务中能持续提升整体决策表现。
2025-10-10 cs.AI cs.HC q-bio.NC
How Voice and Helpfulness Shape Perceptions in Human-Agent Teams
本研究通过操控语音类型与贡献质量,发现语音人类相似性与帮助性存在负向交互并反转拟人化和生命性感知,而智能、可信度和团队绩效仅受帮助性影响,表明功能比形式更重要。
2024-11-21 cs.HC
Model Cards for AI Teammates: Comparing Human-AI Team Familiarization Methods for High-Stakes Environments
College of Engineering at the Georgia Institute of Technology(佐治亚理工学院工程学院)
该研究在ISR高风险环境中对比三种人-AI团队熟悉方法,发现文档法策略采用快但易致风险规避,互动法更愿冒险但对智能体内部理解弱,最终推荐结合三者的熟悉方案。
2025-05-19 cs.AI cs.HC cs.MA
Respect Your Emotion: Human-Multi-Robot Teaming based on Regret Decision Model
Clemson University(克莱姆森大学)
通常,当在人机协作的背景下对人类决策行为进行建模时,人类的情感方面被忽略了。然而,在某些情况下,情绪的影响不仅是不可否认的,而且是有益的。研究了遗憾情绪在一人多机器人协作中的类人特性,以应用于领域搜索。在这种应用中,任务管理负载被外包给机器人,以减少人类的工作量,从而使人类能够做更重要的工作。后悔决策模型首先用于每个机器人决定是否请求人类服务,然后扩展到最优排队的请求从多个机器人。针对机器人在搜索域中的运动,设计了一种基于动态规划的机器人路径规划算法。仿真结果表明,类人的特性,即风险寻求和规避,确实带来了一些吸引人的效果,平衡的工作量和性能的人多机器人团队。
2019-09-18 cs.AI cs.HC cs.SY
Same Team Label, Different Evidence: A Full-Text Audit of Claim Denominators in Human-AI Teaming Research
Lehigh University(利哈伊大学)
本研究通过全文审计发现人机协作研究中声明分母漂移问题,即相同标签掩盖不同人类单位,并提出检查点以改进证据综合。
2026-09-24 cs.HC
Socratic: Enhancing Human Teamwork via AI-enabled Coaching
Rice University(莱斯大学);Harvard Medical School(哈佛医学院)
本文提出AI系统Socratic,在任务执行中实时监控团队行为、检测理解偏差并自动干预,以补充人类教练;实验证明其以最少干预显著提升双人协作绩效,且被用户视为可信赖。
2025-02-24 cs.AI cs.HC cs.LG
Fairness and Efficiency in Human-Agent Teams: An Iterative Algorithm Design Approach
本研究提出公平-公正度量及公平-高效算法,通过迭代设计平衡任务效率与公平性,使智能体队友在多种人机团队中被认为更公平且更受青睐。
2025-05-22 cs.HC
TIP: A Trust Inference and Propagation Model in Multi-Human Multi-Robot Teams
University of Michigan(密歇根大学)
信任已被确定为有效的人机合作的核心因素。现有的文献信任建模主要集中在二元人类自治团队,其中一个人类代理与一个机器人进行交互。有很少,如果不是没有,在由多个人类代理和多个机器人代理组成的团队中的信任建模的研究。为了填补这一研究空白,我们提出了信任推理和传播(TIP)模型的信任建模在多人多机器人团队。我们断言,在一个多人多机器人团队中,存在两种类型的经验,任何人类代理与任何机器人:直接和间接的经验。TIP模型提出了一种新颖的数学框架,可以明确地解释这两种类型的体验。为了评估该模型,我们进行了一项人类受试者实验,有15对参与者(N=30)。每对都用两架无人机执行搜索和探测任务。结果表明,我们的TIP模型成功地捕捉到了潜在的信任动态,并显着优于基线模型。据我们所知,TIP模型是多人多机器人团队中计算信任建模的第一个数学框架。
2023-01-26 cs.HC cs.RO
Optimizing Delegation in Collaborative Human-AI Hybrid Teams
Università di Pisa(比萨大学);Institute for Informatics and Telematics (IIT), National Research Council (CNR)(国家研究委员会信息学与电信研究所(IIT))
提出基于强化学习的 AI manager 框架,通过学习智能体行为模型优化人机混合团队的控制权委托,在模拟驾驶场景中显著提升团队性能并减少干预。
2024-08-25 cs.AI cs.HC cs.LG
Inferring Belief States in Partially-Observable Human-Robot Teams
College of Engineering at the Georgia Institute of Technology(佐治亚理工学院工程学院)
针对部分可观测人机团队中人类态势感知的实时估计问题,比较逻辑谓词与大型语言模型的性能,发现其在低可见性条件下适应性较强但仍有提升空间,为团队模型在人机协作中的应用提供参考。
2025-02-12 cs.HC cs.RO
Detection of adversarial intent in Human-AI teams using LLMs
Department of Mechanical Engineering, University of California at Santa Barbara(加州大学圣巴巴拉分校机械工程系);Department of Computer Science, University of California at Santa Barbara(加州大学圣巴巴拉分校计算机科学系)
本文研究了大语言模型在人类-人工智能团队中作为防御监督者的潜力,通过分析交互痕迹检测恶意行为,发现LLM能实时识别恶意行为,且无需任务特定信息,表明了任务无关防御的可能性。
2026-03-21 cs.AI cs.HC cs.LG
Gaze-informed Signatures of Trust and Collaboration in Human-Autonomy Teams
本研究在Overcooked AI游戏场景中测试不同行为的AI智能体,发现自适应分层强化学习智能体协作效果更优,同时揭示眼动信号可作为信任与协作的非侵入式评估指标,为优化人-自主团队提供依据。
2025-06-17 cs.HC
Designing for Meaningful Human Control in Military Human-Machine Teams
TNO(荷兰应用科学研究组织)
本文从军事人机团队角度提出了有意义的人类控制的分析、设计与评估方法,基于三项原则并引入团队设计模式,通过搜救案例验证其有效性。
2023-05-12 cs.AI cs.CY cs.HC
Effect of Adaptive Communication Support on LLM-powered Human-Robot Collaboration
University of Southern California(南加州大学)
针对传统人机协作中固定通信方案限制适应性的问题,提出带多模态语言反馈的HRT-ML框架,通过协调器和管理器动态调整反馈频率与内容,实验表明其能提升复杂任务性能,但超主动反馈在LLM能力外会起反作用。
2025-02-11 cs.AI cs.HC cs.RO
Learning to Lie: Reinforcement Learning Attacks Damage Human-AI Teams and Teams of LLMs
本文研究对抗性AI助手如何利用基于模型的强化学习操纵群体决策,发现其能有效损害人机团队并准确预测人类信任,同时对比了LLM与人类在攻击下的鲁棒性,为防御策略奠定基础。
2025-04-02 cs.HC cs.SI
Forming Effective Human-AI Teams: Building Machine Learning Models that Complement the Capabilities of Multiple Experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);GESIS - Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所)
机器学习(ML)模型越来越多地用于经常涉及与人类专家一起工作的应用领域。在这种情况下,当ML模型难以预测某些实例时,将其推迟到单个人类专家可能是有利的。虽然以前的工作集中在一个不同的人类专家的情况下,在许多现实世界的情况下,可能有几个人类专家具有不同的能力。在这项工作中,我们提出了一种训练分类模型的方法,以补充多个人类专家的能力。通过与分配系统一起联合训练分类器,分类器学会准确预测人类专家难以预测的实例,而分配系统学会将每个实例传递给最合适的团队成员-分类器或人类专家之一。我们评估我们提出的方法在多个实验中的公共数据集与“合成”专家和现实世界的医疗数据集注释多个放射科医生。我们的方法优于以前的工作,比最好的人类专家或分类器更准确。此外,它可以灵活地适应不同规模和不同专家多样性水平的团队。
2022-06-16 cs.AI cs.HC cs.LG
A Framework for Dynamic Situational Awareness in Human Robot Teams: An Interview Study
CSIRO(联邦科学与工业研究组织);Data61;Monash University(莫纳什大学)
该研究通过访谈16名有人机组队经验的参与者,提出解释人机团队中动态态势感知特性的框架,明确相关影响因素、低效问题及应对策略,为人机界面设计和高效人机团队构建提供参考。
2025-01-15 cs.HC cs.RO
Adaptive Human-Agent Teaming: A Review of Empirical Studies from the Process Dynamics Perspective
针对人机团队协作(HAT)研究分散、忽视适应性的问题,本研究从过程动力学视角,利用T⁴框架系统综述HAT各阶段的目标、行动和评估指标,强调任务与团队动态协同演化,为长期自适应HAT指明未来研究方向。
2025-04-15 cs.HC
Human-Robot Team Coordination with Dynamic and Latent Human Task Proficiencies: Scheduling with Learning Curves
Georgia Institute of Technology(佐治亚理工学院)
随着机器人在劳动力中变得无处不在,人机协作必须既直观又自适应。机器人的质量提高基于其明确推理其人类同行的时变(即学习曲线)和随机能力的能力,并调整关节工作负荷以提高效率,同时考虑人类偏好。我们引入了一种新的资源协调算法,使机器人探索他们的人类队友的相对优势和学习能力,通过构建时间表,是随机和随时间变化的人类任务性能的鲁棒性。首先,我们使用从用户研究(n = 20)中收集的数据验证了我们的算法方法,表明我们可以快速生成和评估一个强大的时间表,同时发现最新的个人工人熟练程度。其次,我们进行了一个受试者之间的实验(n = 90),以验证我们的协调算法的有效性。从人类受试者的实验结果表明,有利于探索的调度策略往往有利于人机协作,因为它提高了团队流畅性(p = 0.0438),同时也最大限度地提高了团队效率(p < 0.001)。
2020-07-09 cs.AI cs.HC cs.RO
CoHRT: A Collaboration System for Human-Robot Teamwork
School of Engineering and Applied Science, University of Virginia(弗吉尼亚大学工程与应用科学学院)
本文提出CoHRT系统,通过服务器-客户端架构、视觉跟踪和动作协调界面,支持多人机团队无缝协作与多模态数据记录,以研究协作策略对团队绩效的影响并开发机器人自适应策略。
2024-10-11 cs.HC cs.RO