Unraveling Human-AI Teaming: A Review and Outlook
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学);Peking University(北京大学)
本文综述了AI智能体从工具到协作者的演变,基于团队态势感知理论指出价值对齐和能力利用两大缺口,并提出围绕组建、协调、维护和训练四方面的人机协同研究框架。
2025-04-09 cs.AI cs.HC econ.GN
Optimizing Risk-averse Human-AI Hybrid Teams
Università di Pisa(比萨大学);National Research Council (CNR)(国家研究委员会(CNR));Institute for Informatics and Telematics(信息与电信研究所)
本文提出通过标准强化学习训练管理者,在含失败状态的网格环境中动态委派人类或AI智能体决策,并在风险约束下减少委派变更,从而获得接近或恰好最优的团队路径。
2024-03-13 cs.AI cs.LG
Trust-Aware Decision Making for Human-Robot Collaboration: Model Learning and Planning
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);University of Washington(华盛顿大学)
对自主性的信任对于有效的人机协作和用户采用自主系统(如机器人助手)至关重要。本文介绍了一个计算模型,将信任集成到机器人决策中。具体来说,我们从数据中学习一个部分可观察的马尔可夫决策过程(POMDP)与人类的信任作为一个潜在的变量。信任POMDP模型为机器人提供了一种原则性的方法:(i)通过交互来推断人类队友的信任,(ii)推理自己的行为对人类信任的影响,以及(iii)选择长期最大化团队绩效的行为。我们验证了该模型,通过人类受试者的实验中的模拟(201名参与者),并与一个真正的机器人(20名参与者)的桌子清理任务。在我们的研究中,机器人首先通过操纵低风险的物体来建立人类的信任。有趣的是,机器人有时会故意失败,以调节人类的信任并实现最佳的团队绩效。这些结果表明,信任POMDP校准的信任,以提高人类机器人团队的长期性能。此外,他们强调,最大限度地提高信任本身并不总是导致最佳性能。
2018-11-22 cs.AI cs.RO
Cooperative and Asynchronous Transformer-based Mission Planning for Heterogeneous Teams of Mobile Robots
McMaster University(麦克马斯特大学)
针对异构移动机器人团队在通信受限、资源有限下的协作规划难题,提出基于MARL与AMAT架构的CATMiP框架及CMacDec-POMDP模型,采用异步集中训练分布式执行方案,实验验证其在效率、可扩展性与抗干扰性上更具优势。
2025-07-31 cs.AI cs.RO
Multi-Robot Active Information Gathering with Periodic Communication
University of Hamburg(汉堡大学);Tampere University of Technology(坦佩雷理工大学)
共享共同目标的机器人团队可以从团队成员的活动协调中受益,帮助团队更可靠或更快地达到目标。我们解决的问题,协调一个团队的机器人定期通信能力执行信息收集任务的行动。我们铸造的问题作为一个多智能体的最优决策问题的信息理论的目标函数。我们表明,适当的技术解决分散的部分可观察马尔可夫决策过程(Dec-POMDPs)是适用于这样的信息收集问题。我们量化的有用性协调信息收集通过仿真研究,并证明了该方法在现实世界中的目标跟踪域的可行性。
2017-03-07 cs.AI cs.RO
Towards Adjustable Autonomy for the Real World
可调整的自主性是指实体动态地改变自己的自主性,在关键情况下将决策控制权转移给其他实体(通常是将控制权转移给人类用户的代理)。确定这种控制权转移是否以及何时应该发生,可以说是可调节自治的基本研究问题。以前的工作已经调查了各种方法来解决这个问题,但往往集中在个人代理人的相互作用。不幸的是,需要代理和人类团队之间合作的领域揭示了这些以前的方法的两个关键缺点。首先,这些方法使用刚性的一次性控制转移,这可能导致多智能体设置中不可接受的协调失败。其次,他们忽略了成本(例如,在时间延迟或对动作的影响方面)。为了解决这些问题,本文提出了一种新的方法来调整自主权,基于控制权转移策略的概念。控制权转移策略由两种类型的动作的条件序列组成:(i)转移决策控制权的动作(例如,从代理到用户或反之亦然)和(ii)改变代理与团队成员的预先指定的协调约束的动作,旨在最小化误协调成本。目标是在对团队协调的干扰最小的情况下做出高质量的个人决策。我们提出了一个数学模型的控制权转移策略。该模型使用马尔可夫决策过程指导和通知战略的实施,该过程在不确定的环境和个人和团队的成本下选择最佳战略。该方法已被仔细评估,包括通过其在现实世界中的使用,部署多代理系统,协助研究小组在其日常活动。
2011-06-22 cs.AI
Optimizing delegation between human and AI collaborative agents
Università di Pisa(比萨大学);Institute for Informatics and Telematics (IIT), National Research Council (CNR)(国家研究委员会(CNR)信息学与电信研究所(IIT))
针对混合团队中人类与AI智能体协作,提出学习委派决策的管理模型,无需智能体共享环境动态,显著优于其他管理方法。
2023-10-11 cs.AI
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
Yale University(耶鲁大学)
本文提出一种显式表示信息结构的强化学习模型,通过图论量刻画一般序贯决策问题的统计难度,给出样本复杂度上界及达到该上界的算法,为识别可处理问题类别提供系统方法。
2024-05-27 cs.AI cs.LG stat.ML
Human-AI Learning Performance in Multi-Armed Bandits
University of California, Berkeley(加利福尼亚大学伯克利分校)
人们经常面临具有挑战性的决策问题,其中结果是不确定或未知的。人工智能(AI)算法的存在可以在学习这些任务方面胜过人类。因此,人工智能智能体有机会帮助人们更有效地学习这些任务。在这项工作中,我们使用一个多臂强盗作为一个控制设置,在其中探索这个方向。我们将人类与选定的代理配对,并观察每个人类代理团队的表现。我们发现,团队的表现可以击败人类和代理人的表现孤立。有趣的是,我们还发现,一个代理人的表现在隔离并不一定与人类代理团队的表现相关。座席性能的下降可能会导致团队性能的不成比例的大幅下降,或者在某些设置中甚至可以提高团队性能。将一个人与一个表现稍好的代理配对可以使他们表现得更好,而将他们与一个表现相同的代理配对可以使他们表现得更差。此外,我们的研究结果表明,人们有不同的探索策略,并可能表现得更好的代理,以配合他们的策略。总的来说,优化人类代理团队绩效需要超越优化代理绩效,了解代理的建议将如何影响人类决策。
2018-12-21 cs.AI
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题,将队伍创建建模为序贯决策过程,利用历史球员数据训练强化学习算法预测表现并优化阵容,实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
The Social Cost of an AI Teammate: How an Artificial Teammate Reshapes Human-Human Communication in Small-Team Decision-Making
University of California, Irvine(加利福尼亚大学欧文分校);University of Tübingen(蒂宾根大学)
该研究通过随机对照实验发现,AI队友虽话最多但贡献的新信息最少,人机团队中人类成员的沟通响应性、归属感更低,AI主导性越强人类成员越不被重视,即时存在社会成本。
2026-11-03 cs.AI cs.CY cs.HC
Stress Propagation in Human-Robot Teams Based on Computational Logic Model
Schulich School of Engineering(舒利希工程学院);University of Calgary(卡尔加里大学);Jet Propulsion Laboratory(喷气推进实验室)
任务小组面临着生死决定的情感代价。这些小组由受过专门训练的人组成,由智能机器支持,用于处理紧张的环境和场景。我们开发了一个复合模型,用于在人类和自主机器的团队中进行压力监测。该模型旨在确定可能导致飞行任务失败的条件。该模型由三部分组成:1)静态描述队友压力状态的计算逻辑部分; 2)反映任务状态的决策部分; 3)基于标准SIS范式的压力传播部分。与基于代理、随机游走和博弈模型等方法相比,该模型结合了多种机制来满足小群体压力传播的条件。我们的核心方法涉及数据结构,如决策表和决策图。这些工具也适用于人机合作。
2022-11-08 cs.AI cs.HC
Decoding Decision Correctness from EEG Under High Cognitive Workload in Virtual Reality: Implications for Collaborative Brain-Computer Interface Teams
Queen's University Belfast(贝尔法斯特女王大学);Liverpool John Moores University(利物浦约翰摩尔斯大学);Defence Science Technology Laboratory(国防科学技术实验室)
该研究在虚拟现实高认知负荷下,利用空间协方差脑电图特征作为决策正确性的先发信号,发现其可提升团队争议试次的决策准确率,为协作脑机接口团队的部署提供了负荷条件相关的启示。
2026-09-03 cs.HC
DDoD: Dual Denial of Decision Attacks on Human-AI Teams
The University of Melbourne(墨尔本大学);Aalborg University(奥尔堡大学);Macquarie University(麦考瑞大学)
人工智能(AI)系统越来越多地用于使决策过程更快,更准确,更高效。然而,这些系统也经常面临被攻击的风险。虽然大多数针对基于AI的应用程序的攻击旨在操纵分类器或训练数据并改变AI模型的输出,但最近提出的针对AI模型的Sponge攻击旨在通过消耗大量资源来阻止分类器的执行。在这项工作中,我们提出了\textit{Dual Denial of Decision (DDoD) attacks against collaborative Human-AI teams}。我们将讨论如何这样的攻击旨在耗尽\textit{both computational and human}资源,并显着削弱决策能力。我们描述DDoD的人力和计算资源,并提出了潜在的风险情况下,在一系列的示范领域。
2022-12-07 cs.AI cs.HC cs.LG
Confidence-weighted integration of human and machine judgments for superior decision-making
Max Planck Institute for Neurobiology of Behavior – caesar, Bonn, Germany(马克斯·普朗克行为神经生物学研究所——caesar,波恩,德国);Department of Experimental Psychology, University College London, London, United Kingdom(实验心理学系,伦敦大学学院,伦敦,英国)
本文提出一种基于逻辑回归框架的置信度加权方法,整合人与机器的判断,证明人机协作在图像分类和神经科学预测任务中能持续提升整体决策表现。
2025-10-10 cs.AI cs.HC q-bio.NC
Respect Your Emotion: Human-Multi-Robot Teaming based on Regret Decision Model
Clemson University(克莱姆森大学)
通常,当在人机协作的背景下对人类决策行为进行建模时,人类的情感方面被忽略了。然而,在某些情况下,情绪的影响不仅是不可否认的,而且是有益的。研究了遗憾情绪在一人多机器人协作中的类人特性,以应用于领域搜索。在这种应用中,任务管理负载被外包给机器人,以减少人类的工作量,从而使人类能够做更重要的工作。后悔决策模型首先用于每个机器人决定是否请求人类服务,然后扩展到最优排队的请求从多个机器人。针对机器人在搜索域中的运动,设计了一种基于动态规划的机器人路径规划算法。仿真结果表明,类人的特性,即风险寻求和规避,确实带来了一些吸引人的效果,平衡的工作量和性能的人多机器人团队。
2019-09-18 cs.AI cs.HC cs.SY
On the Effect of Information Asymmetry in Human-AI Teams
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在过去的几年里,人工智能(AI)的能力不断提高,改善了许多应用领域的人类决策。人工智能和人类之间的合作甚至可能导致互补的团队绩效(CTP),即,超越人工智能或人类个体所能达到的性能水平。许多研究人员提出使用可解释的AI(XAI)使人类能够适当地依赖AI建议,从而达到CTP。然而,CTP在以前的工作中很少得到证明,因为重点往往是设计可解释性,而一个基本的先决条件-人类和人工智能之间存在互补潜力-往往被忽视。因此,我们关注的是这种有效的人工智能决策潜力的存在。具体来说,我们确定信息不对称的互补潜力的一个重要来源,在许多现实世界的情况下,人类有机会获得不同的上下文信息。通过进行在线实验,我们证明了人类可以使用这些上下文信息来调整AI的决策,最终导致CTP。
2022-05-03 cs.AI cs.HC
AI as Teammate or Tool? A Review of Human-AI Interaction in Decision Support
Department of Computer Science and Engineering, BRAC University, Dhaka-1212(计算机科学与工程系,BRAC大学,达卡-1212)
本文综述了人类-人工智能交互在决策支持中的应用,指出当前AI系统因过度依赖可解释性设计而被动,需通过适应性交互实现主动协作。
2026-01-26 cs.AI cs.CL cs.HC
Learning Complementary Policies for Human-AI Teams
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);ESADE Business School(ESADE商学院)
本文研究人机团队决策中的互补性挑战,提出一种对模型错误设定稳健的延迟协作策略学习方法,通过战略分配实例给人类或AI以最大化决策奖励,显著优于独立决策且仅需少量人类介入即可提升性能。
2025-11-03 cs.AI cs.HC
Improving the State of the Art for Training Human-AI Teams: Technical Report #1 -- Results of Subject-Matter Expert Knowledge Elicitation Survey
Sonalysts, Inc.(索纳利斯特公司)
本文介绍了Sonalysts公司为支持人机团队训练,开发基于JADC2的合成任务环境(STE),通过12名主题专家的调查,明确了测试平台需支持矩阵式团队和多种通信方式的研究需求。
2023-08-29 cs.AI cs.HC
Investigations of Performance and Bias in Human-AI Teamwork in Hiring
Microsoft Research(微软研究院)
在人工智能辅助决策中,有效的混合(人类-人工智能)团队合作不仅取决于人工智能的表现,还取决于其对人类决策的影响。虽然先前的工作研究了模型准确性对人类的影响,但我们在这里努力研究模型的预测性能和偏差如何在简化辅助决策任务中转移到人类的复杂动态。我们考虑了ML辅助招聘领域,在这种情况下,在受约束的选择环境中操作的人类可以选择他们是否希望利用经过训练的模型的推断来帮助从书面传记中选择候选人。我们进行了一项大规模的用户研究,利用了之前工作中重新创建的真实BIOS数据集,其中人类在有和没有三种不同的NLP分类器(随机,词袋和深度神经网络)的帮助下预测给定候选人的地面实况。我们的研究结果表明,虽然高性能模型显著提高了人类在混合环境中的表现,但有些模型减轻了混合偏见,而另一些模型则加剧了这种偏见。我们通过决策一致性的视角来研究这些发现,并观察到我们的模型架构选择对人类-AI一致性和偏见产生了影响,从而激发了在部署之前评估这些复杂动态的明确需求。
2022-02-21 cs.AI cs.HC
Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
人工智能从业者通常努力开发最准确的系统,并隐含假设人工智能系统将自主运行。然而,在实践中,人工智能系统通常用于为刑事司法、金融和医疗保健等领域的人们提供建议。在这种人工智能建议的决策中,人类和机器组成了一个团队,人类负责做出最终决策。但最准确的AI是最好的队友吗?我们认为“不”-可预测的性能可能值得在AI准确性方面做出轻微牺牲。相反,我们认为人工智能系统应该以人为本的方式进行训练,直接针对团队绩效进行优化。我们研究了一种特定类型的人类-人工智能团队的建议,其中人类监督者选择接受人工智能的建议或自己解决任务。为了优化团队在这种情况下的表现,我们最大化团队的预期效用,以最终决策的质量,验证成本以及人和机器的个体准确性表示。我们在真实世界的高风险数据集上使用线性和非线性模型进行的实验表明,最准确的人工智能可能不会带来最高的团队绩效,并通过提高数据集之间的预期团队效用,考虑到人类技能和错误成本等参数,显示了在训练期间建模团队合作的好处。我们讨论了当前优化方法的缺点,这些方法超出了研究得很好的损失函数,如对数损失,并鼓励未来在人工智能优化问题上的工作,这些问题是由人类-人工智能协作驱动的。
2021-02-19 cs.AI cs.HC cs.LG
What Makes Teamwork Work? A Multimodal Case Study on Emotions and Diagnostic Expertise in an Intelligent Tutoring System
本研究通过多模态数据分析,探讨了在ITS中进行协作医疗诊断时情绪与专业技能对群体决策的影响,发现社会动机互动是积极团队情绪气候的关键,为优化医疗协作提升诊断准确率提供了见解。
2025-05-02 cs.HC
Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating Explainable AI Systems
Harvard University(哈佛大学)
可解释的人工智能(XAI)系统是社会技术系统的一部分,例如,人类+AI团队负责决策。然而,目前的XAI系统很少通过衡量人类+AI团队在实际决策任务中的表现来进行评估。我们进行了两项在线实验和一项面对面的有声思维研究,以评估目前用于评估XAI系统的两种常用技术:(1)使用代理,人工任务,例如人类如何根据给定的解释预测AI的决策,以及(2)使用信任和偏好的主观测量作为实际表现的预测因子。我们的实验结果表明,评估与代理任务没有预测的结果与实际的决策任务的评估。此外,对实际决策任务的评价的主观测量并不能预测这些相同任务的客观表现。我们的研究结果表明,通过使用误导性的评估方法,我们的领域可能会在无意中减缓开发人类+人工智能团队的进展,这些团队可以可靠地表现得比人类或人工智能更好。
2020-01-22 cs.AI cs.HC
Learning to Advise Humans in High-Stakes Settings
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Iowa(爱荷华大学)
高风险AI辅助决策(AIaDM)环境中的专家决策者(DM)在做出最终决策之前,会接收并协调来自AI系统的建议。我们确定这些设置的不同属性,这是开发AIaDM模型,有效地提高团队绩效的关键。第一,模式草案因动用决策资源(例如,时间和精力),以协调与自己的判断相矛盾的人工智能建议。其次,AIaDM设置中的DM表现出算法判断行为(ADB),即,对于任何给定的决策任务,不完全接受或拒绝算法建议的特殊倾向。人类的和解成本和不完美的自由裁量权行为引入了开发人工智能系统的需求,这些系统(1)有选择地提供建议,(2)利用人类合作伙伴的ADB来最大限度地提高团队的决策准确性,同时规范和解成本,(3)本质上是可解释的。我们将开发AI以在AIaDM环境中为人类提供建议的任务称为学习建议,我们首先介绍了AI辅助团队(AIaT)-学习框架。我们实例化我们的框架来开发TeamRules(TR):一种为AIaDM设置生成基于规则的模型和建议的算法。TR被优化为选择性地建议人类,并通过利用人类伙伴的ADB来权衡协调成本和给定环境的团队准确性。对具有各种模拟人类准确性和判断力行为的合成和真实世界基准数据集的评估表明,TR在可解释的,基于规则的替代方案上稳健地提高了团队的目标。
2023-02-13 cs.AI cs.CY cs.HC
Moral Decision-Making in Medical Hybrid Intelligent Systems: A Team Design Patterns Approach to the Bias Mitigation and Data Sharing Design Problems
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);TNO(荷兰国家应用科学研究院)
医疗保健行业的自动化程度不断提高,需要采用混合智能(HI)方法来密切研究和设计人类与自动机器的协作。确保医疗HI系统的决策符合伦理是关键。团队设计模式(TDPs)的使用可以通过描述成功的和可重用的设计问题的配置,其中的决定有一个道德的组成部分,以及通过促进多学科团队设计HI系统的沟通,推进这一目标。在这项研究中,开发了TDPs来描述医疗HI系统中两个设计问题的一组解决方案:(1)减轻机器学习算法中的有害偏差,以及(2)与医疗保健专业人员和系统开发人员共享健康和行为患者数据。社会认知工程方法,整合业务需求,人为因素的知识,和技术分析成一组的TDPs。创建了一个调查,以评估模式的可理解性,有效性和普遍性的可用性。结果表明,TDPs是一个有用的方法来明确地描述不同的HI设计问题的解决方案与道德组件在不同的抽象层次,这是可用的一个异质的多学科研究人员。此外,结果表明,SCE的方法和开发的问卷是合适的方法来创建和评估TDPs。该研究的结论与一组建议的改进TDPs,包括他们的集成与交互设计模式,包括几个额外的概念,和一些方法的改进。最后,本文提出了未来研究的方向。
2021-02-16 cs.AI cs.CY cs.HC
A2C: A Modular Multi-stage Collaborative Decision Framework for Human-AI Teams
Institute for Clarity in Documentation(文献清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本研究提出支持自动化、增强、协同三种模式的A2C多阶段人-AI协同决策框架,可识别AI不确定性并移交决策权、支撑复杂场景协同探索,仿真实验验证其协同模式性能优于单独AI。
2024-01-25 cs.HC cs.LG
The Utility of Explainable AI in Ad Hoc Human-Machine Teaming
Georgia Institute of Technology(佐治亚理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
机器学习的最新进展导致人们对可解释人工智能(xAI)的兴趣越来越大,以使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣,但xAI技术的实用性尚未在人机合作中得到表征。重要的是,xAI提供了增强团队态势感知(SA)和共享心理模型开发的承诺,这是有效人机团队的关键特征。快速开发这样的心智模型在特别的人机合作中尤其重要,因为智能体对其他人的决策策略没有先验知识。在本文中,我们提出了两个新的人类受试者实验,量化了在人机合作场景中部署xAI技术的好处。首先,我们证明了xAI技术可以支持SA($p<0.05)$ .其次,我们研究了通过协作AI策略抽象诱导的不同SA级别如何影响特定的人机协作性能。重要的是,我们发现xAI的好处并不普遍,因为它强烈依赖于人机团队的组成。新手受益于xAI提供增加的SA($p<0.05$),但易受认知开销($p<0.05$)的影响。另一方面,专家的性能随着基于xAI的支持($p<0.05$)的增加而下降,这表明关注xAI的成本超过了从提供额外信息以增强SA中获得的好处。我们的研究结果表明,研究人员必须通过仔细考虑人机团队组成以及xAI方法如何增强SA,在正确的场景中故意设计和部署正确的xAI技术。
2022-09-08 cs.AI cs.HC
LLMs as Policy-Agnostic Teammates: A Case Study in Human Proxy Design for Heterogeneous Agent Teams
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)
本研究提出用LLMs作为策略无关的人类代理生成合成数据,以解决异构智能体团队训练中人类数据昂贵的问题,实验表明LLMs输出与专家决策对齐且能模拟人类风险行为变异性,为策略无关队友模拟提供可扩展基础。
2025-10-07 cs.AI cs.HC cs.LG
Detection of adversarial intent in Human-AI teams using LLMs
Department of Mechanical Engineering, University of California at Santa Barbara(加州大学圣巴巴拉分校机械工程系);Department of Computer Science, University of California at Santa Barbara(加州大学圣巴巴拉分校计算机科学系)
本文研究了大语言模型在人类-人工智能团队中作为防御监督者的潜力,通过分析交互痕迹检测恶意行为,发现LLM能实时识别恶意行为,且无需任务特定信息,表明了任务无关防御的可能性。
2026-03-21 cs.AI cs.HC cs.LG
Modeling the Centaur: Human-Machine Synergy in Sequential Decision Making
本文研究国际象棋序贯决策中人机团队的协同潜力,通过专家混合架构组合人类行为克隆模型Maia与自对弈强化学习引擎Leela,发现相对优势可被自动识别且专家贡献有限。
2025-03-10 cs.HC
Accelerating Entrepreneurial Decision-Making Through Hybrid Intelligence
通过混合智能加速创业决策创业决策指导的设计范例和原则
2021-05-07 cs.AI cs.HC
Task load dependent decision referrals for joint binary classification in human-automation teams
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);GERAD
本文研究人机协同二分类任务中的最优决策转介问题,提出基于观测数据最大化期望成本降低的近视最优策略,并通过人类实验证明其显著优于不利用观测数据的盲策略。
2025-04-05 cs.AI cs.HC cs.SY
Collaborative Causal Sensemaking: Closing the Complementarity Gap in Human-AI Decision Support
Independent Researcher(独立研究者)
本文提出协同因果认知(CCS)研究议程,旨在开发人类与AI协作的认知能力,通过新的训练环境、共享的人机心理模型表示和以信任与互补性为中心的评估,推动人机团队的设计。
2026-03-25 cs.AI cs.CL cs.HC
Human-Collective Collaborative Site Selection
机器人集体是大型群体(至少50个)的本地传感和通信机器人,包括集群和殖民地的特征,其紧急行为完成复杂的任务。未来的人类集体团队将扩展操作员在灾害响应、搜索和救援以及环境监测问题中的监测、响应和决策能力。这篇手稿评估了两个集体最好的n个决策模型,使集体识别和选择最高价值的目标,从一个有限的n个目标。两个挑战阻碍了人类集体共享决策的未来使用:1)当较差的目标比较高质量的目标更容易评估时,环境偏见降低了集体决策的准确性,以及2)对共享的人类集体决策交互策略知之甚少。两个评估的集体最好的n模型包括现有的昆虫群体决策模型和扩展的偏差减少模型,试图减少环境偏差,以提高准确性。使用这两种策略的集体作为人类集体团队的成员进行独立比较。独立地,扩展模型比原始模型慢,但扩展算法在最佳选项更难以评估的决策中的准确性提高了57%。与使用原始模型的人类集体团队相比,使用偏差减少模型的人类集体团队需要更少的操作员影响力,并且在困难的决策中实现了25%的高准确性。此外,一种新的人类集体互动策略,使运营商能够调整集体自主权,同时作出多个同时的决定。
2020-04-20 cs.HC cs.MA
On Evaluating Explanation Utility for Human-AI Decision Making in NLP
Kahlert School of Computing(卡尔勒特计算机学院);University of Utah(犹他大学)
本研究评估 NLP 中解释对人机决策的效用,发现多数数据集不适用,且提供 AI 预测(含解释)不提升决策速度,建议改进自动委托机制。
2024-11-05 cs.AI cs.CL cs.HC
Human-AI Teaming Under Deception: An Implicit BCI Safeguards Drone Team Performance in Virtual Reality
隐式脑机接口通过解耦神经信号与行为,提升虚拟现实无人机团队在AI欺骗下的鲁棒性与安全性。
2026-09-04 cs.HC
Learning to Switch Among Agents in a Team via 2-Layer Markov Decision Processes
University of Toronto(多伦多大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文通过2层马尔可夫决策过程定义了团队中智能体控制切换问题,提出一种基于上置信界的在线学习算法,其总后悔值为次线性,并在避障任务仿真中证明优于问题无关算法。
2023-06-30 cs.CY cs.HC cs.LG
AI-Driven Human-Autonomy Teaming in Tactical Operations: Proposed Framework, Challenges, and Future Directions
Howard University(霍华德大学)
本文探讨了AI驱动的人-自主协同(HAT)在战术行动中赋能人类决策的潜力,提出了涵盖信任、功能分配、态势感知与伦理考量的综合框架,并指出了关键挑战与未来发展方向。
2024-10-28 cs.AI cs.CY cs.HC
Leading Across the Spectrum of Human-AI Relationships: A Conceptual Framework for Increasingly Heterogeneous Teams
Keck Medical School, University of Southern California(usc凯克医学院);Vivenxia Group, LLC(Vivenxia集团)
本文提出一个光谱框架,帮助领导者识别和管理人类与人工智能协作中的领导角色,强调共适应能力在异质团队中的重要性。
2026-04-30 cs.AI cs.CL cs.CY
Designing for Fairness in Human-Robot Interactions
Yale University(耶鲁大学)
本文研究机器人在多人团队中如何通过公平分配物质和交流资源来有效融入,并探讨确保机器人在决策中考虑人类公平概念的进展。
2024-05-31 cs.HC cs.RO
Learning to Lie: Reinforcement Learning Attacks Damage Human-AI Teams and Teams of LLMs
本文研究对抗性AI助手如何利用基于模型的强化学习操纵群体决策,发现其能有效损害人机团队并准确预测人类信任,同时对比了LLM与人类在攻击下的鲁棒性,为防御策略奠定基础。
2025-04-02 cs.HC cs.SI
Collective Intelligence in Human-AI Teams: A Bayesian Theory of Mind Approach
我们开发了一个贝叶斯代理网络,集体从观察到的通信模型的队友的精神状态。使用生成计算方法的认知,我们做了两个贡献。首先,我们证明了我们的智能体可以产生干预措施,提高人类-人工智能团队的集体智慧,超越人类单独实现的水平。第二,我们开发了一种实时测量人类心理理论能力的方法,并对人类认知理论进行了测试。我们使用从一个在线实验中收集的数据,在这个实验中,29个只有5个人的团队中的145个人通过一个基于聊天的系统进行交流,以解决一个认知任务。我们发现,人类(a)很难将来自队友的信息完全整合到他们的决策中,特别是当沟通负荷很高时,(b)有认知偏见,导致他们低估某些有用但模糊的信息。我们的心理理论能力测量预测个人和团队水平的表现。观察团队的前25%的信息可以解释最终团队表现的8%的变化,与当前的技术水平相比提高了170%。
2023-03-28 cs.HC
A Case for Backward Compatibility for Human-AI Teams
University of Washington(华盛顿大学);Microsoft Research(微软研究院);University of Michigan(密歇根大学)
人工智能系统正在被部署来支持人类在高风险领域的决策。在许多情况下,人类和人工智能组成一个团队,其中人类在审查人工智能的推断后做出决定。一个成功的合作伙伴关系需要人类对人工智能系统的性能,包括其失败的洞察力。我们研究了在这种情况下更新对AI系统的影响。虽然更新可以提高人工智能的预测性能,但它们也可能导致与用户先前的经验和对人工智能推理的信心不一致的变化,从而损害整体团队的表现。我们引入了AI更新与先前用户体验的兼容性的概念,并提出了研究兼容性在人类-AI团队中的作用的方法。三个高风险领域的实证结果表明,目前的机器学习算法不产生兼容的更新。我们提出了一个重新训练的目标,以提高更新的兼容性,通过惩罚新的错误。该目标提供了性能/兼容性权衡的充分利用,实现了更兼容但更准确的更新。
2019-06-04 cs.HC cs.LG stat.ML
Subject Matter Expertise vs Professional Management in Collective Sequential Decision Making
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University(希伯来大学)
本文以国际象棋团队决策为实验环境,比较领域专家型与强化学习训练的职业经理人型管理者的表现,发现专家知识超过最低阈值后对团队协同贡献有限,而RL职业管理者表现显著更优且仅获得有限棋艺理解。
2025-09-18 cs.HC cs.LG
When confidence and competence collide: Effects on online decision-making discussions
Cornell University(康奈尔大学)
小组讨论是一种个人交流思想和论点的方式,以便比他们自己做出更好的决定。富有成效的讨论的前提之一是,更好的解决方案将占上风,而想法选择过程是由所涉及的个人的(相对)能力介导的。然而,由于人们可能不知道他们在一项新任务上的实际能力,他们的行为受到他们自我估计的能力的影响-也就是说,他们的信心-这可能与他们的实际能力不一致。我们在这项工作中的目标是了解信心-能力不一致对讨论的动态和结果的影响。为此,我们设计了一个大规模的自然环境,在一个在线团队为基础的地理游戏的形式,使我们能够解开能力的信心,从而分离它们的影响。我们发现,在以任务为导向的讨论中,更自信的个人对小组的决策有更大的影响,即使这些人与他们的队友处于相同的能力水平。此外,信心在决策过程中的这种不合理的作用往往导致团队表现不佳。我们通过调查信心对会话动态的影响来探索这一现象。
2017-03-05 cs.CL cs.CY cs.HC
Allowing humans to interactively guide machines where to look does not always improve human-AI team's classification accuracy
Auburn University(奥本大学);University of Alberta(阿尔伯塔大学);Princeton University(普林斯顿大学)
本文研究了测试时交互编辑特征重要性图对人机团队准确率的影响,构建了交互工具CHM-Corr++,但18名专家的实验表明该方法未显著提升CUB-200分类准确率,挑战了交互性提升人机协同的假设。
2024-04-20 cs.CV cs.HC