Visioning Human-Agentic AI Teaming: Continuity, Tension, and Future Research
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）；Peking University（北京大学）
本文提出Team SA理论作为人机协同AI转型的整合锚点，探讨在适应性自主下持续对齐的挑战与未来研究方向。
2026-03-05 cs.AI cs.HC econ.GN
Probabilistic Model Checking for Complex Cognitive Tasks -- A case study in human-robot interaction
RWTH Aachen University（亚琛工业大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了使用概率模型检验来合成最优机器人策略的多任务自主系统，受到人机交互。鉴于令人信服的经验证据表明，人类行为可以与强化模型，我们作为输入的一个良好的研究Q表模型的灵活的情况下，人类行为。我们首先描述了一个自动化的过程中提取马尔可夫决策过程（MDP）的人在任意但固定的情况。与众不同的问题是，与现有的模型相比，其中包括对人类行为的规范不足。概率模型检验用于预测人的行为。最后，MDP模型扩展与机器人模型。最优的机器人策略合成分析所产生的两个玩家的随机游戏。使用PRISM的原型实现的实验结果显示出良好的效果。
2016-10-28 cs.AI cs.RO
Plan or not: Remote Human-robot Teaming with Incomplete Task Information
根据人与机器人之间的物理距离，人机交互可以分为两类：远程和近端。在近距离交互中，人与机器人通常进行紧密的协调;在远程交互中，由于通信约束，人与机器人的耦合程度较低。因此，在远程交互中为机器人提供自动化变得更加重要。到目前为止，在远程人机交互自动化的人的因素的研究已被限制在各种形式的监督，其中的机器人基本上是被用作一个智能移动操作平台的传感能力。在本文中，我们调查纳入一般规划能力的机器人，以促进对等的人类-机器人团队，其中的人类和机器人被视为队友，在物理上分离。人类和机器人共享相同的全局目标，并合作实现它。请注意，人类可能会对这种机器人自主性感到不舒服，这可能会降低团队性能。P2P团队和监督团队之间的一个重要区别是，当任务信息完全指定时，P2P团队中的自主机器人可以单独实现目标。然而，不完全性往往存在，这意味着信息不对称。虽然信息不对称有时是可取的，但它也可能导致机器人选择不适当的动作，从而对团队性能产生负面影响。我们的目标是研究各种权衡，例如，心理工作量和态势感知，这两种类型的远程人机合作之间。
2014-12-09 cs.AI cs.RO
Towards Cognitive Exploration through Deep Reinforcement Learning for Mobile Robots
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
在未知环境中的探索是移动机器人的核心功能。基于学习的探索方法，包括卷积神经网络，为特征提取提供了优秀的策略，而无需人为设计的逻辑。但是传统的监督学习算法不可避免地要花费大量的精力对数据集进行标注。未包含在训练集中的场景也大多无法识别。我们提出了一种深度强化学习方法，用于在室内环境中仅使用RGB-D传感器的深度信息探索移动机器人。基于Deep Q-Network框架，将原始深度图像作为唯一输入来估计与所有移动命令相对应的Q值。网络权重的训练是端到端的。在任意构造的仿真环境中，我们表明，机器人可以快速适应不熟悉的场景，而无需任何人为的标签。此外，通过分析特征表示的感受野，深度强化学习促使卷积网络估计场景的可遍历性。将测试结果分别与基于深度学习或强化学习的探索策略进行比较。即使只在模拟环境中训练，在真实世界环境中的实验结果表明，机器人控制器的认知能力显着提高监督的方法相比。我们相信这是第一次使用原始传感器信息通过端到端深度强化学习来构建移动机器人的认知探索策略。
2016-10-06 cs.AI cs.RO
Distributed AI Agents for Cognitive Underwater Robot Autonomy
School of Engineering & Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫里奥特-瓦特大学）
本文提出UROSA架构，利用ROS 2中的分布式大语言模型AI智能体实现水下机器人认知自主，通过灵活角色、检索增强生成和强化学习，在仿真与真实任务中优于传统规则方法。
2025-08-04 cs.AI cs.MA cs.RO
An Agent Model Abstraction for Human-AI Teaming Cognitive Coupling
University of Groningen（格罗宁根大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；CRAN（南锡自动化与计算机科学研究中心）
本文提出一种包含八个组件的认知智能体模型，用于形式化人机团队中的认知耦合，以支持分布式认知分析和认知可互操作的人机系统设计。
2026-09-09 cs.AI cs.HC cs.MA
Progressive Explanation Generation for Human-robot Teaming
Computer Science and Engineering Department at Arizona State University（亚利桑那州立大学计算机科学与工程系）
生成解释来解释其行为是机器人队友的基本能力。沟通帮助人类伙伴更好地了解情况，并保持对队友的信任。机器人生成解释的先前工作集中在提供其决策背后的推理。然而，这些方法没有注意到理解解释的认知要求。换句话说，虽然它们从解释者的角度提供了正确的解释，但方程式的被解释者部分被忽略了。在这项工作中，我们沿着这个方向解决一个重要方面，有助于更好地理解给定的解释，我们称之为解释的渐进性。渐进式解释通过限制每一步解释所需的认知努力来提高理解。因此，这种解释预计会更流畅，因此更容易理解。提出了渐进解释的一般公式。算法的基础上提供了几种替代量化的认知努力的解释，这是在一个标准的规划竞争域进行评估。
2019-02-02 cs.AI
Applying HCAI in developing effective human-AI teaming: A perspective from human-AI joint cognitive systems
Zhejiang University（浙江大学）
本文针对人类-人工智能协同（HAT）与以人为本人工智能（HCAI）之间的范式冲突，提出人类-人工智能联合认知系统（HAIJCS）概念框架，以在HCAI原则下实现有效的人机协同。
2023-11-29 cs.AI cs.HC
Incremental procedural and sensorimotor learning in cognitive humanoid robots
Universidade Estadual Paulista (Unesp)（圣保罗州立大学）；University of Campinas（坎皮纳斯大学）
受皮亚杰感觉运动理论前三个亚阶段启发，本研究提出基于CONAIM的认知智能体，通过分阶段调整强化学习奖励函数实现增量式程序学习，经仿真类人机器人目标追踪实验验证可逐步解决复杂任务。
2023-04-30 cs.AI cs.LG cs.RO
Toward Forgetting-Sensitive Referring Expression Generationfor Integrated Robot Architectures
Colorado School of Mines（科罗拉多矿业学院）
为了进行类似人类的对话，机器人需要能够描述其环境中的物体，位置和人，这种能力被称为“引用表达式生成”。“当说话者反复提到类似的物体时，他们倾向于重复使用先前描述的属性，部分原因是为了帮助听者，部分原因是工作记忆（WM）中这些属性的认知可用性。由于不同的工作记忆"遗忘"理论必然导致认知可用性的差异，我们假设，它们将同样导致不同的指称表达的产生。为了设计有效的智能代理，因此有必要确定不同的遗忘模型如何在产生自然的类人指称表达时产生差异。在这项工作中，我们计算两个候选模型的机器人认知架构内的工作记忆遗忘，并演示它们如何导致认知可用性为基础的差异生成的参考表达式。
2020-07-16 cs.AI cs.CL cs.RO
Cognitive science as a source of forward and inverse models of human decisions for robotics and control
Princeton University（普林斯顿大学）
那些设计与人类互动的自主系统的人将不可避免地面临人类如何思考和决策的问题。幸运的是，计算认知科学使用那些具有优化和控制背景的人所熟悉的工具（例如，概率论、统计机器学习和强化学习）。在这里，我们回顾了其中的一些工作，重点是认知科学如何提供人类决策的正向模型和人类如何思考他人决策的反向模型。我们强调了相关的最新发展，包括综合黑盒和理论驱动的建模方法，重新铸造作为有界最优的形式，和模型，表征人类的心理理论和沟通决策理论的帐户。在这样做的过程中，我们的目标是为读者提供一系列的框架，方法，以及位于认知科学和控制研究的交叉点的可操作的见解一瞥。
2021-09-01 cs.AI cs.RO cs.SY
Proficiency Constrained Multi-Agent Reinforcement Learning for Environment-Adaptive Multi UAV-UGV Teaming
Kent State University（肯特州立大学）
空中和地面混合机器人团队，包括无人地面车辆（UGV）和无人机（UAV），广泛用于灾难救援，社会保障，精准农业和军事任务。然而，由于机器人具有不同的运动速度、感知范围、到达区域和对动态环境的弹性能力，因此团队能力和相应的配置有所不同。由于团队中机器人的异质性和机器人的弹性能力，在合理的任务分配和机器人能力的最大利用之间实现最佳平衡是具有挑战性的。为了解决这一挑战，有效的混合地面和空中组队，本文开发了一种新的组队方法，熟练感知多智能体深度强化学习（Mix-RL），通过考虑机器人能力，任务要求和环境条件之间的最佳对齐来指导地面和空中合作。Mix-RL在很大程度上利用了机器人的能力，同时意识到机器人能力对任务要求和环境条件的适应。Mix-RL在指导混合组队方面的有效性通过任务“犯罪车辆跟踪的社会保障”进行了验证。
2021-06-29 cs.AI cs.RO
Human-Robot Red Teaming for Safety-Aware Reasoning
University of Michigan（密歇根大学）；NASA Johnson Space Center（NASA约翰逊航天中心）
针对机器人安全任务执行研究不足的问题，提出人机红队演练范式，通过人机协作探索危险空间，实现安全感知推理，并在月球栖息地和家庭环境中验证了其可行性与信任促进效果。
2025-08-02 cs.AI cs.RO
Onto4MAT: A Swarm Shepherding Ontology for Generalised Multi-Agent Teaming
University of New South Wales（新南威尔士大学）
近年来，多智能体团队合作的研究大幅增加，支持团队合作过程的基于知识的系统通常专注于为团队提供功能（通信）解决方案，以响应方向。使人类能够有效地与一群自主认知代理进行交互和合作是人类群体合作研究中的一个开放性研究挑战，部分原因是专注于开发支持这些系统的使能架构。通常，代理之间的双向透明性和共享语义理解并没有优先考虑人群合作中的设计机制，这可能限制了人类和群团队如何通过概念和上下文\textemdash共享理解和信息\textemdash数据以实现目标。为了解决这个问题，我们提供了一个正式的知识表示设计，使集群人工智能的原因，其环境和系统，最终实现一个共同的目标。我们提出了本体的广义多智能体合作，Onto4MAT，使人类和团队之间更有效的合作，通过生物启发的方法牧羊。
2022-03-24 cs.AI
Enabling Intuitive Human-Robot Teaming Using Augmented Reality and Gesture Control
US CCDC Army Research Laboratory（美国CCDC陆军研究实验室）；Oak Ridge Associated Universities（橡树岭联合大学）；Defence Science and Technology（国防科学技术集团）；Swinburne University of Technology（斯威本科技大学）
人机合作提供了巨大的潜力，因为有机会结合异质代理的优势。然而，实现有效的人机团队的关键挑战之一是有效的信息交换-从人到机器人以及从机器人到人。在这项工作中，我们提出并分析了一个增强现实，基于手势的系统，通过改进的信息交换，支持直观的人机合作。我们提出的系统不需要外部仪器，除了人类可穿戴设备，并显示出面向服务的任务的现实世界的适用性的承诺。此外，我们提出了与人类参与者进行的试点研究的初步结果，并强调了经验教训和开放的研究问题，这些问题可能有助于指导自主HRI系统的未来开发、部署和实验。
2019-09-13 cs.AI cs.HC cs.RO
Respect Your Emotion: Human-Multi-Robot Teaming based on Regret Decision Model
Clemson University（克莱姆森大学）
通常，当在人机协作的背景下对人类决策行为进行建模时，人类的情感方面被忽略了。然而，在某些情况下，情绪的影响不仅是不可否认的，而且是有益的。研究了遗憾情绪在一人多机器人协作中的类人特性，以应用于领域搜索。在这种应用中，任务管理负载被外包给机器人，以减少人类的工作量，从而使人类能够做更重要的工作。后悔决策模型首先用于每个机器人决定是否请求人类服务，然后扩展到最优排队的请求从多个机器人。针对机器人在搜索域中的运动，设计了一种基于动态规划的机器人路径规划算法。仿真结果表明，类人的特性，即风险寻求和规避，确实带来了一些吸引人的效果，平衡的工作量和性能的人多机器人团队。
2019-09-18 cs.AI cs.HC cs.SY
Interactive Plan Explicability in Human-Robot Teaming
Tempe, Arizona（亚利桑那州坦佩（这里Tempe是城市，严格来说不属于机构，原文本中Yu Zhang的affiliation里Tempe, Arizona可能是地址，非机构，原提取范围只提取机构，所以这里可能没有正确机构？但原文本中Mehrdad Zakershahrak的affiliation是Computer Science and Engineering Department, Arizona State University，所以应该提取这个。Yu Zhang的affiliation中Tempe, Arizona不是机构，所以只保留第一个））
人机协作是人工智能在快速发展的机器人领域中最重要的应用之一。为了有效的团队合作，机器人不仅必须保持其人类队友的行为模型来投射团队状态，而且还必须意识到其人类队友对自己的期望。意识到人类队友的期望会导致机器人的行为更好地与人类期望保持一致，从而促进更有效和潜在的更安全的团队。我们的工作解决了人类与机器人合作的问题，考虑到这样的队友模型在顺序域利用计划的可解释性的概念。然而，在计划的可解释性中，人类仅仅被认为是一个观察者。在本文中，我们扩展了计划的可解释性，以考虑人类和机器人的行为可以相互影响的交互式设置。我们把这个新的措施作为互动计划的明确性。我们将使用快进计划器（FF）考虑此措施生成的联合计划与FF创建的计划进行比较，而不考虑此措施，以及与实际人类受试者创建的计划。结果表明，由我们的算法生成的计划的可解释性得分与人类计划相当，并且优于FF在不考虑度量的情况下创建的计划，这意味着由我们的算法创建的计划与执行过程中人类的预期联合计划更好地对齐。这可以在实践中实现更有效的合作。
2019-01-17 cs.AI cs.RO
Agent Teaming Situation Awareness (ATSA): A Situation Awareness Framework for Human-AI Teaming
Zhejiang University（浙江大学）
该文提出ATSA框架，统一人机行为，通过双向动态交互和感知循环建模人机团队情境意识，以提升团队协作效能。
2023-09-04 cs.AI cs.HC
Online Explanation Generation for Human-Robot Teaming
Arizona State University（亚利桑那州立大学）
随着人工智能成为我们生活中不可或缺的一部分，开发可解释的人工智能，体现在人工智能或机器人代理的决策过程中，变得势在必行。对于一个机器人队友来说，产生解释来证明其行为的能力是可解释代理的关键要求之一。先前的解释生成工作一直集中在支持机器人的决定或行为背后的基本原理。然而，这些方法没有考虑到理解所接受的解释的心理需求。换句话说，无论给出多少信息，人类队友都应该理解解释。在这项工作中，我们认为，解释，特别是那些复杂的性质，应该在执行过程中，在一个在线的方式，这有助于分散的信息来解释，从而减少人类在高认知要求的任务的心理工作量。然而，这里的一个挑战是，解释的不同部分可能相互依赖，在生成在线解释时必须考虑到这一点。为此，在线解释生成的一般配方提出了三个变化满足不同的“在线”属性。新的解释生成方法是基于我们以前的工作中引入的模型和解设置。我们评估了我们的方法都与人类受试者在一个模拟的漫游者域，使用美国宇航局的任务负荷指数（TLX），并综合了十个不同的问题，在两个标准的IPC域。结果强烈表明，我们的方法产生的解释，被认为是认知要求较低，更喜欢的基线和计算效率。
2020-08-31 cs.AI
AAAI SSS-22 Symposium on Closing the Assessment Loop: Communicating Proficiency and Intent in Human-Robot Teaming
拟议的研讨会重点是理解，建模和提高（a）从人类到机器人的沟通能力和（b）从人类到机器人的沟通意图的有效性。例如，机器人应该如何在新任务中传达预测的能力？它应该如何报告刚刚完成的任务的性能？机器人应该如何根据人类的意图和价值观调整其熟练程度标准？人工智能、机器人技术、HRI和认知科学领域的社区已经解决了相关问题，但对于评估熟练程度和基于意图的交互没有达成一致的标准。由于各种原因，这是人机交互的紧迫挑战。先前的工作表明，一个机器人，可以评估其性能可以改变人类的机器人和控制分配的决定。在机器人领域也有重要的证据表明，准确地设定人类的期望是至关重要的，特别是当熟练程度低于人类期望时。此外，熟练度评估取决于上下文和意图，人类队友可能会增加或减少性能标准，调整对风险和不确定性的容忍度，要求影响注意力分配的预测评估，或以其他方式重新评估或调整意图。
2022-04-05 cs.AI cs.RO
Generating Active Explicable Plans in Human-Robot Teaming
Arizona State University（亚利桑那州立大学）
智能机器人正在重新定义许多关键领域，但仍远不能完全协助人类同行完成日常任务。合作的一个重要要求是每个队友都要保持和尊重他人对自己的期望。缺乏这一点可能会导致严重的问题，如队友之间的松散协调，降低态势感知，并最终团队失败。因此，机器人通过满足人类的期望来表现出可解释的行为是很重要的。这里的挑战之一是，人类的期望往往是隐藏的，并且可以随着人类与机器人的交互而动态变化。然而，现有的方法来生成可解释的计划往往假设人类的期望是已知的和静态的。在本文中，我们提出了积极的可解释规划的想法放松这一假设。我们应用贝叶斯方法来建模和预测动态的人的信念和期望，使可解释的规划更具预见性。我们假设，积极的可解释的计划可以更有效的解释，在同一时间，相比现有的方法产生的可解释的计划。在我们的实验评估中，我们验证了我们的方法产生更有效的可解释的计划，同时成功地捕捉人类队友的动态信念变化。
2021-09-18 cs.AI cs.RO
Embodied Red Teaming for Auditing Robotic Foundation Models
MIT（麻省理工学院）；Amazon（亚马逊公司）
本文提出具身红队测试（ERT）方法，利用视觉语言模型自动生成多样化且具有挑战性的指令，以审计基于语言条件的机器人模型的安全性与任务性能，并揭示了现有基准测试在评估现实世界表现方面的不足。
2025-02-10 cs.AI cs.LG cs.RO
Multi-Cycle Spatio-Temporal Adaptation in Human-Robot Teaming
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UW Madison Department of Computer Science（威斯康星大学麦迪逊分校计算机科学系）
本文提出RAPIDDS框架，通过联合适应任务调度和机器人运动扩散模型，提升人类-机器人协同的效率与空间适应性，通过仿真和物理机器人实验验证了其有效性。
2026-04-21 cs.AI cs.RO
Multi-Robot Open Adaptive Teaming Across Unseen Environments, Partners, and Scales
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；Genisom AI；University of Bristol（布里斯托大学）；Purdue University（普渡大学）；Newcastle University（新castle大学）
研究多机器人在未知环境、伙伴及规模下的协作，提出超图形式博弈公式，开发HOLA算法，能在训练中扩展多样性，在多平台实验中性能优于基线，策略可直接部署到硬件。
2026-07-07 cs.AI cs.RO
Extended Reality as a Mediation Layer for Situated Human Control in Human-Robot Teaming
Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）；University of Cambridge（剑桥大学）；University of Birmingham（伯明翰大学）
研究探讨扩展现实在人机协作中作为情境化人类控制中介层的作用，通过床边护理等场景阐述观点，确定四种中介功能和六个设计维度，为使机器人自主性在动态环境中更具操作性和问责性的XR系统规划研究议程。
2026-07-29 cs.AI cs.HC cs.RO
Exploring Large Language Models to Facilitate Variable Autonomy for Human-Robot Teaming
TU Dortmund University（多特蒙德工业大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文提出一种基于Unity VR和GPT驱动的多机器人框架，通过OpenAI函数调用实现自然语言交互以支持可变自主性，12人用户研究揭示了用户对话策略及对类人交流的获益。
2024-03-21 cs.AI cs.HC cs.RO
A Hierarchical Variable Autonomy Mixed-Initiative Framework for Human-Robot Teaming in Mobile Robotics
University of West Attica（西阿提卡大学）；University of Manchester（曼彻斯特大学）；University of Birmingham（伯明翰大学）
本文提出了一种混合主动（MI）框架，用于解决远程人类操作员和人工智能智能体之间的控制权限转移问题时，合作控制移动机器人。我们的分层专家指导混合主动控制切换器（HierEMICS）利用人类操作员的状态和意图的信息。控制切换策略是基于一个关键层次。在高保真模拟灾难响应和远程检查的情况下进行了实验评估，比较HierEMICS与最先进的专家指导的混合主动控制切换器（EMICS）的背景下，移动机器人导航。结果表明，HierEMICS减少了人类和人工智能智能体之间的控制冲突，这是一个根本的挑战，在MI控制范式，也在相关的共享控制范式。此外，我们提供了统计学上显著的证据，证明航行安全性得到了改善（即，更少的冲突）、LOA切换效率以及用于控制减少的冲突。
2022-11-25 cs.AI cs.HC cs.MA
Teaming up with information agents
TNO（荷兰应用科学研究组织）
尽管将计算机设计为团队合作伙伴涉及复杂的问题，但我们可以观察团队行为的模式，这使我们能够在一般层面上描述人工智能系统如何与人类合作。虽然大多数关于人机合作的工作都集中在物理代理（例如机器人系统）上，但我们的目标是研究人类如何与信息代理合作。我们提出了一些合适的团队设计模式，并使用我们的合作情报分析（CIA）工具进行测试。
2021-01-15 cs.AI cs.HC
Adaptation and Communication in Human-Robot Teaming to Handle Discrepancies in Agents' Beliefs about Plans
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于认知逻辑和蒙特卡洛树搜索的人机团队在线执行算法，使智能体能够识别并解决彼此关于可行计划的信念差异，通过适应或通信行动在缺乏共享心智模型的情况下有效协作。
2023-07-07 cs.AI cs.RO
Predictive Red Teaming: Breaking Policies Without Breaking Robots
Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
针对模仿学习视觉运动策略在异常环境下的脆弱性难暴露问题，提出预测性红队测试并开发RoboART流水线，无需硬件评估即可预测策略性能下降，经实验验证精度高且能通过针对性微调大幅提升基线性能。
2025-02-10 cs.AI cs.LG cs.RO
Toward Evidence-Driven Human-Agent-Robot Teaming for Earth-Independent Anomaly Triage
NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；SETI Institute（搜寻地外文明研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Michigan（密歇根大学）；Repertory Robotics
本文提出一种基于证据的权限受限闭环架构，用于深空任务中的人-智能体-机器人协作异常分诊，通过有状态协调器、具身智能体和移动机器人获取证据，并在硬件在环原型中验证。
2026-10-08 cs.AI cs.HC cs.RO
HARMONIC: Cognitive and Control Collaboration in Human-Robotic Teams
Cognitive Science Department（认知科学系）；Department of Computer Science（计算机科学系）；Rensselaer Polytechnic Institute（拉特格斯理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出HARMONIC认知机器人架构，通过集成OntoAgent框架与通用机器人控制系统，融合元认知、自然语言通信和可解释性，在联合搜索任务仿真中实现了人机团队互信、行动协调与决策解释。
2025-07-09 cs.AI cs.MA cs.RO
Towards AI-Driven Human-Machine Co-Teaming for Adaptive and Agile Cyber Security Operation Centers
George Mason University（乔治·马歇尔大学）；University of South Florida（佛罗里达州立大学）
针对SOC告警过载、人才短缺与工具割裂问题，本文提出利用LLM驱动的人机协同团队，通过分析师隐性知识传递增强威胁情报、告警分类与事件响应。
2025-05-09 cs.AI cs.CR
Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies
Thomas Lord Department of Computer Science, University of Southern California（南加州大学托马斯·洛德计算机科学系）；Sony AI（索尼AI）；Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学西布利机械与航空航天工程学院）
本文提出Q-DIG方法，通过生成多样化且相关的语言指令来发现VLA模型的漏洞，提升机器人策略的鲁棒性。
2026-04-03 cs.AI cs.CL cs.RO
Trojan Horses in Recruiting: A Red-Teaming Case Study on Indirect Prompt Injection in Standard vs. Reasoning Models
University of Mannheim（曼海姆大学）
本研究通过红队测试揭示了标准与推理模型在间接提示注入中的安全差异，发现推理模型在复杂指令下易出现元认知泄漏，而标准模型在简单攻击中表现较弱。
2026-02-19 cs.AI cs.CR
An LLM-based Framework for Human-Swarm Teaming Cognition in Disaster Search and Rescue
School of Electronics and Information, Northwestern Polytechnical University（电子工程学院，西北工业大学）；Chongqing Institute for Brain and Intelligence, Guangyang Bay Laboratory（脑科学与智能研究院，广阳湾实验室）
本文提出基于大语言模型的LLM-CRF系统，通过自然交互捕捉意图并实现任务规划，显著提升灾难救援任务效率与成功率。
2025-11-06 cs.AI cs.RO
Pose-Anchored Optical Flow for Low-Latency Human Action Anticipation in Human-Robot Teaming
Swinburne University of Technology（斯威本科技大学）；School of Science, Computing and Emerging Technologies（科学、计算与新兴技术学院）
本文提出PoseOFF姿态锚定光流表示，用于人机协作中低延迟人类动作预测，可在早期观测下提升动作识别准确率，无需全帧运动处理，适用于实时资源受限场景。
2026-08-27 cs.AI cs.CV
Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Co-GLANCE系统，通过蒸馏视觉语言模型实现实时遮挡分割与机器人分配，结合共形预测与选择性弃权提供统计保证的不确定性量化，驱动主动感知，在真实场景中遮挡分割和分配准确率分别提升25%和36%，推理延迟降低350倍。
2026-06-07 cs.AI cs.LG cs.MA
Flexible and Inherently Comprehensible Knowledge Representation for Data-Efficient Learning and Trustworthy Human-Machine Teaming in Manufacturing Environments
Airbus Central R&T（空客中央研发部）
本文利用 Conceptual Space 框架和典型性量化模型表示智能体知识，解决制造领域数据稀缺下的可解释分类问题，提升人机协作的可信赖性。
2023-05-19 cs.AI
BO-Muse: A human expert and AI teaming framework for accelerated experimental design
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）；Amazon（亚马逊）
本文提出BO-Muse框架，通过让人类专家主导实验设计、AI注入新颖性打破认知固化，实现昂贵黑盒函数优化，并证明其收敛速度快于单独的AI或人类。
2023-03-30 cs.AI cs.LG
A Whole Brain Probabilistic Generative Model: Toward Realizing Cognitive Architectures for Developmental Robots
Ritsumeikan University（立命馆大学）；The University of Tokyo（东京大学）；The Whole Brain Architecture Initiative（全脑架构倡议）；Osaka University（大阪大学）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）；Tamagawa University（玉川大学）；The University of Electro-Communications（电气通信大学）
构建一个类人的综合性人工认知系统，即人工通用智能（AGI），是人工智能（AI）领域的圣杯。此外，使人工系统能够实现认知发展的计算模型将是脑和认知科学的极好参考。本文介绍了一种方法来开发一个认知架构，通过整合基本的认知模块，使培训的模块作为一个整体。这种方法基于两个想法：（1）大脑启发的AI，学习人类大脑结构以构建人类水平的智能，以及（2）基于概率生成模型（PGM）的认知系统，通过集成PGM为开发机器人开发认知系统。开发框架被称为全脑PGM（WB-PGM），它与现有的认知架构有根本的不同，因为它可以通过基于感觉运动信息的系统不断学习。在这项研究中，我们描述了WB-PGM的基本原理，基于PGM的基本认知模块的现状，它们与人脑的关系，认知模块的整合方法，以及未来的挑战。我们的研究结果可以作为脑研究的参考。由于PGM描述变量之间的明确信息关系，这种描述提供了从计算科学到脑科学的可解释指导。通过提供这些信息，神经科学的研究人员可以向人工智能和机器人技术的研究人员提供反馈，说明当前模型在大脑方面缺乏什么。此外，它可以促进神经认知科学以及人工智能和机器人技术研究人员之间的合作。
2022-01-09 cs.AI
The Utility of Explainable AI in Ad Hoc Human-Machine Teaming
Georgia Institute of Technology（佐治亚理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
机器学习的最新进展导致人们对可解释人工智能（xAI）的兴趣越来越大，以使人类能够深入了解机器学习模型的决策。尽管最近有这种兴趣，但xAI技术的实用性尚未在人机合作中得到表征。重要的是，xAI提供了增强团队态势感知（SA）和共享心理模型开发的承诺，这是有效人机团队的关键特征。快速开发这样的心智模型在特别的人机合作中尤其重要，因为智能体对其他人的决策策略没有先验知识。在本文中，我们提出了两个新的人类受试者实验，量化了在人机合作场景中部署xAI技术的好处。首先，我们证明了xAI技术可以支持SA（$p<0.05)$ .其次，我们研究了通过协作AI策略抽象诱导的不同SA级别如何影响特定的人机协作性能。重要的是，我们发现xAI的好处并不普遍，因为它强烈依赖于人机团队的组成。新手受益于xAI提供增加的SA（$p<0.05$），但易受认知开销（$p<0.05$）的影响。另一方面，专家的性能随着基于xAI的支持（$p<0.05$）的增加而下降，这表明关注xAI的成本超过了从提供额外信息以增强SA中获得的好处。我们的研究结果表明，研究人员必须通过仔细考虑人机团队组成以及xAI方法如何增强SA，在正确的场景中故意设计和部署正确的xAI技术。
2022-09-08 cs.AI cs.HC
Effect of Adaptive Communication Support on LLM-powered Human-Robot Collaboration
University of Southern California（南加州大学）
针对传统人机协作中固定通信方案限制适应性的问题，提出带多模态语言反馈的HRT-ML框架，通过协调器和管理器动态调整反馈频率与内容，实验表明其能提升复杂任务性能，但超主动反馈在LLM能力外会起反作用。
2025-02-11 cs.AI cs.HC cs.RO
Aligning Generalisation Between Humans and Machines
Vrije Universiteit Amsterdam（瓦赫宁海姆大学）；University of Bielefeld（比勒菲尔德大学）；NEC Laboratories Europe（NEC欧洲实验室）；University of Bamberg（巴明翰大学）；University of Groningen（格罗宁根大学）；Università di Bologna（博洛尼亚大学）；Meta Reality Labs（Meta现实实验室）；CAIR, Ss. Cyril and Methodius University of Skopje（斯科普里塞尔维亚·克里尔和方法ius大学）；Kansas State University（堪萨斯州立大学）；KU Leuven（根特大学）；University of Edinburgh（爱丁堡大学）；University of Bremen（不莱梅大学）；Paderborn University（帕德博恩大学）；Carnegie Bosch Institute（卡内基·博施研究所）；Università degli Studi di Milano Bicocca（米兰Bicocca大学）；TU Wien（维也纳技术大学）；Fondazione Bruno Kessler（布鲁诺·凯撒基金会）；University College London（伦敦大学学院）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Duolingo（多邻国）；University of St. Gallen, Institute of Behavioral Science and Technology（圣加尔文大学行为科学与技术研究所）；University of Applied Sciences Mittweida（梅特维达应用科学大学）；Technical University Freiberg（弗赖贝格技术大学）
本文结合AI与认知科学的见解，从泛化的概念、方法和评估三个维度分析人类与机器泛化的异同，指出了人机协作对齐中需解决的跨学科挑战。
2025-05-27 cs.AI
TRAIL: A Platform for Configurable Human--AI Teaming Experiments
School of Education, University of California, Irvine（加州大学伊文斯分校教育学院）
研究人工智能队友设计属性对团队的影响，TRAIL平台将大五人格等与多种实验方法结合，在课堂部署中实现纵向链式实验、文本相似性分析等，发现不同人格代理对团队有不同影响。
2026-07-15 cs.AI cs.HC
Narrative based Postdictive Reasoning for Cognitive Robotics
University of Bremen（不来梅大学）
在存在异常、不可观察的过程和其他现实世界考虑的情况下，理解不完整和冲突的叙事知识是认知机器人系统的一个挑战和关键要求。一个额外的挑战，即使在适当的专业行动语言和推理系统存在，是实际的集成和应用程序中的大规模机器人控制框架。在一个自主轮椅机器人控制任务的背景下，我们报告应用程序驱动的工作，以实现预测触发异常检测和重新规划的实时机器人控制：（a）叙事为基础的知识，通过一个更大的智能环境框架的环境中获得;和（b）异常预测从稳定模型的答案集程序对应的机器人的认知模型。整体推理的背景下，通过翻译的答案集编程实现的近似认知行动理论为基础的计划。
2013-06-04 cs.AI cs.RO
Multi-Scenario Reasoning: Unlocking Cognitive Autonomy in Humanoid Robots for Multimodal Understanding
本研究提出一种多场景推理架构，通过构建模拟器“Maha”融合视觉、听觉和触觉多模态数据，模拟人脑高级推理机制，解决了人形机器人多模态理解的技术不足，促进了跨场景任务迁移和语义驱动的动作规划，提升了其认知自主性。
2025-07-09 cs.AI cs.RO
A Memory System of a Robot Cognitive Architecture and its Implementation in ArmarX
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种用于认知机器人控制架构的记忆系统及其在ArmarX框架中的实现，该系统作为核心组件协调数据流并提供语义抽象等服务，支持多模态与分布式设计，评估表明其在传输、压缩及预测等方面高效。
2023-01-31 cs.AI cs.RO
Enhancing Human-Machine Teaming for Medical Prognosis Through Neural Ordinary Differential Equations (NODEs)
Myndblue
机器学习（ML）最近被证明在包括医学在内的各种领域的预测和检测任务中可以与专家级的人类准确性相媲美。然而，尽管有这些令人印象深刻的发现，但在医学领域充分实现ML潜力的一个关键障碍是技术接受度。最近在产生可解释人工智能（XAI）方面的努力在提高一些ML模型的可解释性方面取得了进展，但这些努力受到其设计固有的限制：它们最擅长识别系统失败的原因，但在解释何时以及为什么模型的预测是正确的方面做得很差。我们认为，ML预测在专家领域的可接受性受到两个关键因素的限制：机器的预测范围超出了人类的能力，以及机器预测无法将人类的直觉纳入其模型。我们建议使用一种新的机器学习架构，神经常微分方程（NODE），以增强人类的理解和鼓励可接受性。我们的方法优先考虑人类的认知直觉在算法设计的中心，并提供了一个分布的预测，而不是单一的输出。我们解释了这种方法如何可以显着提高人机协作的预测任务在专家领域，如医疗保健。我们提出了一个模型，并通过从文献中扩展一个具体的例子来展示我们的模型如何推进未来混合人类-人工智能系统的愿景。
2021-06-30 cs.AI cs.LG
Une architecture cognitive et affective orient{é}e interaction
UGA（格勒诺布尔-阿尔卑斯大学）；LIG（格勒诺布尔信息学实验室）；CNRS（法国国家科学研究中心）
在本文中，我们提出了CAIO，一个面向认知和情感交互的架构，用于社会人机交互（HRI），允许机器人对精神状态（包括情感）进行推理，并在身体上，情感上和口头上采取行动。我们还提出了一个简短的场景和实现Nao机器人。
2018-10-22 cs.AI cs.RO
AI-Driven Human-Autonomy Teaming in Tactical Operations: Proposed Framework, Challenges, and Future Directions
Howard University（霍华德大学）
本文探讨了AI驱动的人-自主协同（HAT）在战术行动中赋能人类决策的潜力，提出了涵盖信任、功能分配、态势感知与伦理考量的综合框架，并指出了关键挑战与未来发展方向。
2024-10-28 cs.AI cs.CY cs.HC
HARMONIC: A Content-Centric Cognitive Robotic Architecture
Cognitive Science Department, Rensselaer Polytechnic Institute（罗切斯特理工学院认知科学系）；Aerospace Engineering and Engineering Mechanics（航空航天工程与工程力学）；Electrical and Computer Engineering（电气与计算机工程）
本文提出认知机器人架构HARMONIC，支持语义感知、类人决策与意向性语言交流，解决数据稀缺、可解释性及安全问题，并在仿真与物理平台上验证了两个概念验证系统。
2025-09-16 cs.AI cs.CL cs.RO
Trust and Cognitive Load During Human-Robot Interaction
Edinburgh Center For Robotics, Heriot-Watt University（赫瑞-瓦特大学爱丁堡机器人中心）；CITEC, Bielefeld University（比勒费尔德大学CITEC）
本文提出了一个探索性的研究，以了解人类的认知负荷，信任和拟人化之间的关系，在人机交互。为了理解这种关系，我们创建了一个\say{Matching the Pair}游戏，参与者可以与两种机器人类型之一合作，哈士奇或胡椒。我们的目标是了解人类是否会信任机器人作为队友，而在游戏的情况下，需要高水平的认知负荷。使用人形机器人与技术机器人，我们还研究了物理拟人化的影响，我们还测试了机器人出错率对后续判断和行为的影响。我们的研究结果表明，信任和认知负荷之间呈反比关系，这表明随着参与者认知负荷的增加，他们的信任度下降。我们还发现了机器人类型，错误率和参与者的信任评级之间的三重交互作用的影响。我们发现，参与者认为胡椒更值得信赖的哈士奇机器人相比，在玩游戏后，两个机器人在高错误率的条件下。相反，当哈士奇被描述为具有低错误率时，它被认为比胡椒更值得信赖。我们的研究结果是有趣的，并呼吁进一步调查的物理拟人化的影响，结合可变的错误率的机器人。
2019-09-11 cs.AI cs.HC cs.RO
Self-Reflective Risk-Aware Artificial Cognitive Modeling for Robot Response to Human Behaviors
Colorado School of Mines（科罗拉多矿业学院）；University of Tennessee（田纳西大学）
为了使协作机器人（“co-robots”）在人机协作中准确有效地响应人类行为，对人类行为的解释，对新情况的感知以及适当的决策都是co-robots的关键能力。为此，人类行为应该由合作机器人以与人类同行相同的方式进行解释。为了解决这个问题，一个新的可解释性指标的介绍，使机器人的行动是适当的当前人类的行为。此外，在现实世界的应用中，完全考虑机器人环境的所有潜在情况几乎是不可能的，这使得合作机器人难以在新的场景中适当和安全地采取行动。即使预训练模型在已知情况下高度准确，也是如此。为了与人类进行有效和安全的合作，我们引入了一个新的泛化指标，允许合作机器人自我反思和推理，当观察结果超出合作机器人的学习模型时。基于主题模型和两个新的指标，我们提出了一个新的自我反思的风险意识人工认知（SRAC）模型。协作机器人能够考虑行动风险并识别新情况，以便做出更好的决策。使用真实世界数据集和物理机器人的实验表明，我们的SRAC模型显着优于传统方法，并能够更好地响应人类活动的决策。
2016-05-16 cs.AI cs.RO
