AAAI SSS-22 Symposium on Closing the Assessment Loop: Communicating Proficiency and Intent in Human-Robot Teaming
拟议的研讨会重点是理解，建模和提高（a）从人类到机器人的沟通能力和（b）从人类到机器人的沟通意图的有效性。例如，机器人应该如何在新任务中传达预测的能力？它应该如何报告刚刚完成的任务的性能？机器人应该如何根据人类的意图和价值观调整其熟练程度标准？人工智能、机器人技术、HRI和认知科学领域的社区已经解决了相关问题，但对于评估熟练程度和基于意图的交互没有达成一致的标准。由于各种原因，这是人机交互的紧迫挑战。先前的工作表明，一个机器人，可以评估其性能可以改变人类的机器人和控制分配的决定。在机器人领域也有重要的证据表明，准确地设定人类的期望是至关重要的，特别是当熟练程度低于人类期望时。此外，熟练度评估取决于上下文和意图，人类队友可能会增加或减少性能标准，调整对风险和不确定性的容忍度，要求影响注意力分配的预测评估，或以其他方式重新评估或调整意图。
2022-04-05 cs.AI cs.RO
When Humans Aren't Optimal: Robots that Collaborate with Risk-Aware Humans
Stanford University（斯坦福大学）；American High School（美国高中）；The Harker School（哈克学校）
为了安全有效地协作，机器人需要预测人类伙伴的行为。今天的一些机器人模仿人类，好像他们也是机器人，并假设用户总是最佳的。其他的机器人解释了人类的局限性，并放宽了这一假设，使人类是嘈杂的理性。当人类获得确定性奖励时，这两种模型都有意义：即，肯定获得$100 or $ 130。但在现实世界中，奖励很少是确定性的。相反，我们必须在风险和不确定性的情况下做出选择--在这些情况下，人类表现出对次优行为的认知偏见。例如，当人们在80%的情况下决定是否获得$100 with certainty or $ 130时，他们倾向于做出规避风险的选择--即使这会导致预期收益较低！在本文中，我们采用了一个著名的风险意识的人类模型，从行为经济学称为累积前景理论，并使机器人利用这个模型在人机交互（HRI）。在我们的用户研究中，我们提供了支持性证据，证明风险意识模型更准确地预测了次优的人类行为。我们发现，这种提高的建模精度导致更安全，更有效的人机协作。总的来说，我们扩展了现有的理性人类模型，使协作机器人可以在HRI期间预测和规划次优的人类行为。
2020-01-13 cs.AI cs.RO
On Human Robot Interaction using Multiple Modes
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）
人形机器人具有与人类相似的身体结构。由于它们的技术设计，它们与人类共享相同的工作空间。他们被安置来清洁东西，帮助老年人，娱乐我们，最重要的是为我们服务。为了在家庭中被接受，它们必须具有比工业机器人更高的智能水平，它们必须具有社交能力，能够与周围的人互动，而这些人不应该是机器人专家。所有这些都属于人机交互（HRI）领域。人与机器人的交互方式有语音、手势、行为等多种。为了解决所有这些挑战，已经引入了多模型技术，其中手势以及语音被用作交互模式。
2018-11-17 cs.AI cs.HC
Self-Reflective Risk-Aware Artificial Cognitive Modeling for Robot Response to Human Behaviors
Colorado School of Mines（科罗拉多矿业学院）；University of Tennessee（田纳西大学）
为了使协作机器人（“co-robots”）在人机协作中准确有效地响应人类行为，对人类行为的解释，对新情况的感知以及适当的决策都是co-robots的关键能力。为此，人类行为应该由合作机器人以与人类同行相同的方式进行解释。为了解决这个问题，一个新的可解释性指标的介绍，使机器人的行动是适当的当前人类的行为。此外，在现实世界的应用中，完全考虑机器人环境的所有潜在情况几乎是不可能的，这使得合作机器人难以在新的场景中适当和安全地采取行动。即使预训练模型在已知情况下高度准确，也是如此。为了与人类进行有效和安全的合作，我们引入了一个新的泛化指标，允许合作机器人自我反思和推理，当观察结果超出合作机器人的学习模型时。基于主题模型和两个新的指标，我们提出了一个新的自我反思的风险意识人工认知（SRAC）模型。协作机器人能够考虑行动风险并识别新情况，以便做出更好的决策。使用真实世界数据集和物理机器人的实验表明，我们的SRAC模型显着优于传统方法，并能够更好地响应人类活动的决策。
2016-05-16 cs.AI cs.RO
Supportive Actions for Manipulation in Human-Robot Coworker Teams
Georgia Institute of Technology（佐治亚理工学院）；Monash University（莫纳什大学）
机器人与人类的共存越来越多，例如在制造业中的人机团队中，这引发了人们对机器人同行的行为偏好的研究问题。我们长期的行动，支持互动，减少未来的干扰与他人的支持机器人的行动，并调查他们的效用在一个共同定位的操纵方案。我们比较了两种机器人模式在一个共享的表拾取和放置任务：（1）任务导向：机器人只采取行动，以进一步自己的任务目标和（2）支持：机器人有时更喜欢支持行动，以任务为导向的，当他们减少未来的目标冲突。我们的模拟实验，使用简化的人类模型，揭示了支持性的行动减少代理之间的干扰，特别是在更困难的任务，但也导致机器人需要更长的时间来完成任务。我们实现了这些模式的物理机器人在用户研究中，人类和机器人执行对象放置在一个共享的表。我们的研究结果表明，一个支持机器人被认为是一个更有利的同事的人，也减少了干扰与人类在更困难的两种情况。然而，它也花了更长的时间来完成任务，突出了任务效率和人类偏好之间的一个有趣的权衡，需要考虑之前设计的机器人行为的近距离操作场景。
2020-05-02 cs.AI cs.RO
Adapting Robot's Explanation for Failures Based on Observed Human Behavior in Human-Robot Collaboration
KTH Royal Institute of Technology（皇家理工学院）；Lancaster University（兰卡斯特大学）
本研究通过解读人机协作中人类行为预测用户困惑，构建数据驱动预测器预测困惑，并提出基于该预测器调整机器人故障解释详细程度的机制，以提升协作自然性与效率。
2025-04-13 cs.AI cs.HC cs.RO
InteRACT: Transformer Models for Human Intent Prediction Conditioned on Robot Actions
Cornell University（康奈尔大学）
针对人机操作中意图与动作相互依赖导致的预测难题，提出InteRACT架构，利用人机动作对应关系从人人交互数据迁移学习，预训练并微调条件意图预测模型，显著优于边缘基线并开源了新数据。
2024-06-02 cs.AI cs.LG cs.MA
Human-Recognizable Robotic Gestures
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
为了让机器人适应人类的空间和人类的日常活动，机器人应该能够理解来自人类对话伙伴的信息。同样，人类也必须理解机器人传达的信息，包括非语言信息。我们进行了一项基于网络的视频研究，其中参与者对拟人化机器人产生的标志性手势和表情进行了解释。在呈现的15个手势中，我们发现6个机器人手势可以被人类观察者准确识别。这些是点头，鼓掌，拥抱，表达愤怒，走路和飞行。我们从人类和动物行为的文献中回顾了这些手势的意义。最后，我们讨论了这些手势的设计，旨在与人类进行互动的社交机器人的可能影响。
2012-12-26 cs.AI cs.HC cs.RO
Human-centered AI with focus on Human-robot interaction (Book chapter)
University of Salerno（萨莱诺大学）
本章基于以人为本人工智能原则，首次提出“双重金字塔”框架，系统梳理从微观一对一交互到宏观社会层面的人机交互人类需求，并关联联合国可持续发展目标。
2025-07-05 cs.AI cs.HC cs.RO
HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos
University of Maryland（马里兰大学）
提出HumanEgo框架，通过将人类演示提升为手-物体交互的实体级表示，并训练具有密集辅助目标的流匹配策略，实现从人类自我中心视频到机器人的零样本、无机器人数据、硬件无关的技能迁移。
2026-09-16 cs.AI cs.CV cs.LG
Doing Right by Not Doing Wrong in Human-Robot Collaboration
University of Freiburg（弗莱堡大学）
随着机器人系统越来越能够在日常生活中帮助人类，我们必须考虑这些人工智能体使人类合作者感到不安全或不公平对待他们的机会。机器人可以表现出对人类造成身体伤害的反社会行为，或者复制不公平的行为，复制甚至放大历史和社会偏见，这对与它们互动的人类有害。在本文中，我们讨论这些问题，考虑社会机器人操作和公平的机器人决策。我们提出了一种学习公平和社交行为的新方法，不是通过复制积极的行为，而是通过避免消极的行为。在这项研究中，我们强调了在机器人操作中融入社会性的重要性，以及在人机交互中考虑公平性的必要性。
2022-02-05 cs.AI cs.LG cs.RO
Respect Your Emotion: Human-Multi-Robot Teaming based on Regret Decision Model
Clemson University（克莱姆森大学）
通常，当在人机协作的背景下对人类决策行为进行建模时，人类的情感方面被忽略了。然而，在某些情况下，情绪的影响不仅是不可否认的，而且是有益的。研究了遗憾情绪在一人多机器人协作中的类人特性，以应用于领域搜索。在这种应用中，任务管理负载被外包给机器人，以减少人类的工作量，从而使人类能够做更重要的工作。后悔决策模型首先用于每个机器人决定是否请求人类服务，然后扩展到最优排队的请求从多个机器人。针对机器人在搜索域中的运动，设计了一种基于动态规划的机器人路径规划算法。仿真结果表明，类人的特性，即风险寻求和规避，确实带来了一些吸引人的效果，平衡的工作量和性能的人多机器人团队。
2019-09-18 cs.AI cs.HC cs.SY
Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube
Carnegie Mellon University（卡内基梅隆大学）
我们建立了一个系统，使任何人都可以控制机器人的手和手臂，只需用自己的手演示动作。机器人通过单个RGB摄像头观察人类操作员，并实时模仿他们的动作。人手和机器人手在形状、大小和关节结构上不同，从单个未校准的相机执行这种平移是一个高度欠约束的问题。此外，重定向的轨迹必须有效地在物理机器人上执行任务，这要求它们在时间上是平滑的，并且没有自碰撞。我们的关键见解是，虽然配对的人类-机器人对应数据的收集成本很高，但互联网包含了大量丰富多样的人手视频。我们利用这些数据来训练一个系统，该系统能够理解人手，并将人类视频流重新定位为平滑、快速、安全且语义上与指导演示相似的机器人手臂轨迹。我们证明，它使以前未经训练的人远程操作机器人在各种灵巧的操作任务。我们的低成本，无手套，无标记的远程遥操作系统，使机器人教学更容易，我们希望它可以帮助机器人在学习自主行动，在现实世界中。视频https://robotic-telekinesis.github.io/
2022-07-24 cs.AI cs.CV cs.LG
Imitation of human motion achieves natural head movements for humanoid robots in an active-speaker detection task
Tilburg University（蒂尔堡大学）
本研究采用生成式AI流水线为Nao人形机器人生成类人头部运动，并在群体对话的实时主动说话人跟踪任务中验证其自然模仿与跟踪能力。
2024-07-16 cs.AI cs.HC cs.LG
Warmth and Competence to Predict Human Preference of Robot Behavior in Physical Human-Robot Interaction
University of Hertfordshire（赫特福德大学）；Eindhoven University of Technology（埃因霍温理工大学）
在人机交互（HRI）中理解人类感知和偏好的可靠方法在设计现实世界的HRI中至关重要。社会认知认为，温暖和能力这两个维度是表征其他人的核心和普遍维度。机器人社会属性量表（RoSAS）提出了适合HRI的这些维度的项目，并在视觉观察研究中对其进行了验证。在本文中，我们补充验证，显示这些尺寸的可用性，在一个基于行为的，物理HRI研究与一个完全自主的机器人。我们将研究结果与流行的“一路顺风”维度进行了比较，这些维度包括：生命力、拟人性、亲和力、感知智力和感知安全。我们发现，在所有RoSAS和Godspeed维度中，Warmth和Competence是人类对不同机器人行为偏好的最重要预测因素。即使在条件之间没有明确的共识偏好或显著的因素差异时，这种预测能力也是有效的。
2020-08-13 cs.AI cs.CY cs.HC
Human-robot co-manipulation of extended objects: Data-driven models and control from analysis of human-human dyads
Brigham Young University（杨百翰大学）
人类团队能够轻松执行协作操作任务。然而，对于机器人和人类同时操纵扩展对象是一项艰巨的任务，使用现有的方法从文献中。在本文中，我们的方法是使用数据从人-人二进制的实验，以确定运动意图，我们使用的物理人机协同操作任务。我们首先提出和分析数据，从人-人二人组执行共同操纵任务。我们表明，我们的人与人的二元数据具有有趣的趋势，包括相互作用力与加速物体所需的力相比是不可忽略的，并且横向运动的开始的特征在于来自二元领导者的不同扭矩触发。我们还研究了不同的指标，以量化不同的二元体的性能。我们还开发了一个基于人-人试验的运动数据的深度神经网络，以根据过去的运动预测人类的意图。然后，我们将展示如何力和运动数据可以作为机器人控制的基础，在一个人-机器人二进制。最后，我们比较了两种控制器的性能，人-机器人协同操作的人-人二人性能。
2020-01-03 cs.AI cs.HC cs.LG
Utility Theory based Cognitive Modeling in the Application of Robotics: A Survey
College of Engineering and Computer Science, The University of Tulsa（工程与计算机科学学院，塔尔萨大学）
本文综述了基于效用理论的认知建模在机器人应用中的发展与现状，探讨了其在多代理系统中的作用及未来研究方向。
2026-03-09 cs.AI cs.MA cs.NE
Robust Robot Planning for Human-Robot Collaboration
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）
在人机协作中，人的目标往往是未知的机器人。此外，即使假设一个已知的目标，人的行为也是不确定的。为了规划一个强大的机器人行为，一个关键的初步问题是：如何获得现实的人类行为给定一个已知的目标？一个主要的问题是，这样的人类行为本身应该解释机器人的行为，否则合作就不会发生。在本文中，我们依靠马尔可夫决策模型，表示人类目标的不确定性作为一个概率分布在一组有限的目标函数（诱导分布在人类行为）。在此基础上，我们提出了两个贡献：1）一种方法来自动生成一个不确定的人类行为（政策）为每个给定的目标函数，同时考虑可能的机器人行为;和2）机器人规划算法，是强大的上述不确定性，并依赖于解决部分可观察的马尔可夫决策过程（POMDP）通过推理人类行为的分布。一个共同工作的场景允许进行实验，并提出定性和定量的结果来评估我们的方法。
2023-02-27 cs.AI cs.RO
Are Machine Rationales (Not) Useful to Humans? Measuring and Improving Human Utility of Free-Text Rationales
University of Southern California（南加州大学）；Tsinghua University（清华大学）；Meta AI；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本研究探讨大型语言模型生成的自由文本解释对人类问答的效用，发现现有解释效用不足且现有指标无法有效评估，提出自动评分GEN-U以改善解释的人类效用，同时保持任务性能。
2023-05-11 cs.AI cs.CL cs.LG
Human-Robot Red Teaming for Safety-Aware Reasoning
University of Michigan（密歇根大学）；NASA Johnson Space Center（NASA约翰逊航天中心）
针对机器人安全任务执行研究不足的问题，提出人机红队演练范式，通过人机协作探索危险空间，实现安全感知推理，并在月球栖息地和家庭环境中验证了其可行性与信任促进效果。
2025-08-02 cs.AI cs.RO
Integrating Intrinsic and Extrinsic Explainability: The Relevance of Understanding Neural Networks for Human-Robot Interaction
University of Hamburg（汉堡大学）
可解释的人工智能（XAI）可以帮助培养对智能和自主系统的信任和接受。此外，理解智能体行为的动机会导致机器人和人类之间更好、更成功的合作。然而，不仅人类可以从机器人的解释中受益，机器人本身也可以从向他提供的解释中受益。目前，大多数注意力都集中在解释深度神经网络和黑盒模型上。然而，这些方法中的许多不适用于人形机器人。因此，在这份立场文件中，目前的问题，适应XAI方法来解释neurorobotics的描述。此外，NICO，一个开源的人形机器人平台，介绍了如何由机器人本身的内在解释和外部的解释提供的环境，使有效的机器人行为的互动。
2020-10-09 cs.AI cs.RO
DTRT: Enhancing Human Intent Estimation and Role Allocation for Physical Human-Robot Collaboration
CAS Engineering Laboratory for Intelligent Industrial Vision, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所CAS工程视觉实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对物理人机协作中意图估计与角色分配不足的问题，提出基于双Transformer的分层架构DTRT，融合人类运动与力数据，利用CVAE和微分博弈实现准确预测与动态调整，实验验证其优越性。
2025-05-26 cs.AI cs.RO
Improved Trust in Human-Robot Collaboration with ChatGPT
University of Florida（佛罗里达大学）
本文设计基于 ChatGPT 的 RoboGPT 系统，用自然语言控制 7 自由度机械臂完成协作装配，并通过人体实验证明其能增强沟通与信任。
2023-04-25 cs.AI cs.HC cs.RO
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Why Did the Robot Cross the Road? A User Study of Explanation in Human-Robot Interaction
Georgia Institute of Technology（佐治亚理工学院）；H2O.ai
这项工作记录了一项试点用户研究，评估了对比，因果和示例解释在支持人类理解人工智能在一个假设的普通人类机器人交互HRI场景的有效性。在这样做的过程中，这项工作将可解释的AI XAI置于社会科学的背景下，并建议在社会科学的指导下改进HRI解释。
2020-11-30 cs.AI cs.HC cs.RO
HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration
Carnegie Mellon University（卡内基梅隆大学）
从人类示范中学习的能力赋予机器人自动执行各种任务的能力。然而，直接从人的演示学习是具有挑战性的，因为人手的结构可能与所需的机器人夹持器非常不同。在这项工作中，我们表明，操作技能可以从一个人转移到一个机器人，通过使用微进化强化学习，其中一个五指人类灵巧手机器人逐渐演变成一个商业机器人，同时在物理模拟器中反复互动，不断更新的政策，是第一次从人类示范。为了处理机器人参数的高维数，我们提出了一种多维进化路径搜索算法，允许机器人进化路径和策略的联合优化。通过对人类对象操作数据集的实验，我们证明了我们的框架可以有效地将从不同形式的人类演示中训练的专家人类代理策略转移到目标商业机器人。
2022-12-08 cs.AI cs.LG cs.NE
Improving Human-Robot Collaboration via Computational Design
George Mason University（乔治梅森大学）
当机器人进入我们的日常生活时，人类和机器人周围的共享空间对于有效的人机协作至关重要。共享空间的设计应满足人类的偏好和机器人的效率。本作品以厨房设计为例，说明良好的空间设计在促进这种合作中的重要性。给定厨房边界、柜台和食谱，该方法计算出符合厨房设计规则要求的柜台的最佳放置，并提高人机协作。关键的技术挑战是优化方法通常评估数千个设计，并且作为评估函数的一部分的运动规划的计算成本昂贵。我们使用一个分散的运动规划器，可以有效地解决多智能体运动规划。我们的研究结果表明，优化的厨房设计可以提供显着的性能改善人机协作。
2023-03-20 cs.AI cs.GR cs.RO
Motivating Physical Activity via Competitive Human-Robot Interaction
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
该项目旨在通过创建一个机器人竞争者来激励竞争性人机交互的研究，该机器人竞争者可以在某些场景中挑战人类用户，例如体育锻炼和游戏。考虑到这一目标，我们介绍了击剑比赛，人类机器人的竞争，用于评估机器人竞争者的能力和用户体验。我们通过迭代多智能体强化学习开发了机器人竞争者，并表明它可以很好地对抗人类竞争者。我们的用户研究还发现，我们的系统能够不断创造具有挑战性和愉快的互动，显着增加人类受试者的心率。大多数人类受试者认为该系统是娱乐性的，并希望提高他们的锻炼质量。
2022-02-14 cs.AI cs.HC cs.MA
