Bi-Directional Mental Model Reconciliation for Human-Robot Interaction with Large Language Models
本文提出一种基于大语言模型的双向心智模型协调框架，通过半结构化自然语言对话使人类与机器人能够迭代识别并传达缺失的任务上下文，从而在交互中逐步达成共享心智模型。
2025-03-10 cs.RO
Appropriateness of LLM-equipped Robotic Well-being Coach Language in the Workplace: A Qualitative Evaluation
University of Cambridge（剑桥大学）；Politecnico di Milano（米兰理工大学）
本研究首次针对工作场所中配备LLM的机器人心理健康教练的语言适宜性展开定性评估，通过4周实证研究、访谈与焦点小组，总结出语言设计的三项核心原则，为相关机器人设计提供参考。
2024-01-26 cs.HC cs.RO
GAZELOAD A Multimodal Eye-Tracking Dataset for Mental Workload in Industrial Human-Robot Collaboration
Department of industrial Automation Technology TU Berlin（工业自动化技术系 柏林技术大学）
GAZELOAD数据集通过多模态眼动数据支持工业人机协作中心理负荷的估计与分析，包含眼动信号、环境数据及自我报告评分，用于算法开发与评估。
2026-01-29 cs.RO
The Impact of Adaptive Emotional Alignment on Mental State Attribution and User Empathy in HRI
University of Turin（都灵大学）；University of Salerno（萨莱诺大学）；ICAR-CNR（国家研究委员会认知科学与技术研究所）；University of Eastern Piedmont（东皮埃蒙特大学）
本研究在人机交互场景下借助NAO机器人开展实验，对比中性沟通与情绪适配回应的效果，发现情绪对齐虽不影响用户沟通风格与说服效果，但会显著提升对机器人的心理状态归因与感知共情度。
2025-09-02 cs.RO
Folk-ontological stances toward robots and psychological human likeness
University of Milano-Bicocca（米兰比可卡大学）
本文借助科学实在论争论梳理人们理解机器人心灵的民间本体论立场，并论证这些立场会影响机器人的人类相似性感知，推动人机交互研究的民间本体论转向。
2024-06-17 cs.HC cs.RO
A Virtual Reality Simulation Pipeline for Online Mental Workload Modeling
University of California Santa Cruz（加州大学圣克鲁兹分校）
无缝的人机交互（HRI）和合作的人机（HR）合作严重依赖于准确和及时的人类心理负荷（MW）模型。认知负荷理论（CLT）认为，典型的物理环境产生典型的心理过程，物理环境的保真度与提高建模精度相对应。虚拟现实（VR）系统提供能够复制复杂场景的沉浸式环境，特别是与高风险、高压力场景相关联的那些场景。被动生物信号建模显示出作为MW建模的非侵入性方法的前景。然而，VR系统很少包括多模态心理生理反馈或利用生物信号数据进行在线MW建模。在这里，我们开发了一种新的VR仿真管道，灵感来自NASA的多属性任务电池II（MATB-II）的任务架构，能够同步收集客观性能，主观性能和被动的人类生物信号在模拟危险的探索环境。我们的系统设计通过机器人操作系统（ROS）提取和发布生物特征，促进基于心理生理学的实时的MW模型集成到完整的端到端系统中。能够在线评估MW的VR模拟管道可以为推进HR系统和VR体验奠定基础，使这些系统能够自适应地改变其行为以响应操作员MW。
2021-11-24 cs.HC cs.RO
A Longitudinal Study of Child Wellbeing Assessment via Online Interactions with a Social Robot
University of Cambridge（剑桥大学）
本文通过40名儿童与Nao机器人的三次在线互动，验证了机器人介导互动可纵向评估儿童心理健康，并揭示性别对评估效果及机器人感知的影响。
2025-02-14 cs.HC cs.RO
Social Robot Scenarios for Real-World Child and Family Care Settings through Participatory Design
Utrecht University（乌得勒支大学）
本研究是一项为期5年的荷兰博士项目，联合当地照护机构采用自下而上的参与式设计，将儿童、家长及照护人员纳入全流程，针对不同用户需求提出儿童心理支持社交机器人的设计建议。
2023-07-21 cs.HC cs.RO
Joint Mind Modeling for Explanation Generation in Complex Human-Robot Collaborative Tasks
Center for Vision, Cognition, Learning, and Autonomy, UCLA（加州大学洛杉矶分校视觉、认知、学习与自主中心）；Massachusetts Institute of Technology（麻省理工学院）
人类合作者可以通过推断彼此的精神状态（例如，目标、信念和愿望）。这种意识沟通最大限度地减少了合作者的心理状态之间的差异，是人类ad-hoc团队成功的关键。我们认为，与人类用户合作的机器人应该表现出类似的教学行为。因此，在本文中，我们提出了一种新的可解释的AI（XAI）框架，用于在人机协作中实现类似人类的通信，其中机器人构建了人类用户的分层思维模型，并基于其对用户精神状态的在线贝叶斯推断来生成对自己思维的解释。为了评估我们的框架，我们进行了一个实时的人机烹饪任务的用户研究。实验结果表明，我们的方法生成的解释显着提高了机器人的协作性能和用户感知。代码和视频演示可以在我们的项目网站上找到：https://xfgao.github.io/xCookingWeb/。
2020-07-24 cs.AI cs.HC cs.RO
Indicating Robot Vision Capabilities with Augmented Reality
通过增强现实指示器提升人机协作中对机器人视觉能力的理解
2026-03-05 cs.HC cs.RO
The Influence of Human-like Appearance on Expected Robot Explanations
VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN）；Universitat Politècnica de València（瓦伦西亚理工大学）；Institute for Human Sciences (IWM)（人文科学研究所）
研究探讨了机器人的人形外观对预期解释的影响，发现拟人化程度与外观相关，并揭示了非拟人化解释的趋势。
2025-12-12 cs.HC cs.RO
Exploring Causality for HRI: A Case Study on Robotic Mental Well-being Coaching
University of Cambridge（剑桥大学）；Politecnico di Milano（米兰理工大学）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Bogazici University（博阿齐奇大学）
本文以工作场所中为期四周的自适应机器人心理健康辅导为案例，采用宏观与微观因果分析，探究机器人依据面部效价、言语时长等多模态行为进行自适应对提升幸福感的作用。
2025-03-04 cs.AI cs.CY cs.HC
Small but Fair! Fairness for Multimodal Human-Human and Robot-Human Mental Wellbeing Coaching
针对HRI中机器学习偏见及小型多模态数据集去偏难题，本文分析人人与机器人-人类健康辅导数据，提出MixFeat数据增强策略并给出公平性研究建议。
2024-05-15 cs.RO
Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics
German Aerospace Center (DLR), Robotics and Mechatronics Center (RMC)（德国航空航天中心（DLR）、机器人与机电中心）；University of Cambridge, Department of Engineering（剑桥大学工程系）；Universität Tübingen, Department of Psychology（图宾根大学心理学系）；Leibniz-Institut für Wissensmedien (IWM)（莱比锡知识媒体研究所）；Technical University of Munich（慕尼黑技术大学）
本文提出了一种通过可解释性和协作恢复实现机器人与人类模型调和的方法，应用于辅助机器人领域。
2026-02-04 cs.HC cs.RO
HARMONIC: A Multimodal Dataset of Assistive Human-Robot Collaboration
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
我们提出了人类和机器人自然交互协作（HARMONIC）数据集的多模态观测。这是一个大型的多模态数据集，人类与机器人手臂在一个共享的自主设置中进行交互，旨在模仿辅助进食。该数据集提供了24个不同的人用6自由度（DOF）机器人手臂参与辅助进食任务的人类，机器人和环境数据视图。从每个参与者那里，我们记录了双眼的视频，来自头戴式摄像机的以自我为中心的视频，操纵杆命令，来自用于操作操纵杆的前臂的肌电图，第三人称立体视频，还包括作为这些记录的直接结果的几个特征，例如投射到以自我为中心的视频上的眼睛注视、身体姿势、手部姿势和面部关键点。这些数据流是专门收集的，因为它们已被证明与人类的心理状态和意图密切相关。这个数据集可能对研究意图预测、人类心理状态建模和共享自主性的研究人员感兴趣。数据流以各种格式提供，如视频和人类可读的CSV和YAML文件。
2020-07-31 cs.HC cs.RO
Leveraging Systems and Control Theory for Social Robotics: A Model-Based Behavioral Control Approach to Human-Robot Interaction
Delft University of Technology（代尔夫特理工大学）
针对社交机器人因难以理解人类心理状态而导致个性化和用户参与度不足的问题，提出利用人类感知、认知与决策的数学动态模型构建基于模型的行为控制系统，实现对用户心理状态的跟踪与响应个性化，显著提升了长期参与度、透明度及感知能力。
2025-04-30 cs.RO cs.SY eess.SY
Value Elicitation for a Socially Assistive Robot Addressing Social Anxiety: A Participatory Design Approach
Delft University of Technology（代尔夫特理工大学）
本研究通过参与式设计工作坊获取心理健康研究人员对社交辅助机器人支持社交焦虑的核心价值观，识别出适应性、接受度和有效性等关键设计要素，为以用户为中心的情境感知机器人设计提供依据。
2025-11-05 cs.RO
A Robotic Positive Psychology Coach to Improve College Students' Wellbeing
MIT Media Lab（麻省理工学院媒体实验室）；Pompeu Fabra University（庞培法布拉大学）
相当数量的大学生患有心理健康问题，影响他们的身体，社会和职业成果。已经提出了各种可扩展的技术，以减轻心理健康障碍的负面影响。然而，对这些技术的评估，如果有的话，经常报告改善用户心理健康的结果好坏参半。我们需要更好地了解使用户的属性和需求与基于技术的干预措施相一致的因素，以取得积极成果。在心理治疗理论中，治疗师和来访者之间的治疗联盟和融洽关系被认为是治疗成功的基础。在之前的工作中，社交机器人已经显示出在各种环境中与用户建立融洽关系和工作联盟的潜力。在这项工作中，我们探讨了使用社交机器人教练提供积极的心理干预生活在校园宿舍的大学生。我们招募了35名大学生参与我们的研究，并在他们的房间里部署了一个社交机器人教练。该机器人提供日常积极心理学课程以及其他有用的技能，如提供天气预报，日程安排提醒等，我们发现参与者的心理健康，情绪以及在完成研究后改变行为以改善健康的准备程度在统计上有显着改善。此外，学生的人格特质被发现有显着的干预效果。对研究后采访的分析显示，学生们对机器人的陪伴表示赞赏，并对隐私表示担忧。
2020-09-08 cs.CY cs.RO
Design and Implementation of a Human-Robot Joint Action Framework using Augmented Reality and Eye Gaze
Monash University（莫纳什大学）；University of Victoria（维多利亚大学）
当人类共同完成一项联合任务时，每个人都会建立一个关于情况及其演变的内部模型。有效的协作取决于这些个体模型如何重叠以在团队成员之间形成共享的心理模型，这对于人机团队中的协作过程非常重要。准确的共享心智模型的开发和维护需要个人意图的双向沟通以及解释其他团队成员意图的能力。为了实现有效的人机协作，提出了一种新的人机协作联合行动框架的设计与实现，该框架利用增强现实（AR）技术和用户眼睛注视实现意图的双向交流。我们通过一项有37名参与者的用户研究测试了我们的新框架，发现我们的系统提高了任务效率、信任度和任务流畅性。因此，使用AR和眼睛凝视来实现双向通信是改善影响人类和机器人之间协作的核心组件的一种有前途的方法。
2022-08-25 cs.RO
Can empathy affect the attribution of mental states to robots?
University of Torino（都灵大学）
本文通过实验发现，当人形机器人NAO因故障表现出害怕失去记忆时，能触发人类共情并提高其心理状态归因问卷的评分，表明对机器人的共情与心理状态归因存在相关性。
2023-09-06 cs.HC cs.RO
Mental state attribution to educational robots: an experience with children in primary school
University of Turin（都灵大学）；CINI（意大利国家大学间计算科学联盟）
本文介绍的工作是在都灵市与都灵大学共同推动的“女孩和男孩：大学一天”项目的背景下开展的。我们负责在计算机科学系举办的两个关于机器人和编码的教育活动，该系的一个实验室可用于此类课程。在实验室的会议结束时，孩子们编写了精神状态归因（AMS）问卷，这是一个衡量参与者归因于机器人的精神状态的指标，即与人类相比，用户对机器人精神品质的感知。我们向参加教育机器人实验室的儿童和进行编码活动的儿童分发了调查问卷。结果表明，与没有直接接触机器人的儿童相比，第一组儿童将更高的心理素质归因于机器人。
2023-03-07 cs.HC cs.RO
Learning mental states estimation through self-observation: a developmental synergy between intentions and beliefs representations in a deep-learning model of Theory of Mind
University of Essex（埃塞克斯大学）；Università Milano-Bicocca（米兰比可卡大学）；Istituto di Scienze e Tecnologie della Cognizione, Consiglio Nazionale della Ricerche（国家研究委员会认知科学与技术研究所）
本文提出心智理论深度学习模型，通过自我观察决策过程同时学习低级意图与高级信念归因，实验证明该发展协同机制能提升预测准确性，为社交机器人设计提供启示。
2024-07-25 cs.AI cs.LG cs.NE
Investigating the relationship between empathy and attribution of mental states to robots
University of Turin（都灵大学）
本文通过68名成人与儿童受试者的对话实验，探究用户对机器人共情能力的感知与其将心理状态归因于机器人之间的关系，并比较不同年龄组的感知差异。
2024-05-02 cs.HC cs.RO
Autistic Children's Mental Model of an Humanoid Robot
University of Turin（都灵大学）
本立场文件介绍了一个初步的卡片分类实验的基础上的反应和问题的一组自闭症儿童的工作与人形机器人在自主治疗实验室的结果。
2022-03-14 cs.RO
Robots as Mental Well-being Coaches: Design and Ethical Recommendations
University of Cambridge（剑桥大学）；Politecnico di Milano（米兰理工大学）
针对当前缺乏机器人心理健康教练设计指导的问题，本文基于扎根理论对三步迭代用户研究数据开展定性分析，提炼出相关设计指南与伦理考量，为该领域研究者和机器人专家提供参考。
2024-01-30 cs.HC cs.RO
Fuzzy inference based mentality estimation for eye robot agent
Tokyo Institute of Technology（东京工业大学）
家用机器人需要以友好的方式与人类交流。为了更好地理解所显示的信息，信息的重要性和确定性应该与主要信息一起传达。所提出的意图表达系统旨在使用眼睛机器人来传达此附加信息。眼睛运动被表示为愉悦唤醒空间模型中的状态。根据显示信息的重要性和确定性，通过模糊推理计算模型状态的变化。这种变化影响了空间中的觉醒-睡眠坐标，该坐标对应于交流的活跃性。眼睛机器人为吉祥物机器人系统提供了一个基本的接口，吉祥物机器人系统是一个易于理解的信息终端，用于人性化社会中的家庭环境。
2009-04-10 cs.AI cs.HC cs.RO
Inferring Belief States in Partially-Observable Human-Robot Teams
College of Engineering at the Georgia Institute of Technology（佐治亚理工学院工程学院）
针对部分可观测人机团队中人类态势感知的实时估计问题，比较逻辑谓词与大型语言模型的性能，发现其在低可见性条件下适应性较强但仍有提升空间，为团队模型在人机协作中的应用提供参考。
2025-02-12 cs.HC cs.RO
MIRA: Mental Imagery for Robotic Affordances
MIT（麻省理工学院）；Google（谷歌）
人类形成3D场景的心理图像，以支持反事实想象，规划和运动控制。我们从先前未观察到的视点预测场景的外观和可供性的能力帮助我们执行操纵任务（例如，6-DoF kitting），其易用程度是现有机器人学习框架目前无法达到的。在这项工作中，我们的目标是建立一个人工系统，可以在想象的图像上类似地计划行动。为此，我们介绍了机器人启示的心理意象（MIRA），一个动作推理框架，优化行动与新颖的视图合成和启示预测的循环。给定一组2D RGB图像，MIRA构建了一个一致的3D场景表示，通过它，我们合成了新颖的正交视图，可以进行像素级的启示预测，以进行动作优化。我们说明了这个优化过程如何使我们能够推广到6自由度机器人操作任务的看不见的平面外旋转，给出了有限数量的演示，为机器自主学习理解周围的世界规划行动铺平了道路。
2022-12-12 cs.RO
Robust Planning for Human-Robot Joint Tasks with Explicit Reasoning on Human Mental State
LAAS-CNRS（法国国家科学研究中心系统分析与架构实验室）；Universite de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所（ANITI））
我们考虑人类感知的任务规划问题，其中一个人类-机器人团队被赋予一个共享的任务与一个已知的目标来实现。最近的方法通过将其建模为一组独立的理性代理来解决它，其中机器人计划两个代理的（共享）任务。然而，机器人知道人类不能像人工代理一样被管理，所以它模仿和预测人类的决定，行动和反应。基于以前的方法，我们描述了一种新的方法来解决这些问题，模型和使用执行时的可观测性公约。抽象地说，这种建模是基于情况评估，这有助于我们的方法捕捉个体代理的信念的演变，并预测在实践中出现的信念分歧。它决定是否以及何时需要信念对齐，并通过沟通来实现。这些变化提高了求解器的性能：（a）有效地使用了通信，（b）对于更现实和更具挑战性的问题具有鲁棒性。
2022-10-17 cs.AI cs.HC cs.RO
Simulated Mental Imagery for Robotic Task Planning
本文提出SiMIP亚符号机器人规划方法，通过在想象图像上结合CNN与GAN完成感知、模拟动作、成功检查和重规划，无需符号领域描述即可生成人类可解释的动作规划。
2023-07-27 cs.RO
Trust and Acceptance of Multi-Robot Systems "in the Wild". A Roadmap exemplified within the EU-Project BugWright2
CNRS（法国国家科学研究中心）；Georgia Institute of Technology（佐治亚理工学院）；Trier University（特里尔大学）；GeorgiaTech Lorraine（佐治亚理工洛林分校）
本文基于欧盟BugWright2项目经验，提出通过构建更新共享心智模型、配套相关策略与合理UI来校准多机器人系统信任度的路线图，聚焦船舶检测维护场景。
2023-12-13 cs.HC cs.RO
Singing the Body Electric: The Impact of Robot Embodiment on User Expectations
University of Southern California（南加州大学）
本文提出利用机器人具身形态的多模态特征预测用户对其社交与物理能力的期望，并展示这些模型可泛化到不同社交机器人，从而为交互与物理设计提供指导。
2024-01-13 cs.AI cs.HC cs.RO
Robot Capability and Intention in Trust-based Decisions across Tasks
National University of Singapore（新加坡国立大学）；A*STAR Artificial Intelligence Initiative（新加坡科技研究局人工智能倡议）；Institute of High Performance Computing（高性能计算研究所）
在本文中，我们提出的结果，从人类主体的研究，旨在探讨两个方面的人类心智模型的机器人-推断能力和意图-和他们的关系，以整体的信任和最终的决定。特别是，我们研究委托情况下的不确定性，并探讨如何推断能力和意图适用于不同的任务。我们开发了一个在线调查，人类参与者决定是否将控制权委托给模拟无人机代理。我们的研究表明，人类对机器人能力和意图的估计与整体自我报告的信任密切相关。然而，整体信任并不足以独立地确定人类是否会决定将给定的任务信任（委托）给机器人。相反，我们的研究表明，机器人的意图，能力和整体信任的估计是集成在决定委托。从更广泛的角度来看，这些结果表明，仅仅校准整体信任是不够的;为了做出正确的决策，人类在与机器人在多个环境中合作时需要（并使用）多方面的心理模型。
2019-09-03 cs.AI cs.HC cs.RO
Towards Live Programming in ROS with PhaROS and LRP
Ecole des Mines de Douai（杜埃矿业学院）；University of Chile（智利大学）
在传统的机器人行为编程中，编辑-编译-模拟-部署-运行循环在程序创建和最终的机器人行为之间产生了很大的心理脱节。这大大减缓了行为的发展，因为程序和结果行为之间没有直接的心理联系。通过实时编程，开发周期非常紧凑，实现了这种即时连接。在我们通过PhaROS以更动态的方式对ROS机器人进行编程的工作中，我们尝试使用Live Robot程序设计语言。这就对机器人的这种实时编程提出了许多要求。在本文中，我们将介绍这些要求，并使用示例机器人行为来说明它们。
2014-12-15 cs.PL cs.RO
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universität zu Lübeck（吕贝克大学）
自主机器人需要与未知、非结构化和不断变化的环境进行交互，不断面临新的挑战。因此，持续在线适应终身学习和样本效率机制的需求，以适应环境，约束，任务或机器人本身的变化至关重要。在这项工作中，我们提出了一个新的框架，概率在线运动规划与在线适应的基础上，生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号，加上心理重放策略来强化经验，随机递归网络可以从很少的物理交互中学习，并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束，同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
RMM: A Recursive Mental Model for Dialog Navigation
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
智能引导机器人必须能够向人类提出问题并理解答案。现有的许多工作只关注后者。在本文中，我们超越了指令遵循，并介绍了两个代理人的任务，其中一个代理人导航，并提出问题，第二，指导代理人回答。受心理理论的启发，我们提出了递归心理模型（RMM）。导航代理模型的指导代理模拟答案候选人产生的问题。引导代理反过来对导航代理进行建模，以模拟生成答案所需的导航步骤。我们使用智能体朝向目标的进展作为强化学习奖励信号，不仅直接通知导航动作，而且还通知问题和答案生成。我们证明了RMM可以更好地推广到新的环境。对话者建模可能是人类与智能体对话的一种方式，在这种方式下，机器人需要提问和回答问题。
2020-10-06 cs.AI cs.CL cs.CV
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
心理模拟是目标导向行为的关键认知功能，因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时，最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此，更好的心理模拟会导致更好的目标导向行动计划。然而，开发心理模拟模型是具有挑战性的，因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织，使机器人在心理上产生适当的目标导向的行动计划。为此，我们提出了一个神经网络模型的基础上变分贝叶斯预测编码，目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明，有意义的认知能力，如自主自上而下的注意力的机器人末端执行器（其手），以及动态组织的无阻塞视觉工作记忆，出现。此外，我们的比较实验分析表明，引入视觉工作记忆和推理机制，使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
Latent Perspective-Taking via a Schrödinger Bridge in Influence-Augmented Local Models
Institute for Systems and Robotics（系统与机器人研究所）；Universidade de Lisboa（里斯本大学）；LAAS-CNRS（拉沙尔国家研究中心）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所）
本文提出了一种基于影响增强的局部模型和施罗德桥的神经符号框架，用于实现机器人在社交交互中的心理状态推断和决策规划。
2026-02-02 cs.RO
Robot Learning Theory of Mind through Self-Observation: Exploiting the Intentions-Beliefs Synergy
University of Essex（埃塞克斯大学）；Università degli Studi di Milano Bicocca（米兰比可卡大学）
在复杂的环境中，人类的感觉系统达到了极限，我们的行为受到我们对周围世界状态的信念的强烈驱动。因此，在自然环境中，理解他人的信仰、意图或一般的精神状态，可以实现更有效的社会互动。然而，这些变量并不能直接观察到。心理理论（英语：Theory of Mind，简称TOM）是一种将其他智能体的信念、意图或精神状态归因于其他智能体的能力，是人类社会互动的一个重要特征，也是机器人社区感兴趣的领域。最近，已经引入了能够学习TOM的新模型。在本文中，我们展示了学习预测低层次心理状态（如意图和目标）与归因于高层次心理状态（如信念）之间的协同作用。假设信念的学习可以通过在部分可观察的环境中观察自己的决策和信念估计过程并使用简单的前馈深度学习模型来进行，我们表明，当学习预测他人的意图和行动时，如果信念归因与行动和意图预测同时学习，则可以获得更快，更准确的预测。我们表明，学习性能提高，即使在观察代理与不同的决策过程，是更高的观察时，信念驱动的块的行为。我们建议，我们的架构方法可以为未来的自适应社会机器人，应该能够自主理解和协助人类合作伙伴在新的自然环境和任务的设计相关。
2022-10-17 cs.AI cs.LG cs.RO
Modeling the Mental World for Embodied AI: A Comprehensive Review
ZTE Corporation（中兴通讯公司）
本文综述了具身AI中内心世界模型的研究，构建了理论框架，定义了关键组件，并分析了两种核心理论思维推理范式，以促进人机协作发展。
2025-12-17 cs.RO
Estimating Human Intent for Physical Human-Robot Co-Manipulation
人类团队在使用共享的心理模型进行操作任务时，可以非常有效地进行适应和协作。然而，在协作操作任务期间，人类可以使用相同的共享心智模型来执行鲁棒的低级别力和运动控制，而机器人则不存在。为了让机器人能够自然、高效地与人类执行协作任务，理解和预测人类的意图是必要的。然而，人类很难预测和建模。我们已经完成了一项探索性研究，记录了20个人的运动和力量，以更好地了解他们如何移动以及如何预测他们的运动。在本文中，我们将展示如何使用过去的运动数据来预测人类的意图。为了预测人类的意图，我们将其等同于人类团队在短时间内的速度，我们使用了神经网络。以200 Hz的频率使用前150个时间步长，可以预测接下来50个时间步长的人类意图，均方误差为0.02（m/s）^2。我们还表明，人类的意图，可以估计在一个人-机器人二元。这项工作是重要的第一步，使未来的工作集成人类意图估计机器人控制器执行短期协作轨迹。
2017-05-30 cs.RO
Adaptation and Communication in Human-Robot Teaming to Handle Discrepancies in Agents' Beliefs about Plans
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于认知逻辑和蒙特卡洛树搜索的人机团队在线执行算法，使智能体能够识别并解决彼此关于可行计划的信念差异，通过适应或通信行动在缺乏共享心智模型的情况下有效协作。
2023-07-07 cs.AI cs.RO
Enabling Robots to Communicate their Objectives
University of California, Berkeley（加州大学伯克利分校）；OpenAI（开放人工智能研究中心）
这项工作的首要目标是有效地使最终用户能够正确地预测机器人在新情况下的行为。由于机器人的行为通常是其底层目标函数的直接结果，因此我们的见解是，最终用户需要对该目标函数有一个准确的心理模型，以便理解和预测机器人将做什么。虽然随着时间的推移，人们通过观察机器人的行为自然地形成了这样的心理模型，但这个熟悉过程可能很漫长。我们的方法通过让机器人模型人们如何从观察到的行为中推断目标来减少这个时间，然后它选择那些信息量最大的行为。从观察到的行为中计算目标的后验问题被称为逆强化学习（IRL），并已被应用于机器人学习人类目标。我们考虑的问题中的角色的人和机器人交换。我们的主要贡献是认识到，与机器人不同，人类在IRL推理中不会精确。因此，我们引入了两个因素来定义候选近似推理模型，用于在这种情况下进行人类学习，并在自动驾驶领域的用户研究中对其进行分析。我们表明，某些近似推理模型导致机器人生成的示例行为，更好地使用户能够预测它会在新的情况下做什么。然而，我们的研究结果也表明，需要进行更多的研究来模拟人类如何从机器人行为的例子中推断。
2018-10-18 cs.LG cs.RO
Explainable deep learning improves human mental models of self-driving cars
Computer Science & Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology（计算机科学与人工智能实验室（CSAIL），麻省理工学院）；Motional AD Inc.（Motional AD公司）；Department of Psychology and Center for Brain Science, Harvard University（心理学系和大脑科学中心，哈佛大学）；Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（航空与宇航系，麻省理工学院）
提出概念包装网络（CW-Net），在真实自动驾驶车上实现可解释规划，通过因果性概念解释提升驾驶员对车辆行为的预测能力，尤其在意外场景中。
2026-06-16 cs.AI cs.LG cs.RO
