MRPilot: Supervising and Intervening LLM-Based Multi-Robot Teams through Mixed Reality
North Carolina State University（北卡罗来纳州立大学）；Google（谷歌）；Purdue University（普渡大学）
MRPilot通过混合现实系统，在四个阶段（形成、审查、跟随、修复）监督和干预LLM驱动的多机器人团队，显著降低用户工作负载并提升情境意识、信任和控制感。
2026-10-07 cs.HC cs.RO
Uncertainty-Aware Planning for Heterogeneous Robot Teams using Dynamic Topological Graphs and Mixed-Integer Programming
Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）；Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
针对不确定环境下异构机器人团队规划的计算难题，提出基于动态拓扑图与混合整数规划的方法，实现秒级最优长时域规划与实时重规划，并降低被不确定位置观察者发现的概率。
2025-06-20 cs.RO
Intermittent Rendezvous Plans with Mixed Integer Linear Program for Large-Scale Multi-Robot Exploration
VeRLab, Universidade Federal de Minas Gerais（维RL实验室，巴西联邦大学矿务学院）
针对通信约束下多机器人探索（MRE）调度需预先环境信息、现有间歇通信框架无法生成最优计划的问题，提出MRE-CCIC问题，用MILP生成会合计划并结合RTUS机制遵循计划，在仿真中验证高效性且提供开源实现。
2025-11-15 cs.HC cs.MA cs.RO
Mixed Reality Environment and High-Dimensional Continuification Control for Swarm Robotics
Scuola Superiore Meridionale（南方高等学院）；University of Rome La Sapienza（罗马第一大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
该研究提出结合真实与虚拟智能体的混合现实群体机器人实验平台，并将连续化控制方法拓展至高维，经实验验证了平台有效性与算法理论价值。
2024-07-15 cs.RO cs.SY eess.SY
Efficiently Solving Mixed-Hierarchy Games with Quasi-Policy Approximations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文研究了多机器人森林结构混合层级游戏，通过推导KKT条件并引入准策略近似方法，提出了一种求解高阶导数的非精确牛顿法，证明了在非二次目标和非线性约束下的局部指数收敛性。
2026-05-14 cs.GT cs.RO
A Multi-Operator Mixed-Reality Interface for Multi-Robot Control and Coordination: Co-Located and Private Workspace Collaboration
DIBRIS Department, RICE Laboratory, University of Genoa（DIBRIS部门，RICE实验室，热那亚大学）
提出一种扩展至多操作员协作的混合现实界面，支持共位共享工作空间和私有工作空间两种模式，通过注册驱动场景构建、轻量级会话同步和单机器人控制租约防止命令冲突。实验表明两种模式任务性能相当，但共位模式显著提升协作感知和操作员偏好。
2026-06-05 cs.HC cs.RO
Communication Efficient Robotic Mixed Reality with Gaussian Splatting Cross-Layer Optimization
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of IOTSC, Department of Computer and Information Science, University of Macau（澳门大学物联网科学国家重点实验室）；Peng Cheng Laboratory（鹏城实验室）；Manifold Tech Limited（曼陀科技有限公司）；School of Electrical Engineering and Telecommunications, the University of New South Wales（新南威尔士大学电气与电信学院）
针对机器人混合现实系统高通信成本问题，提出基于高斯泼溅的GSMR系统与跨层优化框架GSCLO，结合加速惩罚优化算法，在多类机器人场景中实现了超低通信成本下的性能提升。
2025-09-03 cs.IT cs.RO math.IT
LLM Granularity for On-the-Fly Robot Control
Manchester Metropolitan University（曼彻斯特城市大学）
本研究针对视觉不可靠场景下辅助机器人的纯语言控制可行性问题，评估了不同粒度语言提示下的机器人响应，探索了实时控制的必要性与可行性，并通过Sawyer协作机器人与Turtlebot机器人实验验证了方案适配性。
2024-06-20 cs.AI cs.RO
Haptic-enabled Mixed Reality System for Mixed-initiative Remote Robot Control
OPPO Research Center（OPPO研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
机器人在许多被认为对人类不安全的领域提供帮助。例如，在处理流行性疾病（如最近的新冠肺炎疫情和埃博拉等其他疫情）时，机器人可以协助到达对人类有危险的地区，并完成简单的任务，如拿起正确的药物（在一组处方瓶中）并交付给患者。在这种情况下，依赖机器人的完全自主操作可能并不好。由于许多移动机器人是功能齐全的低级别的任务，如抓取和移动，我们考虑的混合主动控制，用户可以远程引导机器人完成这些任务。对于这种混合主动控制，控制机器人的用户需要将机器人看到的3D场景可视化并引导它。混合现实可以虚拟现实，并使用户沉浸在从现实世界环境重建的3D场景中。这种技术为用户提供了更多的自由，例如在查看时选择视点。近年来，得益于光探测和测距（LIDAR）和RGBD相机的高质量数据，混合现实被广泛用于构建网络平台，以提高机器人遥操作和机器人-人协作的性能，并增强混合主动控制的反馈。在本文中，我们提出了一种新的触觉使能的混合现实系统，提供触觉接口与虚拟化环境进行交互，并为移动机器人提供远程指导，以实现高级任务。实验结果表明，所提出的触觉使能的混合现实系统的有效性和灵活性。
2021-06-07 cs.RO
A Hierarchical Variable Autonomy Mixed-Initiative Framework for Human-Robot Teaming in Mobile Robotics
University of West Attica（西阿提卡大学）；University of Manchester（曼彻斯特大学）；University of Birmingham（伯明翰大学）
本文提出了一种混合主动（MI）框架，用于解决远程人类操作员和人工智能智能体之间的控制权限转移问题时，合作控制移动机器人。我们的分层专家指导混合主动控制切换器（HierEMICS）利用人类操作员的状态和意图的信息。控制切换策略是基于一个关键层次。在高保真模拟灾难响应和远程检查的情况下进行了实验评估，比较HierEMICS与最先进的专家指导的混合主动控制切换器（EMICS）的背景下，移动机器人导航。结果表明，HierEMICS减少了人类和人工智能智能体之间的控制冲突，这是一个根本的挑战，在MI控制范式，也在相关的共享控制范式。此外，我们提供了统计学上显著的证据，证明航行安全性得到了改善（即，更少的冲突）、LOA切换效率以及用于控制减少的冲突。
2022-11-25 cs.AI cs.HC cs.MA
A 3D Mixed Reality Interface for Human-Robot Teaming
ETH Zürich（苏黎世联邦理工学院）；Microsoft Mixed Reality Lab（微软混合现实实验室）
本研究提出一种混合现实人机协作系统，含实时多智能体视觉SLAM建图与拖放式控制模块，可实现非视距机器人定位、3D地图叠加可视化及远程位姿控制，经用户研究和实部署验证，相关应用已开源。
2023-10-03 cs.RO
Kinesthetic Teaching in Robotics: a Mixed Reality Approach
University of Genoa（热那亚大学）
本文提出一种基于混合现实的新型通信接口，用于在任意机器人平台上进行动觉示教，并通过多受试者、双机器人用户研究验证其相比传统物理示教在用户体验和任务指标上的表现。
2024-09-03 cs.RO
FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand
Laboratory for Information & Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院）；Samsung Research America（三星美国研究院）
提出首个基于未标定单目相机实时构建任意室内外环境分层任务驱动3D场景图的方法，通过几何基础模型和可调整粒度支持动态任务，并在ASHiTA SG3D基准上提升79%准确率。
2026-06-09 cs.RO
RICO-MR: An Open-Source Architecture for Robot Intent Communication through Mixed Reality
University of Genoa（热那亚大学）
本文提出RICO-MR开源架构，利用混合现实和头戴式显示器向人类队友传达机器人意图，具备模块化、可重用和可扩展特性，支持独立使用或集成开发，适用于多机器人与人类的复杂协作场景。
2023-09-09 cs.RO
Visual Task Progress Estimation with Appearance Invariant Embeddings for Robot Control and Planning
Preferred Networks Inc.（首选网络公司）；Waseda University（早稻田大学）
完全自主的挑战之一是让机器人能够操纵其当前环境以实现另一种环境配置。本文是朝着这一挑战迈出的一步，重点是任务的视觉理解。我们的方法训练了一个深度神经网络，将图像表示为可测量的特征，这些特征对估计任务的进度（或阶段）很有用。训练使用相同任务的图像的许多变化，当在相同的相位指数下拍摄时。目标是使网络对任务进度的差异敏感，但对图像的外观不敏感。为此，我们的方法建立在时间对比网络（TCN）的训练网络只使用离散的快照在不同阶段的任务。然后，机器人可以通过使用经过训练的网络来识别当前任务的进度，并通过迭代调用运动规划器来解决长期任务，直到任务得到解决。我们量化的粒度在两个模拟环境中的网络实现。在第一种方法中，检测场景中物体的数量，在第二种方法中测量杯子中颗粒的体积。我们的实验利用这种粒度，使移动机器人移动到存储区域所需数量的对象，并控制在一个杯子中倾倒的量。
2020-11-22 cs.RO
A Mixed-Integer Approach for Motion Planning of Nonholonomic Robots under Visible Light Communication Constraints
Instituto Tecnológico de Aeronáutica（航空技术学院）；Delft University of Technology（代尔夫特理工大学）
本文研究非完整机器人在VLC连接约束下的运动规划问题，提出基于MILP的轨迹规划器协调RCCS执行检查任务，在处理定向LOS与动力学非线性等问题的同时最小化时间与控制努力，并在Gazebo中验证了有效性。
2023-11-20 cs.MA cs.RO cs.SY
Using Socially Expressive Mixed Reality Arms for Enhancing Low-Expressivity Robots
University of Southern California（南加州大学）
表现力--使用多种方式来传达机器人的内部状态和意图--对于交互至关重要。然而，由于成本、安全和其他限制，许多机器人缺乏高度的物理表现力。本文探讨了使用混合现实来增强机器人有限的表现力，通过添加虚拟手臂，扩展机器人的表现力。手臂能够进行一系列非物理约束的手势，在一项受试者间研究（$n=34$）中进行了评估，参与者与社交辅助机器人一起参与混合现实数学任务。研究结果表明，虚拟手臂增加了更高程度的感知情感，乐于助人，和物理存在的机器人。报告较高感知物理存在的用户也发现机器人具有更高程度的社交存在，易用性，有用性，并且对使用混合现实机器人持积极态度。实验结果也证明了用户能够区分虚拟手势的效价和意图。
2019-11-30 cs.HC cs.RO
Mixed Reality as Communication Medium for Human-Robot Collaboration
University of Genoa（热那亚大学）
参与协作活动的人类自然能够通过多模态通信将其意图传达给队友，该通信由显式和隐式线索组成。类似地，可以通过使机器人能够经由多个通信信道将其意图传达给人类队友来实现更自然形式的人类-机器人协作。在本文中，我们假设，如果协作机器人能够以直观的方式预测它们与人类队友的动作，那么就可以进行更好的沟通。为了支持这样的说法，我们提出了一个机器人系统的架构，通过该架构，机器人可以利用现代盔装显示器提供动力的混合现实接口，将计划的运动传达给人类队友。具体来说，机器人的全息图，这是叠加到真正的机器人在人类队友的角度来看，显示了机器人的未来运动，让人类提前了解他们，并可能以适当的方式对他们作出反应。我们进行了初步的用户研究，以评估在一个复杂的协作任务的有效性，建议预期的可视化。实验结果表明，一个改进的和更自然的合作，可以通过采用这种预期的通信模式。
2022-06-30 cs.RO
Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and Robotics Together
Microsoft Mixed Reality and AI Lab（微软混合现实与人工智能实验室）；ETH Zürich（苏黎世联邦理工学院）；University of Haifa（海法大学）；NVIDIA（英伟达）
空间计算--设备感知周围环境并以数字方式表示的能力--为人机交互提供了新的能力。特别是，混合现实设备上的空间计算和以自我为中心的感知相结合，使它们能够捕捉和理解人类的动作，并将其转换为具有空间意义的动作，这为人类和机器人之间的协作提供了令人兴奋的新可能性。本文介绍了几个人类机器人系统，利用这些功能，使新的机器人用例：任务规划检查，基于手势的控制，沉浸式遥操作。这些作品展示了混合现实作为人机交互工具的力量，以及空间计算和混合现实推动人机交互未来的潜力。
2022-02-03 cs.CV cs.HC cs.RO
Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
本文提出GAAF-Dex框架，通过弱监督学习从人-物交互图像中提取粒度感知的可供性特征，实现功能性区域定位与灵巧手势预测，并构建FAH数据集验证其优于现有方法。
2025-07-19 cs.CV cs.RO eess.IV
MRPoS: Mixed Reality-Based Robot Navigation Interface Using Spatial Pointing and Speech with Large Language Model
The University of Osaka（大阪大学）；Kobe University（Kobe大学）
本文提出MRPoS接口，利用空间指针和语音交互替代传统手势，提升机器人导航的直观性和效率，实验表明任务完成时间与工作负荷显著降低。
2026-03-04 cs.RO
Opportunities and Limitations of Mixed Reality Holograms in Industrial Robotics
University of Augsburg（奥格斯堡大学）；XITASO GmbH（XITASO有限公司）
本文介绍了两个案例研究结合工业机器人领域与混合现实（MR）。这些案例研究的目的是更好地了解MR如何有用以及局限性是什么。第一个案例研究描述了一种可视化机器人手臂的数字孪生的方法。第二个案例研究旨在促进工业机器人的调试。此外，本文报告了通过实施这两个方案所获得的经验，并讨论了局限性。
2020-01-22 cs.HC cs.RO
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；R&D Center, MWS（MWS研发中心）
ORCESTRA是一款混合现实系统，通过无代码路径点示教和语言引导控制实现机器人数字孪生编程，支持多种异构机器人，其混合现实验证可作为语言引导机器人物理部署前的安全层。
2026-08-04 cs.CV cs.HC cs.RO
Kinodynamic Motion Planning for Multi-Legged Robot Jumping via Mixed-Integer Convex Program
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出了一种基于混合整数凸规划（MICP）的多足足式机器人跳跃运动学运动规划框架，该框架同时考虑质心运动、接触点、扳手和步态序列。该方法将位形空间离散化和可行扳手多面体（FWP）的构造相结合，将运动学约束、执行器限制、摩擦锥约束和步态排序编码到一个MICP中。MICP可以有效地解决了全球最佳的现成的数值求解器，并提供高动态跳跃运动，而不需要初始猜测。仿真和实验结果表明，所提出的方法可以找到新颖灵巧的机动，直接部署在两足足式机器人平台上，以穿越具有挑战性的地形。
2020-11-03 cs.RO
Trust, Shared Understanding and Locus of Control in Mixed-Initiative Robotic Systems
University of Birmingham（伯明翰大学）；National Center for Nuclear Robotics（国家核机器人中心）
本文研究了如何信任，人类操作员和机器人之间的共享理解，控制点（LoC）的个性特质，发展和影响人机交互（HRI）在混合主动机器人系统。随着这些系统变得越来越先进，能够与人类操作员一起采取行动，机器人将从被视为工具转变为队友。因此，本文研究的团队导向的人的因素（即信任，共享的理解，和LoC）可以在高效的HRI中发挥至关重要的作用。在这里，我们提出了一个实验的结果，灵感来自灾难响应的情况下，操作员远程控制移动机器人在导航任务，无论是人类主动或混合主动控制，两个不同层次的自主权之间动态切换：遥控操作和自主导航。有证据表明，操作员信任并了解机器人系统，特别是在混合主动控制中，随着操作员对系统的熟悉程度和执行任务的能力的提高，信任和理解会随着时间的推移而增加。最后，证据和见解的LoC如何影响HRI。
2022-05-15 cs.HC cs.RO
Communicating Robot Arm Motion Intent Through Mixed Reality Head-mounted Displays
Brown University（布朗大学）
高效的运动意图通信对于人类和机器人协同工作的安全和协作环境是必要的。人类通过手势、凝视和社交线索有效地将他们的运动意图传达给其他人。然而，机器人通常难以通过这些方法将其运动意图有效地传达给人类。许多现有的机器人运动意图通信方法依赖于2D显示，这需要人类不断暂停工作并检查可视化。我们提出了一个混合现实的盔装显示器可视化建议的机器人运动在佩戴者的真实世界的机器人及其环境的看法。为了评估该系统对2D显示可视化和不可视化的有效性，我们要求32名参与者将不同的机器人手臂运动标记为与桌子上的块碰撞或不碰撞。我们发现，与下一个最好的系统相比，准确率提高了16%，完成任务所需的时间减少了62%。这表明，混合现实HMD允许人类比比较基线更快，更准确地告诉机器人将移动到哪里。
2017-08-11 cs.HC cs.RO
Mobile Delivery Robots: Mixed Reality-Based Simulation Relying on ROS and Unity 3D
UAS Technikum Wien（维也纳技术高等学院）；Ural Federal University（乌拉尔联邦大学）；Johannes Kepler University Linz（林茨约翰内斯开普勒大学）
在智能交通系统和货物交付方面，需要开发新的技术方法，以应对最后一英里交付所带来的某些挑战，例如城市环境中的导航。自动送货机器人可以帮助克服这些挑战。我们提出了一种使用Unity与基于ROS的机器人进行混合现实（MR）仿真的方法，该方法将真实和虚拟环境进行混合，同时使用真实机器人的传感器信息来定位自己并将其投影到虚拟环境中，以便它们可以使用其虚拟分身来感知虚拟世界。使用这种方法，真实和虚拟机器人可以感知彼此以及对方所处的环境，从而实现虚拟和真实对象之间的信息交换。通过这种方法，可以获得更真实可靠的模拟。演示用例的结果验证了使用Unity为基于ROS的机器人实施MR的可行性和效率以及稳定性。
2021-02-22 cs.RO
A Mixed Reality System for Interaction with Heterogeneous Robotic Systems
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出一种基于混合现实的普适交互系统，使用户可通过操控始终同位的机器人虚拟副本干预动态场景中的异构无人机和AGV，并在模拟厂内物流任务中结合性能与用户反馈完成验证。
2023-07-12 cs.RO
Game Theory to Study Cooperation in Human-Robot Mixed Groups: Exploring the Potential of the Public Good Game
Robotics Brain and Cognitive Sciences Department (RBCS), Italian Institute of Technology（机器人脑科学与认知科学部门（RBCS），意大利理工学院）；Cognitive Architecture for Collaborative Technologies (CONTACT) Unit, Italian Institute of Technology（协作技术认知架构（CONTACT）单元，意大利理工学院）；Department of Computer Science, Bioengineering, Robotics and Systems Engineering (DIBRIS), University of Genova（计算机科学、生物工程、机器人与系统工程部门（DIBRIS），热那亚大学）
本文提出改进版公共品博弈，让三名参与者与人形机器人iCub在不同策略下互动，初步评估机器人对人机混合群体合作与信任的影响。
2025-09-29 cs.RO
A Complementary Framework for Human-Robot Collaboration with a Mixed AR-Haptic Interface
Tsinghua University（清华大学）；Hong Kong Productivity Council（香港生产力促进局）
在人机协作中，协作机器人（cobots）总是在安全性和效率之间进行权衡。与人类互动最少的机器人可以快速准确地工作，但无法适应新任务或应对不可预见的变化，而与人类密切合作的机器人只能对人类变得被动，这意味着它们的主要任务暂停，效率受到影响。因此，本文提出了一种新的互补框架，平衡人类的安全和机器人的效率，人与机器人的协作。在这个框架中，机器人使用基于视觉的自适应控制器执行给定的任务，人类专家在零空间中与机器人协作。这种解耦驱动机器人处理任务空间中的现有问题（例如，未校准的照相机，有限的视场）和零空间（例如，关节限制）同时允许专家调整机器人主体的配置以响应不可预见的变化（例如，突然入侵、环境变化）而不影响机器人的主要任务。此外，机器人可以同时学习专家的演示在任务空间和零空间预先与动态运动基元。因此，专家的知识和机器人的能力是互补的。通过混合交互界面，即，增强现实（AR）和触觉设备。用李雅普诺夫方法严格证明了闭环系统的稳定性。在各种情况下的实验结果来说明所提出的方法的性能。
2022-10-12 cs.RO
Generation of Real-time Robotic Emotional Expressions Learning from Human Demonstration in Mixed Reality
Honda Research Institute Europe（本田欧洲研究院）
本研究提出一种基于混合现实的人类示范生成实时机器人情感表达的框架，通过流匹配生成过程实现逼真且多样的情感表达。
2026-01-17 cs.HC cs.RO
Learning robot motor skills with mixed reality
Brown University（布朗大学）；MERL（三菱电机研究实验室）
混合现实（MR）最近显示出巨大的成功，作为一个直观的界面，使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类，以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功，使最终用户能够教机器人复杂的运动任务仍然是一个挑战，因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架，最终用户教机器人a）运动演示，b）任务约束，c）规划表示，和d）对象信息，所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语（DMP）。我们假设，传达这个世界的知识将是直观的MR接口，并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
MRHaD: Mixed Reality-based Hand-Drawn Map Editing Interface for Mobile Robot Navigation
Graduate School of Information Science and Technology, The University of Osaka（信息科学与技术研究生院，大阪大学）；D3 Center, The University of Osaka（大阪大学D3中心）；Graduate School of Maritime Sciences, Kobe University（海洋科学研究生院， Kobe大学）
针对移动机器人导航中地图不准导致路径规划低效的问题，本文提出 MRHaD 混合现实手绘编辑界面，通过手势实时创建限制区域，实验证明其提升了编辑效率、地图精度和可用性。
2025-07-28 cs.RO
MIHRaGe: A Mixed-Reality Interface for Human-Robot Interaction via Gaze-Oriented Control
Engineering School of São Carlos University of São Paulo（圣保罗大学圣卡洛斯工程学院）；Massachussets Institute of Technology（麻省理工学院）；Hospital Israelita Albert Einstein（以色列医院阿尔伯特·爱因斯坦医院）
本文提出MIHRaGe混合现实界面，融合注视跟踪与机器人辅助，实现仅用眼动控制机器人，实验显示80%任务成功率，验证了其提升人机交互可及性的潜力。
2025-05-06 cs.RO
Mixed-Initiative variable autonomy for remotely operated mobile robots
University of Birmingham（伯明翰大学）；University of Oxford（牛津大学）
本文提出了一种专家引导的混合主动控制切换器（EMICS）的远程操作移动机器人。EMICS使得能够在由人类操作员和/或EMICS发起的任务执行期间在不同自主级别之间切换。EMICS的评估在两个灾难响应的启发实验，一个与模拟机器人和测试舞台，一个与真实的机器人在现实的环境中。从两个实验的分析提供的证据表明：a）人类主动（HI）系统优于系统与单一的操作模式，如纯遥操作，在导航任务; b）在模拟机器人实验的背景下，混合主动（MI）系统提供更好的性能在导航任务，提高操作员的认知要求的次要任务的性能，并改善操作员的工作量相比，HI。结果还加强了以前的人机交互证据的重要性，操作员的人格特质和他们的信任的自主系统。最后，我们的实验物理机器人提供了经验证据，确定MI控制的两个主要挑战：a）上下文感知MI控制系统的设计;和b）机器人的MI控制系统和操作员之间的控制冲突。对这些挑战的见解进行了讨论，并提出了应对这些挑战的方法。
2020-10-06 cs.HC cs.RO
HORUS: A Mixed Reality Interface for Managing Teams of Mobile Robots
DIBRIS Department, RICE Laboratory, University of Genoa（DIBRIS部门、RICE实验室、热那亚大学）
提出混合现实界面HORUS，通过Mini-Map和多种遥操作模式实现多机器人团队监控与任务分配，用户研究验证其在搜索救援任务中的协调有效性。
2026-06-05 cs.HC cs.RO
Optimizing Robot Programming: Mixed Reality Gripper Control
Technical University of Munich（慕尼黑工业大学）
本文在混合现实场景中比较三种基于控制器的机器人编程方法，发现夹爪控制方法在效率、体验和性能上最优，具有应用潜力。
2025-03-26 cs.HC cs.RO
On the Fly Robotic-Assisted Medical Instrument Planning and Execution Using Mixed Reality
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
本文提出一种基于混合现实的机器人辅助医疗系统框架，通过三维解剖叠加、碰撞检测和机器人编程接口实现器械实时规划与执行，降低操作学习成本，并在经颅磁刺激和股骨成形术中验证可行性。
2024-04-08 cs.RO
Motion Control of Interactive Robotic Arms Based on Mixed Reality Development
Harbin Institute of Technology（哈尔滨工业大学）
本研究在第四次工业革命背景下，针对基于 Unity 的 MR 应用开发，提出了多种应用于 UR5、UR5e、myCobot 等交互式机械臂的有效运动控制方法，包括 GUI 控制面板、文本输入控制、末端执行器动态跟踪及 ROS-Unity 数字孪生连接，以促进更先进的人机交互。
2024-01-03 cs.HC cs.RO
Mixed-Reality Robotic Games: Design Guidelines for Effective Entertainment with Consumer Robots
Politecnico di Torino（都灵理工大学）
近年来，人们对在家中使用机器人技术的兴趣越来越大。市场上出现了许多服务机器人，支持客户执行日常任务。与此同时，消费级机器人也开始被用作玩具或游戏伴侣。然而，目前现成的机器人产品提供的游戏可能性通常非常有限，这一事实使它们很快失去了吸引力。一种被证明能够促进机器人游戏和相关设备的方法是创建有趣的体验，其中物理和数字元素使用混合现实技术结合在一起。然而，这些游戏与数字或物理体验有很大的不同，需要新的设计原则来支持开发人员的创造性工作。本文件通过起草一套准则来满足这种需要，这些准则总结了研究界开展的工作及其发现。
2020-07-30 cs.GR cs.HC cs.RO
MR-UBi: Mixed Reality-Based Underwater Robot Arm Teleoperation System with Reaction Torque Indicator via Bilateral Control
The University of Osaka（大阪大学）；Kobe University（Kobe大学）
本文提出MR-UBi，一种基于混合现实的水下机械臂遥操作系统，通过反作用力矩指示器集成视觉与触觉反馈，显著提升抓取力矩控制精度、可用性并降低工作负荷。
2025-10-23 cs.RO
Mixed Reality Teleoperation Assistance for Direct Control of Humanoids
Florida Institute for Human and Machine Cognition（佛罗里达人机认知研究所）；Florida Institute of Technology（佛罗里达理工学院）；University of West Florida（西佛罗里达大学）
本文提出一种结合混合现实与辅助自主性的方法，利用概率运动基元、目标检测和可负担性模板，提升人形机器人遥操作的效率与精度，并在Nadia机器人上验证了其有效性。
2024-11-01 cs.RO
Interactive Robot Programming for Surface Finishing via Task-Centric Mixed Reality Interfaces
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（机器人与机电系统研究所，德国航空航天中心）；University of Lübeck（吕贝克大学）；Autonomous Systems Lab, Institute of Computer Technology, TU Wien（自主系统实验室，计算机技术研究所，维也纳技术大学）
本文提出了一种基于任务导向的混合现实接口，使非专家能通过交互式流程直观编程机器人，实现小批量生产中的表面处理任务。
2025-12-29 cs.RO
MRNaB: Mixed Reality-based Robot Navigation Interface using Optical-see-through MR-beacons
Graduate School of Information Science and Technology, The University of Osaka（信息科学与技术研究生学校，大阪大学）；D3 Center, The University of Osaka（大阪大学D3中心）
针对传统2D机器人导航界面信息同步可视化受限的问题，提出使用光学透视MR信标的混合现实导航界面MRNaB，支持信标增删移选与多目的地导航，实验验证其可提升导航效率与用户体验。
2025-05-15 cs.RO
Learning Mixed-Integer Convex Optimization Strategies for Robot Planning and Control
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；MIT（麻省理工学院）
与25年前相比，混合整数凸规划（MICP）的算法和硬件都有了显著的改进，求解时间加快了几个数量级。尽管取得了这些进展，但MICP很少应用于现实世界的机器人控制，因为解决方案的时间对于在线应用来说仍然太慢。在这项工作中，我们提出了CoCo（Combinatorial Offline，Convex Online）框架，以非常高的速度解决机器人技术中出现的MICP。CoCo将最优解的组合部分编码为策略。使用从离线问题解决方案中收集的数据，我们训练多类分类器来预测给定问题特定参数（如状态或障碍物）的最佳策略。与以前的方法相比，我们使用特定于任务的策略，并修剪冗余的，以显着减少预测器必须选择的类的数量，从而大大提高了可扩展性。给定预测的策略，控制任务就变成了一个小的凸优化问题，我们可以在几毫秒内解决。对带墙壁的车杆系统、自由飞行的空间机器人和面向任务的抓取进行的数值实验表明，与最先进的求解器相比，我们的方法不仅提供了1到2个数量级的加速，而且性能接近全局最优MICP解决方案。
2022-04-11 cs.RO
IMMERTWIN: A Mixed Reality Framework for Enhanced Robotic Arm Teleoperation
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）；ICPS Research Center, National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院ICPS研究中心）
本研究提出了基于闭环数字孪生的混合现实机械臂遥操作框架IMMERTWIN，经26名用户在两台机器人上测试，验证了其任务完成效果，且相比现有方案认知负荷更低。
2024-09-13 cs.HC cs.RO
Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality
MIT Media Lab（麻省理工学院媒体实验室）；University of Southern Denmark（南丹麦大学）；Universal Robots A/S（优傲机器人公司）
提出一种利用大语言模型和增强现实实现自然语言控制机器人路径点生成的框架，并通过真实机器人上的拾放任务验证其有效性。
2024-07-17 cs.HC cs.RO
Towards Accessible Robot Control: Comparing Kinesthetic Teaching, SpaceMouse Teleoperation, and a Mixed Reality Interface
Stanford University（斯坦福大学）
本研究比较了三种机器人控制方法，发现空间鼠标和混合现实接口表现相近，但任务复杂度增加时成功率下降，凸显了为非专家用户设计更高效可控的遥控系统的重要性。
2026-01-17 cs.RO
MRReP: Mixed Reality-based Hand-drawn Reference Path Editing Interface for Mobile Robot Navigation
Graduate School of Information Science and Technology, The University of Osaka（大阪大学信息科学与技术研究生院）；D3 Center, The University of Osaka（大阪大学D3中心）；Graduate School of Maritime Sciences, Kobe University（神户大学海事科学研究生院）
本文提出MRReP，一种基于混合现实的手绘参考路径编辑界面，通过手势直接在物理地板上绘制路径，提升移动机器人导航中的路径规划精度与用户体验。
2026-03-31 cs.RO
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba（筑波大学）；University of Calgary（卡尔加里大学）
本文提出HoloBots系统，通过同步全息用户运动与桌面移动机器人，实现混合现实中的有形远程协作，显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
MR-GLi: Mixed Reality-Based Gripper-Linked Overlays for Underwater Robot Arm Teleoperation via Bilateral Control
The University of Osaka（大阪大学）；Kobe University（神户大学）
MR-GLi提出混合现实夹爪联动覆盖层，通过空间配准视觉反馈提升水下遥操作，实验证明其性能与2D显示器相当，但减轻了注意力转移负担。
2026-09-16 cs.RO
From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment
The University of Osaka（大阪大学）
本研究通过混合方法实验探讨了零售机器人部署对顾客与店员互动的影响，发现机器人提升了停留率但降低了后续店员主导步骤，访谈揭示了店员在对话延迟和儿童吸引力方面的挑战，并提出了在高接触零售中部署机器人的实用建议。
2026-01-05 cs.HC cs.RO
Automated optimisation of multi-level models of collective behaviour in a mixed society of animals and robots
Univ Paris Diderot（巴黎狄德罗大学）；Sorbonne Paris Cité（巴黎索邦大学联盟）；Sorbonne Universités（索邦大学联盟）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）
动物和机器人的集体行为可以表现出复杂的动态，需要多层次的描述。在这里，我们有兴趣开发一个多层次的建模框架，使用机器人在动物集体决策的研究。在这种情况下，使用机器人可以用于在计算机上验证模型，诱导校准的重复刺激以触发动物反应或调节和控制动物的集体行为。然而，设计适当的仿生机器人行为面临着一个重大挑战：如何从动物观察到的集体决策动态到机器人的实际算法实现。在以前的工作中，这主要是手工完成的，通常是从人类设计的模型中获得灵感。通常，行为模型是宏观的，种群动态的微分方程，或微观的，每个个体的明确时空状态。只有微观模型可以很容易地实现为机器人控制器。在这里，我们解决的问题，可以在机器人中实现的较低级别的描述模型的设计自动化，并表现出相同的集体动态作为一个给定的更高级别的模型。我们采用进化算法，同时优化模型的参数占不同层次的描述。这种方法适用于实验验证的庇护所选择问题解决群居昆虫和机器人。我们成功地设计和自动校准微观和混合模型表现出相同的动态作为一个宏观的。我们的框架可用于动物或机器人群体和生物混合系统的集体行为的多层次建模。
2016-02-02 cs.MA cs.RO nlin.AO
Mixed-Initiative Human-Robot Teaming under Suboptimality with Online Bayesian Adaptation
Georgia Institute of Technology（佐治亚理工学院）
本研究针对次优人机协同场景，提出在线贝叶斯自适应方法，可推断人类配合机器人协助的意愿，实验表明该方法能显著提升团队客观性能与用户主观指标。
2026-08-05 cs.AI cs.RO
