Mixed Reality Teleoperation Assistance for Direct Control of Humanoids
Florida Institute for Human and Machine Cognition（佛罗里达人机认知研究所）；Florida Institute of Technology（佛罗里达理工学院）；University of West Florida（西佛罗里达大学）
本文提出一种结合混合现实与辅助自主性的方法，利用概率运动基元、目标检测和可负担性模板，提升人形机器人遥操作的效率与精度，并在Nadia机器人上验证了其有效性。
2024-11-01 cs.RO
Stability and Transparency in Mixed Reality Bilateral Human Teleoperation
本文针对混合现实双边人类遥操作（HT）的稳定性与透明性未知问题，构建数学模型与仿真分析多种控制架构，发现3通道和模型介导遥操作可分别在小时延和大时延下实现稳定透明遥操作。
2024-10-13 cs.HC cs.RO cs.SY
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology（皇家理工学院）
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法，比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异，提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
Observer Design for Augmented Reality-based Teleoperation of Soft Robots
Centro de Automática y Robótica, Universidad Politécnica de Madrid（自动化与机器人中心，理工大学马德里分校）；Middle East Technical University（中东技术大学）
本文提出基于增强现实的软机器人远程操控系统，通过HoloLens 2和中央计算机实现高精度位置估计，验证结果显示误差在5%以内，证明了该方法在软机器人控制中的有效性。
2026-03-05 cs.RO
Reality Fusion: Robust Real-time Immersive Mobile Robot Teleoperation with Volumetric Visual Data Fusion
accelerator division at the Deutsche Elektronen Synchrotron DESY（德意志电子同步辐射研究中心加速器部门）；Human-Computer Interaction group at Hamburg University（汉堡大学人机交互小组）
Reality Fusion通过融合深度传感器与3D高斯泼溅渲染，实现沉浸式VR中鲁棒的移动机器人遥操作，显著提升用户性能与态势感知。
2025-08-07 cs.RO
Virtual Reality Based Robot Teleoperation via Human-Scene Interaction
Southern University of Science and Technology（南方科技大学）；PLA General Hospital（中国人民解放军总医院）；National Clinical Research Center for Orthopedics, Sports Medicine and Rehabilitation（国家骨科、运动医学与康复医学临床研究中心）
本文提出一种基于VR的机器人遥操作系统，通过物理引擎预览和直观手部交互界面，显著降低用户认知负荷并提升操作效率，使初学者也能快速完成拾取放置与堆叠任务。
2023-08-02 cs.RO
Implementing Virtual Reality for Teleoperation of a Humanoid Robot
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
我们的研究探索了人形机器人在不可预测的环境中工作的潜力，但控制人形机器人仍然是一个非常困难的问题。在我们以前的工作中，我们设计了一个原型虚拟现实（VR）界面，让操作员命令一个人形机器人。然而，虽然可用，但初始界面不足以命令机器人执行任务;例如，在某些情况下，机器人控制缺乏精度。界面在某些方面也过于繁琐。在本文中，我们讨论了许多补充，传统的接口和虚拟现实视频游戏的启发，我们以前的实现，提供额外的方式来可视化和命令一个人形机器人在虚拟世界中执行困难的任务。
2021-04-23 cs.RO
A Distributed Software Architecture for Collaborative Teleoperation based on a VR Platform and Web Application Interoperability
University of Evry（埃夫里大学）；IBISC（IBISC研究所）；CNRS（法国国家科学研究中心）
增强现实和虚拟现实可以为操作者提供真实的帮助，帮助他们完成复杂的任务，如机器人遥操作和协作遥助。使用适当的增强，HO可以更快，更安全，更容易地与远程现实世界进行交互。在本文中，我们提出了一个扩展现有的分布式软件和网络架构的协同遥操作的基础上，网络人类规模的混合现实和移动平台。第一个遥操作系统由VR应用程序和Web应用程序组成。然而，这两个系统不能一起使用，也不可能同时控制远程机器人。我们的目标是更新的遥操作系统，允许异构协作遥操作之间的2个平台。该接口的一个重要特点是基于不同的移动平台来控制一个或多个机器人。
2009-04-14 cs.GR cs.HC cs.MM
Puppeteer Your Robot: Augmented Reality Leader-Follower Teleoperation
KTH Royal Institute of Technology（皇家理工学院）
本文提出一种基于增强现实控制虚拟机器人的主从遥操作方案，兼顾直观性与低成本，并通过10人先导实验验证其有效性。
2024-07-16 cs.RO
Towards Accessible Robot Control: Comparing Kinesthetic Teaching, SpaceMouse Teleoperation, and a Mixed Reality Interface
Stanford University（斯坦福大学）
本研究比较了三种机器人控制方法，发现空间鼠标和混合现实接口表现相近，但任务复杂度增加时成功率下降，凸显了为非专家用户设计更高效可控的遥控系统的重要性。
2026-01-17 cs.RO
MR-UBi: Mixed Reality-Based Underwater Robot Arm Teleoperation System with Reaction Torque Indicator via Bilateral Control
The University of Osaka（大阪大学）；Kobe University（Kobe大学）
本文提出MR-UBi，一种基于混合现实的水下机械臂遥操作系统，通过反作用力矩指示器集成视觉与触觉反馈，显著提升抓取力矩控制精度、可用性并降低工作负荷。
2025-10-23 cs.RO
MR-GLi: Mixed Reality-Based Gripper-Linked Overlays for Underwater Robot Arm Teleoperation via Bilateral Control
The University of Osaka（大阪大学）；Kobe University（神户大学）
MR-GLi提出混合现实夹爪联动覆盖层，通过空间配准视觉反馈提升水下遥操作，实验证明其性能与2D显示器相当，但减轻了注意力转移负担。
2026-09-16 cs.RO
AeroVR: Virtual Reality-based Teleoperation with Tactile Feedback for Aerial Manipulation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
无人机在工业维护、紧急救援和电子商务等领域的应用进行了测试。大多数这样的应用需要远程操作。操作员从安装在机器人手臂或无人机上的摄像头接收视觉反馈。由于空中操纵需要机械臂的精细和精确运动，无人机动力学引起的相机数据延迟、狭窄的视场和模糊的图像可能导致无人机坠毁。研究了一种基于虚拟现实（VR）的新型空中遥操作系统。控制系统由具有4自由度机械臂和嵌入式传感器的无人机组成。VR应用通过盔装显示器（HMD）向用户呈现无人机和远程环境的数字孪生。操作员通过佩戴在手臂上的VR跟踪器和带有振动触觉反馈的跟踪手套控制机器人手臂和夹具的位置。控制数据直接从VR实时转换到真实机器人。实验结果表明，一个稳定和强大的遥操作介导的VR场景。该系统可以大大提高空中操作的质量。
2019-10-25 cs.RO
5G Virtual Reality Manipulator Teleoperation using a Mobile Phone
University of Waterloo（滑铁卢大学）
本研究提出以手机为主端的5G/无线网络机械臂遥操作方案，结合手机IMU与摄像头估计位姿控制机器人，搭配VR点云多视角视觉反馈与触觉力反馈，提升操作沉浸感，并分析了系统性能。
2024-05-12 cs.RO
Visualizing Impedance Control in Augmented Reality for Teleoperation: Design and User Evaluation
Eindhoven University of Technology（埃因霍温理工大学）
针对低成本无触觉反馈遥操作中力感知困难的问题，提出增强现实可视化阻抗控制器目标位姿及其与末端执行器位移的方法，实验表明该可视化使力关键提升任务完成时间减少24%。
2026-07-02 cs.RO
Self-supervised 6-DoF Robot Grasping by Demonstration via Augmented Reality Teleoperation System
Rochester Institute of Technology（罗切斯特理工学院）；Figure AI（Figure AI公司）
针对6自由度抓取依赖强监督位姿标注的问题，提出基于AR遥操作的自监督框架，从人类示范中对比学习抓取策略，无需标注即可在真实环境中快速学会抓取未知物体。
2024-04-03 cs.CV cs.RO
Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation
University of California, Berkeley（加州大学伯克利分校）；Embodied Intelligence；OpenAI；International Computer Science Institute (ICSI)（国际计算机科学研究所（ICSI））
模仿学习是机器人技能获取的一种有效方法。然而，获得适合于学习从原始像素映射到动作的策略的演示可能具有挑战性。在本文中，我们描述了消费级虚拟现实耳机和手跟踪硬件可以用来自然地遥控机器人执行复杂的任务。我们还描述了模仿学习如何学习深度神经网络策略（从像素到动作的映射），这些策略可以获得所展示的技能。我们的实验展示了我们的方法学习视觉技能的有效性。
2018-03-06 cs.LG cs.RO
Effective Virtual Reality Teleoperation of an Upper-body Humanoid with Modified Task Jacobians and Relaxed Barrier Functions for Self-Collision Avoidance
Apptronik Inc.（阿普特罗尼克公司）
提出一种通过修改任务雅可比矩阵和松弛屏障函数将VR跟踪器重定向至上半身人形机器人以实现无自碰撞遥操作的方法，并在Astro硬件上验证了其桌面操作能力。
2024-11-18 cs.LG cs.RO
Augmented Reality-Enhanced Robot Teleoperation for Collecting User Demonstrations
Aalto University（阿alto大学）；ABB Corporate Research（ABB企业研究）
提出一种结合AR控制与点云渲染的机器人遥操作系统，用于直观非接触式收集用户示范，实验表明其能显著提升任务表现28%和系统可用性12%，为机器学习提供训练数据。
2025-09-15 cs.RO
Mixed-Reality-Guided Teleoperation of a Collaborative Robot for Surgical Procedures
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Technical Sciences Academy of Romania（罗马尼亚技术科学院）；”Iuliu Hatieganu” University of Medicine and Pharmacy（“尤利乌·哈蒂埃加努”医药大学）；École Centrale Nantes（南特中央理工学校）；Nantes Université（南特大学）；CNRS（法国国家科学研究中心）
本文提出一种结合 Kuka IIWA LBR 协作机器人与 Hololens 2 的混合现实遥操作系统，允许外科医生通过手势直观控制机器人定位，有效提升手术工作流程并缩短学习曲线。
2024-02-19 cs.RO
User-customizable Shared Control for Robot Teleoperation via Virtual Reality
Institute for Experiential Robotics (IER)（体验式机器人研究所（IER））；Northeastern University（东北大学）；Amazon（亚马逊公司）
该研究提出一种用户可定制的VR机器人遥操作共享控制方法，让用户可直接观察编辑仲裁参数，经两周用户实验验证，该方法在任务精准度与流畅度上优于直接遥操作和传统共享控制。
2024-08-14 cs.RO
Understanding and Mitigating Network Latency Effect on Teleoperated-Robot with Extended Reality
University of California, Riverside（加州大学河滨分校）
本文提出首个端到端开源XR遥操作框架TeleXR，通过本地传感数据重建与网络解耦，并引入竞争感知调度和带宽自适应点云缩放，有效缓解M2M延迟对遥操作精度和效率的影响。
2025-06-05 cs.HC cs.NI cs.RO
DexTwist: Dexterous Hand Retargeting for Twist Motion via Mixed Reality-based Teleoperation
Autonomous Systems Lab, Institute of Computer Technology, TU Wien（自主系统实验室，计算机技术学院，维也纳技术大学）；Institute of Robotics and Mechatronics (DLR), German Aerospace Center（机器人与机电系统研究所（DLR），德国航空航天中心）
本文提出DexTwist框架，通过混合现实接口实现灵巧手扭动动作的重定向，解决传统方法在接触丰富旋转操作中的不足，提升扭动角度跟踪和螺轴稳定性。
2026-05-12 cs.RO
Baxter's Homunculus: Virtual Reality Spaces for Teleoperation in Manufacturing
Computer Science and Artificial Intelligence Lab（计算机科学与人工智能实验室）
昂贵的专用系统阻碍了用于制造系统的远程机器人系统的发展。在本文中，我们展示了一个远程机器人系统，可以降低成本，这样的系统，利用商业虚拟现实（VR）技术，并将其与现有的机器人控制软件。该系统运行在使用现成VR硬件的商业游戏引擎上。该系统可以部署在从有线本地网络到通过互联网的无线网络连接的多种网络架构上。该系统是基于侏儒模型的头脑，其中我们嵌入用户在一个虚拟现实控制室。控制室允许多个传感器显示，用户和机器人之间的动态映射，不需要为机器人或其环境制作地图。控制室被映射到机器人内部的空间，以提供机器人内的协同定位感。我们将我们的系统与最先进的装配任务自动化算法进行了比较，显示我们的系统的成功率为100%，而自动化系统的成功率为66%。我们证明，我们的系统可以用于拾取和放置，装配和制造任务。
2017-03-03 cs.RO
BEAVR: Bimanual, multi-Embodiment, Accessible, Virtual Reality Teleoperation System for Robots
Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（航空与航天系，麻省理工学院）
提出BEAVR，一个开源的双手多形态VR遥操作系统，通过零拷贝流式架构和异步“思考-行动”控制循环，实现低延迟、多机器人实时控制与数据记录，并兼容多种视觉运动策略。
2025-08-13 cs.RO cs.SY eess.SY
A Virtual Reality Teleoperation Interface for Industrial Robot Manipulators
Brown University（布朗大学）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
针对工业机器人因隐藏力矩与速度控制导致VR遥操作困难的问题，提出一种简化滤波方法处理指令信号，使操作员能利用商用VR接口有效完成富接触灵巧操作任务。
2023-05-18 cs.AI cs.RO
Digital twin and extended reality for teleoperation of the electric vehicle battery disassembly
Knight Foundation School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算机与信息科学学院）；Centria University of Applied Sciences（应用科学大学）；Digital Engineering for Advanced Manufacturing Laboratory (DEAM Lab), Center for Precision Metrology, Department of Mechanical Engineering and Engineering Science, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校数字工程高级制造实验室）；University of Oulu（奥卢大学）
针对电动汽车电池手动拆解的安全隐患，提出结合数字孪生与扩展现实的遥操作系统，实现安全拆解分拣，提高效率并减少劳动力依赖。
2025-07-20 cs.RO
Semi-autonomous Robotic Disassembly Enhanced by Mixed Reality
University of Birmingham（伯明翰大学）；The Faraday Institution（法拉第研究所）
本文提出混合现实增强的半自主拆解平台SARDiM，结合FastSAM分割、聚类分析与可变自主遥操作，在电动汽车电池拆解中显著减少关节违规并提升安全性与效率。
2024-05-06 cs.RO
Metrics for 3D Object Pointing and Manipulation in Virtual Reality
The University of Edinburgh（爱丁堡大学）
在遥操作和虚拟现实中评估人体运动的性能是一个具有挑战性的问题，特别是在三维空间中，由于复杂的空间设置。尽管存在多种指标，但仍缺少令人信服的标准化3D指标，这加剧了不同研究之间的研究间可比性。因此，评估人类在虚拟环境中的表现是一个长期的研究目标，一个性能指标，结合两个或两个以上的指标在一个公式仍然在很大程度上未被探索，特别是在更高的维度。缺乏这样的度量主要是由于指向和操纵之间的差异，3D中的复杂空间变量，以及平移和旋转运动的组合。在这项工作中，设计了四个实验，并进行了逐步提高空间复杂性的研究和比较现有的指标彻底。研究的目标是量化这些3D任务的难度，并在全3D近个人空间中充分模拟人类的表现。因此，一个新的模型扩展已被提出，其适用性已在所有的实验结果进行了验证，显示出改进的建模和表示的人的表现在组合运动的3D对象指向和操作任务比现有的工作。最后，讨论了该技术在虚拟现实中的三维交互、遥操作和目标任务设计等方面的应用。
2021-06-12 cs.HC cs.RO
Mixed Reality Tele-Ultrasound over 750 km: A Feasibility Study
School of Biomedical Engineering, The University of British Columbia（生物医学工程学院，不列颠哥伦比亚大学）；Department of Electrical and Computer Engineering, The University of British Columbia（电气与计算机工程系，不列颠哥伦比亚大学）；The University of British Columbia（不列颠哥伦比亚大学）；Department of Radiology, The University of British Columbia（放射学系，不列颠哥伦比亚大学）
本研究提出并评估了一种基于混合现实和触觉反馈的人机远程超声系统，通过新手操作员在专家远程控制下完成腹部超声检查，在754公里距离上实现了92%的图像质量达标率。
2025-06-10 cs.HC cs.RO
GhostObjects: Instructing Robots by Manipulating Spatially Aligned Virtual Twins in Augmented Reality
Princeton University（普林斯顿大学）
本文提出GhostObjects方法，利用增强现实中与世界对齐的虚拟孪生体进行直接操控来指导机器人，支持多对象套索选择和默认位置回弹，从而超越简单抓放任务。
2025-08-14 cs.HC cs.RO
A New Exocentric Metaphor for Complex Path Following to Control a UAV Using Mixed Reality
Laboratoire Heudiasyc CNRS UMR 7253（Heudiasyc实验室（法国国家科学研究中心UMR 7253））；Sorbonne Universités（索邦大学联盟）；Université de Technologie de Compiègne（贡比涅技术大学）
无人机的遥操作是近年来人机交互领域的一个重要研究课题。每年都在研究各种设备，以设计适用于不同目的的接口，例如取景，搜索和救援行动或监视。新的界面必须精确、简单和直观，即使是复杂的路径规划。此外，当遥操作涉及远距离控制时，用户需要获得适当的反馈并避免晕动病。为了克服这些挑战，设计了一个新的交互隐喻DrEAM（Drone Exocentric Advanced Metaphor）。用户可以在映射到现实世界的虚拟环境中看到他正在控制的UAV。他可以将其作为经典虚拟世界中的简单对象进行交互。为了评估这个隐喻的性能，我们进行了一个实验，比较了新手用户使用直视操纵杆控制或使用DrEAM的性能。
2020-02-13 cs.GR cs.HC cs.RO
Learning Adaptive Neural Teleoperation for Humanoid Robots: From Inverse Kinematics to End-to-End Control
Sanjar Atamuradov（独立研究者）
针对传统VR遥操作依赖IK+PD难以处理外力、适应用户及动态条件的问题，提出基于强化学习的神经遥操作框架，在宇树G1上实现跟踪误差降34%、运动平滑度升45%且保持实时性，提升遥操作自然性与鲁棒性。
2025-11-15 cs.RO
TELESIM: A Modular and Plug-and-Play Framework for Robotic Arm Teleoperation using a Digital Twin
University of Glasgow（格拉斯哥大学）
本文提出模块化即插即用框架 TELESIM，以数字孪生为接口实现机械臂直接遥操作，并通过 37 名用户在两种机器人和两种控制模态下的实验验证了其易用性。
2023-09-20 cs.RO
Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation
Queen Mary University of London（伦敦玛丽女王大学）；School of Engineering and Materials Science（工程与材料科学学院）；Humanoid AI（人形人工智能公司）；King’s College London（伦敦国王学院）；School of Biomedical Engineering and Imaging Sciences（生物医学工程与影像科学学院）
本文提出在无相机机器人遥操作中结合触觉3D重建、VR呈现与触觉反馈，使蒙眼用户可完成精确拾取-放置任务。
2024-12-03 cs.RO
Manipulability optimization for multi-arm teleoperation
遥操作为人类操作员提供了一种在完全自主具有挑战性或需要直接人工干预的情况下引导机器人的方法。它也可以是一个重要的工具，教机器人，以实现自主行为later on.The增加可用性的协作机器人手臂和虚拟现实（VR）设备提供了充足的机会，开发新的遥操作方法。由于机器人手臂通常在运动学上与人类手臂不同，因此将人类运动实时映射到机器人并不简单。此外，人类操作员可能会将机器人手臂转向奇点或其工作空间限制，这可能导致不期望的行为。这一点在多个机器人的协调中得到了进一步强调。在本文中，我们提出了一个虚拟现实接口针对多臂有效载荷的操作，它可以密切配合实时输入运动。允许用户操纵有效载荷，而不是将他们的运动映射到单个手臂，我们能够同时引导多个协作手臂。通过释放单个旋转自由度，并使用局部优化方法，我们可以提高每个手臂的可操作性指数，这反过来又让我们避免运动奇异性和工作空间限制。我们应用我们的方法预定义的轨迹，以及实时遥操作不同的机器人手臂和比较性能方面的末端执行器位置误差和相关的关节运动指标。
2021-11-12 cs.RO
Immersive Teleoperation Framework for Locomanipulation Tasks
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
本文提出一种基于VR和高斯泼溅的移动操作遥操作框架，通过沉浸式交互提升效率，用户研究显示66%参与者任务提速43%，93%偏好该界面。
2025-04-21 cs.RO
The Ballad of the Bots: Sonification Using Cognitive Metaphor to Support Immersed Teleoperation of Robot Teams
Bristol VR Lab, University of the West of England（西英格兰大学布里斯托尔虚拟现实实验室）；Bristol Robotics Laboratory, University of the West of England（西英格兰大学布里斯托尔机器人实验室）；Digital Cultures Research Centre, University of the West of England（西英格兰大学数字文化研究中心）；Creative Technologies Lab, University of the West of England（西英格兰大学创意技术实验室）
针对核退役场景下机器人团队沉浸式遥操作的数据传递需求，该研究对比了认知隐喻型与计算主义型两种声化设计方法，发现二者在可预测性、心理负荷及多声源场景下的直观性、空间化效果等方面各有优势。
2024-07-12 cs.HC cs.RO
Beyond Retargeting: Low-Latency and Robust Humanoid Whole-Body Teleoperation with Learned Atomic Motion Primitives
The Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）；Tencent Robotics X（腾讯机器人实验室）；Hunan University（湖南大学）
提出无重定向策略，直接映射人类运动至机器人指令，利用运动原语码本处理分布外观测，在Unitree G1上实现低延迟鲁棒遥操作。
2026-11-10 cs.RO
A Soft Fabric-Based Thermal Haptic Device for VR and Teleoperation
Institute of Mechanical Intelligence, School of Advanced Studies Sant’Anna（机械智能研究所，圣安娜高级研究院）
本文提出了一种轻量化的柔性热触觉装置，通过集成气动驱动和导电织物，实现快速热反馈和高精度力控制，提升虚拟现实和远程操作的交互体验。
2025-08-28 cs.RO
Robust Immersive Bilateral Teleoperation of Beyond-Human-Scale Systems with Enhanced Transparency and Sense of Embodiment
Department of Engineering and Natural Science, Tampere University（工程与自然科学系，塔尔基耶大学）
本文提出一种结合VR与分布式触觉反馈的双边遥操作框架，采用无传感器自适应控制器，实现超越人类尺度系统的高透明度和增强具身感，实验验证了高缩放比与延迟下的精确控制。
2026-09-09 cs.RO
Shared-Control Robotic Manipulation in Virtual Reality
Monash University（莫纳什大学）
在本文中，我们提出了一个虚拟现实（VR）为基础的遥操作界面移动机器人机械手的实现细节。我们提出了一个迭代的人在回路设计，用户设置下一个任务空间的路径点的机器人的末端执行器和执行的物理机器人的行动之前，设置下一个路径点。来自机器人周围环境的信息以两种形式提供给用户：3D空间中的点云和投影在虚拟墙上的视频流。通过虚拟末端执行器的颜色将所选末端执行器姿态的可行性传达给用户。该接口被证明成功地工作的拾取和放置的情况下，然而，我们的试验表明，可以增加的互动和系统的自主水平的流畅性。
2022-05-21 cs.RO
Immersive Rover Control and Obstacle Detection based on Extended Reality and Artificial Intelligence
University of Luxembourg（卢森堡大学）；SpaceR SnT
本文提出一种集成XR和AI的月球车远程操控系统，通过自主检测岩石并重建沉浸式3D虚拟环境，有效解决了月球复杂地形下的精确障碍物检测问题，并在实验室验证中展现出优于传统2D方法的性能。
2024-04-22 cs.RO
OPEN TEACH: A Versatile Teleoperation System for Robotic Manipulation
New York University（纽约大学）；Meta
针对现有机器人遥操作数据采集平台专有、昂贵且适配性差的问题，研究团队提出基于Meta Quest 3的开源通用遥操作系统OPEN TEACH，支持多类机器人实时控制，操作性能更优且采集数据可用于策略学习。
2024-03-12 cs.RO
Semi-Autonomous Planning and Visualization in Virtual Reality
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
用于机器人的虚拟现实（VR）接口提供机器人在其环境中的三维（3D）视图，这允许人们更好地规划在紧凑或杂乱空间中的复杂机器人运动。在我们之前的工作中，我们创建了一个VR界面，以允许人形机器人的远程操作。如本文所述，我们现在关注的是一个人在回路规划器，操作员可以通过功能航点在VR中发送更高级别的操作和导航目标，在3D虚拟空间中可视化机器人规划器的结果，然后拒绝，更改或确认发送给机器人的计划。此外，我们已经调整了我们的接口，除了人形机器人的移动操作机器人也工作。有关视频演示，请参阅https://youtu.be/wEHZug_fxrA上的随附视频。
2021-04-23 cs.RO
Inertially Significant Humanoid Teleoperation via Whole Body Model Predictive Control and Online Parameter Estimation
Florida Institute for Human & Machine Cognition（佛罗里达人机认知研究所）；University of West Florida（西佛罗里达大学）
本文提出将全身模型预测控制器与扩展卡尔曼滤波器集成的方案，结合VR界面，通过仿真和硬件实验验证了可实现惯性显著人形机器人的有效遥操作。
2026-10-16 cs.RO
Enhanced Visual Feedback with Decoupled Viewpoint Control in Immersive Humanoid Robot Teleoperation using SLAM
University of Tsukuba（筑波大学）；Universite de Picardie Jules Verne（皮卡第儒勒·凡尔纳大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
在沉浸式人形机器人遥操作中，存在三个主要缺点，可以改变视觉反馈的透明度：由于网络通信延迟或缓慢的机器人关节运动，操作员的头部和机器人的头部之间的运动滞后。该等待时间可能导致视觉反馈中的显著延迟，这危害实施例质量，可能导致头晕，并且影响交互性，导致操作者频繁的运动暂停以使视觉反馈稳定;（ii）摄像机的视场（FOV）与耳机的视场（FOV）之间的失配，前者通常具有较低的FOV;以及（iii）人类和机器人的颈部运动范围之间的不匹配，后者通常也较低。为了利用这些缺点，我们为人形平台开发了一种解耦的视点控制解决方案，该解决方案允许低延迟的视觉反馈，并人为地增加相机的FOV范围以匹配操作员的耳机。我们的新解决方案使用SLAM技术来增强重建网格的视觉反馈，补充机器人视觉反馈未覆盖的区域。视觉反馈作为点云实时呈现给操作员。因此，操作员通过观察点云的姿态，从机器人的头部方向获得实时视觉。在基于虚拟现实的遥操作系统中，考虑到控制系统的安全性和鲁棒性，平衡这种感知和沉浸是很重要的。实验结果表明了该方法的有效性。
2022-11-03 cs.RO
Hands-free teleoperation of a nearby manipulator through a virtual body-to-robot link
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；Institute for Intelligent Systems and Robotics (ISIR)（智能系统与机器人研究所）
本文提出AR可视化的身体-末端执行器虚拟链路及身体/操纵杆混合控制，实验表明其比传统操纵杆遥操作更快、更直观，并可辅助活动受限用户。
2024-06-13 cs.RO
Domain-Adaptive Communication-Rate Optimization for Sim-to-Real Humanoid-Robot Wireless XR Teleoperation
Cooperative Medianet Innovation Center（协作中位网创新中心）；School of Information Science and Electronic Engineering（信息科学与电子工程学院）；Shanghai Jiao Tong University（上海交通大学）
本文提出了一种领域自适应的通信速率优化方法，通过在仿真到现实的分布偏移中平衡重建误差和通信能耗，利用PAC-Bayes泛化特性分析和密度比加权的PPO方法，结合离线真实域数据校正，以提高人形机器人无线XR远程操作的通信效率和重建精度。
2026-05-19 cs.IT cs.LG cs.RO
SubSense: VR-Haptic and Motor Feedback for Immersive Control in Subsea Telerobotics
RoboPI Laboratory, Department of ECE, University of Florida（罗波实验室，电子与计算机工程系，佛罗里达大学）
针对传统水下ROV遥操作缺乏沉浸式感官反馈、态势感知弱的问题，本文提出集成非侵入式触觉反馈与VR界面的SubSense框架，经实验验证其在精细操纵任务中表现更优，可提升远程操作的直观性与任务性能。
2025-10-02 cs.RO
CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；NLP Research Center（自然语言处理研究中心）
CognitiveReality通过LLM智能体将机器人RGB-D流转化为语义高斯地图，实现VR遥操作中的工具使用与语音交互，在四足机器人上达到高成功率与建图质量。
2026-10-27 cs.RO
What you see is (not) what you get: A VR Framework for Correcting Robot Errors
KTH Royal Institute of Technology（KTH皇家理工学院）
针对虚拟、增强和混合（VAM）现实系统的直观可视化或远程操作而定制的许多解决方案对于机器人故障（例如无法检测和识别环境中的对象或规划不安全的轨迹）并不鲁棒。在本文中，我们提出了一种新的虚拟现实（VR）框架，用户可以（i）识别机器人何时未能检测到真实世界的对象，（ii）纠正VR中的错误，（iii）修改建议的对象轨迹，（iv）在真实世界的机器人上实现行为。最后，我们提出了一个用户研究，旨在测试我们的框架的有效性。项目资料可以在OSF资源库中找到。
2023-01-17 cs.RO
Haptic-enabled Mixed Reality System for Mixed-initiative Remote Robot Control
OPPO Research Center（OPPO研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
机器人在许多被认为对人类不安全的领域提供帮助。例如，在处理流行性疾病（如最近的新冠肺炎疫情和埃博拉等其他疫情）时，机器人可以协助到达对人类有危险的地区，并完成简单的任务，如拿起正确的药物（在一组处方瓶中）并交付给患者。在这种情况下，依赖机器人的完全自主操作可能并不好。由于许多移动机器人是功能齐全的低级别的任务，如抓取和移动，我们考虑的混合主动控制，用户可以远程引导机器人完成这些任务。对于这种混合主动控制，控制机器人的用户需要将机器人看到的3D场景可视化并引导它。混合现实可以虚拟现实，并使用户沉浸在从现实世界环境重建的3D场景中。这种技术为用户提供了更多的自由，例如在查看时选择视点。近年来，得益于光探测和测距（LIDAR）和RGBD相机的高质量数据，混合现实被广泛用于构建网络平台，以提高机器人遥操作和机器人-人协作的性能，并增强混合主动控制的反馈。在本文中，我们提出了一种新的触觉使能的混合现实系统，提供触觉接口与虚拟化环境进行交互，并为移动机器人提供远程指导，以实现高级任务。实验结果表明，所提出的触觉使能的混合现实系统的有效性和灵活性。
2021-06-07 cs.RO
Towards Miniature Humanoid Tele-Loco-Manipulation Using Virtual Reality and Reinforcement Learning
University of Louisville（路易斯维尔大学）
研究针对微型仿人机器人缺乏类似全尺寸机器人控制堆栈的问题，利用虚拟现实和强化学习开发了控制堆栈，经实验验证能实现一定速度行走及远程定位操作，展现了微型仿人机器人远程定位操作的潜力。
2026-07-23 cs.HC cs.LG cs.RO
