Hands-free Telelocomotion of a Wheeled Humanoid toward Dynamic Mobile Manipulation via Teleoperation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
能够动态地将操纵和运动结合起来的机器人系统可以促进危险或体力要求高的劳动。例如,消防员人形机器人可以靠在倒塌的建筑物瓦砾上,利用身体将其推到一边。在这里,我们介绍了一个遥操作系统,目标是实现这些任务,使用人类全身运动技能。我们描述了一个新的轮式人形平台,SATYRR,和一个新的免提遥操作架构,使用全身人机界面(HMI)。该系统使远程的人形机器人使用操作员的身体运动,释放他们的手臂进行操作任务。在这项研究中,我们评估所提出的系统的硬件上的功效,并探讨控制SATYRR使用两个遥操作映射,映射操作员的身体俯仰和扭曲的机器人速度或加速度。通过实验和用户反馈,我们展示了我们的初步调查结果的试点系统的反应。结果表明,人机界面是能够有效地远程SATYRR,飞行员的喜好应该决定适当的运动映射和增益,最后,飞行员可以更好地学习控制系统随着时间的推移。这项研究是通过遥操作实现联合操纵和运动的基础性一步。
2022-03-07 cs.RO
Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation
University of California, Berkeley(加州大学伯克利分校);Embodied Intelligence;OpenAI;International Computer Science Institute (ICSI)(国际计算机科学研究所(ICSI))
模仿学习是机器人技能获取的一种有效方法。然而,获得适合于学习从原始像素映射到动作的策略的演示可能具有挑战性。在本文中,我们描述了消费级虚拟现实耳机和手跟踪硬件可以用来自然地遥控机器人执行复杂的任务。我们还描述了模仿学习如何学习深度神经网络策略(从像素到动作的映射),这些策略可以获得所展示的技能。我们的实验展示了我们的方法学习视觉技能的有效性。
2018-03-06 cs.LG cs.RO
A Bilateral Teleoperation Framework for Dexterous Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony Group Corporation(索尼集团公司);Meta Reality Labs Research(Meta现实实验室)
提出模块化双边遥操作框架,集成操作端输入与机器人端灵巧手及柔顺臂,通过位置重定向、差分控制、多尺度触觉反馈和共享控制实现灵巧操作,验证了协调控制与接触感知能力。
2026-06-16 cs.HC cs.RO cs.SY
AeroVR: Virtual Reality-based Teleoperation with Tactile Feedback for Aerial Manipulation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
无人机在工业维护、紧急救援和电子商务等领域的应用进行了测试。大多数这样的应用需要远程操作。操作员从安装在机器人手臂或无人机上的摄像头接收视觉反馈。由于空中操纵需要机械臂的精细和精确运动,无人机动力学引起的相机数据延迟、狭窄的视场和模糊的图像可能导致无人机坠毁。研究了一种基于虚拟现实(VR)的新型空中遥操作系统。控制系统由具有4自由度机械臂和嵌入式传感器的无人机组成。VR应用通过盔装显示器(HMD)向用户呈现无人机和远程环境的数字孪生。操作员通过佩戴在手臂上的VR跟踪器和带有振动触觉反馈的跟踪手套控制机器人手臂和夹具的位置。控制数据直接从VR实时转换到真实机器人。实验结果表明,一个稳定和强大的遥操作介导的VR场景。该系统可以大大提高空中操作的质量。
2019-10-25 cs.RO
TeleMoMa: A Modular and Versatile Teleoperation System for Mobile Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);Sony AI(索尼人工智能)
TeleMoma是一种通用模块化移动操作遥操作接口,支持多种人类接口组合,降低演示收集门槛,并通过仿真和真实实验验证其通用性与数据质量。
2024-03-21 cs.AI cs.LG cs.RO
ModPack: Extensible Teleoperation Interface for Bimanual Mobile Manipulation
Stanford University(斯坦福大学)
针对现有遥操作系统扩展性和适应性不足的问题,提出ModPack可扩展遥操作系统,以统一框架支持多样机器人形式和任务,通过背包集成多种功能,经实验验证其灵活性和可复用性,并开源软硬件设计。
2026-10-08 cs.AI cs.RO
Fine Manipulation and Dynamic Interaction in Haptic Teleoperation
University of Sussex(萨塞克斯大学);University of Edinburgh(爱丁堡大学)
机器人的远程操作使得能够在远程和危险的任务中进行远程干预,而不会使操作员受到伤害。然而,由于通信延迟的限制,远程操作面临着根本性的挑战。所提出的工作提高了基于分形阻抗控制器(FIC)的遥操作体系结构的性能,通过将触觉遥操作管道的姿势优化,也占副本机器人的物理限制。此更新通过权衡跟踪精度以将系统维持在其功率限制内来改善动态交互。因此,允许精细操纵而不放弃FIC控制器的鲁棒性。此外,所提出的方法允许在跟踪自主轨迹和执行遥控命令之间进行在线权衡,从而允许它们的安全叠加。实验结果表明,该方法对通信时延的增加具有较好的鲁棒性.此外,我们证明了远程遥控机器人保持稳定和安全的互动,即使当与主侧的通信突然中断。即使当与主侧的通信突然中断时。
2022-05-05 cs.RO
Semi-Autonomous Teleoperation via Learning Non-Prehensile Manipulation Skills
Korea University(高丽大学);Chung-ang University(中央大学)
在本文中,我们提出了一个半自主的遥操作框架的拾取和放置任务,使用RGB-D传感器。特别是,我们假设目标物体位于一个杂乱的环境中,其中两个灵活的把握和非灵活的操作相结合,有效的遥操作。一个基于语义的强化学习被用于学习非易失性操作,以重新安排的对象,使直接抓取。从杂乱环境的深度图像和目标对象的位置,学习的策略可以为人类操作员提供多个非易失性操纵选项。我们仔细设计了一个奖励函数的重新安排任务的政策是在模拟环境中训练。然后,训练的策略被转移到现实世界中,并在一些现实世界的实验中与不同数量的对象进行评估,我们表明,所提出的方法优于手动键盘控制的抓持持续时间。
2022-05-25 cs.AI cs.RO
From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation
UC San Diego(加州大学圣地亚哥分校)
我们建议执行模仿学习灵巧操作与多指机器人手从人类示范,并转移到真正的机器人手的政策。我们介绍了一种新颖的单摄像机遥操作系统,只需一台iPad和一台电脑就可以有效地收集3D演示。我们的系统的一个关键贡献是,我们构建了一个定制的机器人手为每个用户在物理模拟器,这是一个类似于相同的运动学结构和形状的操作员的手的机械手。这提供了一个直观的界面,并避免了不稳定的人机手重定向数据汇集,导致大规模和高质量的数据。一旦收集到数据,定制的机器人手轨迹可以转换为不同的指定机器人手(制造的模型),以生成训练演示。通过使用我们的数据进行模仿学习,我们在多个复杂操作任务的基线上显示出很大的改进。重要的是,我们证明了我们学习的策略在转移到真实机器人时更加强大。更多视频可以在https://yzqin.github.io/dex-teleop-imitation上找到。
2023-01-18 cs.CV cs.LG cs.RO
Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校);The University of Hong Kong(香港大学)
Bunny-VisionPro 提出了一种基于 VR 头显的实时双手灵巧遥操作系统,通过低成本触觉反馈、碰撞与奇异性规避提升安全性和沉浸感,在标准任务上取得更高成功率和更短完成时间,并显著改善模仿学习的泛化能力,支持多阶段长时程灵巧操作任务。
2024-07-03 cs.CV cs.LG cs.RO
UniBiDex: A Unified Teleoperation Framework for Robotic Bimanual Dexterous Manipulation
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, The Great Bay University(东莞智能装备与智能制造重点实验室,高级工程学院,大湾区大学);Department of Mechanical Engineering, The Hong Kong Polytechnic University(香港理工大学机械工程系);Guangdong Academy of Sciences(广东省科学院)
UniBiDex提出了一种统一的远程操作框架,用于双臂灵巧操作,通过整合异构输入设备实现实时接触丰富的双臂控制,并在厨房清洁任务中展示了更高的任务成功率和鲁棒性。
2026-01-08 cs.RO
Open TeleDex: A Hardware-Agnostic Teleoperation System for Imitation Learning based Dexterous Manipulation
Tianjin University(天津大学);LinkerBot Inc.(LinkerBot公司);Tsinghua University(清华大学)
Open TeleDex提出统一遥操作框架,解决异构设备下演示数据采集难题,支持任意机械臂、灵巧手和输入设备,并引入手部姿态重定向算法提升互操作性,为模仿学习提供高质量数据平台。
2025-10-16 cs.RO
Online Imitation Learning for Manipulation via Decaying Relative Correction through Teleoperation
Faculty of Mechanical Engineering, Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院机械工程学院)
针对遥操作模仿学习需大量数据、专家持续反馈负担重的问题,提出基于绳驱遥操作系统的衰减相对校正(DRC)方法,可减少专家干预,集成到在线模仿学习框架后能快速提升操作任务成功率。
2025-03-19 cs.LG cs.RO
Error-Aware Imitation Learning from Teleoperation Data for Mobile Manipulation
Stanford University(斯坦福大学)
在移动操作(MM)中,机器人可以在其环境中导航并与环境交互,因此能够完成比仅能够导航或操作的机器人更多的任务。在这项工作中,我们探讨如何应用模仿学习(IL)学习连续的视觉运动策略的MM任务。许多先前的工作已经表明,IL可以训练视觉运动的政策,无论是操纵或导航域,但很少有工程应用IL的MM域。做到这一点具有挑战性,原因有两个:在数据方面,当前的界面使收集高质量的人类演示变得困难,在学习方面,在有限的数据上训练的策略在部署时可能会受到协变量偏移的影响。为了解决这些问题,我们首先提出了移动操作RoboTurk(MoMaRT),一种新的遥操作框架,允许同时导航和操作的移动机械手,并收集了第一个同类的大规模数据集在一个现实的模拟厨房设置。然后,我们提出了一个学习的错误检测系统,以解决协变量偏移检测时,代理是在一个潜在的失败状态。我们从这些数据中训练了性能良好的IL策略和错误检测器,并在专家数据上训练时,在多个多阶段任务中实现了超过45%的任务成功率和85%的错误检测成功率。代码库、数据集、可视化等可在https://sites.google.com/view/il-for-mm/home获得。
2021-12-09 cs.AI cs.LG cs.RO
Now You Feel It, Now You See Me: Digital-Twin-based Teleoperation Interface for Dexterous Manipulation
DGIST(大邱庆北科学技术院);Seoul National University(首尔大学)
针对裸手遥操作缺乏力反馈和遮挡视觉反馈的问题,提出基于数字孪生的AR遥操作界面,通过视觉-力反馈和遮挡缓解视觉辅助,经用户研究验证其支持精细力调节和遮挡下的示范收集。
2026-10-06 cs.RO
TeLeMan: Teleoperation for Legged Robot Loco-Manipulation using Wearable IMU-based Motion Capture
University of Leeds(利兹大学);University College London(伦敦大学学院)
人命无价当需要完成危险或危及生命的任务时,机器人平台可能是替代人类操作员的理想选择。我们在这项工作中所关注的这样一项任务就是爆炸物的处置。机器人远程呈现有可能提供安全解决方案,因为移动机器人在多种环境中运行时显示出强大的能力。然而,与人类操作相比,在这个阶段,自主性可能具有挑战性和风险。远程操作可能是机器人完全自主和人类存在之间的妥协。在本文中,我们提出了一个相对便宜的解决方案,用于远程呈现和机器人远程操作,以协助爆炸物处理,使用腿式机械手(即,嵌入有操纵器和RGB-D传感器的有腿四足机器人)。针对四足机器人全身控制的非平凡问题,提出了一种新的系统集成方法。我们的系统是基于一个可穿戴的基于IMU的运动捕捉系统,用于遥操作和VR头显的视觉临场感。我们实验验证我们的方法在现实世界中,为本地操作任务,需要全身机器人控制和视觉临场感。
2022-09-21 cs.RO
U-ARM : Ultra low-cost general teleoperation interface for robot manipulation
School of AI, SJTU(1 人工智能学院,上海交通大学);EvoMind Tech(2 EvoMind科技);IAAR-Shanghai(3 上海IAAR)
U-ARM提出一种低成本且快速适应的遥控框架,通过三种结构不同的3D打印领导者臂实现与多数商用机械臂的兼容,成本仅为50.5美元和56.8美元,提升了操控效率和任务成功率。
2026-03-19 cs.RO
Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对灵巧手操作学习难的问题,提出基于DeltaHand软体手和运动学孪生遥操作界面TeleHand的模仿学习系统,采用扩散策略,在七个任务上平均成功率90%。
2024-08-21 cs.RO
Long range teleoperation for fine manipulation tasks under time-delay network conditions
University of Alberta(阿尔伯塔大学)
提出了一种基于视觉引导的半自主遥操作系统。该系统针对时延网络条件下的远程遥操作任务进行了优化,并且不需要远程场景的先验知识。我们的系统具有自我探索的行为,通过一个自由安装的手眼网络摄像头感知远程环境。自我探索阶段估计手眼校准,并通过实时3D几何重建提供远程呈现界面。人类操作员能够通过界面指定视觉任务,由粗到细的控制器引导远程机器人,使我们的系统能够在高延迟网络中工作。大运动由粗略的3D估计引导,而精细运动使用图像提示(IBVS)。网络数据传输成本最小化发送稀疏点和最终的图像给人类的一方。从新加坡到加拿大的多个任务进行了实验,以显示我们的系统的能力,在远程遥操作任务。
2019-03-21 cs.RO
Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
Stanford University(斯坦福大学)
本文提出Mobile ALOHA低成本全身遥操作系统,通过结合移动底座扩展ALOHA进行数据收集,并利用监督行为克隆与现有静态数据集联合训练,使成功率最高提升90%,实现了复杂的双手移动操作任务。
2024-01-04 cs.AI cs.CV cs.LG
Glovity: Learning Dexterous Contact-Rich Manipulation via Spatial Wrench Feedback Teleoperation System
提出低成本可穿戴遥操作系统Glovity,集成空间力矩反馈与指尖霍尔传感器校准,通过直观反馈与精确重定位解决富接触操作挑战,显著提升任务成功率并促进模仿学习。
2025-10-10 cs.RO
Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Pennsylvania State University(宾夕法尼亚州立大学)
针对空中操作现有方法硬件与控制框架耦合任务规格的问题,提出末端执行器中心统一框架,解耦高层决策与低层控制,通过全驱动六旋翼+4自由度机械臂及对应控制器,提升跟踪精度并支持多任务,推动空中操作标准化。
2025-04-14 cs.RO
Dynamic Mobile Manipulation via Whole-Body Bilateral Teleoperation of a Wheeled Humanoid
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Jeonbuk National University(全北国立大学)
本文提出一种基于全身双向遥操作的动态移动操作框架,利用人机接口、降阶模型映射和全身触觉反馈,使双轮人形机器人SATYRR能够抓取移动目标并推动超过自身重量的箱子,验证了该方法的有效性。
2023-07-03 cs.RO
Teaching Robots to Handle Nuclear Waste: A Teleoperation-Based Learning Approach<
Korea Advanced Institute of Science and Technology(韩国科学技术院);Argonne National Laboratory(阿贡国家实验室)
本文提出从遥操作中学习(LfT)框架,通过捕获遥操作数据训练机器学习模型,使机器人能自主执行核废料处理等任务,实验证明其显著提高了任务效率并减少了对人类操作员的持续依赖。
2025-04-02 cs.LG cs.RO
Low-Cost Teleoperation with Haptic Feedback through Vision-based Tactile Sensors for Rigid and Soft Object Manipulation
Roma Tre University(罗马第三大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于视觉触觉传感器的低成本遥操作框架,通过触觉反馈辅助人类操作员,并引入部分自主性防止物体滑落,在真实硬件上验证了对刚性和软性物体操作的通用性。
2024-03-25 cs.RO
A System for Traded Control Teleoperation of Manipulation Tasks using Intent Prediction from Hand Gestures
University of Stuttgart(斯图加特大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technische Universität Berlin(柏林工业大学)
本文提出了一个遥操作系统,包括机器人感知和意图预测从手势。感知模块识别机器人工作空间中存在的对象,意图预测模块识别用户可能想要抓取的对象。这种架构允许该方法依赖于交易控制,而不是直接控制:我们使用手势来指定顺序操作任务的目标对象,机器人然后自主地生成抓取或检索运动使用轨迹优化。感知模块依赖于基于模型的跟踪器来精确地跟踪对象的6D姿态,并利用最先进的基于学习的目标检测和分割方法,通过自动检测场景中的对象来初始化跟踪器。目标对象识别用户的手势使用训练的多层感知器分类器。在介绍了该系统的所有组成部分及其经验评估之后,我们提出了将我们的管道与直接交易控制方法(即,一个不使用预测),这表明使用意图预测允许降低总任务执行时间。
2021-07-05 cs.AI cs.HC cs.RO
RoboSpan: Learning Modular Coordination Policies for High-DoF Whole-Body Mobile Manipulation with Teleoperation
Jiangnan University(江南大学);Linkerbot Beijing Technology Co., Ltd.(北京灵犀机器人科技有限公司)
本文提出 RoboSpan 平台及 HMF 框架,通过解耦动作空间、引入 COMET 与分层任务分解等方法,使 29 自由度全身移动操作任务成功率超主流基线 20%,提升了接触操作的稳定性与鲁棒性。
2026-10-15 cs.RO
Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出数据高效框架TRILL,通过VR界面收集人类演示,结合全身控制与高层动作抽象,解决高自由度仿人机器人移动操作技能的深度模仿学习难题,并在仿真和真实机器人上验证了其有效性。
2023-11-19 cs.RO
DITTO-X: Forward and Reverse Teleoperation for Dexterous Manipulation and Human Intervention
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
DITTO-X是一种手无关的灵巧遥操作接口,通过关节力和指尖接触反馈及反向遥操作,提升演示质量和干预效率,驱动多款商用灵巧手。
2026-10-06 cs.RO
Learning Multi-Arm Manipulation Through Collaborative Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习(IL)是一种强大的范例,教机器人执行操作任务,允许他们学习从人类的示范收集通过遥操作,但主要限于单臂操作。然而,许多现实世界的任务需要多个手臂,例如举起重物或组装桌子。不幸的是,将IL应用于多臂操作任务一直具有挑战性-要求人类控制多个机器人手臂可能会带来显著的认知负担,并且通常最多只能控制两个机器人手臂。为了应对这些挑战,我们提出了多臂RoboTurk(MART),一个多用户数据收集平台,允许多个远程用户同时远程操作一组机器人手臂,并收集多臂任务的演示。使用MART,我们收集了五个新的两个和三个手臂的任务,从几个地理上分离的用户演示。从我们的数据中,我们得出了一个关键的见解:大多数多臂任务并不需要在整个过程中进行全球协调,而只是在特定的时刻。我们表明,从这些数据中学习,从而提出了挑战,集中式代理,直接尝试同时建模所有机器人的动作,并执行不同的政策架构与不同程度的集中在我们的任务进行全面的研究。最后,我们提出并评估了一个基本的剩余策略框架,该框架允许训练的策略更好地适应多臂操作中常见的混合协调设置,并表明在我们的基准任务集上,用分散的剩余模型增强的集中式策略优于所有其他模型。更多结果和视频请访问https://roboturk.stanford.edu/multiarm。
2020-12-12 cs.AI cs.LG cs.RO
Taming VR Teleoperation and Learning from Demonstration for Multi-Task Bimanual Table Service Manipulation
AIR, Tsinghua University(空气动力学研究所,清华大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院);HKUST (GZ)(香港科技大学(广州));NUS (Suzhou) Research Institute(国立大学(苏州)研究所);University of Michigan(密歇根大学)
本文提出结合VR遥操作与示教学习的双手操作方案,通过ACT策略训练披萨放置任务,在ICRA 2025 WBCD桌面服务竞赛中夺冠。
2025-08-21 cs.RO
LeVR: A Modular VR Teleoperation Framework for Imitation Learning in Dexterous Manipulation
Center for Robotics and Biosystems, Northwestern University(机器人与生物系统中心,西北大学);MAGICS Lab, Northwestern University(MAGICS实验室,西北大学)
本文提出LeVR模块化VR遥操作框架,结合LeRobot简化数据收集,并开源LeFranX实现与数据集,成功微调视觉运动策略,加速机器人模仿学习研究。
2025-09-17 cs.RO
Hierarchical Deep Learning for Intention Estimation of Teleoperation Manipulation in Assembly Tasks
University of California, Riverside(加州大学河滨分校);Honda Research Institute(本田研究所)
本文提出一种分层深度学习方法,通过多尺度分层信息和多窗口预测机制,在装配任务遥操作中实现低层动作与高层任务的快速准确意图估计,并在VR仿真中验证其有效性。
2024-03-28 cs.AI cs.LG cs.RO
Feel Robot Feels: Tactile Feedback Array Glove for Dexterous Manipulation
本文提出TAG手套,通过高精度手部运动捕捉与高分辨率触觉反馈,实现灵巧操作的触觉闭环远程操控,提升接触几何和动态力的实时感知能力。
2026-03-30 cs.RO
OPEN TEACH: A Versatile Teleoperation System for Robotic Manipulation
New York University(纽约大学);Meta
针对现有机器人遥操作数据采集平台专有、昂贵且适配性差的问题,研究团队提出基于Meta Quest 3的开源通用遥操作系统OPEN TEACH,支持多类机器人实时控制,操作性能更优且采集数据可用于策略学习。
2024-03-12 cs.RO
HACTS: a Human-As-Copilot Teleoperation System for Robot Learning
Beijing Innovation Center of Humanoid Robotics(人形机器人创新中心);Beijing Institute of Technology(北京理工大学)
HACTS通过双向实时同步机制提升机器人学习效率,实现人机协作与数据收集的高效交互
2025-12-15 cs.LG cs.RO
RoboMatch: A Unified Mobile-Manipulation Teleoperation Platform with Auto-Matching Network Architecture for Long-Horizon Tasks
Jiangsu Key Laboratory of Advanced Food Manufacturing Equipment and Technology, School of Mechanical Engineering, Jiangnan University(江苏省食品先进制造装备与技术重点实验室,江南大学机械工程学院)
本文提出RoboMatch,一种用于移动操作的统一远程操作平台,采用自动匹配网络架构以应对动态环境中的长周期任务。核心是 cockpit 风格的控制界面,提升控制精度和数据采集效率。同时引入PVE-DP和AMN,显著提高精细操作性能和长周期推理性能。
2026-03-26 cs.RO
DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System
NVIDIA(英伟达);CMU(卡内基梅隆大学)
遥操作提供了赋予机器人系统复杂的推理技能,直觉和创造力来执行任务的可能性。然而,目前的遥操作解决方案的高致动度(DoA),多指机器人通常是成本高昂,而低成本的产品通常提供降低程度的控制。在此,开发了一种低成本的基于视觉的遥操作系统DexPilot,该系统仅通过观察裸露的人手就可以完全控制整个23 DoA机器人系统。DexPilot使操作员能够执行各种复杂的操作任务,而不仅仅是简单的取放操作。这允许收集高维度、多模态、状态动作数据,这些数据可以在未来被利用来学习用于具有挑战性的操纵任务的感觉运动策略。系统性能是通过两个人类演示者在各种任务上的速度和可靠性指标来测量的。实验的视频可以在https://sites.google.com/view/dex-pilot上找到。
2019-10-14 cs.CV cs.LG cs.RO
Wheeled Humanoid Bilateral Teleoperation with Position-Force Control Modes for Dynamic Loco-Manipulation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于位置-力控制模式切换的双边遥操作框架,实现轮式人形机器人的动态移动操控,并通过插箱与人机协作搬运实验验证了方法的有效性。
2024-07-16 cs.RO
ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation
UC San Diego(加州大学圣迭戈分校)
ACE是一种跨平台视觉外骨骼遥操作系统,通过手部摄像头和外骨骼实现低成本高精度灵巧遥操作,支持多种机器人末端执行器,促进复杂任务的模仿学习。
2024-08-21 cs.CV cs.LG cs.RO
TRIP-Bag: A Portable Teleoperation System for Plug-and-Play Robotic Arms and Leaders
KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign(KIM实验室(动能智能机器实验室),伊利诺伊大学厄巴纳-香槟分校)
TRIP-Bag是一种便携式遥控系统,能够快速收集高保真操纵数据,适用于各种环境和非专家用户。
2026-03-10 cs.RO
Telemanipulation with Chopsticks: Analyzing Human Factors in User Demonstrations
University of Washington(华盛顿大学)
筷子是一种简单而多功能的工具,数千年来,人类一直使用它来执行从食物处理到手术等各种具有挑战性的任务。在各种各样的场景中应用这样一个简单的工具需要很大的适应性。为了开发具有与人类相媲美的适应性的自主机械手,我们研究了基于筷子的操纵,以深入了解人类的操纵策略。我们进行了一项有25名参与者的受试者内用户研究,评估了三种不同的数据收集方法:普通筷子、动作捕捉筷子和一种新型的智能操作界面。我们分析了各种具有挑战性的基于筷子的抓取任务中人类表现的因素。虽然参与者将远程操作评为最不舒适和最难使用的方法,但远程操作使用户能够在五分之三的对象上实现最高的成功率。此外,我们注意到,受试者迅速学习和适应遥操作界面。最后,虽然运动捕捉筷子可以更好地反映人类如何使用筷子,但远程操作界面可以生成高质量的硬件演示,机器人可以直接从中学习。
2020-07-31 cs.HC cs.RO
Global-Local Interface for On-Demand Teleoperation
University of California, Berkeley(加州大学伯克利分校)
本文提出全局-局部遥操作接口,通过解耦全局与局部行为融合灵活性与精度,支持精细操作和大范围运动,并经实验验证其用户友好性、准确性和泛化性。
2025-09-10 cs.RO
HapCompass: A Rotational Haptic Device for Contact-Rich Robotic Teleoperation
Toyota Technological Institute at Chicago (TTIC)(丰田芝加哥技术研究所);University of Chicago(芝加哥大学)
HapCompass通过机械旋转单个线性共振执行器提供2D方向提示,提升了远程操作任务的成功率、完成时间和最大接触力,同时改进了模仿学习的数据质量。
2026-03-31 cs.HC cs.RO
Learning compliant grasping and manipulation by teleoperation with adaptive force control
Hunan University(湖南大学);Bielefeld University(比勒费尔德大学);University of the West of England(西英格兰大学)
在这项工作中,我们专注于提高机器人的灵巧能力,利用视觉传感和自适应力控制。TeachNet是一个基于视觉的遥操作学习框架,用于将人手姿态映射到多指机器人手。我们增强TeachNet,这是最初基于不精确的运动映射和位置伺服,与仿生学习为基础的顺应性控制算法灵巧的操作任务。该柔顺控制器以TeachNet中映射的机器人关节角度为目标,计算期望的关节力矩。它是从人类运动学习中的仿生控制策略的计算模型导出的,其允许在执行参考关节角度轨迹期间在线调整控制变量(阻抗和前馈力)。阻抗和前馈曲线的同时适应使机器人能够以顺应的方式与环境交互。我们的方法已经在物理模拟中的多个任务中得到验证,即,抓握、开门、转动帽子和触摸鼠标,并且已经显示出比现有的位置控制和基于固定增益的力控制方法更可靠的性能。
2021-07-21 cs.RO
Autonomy Infused Teleoperation with Application to BCI Manipulation
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);Center for the Neural Basis of Cognition(认知神经基础中心);VA Pittsburgh Healthcare System(匹兹堡退伍军人医疗保健系统)
机器人遥操作系统面临着一系列共同的挑战,包括延迟,低维用户命令和非对称控制输入。使用脑机接口(BCI)的用户控制由于解码神经活动的困难而通过特别嘈杂和不稳定的低维运动命令加剧了这些问题。我们引入了一个通用的框架来解决这些挑战,通过结合计算机视觉,用户意图推理,和仲裁之间的人类输入和自主控制方案。可调节的辅助水平使系统能够平衡操作员的能力和舒适感和控制感,同时补偿任务的难度。我们目前的实验结果表明显着的性能改善,使用共享控制援助框架与两个主题植入皮层内脑机接口控制七度的自由度机器人机械手作为假肢适应康复基准。我们的研究结果进一步表明,共享的协助减轻了感知用户的困难,甚至使成功的性能在以前不可行的任务。我们展示了我们的架构的可扩展性与应用程序的生活质量的任务,如打开一扇门,从容器中倒液体,并在密集杂乱的环境中操纵新的对象。
2015-06-07 cs.RO
CHILD (Controller for Humanoid Imitation and Live Demonstration): a Whole-Body Humanoid Teleoperation System
KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign(KIMLAB(运动智能机器实验室),伊利诺伊大学厄巴纳-香槟分校)
提出CHILD全身人形遥操作系统,实现关节级控制,支持全身控制与移动操作,集成力反馈,并通过实验验证,开源硬件设计。
2025-09-24 cs.RO
Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation
Beihang University(北京航空航天大学);Shandong University(山东大学);Johns Hopkins University(约翰斯·霍普金斯大学);Delta Intelligence(delta智能公司)
针对移动操作VLA策略的局部视野与全身演示数据收集难题,开发全身遥操作系统与PanoVLA全景感知VLA策略,基于5.5小时多模态数据集,在四项真实任务中平均阶段完成率91.3%、端到端成功率73.4%,性能优于局部视角基线。
2026-08-04 cs.RO
Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA
Shanghai Jiao Tong University(上海交通大学);Sharpa;Shanghai AI Lab(上海人工智能实验室);Zhongguancun Academy(中关村学院);National University of Singapore(新加坡国立大学);Shanghai Innovation Institute(上海创新研究院)
本文提出IMCopilot和MoDE-VLA框架,通过强化学习和多模态融合提升机器人灵巧操作能力,实现接触丰富的手内任务性能提升。
2026-03-09 cs.RO
Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System
OMRON SINIC X Corporation(欧姆龙SINIC X公司);The University of Tokyo(东京大学)
针对刚性机器人在富接触任务中难以适应环境的问题,提出结合VR触觉反馈遥操作界面与基于Transformer动作分块的Comp-ACT方法,从少量示范中学习变柔顺控制,有效提升了机器人灵巧操作的适应性与安全性。
2024-09-26 cs.AI cs.LG cs.RO
AssistDLO: Assistive Teleoperation for Deformable Linear Object Manipulation
TU Darmstadt, Institute for Intelligent Autonomous Systems, Computer Science Department(德累斯顿技术大学智能自主系统研究所,计算机科学系);Honda Research Institute Europe GmbH(本田欧洲研究院);German Research Center for AI (DFKI), Research Department: Systems AI for Robot Learning(德国人工智能研究中心(DFKI),研究部门:机器人学习的系统AI;黑森AI;德国机器人研究所(RIG);认知科学中心);Hessian.AI;Robotics Institute Germany (RIG);Centre for Cognitive Science
本文提出AssistDLO框架,结合多视角状态估计、视觉辅助和基于控制屏障函数的几何感知共享自主控制器,提升可变形线性物体操控的精度与适应性。
2026-05-07 cs.RO
ViHaTeleop: A Low-Cost, Lightweight Visual-Haptic Teleoperation System for Dexterous Manipulation Learning
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院)
ViHaTeleop是一款低成本轻量型视觉-触觉遥操作系统,结合SLAM、相机跟踪与LRA反馈,经实验验证其可提升接触关键任务的操作成功率与主观体验,支持从演示到策略训练的完整流程。
2026-08-18 cs.RO
A Digital Twin Framework for Virtual Visuo-Haptic Teleoperation of Complex-Shaped Optical Microrobots
Department of Bioengineering, Imperial-X AI Initiative, Imperial College London(生物工程系、Imperial-X人工智能倡议、帝国理工学院伦敦分校)
本文提出一个数字孪生框架,集成多陷阱光学操纵、图像位姿估计、微机器人运动仿真和基于模型的触觉渲染,用于复杂形状光学微机器人的虚拟视觉-触觉遥操作,实验表明触觉反馈显著降低接触力和位置误差标准差并提高任务成功率。
2026-05-27 cs.RO
Learning Sim-Grounded Policies for Bimanual Rope Manipulation from Human Teleoperation Data
Technical University of Darmstadt(德累斯顿技术大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所);Centre for Cognitive Science(认知科学研究中心);Honda Research Institute Europe GmbH(本田欧洲研究院)
本文研究了基于视觉的策略在解结任务中泛化能力不足是否源于观察空间而非策略架构或数据规模,通过比较两种基于动作分块与变压器的策略,发现基于物理状态的策略在预测初始抓取和拉拽动作时L1误差降低了30.8%。
2026-05-15 cs.AI cs.RO