A Wearable Stiffness-Rendering Haptic Device with a Honeycomb Jamming Mechanism for Bilateral Teleoperation
本文设计了采用蜂窝挤压机制的可穿戴触觉装置HJ-Haptic,可通过30kPa真空压力调节刚度,在遥操作中提供可靠的物体刚度反馈,保障安全,提升遥操作性能。
2026-08-05 cs.RO
NuExo: A Wearable Exoskeleton Covering all Upper Limb ROM for Outdoor Data Collection and Teleoperation of Humanoid Robots
本文提出NuExo可穿戴上肢外骨骼,通过同步连杆与同步带肩部机构实现全ROM覆盖,并结合沉浸式遥操作与多模态数据采集,支持户外使用及多类人形机器人。
2025-03-13 cs.RO
Wearable Haptics for a Marionette-inspired Teleoperation of Highly Redundant Robotic Systems
Istituto Italiano di Tecnologia(意大利技术研究院);University of Siena(锡耶纳大学);University of Genova(热那亚大学)
针对高冗余运动-操作机器人遥操作难、既往提线木偶式接口仅靠视觉反馈的局限,研究新增可穿戴触觉接口,经无经验用户在CENTAURO机器人上测试,可提升操控感与环境交互感知。
2025-03-20 cs.RO
A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
Universität Hamburg(汉堡大学);RWTH Aachen University(亚琛工业大学);University of California, Los Angeles(加州大学洛杉矶分校);Tsinghua University(清华大学)
在本文中,我们提出了一个多模式的移动遥操作系统,包括一个新的基于视觉的手姿态回归网络(Transteleop)和基于IMU的手臂跟踪方法。Transteleop通过低成本的深度相机观察人手,不仅生成关节角度,还通过图像到图像转换过程生成配对机器人手姿势的深度图像。一个基于关键点的重建损失探索人类和机器人之间的外观和解剖结构的相似性,并丰富了重建图像的局部特征。可穿戴摄像头支架可实现同时的手臂控制,并促进整个遥操作系统的移动性。测试数据集和各种复杂的操作任务,超越简单的取放操作的网络评估结果表明,我们的多模式遥操作系统的效率和稳定性。
2020-03-11 cs.CV cs.HC cs.RO
A User Study on the Suitability of Teleoperation Interfaces for Primitive Manipulation Tasks
University of Tsukuba(茨口大学);National Institute of Advanced Industrial Science(国家先进工业科学研究院)
本研究比较了VR控制器和三维鼠标在操作机械臂时的表现,发现不同接口在不同任务中各有优劣,强调了任务主导运动原始体在设计远程操作接口中的重要性。
2026-02-03 cs.HC cs.RO
TeleFMG: A Wearable Force-Myography Device for Natural Teleoperation of Multi-finger Robotic Hands
Tel-Aviv University(特拉维夫大学)
本文提出TeleFMG,利用低成本可穿戴力肌动描记设备结合时间卷积网络,将前臂肌肉活动映射为手部姿态,实现多指机械手的自然遥操作,并验证了跨用户微调的有效性。
2024-01-17 cs.RO cs.SY eess.SY
TelePreview: A User-Friendly Teleoperation System with Virtual Arm Assistance for Enhanced Effectiveness
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
TelePreview是一种低成本(<1000美元)的遥操作系统,通过虚拟手臂实时反馈用户动作结果,支持命令可视化与执行灵活切换,帮助新用户安全快速学习示范,在五项任务中优于其他系统。
2025-04-21 cs.HC cs.RO
IMMERTWIN: A Mixed Reality Framework for Enhanced Robotic Arm Teleoperation
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院);ICPS Research Center, National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院ICPS研究中心)
本研究提出了基于闭环数字孪生的混合现实机械臂遥操作框架IMMERTWIN,经26名用户在两台机器人上测试,验证了其任务完成效果,且相比现有方案认知负荷更低。
2024-09-13 cs.HC cs.RO
U-ARM : Ultra low-cost general teleoperation interface for robot manipulation
School of AI, SJTU(1 人工智能学院,上海交通大学);EvoMind Tech(2 EvoMind科技);IAAR-Shanghai(3 上海IAAR)
U-ARM提出一种低成本且快速适应的遥控框架,通过三种结构不同的3D打印领导者臂实现与多数商用机械臂的兼容,成本仅为50.5美元和56.8美元,提升了操控效率和任务成功率。
2026-03-19 cs.RO
Arm Robot: AR-Enhanced Embodied Control and Visualization for Intuitive Robot Arm Manipulation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
Arm Robot系统通过AR实时反馈人机差异并支持视角切换与动作空间扩展,提升具身机械臂遥操作的直观性和控制效果,用户研究验证了其可用性。
2024-11-21 cs.HC cs.RO
Manipulability optimization for multi-arm teleoperation
遥操作为人类操作员提供了一种在完全自主具有挑战性或需要直接人工干预的情况下引导机器人的方法。它也可以是一个重要的工具,教机器人,以实现自主行为later on.The增加可用性的协作机器人手臂和虚拟现实(VR)设备提供了充足的机会,开发新的遥操作方法。由于机器人手臂通常在运动学上与人类手臂不同,因此将人类运动实时映射到机器人并不简单。此外,人类操作员可能会将机器人手臂转向奇点或其工作空间限制,这可能导致不期望的行为。这一点在多个机器人的协调中得到了进一步强调。在本文中,我们提出了一个虚拟现实接口针对多臂有效载荷的操作,它可以密切配合实时输入运动。允许用户操纵有效载荷,而不是将他们的运动映射到单个手臂,我们能够同时引导多个协作手臂。通过释放单个旋转自由度,并使用局部优化方法,我们可以提高每个手臂的可操作性指数,这反过来又让我们避免运动奇异性和工作空间限制。我们应用我们的方法预定义的轨迹,以及实时遥操作不同的机器人手臂和比较性能方面的末端执行器位置误差和相关的关节运动指标。
2021-11-12 cs.RO
A Comparison Between Joint Space and Task Space Mappings for Dynamic Teleoperation of an Anthropomorphic Robotic Arm in Reaction Tests
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
远程操作(即,控制具有人的运动的机器人)在使人形机器人能够像人一样动态地移动方面证明是有希望的。但如何将人类运动映射到人形机器人很重要,因为人类和人形机器人很少有相同的拓扑结构和尺寸。这项工作提出了一个实验研究,利用反应测试,比较拟议的关节空间映射和拟议的任务空间映射的动态遥操作的拟人机器人手臂,具有人类水平的动态运动能力。实验结果表明,机器人实现了类似的,在某些情况下,人类水平的动态性能与映射的六个参与人类受试者。所有的科目成为熟练的遥控机器人与两个映射实践后,尽管科目和机器人的大小和链接长度比不同,遥控操作需要的科目移动不直观。然而,大多数受试者开发他们的遥操作更快地与任务空间映射比联合空间映射后,类似的实践量。这项研究还表明了潜在的价值的三维任务空间映射,遥操作训练模拟器,和力反馈给人类飞行员直观和动态遥操作的人形机器人的手臂。
2020-11-04 cs.RO
HATS: A Human-Agent Teleoperation System for Multi-Arm Data Collection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Nanyang Technological University(南洋理工大学);Imperial College London(帝国理工学院)
提出HATS系统,由单操作员借助MLLM智能体控制两主臂和两辅助臂,实现高效多臂数据收集,性能媲美双人专家团队。
2026-06-16 cs.RO
Wearable Multimodal Human-Machine Interface for Integrated Hand Intentions Decoding in Dynamic Teleoperation
Dalian University of Technology(大连理工大学);The University of Tokyo(东京大学)
针对光学条件受限的遥操作环境,提出一种集成sEMG和IMU的可穿戴多模态人机接口MI-DHMI,通过多模态深度学习实现手势、抓取力和手部姿态的同步高精度解码,显著提升鲁棒性。
2026-09-09 cs.RO
MR-UBi: Mixed Reality-Based Underwater Robot Arm Teleoperation System with Reaction Torque Indicator via Bilateral Control
The University of Osaka(大阪大学);Kobe University(Kobe大学)
本文提出MR-UBi,一种基于混合现实的水下机械臂遥操作系统,通过反作用力矩指示器集成视觉与触觉反馈,显著提升抓取力矩控制精度、可用性并降低工作负荷。
2025-10-23 cs.RO
DexTele: A Dual-Arm Dexterous Teleoperation System Based on Motion Retargeting and Adaptive Force Control
School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(人工智能学院,香港中文大学(深圳));School of Computing, University of Portsmouth(计算学院,朴茨茅斯大学)
研究针对双臂灵巧遥操作中运动重定向和抓取的挑战,提出DexTele系统,通过视觉运动重定向模块和自适应抓取模块,结合运动图编码器、视觉语言模型等技术,实现多平台精确运动重定向与柔顺抓取。
2026-07-08 cs.RO
KUKAloha: A General, Low-Cost, and Shared-Control based Teleoperation Framework for Construction Robot Arm
Department of Civil and Environmental Engineering, University of Michigan, United States of America(密歇根大学土木与环境工程系);Department of Robotics, University of Michigan, United States of America(密歇根大学机器人系)
KUKAloha通过轻量引导臂和自主感知模块实现人机协作,提升施工机器人操作的安全性和重复性,实验表明其能降低操作负担并提高任务效率。
2026-03-20 cs.RO
Seeing Through Occlusion: Deterministic Arm Kinematic Correction for Robot Teleoperation
Department of Mechanical and Mechatronics Engineering, University of Waterloo, Canada(滑铁卢大学机械与机电工程系)
提出手臂运动学校正方法,利用恒定臂长几何约束和勾股定理确定性地重建遮挡关节深度,无需复杂建模,经Vicon验证有效,并成功应用于遥操作。
2026-06-18 cs.CV cs.HC cs.RO
Affordance-Guided Dual-Armed Disassembly Teleoperation for Mating Parts
Department of Systems Innovation, Graduate School of Engineering Science, Osaka University(大阪大学系统创新系);Industrial Cyber-physical Systems Research Center, The National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院);Manufacturing Innovation Division, Panasonic Holdings Corporation(松下电器控股公司)
提出一种可供性引导的双臂遥操作系统,通过虚拟环境可视化抓取位姿与拆卸方向,并集成混合控制器,有效解决了配合件无损拆卸中的遮挡与操作难题,提升了成功率。
2025-08-08 cs.RO
AeroVR: Virtual Reality-based Teleoperation with Tactile Feedback for Aerial Manipulation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
无人机在工业维护、紧急救援和电子商务等领域的应用进行了测试。大多数这样的应用需要远程操作。操作员从安装在机器人手臂或无人机上的摄像头接收视觉反馈。由于空中操纵需要机械臂的精细和精确运动,无人机动力学引起的相机数据延迟、狭窄的视场和模糊的图像可能导致无人机坠毁。研究了一种基于虚拟现实(VR)的新型空中遥操作系统。控制系统由具有4自由度机械臂和嵌入式传感器的无人机组成。VR应用通过盔装显示器(HMD)向用户呈现无人机和远程环境的数字孪生。操作员通过佩戴在手臂上的VR跟踪器和带有振动触觉反馈的跟踪手套控制机器人手臂和夹具的位置。控制数据直接从VR实时转换到真实机器人。实验结果表明,一个稳定和强大的遥操作介导的VR场景。该系统可以大大提高空中操作的质量。
2019-10-25 cs.RO
A Bilateral Teleoperation Framework for Dexterous Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony Group Corporation(索尼集团公司);Meta Reality Labs Research(Meta现实实验室)
提出模块化双边遥操作框架,集成操作端输入与机器人端灵巧手及柔顺臂,通过位置重定向、差分控制、多尺度触觉反馈和共享控制实现灵巧操作,验证了协调控制与接触感知能力。
2026-06-16 cs.HC cs.RO cs.SY
EMG-Controlled Non-Anthropomorphic Hand Teleoperation Using a Continuous Teleoperation Subspace
Columbia University(哥伦比亚大学)
我们提出了一种方法,肌电驱动的遥操作的非拟人机器人的手。肌电传感器作为一种可穿戴的、廉价的、不显眼的方式来收集关于遥控操作员的手部姿势的信息是有吸引力的。然而,从EMG信号到非拟人化手的姿势空间的映射提出了多个挑战。我们提出了一种方法,第一项目从前臂肌电信号到一个子空间相关的遥操作。为了提高鲁棒性,我们使用了一个模型,该模型结合了沿着该子空间的不同维度的连续和离散预测。然后,我们从遥操作子空间投影到机器人手的姿态空间。我们的方法是有效的和直观的,因为它使新手用户远程操作拾取和放置任务的速度更快,更强大的比国家的最先进的EMG远程操作方法时,适用于非拟人化,多自由度的机器人手。
2019-03-06 cs.RO
An Agile Large-Workspace Teleoperation Interface Based on Human Arm Motion and Force Estimation
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);School of Computing, University of Portsmouth(朴茨茅斯大学计算学院)
本文提出一种基于惯性测量单元和表面肌电臂环估计人体手臂运动与力的敏捷大工作空间遥操作接口,并结合时间同步框架实现实时控制,实验证明其性能优于Omega 7且操作体验更好。
2024-10-20 cs.RO
TRIP-Bag: A Portable Teleoperation System for Plug-and-Play Robotic Arms and Leaders
KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign(KIM实验室(动能智能机器实验室),伊利诺伊大学厄巴纳-香槟分校)
TRIP-Bag是一种便携式遥控系统,能够快速收集高保真操纵数据,适用于各种环境和非专家用户。
2026-03-10 cs.RO
TELESIM: A Modular and Plug-and-Play Framework for Robotic Arm Teleoperation using a Digital Twin
University of Glasgow(格拉斯哥大学)
本文提出模块化即插即用框架 TELESIM,以数字孪生为接口实现机械臂直接遥操作,并通过 37 名用户在两种机器人和两种控制模态下的实验验证了其易用性。
2023-09-20 cs.RO
MR-GLi: Mixed Reality-Based Gripper-Linked Overlays for Underwater Robot Arm Teleoperation via Bilateral Control
The University of Osaka(大阪大学);Kobe University(神户大学)
MR-GLi提出混合现实夹爪联动覆盖层,通过空间配准视觉反馈提升水下遥操作,实验证明其性能与2D显示器相当,但减轻了注意力转移负担。
2026-09-16 cs.RO
End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection
ByteDance(字节跳动)
本文提出了一种共享自主框架,通过结合VR远程操作和自主手VLA策略,实现高效的数据收集,从而训练端到端的VLA策略以提升机器人灵活操作能力。
2025-12-13 cs.AI cs.RO
A Portable and Passive Gravity Compensation Arm Support for Drone Teleoperation
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院 (EPFL));ETHZ(苏黎世联邦理工学院);Swiss Federal Institute for Forest Snow, and Landscape Research (WSL)(瑞士联邦森林、雪与景观研究所 (WSL))
基于手势的界面通常用于实现更自然和直观的机器人遥操作。然而,有时,手势控制需要引起用户显著疲劳的姿势或移动。在之前的用户研究中,我们证明了天真的用户可以在手臂展开时通过躯干运动控制固定翼无人机。然而,这种姿势引起了明显的手臂疲劳。在这项工作中,我们提出了一个被动的手臂支持,补偿手臂重量的平均扭矩误差小于0.005 N/kg的超过97%的运动范围的科目飞行,因此减少肌肉疲劳的肩膀上的平均58%。此外,该手臂支撑件的设计适合从第1百分位女性到第99百分位男性的身体尺寸的用户。手臂支撑的性能分析描述与机械模型和其实施进行了验证与机械表征和用户研究,测量飞行性能,肩部肌肉活动和用户接受度。
2021-11-10 cs.RO cs.SY eess.SY
Nonlinearity Compensation in a Multi-DoF Shoulder Sensing Exosuit for Real-Time Teleoperation
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
软可穿戴机器人的柔顺性使其成为复杂的多自由度(DoF)关节的理想选择,但也引入了额外的结构非线性。这些可穿戴机器人的直观控制需要强大的传感器来克服固有的非线性。本文提出了一种关节运动学估计器的生物启发的多自由度肩外装能够补偿遇到的非线性。为了克服套装柔软柔顺的特性所固有的非线性和滞后性,我们开发了一种基于深度学习的方法,将传感器数据映射到关节空间。实验结果表明,新的基于学习的框架比最近的最先进的方法有很大的利润,同时实现12毫秒的推理时间,仅使用基于GPU的边缘计算设备。通过与模拟NAO人形机器人的实时的【形】遥操作,证明了我们的组合外装和学习框架的有效性。
2020-02-21 cs.RO eess.SP
A Human - machine interface for teleoperation of arm manipulators in a complex environment
本文讨论了在操作员引导的机器人臂操作器的实时运动中,使用位形空间(C空间)作为可视化和控制手段的可行性。的动机是提高性能的人类操作员在任务中涉及的机械手运动的环境中的障碍物。与其他一些运动规划任务不同,已知操作员在此类任务中会犯代价高昂的错误,即使在更简单的二维情况下也是如此。他们很难学习更好的程序,而且他们的表现在实践中几乎没有提高。使用的一个例子,一个二维的手臂机械手,我们表明,翻译到C-空间的问题,提高了运营商的性能,而显着的数量级相比,通常的工作空间控制。一个接口,使传输成为可能,并在虚拟环境中使用的一个例子。
1998-11-20 cs.AI cs.RO
Hand-worn Haptic Interface for Drone Teleoperation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
无人机遥控操作通常使用远程无线电控制器来完成,这些设备对于没有经验的用户来说很难掌握。此外,反馈给用户的关于机器人状态的信息量有限,通常仅限于视觉,可能在几种情况下成为操作的瓶颈。在这项工作中,我们提出了一个可穿戴的接口无人机遥操作和评估,通过用户研究。所提出的系统的两个主要特点是一个数据手套,允许用户控制无人机的轨迹,通过手部运动和触觉系统,用于增强他们对机器人周围环境的认识。该接口可用于无经验操作员在视线范围内操作机器人系统,并允许他们安全地执行检查和搜救任务中常见的任务,例如接近墙壁和穿越能见度有限的狭窄通道。除了可穿戴界面的设计和实现之外,我们还进行了一项系统研究,通过三项用户研究(n = 36)来评估系统的有效性,以评估用户的学习路径及其在有限可见度下执行任务的能力。我们在模拟和真实环境中验证了我们的想法。我们的研究结果表明,该系统可以提高遥操作性能在不同的情况下相比,标准的遥控器,使其成为一个可行的替代标准的人机界面。
2020-04-15 cs.RO
AnyTeleop: A General Vision-Based Dexterous Robot Arm-Hand Teleoperation System
UC San Diego(加州大学圣迭戈分校);NVIDIA(英伟达公司)
针对现有视觉遥操作系统适配性差的问题,提出通用系统AnyTeleop,支持多类硬件、虚实场景和相机配置,在真实与模拟实验中性能均优于专用系统。
2024-05-16 cs.CV cs.LG cs.RO
DexPilot: Vision Based Teleoperation of Dexterous Robotic Hand-Arm System
NVIDIA(英伟达);CMU(卡内基梅隆大学)
遥操作提供了赋予机器人系统复杂的推理技能,直觉和创造力来执行任务的可能性。然而,目前的遥操作解决方案的高致动度(DoA),多指机器人通常是成本高昂,而低成本的产品通常提供降低程度的控制。在此,开发了一种低成本的基于视觉的遥操作系统DexPilot,该系统仅通过观察裸露的人手就可以完全控制整个23 DoA机器人系统。DexPilot使操作员能够执行各种复杂的操作任务,而不仅仅是简单的取放操作。这允许收集高维度、多模态、状态动作数据,这些数据可以在未来被利用来学习用于具有挑战性的操纵任务的感觉运动策略。系统性能是通过两个人类演示者在各种任务上的速度和可靠性指标来测量的。实验的视频可以在https://sites.google.com/view/dex-pilot上找到。
2019-10-14 cs.CV cs.LG cs.RO
Anytime, Anywhere: Human Arm Pose from Smartwatch Data for Ubiquitous Robot Control and Teleoperation
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本研究提出基于单块智能手表的优化机器学习手臂姿态估计方法,结合语音识别打造普适机器人控制接口,预测误差较现有最优方法降40%,腕肘位置平均误差2.56厘米,可用于机器人干预、目标调整与模仿学习。
2023-10-17 cs.RO
A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot
Department of Mechanical Engineering, University of São Paulo(机械工程系,圣保罗大学);Instituto Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein(艾利哈德研究所,以色列医院)
本文提出了一种基于视觉的姿态估计方法,通过检测操作员手腕位置来实现四足机器人机械臂的直观远程控制,提高了安全性和易用性。
2025-10-11 cs.CV cs.LG cs.RO
TeleopLab: Accessible and Intuitive Teleoperation of a Robotic Manipulator for Remote Labs
Learning Engineering and Practice (LEAP) Group, Massachusetts Institute of Technology(学习工程与实践(LEAP)组,麻省理工学院);Nvidia, USA(英伟达,美国)
TeleopLab通过移动设备遥操作系统,使学生能远程控制机械臂操作实验设备,实验显示任务时间减少46.1%,可用性良好,有效连接实体实验室与远程教育。
2025-09-06 cs.HC cs.RO
Global-Local Interface for On-Demand Teleoperation
University of California, Berkeley(加州大学伯克利分校)
本文提出全局-局部遥操作接口,通过解耦全局与局部行为融合灵活性与精度,支持精细操作和大范围运动,并经实验验证其用户友好性、准确性和泛化性。
2025-09-10 cs.RO
Control the Soft Robot Arm with its Physical Twin
EPFL(洛桑联邦理工学院);School of Engineering STI(工程学院(STI))
针对软体机械臂需考虑全构型的遥操作需求,提出基于物理孪生样机的腱长映射控制方法,支持复杂环境交互与跨尺寸推广,且刚度可调降低使用门槛。
2025-03-21 cs.RO
Learning Multi-Arm Manipulation Through Collaborative Teleoperation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习(IL)是一种强大的范例,教机器人执行操作任务,允许他们学习从人类的示范收集通过遥操作,但主要限于单臂操作。然而,许多现实世界的任务需要多个手臂,例如举起重物或组装桌子。不幸的是,将IL应用于多臂操作任务一直具有挑战性-要求人类控制多个机器人手臂可能会带来显著的认知负担,并且通常最多只能控制两个机器人手臂。为了应对这些挑战,我们提出了多臂RoboTurk(MART),一个多用户数据收集平台,允许多个远程用户同时远程操作一组机器人手臂,并收集多臂任务的演示。使用MART,我们收集了五个新的两个和三个手臂的任务,从几个地理上分离的用户演示。从我们的数据中,我们得出了一个关键的见解:大多数多臂任务并不需要在整个过程中进行全球协调,而只是在特定的时刻。我们表明,从这些数据中学习,从而提出了挑战,集中式代理,直接尝试同时建模所有机器人的动作,并执行不同的政策架构与不同程度的集中在我们的任务进行全面的研究。最后,我们提出并评估了一个基本的剩余策略框架,该框架允许训练的策略更好地适应多臂操作中常见的混合协调设置,并表明在我们的基准任务集上,用分散的剩余模型增强的集中式策略优于所有其他模型。更多结果和视频请访问https://roboturk.stanford.edu/multiarm。
2020-12-12 cs.AI cs.LG cs.RO
Consistency-Driven Dual LSTM Models for Kinematic Control of a Wearable Soft Robotic Arm
本文提出了一种一致性驱动的双LSTM框架,用于精确学习软气动机器人手臂的正向和逆向运动学。通过引入循环一致性损失,提升了物理真实性和逆向预测的稳定性,实验验证了方法的有效性。
2026-03-18 cs.RO
TeleOpBench: A Simulator-Centric Benchmark for Dual-Arm Dexterous Teleoperation
Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The University of Hong Kong(香港大学);Feeling AI(FeelAI);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出TeleOpBench,一个面向双臂灵巧遥操作的以仿真器为中心的基准,包含30个高保真任务环境和四种代表性遥操作模态,并通过物理双臂平台镜像实验验证了其仿真性能对真实世界行为的预测能力。
2025-09-15 cs.AI cs.CV cs.RO
TWINS: A Tactile Wearable Isomorphic Arm Networked System for Contact-Rich Manipulation Learning
National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
本文提出TWINS触觉可穿戴同构臂联网系统,用于解决现有机器人难以完成身体表面接触操作的问题,通过采集演示数据训练模仿学习策略,实现了身体表面触觉引导的接触丰富操作。
2026-08-04 cs.RO
Let the Body Follow: Coupled Egocentric Control for Whole-Body Robot Teleoperation
New Jersey Institute of Technology(新泽西理工学院);Johns Hopkins University(约翰霍普金斯大学)
研究全身机器人遥操作协调难题,提出耦合自我中心控制方法,通过机器人躯干和基座自动响应操作员头部及手臂动作,在用户研究中评估该方法,相比基线混合界面有诸多优势。
2026-07-20 cs.RO
RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning
Peking University(北京大学);BeingBeyond;Beihang University(北航);LinkerBot;Tsinghua University(清华大学)
提出RealDexUMI,一种基于共享灵巧末端执行器模块的可穿戴通用操作接口,通过掌侧同构遥操作手套实现无重定向、直观精确的手部控制,在八项真实机器人任务中平均成功率达88.75%。
2026-06-06 cs.RO
Model Mediated Teleoperation with a Hand-Arm Exoskeleton in Long Time Delays Using Reinforcement Learning
German Aerospace Center(德国航空航天中心);Hamburg University(汉堡大学);Technical University of Munich(慕尼黑工业大学)
远程机器人系统必须适应新的环境条件,并处理长时间延迟造成的高度不确定性。强化学习(RL)作为人类智能的最佳替代方案之一,可能会提供一个解决方案来应对这些问题。本文提出将RL与模型中介遥操作(MMT)概念相结合。遥控操作员与提供即时反馈的模拟虚拟环境进行交互。虽然来自真实环境的反馈是延迟的,但来自模型的反馈是即时的,这导致了高透明度。MMT与两层智能系统相结合实现。第一层利用动态运动基元(Dynamic Movement Primitives,缩写为MOM),它可以解释化身环境中的某些变化。并且,第二层使用RL方法解决模型中的不确定性所引起的问题。还提供了增强现实来融合化身设备和遥控操作员的虚拟环境模型。在DLR的Exodex Adam手臂触觉外骨骼上实现,结果表明,当演示后对象位置发生变化时,RL方法能够找到不同的解决方案。结果还表明,DMPs在适应新的条件下是有效的,其中没有不确定性。
2021-07-01 cs.AI cs.LG cs.RO
A Shared Autonomy Reconfigurable Control Framework for Telemanipulation of Multi-arm Systems
Istituto Italiano di Tecnologia(意大利理工学院);Universita di Pisa(比萨大学)
遥操作是一种被广泛采用的策略,以控制机器人机械手执行复杂的任务,需要高度灵巧的运动和关键的高层次的智能。经典的遥操作方案是基于操纵杆控制,或更直观的界面,直接映射到一个机器人手臂的运动用户手臂的运动。当执行给定任务需要可重构的多个机器人臂系统时,这些方法具有限制。事实上,两个或更多个机器人手臂的同时远程操作可以扩展操纵单元的工作空间,或增加其总有效载荷,或提供其他优点。在可重构多臂系统的不同阶段中,每个机器人可以充当独立的臂,或者作为一对协作臂中的一个,或者作为虚拟的大型机器人手的手指之一。这份手稿提出了一种新的远程操作框架,使任何数量的机器人手臂的单独和联合控制。由于设计的控制架构,人类操作员可以直观地选择建议的控制模态和操纵器,使任务方便地通过用户界面执行。此外,通过远程阻抗范例,系统可以通过让机器人模仿人类操作员的手臂阻抗和位置参考来解决需要物理交互的复杂任务。所提出的框架进行了验证与8个主题控制4弗兰卡Panda机器人与7自由度执行遥控操作任务。定性的实验结果表明,我们的框架的适用性。
2022-07-20 cs.RO
ModPack: Extensible Teleoperation Interface for Bimanual Mobile Manipulation
Stanford University(斯坦福大学)
针对现有遥操作系统扩展性和适应性不足的问题,提出ModPack可扩展遥操作系统,以统一框架支持多样机器人形式和任务,通过背包集成多种功能,经实验验证其灵活性和可复用性,并开源软硬件设计。
2026-10-08 cs.AI cs.RO
Upper Body Pose Estimation Using Wearable Inertial Sensors and Multiplicative Kalman Filter
University of Siena(锡耶纳大学);Università di Bologna(博洛尼亚大学)
以可穿戴的方式估计肢体姿势可以有益于多个领域,例如康复、远程操作、人机交互、游戏等等。有几种解决方案是商业上可用的,但它们通常是昂贵的或不可穿戴/便携的。我们提出了一个可穿戴姿态估计系统(WePosE),基于惯性测量单元(IMU),运动分析和身体跟踪。与基于摄像机的方法不同,所提出的系统不受遮挡问题和光照条件的影响,具有成本效益,并且可以在室内和室外环境中使用。此外,由于仅使用加速度计和陀螺仪来估计方位,因此该系统也可以在存在铁和磁干扰的情况下使用。使用高精度的光学跟踪器进行了实验验证。结果证实了所提出的方法的有效性。
2019-09-24 cs.RO
GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators
University of California, Berkeley(加州大学伯克利分校)
本文提出GELLO,一种通用、低成本且直观的遥操作框架,通过构建与目标手臂同构的控制器设备,降低高质量示范数据收集门槛,并在用户研究中证明其优于其他低成本遥操作设备,支持复杂双臂与接触丰富任务。
2024-07-18 cs.RO
Optimization of Forcemyography Sensor Placement for Arm Movement Recognition
Huazhong University of Science and Technology(华中科技大学);Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院)
如何设计一个最佳的人体运动识别可穿戴设备是至关重要的可靠和准确的人机协作。以前的工作主要是制造可穿戴设备的启发式。相反,本文提出了一个学术问题:我们能否设计一种优化算法来优化可穿戴设备的制造,例如自动计算出最佳传感器布置?具体来说,这项工作的重点是优化FMG臂章中的手臂运动识别应用的力肌(FMG)传感器的位置。首先,基于图论,考虑传感器信号和连通性,对臂章进行建模。然后,基于图的臂带建模网络(GAM-Net)的手臂运动识别。然后,建立了FMG臂章传感器布局优化模型,提出了一种基于贪婪局部搜索的优化算法。为了研究我们的优化算法的有效性,收集了一个数据集的机械维修任务,使用FMG臂章与16个传感器。我们的实验表明,仅使用4个传感器优化我们的算法可以帮助保持相当的识别精度使用所有传感器。最后,从生理学角度验证了优化的传感器布置结果。这项工作希望阐明可穿戴设备的自动制造,同时考虑下游任务,如人体生物信号收集和运动识别。我们的代码和数据集可在https://github.com/JerryX1110/IROS22-FMG-Sensor-Optimization上获得
2022-07-22 cs.CV cs.HC cs.RO
A Closed-Form Geometric Retargeting Solver for Upper Body Humanoid Robot Teleoperation
SEW-Mimic通过几何方法实现高效且准确的双臂人形机器人遥控重定向,提升任务成功率和策略学习效果。
2026-02-02 cs.RO
Trimanipulation: Evaluation of human performance in a 3-handed coordination task
Imperial College of Science Technology and Medicine(帝国理工学院);Nanyang Technological University(南洋理工大学)
许多遥操作任务需要三个或更多的工具一起工作,这需要多个操作员的合作。这种计划的有效性可能受到通信的限制。由一个单一的操作者使用人工第三臂控制与他们的自然手臂是一个很有前途的解决这个问题。脚控接口先前已经显示出用于机器人臂的连续控制的能力。然而,使用这种接口来控制与自然肢体协调的额外机器人肢体(SRL)还没有得到很好的理解。本文通过在虚拟现实场景中模拟物理耦合手的遥操作任务,对14名受试者进行了三手操作的性能评估。参与者被要求以协调的方式移动三个肢体,模仿三只手臂握住一个共同的物体。结果发现,经过一段时间的练习后,单手单足的三手三操作仍比双人操作慢,但它们在成功率和运动效率方面的表现与两人合作相似。
2021-04-13 cs.HC cs.RO
ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation
UC San Diego(加州大学圣迭戈分校)
ACE是一种跨平台视觉外骨骼遥操作系统,通过手部摄像头和外骨骼实现低成本高精度灵巧遥操作,支持多种机器人末端执行器,促进复杂任务的模仿学习。
2024-08-21 cs.CV cs.LG cs.RO
A Lightweight Force-Controllable Wearable Arm Based on Magnetorheological-Hydrostatic Actuators
Exonetik Inc.(Exonetik公司)
多余机器人肢体(SRL)是可穿戴机器人,通过充当同事、触及物体、支撑人类手臂等来增强人类能力。然而,现有SRL缺乏交互力必须可控的任务所需的机械反向驱动能力和带宽,例如绘画、操纵易碎物体、在最小化重量的同时具有高带宽的高度可反向驱动性提出了由传统电磁致动器的有限性能所强加的主要技术挑战。本文研究了使用磁流变(MR)离合器耦合到一个低摩擦静液压传动的可行性,以提供一个高能力,但重量轻,力可控的SRL。设计并制造了一个2.7kg的2自由度可穿戴机械臂。肩关节和肘关节设计为提供39和25 Nm,115和180°的运动范围。在单自由度测试台上进行的实验研究和分析验证证明了高力带宽(>25 Hz)和良好的控制相互作用力的能力,即使在与外部阻抗相互作用时。此外,三个力控制方法进行了研究和实验证明:开环,闭环力,闭环压力。这三种方法都是有效的。总的来说,建议的MR静液致动系统是非常适合于一个轻量级的SRL与人类和环境的相互作用,增加了不可预测的干扰。
2022-06-27 cs.RO