H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
Improved Learning of Robot Manipulation Tasks via Tactile Intrinsic Motivation
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们解决了机器人操作任务的深度强化学习探索的挑战。在稀疏目标设置中,智能体在随机实现目标之前不会收到任何正反馈,这对于较长的控制序列变得不可行。受儿童中观察到的基于触摸的探索的启发,我们基于机器人的力传感器和鼓励物理交互的操纵对象之间的力的总和来制定内在奖励。此外,我们引入接触优先经验重放,采样方案,优先接触丰富的插曲和过渡。我们表明,我们的解决方案加速了探索,并优于三个基本的机器人操作基准的最先进的方法。
2021-02-22 cs.AI cs.LG cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
Stanford University(斯坦福大学);Nvidia(英伟达);University of Toronto(多伦多大学)
大型、注释丰富的数据集加速了计算机视觉和自然语言处理等领域的进步,但在机器人领域复制这些成功一直是一个挑战。虽然诸如自我监督的现有数据汇集方法已经导致了大的数据集,但是数据可能具有差的信噪比。相比之下,以前收集人类任务演示的努力提供了更高质量的数据,但它们无法达到相同的数据量。此外,这两种方法都不能保证所收集的数据在解决方案战略方面的多样性。在这项工作中,我们利用和扩展的RoboTurk平台,以扩大数据汇集的机器人操作使用远程遥控。我们平台的主要动机有两个方面:(1)解决先前工作的缺点,并在不牺牲数据质量的情况下,将通过人工监督收集的操作数据总量增加一个数量级;(2)收集多个操作员之间具有挑战性的操作任务的数据,并观察各种紧急行为和解决方案。我们在1周内收集了54名用户超过111小时的机器人操作数据和3项具有挑战性的操作任务,从而形成了通过远程遥控操作收集的最大机器人数据集。我们通过定量和定性分析来评估平台的质量、数据集中演示的多样性以及数据集的实用性。有关其他结果、补充视频以及下载我们的数据集,请访问www.example.com。
2019-11-11 cs.HC cs.LG cs.RO
Leveraging Passive Compliance of Soft Robotics for Physical Human-Robot Collaborative Manipulation
Brigham Young University(杨百翰大学)
本文通过气动连续体软体机械臂与全向移动基座组成的系统,基准测试了大型软体机器人与人协作操控长形物体的能力,结果表明其表现可媲美人类非视觉跟随者,并挑战了软体机器人力量受限的传统认知。
2025-04-11 cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(DRL)已成为机器人科学中一种强大的控制技术。与控制理论相比,DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力,我们设计了具有挑战性的操作任务,以观察机器人处理复杂场景的策略。我们观察到,机器人不仅能成功地执行任务,而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性,以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
Learning to Transfer Human Hand Skills for Robot Manipulations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔大学)
本文提出从人类手部示范学习联合运动流形并生成伪监督三元组,以推断合理机器人动作,显著提升真实机器人灵巧操作的重定向效果。
2025-01-07 cs.AI cs.LG cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
Casting manipulation of unknown string by robot arm
针对专用抛投操作器无法完成常规任务的问题,提出普通机械臂拾取未知绳索实现抛投操作的方法,通过仿真运动生成、实际操作、参数估计三步迭代逼近真实运动,经实验验证有效,可提升多类机器人性能。
2024-01-30 cs.RO
Vision-based Robot Manipulation Learning via Human Demonstrations
Beihang University(北京航空航天大学)
基于视觉的学习方法为机器人学习复杂的操作任务提供了希望。然而,如何将学习到的操作技能推广到现实世界的交互仍然是一个悬而未决的问题。在这项工作中,我们研究了机器人操作技能的学习,从一个单一的第三人称视图演示使用活动识别和目标检测在计算机视觉。为了促进跨对象和环境的泛化,我们建议使用文本语料库形式的先验知识库来推断在机器人的上下文中要与之交互的对象。我们评估我们的方法在现实世界中的机器人,使用几个简单和复杂的操作任务,在日常生活中经常执行。实验结果表明,即使在少量训练数据的情况下,该方法也能取得良好的泛化性能。
2020-03-01 cs.RO
Hierarchical Adaptive Loco-manipulation Control for Quadruped Robots
University of Southern California(南加州大学)
足式机器人在不平坦地形的导航中显示出显著的优势。然而,在四足机器人上实现有效的运动和操纵任务仍然具有挑战性。此外,对象和地形参数通常是未知的机器人在这些问题。因此,本文提出了一种分层自适应控制框架,使足式机器人执行本地操作任务,而无需任何给定的假设对象的质量,摩擦系数,或地形的坡度。在我们的方法中,我们首先提出了一个自适应操纵控制来调节接触力,以操纵未知地形上的未知物体。然后,我们介绍了一个统一的模型预测控制(MPC)的本地操作,考虑到我们的机器人动力学的操纵力。因此,建议MPC框架可以有效地调节机器人和物体之间的相互作用力,同时保持机器人的平衡。我们所提出的方法的实验验证成功地进行了Unitree A1机器人,允许它操纵一个未知的时变负载$7$ $kg$($60\%$的机器人的重量)。此外,我们的框架能够快速适应未知的斜率(高达$20^\circ$)或具有不同摩擦系数的不同表面。
2023-03-11 cs.RO
Do Rigid-Body Simulators Dream of Soft Robots? Learning Contact-Rich Manipulation for Tendon-Driven Continuum Robots
University of Toronto(多伦多大学)
针对肌腱驱动连续体机器人缺乏接触丰富操作模拟基础设施的问题,提出基于连续介质力学的离散化方法,将软体机器人原生集成到MuJoCo中,实现仿真到真实世界的零样本迁移。
2026-06-23 cs.RO
SCENEREPLICA: Benchmarking Real-World Robot Manipulation by Creating Replicable Scenes
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出聚焦抓取放置的真实世界机器人操作可复现基准SCENEREPLICA,采用YCB物体数据集,评估了基于模型与无模型的6D抓取算法,为领域提供标准化评估工具以加速研发进展。
2024-03-11 cs.CV cs.LG cs.RO
Linear Time-Varying MPC for Nonprehensile Object Manipulation with a Nonholonomic Mobile Robot
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);University of Naples(那不勒斯大学)
本文提出了一种非完整移动机器人通过推动操作物体的技术,推动是一种非连续的操作运动基元。这种原语涉及与机器人和被操纵对象之间的摩擦相关联的单边约束。违反此约束会在操纵过程中产生对象的滑动,从而阻止正确完成任务。设计了一种线性时变模型预测控制,使控制行为中包含了适当的单边约束。该方法是通过先锋3-DX轮式机器人执行的推动操作的包装在动态仿真环境中进行验证。
2020-03-23 cs.RO
A Thesis on Loco-Manipulation with Non-impulsive Contact-Implicit Planning in a Slithering Robot
Electrical and Computer Engineering(电气与计算机工程学院)
针对蛇形机器人通过运动实现物体操作的问题,本文为 COBRA 提出基于非脉冲式隐式接触路径规划的优化框架,并通过高保真仿真和实验验证其有效性。
2024-05-09 cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习(RL)从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而,仅从视觉输入执行细粒度的运动控制是具有挑战性的,特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置,其中代理接收视觉反馈,从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的,但以自我为中心的相机使机器人能够主动控制其视觉,以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息,我们还建议使用具有交叉视图注意力机制的Transformers,该机制将空间注意力从一个视图建模到另一个视图(反之亦然),并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习,并成功地转移到一组具有挑战性的操作任务,在一个真实的机器人上,未校准的相机,无法访问状态信息,以及高度的任务可变性。在锤子操作任务中,我们的方法在75%的试验中成功,而对于多视图和单视图基线,分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
A Review of Robot Learning for Manipulation: Challenges, Representations, and Algorithms
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Brown University(布朗大学)
智能机器人的一个关键挑战是创造能够直接与周围世界互动以实现目标的机器人。在过去的十年里,机器人操作问题的研究有了长足的发展,其目的是利用越来越多的负担得起的机器人手臂和抓手来创造能够直接与世界互动的机器人,以实现其目标。学习将是这种自主系统的核心,因为现实世界包含太多的变化,机器人无法期望提前对其环境、其中的物体或操纵它们所需的技能有一个准确的模型。我们的目标是调查使用机器学习进行操作的研究的一个代表性子集。我们描述了机器人操作学习问题的形式化,将现有的研究综合成一个连贯的框架,并突出了许多剩余的研究机会和挑战。
2020-11-06 cs.RO
Underwater Robot Manipulation: Advances, Challenges and Prospective Ventures
Technology Innovation Institute (TII)(技术创新研究院)
水下操纵是机器人领域最引人注目的研究课题之一。\acp{I-AUV}不仅要应对与传统操作任务相关的技术挑战,而且要在水流和波浪干扰车辆稳定性,以及低光、浑浊的水条件阻碍感知周围环境的情况下完成这些任务。当然,动态的性质和我们对海洋环境的有限了解阻碍了水下机器人操作的自主性能。这份手稿提供了一个讨论以前的研究和限制因素,强加在长期设想的前景自主水下操纵,最终突出的研究方向,有可能提高自主能力的I-AUV。
2022-01-09 cs.RO
Human Interface for Teleoperated Object Manipulation with a Soft Growing Robot
Stanford University(斯坦福大学)
软生长机器人被提出用于复杂的操作任务或灾难场景中的导航等应用。安全的交互和易于生产促进了这项技术的使用,但由于其独特的自由度,软体机器人的遥操作可能具有挑战性。在本文中,我们提出了一个以人为中心的界面,允许用户远程操作的软增长的机器人使用手臂运动的操作任务。进行了一项研究,以评估我们的软体机器人的界面和性能的直观性,涉及取放操作任务。结果显示,用户完成任务的成功率为97%,平均放置误差低于2厘米。这些结果表明,我们的身体运动为基础的接口是一种有效的方法,用于控制软增长机器人机械手。
2019-10-28 cs.RO
Hierarchical Adaptive Control for Collaborative Manipulation of a Rigid Object by Quadrupedal Robots
University of Southern California(南加州大学)
本文提出一种用于四足机器人协作操作刚性物体的分层控制系统,包含自适应力计算、基于QP的力分配与接触点优化、以及分散式移动操作控制器,成功在仿真中实现不同地形下操作18kg未知物体并保持稳定。
2023-07-28 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
A Review on Robot Manipulation Methods in Human-Robot Interactions
Institute of Intelligent Systems Research and Innovation (IISRI), Deakin University(迪肯大学智能系统研究与创新研究所);Harvard Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学哈佛保尔森工程与应用科学学院)
本文综述了人机交互中机器人操作算法的近期自主与自适应学习方法,重点比较了Reinforcement Learning和Imitation Learning的主要特征与流行算法及其在复杂环境中的应用。
2023-09-09 cs.HC cs.RO
Region-Based Planning for 3D Within-Hand-Manipulation via Variable Friction Robot Fingers and Extrinsic Contacts
Worcester Polytechnic Institute(伍斯特理工学院);Imperial College London(伦敦帝国理工学院)
实现机器人手内操纵(WIHM)的尝试通常利用具有精细感测装置的高DOF机器人手或多臂机器人系统。在以前的工作中,我们提出了一个简单的机器人手与可变摩擦机器人手指,它允许一个低复杂度的方法,手内物体的平移和旋转,虽然这种操作仅限于平面动作。在这项工作中,我们扩展了该系统的能力,三维操纵一个新的区域为基础的WIHM规划算法,并利用外部接触。调节手指摩擦力的能力增强了三维WIHM的外在灵活性,并允许我们在准静态水平下操作。基于区域的规划器自动生成具有修改的A* 公式的3D操作序列,该修改的A* 公式导航手指和对象表面之间的接触区域以到达期望的区域。该方法的核心是一组物体运动基元(即手内滑动,旋转和旋转),这可以很容易地通过改变接触摩擦来实现。通过这种方法,可以实现广泛的目标区域,这是通过真实的机器人实验后,标准化的手操作基准协议证明。
2021-05-20 cs.RO
RobotGPT: Robot Manipulation Learning from ChatGPT
Samsung Research China – Beijing (SRC-B)(三星中国研究院——北京(SRC-B));Tsinghua University(清华大学);Universität Hamburg(汉堡大学)
本文提出RobotGPT框架,通过有效提示结构和鲁棒学习模型,利用ChatGPT作为专家训练稳定可靠的机器人操作智能体,将任务成功率从38.5%提升至91.5%,解决了直接使用ChatGPT生成代码的不稳定与安全问题。
2023-12-03 cs.RO
HuMI: Humanoid Whole-Body Manipulation from Humanoid-Free Demonstrations
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai Jiao Tong University(上海交通大学)
HuMI通过便携硬件实现无需机器人演示的全身体验操控,提升数据收集效率并提高未见环境中的任务成功率。
2026-11-10 cs.AI cs.LG cs.RO
Towards Super-Nominal Payload Handling: Inverse Dynamics Analysis for Multi-Skill Robotic Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对机器人受额定负载限制的问题,本文通过 Franka Emika Panda 的逆动力学实证分析,证明其可处理两倍以上额定负载,并指出结合非抓握原语可提升超重操作成功率。
2024-12-01 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University(北京大学计算机学院超平面实验室);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出RGBManip框架,利用夹爪上的单目相机进行主动多视角6D物体位姿估计,并通过强化学习平衡位姿精度与操作效率,在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Hefty: A Modular Reconfigurable Robot for Advancing Robot Manipulation in Agriculture
Ecorobotix(Ecorobotix公司)
针对农业机器人配置成本高、任务差异大的问题,本文设计模块化可重构机器人 Hefty,给出关键模块设计与集成流程,并以五种实际农业应用配置验证其实用性。
2024-02-28 cs.RO
Towards Robot-independent Manipulation Behavior Description
Deutsches Forschungszentrum für Künstliche Intelligenz(德国人工智能研究中心)
在本文中,我们提出了一个工作流程来设计和控制机器人的操作行为。为了保持独立于特定的机器人硬件和明确的应用领域,嵌入式领域特定语言(eDSL)被用于描述特定的机器人和驱动机器人的控制器网络。我们利用a)基于组件的软件框架,b)基于模型的算法的运动和传感器处理表示,c)控制系统的抽象模型,和d)计划管理软件,来描述一系列的软件组件网络,生成所需的机器人行为。作为第一个结果,我们提出了一个eDSL的机电一体化子系统组成的机器人系统的描述,并创建一个多阶段的控制网络。
2014-12-10 cs.RO
Human-in-the-loop Robotic Manipulation Planning for Collaborative Assembly
Osaka University(大阪大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种面向人机协同装配的机器人操作规划器。与以往研究一个独立的、完全配备人工智能的自主系统的方法不同,本文探讨了机器人和人之间的子任务分配,并研究了一个用于协同装配的人在回路机器人系统。该系统通过利用机器人和人类的优势,避免他们的缺点,分配装配的子任务。系统中的机器人将执行拾取和放置任务,并为人类提供工件。人类合作者将工作的精细操作,如对齐,固定,拧,等约束为基础的增量操作规划方法,提出了产生的机器人的运动。所提出的系统的性能证明,要求一个人和双臂机器人协作组装一个内阁。实验结果表明,所提出的系统和规划器是有效的,高效的,可以帮助人类舒适地完成装配任务。
2019-09-25 cs.RO
Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream
University of Alberta(阿尔伯塔大学)
日常生活中的操作任务,如倒水,在特定的操作情境下有意识地展开。随着时间的推移,能够处理这些日常生活活动(ADL)中的上下文知识可以帮助我们理解操纵意图,这对于智能机器人在各种操纵动作之间平稳过渡至关重要。在本文中,建模的预期概念的操作,我们提出了一个视觉数据集下的严格约束的知识域的机器人和人类的操作,其中操作的概念和关系存储在一个本体系统的分类方式。此外,我们提出了一个计划,以产生一个组合的视觉注意力和不断发展的知识图谱充满常识知识。我们的计划与现实世界的摄像机流和融合基于注意力的视觉语言模型与本体系统。实验结果表明,该方案可以成功地代表一个预期的对象操作过程的机器人和人类的演变。该方案允许机器人通过观看实时视频来模仿人类的有意行为。我们的目标是进一步发展这个计划,为现实世界的机器人智能人机交互。
2020-03-02 cs.CV cs.RO
Arm Manipulation Planning of Tethered Tools with the Help of a Tool Balancer
Osaka University(大阪大学)
机器人操纵系留工具在机器人工作单元中被广泛看到。它们可能会导致工具的电缆上的过度应变或与机器人手臂的不希望的缠绕。本文提出了一种具有电缆方向约束的工具平衡器悬挂的系留工具的操作规划器。规划器使用方向约束来限制平衡器的电缆的弯曲,而机器人操纵工具,并将其放置在所需的姿势。这些约束减少了缠绕并减小了由线缆在机器人关节上引起的扭矩。仿真和真实世界的实验表明,受约束的规划器可以成功地规划机器人运动的悬浮系留工具的操作,防止机器人损坏电缆或得到其手臂纠缠,潜在地避免事故。该规划器在制造单元中具有广阔的应用前景。
2018-12-15 cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Supervised Autonomous Locomotion and Manipulation for Disaster Response with a Centaur-like Robot
University of Bonn(波恩大学)
移动操作任务是搜救机器人领域的关键挑战之一,要求机器人具有灵活的移动和操作能力。由于任务大多是事先未知的,因此机器人在执行任务期间必须适应各种地形和工作空间。类似半人马座的机器人Centauro有一个混合的腿轮底座和一个拟人化的上身,可以在对人类来说太危险的环境中执行复杂的任务。由于机器人具有大量的自由度,用直接遥操作方法控制机器人是具有挑战性的和令人疲惫的。监督自治方法有望提高控制的质量和速度,同时保持解决未知任务的灵活性。我们开发了一套具有不同自主水平的操作员辅助功能,以控制机器人完成具有挑战性的运动和操作任务。综合系统在灾害应对情景中进行了评估,表现出良好的性能。
2019-03-06 cs.RO
Integrating Visual Foundation Models for Enhanced Robot Manipulation and Motion Planning: A Layered Approach
本文提出一种五层框架,融合视觉基础模型提升机器人操作与运动规划,实现实时调整和持续学习,并通过实验验证其在动态环境中的部署潜力。
2023-09-20 cs.RO
Manipulation Motion Taxonomy and Coding for Robots
University of South Florida(南佛罗里达大学)
本文介绍了一种分类的操作,特别是在烹饪1)分组操作从机器人的角度来看,2)巩固别名和消除运动类型的歧义,和3)提供了一条路径,将学习的操作新的未学习的操作。使用教学视频作为参考,我们选择了一个列表中常见的操作动作在烹饪活动中看到的分组为类似的运动的基础上的几个轨迹和接触属性。操作代码,然后开发的分类属性的基础上表示的操作运动。操作分类,然后用于比较日常交互式操作(DIM)数据集中的运动数据,以揭示它们的运动相似性。
2020-07-31 cs.CV cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University(上海大学);Midea Group(美的集团);East China Normal University(华东师范大学)
本文提出深度感知预训练方法DPR,利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力,并引入本体感知注入策略网络,在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
Discovering Synergies for Robot Manipulation with Multi-Task Reinforcement Learning
Columbia University(哥伦比亚大学)
控制具有高维动作空间的机器人进行灵巧操作是一个具有挑战性的问题。受人类操作的启发,研究人员研究了机器人手的姿势协同作用的生成和使用,以完成操作任务,利用协同动作空间的低维性质。然而,许多这些工作需要预先收集的数据,从现有的控制器,以获得这样的子空间,通过降维。在本文中,我们提出了一个框架,同时发现一个协同空间和多任务的政策,在这个低维的行动空间,以完成不同的操作任务。我们证明了我们的端到端方法能够使用很少的协同作用来执行多个任务,并且优于将降维应用于独立收集的数据的顺序方法。我们还表明,使用多个任务产生协同作用可以导致一个子空间,使机器人能够有效地学习新的操作任务和与新对象的交互。
2022-06-29 cs.RO
T-DOM: A Taxonomy for Robotic Manipulation of Deformable Objects
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出T-DOM分类体系,首次系统分类可变形物体操作中的机器人运动、力、抓持交互及物体变形,并通过十个任务验证其能识别以往分类体系无法区分的操作技能,为可变形物体机器人操作提供更细粒度的理论框架。
2024-12-30 cs.RO
Robotic Perception in Agri-food Manipulation: A Review
University of Lincoln(林肯大学)
为了更好地优化全球食品供应链,需要机器人解决方案来自动化目前由人类完成的任务。也就是说,表型分析,质量分析和收获都是农业机器人领域的开放问题。机器人感知是自主解决诸如场景理解和目标检测等问题的关键挑战,这些问题是机器人可能承担的任何抓取任务的重要先决条件。这项工作进行了简要回顾现代机器人的感知模型,并讨论其在农业食品领域的功效。
2022-08-22 cs.RO
Adaptive Shape-Servoing for Vision-based Robotic Manipulation with Model Estimation and Performance Regulation
University of Toronto(多伦多大学)
针对弹性杆操作的形状降维、建模与控制器设计难题,提出无需先验知识的无模型操作框架,结合AKF在线估计与MFAC及性能调节实现形状伺服,经仿真验证有效,提升了变形对象操作自主性。
2023-12-11 cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Reward-Based Environment States for Robot Manipulation Policy Learning
Engineering school UPSSITECH(UPSSITECH 工程学院);University of Toulouse III(图卢兹第三大学);IRIT, Paul Sabatier University(保罗·萨巴捷大学 IRIT 研究所);CNRS(法国国家科学研究中心);School of Computer Science(计算机科学学院);University of Lincoln(林肯大学)
机器人操作策略的训练是机器人学和人工智能领域的一个具有挑战性的开放性问题。在本文中,我们提出了一种新的和紧凑的状态表示的基础上,从基于图像的任务成功分类器预测的奖励。我们的实验使用Pepper机器人进行模拟,在抓取和提升任务上使用两种深度强化学习算法,表明我们提出的状态表示可以使用我们的最佳策略实现高达97%的任务成功率。
2021-12-10 cs.RO
PhyRoGen: Synthetic Generation of Physical Robot Manipulation Puzzles Using Procedural Content Generation
Technical University of Berlin(柏林技术大学);Robotics Institute Germany(德国机器人研究所)
提出PhyRoGen框架,利用程序化内容生成自动创建机器人操作谜题的合成数据集,生成的24个谜题可在1-300秒内求解,并在物理仿真中验证可操作性。
2026-06-04 cs.RO
Decidability in Robot Manipulation Planning
CNRS(法国国家科学研究中心);LAAS(系统分析与体系结构实验室);Courant Institute, NYU(纽约大学库朗研究所)
考虑规划$n$对象在可移动的平面中的无碰撞运动的问题,该平面可通过与能够在平面中自主平移并且能够同时移动最多$m \leq n$对象的机器人接触来移动。这代表了一个操作规划问题的抽象公式,在本文中被证明是可判定的。用于证明这种简化的操纵规划问题的可判定性的工具,事实上,一般足以处理的可判定性问题的更广泛的系统类的特征在于分层配置空间。这些问题包括,例如,腿和多接触运动,双手操纵的问题。此外,所描述的方法不限制要考虑的操纵系统的动力学。
2018-11-08 cs.RO
High-Precise Robot Arm Manipulation based on Online Iterative Learning and Forward Simulation with Positioning Error Below End-Effector Physical Minimum Displacement
Peking University(北京大学)
精度是机器人手臂的关键性能指标,因为高精度操作允许更广泛的应用。传统的提高机器人手臂精度的方法依赖于误差补偿。然而,这些方法通常不鲁棒并且缺乏适应性。基于学习的方法提供了更大的灵活性和适应性,而目前的研究表明,它们往往无法达到高精度,并且难以处理许多需要高精度的场景。本文提出了一种基于在线迭代学习和前向仿真的高精度机械臂操作框架,该框架能够实现小于末端执行器物理最小位移的定位误差(精度)。此外,我们将多个高精度操作策略并行化,以更好地结合在线迭代学习和正向模拟。此外,我们考虑的关节角分辨率的实际机器人手臂,这是通常被忽略的相关工作。仿真和真实UR3机器人手臂平台上的一系列实验表明,我们提出的方法是有效的和有前途的。相关代码将很快发布。
2023-02-26 cs.RO
EgoSpeedUp: Transferring Human Manipulation Tempo to Robot Policies
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立产业技术综合研究所(AIST))
EgoSpeedUp通过人类演示的节奏监督,对齐并迁移分阶段操作节奏至机器人模仿学习,在真实任务中提升成功率25个百分点并减少36.5%执行时间。
2026-09-28 cs.CV cs.RO