An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University(卡迪夫大学)
这项工作重新实现了OpenAI Gym多目标机器人操作环境,最初基于商业Mujoco引擎,到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能,我们证明了我们成功地重新实现了原始环境。此外,我们为用户提供新的API,通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤,多目标,长视野和稀疏奖励的机器人操作任务,旨在启发新的目标条件强化学习算法,这样的挑战。我们使用一个简单的,基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK(信息学院,爱丁堡大学);Department of Computer Science, University College London, UK(计算机科学系,伦敦大学学院)
提出混合分层学习框架ROMAN,通过整合行为克隆、模仿学习和强化学习,协调多个专门处理子任务的神经网络,有效解决机器人长跨度复杂序列操作任务,并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Diffusion Models for Robotic Manipulation: A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本综述全面回顾了Diffusion Models在机器人操作中的应用,涵盖抓取学习、轨迹规划和数据增强,并探讨了其与模仿学习和强化学习的整合及当前挑战。
2025-07-14 cs.RO stat.ML
Reward Machine Inference for Robotic Manipulation
IDLab(IDLab实验室);Ghent University(根特大学);imec(比利时微电子研究中心)
该研究提出一种从机器人操作视觉演示中直接学习奖励机的LfD方法,无需预定义命题与稀疏奖励先验,联合学习结构与关键转移事件,可准确捕捉任务结构并助力RL智能体学习最优策略。
2024-12-13 cs.LG cs.RO
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
Active Inference for Robotic Manipulation
Intelligent Autonomous Systems(智能自主系统实验室);Technical University of Darmstadt(达姆施塔特工业大学)
尽管在过去的几十年中机器人技术和机器学习取得了重大进展,但机器人操作仍然是一个很大程度上未解决的问题。操纵的核心挑战之一是部分可观察性,因为智能体通常不知道环境的所有物理属性和它预先操纵的对象。最近出现的一种以显式方式处理部分可观测性的理论是主动推理。它通过驱动智能体以一种不仅是目标导向的而且是关于环境的信息的方式行动来做到这一点。在这项工作中,我们将主动推理应用于一个难以探索的模拟机器人操作任务,其中代理必须将球平衡到目标区域。由于这项任务的回报是稀疏的,为了探索这个环境,智能体必须学习在没有任何外部反馈的情况下平衡球,纯粹是出于自己的好奇心。我们表明,主动推理引起的信息寻求行为允许代理系统地探索这些具有挑战性的,稀疏的环境。最后,我们得出结论,使用信息寻求目标是有益的,在稀疏的环境中,并允许代理解决任务的方法,不表现出定向探索失败。
2022-06-01 cs.LG cs.RO
Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space
Technical University of Munich (TUM)(慕尼黑工业大学)
智能代理必须能够快速和缓慢地思考,以执行复杂的操作任务。强化学习(RL)在一系列具有挑战性的决策任务上取得了许多有希望的结果。然而,在现实世界的机器人技术中,这些方法仍然很困难,因为它们需要大量昂贵的交互,并且反馈循环缓慢。另一方面,快速的类人自适应控制方法可以优化复杂的机器人交互,但无法集成非结构化任务所需的多模态反馈。在这项工作中,我们建议在分层学习和自适应架构中考虑学习问题,以两全其美。该框架由两个部分组成,一个缓慢的强化学习政策优化的任务策略给定的多模态观测,和一个快速,实时的自适应控制策略不断优化的运动,稳定性和努力的机械手。我们通过一个生物灵感的行动空间将这些组件结合起来,我们称之为AFORCE。我们展示了新的动作空间上的接触丰富的操作任务在真实的硬件和评估其性能上的三个模拟操作任务。我们的实验表明,AFORCE大大提高了样本效率,同时降低了能耗并提高了安全性。
2021-10-20 cs.LG cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
灵巧的多指手可以完成精细的操作行为,这是不可行的简单的机器人抓手。然而,复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案,但在传感和致动方面存在相当大的挑战,使得它们难以应用于更复杂的操作任务。在本文中,我们描述了一种方法,从示范,可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示,其中人类用自己的手演示所需的操作对象的运动,机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法,使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件,我们使用的指导政策搜索框架的扩展,使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法,学习了转动阀门,操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology(皇家理工学院)
本文提出首个面向机器人操作的联邦学习基准FLAME,包含超16万条多环境专家演示及训练评估框架,通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University(东北大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个深度的模仿学习框架,机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设,在环境中的关系信息建模可以显着提高泛化。为了实现这一点,我们建议(i)分解的多模态动力学元素的运动原语,(ii)参数化每个原语使用一个经常性的图神经网络捕捉相互作用,和(iii)集成一个高层次的计划,组成原语顺序和低层次的控制器,结合原始动力学和逆运动学控制。我们的模型是一个深层次的,模块化的架构。与基线相比,我们的模型更好地推广,并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation
Facebook(脸书)
尽管经过了数十年的研究,通用手操作仍然是机器人技术尚未解决的挑战之一。限制当前机器人操作系统的因素之一是难以精确地感测接触力--关于接触力的感测和推理对于精确地控制与环境的交互至关重要。作为实现更好的机器人操作的一步,我们推出了DIGIT,一种面向手操作的廉价,紧凑,高分辨率触觉传感器。DIGIT通过将形状因子简化为可安装在多指手上,并通过提供几项设计改进来改进过去基于视觉的触觉传感器,从而实现更简单、更可重复的制造过程,并增强可靠性。我们通过训练基于深度神经网络模型的控制器来展示DIGIT传感器的能力,以用多指机器人手操纵玻璃弹珠。为了向机器人社区提供可靠且低成本的触觉传感器,我们在https://digit.ml/上开源了DIGIT设计。
2020-05-29 cs.LG cs.RO cs.SY
Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida(南佛罗里达大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);German Aerospace Center (DLR)(德国航空航天中心);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
本文结合最新的机器人抓取与操作竞赛(RGMCs)讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后,我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析,并根据竞争团队近年来的表现确定了最困难的方面。我们相信,这样的分析是有见地的,以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa(比萨大学);Institute of Information Science and Technologies (ISTI), National Research Council (CNR)(国家研究委员会信息科学与技术研究所)
本文提出持续策略蒸馏框架,通过策略蒸馏与样本回放缓解灾难性遗忘,训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity
University of Washington(华盛顿大学)
基于学习的3D对象重建使得能够对3D对象模型进行单次或Few-Shot估计。对于机器人来说,这有可能使基于模型的方法快速适应新的对象和场景。现有的3D重建技术优化视觉重建保真度,通常通过倒角距离或体素IOU测量。我们发现,当应用到现实的,杂乱的机器人环境中,这些系统产生重建与低物理现实主义,导致在基于模型的控制时,在较差的任务性能。我们提出了ARM,一个非模态3D重建系统,它引入了(1)对象形状的稳定性先验,(2)连通性先验,(3)多通道输入表示,允许对对象组之间的关系进行推理。通过使用这些先验的物体的物理属性,我们的系统不仅通过标准的视觉指标提高了重建质量,而且还提高了基于模型的控制在具有挑战性的,混乱的环境中的各种机器人操作任务的性能。代码可在github.com/wagnew3/ARM上获得。
2020-09-28 cs.CV cs.LG cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe(NAVER欧洲实验室);TU Darmstadt(达姆施塔特工业大学);EPITA Research Laboratory (LRE)(EPITA研究实验室);German Research Center for AI (DFKI)(德国人工智能研究中心);Center for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森州人工智能中心)
针对机器人操作技能学习需求,提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法,可生成交互性更强的可组合技能,适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)(昆士兰科技大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心)
我们量化了各种模拟器的准确性相比,现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案,而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好,或根本无法表现。利用Kinova机器人机械手和运动捕捉系统,我们记录了地面实况,使各种模拟器的比较,并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点,突出了显著差异的领域,并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida(中佛罗里达大学)
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法,通过无监督跨具身对齐和人类示范动力学学习,在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University(北京大学计算机学院超平面实验室);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出RGBManip框架,利用夹爪上的单目相机进行主动多视角6D物体位姿估计,并通过强化学习平衡位姿精度与操作效率,在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
T-DOM: A Taxonomy for Robotic Manipulation of Deformable Objects
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出T-DOM分类体系,首次系统分类可变形物体操作中的机器人运动、力、抓持交互及物体变形,并通过十个任务验证其能识别以往分类体系无法区分的操作技能,为可变形物体机器人操作提供更细粒度的理论框架。
2024-12-30 cs.RO
Diffusion-EDFs: Bi-equivariant Denoising Generative Modeling on SE(3) for Visual Robotic Manipulation
Yonsei University(延世大学);University of California, Berkeley(加州大学伯克利分校);Samsung Research(三星研究院);Massachusetts Institute of Technology(麻省理工学院);Ewha Womans University(梨花女子大学)
本文提出 Diffusion-EDFs,一种基于 SE(3) 等变扩散的视觉机器人操作方法,仅需 5 到 10 个人类演示即可在一小时内完成端到端训练,并在泛化性、鲁棒性及真实硬件实验中优于现有方法。
2023-11-28 cs.AI cs.LG cs.RO
Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation
Cornell University(康奈尔大学);Yale University(耶鲁大学)
本文提出一种反思式测试时计算框架,通过生成模型想象未来状态并批判性反思,增强视觉语言模型在多阶段长时程机器人操作中的物理推理能力,显著优于现有商业VLM及MCTS等方法。
2025-02-23 cs.AI cs.LG cs.RO
Robotic Dexterous Manipulation via Anisotropic Friction Modulation using Passive Rollers
Northeastern University(东北大学);RAI Institute(RAI研究所)
本文提出一种通过被动滚轮调节接触摩擦和约束方向的机器人指尖设计,实现了多样化的灵巧操作,包括滑动、旋转和多物体 manipulation,展示了低复杂度机械高效摩擦调节方法的优越性。
2026-03-29 cs.RO
STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation
Ecole Centrale de Lyon, LIRIS(里尔森中央理工大学,LIRIS实验室)
提出STORM模块,通过多阶段训练策略将冻结的视觉基础模型与语义感知槽结合,生成面向对象的任务感知表示,提升机器人操作在视觉干扰下的泛化性和控制性能。
2026-06-26 cs.RO
Towards advanced robotic manipulation
Dublin City University(都柏林城市大学);Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);University College Dublin(都柏林大学学院)
近年来,机器人操作和控制的重要性日益增加。然而,当需要在现实世界应用中操作时,现有技术仍然具有限制。本文探讨了在模拟和真实环境中的后见之明经验重演,突出其弱点,并提出基于奖励和目标塑造的替代方案。此外,还确定了几个研究问题以及可以探索解决这些问题的潜在研究方向。
2022-09-26 cs.RO
Q-attention: Enabling Efficient Learning for Vision-based Robotic Manipulation
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院)
尽管强化学习方法取得了成功,但在应用于广泛的机器人操作任务时,它们还没有突破性的时刻。这在一定程度上是由于强化学习算法是众所周知的困难和耗时的训练,当从图像而不是全状态输入进行训练时,这种情况会加剧。当人类执行操作任务时,我们的眼睛会密切监视该过程的每一步,我们的目光依次聚焦在被操作的对象上。考虑到这一点,我们提出了我们的注意力驱动的机器人操作(ARM)算法,这是一个通用的操作算法,可以应用于一系列稀疏奖励的任务,只有少量的演示。ARM将复杂的操作任务分为3个阶段的流水线:(1)Q-attention代理从RGB和点云输入中提取相关像素位置,(2)下一个最佳姿势代理从Q-attention代理接受裁剪并输出姿势,以及(3)控制代理采取目标姿势并输出联合动作。我们表明,目前的学习算法失败的RLBench任务的范围,而ARM是成功的。
2022-02-04 cs.AI cs.CV cs.LG
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University(山东大学);Shanghai Jiao Tong University(上海交通大学)
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势,这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而,一般的视频描述方法更多地关注于对全帧的理解,缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型,从人类演示视频中学习机器人操作的动作。它由两个深度网络组成,抓取检测网络(GNet)和视频描述网络(CNet)。GNet执行两个功能:提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明,我们的方法可以产生更准确的命令,从视频演示比国家的最先进的工作,从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
Learning Smooth and Robust Space Robotic Manipulation of Dynamic Target via Inter-frame Correlation
Research Center for Intelligent Robotics, School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院智能机器人研究中心);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Aeronautics and Astronautics, Sichuan University(四川大学空天科学与工程学院)
本文提出一种数据驱动的空间机械臂操作方法,通过利用历史帧与当前帧的时序相关性,实现对未知和非结构化空间环境中动态目标的精确操控。
2026-03-29 cs.RO
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题,提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准,其模拟器较现有工具误差降20%且速度快3倍,将公开以推动该领域研究。
2025-11-12 cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich(苏黎世联邦理工学院)
VQ-ACE通过压缩人类手部运动到量化潜在空间,结合MPC和RL,在灵巧操作任务中实现高效策略搜索,提升成功率并加速学习。
2024-11-05 cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics(亚马逊机器人公司);Rutgers University(罗格斯大学)
本文介绍了Amazon Robotic Manipulation Benchmark(ARMBench),这是一个大规模的、以对象为中心的基准数据集,用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象,非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景,在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集,收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据,对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获,即,预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战,即1)在混乱中的对象分割,2)对象识别,和3)缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University(上海大学);Midea Group(美的集团);East China Normal University(华东师范大学)
本文提出深度感知预训练方法DPR,利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力,并引入本体感知注入策略网络,在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
Safety filtering of robotic manipulation under environment uncertainty: a computational approach
Department of Physics, Umeå University(物理系,乌梅学院);Algoryx Simulation AB(Algoryx模拟公司)
针对动态非结构化环境中机器人操作的安全问题,提出基于物理的安全过滤方案,利用高保真仿真结合密集展开与稀疏重评估,有效识别并过滤不安全轨迹。
2025-09-16 cs.RO
Standardization of Cloth Objects and its Relevance in Robotic Manipulation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对机器人操作可变形布料物体时难以理解和标准化其属性的问题,本研究提出适用于机器人应用的布料表征框架,初步验证了其表征能力并揭示布料属性对机器人操作任务的影响,提出相关测量方法。
2024-03-07 cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
高分辨率触觉传感器通常体积庞大,并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时,这变得重要,其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器,如GelSight,由于照明几何形状的限制,到目前为止一直被限制在相对平坦的几何形状。在这里,我们展示了如何构建一个圆形的指尖,利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图,并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
Benchmarking Simulated Robotic Manipulation through a Real World Dataset
Data61, Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO)Data61研究所);Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
我们提出了一个基准,以促进模拟操作,试图克服物理基准的障碍,通过一个真实的世界,地面实况数据集的分布。用户被赋予各种模拟操作任务,所分配的协议具有复制所记录的数据集的真实世界结果的目标。该基准包含一系列用于验证提交的环境的成功的指标,同时提供对其缺陷的洞察。我们将我们的基准测试应用于两个仿真环境,PyBullet和V-Rep,并发布结果。基准测试环境所需的所有材料,包括协议和数据集,都可以在基准测试网站https://research.csiro.au/robotics/manipulation-benchmark/上找到。
2019-11-27 cs.RO
Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations
本研究提出HERO自改进层级具身智能体,通过整合启发式推理等技术,实现机器人从零人类演示自主演进操作能力,减少数据收集人工干预并提升多样化任务操作稳健性。
2026-07-30 cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
BulletArm: An Open-Source Robotic Manipulation Benchmark and Learning Framework
我们提出了BulletArm,一个新的机器人操作基准和学习环境。BulletArm的设计围绕两个关键原则:可重复性和可扩展性。我们的目标是通过在模拟中提供一组标准化的基准任务以及一系列基线算法,鼓励机器人学习方法之间进行更直接的比较。该框架由31个不同难度的操作任务组成,从简单的伸手和拾取任务到更现实的任务,如装箱和托盘堆垛。除了提供的任务外,BulletArm还提供了一套工具来帮助用户在框架中添加新任务。此外,我们引入了一组五个基准,并使用一系列最先进的基线算法进行评估。通过将这些算法作为我们框架的一部分,我们希望鼓励用户根据这些基线对任何新任务进行基准测试。
2022-10-17 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
Incorporating Task Progress Knowledge for Subgoal Generation in Robotic Manipulation through Image Edits
University of Virginia(弗吉尼亚大学)
本文提出TaKSIE框架,通过联合循环网络与潜在扩散模型生成视觉子目标,利用任务进度知识提升机器人操作策略的鲁棒性,在CALVIN基准上取得最先进性能。
2024-12-17 cs.RO
Evaluating Model-Agnostic Meta-Learning on MetaWorld ML10 Benchmark: Fast Adaptation in Robotic Manipulation Tasks
MetaWorld ML10 Benchmark(MetaWorld ML10基准)
本文在MetaWorld ML10机器人操控基准上评估结合TRPO的MAML算法,验证其少样本适配效果,分析其泛化差距与性能方差,指出该类方法的潜力与局限。
2025-11-15 cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University(复旦大学);MEGVII Technology(MEGVII科技)
提出Energy Policy框架,通过能量分数和能量MLP实现单次前向传播预测多模态动作,在模拟和真实任务中匹配或超越最先进方法,并显著降低计算开销。
2025-10-14 cs.CV cs.RO
Learning Robotic Manipulation of Granular Media
University of Washington(华盛顿大学);Google, Inc.(谷歌公司);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,机器人操作的颗粒介质。我们评估了多个预测模型,用于推断挖掘和倾销行动的动态。这些模型在涉及操纵媒体以使其变形成所需形状的任务上进行评估。我们的最佳性能模型是基于高度定制的卷积网络架构,具有特定领域的优化,我们准确地模拟了机器人铲与底层媒体的物理交互。我们的经验表明,明确预测物理力学的结果在一个政策,执行手工制作的动态基线,和“价值网络”,否则必须隐含地预测相同的力学,以产生准确的价值估计。
2017-10-25 cs.RO
RAFAIL: Relationship-Aware Failure Detection for Robotic Manipulation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对机器人操作中的故障检测,提出RAFAIL框架,通过检测实体间任务相关关系的异常来识别故障,无需故障数据,在三个真实任务上达到73.4%的平衡准确率。
2026-09-17 cs.RO