MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University(复旦大学);MEGVII Technology(MEGVII科技)
提出Energy Policy框架,通过能量分数和能量MLP实现单次前向传播预测多模态动作,在模拟和真实任务中匹配或超越最先进方法,并显著降低计算开销。
2025-10-14 cs.CV cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Robotic Programmer: Video Instructed Policy Code Generation for Robotic Manipulation
Institute of Computing Technology, Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出机器人基础模型 RoboPro,通过 Video2Code 从野外视频合成可执行策略代码,实现视觉感知与自由指令驱动的零样本机器人操作,并在 RLBench 和真实环境中取得优于 GPT-4o 的性能。
2025-01-08 cs.CV cs.RO
Recognising Known Configurations of Garments For Dual-Arm Robotic Flattening
University of Glasgow(格拉斯哥大学)
机器人可变形物体的操纵是机器人工业中的一个挑战,因为可变形物体具有复杂和多样的物体状态。预测这些对象的状态和更新操作规划是耗时和计算昂贵的。在本文中,我们提出学习已知的服装配置,让机器人识别服装状态,并选择一个预先设计的服装平整的操作计划。
2022-06-17 cs.CV cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology(麻省理工学院);Horizon Robotics(地平线机器人)
为了提供自适应和用户友好的解决方案,机器人操作,重要的是,代理可以学习完成任务,即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题,本文提出了一种内在激励方法,该方法可以很容易地集成到任何标准的强化学习算法中,并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心,这种方法显示出优越的性能相比,其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明,当与多样性驱动的内在动机相结合时,这种方法可以帮助操纵者学习一组多样的技能,这些技能可能适用于其他更复杂的操纵任务,并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Q-attention: Enabling Efficient Learning for Vision-based Robotic Manipulation
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院)
尽管强化学习方法取得了成功,但在应用于广泛的机器人操作任务时,它们还没有突破性的时刻。这在一定程度上是由于强化学习算法是众所周知的困难和耗时的训练,当从图像而不是全状态输入进行训练时,这种情况会加剧。当人类执行操作任务时,我们的眼睛会密切监视该过程的每一步,我们的目光依次聚焦在被操作的对象上。考虑到这一点,我们提出了我们的注意力驱动的机器人操作(ARM)算法,这是一个通用的操作算法,可以应用于一系列稀疏奖励的任务,只有少量的演示。ARM将复杂的操作任务分为3个阶段的流水线:(1)Q-attention代理从RGB和点云输入中提取相关像素位置,(2)下一个最佳姿势代理从Q-attention代理接受裁剪并输出姿势,以及(3)控制代理采取目标姿势并输出联合动作。我们表明,目前的学习算法失败的RLBench任务的范围,而ARM是成功的。
2022-02-04 cs.AI cs.CV cs.LG
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University(卡迪夫大学)
这项工作重新实现了OpenAI Gym多目标机器人操作环境,最初基于商业Mujoco引擎,到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能,我们证明了我们成功地重新实现了原始环境。此外,我们为用户提供新的API,通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤,多目标,长视野和稀疏奖励的机器人操作任务,旨在启发新的目标条件强化学习算法,这样的挑战。我们使用一个简单的,基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
End-to-end Reinforcement Learning of Robotic Manipulation with Robust Keypoints Representation
A*STAR Institute of High Performance Computing (IHPC)(新加坡科技研究局高性能计算研究所);A*STAR Institute of Information Research (IR)(新加坡科技研究局信息研究所);National University of Singapore (NUS)(新加坡国立大学);Alibaba DAMO Academy(阿里巴巴达摩院)
我们提出了一个端到端的强化学习(RL)框架的机器人操作任务,使用一个强大的和有效的关键点表示。该方法通过自监督自动编码器架构从相机图像中学习关键点作为状态表示。关键点对几何信息以及工具和目标的关系进行编码,以紧凑的表示形式,以确保高效和鲁棒的学习。在关键点学习之后,RL步骤然后从所提取的关键点状态表示学习机器人运动。关键点和RL学习过程完全在模拟环境中完成。我们证明了所提出的方法对机器人操作任务,包括抓取和推,在不同的情况下的有效性。我们还研究了训练模型的泛化能力。除了鲁棒的关键点表示,我们进一步应用域随机化和对抗性训练样本,以实现真实世界机器人操作任务中的zero-shot仿真到现实迁移。
2022-02-12 cs.CV cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK(信息学院,爱丁堡大学);Department of Computer Science, University College London, UK(计算机科学系,伦敦大学学院)
提出混合分层学习框架ROMAN,通过整合行为克隆、模仿学习和强化学习,协调多个专门处理子任务的神经网络,有效解决机器人长跨度复杂序列操作任务,并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
University of Virginia(弗吉尼亚大学)
提出一次性三维物体到物体可供性定位方法O$^3$Afford,结合视觉基础模型语义特征与点云几何表示,并集成大语言模型,显著提升机器人操作的准确性和泛化能力。
2025-09-07 cs.CV cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology(皇家理工学院)
本文提出首个面向机器人操作的联邦学习基准FLAME,包含超16万条多环境专家演示及训练评估框架,通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题,提出任务驱动的异步主动视觉-动作模型,串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练,在RLBench的8个任务上持续优于基线,有效处理视觉约束。
2025-02-12 cs.CV cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
人类在日常活动中使用所有的感官来完成不同的任务。相比之下,现有的机器人操作工作主要依赖于一种或偶尔两种模式,如视觉和触觉。在这项工作中,我们系统地研究视觉,听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统,它可以用摄像头看,用接触式麦克风听,用基于视觉的触觉传感器感觉,所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务,密集的包装和浇注的结果,展示了机器人操作的多感官感知的必要性和力量:视觉显示的机器人的全球地位,但往往会受到闭塞,音频提供即时反馈的关键时刻,甚至是不可见的,触摸提供精确的局部几何决策。利用所有三种模式,我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida(南佛罗里达大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);German Aerospace Center (DLR)(德国航空航天中心);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
本文结合最新的机器人抓取与操作竞赛(RGMCs)讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后,我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析,并根据竞争团队近年来的表现确定了最困难的方面。我们相信,这样的分析是有见地的,以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院(IR));Institute for High Performance Computing (IHPC), A*STAR(A*STAR高性能计算研究院(IHPC))
我们提出了KOVIS,一种新的学习为基础的,无标定的视觉伺服方法,精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练,训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练,而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后,我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性,在模拟环境和现实世界的实验与不同的机器人操作任务,包括抓取,钉孔插入与4mm的间隙,和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
3D-MVP: 3D Multiview Pretraining for Robotic Manipulation
NVIDIA(英伟达);University of Michigan(密歇根大学);New York University(纽约大学)
针对现有机器人视觉预训练仅基于2D图像、缺乏3D场景理解的问题,提出3D-MVP方法,拆分RVT的视觉编码器并在3D数据集上用掩码自编码预训练,提升了虚拟操作任务性能与策略泛化性。
2025-03-24 cs.CV cs.RO
RoboGround: Robotic Manipulation with Grounded Vision-Language Priors
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出RoboGround系统,利用落地掩码作为中间表示结合大规模视觉-语言模型先验,指导机器人操作策略网络,并构建自动化数据生成流程,显著提升了策略的泛化能力。
2025-04-30 cs.CV cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
针对现实世界复杂性给机器人操作研究带来的挑战,本文提出具备密集视角覆盖、多特性物体的Robo360数据集,验证了其在动态NeRF、多视角策略学习中的效用,有望推动3D物理理解与机器人控制交叉研究。
2023-12-09 cs.CV cs.RO
Reward Machine Inference for Robotic Manipulation
IDLab(IDLab实验室);Ghent University(根特大学);imec(比利时微电子研究中心)
该研究提出一种从机器人操作视觉演示中直接学习奖励机的LfD方法,无需预定义命题与稀疏奖励先验,联合学习结构与关键转移事件,可准确捕捉任务结构并助力RL智能体学习最优策略。
2024-12-13 cs.LG cs.RO
Robo-MUTUAL: Robotic Multimodal Task Specification via Unimodal Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));College of Engineering, Peking University(北京大学工学院);Sensetime Research(商汤科技研究院);University of Toronto(多伦多大学);University College London(伦敦大学学院);Shanghai AI Lab(上海人工智能实验室)
针对配对多模态机器人数据稀缺问题,本文提出 Robo-MUTUAL,利用丰富单模态指令、多模态编码器预训练及 Collapse、Corrupt 操作学习可互换的跨模态任务表示,并在 LIBERO 与真实机器人上验证其优势。
2024-10-02 cs.CV cs.RO
RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Hong Kong(香港大学);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对MLLM在长时程机器人操作中缺乏规划、可供性感知和轨迹预测能力的问题,提出基于高质量数据集ShareRobot训练的RoboBrain模型,通过多阶段训练结合长视频与高分辨率图像,实现最先进性能。
2025-03-25 cs.CV cs.RO
MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation
Department of Electrical Engineering, Sharif University of Technology(电气工程系,谢里夫大学)
MALLVI通过多智能体协作实现闭环反馈驱动的机器人操作,提升泛化能力和零样本任务成功率。
2026-06-09 cs.AI cs.CV cs.LG
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Learning Reward Functions for Robotic Manipulation by Observing Humans
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Google Research(谷歌研究院);Center for Data Science, New York University(纽约大学数据科学中心)
观察人类演示者操纵物体为学习机器人策略提供了丰富的、可扩展的和廉价的数据源。然而,将人类视频中的技能转移到机器人操作器上带来了一些挑战,尤其是动作和观察空间的差异。在这项工作中,我们使用未标记的人类解决各种操作任务的视频来学习机器人操作策略的任务不可知的奖励函数。由于该训练数据的多样性,学习的奖励函数充分地推广到来自先前看不见的机器人实施例和环境的图像观察,以在强化学习中为定向探索提供有意义的先验。我们提出了两种方法得分状态相对于目标图像:通过直接的时间回归,并通过在嵌入空间中的距离与时间对比学习。通过在目标图像上调节函数,我们能够在各种任务中重用一个模型。与之前利用人类视频来教授机器人的工作不同,我们的方法,人类离线学习距离(HOLD)既不需要来自机器人环境的先验数据,也不需要一组特定于任务的人类演示,也不需要预定义的形态对应概念,但与仅使用从任务完成中获得的稀疏奖励相比,它能够加速模拟机器人手臂上的几个操作任务的训练。
2023-03-07 cs.AI cs.CV cs.LG
Active Inference for Robotic Manipulation
Intelligent Autonomous Systems(智能自主系统实验室);Technical University of Darmstadt(达姆施塔特工业大学)
尽管在过去的几十年中机器人技术和机器学习取得了重大进展,但机器人操作仍然是一个很大程度上未解决的问题。操纵的核心挑战之一是部分可观察性,因为智能体通常不知道环境的所有物理属性和它预先操纵的对象。最近出现的一种以显式方式处理部分可观测性的理论是主动推理。它通过驱动智能体以一种不仅是目标导向的而且是关于环境的信息的方式行动来做到这一点。在这项工作中,我们将主动推理应用于一个难以探索的模拟机器人操作任务,其中代理必须将球平衡到目标区域。由于这项任务的回报是稀疏的,为了探索这个环境,智能体必须学习在没有任何外部反馈的情况下平衡球,纯粹是出于自己的好奇心。我们表明,主动推理引起的信息寻求行为允许代理系统地探索这些具有挑战性的,稀疏的环境。最后,我们得出结论,使用信息寻求目标是有益的,在稀疏的环境中,并允许代理解决任务的方法,不表现出定向探索失败。
2022-06-01 cs.LG cs.RO
Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space
Technical University of Munich (TUM)(慕尼黑工业大学)
智能代理必须能够快速和缓慢地思考,以执行复杂的操作任务。强化学习(RL)在一系列具有挑战性的决策任务上取得了许多有希望的结果。然而,在现实世界的机器人技术中,这些方法仍然很困难,因为它们需要大量昂贵的交互,并且反馈循环缓慢。另一方面,快速的类人自适应控制方法可以优化复杂的机器人交互,但无法集成非结构化任务所需的多模态反馈。在这项工作中,我们建议在分层学习和自适应架构中考虑学习问题,以两全其美。该框架由两个部分组成,一个缓慢的强化学习政策优化的任务策略给定的多模态观测,和一个快速,实时的自适应控制策略不断优化的运动,稳定性和努力的机械手。我们通过一个生物灵感的行动空间将这些组件结合起来,我们称之为AFORCE。我们展示了新的动作空间上的接触丰富的操作任务在真实的硬件和评估其性能上的三个模拟操作任务。我们的实验表明,AFORCE大大提高了样本效率,同时降低了能耗并提高了安全性。
2021-10-20 cs.LG cs.RO
Self-Supervised Learning of Multi-Object Keypoints for Robotic Manipulation
University of Freiburg(弗莱堡大学)
近年来,使用强化或模仿的策略学习方法取得了重大进展。然而,这两种技术仍然存在计算昂贵和需要大量训练数据的问题。这个问题在现实世界的机器人操作任务中尤其普遍,在这些任务中,无法访问地面实况场景特征,而是从原始相机观察中学习策略。在本文中,我们展示了通过密集对应借口任务学习图像关键点的有效性,用于下游策略学习。将先前的工作扩展到具有挑战性的多对象场景,我们表明我们的模型可以被训练来处理表示学习中的重要问题,主要是尺度不变性和遮挡。我们评估我们的方法在不同的机器人操作任务,比较它与其他视觉表示学习方法,并证明其灵活性和有效性的样本效率的策略学习。
2022-10-11 cs.CV cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University(东北大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个深度的模仿学习框架,机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设,在环境中的关系信息建模可以显着提高泛化。为了实现这一点,我们建议(i)分解的多模态动力学元素的运动原语,(ii)参数化每个原语使用一个经常性的图神经网络捕捉相互作用,和(iii)集成一个高层次的计划,组成原语顺序和低层次的控制器,结合原始动力学和逆运动学控制。我们的模型是一个深层次的,模块化的架构。与基线相比,我们的模型更好地推广,并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出ManiGaussian动态高斯溅射方法,通过未来场景重建挖掘场景动态,在多任务机器人操作中平均成功率提升13.1%。
2024-07-18 cs.CV cs.RO
GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation
HKUST (GZ)(香港科技大学)
该研究构建含50万图像的HOVA-500K可供性数据集与基准,并提出全局到局部的GLOVER++框架,实现人类演示知识向开放词汇推理和机器人操作任务的有效迁移。
2025-05-17 cs.CV cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation
National Yang Ming Chiao Tung University(阳明交通大学);Carnegie Mellon University(卡内基梅隆大学);Academia Sinica(中央研究院)
本文提出仿真到真实稠密物体网络SRDONs,通过物体到物体匹配方法将仿真与真实数据映射到统一特征空间,在零真实训练下显著提升机器人操作中未见物体和环境的性能。
2023-04-18 cs.CV cs.RO
Translating Videos to Commands for Robotic Manipulation with Deep Recurrent Neural Networks
Istituto Italiano di Tecnologia(意大利理工学院);The University of Manchester(曼彻斯特大学)
我们提出了一种使用深度循环神经网络(RNN)将视频转换为机器人操作命令的新方法。我们的框架首先使用深度卷积神经网络(CNN)从输入视频帧中提取深度特征。然后,使用具有编码器-解码器架构的两个RNN层来编码视觉特征,并顺序地生成输出单词作为命令。我们证明,通过允许两个RNN层之间的平滑事务并使用最先进的特征提取器,可以提高翻译精度。在我们新的具有挑战性的数据集上的实验结果表明,我们的方法比最近的方法有相当大的优势。此外,我们结合建议的翻译模块与视觉和规划系统,让机器人执行各种操作任务。最后,我们证明了我们的框架上的全尺寸的人形机器人步行人的有效性。
2017-10-01 cs.CV cs.RO
Image Generation as a Visual Planner for Robotic Manipulation
Southern China University of Technology(华南理工大学)
本文提出利用图像生成模型作为机器人视觉规划器,通过轻度微调实现时间连贯的机器人操作视频生成。
2025-11-29 cs.CV cs.RO
STORM: Search-Guided Generative World Models for Robotic Manipulation
Sun Yat-sen University(中山大学)
STORM通过结合生成模型与搜索算法,实现了机器人操作中的时空推理,显著提升了任务成功率和环境适应能力。
2025-12-20 cs.CV cs.RO
6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark
NVIDIA(英伟达)
我们提出了一个新的数据集6自由度姿态估计已知的对象,重点是机器人操作研究。我们提出了一套玩具杂货店的对象,其物理实例是随时可供购买,并适当大小的机器人抓取和操纵。我们提供了这些物体的3D扫描纹理模型,适用于生成合成训练数据,以及具有挑战性的,杂乱的场景中的物体的RGBD图像,这些场景表现出部分遮挡,极端光照变化,每个图像多个实例,以及各种姿势。使用半自动的RGBD到模型纹理对应,图像被注释为精确到几毫米内的地面真实姿势。我们还提出了一个新的姿态评估度量称为ADD-H匈牙利分配算法的基础上,是强大的对称性对象的几何形状,而不需要显式枚举。我们为所有玩具杂货店对象共享预训练的姿势估计器,以及它们在验证集和测试集上的基线性能。我们将此数据集提供给社区,以帮助将计算机视觉研究人员的努力与机器人专家的需求联系起来。
2022-12-15 cs.CV cs.RO
SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation
Arizona State University(亚利桑那州立大学);Indian Institute of Information Technology(印度信息科技学院)
针对主流机器人模拟器中合成事件视觉探索不足的问题,提出开源ROS包SEBVS,可在Gazebo中从RGB相机生成事件流,用于训练事件驱动机器人策略并验证其在导航和操作任务中的竞争优势,推动事件相机在机器人策略学习中的应用。
2025-08-25 cs.CV cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
灵巧的多指手可以完成精细的操作行为,这是不可行的简单的机器人抓手。然而,复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案,但在传感和致动方面存在相当大的挑战,使得它们难以应用于更复杂的操作任务。在本文中,我们描述了一种方法,从示范,可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示,其中人类用自己的手演示所需的操作对象的运动,机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法,使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件,我们使用的指导政策搜索框架的扩展,使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法,学习了转动阀门,操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST(日本国立AIST研究所)
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线,以提高便利店商品场景下机器人操作的物体掩码精度,实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
PASG: A Closed-Loop Framework for Automated Geometric Primitive Extraction and Semantic Anchoring in Robotic Manipulation
MoE key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(人工智能教育部重点实验室、人工智能研究院、上海交通大学)
针对机器人操作中高层语义与低层几何特征割裂的问题,提出闭环框架PASG,通过自动提取几何基元并结合VLM驱动的语义锚定,实现了细粒度的语义-可供性理解,性能媲美人工标注。
2025-08-08 cs.CV cs.RO
PolarNet: 3D Point Clouds for Language-Guided Robotic Manipulation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
针对2D图像表示难以融合多视角并推断3D关系的问题,本文提出PolarNet,用点云编码器与多模态transformer融合语言和3D信息,在RLBench及真实机器人上取得优于现有方法的表现。
2023-09-27 cs.CV cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington(华盛顿大学);NVIDIA(英伟达)
Transformers凭借其在大型数据集上的扩展能力,彻底改变了视觉和自然语言处理。但在机器人操作中,数据既有限又昂贵。在正确的问题表述下,Transformers还能使操纵受益吗?我们调查这个问题与PerAct,语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码,并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同,体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式,我们训练一个单一的多任务Transformer,用于18个RLBench任务(有249个变体)和7个现实世界的任务(有18个变体),每个任务只需几个演示。我们的研究结果表明,PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);School of Psychological and Cognitive Sciences, Peking University(北京大学心理与认知科学学院);Beijing Key Lab of Behavior and Mental Health, Peking University(北京大学行为与心理健康北京市重点实验室);Beijing Institute for General Artificial Intelligence(北京一般人工智能研究院);State Key Lab for General Artificial Intelligence(一般人工智能国家重点实验室);Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence(具身智能实验室,北京大学武汉人工智能研究院);Department of Computer Science and Technology, University of Cambridge(剑桥大学计算机科学与技术系)
TacThru-UMI通过结合同时触觉-视觉感知与现代学习框架,实现了高精度多模态机器人操作。
2026-02-09 cs.CV cs.RO
Shape from Shading for Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
本研究提出一种适用于机器人工作空间的低入射角可控光照Shape from Shading方法,可精确获取单色朗伯物体的表面法线与深度信息,可用于通用抓取、物体形变测量及位姿估计与跟踪。
2023-11-06 cs.CV cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题,提出ManipDreamer3D框架,结合3D占据感知轨迹规划与轨迹到视频扩散模型,生成高质量可信机器人操作视频,减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
Contrastive Imitation Learning for Language-guided Multi-Task Robotic Manipulation
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)AI Thrust);The Hong Kong University of Science and Technology(香港科技大学)
本文提出Sigma-Agent,通过对比模仿学习和多视图查询Transformer增强视觉-语言与当前-未来表示,在RLBench和真实操作任务中显著提升多任务机器人操作性能。
2024-06-14 cs.CV cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
Disentangled Object-Centric Image Representation for Robotic Manipulation
NAVER LABS Europe(NAVER LABS欧洲)
针对对象中心方法在多物体场景中学习操作技能的困难,本文提出 DOCIR 解耦框架,分别表示目标物、障碍物和机器人本体,实现拾取放置任务的最优性能与零样本真机迁移。
2025-03-14 cs.CV cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO