HuMI: Humanoid Whole-Body Manipulation from Humanoid-Free Demonstrations
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai Jiao Tong University(上海交通大学)
HuMI通过便携硬件实现无需机器人演示的全身体验操控,提升数据收集效率并提高未见环境中的任务成功率。
2026-11-10 cs.AI cs.LG cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Zero-Shot Robot Manipulation from Passive Human Videos
Carnegie Mellon University(卡内基梅隆大学);Meta AI
我们是否可以仅仅通过观看人类在不同的非结构化环境中执行任意任务的视频来学习机器人操作的日常任务?与广泛采用的学习特定任务的行为或直接模仿人类视频的策略不同,我们开发了一个框架,用于从人类视频中提取与代理无关的动作表示,然后将其映射到代理的实施例中。我们的框架是基于预测合理的人手轨迹给定的初始图像的场景。在对来自互联网的不同人类视频集训练此预测模型后,在对机器人的实施例进行适当变换后,我们将训练模型zero-shot部署为物理机器人操作任务。这个简单的策略使我们能够解决粗略的操作任务,如打开和关闭抽屉,推动和工具使用,而无需访问任何域内机器人操作轨迹。我们的实际部署结果为动作预测信息建立了一个强大的基线,这些信息可以从人类活动的各种任意视频中获取,并可用于在看不见的场景中进行zero-shot机器人操作。
2023-02-03 cs.LG cs.RO
Active Exploration for Robotic Manipulation
Technical University of Darmstadt(达姆施塔特工业大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
尽管近年来机器人技术和机器学习取得了重大进展,但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法,使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制(MPC)计划的行动,最大限度地提高预期的回报,同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人,从头开始训练我们的方法,在一个具有挑战性的球推任务倾斜的桌子上,目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
Benchmarking Robot Manipulation with the Rubik's Cube
University of Washington(华盛顿大学)
机器人操作的基准对于衡量该领域的进展至关重要,但很少有基准能够证明关键的操作技能,拥有标准化的指标,并且可以通过各种机器人平台进行尝试。为了解决缺乏这样的基准测试,我们提出了魔方操作作为一个基准来衡量精确操作和顺序操作的同时表现。魔方的子结构要求精确定位机器人的末端执行器,而其高度可重构的性质,使任务,需要机器人管理整个长序列的动作姿势的不确定性。我们提出了一个协议,用于定量测量魔方操作的准确性和速度。该协议可以由任何通用操纵器尝试,并且仅需要标准的3x3魔方和魔方最初搁置在其上的平坦表面(例如桌子)。我们证明了这个协议的两个不同的基线方法的PR2机器人。第一个基线为基于姿势的魔方操作提供了基本方法。第二个基准演示了该基准对系统性能改进进行量化的能力,特别是由于集成了触摸前传感。为了证明基准的适用性,其他机器人平台和算法的方法,我们提出了所需的功能块,使HERB机器人操纵魔方通过推抓。
2022-02-14 cs.AI cs.RO
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
提出将机器人操作任务形式化为接触合成的基础模型,通过输入物体和机器人的点云及物理属性等,输出接触点和接触力,在多维度物体的仿真和真实实验中达到约90%成功率。
2024-09-25 cs.AI cs.RO
Learning by Watching: A Review of Video-based Learning Approaches for Robot Manipulation
Computer Science Department, Oklahoma State University, Stillwater, Oklahoma, USA(俄克拉荷马州立大学计算机科学系)
本文综述机器人通过被动观看大规模网络视频学习操作技能的方法,梳理相关基础、技术、基准与优势,并指出开放挑战和未来方向。
2025-10-20 cs.AI cs.CV cs.LG
Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Meituan(美团)
该研究针对机器人操作数据收集成本高的问题,提出CBST方法,通过因果束约束从人类视频中迁移操作知识,使机器人无需动作对应即可生成动作,提升了基准任务的成功率。
2026-10-16 cs.AI cs.RO
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
R3M: A Universal Visual Representation for Robot Manipulation
Stanford University(斯坦福大学);Meta AI
我们研究了在不同的人类视频数据上预训练的视觉表示如何能够实现下游机器人操作任务的数据高效学习。具体地说,我们使用Ego4D人类视频数据集使用时间对比学习,视频语言对齐和L1惩罚的组合来预训练视觉表示,以鼓励稀疏和紧凑的表示。所得到的表示,R3M,可以被用作下游策略学习的冻结感知模块。在一套12个模拟机器人操作任务中,我们发现,与从头开始训练相比,R3M将任务成功率提高了20%以上,与CLIP和MoCo等最先进的视觉表示相比,提高了10%以上。此外,R3M还能让Franka Panda的手臂在一个真实的、杂乱的公寓里学习一系列操作任务,只需20次演示。代码和预训练模型可在https://tinyurl.com/robotr3m上获得。
2022-11-18 cs.AI cs.CV cs.LG
Multi-task real-robot data with gaze attention for dual-arm fine manipulation
The University of Tokyo(东京大学)
本文提出包含双臂精细操作任务的多任务真实机器人数据集,结合视觉注意力与双动作标签,并应用于DAA模型,在超7k次真实试验中验证了其精细操作能力。
2024-03-19 cs.AI cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University(根特大学)
本文提出 FOCUS,一个学习对象中心世界模型的智能体,利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率,并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
A Transferable Legged Mobile Manipulation Framework Based on Disturbance Predictive Control
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Westlake University(西湖大学)
四足机器人由于其适应不同地形的能力,在机器人学习的研究领域引起了广泛的关注。腿式移动操作是指在四足机器人上安装一个机械臂,可以大大提高机器人在各种操作任务中的性能。一些先前的工作已经从控制理论的角度研究了腿移动操作。然而,为各种机械臂和四足机器人建模统一的结构是一项具有挑战性的任务。在本文中,我们提出了一个统一的框架干扰预测控制的强化学习计划与潜在的动态适配器嵌入到我们提出的低级别控制器。实验结果表明,该方法能够很好地适应各种类型的机器人手臂,具有少量的随机运动样本,我们的方法的有效性。
2022-03-02 cs.LG cs.RO
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);HuPan Lab(虎鹏实验室);Tongji University(同济大学)
本文提出GP3策略,利用多视角RGB图像和空间编码器推断三维几何表示,并结合语言指令生成连续动作,在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
Surfer: Progressive Reasoning with World Models for Robotic Manipulation
Sun Yat-sen University(中山大学);Monash University(莫纳什大学);Dataa Robotics(达亚机器人公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出基于世界模型的机器人操作框架 Surfer,通过解耦动作与场景并显式建模多模态信息以提升泛化能力,并构建基于 MuJoCo 的模拟器与 SeaWave 基准,在四级渐进推理任务上达到 54.74% 成功率,超越最佳基线。
2024-03-20 cs.AI cs.CV cs.LG
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU(本田欧洲研究院)
本文提出将参数高效提示微调用于可供性理解,并以流匹配学习机器人动作轨迹,在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题,提出融合视觉与动作等动力学信息的MCR框架,在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Learning Reward Functions for Robotic Manipulation by Observing Humans
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Google Research(谷歌研究院);Center for Data Science, New York University(纽约大学数据科学中心)
观察人类演示者操纵物体为学习机器人策略提供了丰富的、可扩展的和廉价的数据源。然而,将人类视频中的技能转移到机器人操作器上带来了一些挑战,尤其是动作和观察空间的差异。在这项工作中,我们使用未标记的人类解决各种操作任务的视频来学习机器人操作策略的任务不可知的奖励函数。由于该训练数据的多样性,学习的奖励函数充分地推广到来自先前看不见的机器人实施例和环境的图像观察,以在强化学习中为定向探索提供有意义的先验。我们提出了两种方法得分状态相对于目标图像:通过直接的时间回归,并通过在嵌入空间中的距离与时间对比学习。通过在目标图像上调节函数,我们能够在各种任务中重用一个模型。与之前利用人类视频来教授机器人的工作不同,我们的方法,人类离线学习距离(HOLD)既不需要来自机器人环境的先验数据,也不需要一组特定于任务的人类演示,也不需要预定义的形态对应概念,但与仅使用从任务完成中获得的稀疏奖励相比,它能够加速模拟机器人手臂上的几个操作任务的训练。
2023-03-07 cs.AI cs.CV cs.LG
Perceiving, Reasoning, Adapting: A Dual-Layer Framework for VLM-Guided Precision Robotic Manipulation
本文提出一种渐进式VLM规划算法,通过任务记忆结构、2D拓扑图和3D空间网络实现空间-语义融合,使机器人能够基于实时反馈动态调整并逐步纠错,从而在复杂装配任务中实现快速、精确的精细操作。
2025-03-07 cs.AI cs.RO
Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo(东京大学)
深度模仿学习是一种很有前途的方法,在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而,未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务(例如,当要求机器人在架子上找到先前使用过的物体时)。在这种情况下,简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议,从顺序的视觉输入的凝视预测,使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构,对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务,需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Toyota Technological Institute(丰田技术研究院)
本报告介绍了我们在真实机器人挑战赛(https://real-robot-challenge.com/)中的获奖作品。真正的机器人挑战赛是一个三阶段的灵巧操纵比赛,涉及使用TriFinger平台操纵各种矩形物体。我们的方法结合了运动规划与几个运动基元来操纵对象。对于阶段1和阶段2,我们还在模拟中学习了一个残差策略,该策略在控制器上应用纠正措施。我们的方法在第二阶段和第三阶段的比赛中获得了第一名。我们在比赛排行榜上被匿名称为“ardentstork”(https://real-robot-challenge.com/leader-board)。视频和我们的代码可以在https://github.com/ripl-ttic/real-robot-challenge上找到。
2021-01-08 cs.AI cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg(汉堡大学)
认知科学认为,自我表征对学习和解决问题至关重要。然而,缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中,我们通过开发一个模型来弥合这一差距,该模型学习双向动作-效果关联,以从多感官信息中编码身体图式和近个人空间的表征,称为多模态BidAL。通过三个不同的机器人实验,我们证明,这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下,它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
PIMbot: Policy and Incentive Manipulation for Multi-Robot Reinforcement Learning in Social Dilemmas
University of California, Riverside(加州大学河滨分校)
本文提出PIMbot方法,通过策略操纵和激励操纵多机器人协作中的奖励函数,在Gazebo模拟环境中验证了其对社会困境中任务结果的双向影响,为多智能体强化学习的通信操纵提供了新视角。
2023-07-29 cs.LG cs.RO
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文面向开放世界机器人操作,提出以规律性为核心的高效感知运动学习方法,通过物体中心先验、空间理解和可复用技能识别,使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
Stanford University(斯坦福大学);Nvidia(英伟达);University of Toronto(多伦多大学)
大型、注释丰富的数据集加速了计算机视觉和自然语言处理等领域的进步,但在机器人领域复制这些成功一直是一个挑战。虽然诸如自我监督的现有数据汇集方法已经导致了大的数据集,但是数据可能具有差的信噪比。相比之下,以前收集人类任务演示的努力提供了更高质量的数据,但它们无法达到相同的数据量。此外,这两种方法都不能保证所收集的数据在解决方案战略方面的多样性。在这项工作中,我们利用和扩展的RoboTurk平台,以扩大数据汇集的机器人操作使用远程遥控。我们平台的主要动机有两个方面:(1)解决先前工作的缺点,并在不牺牲数据质量的情况下,将通过人工监督收集的操作数据总量增加一个数量级;(2)收集多个操作员之间具有挑战性的操作任务的数据,并观察各种紧急行为和解决方案。我们在1周内收集了54名用户超过111小时的机器人操作数据和3项具有挑战性的操作任务,从而形成了通过远程遥控操作收集的最大机器人数据集。我们通过定量和定性分析来评估平台的质量、数据集中演示的多样性以及数据集的实用性。有关其他结果、补充视频以及下载我们的数据集,请访问www.example.com。
2019-11-11 cs.HC cs.LG cs.RO
Leveraging Passive Compliance of Soft Robotics for Physical Human-Robot Collaborative Manipulation
Brigham Young University(杨百翰大学)
本文通过气动连续体软体机械臂与全向移动基座组成的系统,基准测试了大型软体机器人与人协作操控长形物体的能力,结果表明其表现可媲美人类非视觉跟随者,并挑战了软体机器人力量受限的传统认知。
2025-04-11 cs.RO
On the Role of the Action Space in Robot Manipulation Learning and Sim-to-Real Transfer
Volkswagen Group(大众集团)
该研究通过在13种动作空间下训练超250个RL智能体完成仿真操作任务并测试sim-to-real迁移效果,分析动作空间的优劣特征,为机器人操作RL算法的动作空间设计提供参考。
2024-04-29 cs.LG cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而,现有的工作往往把离线策略学习和在线探索作为两个独立的过程,这往往是伴随着严重的性能下降,在离线到在线的过渡。此外,许多机器人操作任务涉及复杂的子任务结构,这是非常具有挑战性的稀疏奖励RL解决。在这项工作中,我们提出了一个统一的离线到在线RL框架,解决了过渡性能下降的问题。此外,我们引入目标感知的状态信息的RL代理,这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块,我们的框架实现了很大的训练效率和性能相比,国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(DRL)已成为机器人科学中一种强大的控制技术。与控制理论相比,DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力,我们设计了具有挑战性的操作任务,以观察机器人处理复杂场景的策略。我们观察到,机器人不仅能成功地执行任务,而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性,以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University(杜克大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Organifarms
本文系统研究机器人操作鲁棒性,提出正式定义、概率与控制理论框架,并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法,展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology(麻省理工学院);Horizon Robotics(地平线机器人)
为了提供自适应和用户友好的解决方案,机器人操作,重要的是,代理可以学习完成任务,即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题,本文提出了一种内在激励方法,该方法可以很容易地集成到任何标准的强化学习算法中,并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心,这种方法显示出优越的性能相比,其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明,当与多样性驱动的内在动机相结合时,这种方法可以帮助操纵者学习一组多样的技能,这些技能可能适用于其他更复杂的操纵任务,并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);Mohamed bin Zayed University of Artificial Intelligence(马斯达尔大学人工智能学院)
本文提出NBAgent,通过持续学习技能共享和特定属性,解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
Transformer-based deep imitation learning for dual-arm robot manipulation
The University of Tokyo(东京大学)
本研究提出基于Transformer的深度模仿学习方法,利用自注意力机制减少双臂操作中高维状态带来的干扰,在真实机器人上验证了该方法能提升操作性能。
2025-05-21 cs.AI cs.RO
Supportive Actions for Manipulation in Human-Robot Coworker Teams
Georgia Institute of Technology(佐治亚理工学院);Monash University(莫纳什大学)
机器人与人类的共存越来越多,例如在制造业中的人机团队中,这引发了人们对机器人同行的行为偏好的研究问题。我们长期的行动,支持互动,减少未来的干扰与他人的支持机器人的行动,并调查他们的效用在一个共同定位的操纵方案。我们比较了两种机器人模式在一个共享的表拾取和放置任务:(1)任务导向:机器人只采取行动,以进一步自己的任务目标和(2)支持:机器人有时更喜欢支持行动,以任务为导向的,当他们减少未来的目标冲突。我们的模拟实验,使用简化的人类模型,揭示了支持性的行动减少代理之间的干扰,特别是在更困难的任务,但也导致机器人需要更长的时间来完成任务。我们实现了这些模式的物理机器人在用户研究中,人类和机器人执行对象放置在一个共享的表。我们的研究结果表明,一个支持机器人被认为是一个更有利的同事的人,也减少了干扰与人类在更困难的两种情况。然而,它也花了更长的时间来完成任务,突出了任务效率和人类偏好之间的一个有趣的权衡,需要考虑之前设计的机器人行为的近距离操作场景。
2020-05-02 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控,实现安全稳健的机器人操作,提升性能与可靠性。
2026-03-05 cs.AI cs.RO
PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Johns Hopkins University(约翰霍普金斯大学);ShanghaiTech University(上海科技大学)
本研究推出首个面向细粒度机器人操作的部件级指令基准PartInstruct,包含丰富标注的物体实例与任务、合成专家演示及测试套件,实验发现现有模型在部件概念落地和长时序部件操作上存在不足。
2025-06-16 cs.AI cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University(苏利文大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Peking University(北京大学);Shanghai University(上海大学)
本文提出SSDF框架,通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
CapsDT: Diffusion-Transformer for Capsule Robot Manipulation
Department of Electronic Engineering, The Chinese University of Hong Kong (CUHK)(电子工程系,香港中文大学(CUHK))
本研究提出CapsDT,一种扩散Transformer模型,用于胃部胶囊机器人操作,通过处理视觉和文本指令生成控制信号,在多种内窥镜任务中达到最先进性能,真实世界模拟成功率为26.25%。
2025-06-19 cs.AI cs.RO
LLM-Based Human-Robot Collaboration Framework for Manipulation Tasks
Nagoya University(名古屋大学);National Center for Geriatrics and Gerontology(国立长寿医疗研究中心)
本文提出一种基于LLM的人机协作框架,利用LLM将语言命令转为运动序列,结合YOLO感知与遥操作及DMP纠正,提升机器人操作决策的准确性与泛化能力。
2023-08-29 cs.AI cs.RO
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University(卡迪夫大学)
这项工作重新实现了OpenAI Gym多目标机器人操作环境,最初基于商业Mujoco引擎,到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能,我们证明了我们成功地重新实现了原始环境。此外,我们为用户提供新的API,通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤,多目标,长视野和稀疏奖励的机器人操作任务,旨在启发新的目标条件强化学习算法,这样的挑战。我们使用一个简单的,基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
RObotic MAnipulation Network (ROMAN) -- Hybrid Hierarchical Learning for Solving Complex Sequential Tasks
School of Informatics, University of Edinburgh, UK(信息学院,爱丁堡大学);Department of Computer Science, University College London, UK(计算机科学系,伦敦大学学院)
提出混合分层学习框架ROMAN,通过整合行为克隆、模仿学习和强化学习,协调多个专门处理子任务的神经网络,有效解决机器人长跨度复杂序列操作任务,并实现鲁棒的故障恢复与自适应行为。
2025-10-31 cs.LG cs.RO
Reward Machine Inference for Robotic Manipulation
IDLab(IDLab实验室);Ghent University(根特大学);imec(比利时微电子研究中心)
该研究提出一种从机器人操作视觉演示中直接学习奖励机的LfD方法,无需预定义命题与稀疏奖励先验,联合学习结构与关键转移事件,可准确捕捉任务结构并助力RL智能体学习最优策略。
2024-12-13 cs.LG cs.RO
MoDeSuite: Robot Learning Task Suite for Benchmarking Mobile Manipulation with Deformable Objects
Department of Electrical Engineering and Automation, Aalto University(艾尔沃斯大学电气工程与自动化系);Faculty of Science, Vrije Universiteit Amsterdam(阿姆斯特丹自由大学科学学院)
针对可变形物体移动操作缺乏标准化基准的问题,研究团队推出MoDeSuite任务套件,包含8项相关任务,通过训练多种学习算法验证基准效用,并在Spot机器人上实现仿真到现实的迁移,有望开辟新研究方向。
2025-07-29 cs.AI cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
研究基于大语言模型的机器人操作中策略代码不可靠问题,设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性,通过实验识别四种不可靠行为及原因,还引入优化方法,可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
我们通过技能发现来解决现实世界中的长视野机器人操作任务。我们提出了一个自自底向上的【形】的方法来学习一个库的可重复使用的技能,从未分割的演示,并使用这些技能来合成延长机器人的行为。我们的方法首先通过凝聚聚类从每个演示构建一个分层的任务结构。从多任务演示的任务结构中,我们识别技能的基础上的循环模式和训练目标条件的感觉运动策略与分层模仿学习。最后,我们训练一个Meta控制器来组合这些技能,以解决长期的操作任务。整个模型可以在30分钟内收集的一小组人类演示上进行训练,而无需进一步的注释,使其能够在现实世界中部署。我们系统地评估了我们的方法在模拟环境中,并在一个真正的机器人。我们的方法在多阶段操作任务中表现出优于最先进的模仿学习方法的性能。此外,与从单个任务中发现的技能相比,从多任务演示中发现的技能将平均任务成功率提高了$8\%$。
2022-01-22 cs.LG cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
在本文中,我们提出了一种新的任务,操纵问答(MQA),其中机器人执行操作动作,以改变环境,以回答给定的问题。为了解决这个问题,提出了一个框架,包括一个QA模块和操纵模块。对于问答模块,我们采用了可视化问答任务的方法。对于操作模块,设计了一个深度Q网络(DQN)模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况,并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验,以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO