Coarse-to-Fine Imitation Learning: Robot Manipulation from a Single Demonstration
Imperial College London(帝国理工学院)
我们介绍了一种简单的新方法,视觉模仿学习,它允许一个新的机器人操作任务,从一个单一的人类示范学习,而不需要任何先验知识的对象进行交互。我们的方法将模仿学习建模为状态估计问题,状态定义为对象交互开始时末端执行器的姿势,如从演示中观察到的。然后通过将操纵任务建模为粗略的接近轨迹,然后是精细的交互轨迹,可以通过自动地围绕对象移动末端执行器的相机来以自我监督的方式训练该状态估计器。在测试时,末端执行器通过线性路径移动到估计状态,在该点处简单地重放原始演示的末端执行器速度。这使得能够方便地获取复杂的交互轨迹,而实际上不需要显式地学习策略。在8个日常任务上的真实实验表明,我们的方法可以从单个人类演示中学习各种技能,同时还可以生成稳定且可解释的控制器。
2021-06-10 cs.LG cs.RO
DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
MIT(麻省理工学院);UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对多指手灵巧操作可变形物体面临的物理交互复杂与接触模式爆炸难题,提出DexDeform框架,结合人类演示与可微物理优化技能,有效提升了对新目标的探索与泛化能力。
2023-03-27 cs.AI cs.CV cs.LG
From virtual demonstration to real-world manipulation using LSTM and MDN
University of Central Florida(中佛罗里达大学)
帮助残疾人或老年人的机器人必须执行复杂的操作任务,并且必须适应家庭环境和用户的偏好。示教学习是一个很有前途的选择,它允许非技术用户教机器人不同的任务。然而,在残疾用户的家庭环境中收集演示是耗时的,破坏用户的舒适度,并且提出了安全挑战。期望在虚拟环境中执行演示。在本文中,我们描述了一个具有挑战性的问题,从虚拟演示的物理机器人的行为转移的解决方案。虚拟演示用于训练基于深度神经网络的控制器,其使用长短期记忆(LSTM)递归神经网络来生成轨迹。训练过程使用混合密度网络(MDN)来计算适合演示的多模态性质的误差信号。在虚拟环境中学习的控制器被转移到物理机器人(Rethink Robotics Baxter)。一个现成的视觉组件用于替代模拟中可用的几何知识,一个逆运动学模块用于使Baxter制定轨迹。我们的实验研究验证了本文的三个贡献:(1)从虚拟演示中学习的控制器可以用于在物理机器人上成功执行操作任务,(2)LSTM+MDN架构选择优于其他选择,例如使用前馈网络和基于均方误差的训练信号,以及(3)在训练集中允许不完美的演示也允许控制器学习如何校正其操纵错误。
2017-11-22 cs.AI cs.LG cs.RO
Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations
University of Bonn(波恩大学)
由于机器人的状态空间、动作空间和接触空间都是高维的,拟人机器人手的灵巧操作一直是机器人学中的一个难题。然而,需要熟练的闭环操纵,使人形机器人在非结构化的现实世界的环境中操作。强化学习(RL)传统上对优化此类复杂控制问题施加了巨大的交互数据需求。我们引入了一个新的框架,该框架利用了基于GPU的模拟的最新进展以及模仿学习在引导策略搜索方面的优势,使RL训练在这些领域变得可行。为此,我们提出了一个沉浸式的虚拟现实遥操作界面设计的交互式人性化的操作接触丰富的任务和一套操作环境的启发任务的日常生活。最后,我们展示了大规模并行RL和模仿学习的互补优势,产生了强大而自然的行为。经过训练的策略、我们的源代码和收集的演示数据集的视频可以在https://maltemosbach.github.io/interactive_ human_like_manipulation/上找到。
2022-12-05 cs.AI cs.LG cs.RO
Learning Sensorimotor Primitives of Sequential Manipulation Tasks from Visual Demonstrations
Rutgers University(罗格斯大学)
这项工作的目的是学习如何执行复杂的机器人操作任务,这些任务是由几个连续执行的低级别子任务组成的,作为输入,由一个人执行的任务的一些视觉演示。子任务包括移动机器人的末端执行器,直到它到达任务空间中的子目标区域,执行动作,并在满足先决条件时触发下一个子任务。在这一领域的大多数先前的工作一直只关注学习低级别的任务,如击球或达到一个对象,抓住it.This本文描述了一个新的神经网络为基础的框架,同时学习低级别的政策,以及高级别的政策,如决定哪个对象接下或在哪里放置它相对于其他对象在场景中。所提出的方法的一个关键特征是,直接从任务演示的原始视频中学习策略,而不需要对数据进行任何手动注释或后处理。机器人手臂的物体操作任务的实验结果表明,该网络可以有效地学习从真实的视觉演示来执行任务,并优于流行的模仿学习算法。
2022-03-08 cs.LG cs.RO
Vision-Based Multi-Task Manipulation for Inexpensive Robots Using End-To-End Learning from Demonstration
University of Central Florida(中佛罗里达大学);University of California Berkeley(加州大学伯克利分校)
我们提出了一种多任务的示教学习技术,从演示,培训控制器的低成本的机器人手臂,以完成几个复杂的拾取和放置任务,以及非易失性操作。控制器是一个递归神经网络,使用原始图像作为输入并生成机器人手臂轨迹,其中参数在任务之间共享。该控制器还将基于VAE-GAN的重构与自回归多模态动作预测相结合。我们的研究结果表明,它是可以学习复杂的操作任务,如拿起毛巾,擦拭物体,并存放毛巾到其先前的位置,完全从原始图像与直接行为克隆。我们发现,权重共享和基于重建的正则化大大提高了泛化能力和鲁棒性,同时对多个任务进行训练可以提高所有任务的成功率。
2018-04-22 cs.AI cs.LG cs.RO
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿人的演示是赋予机器人各种操作能力的一种很有前途的方法。虽然最近在模仿学习和批量(离线)强化学习方面取得了进展,但缺乏开源的人类数据集和可重复的学习方法使得评估该领域的状态变得困难。在本文中,我们进行了广泛的研究,六个离线学习算法机器人操作的五个模拟和三个真实世界的多阶段操作任务的复杂性不同,并与不同质量的数据集。我们的研究分析了从离线人类数据中学习进行操作时面临的最关键挑战。基于这项研究,我们得出了一系列的教训,包括不同的算法设计选择的敏感性,对演示质量的依赖性,以及由于训练和评估的不同目标而导致的基于停止标准的可变性。我们还强调了从人类数据集学习的机会,例如能够学习超出当前强化学习方法范围的具有挑战性的多阶段任务的熟练策略,以及能够轻松扩展到只有原始感官信号可用的自然,真实世界的操纵场景。我们已经开源了我们的数据集和所有算法实现,以促进未来的研究和从人类演示数据中学习的公平比较。代码库、数据集、训练模型以及更多信息,请访问https://arise-initiative.github.io/robomimic-web/
2021-09-25 cs.AI cs.LG cs.RO
DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation
Peking University(北京大学);BeingBeyond
提出 DemoHLM 框架,通过分层结构集成全身控制器与高级操作策略,仅需仿真中的单次演示即可在真实人形机器人上实现可泛化且鲁棒的移动操作。
2025-10-13 cs.LG cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego(加州大学圣地亚哥分校)
虽然计算机视觉在理解手-物交互方面取得了重大进展,但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中,我们提出了一个新的平台和流水线DexMV(灵巧操作视频)的模仿学习。我们设计了一个平台:(i)用于具有多指机器人手的复杂灵巧操纵任务的模拟系统,以及(ii)用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中,我们从视频中提取3D手部和物体姿态,并提出了一种新的演示翻译方法,将人体运动转换为机器人演示。然后,我们应用和基准多个模仿学习算法的演示。我们表明,演示确实可以大大提高机器人学习,并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到:https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
Learning Robot Manipulation from Cross-Morphology Demonstration
Robotic Embedded Systems Laboratory(机器人嵌入式系统实验室);University of Southern California(南加州大学)
本文提出模仿学习中的形态适应框架MAIL,利用形态显著不同的智能体的次优演示训练机器人视觉控制策略,在刚体与布料操作任务中相比基线提升最高24%,并成功部署到真实Franka Panda机器人。
2023-10-30 cs.LG cs.RO
HuMI: Humanoid Whole-Body Manipulation from Humanoid-Free Demonstrations
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai Jiao Tong University(上海交通大学)
HuMI通过便携硬件实现无需机器人演示的全身体验操控,提升数据收集效率并提高未见环境中的任务成功率。
2026-11-10 cs.AI cs.LG cs.RO
Neural Task Success Classifiers for Robotic Manipulation from Few Real Demonstrations
University of Lincoln(林肯大学);Lincoln Institute for Agri-Food Technology(林肯农业食品技术研究所)
机器人从少量的演示中学习新的操作任务在不同的领域越来越多地被要求。评估动作质量的分类器模型可以预测任务的成功完成,智能代理可以使用该模型进行动作选择。本文提出了一种新的分类器,学习分类任务完成只有从几个示范。我们对不同的神经分类器进行了全面的比较,例如基于全连接的,基于全卷积的,基于序列2序列的和基于领域自适应的分类。我们还提出了一个新的数据集,包括五个机器人操作任务,这是公开的。我们使用我们的数据集和MIME数据集比较了我们的新分类器和现有模型的性能。结果表明,领域自适应和基于时间的功能,提高成功的预测。我们的新模型,即具有领域自适应和时序特征的全卷积神经网络,在两个数据集中的任务中实现了97.3%和95.5%的平均分类准确率,而没有领域自适应和时序特征的最先进的分类器分别仅实现了82.4%和90.3%。
2021-07-01 cs.AI cs.LG cs.RO
DynamicManip: Enabling Dynamic Manipulation from a Single Static Demonstration
Sun Yat-sen University(中山大学);Stanford University(斯坦福大学);Southeast University(东南大学)
本文提出DynamicManip,通过静态转动态数据增强流水线、动态感知自适应策略及动态操作基准,解决机器人动态操作的数据效率与实时性问题,实验显示其性能显著优于现有方法。
2026-08-04 cs.CV cs.LG cs.RO
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego(加利福尼亚大学圣迭戈分校)
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而,现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里,我们提出了SAPIEN操纵技能基准(ManiSkill),以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择,以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信,我们应该定制基准,以便挑战邀请从事3D深度学习的研究人员。为此,我们模拟了一个移动的全景相机,返回以自我为中心的点云或RGB-D图像。此外,我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外,我们还支持从演示中学习(LfD)方法,提供大量高质量的演示(约36,000个成功的轨迹,约150万个点云/RGB-D帧)。我们使用3D深度学习和LfD算法提供基线。我们的基准测试(模拟器,环境,SDK和基线)的所有代码都是开源的,跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group(哥伦比亚大学机器人学小组)
深度强化学习(RL)的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而,RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题,最近的工作已经提出了从专家演示(LfD),特别是通过逆强化学习(IRL)的学习,因为它能够实现强大的性能,只有少量的专家演示。然而,在真实机器人上部署IRL仍然具有挑战性,因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战,一个强大的,采样效率高,和一般的元IRL算法,SQUIRL,执行一个新的,但相关的长期任务,鲁棒地给出了只有一个视频演示。首先,该算法使用行为克隆(BC)引导任务编码器和任务条件策略的学习。然后,它收集真实的机器人经验,并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后,该算法使用Q函数重新评估机器人收集的所有累积经验,以快速改进策略。最后,该策略在新任务上比BC执行得更健壮(90%以上的成功率),同时在测试时不需要试错。最后,我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间,动作空间和基于视觉的操作任务,例如,pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation
Georgia Institute of Technology(佐治亚理工学院);Zhejiang Technology(浙江理工大学)
MimicTouch提出通过采集人类多模态触觉演示数据,结合模仿学习与在线残差强化学习,直接学习触觉引导策略,以弥合人手与机器人夹爪的差距,有效解决接触丰富操作任务。
2025-02-06 cs.LG cs.RO
Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations
University of Washington(华盛顿大学);OpenAI;University of California Berkeley(加州大学伯克利分校);Istituto Italiano di Tecnologia(意大利理工学院)
灵巧的多指手是非常通用的,并提供了一种通用的方式来执行以人为中心的环境中的许多任务。然而,有效地控制它们仍然具有挑战性,因为它们的高维度和大量的潜在接触。深度强化学习(DRL)提供了一种模型不可知的方法来控制复杂的动力系统,但尚未被证明可以扩展到高维灵巧操作。此外,由于样本效率低下,在物理系统上部署DRL仍然具有挑战性。因此,迄今为止,DRL在机器人领域的成功仅限于简单的机械手和任务。在这项工作中,我们表明,无模型DRL可以有效地扩展到复杂的操作任务与高维24自由度的手,并解决他们从头开始在模拟实验。此外,通过使用少量的人类演示,可以显着降低样本的复杂性,这使得学习的样本大小相当于几个小时的机器人经验。使用示威导致政策表现出非常自然的运动,而且令人惊讶的是,也更加强大。
2018-06-26 cs.AI cs.LG cs.RO
State-Only Imitation Learning for Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);New York University(纽约大学)
现代无模型强化学习方法最近在许多问题上表现出令人印象深刻的结果。然而,由于样品的高度复杂性,像灵巧操作这样的复杂领域仍然是一个挑战。为了解决这个问题,目前的方法采用状态-动作对形式的专家演示,这对于现实世界的设置(例如从视频中学习)是很难获得的。在本文中,我们走向一个更现实的设置,并探讨只有状态的模仿学习。为了解决这个问题,我们训练一个逆动力学模型,并使用它来预测仅状态演示的动作。逆动力学模型和策略被联合训练。我们的方法与状态-动作方法相当,并且远远优于单独的RL。通过不依赖于专家的行动,我们能够从不同的动态,形态和对象的演示中学习。视频可在https://people.eecs.berkeley.edu/~ilija/soil获得。
2021-12-29 cs.LG cs.RO stat.ML
Robot Deformable Object Manipulation via NMPC-generated Demonstrations in Deep Reinforcement Learning
Hubei Key Laboratory of Brain-inspired Intelligent Systems and the Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(湖北脑启发智能系统重点实验室和图像处理与智能控制重点实验室,人工智能与自动化学院,华中科技大学)
本研究提出基于示范增强的 HGCR-DDPG 算法,结合 NMPC 生成低成本示范,在可变形物体操作任务中显著提升了学习效率与成功率,且较大型模型更轻量高效。
2025-02-17 cs.LG cs.RO
DefGoalNet: Contextual Goal Learning from Demonstrations For Deformable Object Manipulation
University of Utah(犹他大学);NVIDIA Corporation(英伟达公司)
针对形状伺服依赖人工指定目标形状的问题,本文提出 DefGoalNet,从少量人类演示中学习可变形物体目标形状,并在仿真和实体机器人任务中验证其有效性。
2023-09-25 cs.AI cs.LG cs.RO
Multi-Stage Manipulation with Demonstration-Augmented Reward, Policy, and World Model Learning
University of California San Diego(加州大学圣迭戈分校);ETH Zürich, Switzerland(苏黎世联邦理工学院)
针对机器人长时域操作任务强化学习探索难、缺密集奖励的问题,提出DEMO3演示增强框架,整合多阶段奖励学习、双阶段训练与世界模型,在16项稀疏奖励任务上平均提升40%数据效率,高难任务提升70%。
2025-06-23 cs.CV cs.LG cs.RO
Learning Pivoting Manipulation with Force and Vision Feedback Using Optimization-based Demonstrations
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出一种结合接触隐式轨迹优化与演示引导深度强化学习的框架,实现样本高效的闭环枢轴操作,并通过特权训练策略实现仅依赖本体感觉、视觉和力传感的仿真到现实迁移。
2025-08-05 cs.AI cs.LG cs.RO
Robobarista: Object Part based Transfer of Manipulation Trajectories from Crowd-sourcing in 3D Pointclouds
Cornell University(康奈尔大学)
在人类环境中有大量的物体和设备,如炉灶、咖啡机、榨汁机等,对于机器人专家来说,为这些物体类型和它们的实例化编程是一个挑战。在这项工作中,我们提出了一种新的方法来操纵规划的基础上的想法,许多家庭的对象共享类似的操作对象的部分。我们将操纵规划制定为结构化预测问题,并设计了一个深度学习模型,该模型可以处理操纵演示中的大噪声,并从三种不同的模态(点云、语言和轨迹)中学习特征。为了收集大量不同对象的操作演示,我们开发了一个新的众包平台Robobarista。我们在由116个对象组成的数据集上测试了我们的模型,其中包括249个部件以及250个语言指令,其中有1225个众包操作演示。我们进一步证明,我们的机器人甚至可以操纵它以前从未见过的物体。
2015-09-18 cs.AI cs.LG cs.RO
RE4: Transformation-aware Imitation of Object Interactions Using Manipulation Modes
Australian National University(澳大利亚国立大学)
提出RE4框架,通过轻量级自监督姿态估计和操作模式感知的检索、变换、重规划与执行,在保持可解释性的同时提升物体交互模仿学习的性能和鲁棒性。
2026-10-30 cs.LG cs.RO
LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations
University of California San Diego(加州大学圣地亚哥分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对长时程灵巧操作任务数据获取难的问题,提出LodeStar框架,通过基础模型分解人类演示技能,结合强化学习生成合成数据集训练技能,再用SRT策略链接受训技能,显著提升任务性能与稳健性。
2025-08-24 cs.AI cs.LG cs.RO
GenORM: Generalizable One-shot Rope Manipulation with Parameter-Aware Policy
The University of Tokyo(东京大学);Osaka University(大阪大学)
GenORM通过参数感知策略和可微分物理模拟器,仅需一次真实演示即可操控不同可变形绳索,显著优于基线方法。
2025-01-27 cs.AI cs.LG cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego(加州大学圣地亚哥分校)
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比,模仿学习的最新进展大大提高了样本效率,但由于专家演示有限,学习的策略很难推广到操纵新对象。在本文中,我们建议学习灵巧的操作,使用大规模的示范与不同的3D对象的类别,这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策,我们提出了一个新的模仿学习目标与几何表示学习目标,使用我们的演示。通过在模拟中重新定位不同对象的实验,我们表明,我们的方法在操纵新对象时优于基线,具有很大的优势。我们还消融了3D对象表示学习的重要性,为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System
OMRON SINIC X Corporation(欧姆龙SINIC X公司);The University of Tokyo(东京大学)
针对刚性机器人在富接触任务中难以适应环境的问题,提出结合VR触觉反馈遥操作界面与基于Transformer动作分块的Comp-ACT方法,从少量示范中学习变柔顺控制,有效提升了机器人灵巧操作的适应性与安全性。
2024-09-26 cs.AI cs.LG cs.RO
Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
New York University(纽约大学)
优化灵巧操作的行为一直是机器人技术中的一个长期挑战,从基于模型的控制到无模型强化学习的各种方法先前已经在文献中进行了探索。也许学习复杂操作策略的最强大的技术之一是模仿学习。然而,收集和示教学习示范灵巧操作是相当具有挑战性的。多指控制涉及的复杂、高维动作空间通常导致基于学习的方法的低样本效率。在这项工作中,我们提出了“灵巧模仿容易”(DIME)一个新的模仿学习框架灵巧操作。DIME只需要一个RGB摄像头来观察人类操作员并远程操作我们的机器人手。一旦示范收集,DIME采用标准的模仿学习方法,训练灵巧的操作政策。在模拟和真实的机器人基准测试中,我们证明了DIME可用于解决复杂的手操作任务,如“翻转”,“旋转”和“旋转”对象与快板手。我们的框架以及预先收集的演示可在https://nyu-robot-learning.github.io/dime上公开获取。
2022-03-24 cs.AI cs.CV cs.LG
Seeing All the Angles: Learning Multiview Manipulation Policies for Contact-Rich Tasks from Demonstrations
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Vector Institute(矢量研究所)
作为传统的手工制作的机器人操作框架的替代方案,学习的可视化策略已经取得了相当大的成功。令人惊讶的是,这些方法的扩展到多视图域是相对未开发的。一个成功的多视图策略可以部署在移动操作平台上,允许机器人完成任务,而不管它的场景视图。在这项工作中,我们证明了一个多视角的政策,可以通过模仿学习从各种角度收集数据。我们通过学习完成几个具有挑战性的多阶段和接触丰富的任务,从许多角度来看,无论是在模拟环境中,并在一个真正的移动操作平台上,说明了该方法的普遍适用性。此外,我们分析了我们的政策,以确定从多视图数据学习的好处相比,从一个固定的角度收集的数据学习。我们表明,从多视图数据的学习结果很少,如果有的话,惩罚性能的固定视图任务相比,学习与等量的固定视图数据。最后,我们研究了多视图和固定视图策略的视觉功能。我们的结果表明,多视图策略隐含地学习识别空间相关特征。
2022-07-08 cs.LG cs.RO
OpenVR: Teleoperation for Manipulation
Carnegie Mellon University(卡内基梅隆大学)
提出一种基于Oculus VR头显遥操作Franka Emika Panda机器人的开源方法,解决高质量演示数据收集困难的问题,具有易获取、易修改和易用的特点。
2023-05-16 cs.HC cs.LG cs.RO
Learning Diverse Bimanual Dexterous Manipulation Skills from Human Demonstrations
School of Computer Science(计算机学院);Peking University(北京大学);BAAI(北京智源人工智能研究院)
本文提出BiDexHD框架,通过从现有双手数据集自动构建任务并结合教师-学生策略学习,在TACO数据集141个任务上实现了74.59%的已训练任务完成率和51.07%的零样本泛化能力,推动了通用双手灵巧操作技能的学习。
2024-10-03 cs.LG cs.RO
TeleMoMa: A Modular and Versatile Teleoperation System for Mobile Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);Sony AI(索尼人工智能)
TeleMoma是一种通用模块化移动操作遥操作接口,支持多种人类接口组合,降低演示收集门槛,并通过仿真和真实实验验证其通用性与数据质量。
2024-03-21 cs.AI cs.LG cs.RO
Learning Visual Quadrupedal Loco-Manipulation from Demonstrations
Shanghai Qi Zhi Institute(上海期智研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
本文提出一种结合RL低层控制器与BC高层规划器的视觉四足腿部移动操作框架,通过轨迹参数化协同两层策略,使四足机器人无需额外机械臂即可完成提篮、关门和按钮等真实任务。
2024-08-02 cs.LG cs.RO
Learning Reusable Manipulation Strategies
Massachusetts Institute of Technology(麻省理工学院)
该研究提出一个让机器通过单次演示和自博弈习得可复用操作技能的框架,将演示解读为接触模式变化序列以学习参数采样器,可集成到标准任务与运动规划器实现组合使用。
2023-11-06 cs.AI cs.LG cs.RO
Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation
JD Explore Academy(京东探索研究院)
本文介绍了我们为SAPIEN ManiSkill挑战2021中的以下两个轨道设计的系统的概述和比较分析:无交互轨道:无交互轨道目标,用于从预先收集的演示轨道中学习策略。我们研究了两种基于模仿学习的方法,即,使用经典的监督学习技术和基于离线强化学习的方法来模仿该轨道的观察到的行为。此外,物体和机器人手臂的几何和纹理结构通过基于transformer的网络来促进模仿学习。无限制轨道:在这条赛道上,我们设计了一个启发式的基于规则的方法(HRM)触发高质量的对象操作分解成一系列的子任务的任务。对于每个子任务,采用简单的基于规则的控制策略来预测可以应用于机器人手臂的动作。为了简化我们系统的实现,所有源代码和预训练模型都可以在\url{https://github.com/caiqi/Silver-Bullet-3D/}上获得。
2022-06-13 cs.CV cs.LG cs.MM
Demonstration-Free Robotic Control via LLM Agents
independent researchers(独立研究人员)
本文提出FAEA框架,利用通用大语言模型实现无需演示的机器人操控,通过迭代推理生成操控策略,在多个基准测试中取得高成功率,展示了通用代理在任务规划中的有效性。
2026-06-28 cs.AI cs.LG cs.RO
Learning from demonstration using products of experts: applications to manipulation and task prioritization
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
概率分布是许多从演示示教学习(LfD)方法中的关键组成部分。虽然机械手的配置由其关节角度定义,但姿势通常在几个任务空间内得到最好的解释。在许多方法中,相关任务空间内的分布是独立学习的,并且仅在控制级组合。这种简化意味着在这项工作中要解决的几个问题。我们表明,在不同的任务空间中的模型的融合可以表示为一个产品的专家(PoE),其中的模型的概率相乘和重新规范化,使它成为一个适当的分布的关节角度。多个实验表明,在PoE框架中联合学习不同的模型显着提高了模型的质量。当机器人必须学习竞争或层次目标时,所提出的方法特别突出。联合训练模型通常依赖于对比发散,这需要昂贵的近似,可能会影响性能。我们提出了一种替代策略,使用变分推理和混合模型近似。特别是,我们表明,所提出的方法可以扩展到PoE与零空间结构(PoENS),该模型能够恢复被掩盖的高级别目标的分辨率的任务。
2020-10-07 cs.LG cs.RO
IRIS: Implicit Reinforcement without Interaction at Scale for Learning Control from Offline Robot Manipulation Data
Stanford Vision & Learning Lab(斯坦福视觉与学习实验室);NVIDIA(英伟达);University of Sydney(悉尼大学);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
从离线任务演示中学习是机器人技术中一个非常感兴趣的问题。对于任务实例中具有适度变化的简单短期操作任务,从一小组演示中离线学习可以产生成功解决任务的控制器。然而,对于较大的数据集和变化较大的长期任务来说,利用固定的一批数据可能会有问题。数据可以表现出很大的多样性,并包括次优的解决方案的方法。在本文中,我们提出了隐式强化无交互规模(IRIS),一个新的框架,从大规模的演示数据集学习。IRIS分解成一个目标为条件的低层次控制器,模仿短的演示序列和高层次的目标选择机制,设定目标的低层次,并有选择地结合部分次优的解决方案,导致更成功的任务完成的控制问题。我们在三个数据集上评估了IRIS,包括人类通过众包收集的RoboTurk Cans数据集,并表明可以从纯粹的离线学习中学习到高性能的策略。更多结果请访问https://sites.google.com/stanford.edu/iris/。
2020-02-23 cs.AI cs.LG cs.RO
PLEX: Making the Most of the Available Data for Robotic Manipulation Pretraining
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
针对机器人操作表征学习需大量多模态演示的问题,提出基于transformer的PLEX架构,结合少量视觉运动轨迹与大量任务条件操作视频学习,在Meta-World和Robosuite上实现优异性能,低数据下相对位置编码效果显著。
2023-11-08 cs.AI cs.LG cs.RO
Latent Adaptive Planner for Dynamic Manipulation
UCLA(加州大学洛杉矶分校);Lambda, Inc.(Lambda公司)
LAP通过学习人类示范视频,实现了动态非抓取操作的实时自适应规划,提升操作成功率和效率。
2025-08-29 cs.AI cs.LG cs.RO
From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation
UC San Diego(加州大学圣地亚哥分校)
我们建议执行模仿学习灵巧操作与多指机器人手从人类示范,并转移到真正的机器人手的政策。我们介绍了一种新颖的单摄像机遥操作系统,只需一台iPad和一台电脑就可以有效地收集3D演示。我们的系统的一个关键贡献是,我们构建了一个定制的机器人手为每个用户在物理模拟器,这是一个类似于相同的运动学结构和形状的操作员的手的机械手。这提供了一个直观的界面,并避免了不稳定的人机手重定向数据汇集,导致大规模和高质量的数据。一旦收集到数据,定制的机器人手轨迹可以转换为不同的指定机器人手(制造的模型),以生成训练演示。通过使用我们的数据进行模仿学习,我们在多个复杂操作任务的基线上显示出很大的改进。重要的是,我们证明了我们学习的策略在转移到真实机器人时更加强大。更多视频可以在https://yzqin.github.io/dex-teleop-imitation上找到。
2023-01-18 cs.CV cs.LG cs.RO