The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations
University of Freiburg(弗赖堡大学)
本文提出将末端执行器速度分解为方向与大小并用黎曼GMM建模,结合技能分割对齐和视觉任务参数自动检测,使机器人仅凭五次RGB-D演示即可学习长时程操作任务,在RLBench上达到最先进性能且样本效率提升20倍。
2024-10-23 cs.LG cs.RO
Neural Task Programming: Learning to Generalize Across Hierarchical Tasks
Stanford Vision & Learning Lab(斯坦福视觉与学习实验室);CS, Caltech(加州理工学院计算机科学系)
在这项工作中,我们提出了一种新的机器人学习框架,称为神经任务编程(NTP),它的桥梁的想法,少样本学习从示范和神经程序归纳。NTP将任务规范(例如,任务的视频演示)并递归地将其分解为更精细的子任务规范。这些规范被馈送到分层神经程序,其中底层程序是与环境交互的可调用子例程。我们验证我们的方法在三个机器人操作任务。NTP在表现出层次结构和组成结构的顺序任务中实现了很强的泛化。实验结果表明,NTP能够很好地泛化到长度不断增加、拓扑结构可变和目标不断变化的不可见任务。
2018-03-14 cs.AI cs.LG cs.RO
MimicPlay: Long-Horizon Imitation Learning by Watching Human Play
Stanford(斯坦福大学);NVIDIA(英伟达);Georgia Tech(佐治亚理工学院);UT Austin(德克萨斯大学奥斯汀分校);Caltech(加州理工学院)
MimicPlay提出分层模仿学习框架,利用人类玩耍数据学习潜在计划,指导少量遥操作示范训练的低层控制,在14个真实世界长时域任务中优于现有方法。
2023-10-13 cs.RO
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research(伯克利人工智能研究中心);Google(谷歌)
我们提出了中继策略学习,模仿和强化学习的方法,可以解决多阶段,长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段,模仿学习阶段产生目标条件的分层策略,强化学习阶段微调这些策略以提高任务性能。我们的方法,虽然不一定是完美的模仿学习,是非常适合通过环境交互进一步改进,使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题,使用一种新的数据重新标记算法学习目标条件的分层策略,其中低级别的行为只为固定数量的步骤,无论达到的目标。虽然我们依赖于演示数据来引导策略学习,但我们并不假设可以访问正在解决的每个特定任务的演示,而是利用语义上有意义的行为的非结构化和未分割的演示,这些演示不仅提供负担较轻,而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段,长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Gentle Manipulation Policy Learning via Demonstrations from VLM Planned Atomic Skills
本文提出一种结合层次语义分解、强化学习、视觉语言模型与知识蒸馏的框架,将复杂操作任务分解为原子技能并在仿真中训练,通过VLM生成演示并蒸馏为统一策略,实现无需人类演示的长时程温和操作学习与可扩展泛化。
2025-11-08 cs.RO
Synthetic Dataset Generation and Learning From Demonstration Applied to Industrial Manipulation
University of Luxembourg(卢森堡大学)
本文研究面向工业装配的自动化操作流水线,提出合成数据集生成方法并结合示教学习替代人工编程,使非机器人专家也能通过示教引入新操作任务。
2024-03-30 cs.RO
Combining Learning from Demonstration with Learning by Exploration to Facilitate Contact-Rich Tasks
Universität Hamburg(汉堡大学);Agile Robots AG(思灵机器人公司);Technische Universität München(慕尼黑工业大学)
协作机器人有望能够与人类一起工作,在某些情况下直接取代现有的人类工人,从而有效地应对快速的装配线变化。目前用于编程接触丰富的任务的方法,特别是在严重受限的空间中,往往是相当低效的。因此,迫切需要更快、更直观的机器人示教方法。这项工作的重点是结合基于视觉伺服的示教学习(LfD)和基于力的学习探索(LbE),使快速和直观的编程接触丰富的任务与最小的用户所需的努力。开发了两种学习方法并将其集成到一个框架中,一种依赖于人到机器人的运动映射(视觉伺服方法),另一种依赖于基于力的强化学习。该框架实现了基于视觉伺服的非接触示教方法,并根据检测到的接触状态优化了被示教机器人的目标位置。该框架与两种最常用的基线技术,基于吊坠的教学和手指导教学进行了比较。该框架的效率和可靠性已被验证,通过比较实验涉及教学和执行接触丰富的任务。本文提出的框架在教学时间、执行成功率、损坏风险和易用性方面表现最好。
2021-10-26 cs.RO
Bootstrapping Imitation Learning for Long-horizon Manipulation via Hierarchical Data Collection Space
CVTE(中国维克托技术有限公司);SYSU(深圳大学);SWJTU HKU(上海交通大学香港大学)
本文提出分层数据采集空间(HD-Space),通过将长时程操作任务分解为原子任务并设计相应状态/动作空间,以少量演示数据训练出更稳健的模仿学习策略,在模拟和真实任务中显著提升性能。
2025-05-23 cs.AI cs.RO
Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
Tufts University, United States(美国塔夫茨大学);Austrian Institute of Technology, Austria(奥地利技术研究所);Human-Robot Interaction Lab(人机交互实验室)
针对模仿学习长时程任务数据需求高、泛化弱的问题,提出联合学习符号抽象与连续控制的少样本神经符号框架,仅需五次演示即可实现强泛化和可解释决策。
2025-08-29 cs.RO
You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
最近在类别级操作中已经取得了令人满意的结果,这些操作概括了对象实例。然而,它通常需要昂贵的真实世界的数据汇集和手动规范的语义关键点的每个对象类别和任务。此外,粗略的关键点预测和忽略中间动作序列阻碍了在拾取和放置之外的复杂操作任务中的采用。这项工作提出了一种新的,类别级的操作框架,利用以对象为中心的,类别级的表示和无模型的6自由度运动跟踪。规范对象表示仅在模拟中学习,然后用于解析来自单个演示视频的类别级任务轨迹。演示通过规范表示被重新投影到针对新对象定制的目标轨迹。在执行过程中,操作地平线被分解为远程,无碰撞的运动和最后一英寸的操作。对于后一部分,类别级行为克隆(CatBC)方法利用运动跟踪来执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级别坐标框架的目标轨迹。通过局部注意力机制沿着操纵水平线自动选择帧。该框架允许通过仅提供单个演示来教授不同的操作策略,而无需复杂的手动编程。广泛的实验证明了它在高精度装配中一系列具有挑战性的工业任务中的有效性,这些任务涉及学习复杂的、长期的政策。该过程表现出鲁棒性对不确定性,由于动态以及泛化对象实例和场景配置。补充视频可在www.example.com上获得v = WAr8ZY3mYyw
2022-05-06 cs.AI cs.CV cs.RO
Overcoming Exploration in Reinforcement Learning with Demonstrations
OpenAI;University of California, Berkeley(加州大学伯克利分校)
在奖励稀疏的环境中进行探索一直是强化学习(RL)中的一个持续问题。许多任务很自然地指定稀疏的奖励,手动塑造奖励函数可能会导致次优性能。然而,随着任务范围或行动维度的增加,找到非零奖励的难度呈指数级增加。这使得许多现实世界的任务超出了RL方法的实际范围。在这项工作中,我们使用演示来克服探索问题,并成功地学习执行长视野,多步机器人任务与连续控制,如堆叠块与机器人arm.Our方法,它建立在顶部的深度确定性策略梯度和后见之明经验重放,提供了一个数量级的加速比RL的模拟机器人任务。它实现起来很简单,并且只做了一个额外的假设,即我们可以收集一小部分演示。此外,我们的方法是能够解决的任务,无论是RL或行为克隆单独解决,并最终往往优于演示政策。
2018-02-25 cs.AI cs.LG cs.NE
Is Online Interaction Necessary for Recovery? A Minimalist Approach to Robust Planning via Perturbation
针对行为克隆在闭环执行中易受协变量偏移影响的问题,提出扰动增强恢复监督(PARS),仅用现有演示通过扰动状态并锚定轨迹后半段来提供恢复监督,无需额外交互或专家,在51个RLBench任务上验证了鲁棒性提升。
2026-09-29 cs.RO
Ergodic Imitation for Adaptive Exploration around Demonstrations
Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑校区);Idiap Research Institute(伊迪亚普研究 institute)
本文提出一种自适应遍历模仿方法,通过构建演示的几何目标分布,生成适应性插值轨迹,解决机器人模仿学习中训练与部署条件不匹配的问题。
2026-05-13 cs.RO
Learning Task Specifications from Demonstrations as Probabilistic Automata
Ghent University(根特大学);imec(校际微电子中心);IDLab
针对现有从演示学习方法难应对长跨度任务的问题,提出一种高效学习概率确定性有限自动机的方法,可从演示推断子及时序依赖,生成可解释任务规范,经物体操作实验验证,能让机械臂复制多样专家策略并适应环境变化。
2024-09-11 cs.RO
Simulation-aided Learning from Demonstration for Robotic LEGO Construction
Carnegie Mellon University(卡内基梅隆大学);Westlake Highschool(韦斯特莱克高中)
本文提出仿真辅助示教学习框架 SaLfD,通过观察人类乐高搭建演示自动生成并仿真验证搭建计划,成功部署于 FANUC 机器人实现装配与拆卸原型制作。
2023-09-24 cs.RO
Learning from Few Demonstrations with Frame-Weighted Motion Generation
Delft University of Technology(代尔夫特理工大学);Honda Research Institute Europe(本田欧洲研究所);University of York(约克大学)
本文提出一种基于参考帧权重的少样本演示学习算法,通过捕捉任务执行中帧的重要性,在仅少量演示的情况下实现高效技能获取,并在真实机器人环境中验证了其有效性。
2023-10-26 cs.RO
Supervised Bayesian Specification Inference from Demonstrations
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Lockheed Martin Corporation(洛克希德·马丁公司)
在观察任务演示时,人类学徒能够在获得实际执行任务的专业知识之前很久就确定给定任务是否正确执行。先前的研究示教学习(LfD)未能捕捉到这个概念的任务的执行的可接受性,同时,时序逻辑提供了一个灵活的语言来表达任务规范。受此启发,我们提出贝叶斯规范推理,推理任务规范作为一个时间逻辑公式的概率模型。我们结合概率编程的方法来定义我们的先验,以及一个独立于域的似然函数来实现基于采样的推理。我们证明了我们的模型推断规格的有效性,超过90%的相似性之间观察到的推断规格和地面真理,无论是在合成域和在现实世界的表设置任务。
2021-07-06 cs.AI cs.LG cs.RO
Quantifying Teaching Behaviour in Robot Learning from Demonstration
King's College London(伦敦国王学院)
示教学习允许快速部署的机器人操作器的许多任务,依靠一个人告诉机器人做什么,而不是编程它。虽然这种方法提供了许多机会,测量,评估和提高人的教学能力仍然在很大程度上是未开发的机器人操作研究。为此,本文提出了一种示范性示教学习模式,它结合了教师对学习者的理解和影响。该模型用于明确教师在示教学习过程中的目标,为如何定义教学失败和教学效率提供了新的视角。这种方法的好处是在两个实验(N=30和N=36,分别),这突出了教师在提供有效的示范困难,并显示如何~169-180%的教学效率可以通过评价和反馈所提出的框架,相对于无指导的教学实现。
2019-05-10 cs.AI cs.HC cs.LG
Demonstration Sidetracks: Categorizing Systematic Non-Optimality in Human Demonstrations
Tufts University School of Engineering, Computer Science(塔夫茨大学工程学院计算机科学系)
本文研究人类演示中的系统性非最优行为,识别四种偏移类型和一种控制模式,以改进LfD算法和现实应用。
2025-12-17 cs.LG cs.RO
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究院);Georgia Institute of Technology(佐治亚理工学院)
SPIRE通过任务与运动规划分解长时程操作任务,并结合模仿学习与强化学习,在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
Modeling Preemptive Behaviors for Uncommon Hazardous Situations From Demonstrations
Contextual Robotics Institute(情境机器人研究所);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Honda Research Institute, USA(本田美国研究所)
本文提出了一种示教学习的方法来编程安全,自主的行为不常见的驾驶场景。模拟被用来重新创建一个有针对性的驾驶情况,一个包含路边危险创建一个显着的闭塞在城市社区,并收集最佳的驾驶行为从24个用户。论文采用了一种基于关键帧的方法,结合一种算法来线性组合模型,以便将行为扩展到目标情况的新变化。这种方法在理论上是不可知的LfD框架用于建模数据的种类,我们的研究结果表明,它可以很好地推广到包含顺序发生的额外数量的危险的变化。线性组合算法是通过对驾驶数据的分析而得到的,这也表明决策算法需要考虑道路规则和即时奖励之间的权衡,以解决一些复杂的情况。
2018-06-01 cs.AI cs.RO
Long-Horizon Visual Imitation Learning via Plan and Code Reflection
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science and Technology, Beijing Institute of Technology, China(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国);Beijing Innovation Center of Humanoid Robotics, China(北京人形机器人创新中心,中国)
本文提出通过计划与代码反思模块提升长 horizon 视觉模仿学习性能,引入 LongVILBench 基准验证方法有效性。
2025-12-18 cs.AI cs.LG cs.RO
Exploring Implicit Human Responses to Robot Mistakes in a Learning from Demonstration Task
University of Notre Dame(圣母大学)
当机器人进入人类环境时,它们将被期望完成大量的任务。机器人设计师不可能预先编程这些行为或提前知道它们,因此解决这个问题的一种方法是通过最终用户编程,例如通过示教学习(LfD)。虽然已经在使机器人学习能够从人类教师学习的机制上做了大量工作,但是一个未探索的方面是在学习过程期间使人类教师和机器人之间能够相互反馈,即,内隐学习在本文中,我们探讨了这种相互理解的一个方面,接地序列,其中人类和机器人提供非语言反馈,以表示他们在互动过程中的相互理解。我们进行了一项研究,人们教一个自主的人形机器人跳舞,并进行手势分析,以测量人们在正确和不正确的演示过程中对机器人的反应。
2016-06-08 cs.AI cs.HC cs.RO
WebRobot: Web Robotic Process Automation using Interactive Programming-by-Demonstration
机器人过程自动化(RPA)的民主化势在必行,因为RPA已成为数字化转型的主要驱动力,但在技术上仍然非常苛刻,尤其是对于非专家而言。在本文中,我们研究了如何自动化一类重要的RPA任务,称为Web RPA,这些任务涉及构建自动化数据和Web浏览器之间交互的软件机器人。我们的主要贡献有两方面。首先,我们开发了一个正式的基础,它允许语义推理Web RPA程序,并制定其合成问题的原则性方式。其次,我们提出了一个Web RPA程序合成算法的基础上的一个新的想法,称为投机重写。这导致了一种新的推测和验证方法的重写为基础的程序合成,这也被证明是理论上简单和实际有效的综合程序演示的背景下。我们在一个名为WebRobot的新交互式合成器中构建了这些想法,并在76个Web RPA基准上对其进行了评估。我们的研究结果表明,WebRobot有效地自动化了其中的大多数。此外,我们表明,WebRobot相比毫不逊色,传统的重写为基础的合成基线使用鸡蛋。最后,我们进行了一个小型的用户研究,证明WebRobot也是可用的。
2022-05-11 cs.PL
Synthesizing Analytical SQL Queries from Computation Demonstration
分析型SQL广泛应用于现代数据库应用程序和数据分析。然而,它的划分和分组操作符对于新手用户来说是具有挑战性的。不幸的是,在标准SQL上显示有效的示例编程不太吸引人,因为分析查询的示例手工解决起来更费力。为了使演示更容易创建,我们设计了一个新的最终用户规范,通过计算演示编程,允许用户使用(可能不完整的)单元级计算跟踪来演示任务。该规范被利用在一个新的基于抽象的合成算法,以证明一个部分形成的查询不能完成,以满足规范,允许我们修剪的搜索空间。我们在名为Sickle的工具中实现了我们的方法,并在80个真实分析SQL任务上对其进行了测试。结果表明,即使是小规模的演示,Sickle也可以在平均12.8秒内解决76个任务,而之前的方法只能解决60个任务,平均速度要慢22.5倍。我们对13名参与者的用户研究表明,我们的规范提高了用户在挑战性任务上的效率和信心。
2022-04-22 cs.DB cs.PL
Solving Novel Program Synthesis Problems with Genetic Programming using Parametric Polymorphism
本文通过实验探索 CBGP 对泛型数据类型、高阶函数和多态签名的支持,证明其能求解其他 GP 系统无法表示的新颖程序合成问题。
2023-06-08 cs.NE cs.PL
Deep Reinforcement Learning for Programming Language Correction
Department of Computer Science and Automation(计算机科学与自动化系);Indian Institute of Science(印度科学研究所)
新手程序员经常为程序设计语言的形式语法而苦恼。为了帮助他们,我们设计了一个新的程序设计语言校正框架服从强化学习。该框架允许代理模仿人类的文本导航和编辑操作。我们证明,代理可以通过自我探索直接从原始输入,即程序文本本身,没有任何知识的正式语法的程序设计语言的培训。我们利用专家演示十分之一的训练数据来加速训练。建议的技术进行评估6975错误的C程序与排版错误,写的学生在介绍编程课程。我们的技术修复了14%以上的程序和29%以上的编译器错误消息,相对于使用完全监督神经机器翻译方法的最先进的工具DeepFix。
2018-01-31 cs.AI cs.PL cs.SE