From explanation to synthesis: Compositional program induction for learning from demonstration
University of Edinburgh（爱丁堡大学）；FiveAI
混合系统是一种紧凑而自然的机制，可以用来解决机器人技术中的问题。这项工作介绍了一种方法来学习混合动力系统的演示，重点是提取模型，明确可验证的，易于解释的机器人操作员。我们适合一个序列的控制器使用顺序重要性采样下生成开关比例控制器的任务模型。在这里，我们使用比例增益和视觉可验证的关节角度目标来参数化控制器。在这种模型下的推理是具有挑战性的，但我们通过引入从神经端到端视觉控制模型中提取的归因先验来解决这个问题。鉴于控制器的序列，包括一个任务，我们简化了跟踪使用语法解析策略，利用序列组合性，接地控制器之前，通过训练感知网络来预测目标给定的图像。使用这种方法，我们能够成功地诱导一个程序的视觉达到任务，涉及循环和条件，从一个单一的演示和神经端到端的模型。此外，我们能够发现用于塔建设任务的程序。我们认为，计算机程序一样的控制系统是更可解释的替代端到端的学习方法，和混合系统本身允许更好地概括跨任务配置。
2019-05-29 cs.CV cs.LG cs.RO
A Principled Approach for Creating High-fidelity Synthetic Demonstrations for Imitation Learning
Spot mobile manipulator（Spot移动机械臂）
本文提出基于动态运动基元的框架，通过保留专家轨迹结构生成多样化演示，实现高保真渲染与几何推理的统一。
2026-05-02 cs.RO
UPPLIED: UAV Path Planning for Inspection through Demonstration
Purdue University（普渡大学）
本研究提出UPPLIED框架，通过示教轨迹生成适配同类型新结构的无人机巡检路径，经点映射与位置优化后，可在几何匹配的同时以最小偏差覆盖目标巡检区域。
2023-07-24 cs.RO
LOPAL: Local Performance-Aware Active Learning from Imperfect Demonstrations
Autonomous Systems Lab, Institute of Computer Technology, TU Wien（维也纳工业大学计算机技术研究所自主系统实验室）；Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）
提出LOPAL方法，利用局部演示质量信息，通过高斯混合模型编码轨迹与质量评估，结合共享自主权主动收集纠正数据，在不完美演示中提升任务性能。
2026-10-28 cs.RO
Modulating Reservoir Dynamics via Reinforcement Learning for Efficient Robot Skill Synthesis
Ozyegin University（厄齐耶因大学）；Osaka University（大阪大学）；OTRI/SISReC（大阪大学技术研究与创新中心/社会创新科学研究中心）
提出一种基于储备池计算和强化学习的示范学习框架，通过强化学习模块在线调节储备池动力学以生成分布外运动轨迹，无需新数据即可高效扩展机器人动作库。
2024-11-17 cs.AI cs.RO
Hierarchical Neural Program Synthesis
USC（南加州大学）；KAIST（韩国科学技术院）；Naver AI Lab（Naver人工智能实验室）；National Taiwan University（国立台湾大学）
程序合成的目标是自动构造满足给定任务规范的人类可读程序，例如输入/输出对或演示。最近的工作已经证明了令人鼓舞的结果，在各种领域，如字符串变换，张量操纵，并描述具体代理的行为。大多数现有的程序合成方法被设计成从头开始合成程序，逐行逐标记地生成程序。这从根本上阻止了这些方法扩展到合成更长或更复杂的程序。在这项工作中，我们提出了一个可扩展的程序合成框架，而不是合成一个程序的层次结构组成的程序。具体来说，我们首先学习一个任务嵌入空间和一个程序解码器，它可以解码嵌入到程序中的任务。然后，我们训练一个高级模块来理解任务规范（例如，输入/输出对或演示），并产生任务嵌入序列，然后由程序解码器解码并合成以产生合成程序。我们广泛地评估我们提出的框架中的字符串变换域的输入/输出对。实验结果表明，所提出的框架可以合成的程序是显着更长，更复杂的程序比以前的程序合成工程。网址：https://thoughtp0lice.github.io/hnps_web/
2023-03-09 cs.AI cs.LG cs.PL
RoboDream: Compositional World Models for Scalable Robot Data Synthesis
USC Physical Superintelligence (PSI) Lab（USC物理超智能实验室）；Toyota Research Institute（丰田研究院）
提出一种以具身为中心的组合世界模型，通过将轨迹执行与环境合成解耦，实现从新视角、新场景和新物体中合成逼真演示数据，并展示其在数据扩展和减少真实数据需求方面的有效性。
2026-06-01 cs.CV cs.RO
Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why
ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Zurich（苏黎世联邦理工学院）
本综述比较了基于特征与基于GAN的演示学习方法，分析了两者在奖励函数结构与策略学习上的优劣，指出方法选择应由保真度、多样性等任务特定优先级指导，为演示学习提供了原则性决策框架。
2025-07-15 cs.AI cs.GR cs.LG
CRAFT: Video Diffusion for Bimanual Robot Data Generation
University of Southern California（南加州大学）
CRAFT通过视频扩散生成双臂机器人演示数据，利用边缘结构线索提升生成多样性与鲁棒性，提升多视角任务的泛化能力。
2026-04-04 cs.AI cs.CV cs.LG
Instructing Robots by Sketching: Learning from Demonstration via Probabilistic Diagrammatic Teaching
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出图表演示范式及RPTL框架，通过用户在2D图像上勾画轨迹，利用光线追踪和概率建模生成3D运动轨迹，使机器人无需动觉示教或遥操作即可学习新技能，并在仿真与真实机器人上验证了有效性。
2024-03-31 cs.LG cs.RO
Programming-by-Demonstration for Long-Horizon Robot Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出面向长时程机器人任务的程序化LfD算法PROLEX，通过程序草图与LLM引导搜索，在120秒内解决80%基准，优于CVC5和GPT-Synth。
2023-11-15 cs.PL cs.RO
Conditional Neural Expert Processes for Learning Movement Primitives from Demonstration
Bogazici University（博阿齐奇大学）
提出条件神经专家过程 CNEP，无需模态标签即可将多模态演示分配给专家网络，在多模态数据集和真实机器人任务上优于多种 LfD 基线，并支持在线适应与可解释的专家选择。
2024-07-06 cs.LG cs.RO
Learning specifications for reactive synthesis with safety constraints
Google LLC（谷歌公司）；MITRE Corporation（MITRE公司）；University of Colorado Boulder（科罗拉多大学波德分校）
本文提出了一种结合安全约束的反应合成学习方法，通过概率确定有限自动机建模任务规范，平衡用户偏好与机器人成本，生成最优解的帕累托前沿。
2026-01-09 cs.FL cs.RO
Generative grasp synthesis from demonstration using parametric mixtures
University of Birmingham（伯明翰大学）
我们提出了一个参数制定学习生成模型把握综合从示范。我们对这一系列方法进行了新的阐述，提出了一种用于抓取合成的参数化公式，与相关工作相比，该公式的计算速度更快，并且在模拟实验中显示出更好的抓取成功率性能，在所有测试条件下，成功率至少提高了10%（p < 0.05）。所提出的实现方式还能够将任意约束用于抓取排名，其可以包括特定于任务的约束。结果报告，然后简要讨论到目前为止所提出的方法的优点。
2019-06-27 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida（中佛罗里达大学）
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法，通过无监督跨具身对齐和人类示范动力学学习，在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
Demonstration Synthesis from a Single Scan via Gaussian Splatting for Visuomotor Policy Learning
George Mason University（乔治梅森大学）；New York University（纽约大学）
本文提出GaussianFactory，通过单次视频扫描重建3D高斯场景并运动学规划抓取轨迹，无需物理引擎即可合成高保真演示，训练扩散策略在仿真和真实场景分别达到95.1%和84.2%成功率。
2026-09-21 cs.RO
Gaze-based Human-Robot Interaction System for Infrastructure Inspections
University of California, Los Angeles（加州大学洛杉矶分校）；University of Waterloo（滑铁卢大学）
针对基础设施目视检测主观且不可重复的问题，提出基于凝视与混合现实全息图的人机交互系统，实现缺陷属性实时估计和在线进度监测，并通过受控实验验证其有效性。
2024-03-12 cs.RO
Ariel Explores: Vision-based underwater exploration and inspection via generalist drone-level autonomy
Norwegian University of Science and Technology (NTNU)（挪威科学技术大学）
本工作将基于视觉的水下探索与检测自主解决方案集成到水下机器人Ariel中，通过多相机视觉惯性状态估计与本体感受速度预测增强鲁棒性，并在潜艇干船坞实地验证了其无人机级自主能力及跨本体路径规划的通用性。
2025-07-14 cs.RO
One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation
HNuzhy
本文提出BiDemoSyn框架，通过单个现实示例生成大量高质量双臂操作演示，结合任务分解与视觉引导对齐，实现高效且物理可行的演示合成，提升机器人操作的泛化能力与数据效率。
2026-04-27 cs.RO
PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
PhysWorld提出一种利用模拟器合成物理演示来训练轻量级GNN世界模型的方法，实现从真实视频学习可变形物体动力学，推理速度比PhysTwin快47倍。
2025-10-24 cs.AI cs.CV cs.RO
Robotic Nanoparticle Synthesis via Solution-based Processes
Department of Mechanical Engineering, Stony Brook University（石溪大学机械工程系）；Department of Chemistry, Stony Brook University（石溪大学化学系）
本文提出一种基于螺旋几何的操控规划框架，用于实现基于溶液的合成自动化，通过金和磁铁矿纳米粒子的制备进行演示。该框架通过编程演示提取约束，实现化学家无需机器人知识即可重新编程系统。
2026-08-07 cs.RO
ContactGrasp: Functional Multi-finger Grasp Synthesis from Contact
Georgia Tech（佐治亚理工学院）；NVIDIA Robotics（英伟达机器人部门）
抓取和操纵物体是人类的一项重要技能。由于大多数物体被设计成由人手操纵，拟人化的手可以实现更丰富的人机交互。理想的抓握不仅是稳定的，而且是功能性的：它们使物体的抓握后动作成为可能。然而，高自由度的拟人的手从物体形状的功能性把握合成是具有挑战性的，因为大的优化空间。我们提出了ContactGrasp，从物体形状和物体表面上的接触的功能把握合成的框架。可以手动指定联系人或通过演示获取联系人。我们的接触表示是以对象为中心的，并允许功能把握合成，即使手模型不同于用于演示。使用数据集的接触演示从人类掌握不同的家居用品，我们合成功能性把握三个手模型和两个功能性意图。该项目的网页是https://contactdb.cc.gatech.edu/contactgrasp.html。
2019-07-25 cs.CV cs.RO
Continual Learning for 6-DoF Grasp Synthesis via Experience and Demonstrations
Autonomous Systems Lab（自主系统实验室）；ETH Zurich（苏黎世联邦理工学院）；Robotics Systems Lab（机器人系统实验室）
提出一种基于记忆与演示的持续学习框架，用于单视图6自由度抓取合成，在未见物体上在线提升性能，经1500余次试验验证，50次尝试后成功率超90%。
2026-10-02 cs.LG cs.RO
Multi-Objective Design Optimization of the Leg Mechanism for a Piping Inspection Robot
Institut de Recherche en Communications et Cybernétique de Nantes (IRCCyN)（南特通信与控制论研究所（IRCCyN））；AREVA NC（阿海珐NC）
本文讨论了在核电站辐射区工作的管道检测机器人的接触点自适应机构即腿机构的尺度综合。该机构是机器人子系统的主导部分，负责运动。首先，从文献中选择了三种结构，并描述了它们的特性。然后，使用多目标优化的方法，提出了考虑到环境和设计约束，以确定最佳的架构和最佳的几何参数的腿。在这种情况下，目标函数是机构尺寸的最小化和传动力因子的最大化。给出了Pareto前沿与目标函数和设计参数的关系。最后，给出了位于Pareto前沿的几种解的CAD模型，并进行了讨论.
2014-06-18 cs.RO
Assessing Wind Impact on Semi-Autonomous Drone Landings for In-Contact Power Line Inspection
University of Sherbrooke（舍布鲁克大学）；Hydro-Québec（魁北克水电公司）
本研究提出一种基于 NADILE 无人机的半自主降落控制方案，通过蒙特卡洛方法分析不同风况与策略下的降落成功率，发现两阶段策略最优，并经实验验证了其有效性。
2023-09-11 cs.RO cs.SY eess.SY
NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via Novel-View Synthesis
Stanford（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google（谷歌）
专家演示是训练视觉机器人操作策略的丰富监督来源，但模仿学习方法通常需要大量的演示或昂贵的在线专家监督来学习反应性闭环行为。在这项工作中，我们介绍SPARTN（通过NeRF增强机器人轨迹的合成扰动）：一个完全离线的数据增强计划，用于改善使用手眼相机的机器人策略。我们的方法利用神经辐射场（NeRFs）合成注入校正噪声到视觉演示，使用NeRFs生成扰动的观点，同时计算校正动作。这不需要额外的专家监督或环境交互，并将NeRF中的几何信息提取到实时反应的仅RGB策略中。在一个模拟的6自由度视觉抓取基准测试中，SPARTN比没有校正增强的模仿学习提高了2.8 $\times$的成功率，甚至优于一些使用在线监督的方法。此外，它还缩小了仅RGB和RGB-D成功率之间的差距，消除了以前对深度传感器的需求。在现实世界的6自由度机器人抓取实验从有限的人类示范，我们的方法提高了绝对成功率平均$22.5\%$，包括对象，传统上是具有挑战性的基于深度的方法。在\url{https://bland.website/spartn}上查看视频结果。
2023-01-18 cs.CV cs.LG cs.RO
Robot-Assisted Deployment and Maintenance of Inflatable Modules for Lunar Habitation: A Field Demonstration
Tohoku University（东北大学）；Tokyo University of Science（东京理科大学）
本文提出结合充气模块与模块化可重构机器人MoonBot的系统，通过现场演示验证了部署与维护任务，为未来月球居住提供关键见解。
2026-09-29 cs.RO
PBD-AG: Persistent Baseline-Delta Active Graphs with Uncertainty-Aware Inspection for Long-Horizon Service Robots
针对长周期服务机器人世界模型构建的现有方法存在不足，本文提出PBD-AG框架，通过解耦稳定固定装置与动态对象事件，结合不确定性感知检查，在仿真与物理机器人实验中取得更优性能。
2026-08-13 cs.RO
Design of a Modular Mobile Inspection and Maintenance Robot for an Orbital Servicing Hub
University of York（约克大学）；Space Applications Services NV/SA（空间应用服务公司）
本文提出STARFAB移动检测模块（MIM），通过标准互连与行走机械臂协作，搭载多类传感器和工具，用于轨道服务枢纽的自主检测与维护。
2025-07-18 cs.RO
Event-Based Signal Temporal Logic Synthesis for Single and Multi-Robot Tasks
Cornell University（康奈尔大学）
我们提出了一种新的规约语言和控制合成技术，用于单机器人和多机器人的高级任务，这些任务包括时间约束和对环境事件的反应。具体来说，我们定义了基于事件的信号时序逻辑（STL），并使用它来编码的任务是反应不受控制的环境事件。我们的基于事件的STL任务的控制合成方法结合了自动机和控制障碍功能，以产生机器人的行为，满足规范时，可能的。我们的方法自动提供反馈给用户，如果一个基于事件的STL任务不能实现。我们证明了该框架的有效性，通过模拟和多机器人任务的物理演示。
2021-01-18 cs.RO
Blast Hole Seeking and Dipping -- The Navigation and Perception Framework in a Mine Site Inspection Robot
Australian Centre for Robotics, USYD（澳大利亚机器人中心，悉尼大学）
针对露天矿炮孔人工检测难题，提出 DIPPeR 机器人的自适应导航与 LiDAR 感知框架，实现炮孔寻找、跟踪及孔下传感器安全精确定位，并经仿真和现场验证。
2025-09-29 cs.RO
Few-Shot Demonstration-Driven Task Coordination and Trajectory Execution for Multi-Robot Systems
Purdue University（普渡大学）；Astemo Americas, Inc.（Astemo美洲公司）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
研究如何让多机器人系统从少量示范中学习协调行为，核心方法是将时间协调与空间轨迹合成解耦，主要贡献是提出DDACE框架，提高少样本数据效率与轨迹一致性。
2026-07-07 cs.RO
Iterative Program Synthesis for Adaptable Social Navigation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Northeastern University（东北大学）
机器人社交导航受人类偏好和电梯和门等环境特定场景的影响，因此需要最终用户的适应性。社会导航的最新方法分为两类：基于模型的社会约束和基于学习的方法。虽然有效，但这些方法有根本的局限性-基于模型的方法需要约束和参数调整，以适应偏好和新的场景，而基于学习的方法需要奖励函数，重要的训练数据，并且很难适应新的社会场景或新的领域有限的示范。在这项工作中，我们提出了迭代尺寸知情的程序合成（IDIPS），以解决这些限制，通过学习和适应社会导航的形式，人类可读的符号程序。IDIPS通过结合程序合成、参数优化、谓词修复和迭代人工演示来工作，从而从比基于学习的方法少的数量级的数据中学习和适应无模型动作选择策略。我们引入了一种新的谓词修复技术，可以通过增加现有的政策，以适应以前看不见的社会场景或偏好。我们提出的实验结果表明，IDIPS：1）综合有效的政策，模型用户的偏好，2）可以适应现有的政策，不断变化的偏好，3）可以扩展政策，以处理新的社会场景，如锁上门，和4）生成的政策，可以从模拟转移到现实世界的机器人以最小的努力。
2021-08-30 cs.PL cs.RO
Demo2Code: From Summarizing Demonstrations to Synthesizing Code via Extended Chain-of-Thought
Cornell University（康奈尔大学）
本文提出 Demo2Code 框架，通过扩展思维链、递归总结演示并递归合成代码，解决从复杂机器人演示生成任务代码的难题。
2023-11-02 cs.RO
AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis
Toyota Research Institute（丰田研究院）；USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室）
针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。
2026-07-07 cs.CV cs.RO
COMPASS: Cross-embodiment Mobility Policy via Residual RL and Skill Synthesis
NVIDIA（NVIDIA公司）；UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）
针对跨具身机器人移动需大量调优或演示数据的难题，提出COMPASS框架，通过单具身IL预训练、残差RL适配及策略蒸馏实现跨具身泛化，成功率达预训练IL策略5倍且支持零样本 sim-to-real 迁移。
2025-10-27 cs.RO
GLAS: Global-to-Local Safe Autonomy Synthesis for Multi-Robot Motion Planning with End-to-End Learning
California Institute of Technology（加州理工学院）
我们提出了GLAS：全球到本地的自主合成，一个可证明安全的，自动化的分布式多机器人运动规划的政策产生。我们的方法结合了集中规划的优势，避免局部极小值的分散控制器的可扩展性和分布式计算的优势。特别是，我们的合成策略只需要附近邻居和障碍物的相对状态信息，并计算可证明安全的动作。我们的方法有三个主要组成部分：i）我们使用全局规划器生成演示轨迹，并从中提取局部观察结果，ii）我们使用深度模仿学习来学习可以在线有效运行的分散策略，iii）我们引入了一个新的可微分安全模块，以确保无碰撞操作，从而允许端到端的策略培训。我们的数值实验表明，我们的政策有一个高20%的成功率比最佳互惠碰撞避免，ORCA，在广泛的机器人和障碍物密度。我们展示了我们的方法在空中集群，执行政策的低端微控制器实时。
2020-06-28 cs.RO
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
Gamma Robotics（伽马机器人公司）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文提出KODA方法，将人类第一人称演示转换为人形机器人全身VLA训练数据，在Unitree G1的四个任务上，两种控制器下对应指标分别提升45.0和46.25个百分点，具备扩展潜力。
2026-10-16 cs.RO
PRISM: Personalized Robotic Dataset Generation via Image-based Scene and Motion Synthesis
Kyung Hee University（庆熙大学）
针对大规模预训练模型在特定环境泛化有限的问题，提出PRISM端到端管道，从单张图像和自然语言指令生成个性化机器人数据集，构建场景并合成演示，实验表明其效果良好。
2026-07-07 cs.RO
Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation
General Bionix, Inc.（通用生物交叉公司）
AOR框架通过生成可执行代码使机器人操作策略学习无需演示或奖励工程。
2026-03-03 cs.LG cs.RO
SYNAPSE: SYmbolic Neural-Aided Preference Synthesis Engine
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对偏好学习主观性强、个人训练数据少的难题，提出神经符号框架SYNAPSE，结合视觉解析、大语言模型与程序合成从有限视觉数据学习用户偏好，在分布外泛化等任务上显著优于基线。
2025-01-14 cs.CV cs.LG cs.PL
