Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration
Stanford University（斯坦福大学）
我们的目标是生成一个策略来完成一个看不见的任务，只需要一个视频演示的任务在一个给定的域。我们假设，要成功地推广到看不见的复杂任务，从一个单一的视频演示，有必要明确地将任务的组成结构到模型。为此，我们提出了神经任务图（NTG）网络，它使用共轭任务图作为中间表示模块化的视频演示和派生的政策。我们的经验表明，NTG在两个复杂的任务上实现了任务间的泛化：BulletPhysics中的块堆叠和AI 2-THOR中的对象收集。NTG通过视觉输入提高了数据效率，并在不需要密集分层监督的情况下实现了强大的泛化能力。我们进一步表明，类似的性能趋势时，适用于现实世界的数据。我们表明，NTG可以有效地预测JIGSAWS手术数据集上的任务结构，并推广到看不见的任务。
2019-03-06 cs.AI cs.CV cs.LG
Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations
College of Connected Computing, Vanderbilt University（连接计算学院，范德比尔特大学）；Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）；School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）
提出联合流轨迹优化（JFTO）框架，通过以物体为中心的引导和SE(3)流匹配，在视频演示下实现可行的抓取姿态生成与物体轨迹模仿，兼顾抓取相似性、轨迹似然和碰撞惩罚。
2025-09-25 cs.AI cs.CV cs.RO
EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）
提出EgoEngine框架，通过视觉和动作桥接，将自我中心人类视频转化为高保真机器人数据，首次实现零样本灵巧策略学习。
2026-06-12 cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego（加州大学圣地亚哥分校）
虽然计算机视觉在理解手-物交互方面取得了重大进展，但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中，我们提出了一个新的平台和流水线DexMV（灵巧操作视频）的模仿学习。我们设计了一个平台：（i）用于具有多指机器人手的复杂灵巧操纵任务的模拟系统，以及（ii）用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中，我们从视频中提取3D手部和物体姿态，并提出了一种新的演示翻译方法，将人体运动转换为机器人演示。然后，我们应用和基准多个模仿学习算法的演示。我们表明，演示确实可以大大提高机器人学习，并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到：https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
CRAFT: Video Diffusion for Bimanual Robot Data Generation
University of Southern California（南加州大学）
CRAFT通过视频扩散生成双臂机器人演示数据，利用边缘结构线索提升生成多样性与鲁棒性，提升多视角任务的泛化能力。
2026-04-04 cs.AI cs.CV cs.LG
Generalizable task representation learning from human demonstration videos: a geometric approach
University of Alberta（阿尔伯塔大学）
我们研究了从人类演示视频中学习可推广任务的问题，而无需对机器人进行额外的训练或预先记录的机器人动作。给定一组展示具有不同对象/工具（分类对象）的任务的人类演示视频，我们的目标是学习视觉观察的表示，该表示概括为分类对象并实现有效的控制器设计。我们建议将几何任务结构引入到表示学习问题中，该问题对来自人类演示视频的任务规范进行几何编码，并且通过在分类对象之间建立任务规范对应来实现泛化。具体来说，我们提出了CoVGS-IL，它使用一个图形结构的任务函数来学习结构约束下的任务表示。我们的方法，使任务泛化，从不同的对象，其内部连接关系定义在几何约束相同的任务选择几何特征。然后，使用未校准的视觉伺服（UVS）将学习到的任务表示转移到机器人控制器;因此，无需额外的机器人训练或预先记录的机器人运动。
2022-02-28 cs.AI cs.RO
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China（清华大学，中国）；Shanghai Qi Zhi Institute, China（上海启智研究院，中国）
提出两阶段框架，利用人类演示视频学习可泛化机器人策略，无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
Learning Cooperative Dynamic Manipulation Skills from Human Demonstration Videos
Italian Institute of Technology（意大利技术研究院）；Politecnico di Milano（米兰理工大学）；Xi’an Jiaotong University（西安交通大学）；Hanyang University ERICA（汉阳大学ERICA校区）
本文提出了一种从离线视频中学习和机器人复制动态协作任务的方法。我们的目标是将示教学习（LfD）的概念扩展到动态场景，受益于广泛可用或易于制作的离线视频。为了实现这一目标，我们解码重要的动态信息，如配置相关刚度（CDS），揭示了手臂姿势的贡献，手臂端点刚度，从三维人体骨架模型。接着，通过高斯混合模型（GMM）编码的CDS和解码通过高斯混合回归（GMR），机器人的笛卡尔阻抗轮廓的估计和复制。我们证明了所提出的方法在一个协同锯任务的领导者-追随者结构，考虑环境约束和动态不确定性。实验装置包括两个熊猫机器人，复制领导者和追随者的角色和阻抗配置文件提取的两个人锯视频。
2022-04-08 cs.RO
PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
PhysWorld提出一种利用模拟器合成物理演示来训练轻量级GNN世界模型的方法，实现从真实视频学习可变形物体动力学，推理速度比PhysTwin快47倍。
2025-10-24 cs.AI cs.CV cs.RO
RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Lab（虎扑实验室）
本文提出RynnVLA-001，通过两阶段人类演示视频预训练和ActionVAE压缩动作表示，为VLA模型提供更有效的初始化，在机器人操作任务上超越现有基线。
2025-09-18 cs.CV cs.RO
Any-point Trajectory Modeling for Policy Learning
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；CUHK（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
针对机器人演示数据收集成本高的问题，提出ATM框架，通过预训练轨迹模型预测视频帧任意点未来轨迹提供控制引导，仅需少量带动作标签数据即可学习鲁棒视觉运动策略，在130余项任务中平均优于基线80%，还支持跨主体技能迁移。
2024-07-12 cs.CV cs.RO
Motion Reasoning for Goal-Based Imitation Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）
我们解决了基于目标的模仿学习，其目的是从第三人称视频演示中输出符号目标。这使机器人能够计划执行，并在完全不同的环境中重现相同的目标。关键的挑战是，视频演示的目标往往是模糊的语义动作的水平。人类示威者可能会无意中通过他们的行动实现示威中的某些子目标。我们的主要贡献是提出了一个运动推理框架，结合任务和运动规划，以消除歧义的真实意图的演示视频演示。这使我们能够有力地认识到以前基于行动的方法无法消除的目标。我们评估我们的方法，通过收集一个数据集的96个视频演示在一个模拟厨房环境。我们表明，我们的运动推理起着重要的作用，在认识到实际目标的演示，并提高了20%以上的成功率。我们进一步表明，通过使用从视频演示自动推断的目标，我们的机器人能够在真实的厨房环境中再现相同的任务。
2019-11-13 cs.AI cs.CV cs.RO
H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
该研究推出H2R-Bench基准测试，评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力，发现现有模型在实体一致性等方面存在局限，为相关模型评估提供诊断框架。
2026-08-14 cs.CV cs.RO
See Once, Then Act: Vision-Language-Action Model with Task Learning from One-Shot Video Demonstrations
Beijing Institute of Technology（北京理工大学）；LimX Dynamics
ViVLA通过单次视频示范高效学习机器人操控任务，实现跨任务和跨身体的显著性能提升。
2025-12-08 cs.RO
Learning to Manipulate Tools by Aligning Simulation to Video Demonstration
Czech Technical University in Prague（布拉格捷克理工大学）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
机器人与人类环境的无缝集成要求机器人学习如何使用现有的人类工具。目前的学习工具操作技能的方法主要依赖于在目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过遥操作。在这项工作中，我们介绍了一种自动化的方法，用YouTube视频代替专家演示，学习工具操作策略。主要贡献有两方面。首先，我们设计了一个对齐过程，将模拟环境与视频中观察到的真实场景对齐。这是制定为一个优化问题，找到一个空间对齐的工具轨迹，以最大限度地提高稀疏的目标奖励的环境。其次，我们描述了一个模仿学习的方法，专注于工具的轨迹，而不是人的运动。为此，我们将强化学习与优化过程相结合，以根据对齐环境中的工具运动找到控制策略和机器人的位置。我们证明了所提出的方法，铁锹，镰刀和锤子工具在模拟，并显示训练的政策的有效性，铁锹上一个真正的弗兰卡Panda机器人演示。
2021-11-04 cs.RO
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术，从人类视频中提取操作轨迹，以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
Zhejiang University（浙江大学）；Beijing Zhongguancun Academy（北京中关村学院）；University of Science and Technology of China（中国科学技术大学）；Eastern Institute of Technology（东方理工学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
该研究提出HF-WM世界模型，通过双分支框架弥合人机具身差距，经GRPO后训练建模失败动态，在动作视频生成和机器人策略评估中实现最优性能。
2026-10-12 cs.CV cs.RO
KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos
University of Bremen（不来梅大学）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））
KnowDemo利用人类视频中的结构化操作知识，通过VLM提取与推理生成多样化机器人演示，提升候选规划成功率，并在仿真数据上微调π0.5模型实现三任务的仿真到现实迁移。
2026-09-21 cs.AI cs.RO
Video-to-BT: Generating Reactive Behavior Trees from Human Demonstration Videos for Robotic Assembly
Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；Technical University of Munich（慕尼黑技术大学）；Aalto University（艾尔沃斯大学）；Shanghai University（上海大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出 Video-to-BT 分层框架，利用视觉语言模型从人类演示视频生成行为树，结合实时场景解释与失败重规划，实现机器人装配在动态环境中的反应式执行和强泛化能力。
2025-09-20 cs.RO
You Only Teach Once: Learn One-Shot Bimanual Robotic Manipulation from Video Demonstrations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））；DexForce, Shenzhen（深圳DexForce）
针对双臂机器人操作挑战，提出YOTO框架，从单次双目视频演示中提取动作模式并生成多样化训练数据，学习定制化双臂扩散策略，在5个复杂任务中实现高精度与强泛化。
2025-04-27 cs.CV cs.RO
Co-training with Ego-centric Video and Demonstration for Robot Navigation Task
Department of Informatics, Graduate School of Informatics, Kyoto University（信息学系，京都大学研究生院）；Spatial Robotics Research Center, Fujitsu Limited（空间机器人研究中心，富士通有限公司）
提出将自我中心行走视频转化为移动机器人模仿学习数据集的框架，通过联合训练VLA模型提升语言理解和动作生成能力。
2026-06-01 cs.RO
Visual Geometric Skill Inference by Watching Human Demonstration
University of Alberta（阿尔伯塔大学）
研究了通过几何特征之间的关联关系来学习人体演示视频中的操作技能的问题。这项工作的动机源于观察，人类执行眼手协调任务，使用几何图元定义一个任务，而几何控制错误驱动的任务，通过执行。提出了一种基于图的核回归方法，利用增量最大熵逆强化学习（InMaxEnt IRL）从人体演示视频中直接推断出潜在的关联约束。学习的技能推理提供人类可读的任务定义，并输出可以直接插入传统控制器的控制错误。我们的方法消除了繁琐的特征选择和强大的功能跟踪器需要在传统的方法（例如，基于特征的视觉伺服）。实验表明，即使只有一个人的演示视频，我们的方法推断正确的几何关联，并能很好地推广方差。
2020-03-05 cs.RO
Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration
Seoul National University（首尔大学）；University of Maryland, College Park（马里兰大学帕克分校）；All Purpose AI；KAIST（韩国科学技术院）
Dex-One2Many是一种实境-仿真-实境框架，从单次人类视频学习灵巧操作策略，通过场景图指导强化学习，在五项任务中已见配置性能超基线6.5%、未见场景超71%，实现高效探索与强泛化。
2026-10-09 cs.CV cs.RO
Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation
本研究提出了一种基于视频演示的机器人模仿学习方法，通过模块化框架结合时间位移模块和深度强化学习，实现机器人从无结构视频中学习基本操作技能。
2026-02-22 cs.RO
RoboCLIP: One Demonstration is Enough to Learn Robot Policies
University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Stanford University（斯坦福大学）
RoboCLIP利用预训练视频-语言模型，通过单个视频或文本演示生成奖励，无需微调，使强化学习智能体在机器人操作任务上零样本性能提升2-3倍。
2023-10-11 cs.AI cs.RO
OpenWAM: An Open Framework for Composable World-Action Models
Stanford University（斯坦福大学）
本文提出开放框架OpenWAM，基于因果机器人-视频预训练和可配置交互架构，在LIBERO及真实任务上提升成功率，并利用反事实监督改善动力学模型学习。
2026-10-07 cs.CV cs.RO
Learning Video-Conditioned Policies for Unseen Manipulation Tasks
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
提出ViP方法，利用预训练视频嵌入将人类演示映射为机器人操作策略，实现零样本控制未见任务，并在多任务环境中超越现有技术水平。
2023-05-10 cs.CV cs.LG cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University（斯坦福大学）
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据，并借助部分可观测性与固定图像掩码缩小域差距，在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Learning to Run with Potential-Based Reward Shaping and Demonstrations from Video Data
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国家研究型高等经济大学）；University of York（约克大学）
从头开始学习为人形机器人产生有效的运动行为是一个难题，正如NIPS 2017年的“学习跑步”比赛所说明的那样。这项比赛的目标是训练一个两条腿的人形身体模型，在模拟的跑道上以最快的速度奔跑。所有提交的材料都采用了一种白板方法来进行强化学习（RL），并且能够产生相对较快但不是最佳的运行行为。在本文中，我们演示了如何使用来自人类跑步视频（例如从YouTube上获取）的数据来塑造人形学习代理的奖励，以加快学习并产生更好的结果。具体来说，我们使用身体关键部位在固定时间间隔的位置来定义基于潜力的奖励塑造（PBRS）的潜力函数。由于PBRS不会改变最优策略，因此这种方法允许RL代理克服视频中显示的人体运动中的次优性。我们目前的实验中，我们结合了选定的技术，从NIPS竞争的十大方法与进一步优化，以创建一个高性能的代理作为基线。然后，我们展示了基于视频的奖励塑造如何进一步提高性能，从而使RL代理在12小时的训练中运行速度是基线的两倍。我们还表明，我们的方法可以克服视频中的次优运行行为，学习到的策略显着优于视频中运行代理的策略。
2020-12-16 cs.CV cs.LG cs.RO
Understanding Action Sequences based on Video Captioning for Learning-from-Observation
University of Tokyo（东京大学）；Microsoft（微软）
从人类演示视频中学习动作是智能机器人系统的一个很有前途的研究方向。提取准确的部分并详细地重新观察提取的视频部分对于模仿复杂的技能非常重要，因为人类运动为机器人提供了有价值的提示。然而，一般的视频理解方法更多地关注于对全帧的理解，缺乏对提取准确片段并将其与人类意图对齐的考虑。我们提出了一个从观察中学习的框架，该框架可以分割和理解带有口头指令的人类演示视频，以提取准确的动作序列。分裂是基于局部最小点的手的速度，它对齐人类日常生活中的行动与对象为中心的面接触过渡所需的机器人运动。然后，我们使用视频描述技术提取分割视频上的运动描述，该技术是从我们新的日常生活动作视频数据集训练的。最后，我们将运动描述与口头指令进行匹配，以理解正确的人类意图，并忽略视频中的非预期动作。我们评估的手速度为基础的视频分割的有效性，并证明它是有效的。在我们的新的视频描述数据集上的实验结果表明了该方法的有效性。源代码，训练模型和数据集将提供。
2020-12-09 cs.CV cs.RO
HRT1: One-Shot Human-to-Robot Trajectory Transfer for Mobile Manipulation
University of Texas at Dallas（德克萨斯大学达拉斯分校）；XPeng（小鹏）
提出一种四模块人机轨迹迁移系统，使机器人通过一次演示视频学习并迁移移动操作任务，在不同环境中重复执行，实验验证了其有效性。
2025-10-23 cs.RO
Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Object Category-agnostic Temporal Localization
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
提出HOWTransfer框架，通过接触定位从人类视频中提取接触感知的机器人轨迹，无需物体特定描述，在多样化操作任务中实现86%的成功率。
2026-09-22 cs.RO
SeeTraceAct: Visibility-Aware Latent Planning from Cross-Embodiment Demonstration Videos
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（Allen人工智能研究所）；Johns Hopkins University（约翰霍普金斯大学）；University of Washington（华盛顿大学）
提出SeeTraceAct框架，通过可见性感知的未来末端执行器轨迹预测增强空间定位，实现基于单次跨具身演示视频的机器人策略泛化，在模拟和真实场景中取得最优成功率。
2026-10-14 cs.LG cs.RO
R2RDreamer: 3D-aware Data Augmentation for Spatially-generalized 2D Manipulation Policies
Tsinghua University（清华大学）；BUPT（北京邮电大学）；GigaAI（极佳科技）
提出R2RDreamer框架，通过轻量级3D编辑和2D视频补全，从少量真实演示生成几何一致的增强数据，提升2D操作策略的空间泛化能力。
2026-06-16 cs.CV cs.RO
SDS -- See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration
Robot Perception Lab, University College London, United Kingdom（伦敦大学学院机器人感知实验室）
针对机器人从单视频学技能无需标签或奖励工程的问题，提出SDS自动化流程，用GPT-4o的时空网格编码等技术生成奖励函数训练PPO策略并闭环优化，四足机器人步态匹配等性能优且泛化性强。
2025-08-20 cs.RO
One-Shot Learning of Multi-Step Tasks from Observation via Activity Localization in Auxiliary Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于繁重的数据要求，从演示中示教学习往往达不到其承诺，允许用户快速和自然地编程机器人。演示本身是模糊和不完整的，如果没有在不同条件下的大量演示，就很难正确概括看不见的情况。相比之下，人类通常能够通过利用一生中学习的上下文，从单个演示（通常是没有动作标签的观察）中学习复杂的任务。受此能力的启发，我们的目标是使机器人能够通过利用辅助视频数据作为上下文，从观察中执行多步任务的一次性学习。我们的主要贡献是一个新的系统，通过以下方式实现这一目标：（1）使用单个用户分段的演示来定义包括任务的原始动作，（2）经由基于元学习的方法在未分段的辅助视频中定位这些动作的附加示例，（3）使用这些附加示例来学习每个动作的奖励函数，以及（4）在所推断的奖励函数之上执行强化学习，以学习可以被组合以完成任务的动作策略。我们的经验表明，机器人可以更有效地学习多步任务时，提供辅助视频，和性能大大提高时，本地化的个人行动，从未分割的视频学习相比。
2019-04-26 cs.LG cs.RO stat.ML
V2CNet: A Deep Learning Framework to Translate Videos to Commands for Robotic Manipulation
Istituto Italiano di Tecnologia（意大利理工学院）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）
我们提出了V2 CNet，这是一个新的深度学习框架，可以自动将演示视频转换为可以直接用于机器人应用程序的命令。我们的V2 CNet有两个分支，旨在以细粒度的方式理解演示视频。第一个分支具有编码器-解码器架构来编码视觉特征并顺序地生成输出单词作为命令，而第二个分支使用时间卷积网络（TCN）来学习细粒度动作。通过联合训练这两个分支，网络能够对命令的顺序信息进行建模，同时有效地编码细粒度的动作。在我们新的大规模数据集上的实验结果表明，V2 CNet的性能大大优于最近的最先进的方法，而其输出可以应用于真正的机器人应用。将提供源代码和经过训练的模型。
2019-03-23 cs.CV cs.RO
Robot Imitation from Video Demonstration
Arizona State University（亚利桑那州立大学）
本文复现Sermanet等人的机器人模仿研究，聚焦机器人到机器人的关节位置预测，使用RoboSuite收集数据并通过神经网络回归预测末端执行器位置，但过拟合导致高测试误差，需改进。
2023-10-14 cs.RO
Learning Periodic Tasks from Human Demonstrations
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Meta AI
我们开发了一种从视觉演示中学习周期性任务的方法。其核心思想是利用策略结构中的周期性来对任务的周期性方面进行建模。我们使用主动学习来优化节奏动态运动基元（rDMP）的参数，并提出了一个目标，以最大化机器人操纵的对象运动与人类视频演示中所需运动之间的相似性。我们考虑的任务与可变形的物体和颗粒物质的状态是具有挑战性的表示和跟踪：擦拭表面的布，缠绕电缆/电线，和搅拌颗粒物质用勺子。我们的方法不需要跟踪标记或手动注释。初始训练数据由机器人和人类与物体的随机不成对交互的10分钟视频组成。我们使用这些对关键点模型进行无监督学习，以获得与任务无关的视觉对应。然后，我们使用贝叶斯优化优化rDMPs从一个单一的人类视频演示在几个机器人试验。我们目前的仿真和硬件实验来验证我们的方法。
2022-05-20 cs.RO
Vision-based Manipulation from Single Human Video with Open-World Object Graphs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
本研究提出ORION算法，从单个人类视频中提取以对象为中心的操控计划并生成策略，实现开放世界下机器人对新物体的视觉操控学习，平均成功率达74.4%。
2025-09-04 cs.CV cs.LG cs.RO
Towards Learning to Imitate from a Single Video Demonstration
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）
针对仅凭视频观察且无状态动作信息的模仿学习问题，提出基于 Siamese 循环网络的对比奖励学习方法，并用多任务数据和图像编码损失提升效果，在多种二维、三维模拟运动体上超过现有方法。
2023-07-12 cs.LG cs.RO stat.ML
WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos
CASIA（中国科学院自动化所）；Anyverse Dynamics（Anyverse动力学公司）；UCAS（中国科学院大学）；NUS（新加坡国立大学）；XJYLU（西安交通大学利物浦大学）
研究从带动作标签演示和无动作视频学习可执行潜在动作的问题，提出WALA框架，先预训练语义几何潜在动作模型，策略训练时编码器和解码器协同，由多方面联合监督潜在动作，实验证明其提升了机器人策略性能和泛化能力。
2026-09-29 cs.RO
One-shot Video Imitation via Parameterized Symbolic Abstraction Graphs
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出通过参数化符号抽象图（PSAG）解释单样本视频演示，结合仿真估计不可见物理属性，实现真实机器人对动态可变形物体的操作并泛化至新物体。
2024-09-22 cs.CV cs.RO
EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow
School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）；InnoCORE AI-Transformed Aerospace Research Center, KAIST（AI转型航空航天研究中心，韩国成均馆大学）
EgoAVFlow通过共享3D流表示从人类中心视频中学习机器人策略，实现主动视觉和稳健操纵，无需机器人演示。
2026-02-25 cs.RO
See, Learn, Assist: Safe and Self-Paced Robotic Rehabilitation via Video-Based Learning from Demonstration
本文提出一种基于视频的远程机器人康复教学框架，通过动态运动基元编码示范为6自由度身体中心轨迹，结合空间合规虚拟隧道和努力基 temporal dilation 机制，实现安全自适应康复训练。
2026-07-20 cs.RO
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group（哥伦比亚大学机器人学小组）
深度强化学习（RL）的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而，RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题，最近的工作已经提出了从专家演示（LfD），特别是通过逆强化学习（IRL）的学习，因为它能够实现强大的性能，只有少量的专家演示。然而，在真实机器人上部署IRL仍然具有挑战性，因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战，一个强大的，采样效率高，和一般的元IRL算法，SQUIRL，执行一个新的，但相关的长期任务，鲁棒地给出了只有一个视频演示。首先，该算法使用行为克隆（BC）引导任务编码器和任务条件策略的学习。然后，它收集真实的机器人经验，并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后，该算法使用Q函数重新评估机器人收集的所有累积经验，以快速改进策略。最后，该策略在新任务上比BC执行得更健壮（90%以上的成功率），同时在测试时不需要试错。最后，我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间，动作空间和基于视觉的操作任务，例如，pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
Track-and-Complete: Learning Humanoid Skills from a Single Failed Human Video
Yonsei University（延世大学）
提出TRACC流水线，从单个失败人类视频中提取可用运动前缀并推断任务结果，以在无成功示范时完成人形机器人技能学习，实验验证其有效性。
2026-11-04 cs.CV cs.RO
EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos
Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）
本研究提出EgoMatrix端到端数据引擎，将第一人称人类视频转为可直接在真实机器人重放的双臂灵巧轨迹与配对观测，在仿真中实现54.84%端到端成功率，优于基线及现有方法。
2026-10-14 cs.RO
Subtask-Aware Visual Reward Learning from Segmented Demonstrations
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
本文提出REDS框架，利用分段视频演示和最小监督学习密集奖励函数，通过对比学习对齐子任务，在复杂操作任务中显著优于基线并支持泛化。
2025-02-28 cs.AI cs.CV cs.LG
RoboPearls: Editable Video Simulation for Robot Manipulation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Sun Yat-sen University（中山大学）；Bytedance Seed（字节跳动种子）；Li Auto Inc.（李自动公司）
提出基于3DGS的可编辑视频仿真框架RoboPearls，结合LLM和VLM实现仿真流程自动化与闭环优化，有效解决机器人操作数据获取成本高及仿真到现实差距问题。
2025-06-28 cs.CV cs.RO
Phantom: Training Robots Without Robots Using Only Human Videos
Stanford University（斯坦福大学）
提出一种仅从人类视频演示中训练机器人操作策略的框架，通过手部姿态估计和视觉数据编辑将人类演示转化为机器人兼容的观察-动作对，实现零样本部署并达到最高92%的成功率。
2026-05-28 cs.RO
MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training
GigaAI（极佳科技）；CASIA；NJUST（南京工业大学）；Tsinghua University（清华大学）
本文提出 MimicDreamer 框架，通过视觉、视角与动作联合对齐，将低成本人类演示转换为机器人可用视频和动作监督，显著提升 VLA 模型少样本真实操作性能。
2025-09-29 cs.AI cs.RO
One-shot Human Video-Guided Adaptation for Vision-Language-Action Models
Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；AInnovation Technology Group Co., Ltd.（AInnovation科技集团有限公司）
提出CapPro框架，仅用单次人类演示视频即可让VLA策略适配新操作任务，实验显示其提升了未见过目标组的平均性能且保留源任务性能，验证了人类视频指导的有效性。
2026-10-27 cs.RO
Multi-step manipulation task and motion planning guided by video demonstration
CIIRC, Czech Technical University in Prague（捷克技术大学普拉格分校智能信息研究中心）；LAAS-CNRS, Universite de Toulouse, CNRS, Toulouse（图卢兹大学CNRS实验室）；INRIA, Paris（巴黎国家信息与自动化研究所）
本文扩展 RRT，融合教学视频中的接触状态与三维物体位姿，实现多机器人上的多步操作任务与运动规划及真实部署。
2025-05-13 cs.CV cs.RO cs.SY
