SurgVIL: Scaling Surgical Robot Imitation Learning with Open-source Surgical Videos
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达公司）
SurgVIL框架结合带运动学标签的体模机器人演示与开源外科视频，以弱监督补充运动学标签，在达芬奇机器人任务上提升了策略对真实组织等场景的泛化能力，为外科机器人模仿学习提供了可扩展方案。
2026-09-29 cs.RO
RoboEdit: Turning Human Manipulation Videos into Scalable Robot Experience
研究人员开发RoboEdit工具套件，通过RoboEdit-ADC自动流程构建含17.4万对齐视频的数据集，利用RoboEdit-Trans引擎实现人类操作视频到机器人视频的高质量转化，为机器人学习提供可扩展监督。
2026-10-20 cs.RO
Co-training with Ego-centric Video and Demonstration for Robot Navigation Task
Department of Informatics, Graduate School of Informatics, Kyoto University（信息学系，京都大学研究生院）；Spatial Robotics Research Center, Fujitsu Limited（空间机器人研究中心，富士通有限公司）
提出将自我中心行走视频转化为移动机器人模仿学习数据集的框架，通过联合训练VLA模型提升语言理解和动作生成能力。
2026-06-01 cs.RO
Let Me Show You: Learning by Retrieving from Egocentric Video for Robotic Manipulation
Midea Group, AI Research Center（美的集团人工智能研究中心）
本文提出RfV方法，通过从人类第一人称视频库中检索任务相关演示并提取可供性掩码与手部轨迹等中层信息，结合视频检索器和策略生成器，使机器人能够学习并泛化到训练数据之外的操作任务，在模拟与真实环境中均显著优于传统系统。
2025-11-07 cs.RO
H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
该研究推出H2R-Bench基准测试，评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力，发现现有模型在实体一致性等方面存在局限，为相关模型评估提供诊断框架。
2026-08-14 cs.CV cs.RO
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
Show Lab, National University of Singapore（新加坡国立大学显示实验室）
H2R-Grounder通过无需配对数据的方法，将人类交互视频转换为物理 grounded 的机器人视频，提升机器人学习的现实感和扩展性。
2025-12-10 cs.AI cs.CV cs.RO
Robotizing Human Videos with Physically Consistent Interactions
Singapore Management University（新加坡管理大学）
本研究提出一种物理一致性交互方法，通过接触重建与深度感知合成将人类视频机器人化，与机器人演示共同训练，在RoboTwin任务中取得最高平均成功率，并增强对视觉干扰的鲁棒性。
2026-10-06 cs.RO
Phantom: Training Robots Without Robots Using Only Human Videos
Stanford University（斯坦福大学）
提出一种仅从人类视频演示中训练机器人操作策略的框架，通过手部姿态估计和视觉数据编辑将人类演示转化为机器人兼容的观察-动作对，实现零样本部署并达到最高92%的成功率。
2026-05-28 cs.RO
Human2Robot: Learning Robot Actions from Paired Human-Robot Videos
针对现有方法依赖粗略对齐视频对、忽略细粒度帧级动态的问题，提出将人机细粒度对齐视为条件视频生成问题的范式，构建含2600段精确同步片段的H&R数据集，设计Human2Robot框架，实现已见任务高性能与新场景单样本泛化。
2025-11-15 cs.RO
Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video
通过视觉运动预测建模人类偏好，改进机器人从第一人称视频学习技能
2026-02-11 cs.RO
RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video
Show Lab, National University of Singapore（新加坡国立大学Show Lab）
本文提出RobotSeg模型和数据集，解决机器人分割的挑战，通过结构增强的记忆关联器、机器人提示生成器和标签高效训练策略，实现结构感知、自动化的高效分割。
2026-03-28 cs.CV cs.RO
Video Object Segmentation-based Visual Servo Control and Object Depth Estimation on a Mobile Robot
University of Michigan（密歇根大学）
为了在日常环境中发挥作用，机器人必须能够识别和定位现实世界的物体。近年来，视频对象分割在将真实视频和具有挑战性的视频中的对象从背景中密集地分离出来方面取得了重大进展。建立了这一进展，本文解决的问题，识别通用对象，并将它们定位在3D使用移动机器人与RGB摄像头。我们实现了这一点，首先，介绍了一个视频对象分割为基础的方法，视觉伺服控制和主动感知，第二，开发一个新的Hadamard Broyden更新配方。我们基于分割的方法简单但有效，我们的更新公式可以让机器人快速学习执行器和视觉特征之间的关系，而无需任何相机校准。我们在实验中通过学习移动HSR机器人上的各种致动器-相机配置来验证我们的方法，该机器人随后从YCB数据集识别、定位和抓取对象，并实时跟踪人和其他动态铰接对象。
2020-01-10 cs.RO
DreamToNav: Generalizable Navigation for Robots via Generative Video Planning
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology（智能空间机器人实验室，斯克尔科夫科学与技术研究所）
DreamToNav通过生成式视频规划实现通用机器人导航，利用自然语言提示生成精确运动路径，实现目标导向的自主导航。
2026-03-06 cs.RO
RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer
Stanford University（斯坦福大学）；Nvidia（英伟达）；Microsoft Research（微软研究院）
RoboRender提出面向机器人的视频生成框架，利用仿真深度、语言和掩码生成逼真RGB视频，训练策略实现零样本现实部署，成功率大幅提升。
2026-10-08 cs.RO
Video Generators are Robot Policies
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究院）
针对现有视觉运动策略泛化性差、受演示数据规模限制的问题，提出融合视频与动作生成的可端到端训练的Video Policy框架，以视频生成为代理学习策略，大幅提升样本效率与泛化能力，性能优于传统行为克隆。
2025-08-01 cs.RO
Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video
Across Physics（跨物理）；Beijing SFlare Robotics Technology Co., Ltd.（北京星焰机器人科技有限公司）
针对单目视频人体到机器人上半身动作重定向的几何保持框架，通过统一体-手重建与形态无关几何迁移，显著降低手部重投影误差，并成功在物理机器人上演示。
2026-09-30 cs.RO
Robot Shape and Location Retention in Video Generation Using Diffusion Models
Manchester Metropolitan University（曼彻斯特城市大学）；JD Sports Fashion PLC（JD体育时尚公司）
本文提出一种扩散模型方法，通过嵌入机器人姿态信息和在ConvNext骨干网络中施加语义掩码约束，提升视频生成中机器人形状与位置的保持能力，为碰撞检测模型提供训练数据并避免现实数据采集的法律伦理问题。
2024-07-03 cs.RO
Industry Best Practices in Robotics Software Engineering
Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室，加州理工学院）；Robert Bosch Corporate Research（罗伯特·博世企业研究院）；Waymo；XITASO GmbH（XITASO有限公司）；Mälardalen University（梅拉达伦大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Stuttgart（斯图加特大学）
机器人软件正在推动软件工程实践的极限。第三届机器人软件工程国际研讨会举行了关于“机器人软件工程最佳做法“的小组讨论。本文分享了小组成员和研讨会讨论中出现的关键要点，包括NASA/加州理工学院喷气推进实验室的架构实践，博世的模型驱动开发，Waymo的自动驾驶系统开发和测试，以及XITASO的机器人软件测试。研究人员和从业者可以在本文内容的基础上，对他们的活动获得新的视角，并专注于当今开发机器人软件中最紧迫的实践和挑战。
2022-12-09 cs.RO cs.SE
Robot Learning from Human Videos: A Survey
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文综述了通过人类视频学习机器人技能的方法，探讨了政策学习基础、人类视频接口、技能转移层次分类及数据基础，分析了挑战与未来研究方向。
2026-04-30 cs.CV cs.RO
H2R: A Human-to-Robot Data Augmentation for Robot Pre-training from Videos
H2R通过将人类视角视频转换为机器人视角数据，弥合人机视觉差距，提升机器人预训练效果，实验显示在模拟和现实场景中均显著提升性能。
2026-03-16 cs.RO
Zero-Shot Robot Manipulation from Passive Human Videos
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
我们是否可以仅仅通过观看人类在不同的非结构化环境中执行任意任务的视频来学习机器人操作的日常任务？与广泛采用的学习特定任务的行为或直接模仿人类视频的策略不同，我们开发了一个框架，用于从人类视频中提取与代理无关的动作表示，然后将其映射到代理的实施例中。我们的框架是基于预测合理的人手轨迹给定的初始图像的场景。在对来自互联网的不同人类视频集训练此预测模型后，在对机器人的实施例进行适当变换后，我们将训练模型zero-shot部署为物理机器人操作任务。这个简单的策略使我们能够解决粗略的操作任务，如打开和关闭抽屉，推动和工具使用，而无需访问任何域内机器人操作轨迹。我们的实际部署结果为动作预测信息建立了一个强大的基线，这些信息可以从人类活动的各种任意视频中获取，并可用于在看不见的场景中进行zero-shot机器人操作。
2023-02-03 cs.LG cs.RO
EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning
Rice University（莱斯大学）；Robotics and AI Institute（机器人与人工智能研究所）
提出EgoInfinity引擎，从互联网视频自动生成4D手物交互数据，实现跨机器人形态的动作重定向与技能学习，无需人工标注。
2026-06-23 cs.RO
Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
提出Vid2Robot，一种端到端的视频条件机器人策略，通过交叉注意力Transformer融合人类视频特征与机器人状态生成动作，并在真实机器人上取得显著效果与跨物体迁移能力。
2024-08-27 cs.AI cs.RO
HOST:Robots Acquire Manipulation Skills in Seconds from a Single Human Video
Beijing Institute of Technology（北京理工大学）；X SQUARE ROBOT（X方块机器人）；Tsinghua University（清华大学）
研究提出HOST框架，通过自定位预测，使机器人能从单个人类视频数秒内获取操作技能，保留先前技能，相比零样本基线及任务50次机器人示范微调的基线，在示范次数和获取速度上优势明显。
2026-08-21 cs.RO
EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow
School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）；InnoCORE AI-Transformed Aerospace Research Center, KAIST（AI转型航空航天研究中心，韩国成均馆大学）
EgoAVFlow通过共享3D流表示从人类中心视频中学习机器人策略，实现主动视觉和稳健操纵，无需机器人演示。
2026-02-25 cs.RO
SLoMo: A General System for Legged Robot Motion Imitation from Casual Videos
Mechanical Engineering, CMU（卡内基梅隆大学机械工程学院）
提出SLoMo框架，从随意视频中提取运动并迁移到腿式机器人，通过三阶段处理实现无需标记的通用运动模仿。
2023-09-05 cs.RO
HuRo: Robotizing Human Videos for Scalable VLA Pretraining
RLWRLD；Yonsei University（延世大学）
HuRo提出机器人化人类视频的流程，构建大规模数据集，通过增加预训练规模显著提升真实操作任务的完成率和OOD鲁棒性。
2026-09-29 cs.CV cs.LG cs.RO
Four Years in Review: Statistical Practices of Likert Scales in Human-Robot Interaction Studies
Georgia Institute of Technology（佐治亚理工学院）
随着机器人变得越来越普遍，人机交互（HRI）领域的重要性也相应增长。因此，我们应该努力采用最佳统计做法。李克特量表是HRI中常用的衡量观念和态度的指标。由于错误信息或诚实的错误，大多数HRI研究人员在分析Likert数据时没有采用最佳实践。我们进行了心理测量学文献的审查，以确定目前的标准，李克特量表的设计和分析。接下来，我们对四年的人机交互国际会议（2016年至2019年）进行了调查，并报告了不正确的统计实践和李克特量表的设计。在这些年里，只有3 110论文适用于正确设计的李克特量表适当的统计检验。我们的分析表明，在李克特量表的设计和测试方面有一些有意义的改进。最后，我们提供了建议，以提高从李克特数据得出的结论的准确性。
2020-01-31 cs.HC cs.RO stat.AP
Masquerade: Learning from In-the-wild Human Videos using Data-Editing
Stanford University（斯坦福大学）
提出Masquerade方法，通过编辑真实世界第一人称人类视频（估计3D手部姿态、修复手臂、叠加渲染双臂机器人）弥合视觉具身差距，并利用编辑后的视频预训练视觉编码器、微调扩散策略头，在三个长时程双臂厨房任务中实现比基线高5-6倍的泛化性能。
2025-08-13 cs.RO
Large Video Planner Enables Generalizable Robot Control
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；Harvard（哈佛大学）
本文提出利用大规模视频预训练构建通用机器人基础模型，通过生成视频计划实现跨任务和环境的泛化控制，并在真实机器人上验证了其可行性。
2026-05-08 cs.CV cs.RO
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China（清华大学，中国）；Shanghai Qi Zhi Institute, China（上海启智研究院，中国）
提出两阶段框架，利用人类演示视频学习可泛化机器人策略，无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation
本研究提出了一种基于视频演示的机器人模仿学习方法，通过模块化框架结合时间位移模块和深度强化学习，实现机器人从无结构视频中学习基本操作技能。
2026-02-22 cs.RO
EasyMimic: A Low-Cost Framework for Robot Imitation Learning from Human Videos
AIM3 Lab, Renmin University of China（中国人民大学人工智能实验室）
EasyMimic通过低成本框架实现机器人从人类视频快速学习操控策略，减少对昂贵数据的依赖，推动家庭机器人发展。
2026-02-12 cs.RO
Towards Generalist Robot Learning from Internet Video: A Survey
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
本文综述从互联网视频中学习（LfV）以缓解机器人数据稀缺的方法，梳理分布偏移、动作标签缺失等挑战与现有技术，并展望可扩展基础模型如何促进通用机器人学习。
2025-07-23 cs.LG cs.RO
RoboTok: A Scalable Data Engine for Internet Demonstration Video Retrieval and Dexterous Manipulation Learning
Rice University（莱斯大学）；NVIDIA（英伟达）
RoboTok是用于人类演示检索与灵巧操作学习的互联网规模数据引擎，通过学习3D手部轨迹的潜在运动空间，从网络视频检索相关演示，提升了机器人策略的下游任务成功率。
2026-09-29 cs.CV cs.RO
'What did the Robot do in my Absence?' Video Foundation Models to Enhance Intermittent Supervision
CSIRO（联邦科学与工业研究组织）；Monash University（莫纳什大学）
本文提出利用视频基础模型生成多模态机器人数据摘要的框架，通过用户研究验证查询驱动摘要和故事板能显著提升间歇式监督下的信息检索准确性，首次实现ViFMs在该场景的零样本应用。
2024-11-15 cs.RO
Robot Imitation from Video Demonstration
Arizona State University（亚利桑那州立大学）
本文复现Sermanet等人的机器人模仿研究，聚焦机器人到机器人的关节位置预测，使用RoboSuite收集数据并通过神经网络回归预测末端执行器位置，但过拟合导致高测试误差，需改进。
2023-10-14 cs.RO
Open-Ended Multi-Modal Relational Reasoning for Video Question Answering
Northwestern University（西北大学）；University of Notre Dame（圣母大学）
本文提出一种集成视频识别与自然语言处理的机器人智能体，用于视频场景中的语言问答，实验表明信任与交互效率正相关，且模型性能较基准方法提升2%至3%。
2024-06-11 cs.AI cs.HC cs.RO
DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control
Mondo Robotics（Mondo机器人公司）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
本文提出DiT4DiT模型，通过结合视频扩散变换器与动作扩散变换器，实现视频动态与动作的联合建模，提升机器人控制的泛化能力与样本效率。
2026-03-22 cs.RO
Robotic Offline RL from Internet Videos via Value-Function Pre-Training
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出V-PTR系统，通过时序差分学习在互联网视频上预训练价值函数，再结合机器人离线RL，显著提升真实机器人操作任务的性能与泛化能力。
2023-09-22 cs.CV cs.LG cs.RO
Learning by Watching: A Review of Video-based Learning Approaches for Robot Manipulation
Computer Science Department, Oklahoma State University, Stillwater, Oklahoma, USA（俄克拉荷马州立大学计算机科学系）
本文综述机器人通过被动观看大规模网络视频学习操作技能的方法，梳理相关基础、技术、基准与优势，并指出开放挑战和未来方向。
2025-10-20 cs.AI cs.CV cs.LG
Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations
UIUC（伊利诺伊大学香槟分校）；UC Irvine（加州大学尔湾分校）；Columbia University（哥伦比亚大学）
本文提出RIGVid系统，通过模仿AI生成视频使机器人完成复杂操作任务，无需物理示范或特定机器人训练。系统利用视频扩散模型生成潜在示范视频，并通过视觉语言模型筛选符合指令的视频，再通过6D姿态跟踪器提取轨迹并映射到机器人。实验表明生成视频效果与真实示范相当，且性能随生成质量提升。
2026-05-13 cs.AI cs.CV cs.RO
PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；University of Liverpool（利物浦大学）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）
研究如何将视频衍生的6D对象运动转换为机器人可执行轨迹，提出PhysV2A框架，通过可达性门控选择和语义掩码约束细化可操作性，经真实机器人实验验证，该框架能提升任务成功率、减少运动可行性失败并产生更好轨迹。
2026-07-13 cs.RO
3PoinTr: From Human Videos to Robot Policies with 3D Point-Track Plans
Carnegie Mellon University（卡内基梅隆大学）
提出3PoinTr方法，通过预测密集3D点轨迹从无约束人类视频中预训练样本高效的机器人操作策略，在真实和模拟任务中显著优于基线方法。
2026-09-22 cs.RO
IronMan: Information-Constrained Video-Action Learning for Robot Manipulation
Shanghai Jiao Tong University（上海交通大学）；Joy Future Academy, JD（京东探索研究院）
IronMan基于信息瓶颈原理，通过动力学感知瓶颈压缩视频特征，实现高效鲁棒的机器人操作，在LIBERO和RoboTwin上取得领先成功率并展现强OOD泛化能力。
2026-10-07 cs.RO
VideoVLA: Video Generators Can Be Generalizable Robot Manipulators
IAIR, Xi’an Jiaotong University（人工智能研究院、西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
VideoVLA通过将视频生成模型转化为机器人VLA操作器，实现了动作与视觉后果的双预测，提升机器人操作的泛化能力。
2025-12-07 cs.AI cs.CV cs.RO
Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation
Google DeepMind（谷歌DeepMind）；The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）
本文提出 Gen2Act 方法，通过预训练网络视频生成模型预测运动信息，并以此条件化单一机器人策略，在仅用少量机器人数据的情况下实现了对未见物体和新动作的泛化操作。
2024-09-24 cs.CV cs.LG cs.RO
Say, Dream, and Act: Learning Video World Models for Instruction-Driven Robot Manipulation
Fudan University（复旦大学）
本文提出一种视频条件动作框架，通过生成稳健的视频模型和对抗性蒸馏，提升机器人操作中的预测能力和空间准确性。
2026-02-11 cs.RO
V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
Technische Universität Wien (TU Wien)（维也纳工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
V2-STRep通过VLM生成结构化任务表示，将生成视频中的运动转化为可复用机器人技能，实现零样本跨场景迁移，并在六个真实任务中提升执行成功率。
2026-10-23 cs.RO
Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression
School of Informatics and Computing, Indiana University（印第安纳大学信息学与计算学院）
我们设计了一种新的方法，允许机器人学习的新活动，从未标记的人类的例子视频。给定从人类的观点来看人类执行相同活动的视频（即，第一人称视频），我们的目标是让机器人学习活动的时间结构作为其未来的回归网络，并学习将这种模型转移到自己的运动执行中。我们提出了一个新的深度学习模型：我们扩展了最先进的卷积目标检测网络，用于训练视频中人手的表示/估计，并新引入了使用完全卷积网络进行回归的概念（即，预测）对应于未来帧的中间场景表示（例如，1-2秒后）。结合这些可以直接预测人手和物体的未来位置，这使得机器人能够使用我们的操纵网络来推断电机控制计划。我们通过实验证实，我们的方法可以从未标记的人类交互视频中学习机器人活动，并证明我们的机器人能够直接根据其相机输入实时执行学习的协作活动。
2017-07-24 cs.AI cs.CV cs.LG
Learning Video-Conditioned Policies for Unseen Manipulation Tasks
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
提出ViP方法，利用预训练视频嵌入将人类演示映射为机器人操作策略，实现零样本控制未见任务，并在多任务环境中超越现有技术水平。
2023-05-10 cs.CV cs.LG cs.RO
VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network
National University of Singapore（新加坡国立大学）
提出VICX框架，利用冻结视频生成模型生成视觉计划，并通过视频到轨迹的上下文操作网络（V2T-ICON）将其映射为机器人可执行轨迹，实现跨任务、跨本体泛化。
2026-06-11 cs.RO
LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
提出LUCID两阶段框架，从互联网规模的非结构化人类视频学习任务意图，并在大规模并行仿真中学习机器人控制，实现零样本迁移到不同具身和场景。
2026-06-11 cs.AI cs.RO
VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model
New York University（纽约大学）
本研究提出SeeDo方法，利用视觉语言模型解释人类演示视频，通过关键帧选择、视觉感知和推理生成机器人任务规划，实验验证其优越性并成功部署于仿真和真实机器人。
2025-09-24 cs.AI cs.CV cs.LG
