Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations
Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院人工智能与机器人中心）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对多步布料操作难以泛化到未见任务的问题，提出一种基于分解策略的新流程，利用LLM从长演示中学习并组合基本技能，在已见和未见任务上均优于基线方法。
2025-03-06 cs.RO
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China（清华大学，中国）；Shanghai Qi Zhi Institute, China（上海启智研究院，中国）
提出两阶段框架，利用人类演示视频学习可泛化机器人策略，无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University（斯坦福大学）
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据，并借助部分可观测性与固定图像掩码缩小域差距，在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
Wuhan University（武汉大学）；ETH Zurich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出了一种从合成数据中学习通用手-物体跟踪控制器的方法，通过HOP和HOT实现从合成到物理的迁移，展示了在复杂任务中的有效性。
2025-12-22 cs.GR cs.RO
NOD-TAMP: Generalizable Long-Horizon Planning with Neural Object Descriptors
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Corporation（英伟达公司）
针对长时序操作任务泛化难问题，提出结合神经对象描述符（NOD）与任务运动规划（TAMP）的NOD-TAMP框架，从少量演示提取轨迹并适配组合，在基准和真实任务中表现更优。
2024-10-05 cs.AI cs.RO
Human Demonstrations are Generalizable Knowledge for Robots
School of Automation, Beijing Institute of Technology, Beijing, 100081, China（自动化学院，北京理工大学，北京，100081，中国）；Beijing Zhongguancun Academy, Beijing, 100094, China（中关村学院，北京，100094，中国）
本文提出DigKnow方法，将人类演示视频蒸馏为层次化可泛化知识，并结合大语言模型规划器检索知识进行规划与执行，从而提升机器人在不同任务和物体实例上的成功率。
2025-07-17 cs.RO
Learning Generalizable 3D Manipulation With 10 Demonstrations
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所 机器人学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；College of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
提出一种仅需10次演示即可学习3D操作技能的框架，通过SGP和SGD模块及空间等变训练策略，在物体姿态和相机视角变化下成功率提升60%。
2024-11-15 cs.CV cs.RO
VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
VLBiMan通过任务感知分解从单个示例中提取可重用技能，实现双臂机器人操作的通用化，减少演示需求并增强跨平台适应性。
2026-05-01 cs.RO
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego（加利福尼亚大学圣迭戈分校）
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而，现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里，我们提出了SAPIEN操纵技能基准（ManiSkill），以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择，以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信，我们应该定制基准，以便挑战邀请从事3D深度学习的研究人员。为此，我们模拟了一个移动的全景相机，返回以自我为中心的点云或RGB-D图像。此外，我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外，我们还支持从演示中学习（LfD）方法，提供大量高质量的演示（约36，000个成功的轨迹，约150万个点云/RGB-D帧）。我们使用3D深度学习和LfD算法提供基线。我们的基准测试（模拟器，环境，SDK和基线）的所有代码都是开源的，跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video
UC San Diego（加州大学圣地亚哥分校）
提出EgoPhys框架，从第一人称RGB视频中通过可泛化先验构建可变形物体的物理数字孪生，无需测试时优化即可预测弹簧刚度场，在重建、未来预测和零样本泛化上优于基线。
2026-06-16 cs.AI cs.CV cs.RO
Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Corporation（英伟达公司）
本文提出一种仿真与现实协同训练框架，通过学习领域不变的特征空间，利用仿真数据提升现实世界操作策略的泛化能力，实现实验成功率提升30%。
2026-01-16 cs.AI cs.RO
GenDOM: Generalizable One-shot Deformable Object Manipulation with Parameter-Aware Policy
The University of Tokyo（东京大学）；Osaka University（大阪大学）
GenDOM通过参数感知策略和模拟训练，仅需一次真实演示即可估计物体参数并操作不同可变形物体，在模拟和真实环境中均显著优于基线。
2025-01-27 cs.AI cs.RO
GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出 GenH2R 框架，通过大规模仿真环境、百万级自动演示和带未来预测的 4D 模仿学习，使机器人能泛化接收未见物体与人机复杂轨迹交接，成功率较基线至少提升 10%。
2024-06-14 cs.CV cs.RO
FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）
本文提出一种合成服装数据集，通过关键点驱动的资产和演示合成，学习通用的服装折叠闭环策略，提升现实世界成功率25%。
2026-03-19 cs.CV cs.RO
Deep Object-Centric Representations for Generalizable Robot Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
复杂开放世界场景中的机器人操作需要可靠的物理操作技能和有效且可推广的感知。在本文中，我们提出了一种方法，其中通用预训练的视觉模型作为学习策略的感知系统的以对象为中心的先验。我们设计了一个对象级的注意力机制，可以用来确定相关的对象从一些轨迹或演示，然后立即将这些对象纳入一个学习的政策。任务无关的元注意力定位场景中可能的对象，任务特定的注意力识别哪些对象是预测的轨迹。任务特定的注意力的范围很容易调整，通过显示演示与干扰对象或不同的相关对象。我们的研究结果表明，这种方法表现出良好的泛化在对象实例使用很少的样本，并可用于学习各种操作任务，使用强化学习。
2017-09-26 cs.AI cs.CV cs.RO
VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network
National University of Singapore（新加坡国立大学）
提出VICX框架，利用冻结视频生成模型生成视觉计划，并通过视频到轨迹的上下文操作网络（V2T-ICON）将其映射为机器人可执行轨迹，实现跨任务、跨本体泛化。
2026-06-11 cs.RO
VideoVLA: Video Generators Can Be Generalizable Robot Manipulators
IAIR, Xi’an Jiaotong University（人工智能研究院、西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
VideoVLA通过将视频生成模型转化为机器人VLA操作器，实现了动作与视觉后果的双预测，提升机器人操作的泛化能力。
2025-12-07 cs.AI cs.CV cs.RO
UniDomain: Pretraining a Unified PDDL Domain from Real-World Demonstrations for Generalizable Robot Task Planning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
UniDomain通过预训练统一的PDDL领域，结合机器人操作演示，实现可泛化的任务规划，实验显示其在零样本情况下任务成功率和计划优化度显著提升。
2026-04-20 cs.RO
MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data
Tsinghua University（清华大学）；Galbot；Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
提出 MobileH2R 框架，通过可扩展的多样化合成人体运动、安全演示生成与 4D 模仿学习，训练移动机器人闭环交接策略，无需真实演示且成功率较基线至少提升 15%。
2025-01-09 cs.RO
Generalizable Hierarchical Skill Learning via Object-Centric Representation
Northeastern University（东北大学）；Stanford University（斯坦福大学）
提出GSL框架，通过对象中心技能连接高层VLM与低层策略，分解演示为可迁移技能原语，显著提升机器人操作的泛化与样本效率，仿真和真实实验中均以极少数据超越基线。
2025-10-24 cs.AI cs.RO
KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos
University of Bremen（不来梅大学）；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））
KnowDemo利用人类视频中的结构化操作知识，通过VLM提取与推理生成多样化机器人演示，提升候选规划成功率，并在仿真数据上微调π0.5模型实现三任务的仿真到现实迁移。
2026-09-21 cs.AI cs.RO
DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Laboratory（上海人工智能实验室）；UC San Diego（加利福尼亚大学圣迭戈分校）
针对从人类参考开发灵巧操作可泛化神经跟踪控制器的挑战，提出收集大规模机器人跟踪演示并结合强化学习、模仿学习和同伦优化的方法，提升控制器性能与泛化性，在仿真和现实中取得优于基线的结果。
2025-02-13 cs.AI cs.CV cs.LG
StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models
StellaVLA是一种测试时基于结构化演示适应的VLA框架，通过双训练设计提升泛化性，在VLA-Arena等基准上表现优于现有模型，可助力VLA模型适应OOD任务。
2026-08-13 cs.RO
DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation
Peking University（北京大学）；BeingBeyond
提出 DemoHLM 框架，通过分层结构集成全身控制器与高级操作策略，仅需仿真中的单次演示即可在真实人形机器人上实现可泛化且鲁棒的移动操作。
2025-10-13 cs.LG cs.RO
Visual Cue Guided Video Planning for Generalizable Robot Navigation
Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）；Örebro University（厄勒布鲁大学）
提出CueNav，结合视觉提示引导的视频规划与逆动力学模型，实现长视界、具身感知的泛化机器人导航，显著提升迷宫和狭窄通道成功率。
2026-09-17 cs.AI cs.CV cs.LG
RoboCLIP: One Demonstration is Enough to Learn Robot Policies
University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Stanford University（斯坦福大学）
RoboCLIP利用预训练视频-语言模型，通过单个视频或文本演示生成奖励，无需微调，使强化学习智能体在机器人操作任务上零样本性能提升2-3倍。
2023-10-11 cs.AI cs.RO
GenORM: Generalizable One-shot Rope Manipulation with Parameter-Aware Policy
The University of Tokyo（东京大学）；Osaka University（大阪大学）
GenORM通过参数感知策略和可微分物理模拟器，仅需一次真实演示即可操控不同可变形绳索，显著优于基线方法。
2025-01-27 cs.AI cs.LG cs.RO
Generalizable Human-Robot Collaborative Assembly Using Imitation Learning and Force Control
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
机器人在我们的日常生活中的存在一直在稳步增加，它们可以与人类一起工作，在工业楼层，办公室和家庭中提供各种任务的帮助。自动化装配是机器人的重要应用之一，通过建立人-机器人系统的协作，下一代装配系统将变得更加高效。然而，尽管协作机器人已经存在了几十年，但它们在真正的协作系统中的应用仍然有限。这是因为一个真正的协作人-机器人系统需要调整其操作方面的不确定性和不精确的人类行动，确保安全在交互过程中，在本文中，我们提出了一个系统的人-机器人协同装配使用示教学习和位姿估计，使机器人能够适应人类操作所造成的不确定性。示教学习用于基于来自基于深度学习的视觉系统的不同目标位置的姿态估计来生成机器人的运动轨迹。所提出的系统是使用一个物理的6自由度机械手在一个协作的人-机器人装配场景。我们通过各种实验成功地推广了系统的操作，以改变初始和最终的目标位置。
2022-12-02 cs.AI cs.RO
AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons
Shanghai Jiao Tong University（上海交通大学）；Noematrix；Shanghai Innovation Institute（上海创新研究院）
针对现实机器人模仿学习中演示数据收集的效率与成本问题，提出低成本外骨骼系统AirExo-2用于大规模野外数据收集，并设计适配器转换数据，结合RISE-2策略提升域内及泛化性能，性能可媲美遥操作数据训练结果。
2025-08-25 cs.RO
Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations
UIUC（伊利诺伊大学香槟分校）；UC Irvine（加州大学尔湾分校）；Columbia University（哥伦比亚大学）
本文提出RIGVid系统，通过模仿AI生成视频使机器人完成复杂操作任务，无需物理示范或特定机器人训练。系统利用视频扩散模型生成潜在示范视频，并通过视觉语言模型筛选符合指令的视频，再通过6D姿态跟踪器提取轨迹并映射到机器人。实验表明生成视频效果与真实示范相当，且性能随生成质量提升。
2026-05-13 cs.AI cs.CV cs.RO
Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Zerith Robotics（智臻机器人）；University of Science and Technology of China（中国科学技术大学）
本研究提出基于轨迹的框架TDV，利用6D位姿估计从人类视频提取目标轨迹，实现通用操作，在RLBench仿真7项任务中近100%成功，真实场景可跨实体泛化。
2026-10-16 cs.RO
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai AI Lab（上海人工智能实验室）
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下，仅仅是一个单一的对象实例上的抓取姿势示范？在本文中，我们试图通过使用USEEK来解决这个有趣的挑战，USEEK是一种无监督的SE（3）-等变关键点方法，可以在类别中的实例之间进行对齐，以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE（3）-等变关键点检测。有了USEEK，机器人可以以有效和可解释的方式推断类别级任务相关的对象框架，从而能够从任何姿势操纵任何类别内对象。通过大量的实验，我们证明了USEEK产生的关键点具有丰富的语义，从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比，USEEK是更自适应的，在面对大的类别内的形状变化，更强大的有限的演示，更有效的推理时间。
2023-02-17 cs.CV cs.RO
Sim-and-Human Co-training for Data-Efficient and Scene-Generalizable Bimanual Manipulation
University of Electronic Science and Technology of China（电子科学与技术大学）；Southwest Jiaotong University（西南交通大学）；Tongji University（同济大学）；Shanghai Innovation Institute（上海创新研究院）
SimHum通过结合仿真数据和人类数据，实现了数据高效且可泛化的机器人操作，实验表明其在现实任务中表现优于基线方法。
2026-09-18 cs.AI cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego（加州大学圣地亚哥分校）
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比，模仿学习的最新进展大大提高了样本效率，但由于专家演示有限，学习的策略很难推广到操纵新对象。在本文中，我们建议学习灵巧的操作，使用大规模的示范与不同的3D对象的类别，这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策，我们提出了一个新的模仿学习目标与几何表示学习目标，使用我们的演示。通过在模拟中重新定位不同对象的实验，我们表明，我们的方法在操纵新对象时优于基线，具有很大的优势。我们还消融了3D对象表示学习的重要性，为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs
mimic robotics；Microsoft Zurich（微软瑞士分公司）；ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；UC Berkeley（伯克利大学）
mimic-video通过结合预训练的视频模型和基于流匹配的动作解码器，实现了更有效的机器人控制，提升了样本效率和收敛速度。
2025-12-19 cs.AI cs.CV cs.LG
MonoNeRF: Learning Generalizable NeRFs from Monocular Videos without Camera Pose
University of California, San Diego（加州大学圣地亚哥分校）；FAIR, Meta AI（Meta人工智能基础研究实验室）
本文提出 MonoNeRF，一种无需深度或相机位姿标注、从单目视频学习可泛化神经辐射场的自编码器框架，可同时支持深度估计、位姿估计和单图像新视角合成。
2023-06-04 cs.CV cs.LG cs.RO
Parse-Augment-Distill: Learning Generalizable Bimanual Visuomotor Policies from Single Human Video
Department of Artificial Intelligence, University of Groningen（人工智能系，格罗宁根大学）
提出PAD框架，从单个人类视频解析关键点轨迹，经双臂任务规划增强后蒸馏为策略，实现高效可泛化的双臂操作。
2025-09-24 cs.RO
Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation
School of Computer Science, School of Robotics, Institute of Technological Sciences, Wuhan University（计算机学院、机器人学院、技术科学研究院、武汉大学）
本文提出RGMP-S方法，通过几何先验和递归脉冲网络提升双足机器人操作的泛化能力与数据效率。
2026-01-13 cs.AI cs.RO
SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework
CFCS, School of Computer Science, Peking University（计算机学院，北京大学计算机科学系）；School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航）
该研究提出SUGAR框架，通过将多样化的视频转化为可部署的人形机器人运动-操作技能，无需特定任务的奖励工程或参考动作条件，在仿真和现实硬件中实现了六种代表性任务的高性能表现，展示了可扩展性和零样本现实迁移能力。
2026-05-19 cs.AI cs.CV cs.RO
Adapt2Reward: Adapting Video-Language Models to Generalizable Robotic Rewards via Failure Prompts
School of Software Technology, Zhejiang University（浙江大学软件学院）；School of Computer Sciene and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机学院）；China Mobile (Zhejiang) Research & Innovation Institute（中国移动（浙江）研究院）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；The Hong Kong Polytechnic University（香港理工大学）；Zhiyuan Research Institute（智源研究院）；School of Computer Sciene and Technology, Xidian University（西安电子科技大学计算机学院）
本文提出Adapt2Reward方法，利用少量单一环境机器人视频数据，通过聚类失败视频特征并集成失败提示，将视频-语言模型转化为可泛化的语言条件奖励函数，在新环境和新指令上表现卓越。
2024-07-20 cs.CV cs.RO
HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos
HumanX通过人类视频实现敏捷且可推广的人形交互技能，无需任务特定奖励，展示出高泛化能力。
2026-10-12 cs.LG cs.RO
TASTE-Rob: Advancing Video Generation of Task-Oriented Hand-Object Interaction for Generalizable Robotic Manipulation
SSE, CUHKSZ（CUHKSZ系统科学系）；FNii, CUHKSZ（CUHKSZ功能神经信息研究所）
本文构建含100,856个对齐语言指令的第一视角手-物交互视频数据集 TASTE-Rob，并结合VDM微调和三阶段手部姿势精修流程，提升面向机器人模仿学习的可泛化操作视频生成质量。
2025-06-06 cs.CV cs.RO
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架，通过生成自我中心视频并结合视觉语言引导的闭环控制，实现人形机器人全身操控技能的通用获取，可在多样场景中稳健执行。
2026-08-06 cs.RO
MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training
GigaAI（极佳科技）；CASIA；NJUST（南京工业大学）；Tsinghua University（清华大学）
本文提出 MimicDreamer 框架，通过视觉、视角与动作联合对齐，将低成本人类演示转换为机器人可用视频和动作监督，显著提升 VLA 模型少样本真实操作性能。
2025-09-29 cs.AI cs.RO
DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control
Mondo Robotics（Mondo机器人公司）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
本文提出DiT4DiT模型，通过结合视频扩散变换器与动作扩散变换器，实现视频动态与动作的联合建模，提升机器人控制的泛化能力与样本效率。
2026-03-22 cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验，结合闭环姿态校准和在线感知，实现移动人形全身操作的空间、视觉及跨物体泛化，并抵抗外部干扰。
2026-09-28 cs.RO
Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations
College of Connected Computing, Vanderbilt University（连接计算学院，范德比尔特大学）；Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学）；School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）
提出联合流轨迹优化（JFTO）框架，通过以物体为中心的引导和SE(3)流匹配，在视频演示下实现可行的抓取姿态生成与物体轨迹模仿，兼顾抓取相似性、轨迹似然和碰撞惩罚。
2025-09-25 cs.AI cs.CV cs.RO
DreamToNav: Generalizable Navigation for Robots via Generative Video Planning
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology（智能空间机器人实验室，斯克尔科夫科学与技术研究所）
DreamToNav通过生成式视频规划实现通用机器人导航，利用自然语言提示生成精确运动路径，实现目标导向的自主导航。
2026-03-06 cs.RO
Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University（卡内基梅隆大学）；FAIR at Meta（Meta FAIR实验室）
本文提出 Track2Act，利用互联网视频学习目标条件点轨迹预测，并结合少量机器人演示训练的残差闭环策略，实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration
Stanford University（斯坦福大学）
我们的目标是生成一个策略来完成一个看不见的任务，只需要一个视频演示的任务在一个给定的域。我们假设，要成功地推广到看不见的复杂任务，从一个单一的视频演示，有必要明确地将任务的组成结构到模型。为此，我们提出了神经任务图（NTG）网络，它使用共轭任务图作为中间表示模块化的视频演示和派生的政策。我们的经验表明，NTG在两个复杂的任务上实现了任务间的泛化：BulletPhysics中的块堆叠和AI 2-THOR中的对象收集。NTG通过视觉输入提高了数据效率，并在不需要密集分层监督的情况下实现了强大的泛化能力。我们进一步表明，类似的性能趋势时，适用于现实世界的数据。我们表明，NTG可以有效地预测JIGSAWS手术数据集上的任务结构，并推广到看不见的任务。
2019-03-06 cs.AI cs.CV cs.LG
Task Editing for Generalizable 3D Visuomotor Policy Learning
Sun Yat-sen University（中山大学）；Imperial College London（帝国理工学院）；Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）
提出Task-Edit框架，通过将任务分解为场景、技能和对象组件并灵活重组，生成多样化轨迹，提升3D视觉运动策略在长程操作任务中的泛化能力。
2026-06-05 cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University（山东大学）；Shanghai Jiao Tong University（上海交通大学）
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势，这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而，一般的视频描述方法更多地关注于对全帧的理解，缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型，从人类演示视频中学习机器人操作的动作。它由两个深度网络组成，抓取检测网络（GNet）和视频描述网络（CNet）。GNet执行两个功能：提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明，我们的方法可以产生更准确的命令，从视频演示比国家的最先进的工作，从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos
Stanford University（斯坦福大学）
我们的目标是实现能够在许多环境中完成各种任务的多面手机器人。关键是机器人获得任务成功或奖励的能力，这对于强化学习、规划或知道何时寻求帮助是必要的。对于在现实世界中运行的通用机器人，该奖励函数还必须能够广泛地推广到环境、任务和对象，同时仅依赖于机载传感器的观察结果（例如RGB图像）。虽然在大型和多样化的数据集上进行深度学习已经显示出了在计算机视觉和自然语言中实现这种泛化的前景，但大规模收集高质量的机器人交互数据集仍然是一个开放的挑战。相比之下，人类的“野外”视频（例如YouTube）包含了大量在各种环境中做有趣任务的人。在这项工作中，我们提出了一种简单的方法，域不可知的视频判别器（DVD），通过训练一个判别器来分类两个视频是否正在执行相同的任务，从而学习多任务奖励函数，并且可以通过从少量的机器人数据中学习广泛的人类视频数据集来进行推广。我们发现，通过利用不同的人类数据集，该奖励函数（a）可以将zero shot推广到看不见的环境，（b）将zero shot推广到看不见的任务，（c）可以与视觉模型预测控制相结合，从单个人类演示中解决真实WidowX200机器人在看不见的环境中的机器人操作任务。
2021-03-31 cs.AI cs.CV cs.LG
EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）
提出EgoEngine框架，通过视觉和动作桥接，将自我中心人类视频转化为高保真机器人数据，首次实现零样本灵巧策略学习。
2026-06-12 cs.RO
