ImaginationPolicy: Towards Generalizable, Precise and Reliable End-to-End Policy for Robotic Manipulation
Dekun Lu ∗ , Wei Gao ∗ and Kui Jia ∗(作者)
本文提出ImaginationPolicy,采用移动有向关键点链(CoMOK)作为端到端动作表示,实现可泛化、亚厘米精度且可靠的多任务机器人操作策略,经仿真与硬件实验验证。
2025-09-25 cs.AI cs.LG cs.RO
OmniD: Generalizable Robot Manipulation Policy via Image-Based BEV Representation
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心)
针对视觉运动策略过拟合及多视角融合困难问题,提出OmniD框架,通过可变形注意力生成器将多视角图像合成为统一BEV表示,在分布外和小样本场景下显著提升机器人操作泛化性能。
2025-08-16 cs.RO
Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
Carnegie Mellon University(卡内基梅隆大学);FAIR at Meta(Meta FAIR实验室)
本文提出 Track2Act,利用互联网视频学习目标条件点轨迹预测,并结合少量机器人演示训练的残差闭环策略,实现跨未见任务、物体和场景的零样本泛化操作。
2024-08-08 cs.CV cs.RO
AffordDP: Generalizable Diffusion Policy with Transferable Affordance
ShanghaiTech University(上海科技大学)
针对扩散策略在机器人操作中跨域泛化能力弱的问题,提出融合可迁移可供性的AffordDP方法,通过3D接触信息建模可供性、结合视觉基础模型与点云配准实现迁移,并在扩散采样中加入引导,在仿真与真实场景中均优于现有方法,实现对未见物体实例和类别的泛化操作。
2025-03-20 cs.RO
Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文提出GemBench基准评估视觉-语言机器人操作泛化能力,并引入利用3D信息的3D-LOTUS方法及结合LLM与VLM的3D-LOTUS++框架,在新颖任务上取得SOTA性能。
2025-03-01 cs.CV cs.RO
Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation
Google DeepMind(谷歌DeepMind);The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Computer Science Department, Stanford University(斯坦福大学计算机科学系)
本文提出 Gen2Act 方法,通过预训练网络视频生成模型预测运动信息,并以此条件化单一机器人策略,在仅用少量机器人数据的情况下实现了对未见物体和新动作的泛化操作。
2024-09-24 cs.CV cs.LG cs.RO
Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);KEENON Robotics Co., Ltd.(科语机器人有限公司);Suzhou Silicon Era Intelligent Technology Co., Ltd.(苏州硅时代智能科技有限公司);College of Materials, Xiamen University(厦门大学材料学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);ByteDance(字节跳动);State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院通用人工智能国家重点实验室);Hubei Automation Institute(湖北省自动化研究所)
本文提出AdaRoboVLG框架,通过解耦物理抓取合成与任务依赖理解,结合可组合基础先验实现自适应通用抓取,在仿真与真实实验中展现出高效学习、跨机械臂泛化及应对复杂环境的能力。
2026-10-01 cs.AI cs.CV cs.RO
RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation
RGMP通过结合几何-语义推理与递归高斯适应,实现了高效的人形机器人多模态操作控制。
2025-12-24 cs.RO
WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
Sharpa Robotics(夏普机器人公司)
提出WM-Craftnet,利用世界联觉模型作为循环任务上下文,结合触觉与深度重建,提升灵巧手内操作的泛化性和鲁棒性,支持多物体及仿真到现实迁移。
2026-09-09 cs.RO
Generalizable Hierarchical Skill Learning via Object-Centric Representation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出GSL框架,通过对象中心技能连接高层VLM与低层策略,分解演示为可迁移技能原语,显著提升机器人操作的泛化与样本效率,仿真和真实实验中均以极少数据超越基线。
2025-10-24 cs.AI cs.RO
Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints
CLAP通过任务分解、VLM微调和3D感知表示,提升机器人操作在新指令和环境下的泛化能力,实现更高的样本效率和操作精度。
2026-02-21 cs.RO
Language-Guided Object-Centric Diffusion Policy for Generalizable and Collision-Aware Robotic Manipulation
Technical University of Munich(慕尼黑工业大学);Agile Robots SE(敏捷机器人公司)
提出 Lan-o3dp 语言引导的对象中心三维扩散策略,结合 LLM、开集分割与代价引导去噪,在少演示下提升机器人操作泛化与零样本避障能力。
2025-03-16 cs.RO
Generalizable Motion Policies through Keypoint Parameterization and Transportation Maps
Cognitive Robotics, Delft University of Technology(德鲁特理工大学认知机器人实验室);Cyber Physical Systems, Indian Institute of Science Bangalore(印度科学研究院班加罗尔计算机物理系统)
针对机器人从演示学习的运动策略难以泛化到新场景的问题,提出基于关键点参数化与非线性传输映射的方法,结合高斯过程估算不确定性,在多类操作任务上验证了优于现有方案的性能。
2025-07-31 cs.RO
GENMANIP: LLM-driven Simulation for Generalizable Instruction-Following Manipulation
Shanghai AI Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);Zhejiang University(浙江大学);Nanjing University(南京大学)
针对机器人操作泛化难、现有仿真平台支持不足的问题,研究推出GenManip仿真平台与GenManip-Bench基准,实验表明带基础模型的模块化策略泛化效果优于数据增强的端到端策略。
2025-06-12 cs.RO
FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg(汉堡大学信息学院TAMS(多模态系统技术));Technical University of Munich(慕尼黑技术大学);Agile Robots SE(敏捷机器人有限公司)
本文提出FUNCanon框架,通过功能对象规范化学习姿态感知的动作原语,以实现通用的机器人操作,该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段,从而提升策略的可组合性和可重用性。
2026-05-17 cs.AI cs.CV cs.RO
Learning Geometrically-Grounded Amodal 3D Representations for View-Generalizable Robotic Manipulation
Tongji University(同济大学);The University of Hong Kong(香港大学)
本文提出MethodName框架,通过单视角3D预训练和多步蒸馏实现机器人操作的视图通用性,实验显示其在成功率和视图泛化能力上优于现有方法。
2026-09-29 cs.RO
Task Editing for Generalizable 3D Visuomotor Policy Learning
Sun Yat-sen University(中山大学);Imperial College London(帝国理工学院);Nanyang Technological University(南洋理工大学);South China University of Technology(华南理工大学)
提出Task-Edit框架,通过将任务分解为场景、技能和对象组件并灵活重组,生成多样化轨迹,提升3D视觉运动策略在长程操作任务中的泛化能力。
2026-06-05 cs.RO
CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 CAGE 机器人操作策略,融合 DINOv2、LoRA、因果 Perceiver 与扩散动作头,仅用 50 个演示即可显著提升视觉变化下的泛化与任务表现。
2024-12-06 cs.RO
Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models
USC Physical Superintelligence Lab(USC物理超智能实验室);Toyota Research Institute(丰田研究院)
本文提出利用视觉-语言模型生成通用在线机器人奖励,通过零样本方式提升策略学习效率,实验显示在30次迭代内显著提高初始策略成功率。
2026-10-02 cs.AI cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University(北京大学)
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展,但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中,我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题,其中我们假设没有手工制作的密集奖励,而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题,我们确定了几个关键问题,可以失败的以前的模仿学习算法,并阻碍了推广到看不见的实例。然后,我们提出了几个一般的,但关键的技术,包括生成对抗性自我模仿学习从示范,渐进增长的学习,和实例平衡专家缓冲区,准确地指出和解决这些问题,可以受益于类别级操作策略学习,无论任务。我们在ManiSkill基准上的实验表明,所有任务都有显着的改进,我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 M3L 掩码多模态学习框架,在强化学习中联合训练视觉-触觉表征与策略,提升样本效率和跨任务泛化,并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
VLBiMan: Vision-Language Anchored One-Shot Demonstration Enables Generalizable Bimanual Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
VLBiMan通过任务感知分解从单个示例中提取可重用技能,实现双臂机器人操作的通用化,减少演示需求并增强跨平台适应性。
2026-05-01 cs.RO
AFFORD2ACT: How Far Can Sparse Keypoints Go for Robot Manipulation?
Department of Computer Science, University of Maryland, College Park, MD, USA(马里兰大学计算机科学系,College Park, MD, USA)
本文提出 AFFORD2ACT 框架,通过文本提示和单张图像生成最小化语义 2D 关键点,实现轻量级机器人操作,提升数据效率和泛化能力。
2026-10-22 cs.AI cs.RO
Transferring Foundation Models for Generalizable Robotic Manipulation
Nanjing University(南京大学);Renmin University of China(中国人民大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research(微软研究院);Shanghai AI Lab(上海人工智能实验室)
本文提出利用互联网规模基础模型生成的语言推理分割掩码来条件化机器人操作,并设计双流二维策略模型,以样本高效方式提升机器人在新物体、新类别和未见背景下的泛化能力。
2025-02-07 cs.AI cs.RO
GAPLE: Generalizable Approaching Policy LEarning for Robotic Object Searching in Indoor Environment
Arizona State University(亚利桑那州立大学);Adobe Systems, Inc.(Adobe系统公司)
我们研究的问题,学习一个可推广的行动政策的智能代理,积极接近感兴趣的对象在室内环境中,仅仅从其视觉输入。虽然场景驱动或示意图驱动的视觉导航已被广泛研究,但先前的努力严重受限于泛化能力。本文首先论证了目标搜索任务是环境依赖的,而接近能力是一般的。为了学习一个可推广的接近策略,我们提出了一种新的解决方案,称为GAPLE,采用两个通道的视觉特征:深度和语义分割,作为输入的策略学习模块。对House3D数据集以及真实世界场景中的物理平台进行的实证研究验证了我们的假设,我们进一步提供了深入的定性分析。
2019-03-07 cs.CV cs.RO
GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Robotics X(腾讯Robotics X实验室);The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Technology University(深圳技术大学)
针对通用机器人策略在复杂环境中鲁棒性不足的问题,提出GeniWorld交互式世界模型,通过解耦本体与环境动态、构建自回归视频预测模型实现泛化,可用于策略评估并提升下游操作性能。
2026-10-09 cs.RO
kPAM 2.0: Feedback Control for Category-Level Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了可推广的,感知到行动的机器人操作精确,接触丰富的任务。特别是,我们贡献了一个框架,自动处理一类对象的闭环机器人操作,尽管潜在的看不见的对象实例和显着的类别内的形状,大小和外观的变化。先前的方法通常在实时6-DOF姿态估计器之上构建反馈回路。然而,从一个固定的几何模板表示一个对象的参数化变换不捕捉大的类别内形状变化。因此,我们采用kPAM中提出的基于关键点的对象表示来进行类别级拾取和放置,并将其扩展到具有接触丰富任务的闭环操作策略。我们首先用局部方向信息来增强关键点。使用定向关键点,我们提出了一种新的对象为中心的动作表示在调节这些定向关键点的线/角速度或力/扭矩。这种配方是令人惊讶的通用-我们证明,它可以完成接触丰富的操作任务,需要精度和灵活性的一类对象具有不同的形状,大小和外观,如钉孔插入钉和孔具有显着的形状变化和紧密的间隙。与建议的对象和动作表示,我们的框架也是不可知的机器人把握姿势和初始对象配置,使其灵活的集成和部署。
2021-02-11 cs.RO
PartManip: Learning Cross-Category Generalizable Part Manipulation Policy from Point Cloud Observations
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
学习一个可推广的对象操作策略是至关重要的具体代理工作在复杂的现实世界的场景。部件作为不同对象类别中的共享组件,具有提高操作策略泛化能力和实现跨类别对象操作的潜力。在这项工作中,我们建立了第一个大规模的,基于部分的跨类别对象操作基准,PartManip,它是由11个对象类别,494个对象,1432个任务在6个任务类。与以前的工作相比,我们的基准也更加多样化和现实,即,具有更多的对象并且使用稀疏视点云作为输入,而不需要像零件分割那样的Oracle信息。为了解决基于视觉的策略学习的困难,我们首先训练一个基于国家的专家与我们提出的部分基于规范化和部分意识到的奖励,然后提取的知识,以视觉为基础的学生。我们还发现,一个富有表现力的骨干是必不可少的,以克服不同对象的巨大多样性。对于跨类别泛化,我们引入了领域对抗学习来进行领域不变的特征提取。大量的仿真实验表明,我们学习的策略可以大大优于其他方法,特别是在看不见的对象类别上。我们还证明了我们的方法可以成功地操纵现实世界中的新对象。
2023-03-29 cs.CV cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验,结合闭环姿态校准和在线感知,实现移动人形全身操作的空间、视觉及跨物体泛化,并抵抗外部干扰。
2026-09-28 cs.RO
3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations
Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
提出3D Diffusion Policy (DP3),通过将紧凑的3D视觉表示融入扩散策略,仅用少量演示即可在模拟与真实机器人任务中实现高成功率、强泛化及高安全性的视觉运动技能学习。
2024-09-27 cs.CV cs.LG cs.RO
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai AI Lab(上海人工智能实验室)
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下,仅仅是一个单一的对象实例上的抓取姿势示范?在本文中,我们试图通过使用USEEK来解决这个有趣的挑战,USEEK是一种无监督的SE(3)-等变关键点方法,可以在类别中的实例之间进行对齐,以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE(3)-等变关键点检测。有了USEEK,机器人可以以有效和可解释的方式推断类别级任务相关的对象框架,从而能够从任何姿势操纵任何类别内对象。通过大量的实验,我们证明了USEEK产生的关键点具有丰富的语义,从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比,USEEK是更自适应的,在面对大的类别内的形状变化,更强大的有限的演示,更有效的推理时间。
2023-02-17 cs.CV cs.RO
Imitation Learning for Generalizable Self-driving Policy with Sim-to-real Transfer
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
模仿学习使用专家的演示来发现最优策略,它也适用于现实世界的机器人任务。然而,在这种情况下,由于安全、经济和时间的限制,代理的训练在模拟环境中进行。然后,将该智能体应用于现实生活中的领域,使用模拟到真实的方法。在本文中,我们应用模仿学习方法在模拟环境中解决机器人任务,并使用迁移学习将这些解决方案应用于现实环境中。我们的任务设置在Duckietown环境中,机器人代理必须根据单个前向摄像头的输入图像沿着正确的车道行驶。我们提出了三个模仿学习和两个模拟到真实的方法能够实现这一任务。对这些技术进行了详细的比较,以突出它们的优点和缺点。
2022-06-22 cs.CV cs.LG cs.RO
GraspLDP: Towards Generalizable Grasping Policy via Latent Diffusion
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院)
GraspLDP通过引入潜在扩散框架和抓取先验知识,提升了抓取策略的精度和泛化能力,实验表明其在动态抓取任务中表现优异。
2026-02-26 cs.CV cs.RO
GLEAM: Learning Generalizable Exploration Policy for Active Mapping in Complex 3D Indoor Scenes
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
针对未知复杂室内场景主动建图的泛化难题,本文构建含1,152个场景的GLEAM-Bench,并提出融合语义表示、长期目标与随机策略的GLEAM探索策略,显著提升未见场景覆盖率与建图精度。
2025-09-29 cs.AI cs.CV cs.RO
ObstaDiff: Generalizable Diffusion Policy Learning via Obstacle-aware Representations
University of California, Los Angeles(加州大学洛杉矶分校)
ObstaDiff提出分解扩散策略框架,利用轻量级障碍物感知编码器提取目标-障碍物-背景表示,在真实温室试验中实现75.41%成功率和8.20%碰撞率,提升杂乱场景泛化能力。
2026-09-11 cs.LG cs.RO
EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning
Stanford University(斯坦福大学)
针对机器人模仿学习数据需求高、泛化性弱的问题,提出结合SIM(3)-等变网络与扩散模型的EquiBot策略,经仿真与真实移动操作任务验证,可实现数据高效学习与强泛化能力。
2024-10-29 cs.LG cs.RO
GenNBV: Generalizable Next-Best-View Policy for Active 3D Reconstruction
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出端到端泛化NBV策略GenNBV,采用强化学习扩展至5D动作空间并引入多源状态嵌入,在跨数据集未见物体上实现高覆盖率,显著提升主动3D重建性能。
2024-07-30 cs.AI cs.CV cs.RO
Query-Centric Diffusion Policy for Generalizable Robotic Assembly
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
针对机器人装配中高层规划与低层控制不匹配的问题,提出以查询为中心的扩散策略QDP,利用物体、接触点和技能查询引导低层策略,在FurnitureBench上显著提升技能精度与长时程成功率。
2025-09-23 cs.LG cs.RO
DexKnot: Generalizable Visuomotor Policy Learning for Dexterous Bag-Knotting Manipulation
DexKnot通过结合关键点暗示与扩散策略,实现对灵巧袋结操作的通用政策学习,有效提升机器人在不同袋子实例和变形下的编织性能。
2026-03-07 cs.RO
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego(加州大学圣地亚哥分校);HKUST(香港科技大学)
我们提出了一个模拟到真实的灵巧操作框架,可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化:(i)使用想象的手部点云作为增强输入;(ii)设计新颖的基于接触的奖励。我们经验性地评估我们的方法,使用快板手抓住新的对象在模拟和现实世界中。据我们所知,这是第一个基于策略学习的框架,可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
RoboAssembly: Learning Generalizable Furniture Assembly Policy in a Novel Multi-robot Contact-rich Simulation Environment
Peking University(北京大学);Stanford University(斯坦福大学);Tencent AI Lab(腾讯人工智能实验室)
零件装配是机器人技术中一个典型但具有挑战性的任务,机器人将一组单独的零件装配成一个完整的形状。在本文中,我们开发了一个机器人装配仿真环境的家具装配。我们制定的部分装配任务作为一个具体的强化学习问题,并提出了一个管道,机器人学习组装一套不同的椅子。实验表明,当测试与看不见的椅子,我们的方法实现了74.5%的成功率下,以对象为中心的设置和50.0%下的完整设置。我们采用RRT连接算法作为基线,在显著更长的计算时间后,该算法仅实现了18.8%的成功率。补充材料和视频可在我们的项目网页上找到。
2021-12-19 cs.AI cs.CV cs.LG
Generalizable Humanoid Manipulation with 3D Diffusion Policies
Stanford University(斯坦福大学);Simon Fraser University(西蒙 Fraser大学);UPenn(宾夕法尼亚大学);UIUC(伊利诺伊大学香槟分校);CMU(卡内基梅隆大学)
本研究构建了集成遥操作、25自由度人形平台与改进3D扩散策略的系统,仅用单场景数据即可实现多样环境下的自主操作。
2025-09-09 cs.CV cs.LG cs.RO
Adversarial Feature Training for Generalizable Robotic Visuomotor Control
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学)
深度强化学习(RL)通过学习将图像像素映射到动作输出的函数,实现了端到端的训练动作选择策略。然而,它的应用程序可视化机器人的政策培训受到限制,因为大规模的数据汇集的挑战时,与物理硬件。一个合适的视觉策略不仅应该在训练的任务设置中表现良好,而且还应该在各种任务中表现良好,包括被任务无关对象包围的不同视角的新对象。然而,对于机器人设置来说,在RL框架中充分收集交互式样本以很好地概括任务的新方面是不切实际的。在这项工作中,我们证明,通过使用对抗训练域转移,有可能训练基于RL框架的可视化策略,然后将获得的政策转移到其他新的任务域。我们建议利用深度RL功能来学习复杂的视觉技能,以实现简单的任务设置,然后利用迁移学习来推广到新的任务域,只提供目标域中任务的静态图像。我们评估我们的方法在两个真正的机器人任务,采摘和倾倒,并将其与一些先前的作品进行比较,证明其优越性。
2019-09-17 cs.CV cs.LG cs.RO
See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection
University of Haifa(海法大学);CSAIL, MIT(MIT计算机科学与人工智能实验室)
通过随机补丁选择提升自动驾驶策略的鲁棒性和泛化能力,实现更高效且更稳健的端到端自动驾驶
2026-01-15 cs.CV cs.LG cs.RO
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China(清华大学,中国);Shanghai Qi Zhi Institute, China(上海启智研究院,中国)
提出两阶段框架,利用人类演示视频学习可泛化机器人策略,无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis
CFCS, School of Computer Science, Peking University(计算机学院,北京大学)
本文提出一种合成服装数据集,通过关键点驱动的资产和演示合成,学习通用的服装折叠闭环策略,提升现实世界成功率25%。
2026-03-19 cs.CV cs.RO
Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction
Institute of Artificial intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);Northwestern Polytechnical University(西北工业大学);Hong Kong University of Science and Technology(香港科技大学)
针对双臂操作数据稀缺与泛化难的问题,提出基于光流的两阶段视频预测范式微调文本到视频模型,结合轻量级扩散策略生成动作,有效降低数据需求并提升双臂操作泛化能力。
2025-05-30 cs.CV cs.RO
EquiContact: A Hierarchical SE(3) Vision-to-Force Equivariant Framework for Spatially Generalizable Contact-rich Tasks
EquiContact通过分层策略和等价性设计,实现空间通用的接触密集任务视觉到力控制。
2026-11-02 cs.RO
Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy
Guangxi University(广西大学);University of Science and Technology of China(中国科学技术大学)
针对具身智能中软体操作技能泛化难的问题,提出含引导自注意力模块、两阶段微调的GP2E行为克隆策略,在ManiSkill2挑战赛软体赛道夺冠,提升了模型泛化能力。
2024-10-08 cs.AI cs.RO
A Novel Task-Driven Diffusion-Based Policy with Affordance Learning for Generalizable Manipulation of Articulated Objects
Department of Automation at the University of Science and Technology of China(中国科学技术大学自动化系);School of Automation, Chongqing University(重庆大学自动化学院)
本文提出 DART 框架,通过可供性学习与线性时序逻辑增强扩散策略,并结合基于交互数据的动作优化,显著提升铰接物体灵巧操作的学习效率、跨类别泛化能力与鲁棒性。
2025-09-18 cs.RO
Deep Object-Centric Representations for Generalizable Robot Learning
UC Berkeley(加州大学伯克利分校);OpenAI
复杂开放世界场景中的机器人操作需要可靠的物理操作技能和有效且可推广的感知。在本文中,我们提出了一种方法,其中通用预训练的视觉模型作为学习策略的感知系统的以对象为中心的先验。我们设计了一个对象级的注意力机制,可以用来确定相关的对象从一些轨迹或演示,然后立即将这些对象纳入一个学习的政策。任务无关的元注意力定位场景中可能的对象,任务特定的注意力识别哪些对象是预测的轨迹。任务特定的注意力的范围很容易调整,通过显示演示与干扰对象或不同的相关对象。我们的研究结果表明,这种方法表现出良好的泛化在对象实例使用很少的样本,并可用于学习各种操作任务,使用强化学习。
2017-09-26 cs.AI cs.CV cs.RO
Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation
SCFields通过融合视觉语义与密集接触估计,实现类别级可泛化的触觉工具操作,显著优于视觉和原始触觉基线。
2026-02-14 cs.RO
GenORM: Generalizable One-shot Rope Manipulation with Parameter-Aware Policy
The University of Tokyo(东京大学);Osaka University(大阪大学)
GenORM通过参数感知策略和可微分物理模拟器,仅需一次真实演示即可操控不同可变形绳索,显著优于基线方法。
2025-01-27 cs.AI cs.LG cs.RO
ScanDP: Generalizable 3D Scanning with Diffusion Policy
ScanDP提出一种基于扩散策略的高效3D扫描框架,通过占据网格映射和混合方法提升鲁棒性和泛化能力,实现对多样化物体的高效扫描。
2026-03-11 cs.RO