Grasp-Then-Plan with Failure Attribution: A Closed Two-Stage Framework for Precise and Generalizable Robotic Manipulation
School of Computer Science and Engineering, Southeast University, China(东南大学计算机科学与工程学院)
提出GTP-FA框架,通过任务导向的两阶段抓取-规划流程和失败归因模型,在抓取和规划模块中分别注入任务先验和风险惩罚以及针对高风险初始状态进行数据收集和微调,显著提升机器人操作任务的成功率。
2026-10-28 cs.AI cs.RO
RoboPilot: Generalizable Dynamic Robotic Manipulation with Dual-thinking Modes
Microsoft, Denmark(微软公司,丹麦);Technical University of Denmark(丹麦技术大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对现有机器人开环操作方法鲁棒性差、误差累积的问题,提出具备快慢双思维切换的闭环框架RoboPilot,结合基元动作、反馈重规划与思维链推理,在含21项任务的基准上任务成功率超SOTA基线25.9%,真实工业部署验证了鲁棒性。
2026-10-08 cs.AI cs.RO
NOD-TAMP: Generalizable Long-Horizon Planning with Neural Object Descriptors
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Corporation(英伟达公司)
针对长时序操作任务泛化难问题,提出结合神经对象描述符(NOD)与任务运动规划(TAMP)的NOD-TAMP框架,从少量演示提取轨迹并适配组合,在基准和真实任务中表现更优。
2024-10-05 cs.AI cs.RO
ImaginationPolicy: Towards Generalizable, Precise and Reliable End-to-End Policy for Robotic Manipulation
Dekun Lu ∗ , Wei Gao ∗ and Kui Jia ∗(作者)
本文提出ImaginationPolicy,采用移动有向关键点链(CoMOK)作为端到端动作表示,实现可泛化、亚厘米精度且可靠的多任务机器人操作策略,经仿真与硬件实验验证。
2025-09-25 cs.AI cs.LG cs.RO
GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation
Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学);iFLYTEK(科大讯飞)
提出GEAR-VLA框架,通过粗到细的动作学习、语义对齐的3D集成和具身规范化,学习统一的几何感知动作表示,实现跨物体、背景和机器人的泛化操作。
2026-06-11 cs.AI cs.RO
Deep Object-Centric Representations for Generalizable Robot Learning
UC Berkeley(加州大学伯克利分校);OpenAI
复杂开放世界场景中的机器人操作需要可靠的物理操作技能和有效且可推广的感知。在本文中,我们提出了一种方法,其中通用预训练的视觉模型作为学习策略的感知系统的以对象为中心的先验。我们设计了一个对象级的注意力机制,可以用来确定相关的对象从一些轨迹或演示,然后立即将这些对象纳入一个学习的政策。任务无关的元注意力定位场景中可能的对象,任务特定的注意力识别哪些对象是预测的轨迹。任务特定的注意力的范围很容易调整,通过显示演示与干扰对象或不同的相关对象。我们的研究结果表明,这种方法表现出良好的泛化在对象实例使用很少的样本,并可用于学习各种操作任务,使用强化学习。
2017-09-26 cs.AI cs.CV cs.RO
DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation
Peking University(北京大学);BeingBeyond
提出 DemoHLM 框架,通过分层结构集成全身控制器与高级操作策略,仅需仿真中的单次演示即可在真实人形机器人上实现可泛化且鲁棒的移动操作。
2025-10-13 cs.LG cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Transferring Foundation Models for Generalizable Robotic Manipulation
Nanjing University(南京大学);Renmin University of China(中国人民大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research(微软研究院);Shanghai AI Lab(上海人工智能实验室)
本文提出利用互联网规模基础模型生成的语言推理分割掩码来条件化机器人操作,并设计双流二维策略模型,以样本高效方式提升机器人在新物体、新类别和未见背景下的泛化能力。
2025-02-07 cs.AI cs.RO
Generalizable Domain Adaptation for Sim-and-Real Policy Co-Training
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Corporation(英伟达公司)
本文提出一种仿真与现实协同训练框架,通过学习领域不变的特征空间,利用仿真数据提升现实世界操作策略的泛化能力,实现实验成功率提升30%。
2026-01-16 cs.AI cs.RO
Programmatically Grounded, Compositionally Generalizable Robotic Manipulation
Tsinghua University(清华大学);MIT(麻省理工学院);Stanford University(斯坦福大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
针对传统预训练-微调流程整合视觉-语言模型时动作与视觉信息纠缠、泛化性差的问题,提出模块化框架ProgramPort,通过语义解析生成可执行程序解耦动作与感知,提升机器人操作的零样本和组合泛化能力。
2023-04-26 cs.AI cs.CV cs.RO
FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg(汉堡大学信息学院TAMS(多模态系统技术));Technical University of Munich(慕尼黑技术大学);Agile Robots SE(敏捷机器人有限公司)
本文提出FUNCanon框架,通过功能对象规范化学习姿态感知的动作原语,以实现通用的机器人操作,该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段,从而提升策略的可组合性和可重用性。
2026-05-17 cs.AI cs.CV cs.RO
Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation
School of Computer Science, School of Robotics, Institute of Technological Sciences, Wuhan University(计算机学院、机器人学院、技术科学研究院、武汉大学)
本文提出RGMP-S方法,通过几何先验和递归脉冲网络提升双足机器人操作的泛化能力与数据效率。
2026-01-13 cs.AI cs.RO
Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation
MIT(麻省理工学院);RAI Institute(RAI研究所);Cornell(康奈尔大学)
本文提出一种仿真到现实的方法,使四足机器人能够动态操控大重物。通过测试时调整预训练的全身体控制策略,实现多种动态体姿操控任务,且无需额外训练即可泛化到不同物体和任务。
2026-09-10 cs.RO
ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI
University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学);Hillbot(Hillbot公司);TU Dresden(德累斯顿技术大学);Tsinghua University(清华大学);King’s College London(伦敦国王学院)
本文提出并开源了ManiSkill3,一个支持GPU并行化的高速机器人仿真与渲染系统,通过富接触物理和全面的任务环境,显著提升了可泛化具身AI的训练效率与sim2real能力。
2025-05-30 cs.AI cs.RO
3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints
Tsinghua University(清华大学);ETH Zürich(苏黎世联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
3DWay通过从多视角图像预测3D一致路径点,结合几何三角测量,提升机器人操作的3D空间接地和视觉语言推理能力,实现更好的泛化。
2026-09-09 cs.AI cs.RO
QuadWBG: Generalizable Quadrupedal Whole-Body Grasping
Peking University(北京大学);Galbot;University of Toronto(多伦多大学);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院)
针对足式机器人运动与操作能力难无缝集成的问题,提出QuadWBG模块化框架,结合强化学习与GORM指标,实现89%的现实世界一次性抓取准确率,可覆盖大工作空间并执行多样全身操作任务。
2025-01-13 cs.AI cs.LG cs.RO
G3Flow: Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation
The University of Hong Kong(香港大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信);Shenzhen University(深圳大学);AgileX Robotics(AgileX机器人);GDIIST;HKU Shanghai Intelligent Computing Research Center(香港大学上海智能计算研究中心)
G3Flow提出一种利用基础模型构建实时三维语义流的框架,结合生成模型、视觉模型和姿态跟踪,提升扩散策略在终端约束操作和跨物体泛化上的表现,实验成功率最高达68.3%和50.1%。
2025-06-22 cs.AI cs.CV cs.RO
GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Hefei University of Technology(合肥工业大学)
针对铰接物体跨类别、未见实例泛化不足的问题,提出GAMMA框架,联合学习铰接建模与抓取可供性,并通过自适应操作迭代修正误差,在仿真和真实机器人上均优于现有SOTA方法。
2024-03-01 cs.CV cs.RO
Decoupling Skill Learning from Robotic Control for Generalizable Object Manipulation
University of Oxford(牛津大学);Hong Kong Polytechnic University(香港理工大学)
最近通过强化学习(RL)或模仿学习(IL)进行的机器人操纵工作已经显示出解决一系列任务的潜力,打开抽屉或橱柜。然而,这些技术推广到看不见的对象很差。我们推测,这是由于联合控制的高维动作空间。在本文中,我们采取了另一种方法,将学习“做什么”的任务与“如何做”的任务分开,即,全身控制。我们提出的强化学习问题之一,确定一个无实体的虚拟机械手与关节对象交互的技能动态。对机器人的运动学控制进行了优化,以实现机器人的高维关节运动,达到工作空间内的目标。它这样做是通过求解二次规划(QP)模型与机器人奇异性和运动学约束。我们的实验上操纵复杂的铰接对象表明,所提出的方法是更普遍的看不见的对象与大类内的变化,优于以前的方法。评估结果表明,我们的方法产生更符合机器人运动,并优于纯RL和IL基线的任务成功率。更多信息和视频可访问https://kl-research.github.io/decoupskill
2023-03-09 cs.CV cs.LG cs.RO
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文面向开放世界机器人操作,提出以规律性为核心的高效感知运动学习方法,通过物体中心先验、空间理解和可复用技能识别,使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
A Two-stage Fine-tuning Strategy for Generalizable Manipulation Skill of Embodied AI
Guangxi University(广西大学);University of Science and Technology of China(中国科学技术大学)
本文提出一种基于Maniskill2基准的两阶段微调策略,有效提升具身智能模型的泛化操作能力,在挑战赛三赛道均获一等奖。
2023-07-21 cs.AI
Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections
Stanford University(斯坦福大学);Google Deepmind(谷歌DeepMind)
提出基于LLM的DROC系统,通过提取和检索在线语言纠正中的可泛化知识,解决机器人操作在新环境泛化时响应反馈难的问题,显著减少所需纠正次数并提升性能。
2024-03-21 cs.AI cs.LG cs.RO
VideoVLA: Video Generators Can Be Generalizable Robot Manipulators
IAIR, Xi’an Jiaotong University(人工智能研究院、西安交通大学);Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
VideoVLA通过将视频生成模型转化为机器人VLA操作器,实现了动作与视觉后果的双预测,提升机器人操作的泛化能力。
2025-12-07 cs.AI cs.CV cs.RO
SAGCI-System: Towards Sample-Efficient, Generalizable, Compositional, and Incremental Robot Learning
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
建造通用机器人以在人类水平的物理世界中的各种环境中执行各种任务是极具挑战性的。它要求机器人学习是样本有效的、可推广的、组合的和增量的。在这项工作中,我们介绍了一个系统的学习框架,称为SAGCI系统实现上述四个要求。我们的系统首先采取的原始点云收集的相机安装在机器人的手腕作为输入,并产生初始建模的周围环境表示为一个文件的统一机器人描述格式(URDF)。我们的系统采用了学习增强微分模拟加载URDF。然后,机器人利用交互式感知与环境进行交互,以在线验证和修改URDF。利用微分模拟,我们提出了一个基于模型的学习算法结合以对象为中心和以机器人为中心的阶段,有效地产生政策,以完成操作任务。我们应用我们的系统来执行关节对象操作任务,无论是在模拟和现实世界中。大量的实验证明了我们提出的学习框架的有效性。补充材料和视频可在https://sites.google.com/view/egci上获得。
2022-03-02 cs.AI cs.CV cs.LG
WorldComposer: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation
Peking University(北京大学);Lightwheel
本文提出一种生成框架,将真实世界全景映射到高保真模拟场景,并通过语义和几何编辑合成多样化的亲属场景,结合高质量物理引擎和真实资产,支持交互式操作任务,并通过多房间拼接构建一致的大规模环境,验证了平台的保真度和数据扩展对泛化能力的提升。
2026-11-19 cs.AI cs.RO
SEM: Enhancing Spatial Understanding for Robust Robot Manipulation
Horizon
针对机器人操作中空间理解不足的问题,提出基于扩散的SEM框架,融合三维几何增强与本体感知编码,显著提升操作稳健性与泛化性。
2025-09-24 cs.AI cs.CV cs.RO
Benchmarking Generalizable Bimanual Manipulation: RoboTwin Dual-Arm Collaboration Challenge at CVPR 2025 MEIS Workshop
HKU MMLab(香港大学多模态实验室);SJTU(上海交通大学);D-Robotics(D机器人);AgileX Robotics(AgileX机器人);Huawei Germany(华为德国分公司);SZU(深圳大学);THU(清华大学);NJU(南京大学);VIVO;Jingdong Technology Information Technology Co., Ltd.(京东科技信息技术有限公司);Horizon Robotics;SUST(上海大学);USST(上海理工大学);SYSU(南方科技大学);UESTC(电子科技大学);SCU(四川大学);Dexmal;SWJTU(西南交通大学);HKUST(香港理工大学);BJTU(北京交通大学);BUAA(北京航空航天大学);NEU(东北大学);SHU(上海大学);Sangfor Technologies Inc.(深信服技术有限公司);CAUC(中国科学院大学);HUST(华中科技大学);Reconova Technologies Co.(Reconova技术有限公司)
本文介绍 CVPR 2025 MEIS Workshop 上基于 RoboTwin 平台举办的 RoboTwin 双臂协作挑战赛,涵盖 17 个双臂操作任务,吸引 64 支团队参赛,并总结了 SEM、AnchorDP3 等优秀方案及可泛化双臂策略学习的关键发现。
2025-07-03 cs.AI cs.LG cs.MA
villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models
villa-X提出ViLLA框架,改进潜在动作的学习与整合,实现零样本生成动作计划,在模拟和真实机器人任务中表现优越,为可泛化操作策略提供可扩展范式。
2025-09-25 cs.AI cs.LG cs.RO
SeGMan: Sequential and Guided Manipulation Planner for Robust Planning in 2D Constrained Environments
Bilkent University(毕尔肯大学)
本文提出混合运动规划框架SeGMan,结合采样与优化技术及引导式前向搜索,通过自适应子目标选择和可泛化启发式方法,有效解决2D受限环境中的复杂顺序操作挑战,并在迷宫类任务中优于现有方法。
2025-03-06 cs.RO
mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs
mimic robotics;Microsoft Zurich(微软瑞士分公司);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);UC Berkeley(伯克利大学)
mimic-video通过结合预训练的视频模型和基于流匹配的动作解码器,实现了更有效的机器人控制,提升了样本效率和收敛速度。
2025-12-19 cs.AI cs.CV cs.LG
Semantically Controllable Augmentations for Generalizable Robot Learning
University of Washington(华盛顿大学);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);FAIR, AI at Meta(Meta AI研究院(前称FAIR))
本文提出利用预训练图像-文本生成模型对机器人数据进行语义可控增强,以低成本扩充数据集并引入丰富变体,从而提升机器人在未见真实世界环境中的操作泛化能力。
2024-09-02 cs.AI cs.CV cs.LG
Robust Pivoting: Exploiting Frictional Stability Using Bilevel Optimization
University of California, Los Angeles(加州大学洛杉矶分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
泛化操作要求机器人能够与新的物体和环境进行交互。这一要求使得操作极具挑战性,因为机器人必须推理复杂的摩擦相互作用,并具有物体物理特性的不确定性。本文研究了存在不确定性时旋转操作的鲁棒优化控制问题。我们提出的见解,如何利用摩擦,以补偿在操纵过程中的物理性质的估计的不准确性。特别是,我们推导出旋转操作期间摩擦提供的稳定裕度的解析表达式。然后,该裕度被用于双层轨迹优化算法中,以设计使该稳定裕度最大化的控制器,从而提供针对对象的物理特性的不确定性的鲁棒性。我们证明了我们提出的方法使用6自由度操纵器操纵几个不同的对象。
2022-03-22 cs.AI cs.RO cs.SY
ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills
Tsinghua University(清华大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
可概括的操作技能,可以用来处理长期和复杂的日常琐事,是人工智能的基石之一。然而,现有的基准,主要是由一套可模拟的环境,是不够的,以推动尖端的研究工作,因为他们缺乏对象级的拓扑和几何变化,不是基于完全动态仿真,或缺乏本地支持多种类型的操作任务。为此,我们提出了下一代SAPIEN ManiSkill基准ManiSkill 2,以解决研究人员在使用可推广操作技能基准时经常遇到的关键痛点。ManiSkill 2包含20个操作任务系列,拥有2000多个对象模型和4 M多个演示框架,涵盖固定/移动基座、单臂/双臂和刚体/软体操作任务,并通过全动态引擎模拟2D/3D输入数据。它定义了一个统一的接口和评估协议,以支持广泛的算法(例如,经典的感知-计划-行动,RL,IL),视觉观测(点云,RGBD),和控制器(例如,操作类型和参数化)。此外,它还支持快速视觉输入学习算法,因此基于CNN的策略可以在常规工作站上使用1个GPU和16个进程以约2000 FPS的速度收集样本。它实现了一个渲染服务器基础设施,允许在所有环境中共享渲染资源,从而显著减少内存使用。我们开源了我们的基准测试(模拟器,环境和基线)的所有代码,并向跨学科研究人员开放在线挑战。
2023-02-09 cs.AI cs.RO
Kinematic-aware Prompting for Generalizable Articulated Object Manipulation with LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence, China Telecom Corp Ltd(中国电信股份有限公司人工智能研究院)
本文提出运动学感知提示框架,将关节物体结构解析为统一文本描述,通过思维链提示大语言模型生成低层3D操作路径点,在16类48个实例上验证了优于传统方法的表现及对未见类别的零样本泛化能力。
2024-02-21 cs.AI cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 M3L 掩码多模态学习框架,在强化学习中联合训练视觉-触觉表征与策略,提升样本效率和跨任务泛化,并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University(北京大学)
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展,但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中,我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题,其中我们假设没有手工制作的密集奖励,而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题,我们确定了几个关键问题,可以失败的以前的模仿学习算法,并阻碍了推广到看不见的实例。然后,我们提出了几个一般的,但关键的技术,包括生成对抗性自我模仿学习从示范,渐进增长的学习,和实例平衡专家缓冲区,准确地指出和解决这些问题,可以受益于类别级操作策略学习,无论任务。我们在ManiSkill基准上的实验表明,所有任务都有显着的改进,我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
An Empirical Study and Analysis of Learning Generalizable Manipulation Skill in the SAPIEN Simulator
Beijing University of Posts Telecommunications(北京邮电大学);Beijing Technology Business University(北京工商大学)
本文简要概述了我们提交的SAPIEN ManiSkill挑战2021无交互跟踪。我们的方法遵循一个端到端的管道,主要包括两个步骤:我们首先提取多个对象的点云特征;然后我们采用这些特征,通过一个深而宽的基于transformer的网络来预测机器人模拟器的动作得分。为了指导今后的工作,为学习操作技能的开发开辟新的途径,我们提出了一个经验性的研究,其中包括一系列的技巧和失败的尝试。最后,我们的方法在排行榜上取得了很好的排名。我们解决方案的所有代码都可以在https://github.com/liu666666/bigfish\_codes上找到。
2022-08-31 cs.AI cs.CV cs.RO
GSAM: A Generalizable and Safe Robotic Framework for Articulated Object Manipulation
College of Computer Science, Chongqing University, Chongqing, China(重庆大学计算机学院);Lumos Robotics, China(Lumos机器人中国);Xi'an Jiaotong-Liverpool University, China(西安交通大学利物浦大学);Fudan University, China(复旦大学);Department of Information Engineering and Computer Science, University of Trento, Trento, Italy(特伦托大学信息工程与计算机科学系)
提出GSAM框架,通过视觉感知器生成运动学参数、基于VLM的细调器进行常识推理修正、交互约束函数生成器集成障碍物避免知识,并由运动学感知规划器验证轨迹可达性,在50个铰链任务上相比最佳基线将标准差降低3.1%、操作成功率提升36.0%。
2026-05-29 cs.AI cs.RO
MyoDex: A Generalizable Prior for Dexterous Manipulation
FAIR, Meta AI(Meta AI 基础人工智能研究团队);CMU(卡内基梅隆大学)
本研究提出MyoDex,一种基于多任务学习的可泛化操作先验,通过生理学真实的人类手部模型MyoHand隐式捕获任务无关的行为先验,使智能体能够快速获取新灵巧行为,在少样本泛化和未见任务迁移上显著优于基线方法。
2023-09-06 cs.AI cs.RO
Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations
Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院人工智能与机器人中心);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对多步布料操作难以泛化到未见任务的问题,提出一种基于分解策略的新流程,利用LLM从长演示中学习并组合基本技能,在已见和未见任务上均优于基线方法。
2025-03-06 cs.RO
GenDOM: Generalizable One-shot Deformable Object Manipulation with Parameter-Aware Policy
The University of Tokyo(东京大学);Osaka University(大阪大学)
GenDOM通过参数感知策略和模拟训练,仅需一次真实演示即可估计物体参数并操作不同可变形物体,在模拟和真实环境中均显著优于基线。
2025-01-27 cs.AI cs.RO
Watch Less, Feel More: Sim-to-Real RL for Generalizable Articulated Object Manipulation via Motion Adaptation and Impedance Control
Peking University(北京大学);Galbot
本文提出融合观测历史运动适应与可变阻抗控制的RL流程,通过低维视觉信息提取、域随机化和双重奖励实现零样本sim-to-real铰接物体操作,真实世界成功率达84%。
2025-02-20 cs.AI cs.LG cs.RO
Learning Geometrically-Grounded Amodal 3D Representations for View-Generalizable Robotic Manipulation
Tongji University(同济大学);The University of Hong Kong(香港大学)
本文提出MethodName框架,通过单视角3D预训练和多步蒸馏实现机器人操作的视图通用性,实验显示其在成功率和视图泛化能力上优于现有方法。
2026-09-29 cs.RO
TableVerse: A Large-scale Tabletop Dataset with Real-world Grounded Layouts for Generalizable Manipulation
ByteDance(字节跳动)
研究针对可泛化机器人操作策略受数据限制的问题,提出TableVerse全自动Real2Sim管道,能将无脚本互联网媒体处理成高保真桌面环境,还集成轨迹生成框架,构建了TableVerse-100K数据集,为相关研究提供数据基础。
2026-07-24 cs.RO
VICX: Generalizable Robot Manipulation via Video Generation and In-Context Operator Network
National University of Singapore(新加坡国立大学)
提出VICX框架,利用冻结视频生成模型生成视觉计划,并通过视频到轨迹的上下文操作网络(V2T-ICON)将其映射为机器人可执行轨迹,实现跨任务、跨本体泛化。
2026-06-11 cs.RO
Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
Praxis通过从一次性自我中心视频中提炼物理交互先验,结合闭环姿态校准和在线感知,实现移动人形全身操作的空间、视觉及跨物体泛化,并抵抗外部干扰。
2026-09-28 cs.RO
CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation
提出CoStream框架,通过组合语义、预测和反应三种简单行为,在共享SE(3)接口上实现高精度、可泛化的复杂操作,在8个真实任务中验证了其有效性。
2026-06-26 cs.AI cs.RO
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego(加利福尼亚大学圣迭戈分校)
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而,现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里,我们提出了SAPIEN操纵技能基准(ManiSkill),以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择,以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信,我们应该定制基准,以便挑战邀请从事3D深度学习的研究人员。为此,我们模拟了一个移动的全景相机,返回以自我为中心的点云或RGB-D图像。此外,我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外,我们还支持从演示中学习(LfD)方法,提供大量高质量的演示(约36,000个成功的轨迹,约150万个点云/RGB-D帧)。我们使用3D深度学习和LfD算法提供基线。我们的基准测试(模拟器,环境,SDK和基线)的所有代码都是开源的,跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
Sim-and-Human Co-training for Data-Efficient and Scene-Generalizable Bimanual Manipulation
University of Electronic Science and Technology of China(电子科学与技术大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学);Shanghai Innovation Institute(上海创新研究院)
SimHum通过结合仿真数据和人类数据,实现了数据高效且可泛化的机器人操作,实验表明其在现实任务中表现优于基线方法。
2026-09-18 cs.AI cs.RO
RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation
本研究提出RoboReact框架,通过生成自我中心视频并结合视觉语言引导的闭环控制,实现人形机器人全身操控技能的通用获取,可在多样场景中稳健执行。
2026-08-06 cs.RO
Learning Generalizable Feature Fields for Mobile Manipulation
UC San Diego(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);MIT(麻省理工学院)
针对移动操作中物体与场景统一表示的问题,提出可实时运行的场景级可泛化神经特征场GeFF,通过新视角合成预训练与CLIP特征蒸馏实现导航与操作统一,在四足机器人上验证其优于基线的性能。
2024-11-26 cs.CV cs.LG cs.RO
Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Zerith Robotics(智臻机器人);University of Science and Technology of China(中国科学技术大学)
本研究提出基于轨迹的框架TDV,利用6D位姿估计从人类视频提取目标轨迹,实现通用操作,在RLBench仿真7项任务中近100%成功,真实场景可跨实体泛化。
2026-10-16 cs.RO
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出 ArrayBot 触觉柱阵列系统,通过重塑空间局部与频域低频动作空间训练强化学习策略,实现仅靠触觉的可泛化物体操控,并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO