ManiSkill-HAB: A Benchmark for Low-Level Manipulation in Home Rearrangement Tasks
专题命中 机器人操作 :manipulation(title,abstract);robotics(abstract);embodied AI(abstract);navigation(abstract)
视觉与机器人
机器人、具身智能、机器人学习、操作、导航和具身世界模型。
专题命中 机器人操作 :manipulation(title,abstract);robotics(abstract);embodied AI(abstract);navigation(abstract)
专题命中 机器人操作 :robotics(title,abstract);manipulation(abstract);navigation(abstract);robotic(abstract)
Comments Github repo: https://github.com/ok-robot/ok-robot
专题命中 机器人操作 :manipulation(title,abstract);robotics(abstract);robot learning(abstract);robotic(abstract)
Comments Accepted to ICRA 2024
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);robotics(comments,journal_ref);分类 cs.RO
Comments Accepted for IEEE Robotics and Automation Letters in January 2024. Dongmyoung Lee and Wei Chen contributed equally to this research
Journal ref IEEE Robotics and Automation Letters 2024
专题命中 机器人操作 :manipulation(title,abstract);robotics(abstract);embodied AI(abstract);navigation(abstract)
Comments CVPR 2021 -- (Oral presentation)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);robotics(comments,journal_ref);分类 cs.RO
Comments 27 pages, 24 figures. Preprint published in the Elsevier's Robotics and Autonomous Systems journal on February 24, 2021
Journal ref Journal: Robotics and Autonomous Systems, publisher: Elsevier, volume number: 139, year: 2021, page number: 103757
专题命中 机器人操作 :manipulation(title,abstract);robot learning(abstract,comments);navigation(abstract);robot policy(abstract)
Comments Accepted at the 7th Conference on Robot Learning (CoRL 2023)
ManiCM:用于机器人操作的基于一致性模型的实时3D扩散策略
机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; Nanyang Technological University(南洋理工大学)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 该研究提出ManiCM模型,通过一致性约束实现一步推理,在31项机器人操作任务上,推理速度较最优方法提升10倍且保持竞争力。
Comments https://manicm-fast.github.io/
GaussMemory:面向长时程机器人操作的任务驱动三维高斯场景记忆
机构 * Research Institute for Science & Technology, Tokyo University of Science(东京理科大学科学技术研究所)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 该研究针对现有三维机器人记忆系统被动存储的缺陷,提出任务驱动的主动场景记忆框架GaussMemory,在LIBERO、VLABench基准上超越了MemoryVLA、π₀-FAST等方法。
Comments 8 pages, 10 figures. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
RMBench: 具有政策设计洞察的内存依赖机器人操作基准
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 RMBench通过9个涵盖多层级内存复杂度的任务系统评估政策内存能力,提出Mem-0模块化政策支持可控消融研究,揭示现有政策的内存限制及架构设计对内存性能的影响。
Comments website: https://rmbench.github.io/
探索性、交流性和可部署性:用于开放世界移动操作的视觉驱动具身智能体
专题命中 机器人操作 :embodied agent(title,abstract);manipulation(title,abstract);分类 cs.RO、cs.CV
AI总结 研究针对具身智能体现实部署难题,提出REAL框架,通过建立一致环境API、设计任务组合优化性能,引入REAL - Bench评估。实验显示其智能体在交互式任务中表现出色,在物理机器人上也实现高成功率,弥合现实差距。
Comments Accepted to ECCV 2026. 57 pages. Code available at https://github.com/InternRobotics/REAL
RoboInspector:揭示用于基于大语言模型的机器人操作的策略代码的不可靠性
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 研究基于大语言模型的机器人操作中策略代码不可靠问题,设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性,通过实验识别四种不可靠行为及原因,还引入优化方法,可提高策略代码生成可靠性达35%。
Comments Accepted to ACM Transactions on Intelligent Systems and Technology
ConceptTree:为机器人操作的黑箱决策带来语义透明度
机构 * Harbin Institute of Technology(哈尔滨工业大学) ; Nanyang Technological University(南洋理工大学)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 研究长期机器人操作中可解释决策问题,提出ConceptTree框架,将高级技能选择重构为基于视觉观察的概念推理。该方法学习归一化概念空间并训练决策树,实验表明其优于现有基线,支持细粒度干预以纠正决策错误。
从感知到协助:用于机器人操作的开放词汇共享自主性
机构 * University of São Paulo(圣保罗大学) ; Instituto Israelita de Ensino e Pesquisa Albert Einstein(以色列爱因斯坦教育与研究机构) ; Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 研究针对工业环境中机器人操作难题,提出共享自主性框架,利用RGB-D摄像头、视觉语言模型等,经GPU加速控制器等实现操作,在四足移动操纵器上验证,在多项任务中表现良好,展示了该框架的有效性。
M$^\text{4}$World:用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型
专题命中 机器人操作 :manipulation(title,abstract);world model(title,abstract);分类 cs.RO、cs.CV
AI总结 针对现有驾驶世界生成方法局限,提出M$^\text{4}$World模型,通过灵活接口与多阶段训练实现对象操纵及长时流稳定,引入后训练与生成模型,并用新管道评估,实验证明其在驾驶模拟中有高质量、可控性与稳定性。
Comments 24 pages, 13 figures
面向灵巧机器人操作的人为中心的可迁移触觉预训练
机构 * Peking University(北京大学) ; BeingBeyond ; Tsinghua University(清华大学)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 提出H-Tac大规模触觉-动作数据集和可迁移触觉预训练(TTP)系统,通过统一触觉与动作空间弥合人机差距,利用触觉专家预测未来触觉以建模接触动力学,显著提升灵巧操作的泛化与精细控制能力。
Comments The first two authors contribute equally. Orders are decided by flipping a coin
机器人操作的鲁棒性:基础与前沿
机构 * Duke University(杜克大学) ; KTH Royal Institute of Technology(瑞典皇家理工学院) ; Stanford University(斯坦福大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Organifarms
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 本文系统研究机器人操作鲁棒性,提出正式定义、概率与控制理论框架,并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法,展望实现人类级鲁棒性的未来方向。
E-TTS:一种新的机器人操作具身测试时缩放框架
机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心) ; FiveAges(五时代)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出E-TTS框架,通过历史感知迭代精炼和视觉语言验证器统一推理与动作缩放,解决具身任务中推理缩放和历史信息利用不足的问题,在仿真和真实场景中分别提升33.14%和26.62%的性能。
Comments Accepted to ECCV 2026. 44 pages, 11 figures. Project page: https://27yw.github.io/E-TTS-Web/
MILE:一种用于灵巧操作的指尖视觉触觉传感的机械同构外骨骼数据采集系统
机构 * State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China(机械系统与振动国家重点实验室,上海交通大学机械工程学院,上海200240,中国) ; Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海重点实验室,上海交通大学,上海200240,中国) ; Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室,上海,中国) ; Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China(上海人形机器人有限公司,上海,中国)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题,提出MILE系统,通过从人手到外骨骼再到机械手的机械同构设计,实现无重定向精确控制,并集成指尖视觉触觉模块,采集多模态数据集,显著提升遥操作成功率。
Comments 18 pages including supplementary material. Main manuscript and supplementary material included in this version
以奖励为中心的ReST-MCTS:高不确定性环境下机器人操作的鲁棒决策框架
机构 * Xibai Wang(王西拜)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出Reward-Centered ReST-MCTS框架,通过分解中间反馈为中心信号并引导搜索,解决高不确定性环境下MCTS因稀疏奖励和噪声导致的决策脆弱性问题,实验验证其在同骨干VLA上的鲁棒性。
IMPACT:面向强力机器人操控的内部模型预测控制学习
机构 * Harvard University(哈佛大学) ; Stanford University(斯坦福大学)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 提出IMPACT框架,将强力操控任务解耦为任务规划和基于内部模型的预测控制,通过仿真和实验证明其在成功率、泛化性、安全性和能效上的优势。
Comments Project website: https://gao-jiawei.com/IMPACT/
StereoPolicy:通过立体视觉改进机器人操作策略
机构 * Stanford University(斯坦福大学) ; Northwestern University(西北大学) ; Lambda, Inc(Lambda公司)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 该研究提出StereoPolicy,一种利用立体视觉提升机器人操作策略的框架,通过同步立体图像对增强几何推理,无需构建显式3D表示,在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。
先抓取后规划与失败归因:一种用于精确且可泛化机器人操作的闭环两阶段框架
机构 * School of Computer Science and Engineering, Southeast University, China(东南大学计算机科学与工程学院)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出GTP-FA框架,通过任务导向的两阶段抓取-规划流程和失败归因模型,在抓取和规划模块中分别注入任务先验和风险惩罚以及针对高风险初始状态进行数据收集和微调,显著提升机器人操作任务的成功率。
Comments 32 pages, project page: https://sites.google.com/view/gtp-fa/
看、规划、回退:面向鲁棒机器人操作的进度感知视觉-语言-动作模型
机构 * School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学) ; University of Technology Sydney(新南威尔士大学) ; Department of Computer Vision, Mohamed Bin Zayed University of Artificial Intelligence(人工智能与计算机视觉系,Mohamed Bin Zayed人工智能大学) ; The University of Hong Kong(香港大学) ; Institute of AI for Industry, Chinese Academy of Sciences(产业人工智能研究所,中国科学院) ; School of Intelligent Science and Engineering, Harbin Institute of Technology (Shenzhen)(智能科学与工程学院,哈尔滨工业大学(深圳))
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 提出进度感知的视觉-语言-动作框架SPR,通过动态将语言指令映射为空间子目标序列,并利用闭环进度监控实现错误恢复,在LIBERO基准上提升5%性能,在LIBERO-Plus上展现最先进的鲁棒性。
Comments Suggested to CVPR Findings. https://tingjundai.github.io/SPRVLA/
GSAM: 一种通用且安全的铰接物体操作机器人框架
机构 * College of Computer Science, Chongqing University, Chongqing, China(重庆大学计算机学院) ; Lumos Robotics, China(Lumos机器人中国) ; Xi'an Jiaotong-Liverpool University, China(西安交通大学利物浦大学) ; Fudan University, China(复旦大学) ; Department of Information Engineering and Computer Science, University of Trento, Trento, Italy(特伦托大学信息工程与计算机科学系)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出GSAM框架,通过视觉感知器生成运动学参数、基于VLM的细调器进行常识推理修正、交互约束函数生成器集成障碍物避免知识,并由运动学感知规划器验证轨迹可达性,在50个铰链任务上相比最佳基线将标准差降低3.1%、操作成功率提升36.0%。
Comments Accepted by the 19th International Conference on Parallel Problem Solving from Nature (PPSN 2026)
OASIS: 通过SE(3)轨迹预测实现机器人操作中的观测-动作空间对齐
机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室) ; Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出OASIS视觉运动策略,通过SE(3)末端执行器轨迹预测对齐中间表示与动作空间,在仿真和真实实验中优于VLA和WAM基线。
VILAS:一种集成软抓取的VLA低成本机器人操作架构
机构 * Drexel University(德雷塞尔大学) ; Virginia Seafood Agricultural Research and Extension Center(弗吉尼亚海鲜农业研究与推广中心) ; Amazon Store Foundation AI (SFAI)(亚马逊商店基金会人工智能(SFAI))
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出VILAS低成本模块化机器人操作平台,集成软抓取机构,支持端到端VLA策略学习与部署,并在葡萄抓取任务中验证有效性。
LACY: 基于视觉-语言模型的语言-动作循环用于自我改进的机器人操作
机构 * Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系,明尼苏达大学)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.AI
AI总结 提出LACY框架,通过联合学习语言到动作、动作到语言和语言一致性验证三个任务,实现机器人操作的自我改进,平均任务成功率提升56.46%。
Comments Accepted to ICRA 2026. Project page: https://vla2026.github.io/LACY/
RoboEvolve:用于有限数据的机器人操作共进化规划-模拟器
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.CV
AI总结 RoboEvolve通过共进化循环提升机器人操作性能,利用无标签种子图像实现高效数据生成,显著提升规划和模拟效果,同时表现出极高的数据效率和持续学习能力。
Comments On-going work
ProcVLM:基于学习的程序导向进度奖励用于机器人操作
机构 * School of Information, Renmin University of China(中国人民大学信息学院) ; Zhipu AI(智谱AI) ; Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
专题命中 机器人操作 :manipulation(title,abstract);robotic(title,abstract);分类 cs.RO、cs.LG
AI总结 ProcVLM通过程序结构和阶段内视觉变化学习密集的进度奖励,提升机器人操作的程序推理能力,优于现有基线方法。