LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic Tabletop Manipulation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);TUM(慕尼黑工业大学)
本工作发布了面向机器人桌面操作的长时序语言条件仿真基准LoHoRavens,并研究了字幕生成与可学习接口两种模态桥接基线方法,以评估并推动当前大模型在长时序操作任务上的发展。
2023-10-23 cs.CL cs.CV cs.RO
Is Success All You Need? Investigating the Impact of Input Perturbations on VLA Behaviour in Tabletop Manipulation Tasks
University of Edinburgh(爱丁堡大学);Politecnico di Milano(米兰理工大学)
本文提出一种与基准无关的评估框架,通过扩展LIBERO基准,在多种扰动下度量VLA模型成功轨迹的行为变化,表明仅靠任务成功率不足以全面评估鲁棒性,需结合行为指标。
2026-10-02 cs.RO
ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation
Galbot(智元机器人);CFCS, School of CS, Peking University(北京大学计算机学院CFCS);Peking University(北京大学);Renmin University of China(中国人民大学);Xiamen University Malaysia(马来西亚厦门大学);The University of Hong Kong(香港大学);Beihang University(北京航空航天大学)
ZETA研究区分两类零样本跨embodiment VLA迁移,引入含14个目标embodiment的受控基准,发现状态-动作表示等因素可提升迁移性能,为桌面操作场景提供实用指导。
2026-10-14 cs.RO
Vision-Guided Reorientation and Color Sorting of Writing Utensils Using a Low-Cost 4-DoF Arm
Dougherty Valley High School(多切蒂谷高中);University of Pennsylvania(宾夕法尼亚大学)
该研究利用感知与运动规划,让无腕部旋转关节的4自由度Waveshare RoArm-M2-S机械臂,通过YOLO11n-OBB等算法,实现了桌面书写工具的检测、校正与颜色分类,补偿了缺失的自由度。
2026-11-05 cs.RO
LHManip: A Dataset for Long-Horizon Language-Grounded Manipulation Tasks in Cluttered Tabletop Environments
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Queensland University of Technology(昆士兰科技大学)
本文构建 LHManip 真实机器人数据集,提供20类长时程多步骤语言指令操作任务及176,278个观测-动作对,以支持家居场景下的语言条件策略学习。
2024-07-01 cs.AI cs.RO
MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation
Mondo Robotics;HKUST (GZ)(香港科技大学(广州));HKUST(香港科技大学)
提出MotionWAM,一种实时世界动作模型,通过统一运动潜变量和全身动作令牌,实现单目相机驱动的自主人形机器人全身操作,在真实任务上成功率比VLA基线高30%以上。
2026-06-08 cs.RO
Virtues of Ordered Chaos: Planning with Topple Actions in Tabletop Stack Rearrangement
School of Computing at the Australian National University(澳大利亚国立大学计算学院)
本文研究了桌面环境中堆叠重构任务,通过引入更丰富的非抓取聚合动作(特别是从堆叠中倒落物体到桌面的Topple动作)来增强任务规划领域。核心方法是提出一种新的Topple聚合工具,将候选任务计划计算转化为 Pebble Motion 问题变体,从而在IsaacSim物理模拟中验证了其效果,展示了在执行速度上的显著优势。
2026-05-18 cs.AI cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots
NVIDIA(英伟达);CMU(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);UC San Diego(加州大学圣迭戈分校)
提出HOVER,一个多模式策略蒸馏框架,通过全身运动学运动模仿作为通用抽象,将多种人形机器人控制模式整合为统一策略,实现无缝切换并提升效率与灵活性。
2025-03-06 cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
本文提出MolmoB0T,通过大规模模拟数据实现零样本操控,展示了在静态和移动操控任务中,无需真实世界微调即可有效迁移的成果。
2026-11-10 cs.RO
Language-Conditioned Open-Vocabulary Mobile Manipulation with Pretrained Models
Harbin Institute of Technology(哈尔滨工业大学)
本文提出融合 LLM 与 VLM 的语言条件框架 LOVMM,使机器人依据自然语言指令完成家庭环境中的开放词汇移动操作,并在仿真和桌面任务中展现出优异的零样本泛化与成功率。
2025-07-23 cs.RO
Configuration Lattices for Planar Contact Manipulation Under Uncertainty
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
这项工作解决了机器人使用接触传感器的实时反馈来可靠地操纵杂乱桌面上的可移动物体的挑战。我们制定的接触操作作为一个部分可观察的马尔可夫决策过程(POMDP)在关节空间的机器人配置和对象的姿态。POMDP公式使机器人能够主动收集信息,减少对象姿态的不确定性。此外,它还结合了机器人操作的所有主要约束:运动学可达性,自碰撞和与障碍物的碰撞。为了解决POMDP,我们应用DESPOT,一个国家的最先进的在线POMDP算法。我们的方法利用了两个关键的想法,计算效率。首先,它通过交错构造网格和在线POMDP规划来执行配置空间网格的惰性构造。其次,通过离线求解松弛POMDP,并利用解指导在线搜索算法,将在线和离线POMDP规划相结合。我们评估了所提出的方法在一个七度的自由度的机器人手臂在仿真环境中。它显着优于现有的几种算法,包括一些常用的接触操作不确定性下的算法。
2016-04-30 cs.RO
Task-Driven Co-Design of Mobile Manipulators
Department of Computer Science, University of Freiburg(计算机科学系,弗赖堡大学)
本文提出首个移动机械臂并发设计方法,通过内循环多任务强化学习与外循环BOHB优化协同优化机械臂安装参数,生成在家庭任务中性能显著提升且模块化、经济实用的新型设计。
2025-05-17 cs.RO
WholeBodyWAM: Generalizing Pre-trained World-Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Peking University(北京大学)
WholeBodyWAM通过联合预测视觉动态、操作动作和全身控制意图,将预训练的世界-动作先验泛化到人形机器人全身操作,在仿真和真实实验中显著提升了任务成功率与泛化能力。
2026-09-16 cs.RO
RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation
E-surfing Digital Life Technology Co., Ltd., China Telecom(中国电信翼数字生活科技有限公司)
RoboCousin是一个基于仿真的数据生成平台,将用户观察转化为资产、场景和专家轨迹,生成超过一百万条双臂操作轨迹,提升仿真到现实的迁移能力。
2026-10-14 cs.AI cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
MobileManiBench: Simplifying Model Verification for Mobile Manipulation
Microsoft Research Asia(微软亚洲研究院);University of Sydney(悉尼大学);Tsinghua University(清华大学)
提出仿真优先框架MobileManiBench,基于NVIDIA Isaac Sim和强化学习自动生成多样化移动操作轨迹,包含300K条轨迹,用于验证VLA模型在真实部署前的性能。
2026-06-29 cs.RO
LaVA-Man: Learning Visual Action Representations for Robot Manipulation
Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文提出 LaVA-Man,通过遮蔽目标图像重建的自监督任务学习视觉-动作表征,并构建 Omni-Object Pick-and-Place 数据集,在五个仿真与真实机器人基准上提升语言引导操作性能。
2025-09-29 cs.RO
PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation
School of Automation, Guangdong University of Technology(广东工业大学自动化学院);University of Liverpool(利物浦大学);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系)
研究如何将视频衍生的6D对象运动转换为机器人可执行轨迹,提出PhysV2A框架,通过可达性门控选择和语义掩码约束细化可操作性,经真实机器人实验验证,该框架能提升任务成功率、减少运动可行性失败并产生更好轨迹。
2026-07-13 cs.RO
Best of Sim and Real: Decoupled Visuomotor Manipulation via Learning Control in Simulation and Perception in Real
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
本文提出感知与控制解耦框架:在仿真中用特权状态训练控制策略、部署时仅用10–20个真实演示适配感知,从而提升机器人操作的数据效率与分布外泛化。
2025-09-30 cs.RO
ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation
SYSU(中山大学);X SQUARE ROBOT;MBZUAI(穆罕默德·本·扎耶德人工智能大学);Thsinghua University(清华大学)
ManipArena通过标准化框架解决现有评估不足问题,提供真实场景下的多任务测试与多级泛化能力,支持长时移动操作与传感诊断,促进视觉-语言-动作模型和世界模型的发展。
2026-07-03 cs.CV cs.RO
SAKI: Skill Assembly and Kinematic Imitation from Human Videos for Long-Horizon Mobile Manipulation
Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
提出SAKI框架,从人类视频学习可复用物体中心技能,通过跨示范组装与全身运动学模仿,实现长时程移动操作,真实机器人实验验证技能复用与组合能力。
2026-09-30 cs.RO
Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning
Bogazici University(博阿齐奇大学);Ozyegin University(厄兹耶金大学);Osaka University(大阪大学)
提出一种通过二元瓶颈层联合发现操作原语和物体类别的方法,利用预测多模态交互效应进行离散规划,在桌面重定位和堆叠任务中优于现有方法。
2026-07-02 cs.RO
GENMANIP: LLM-driven Simulation for Generalizable Instruction-Following Manipulation
Shanghai AI Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);Zhejiang University(浙江大学);Nanjing University(南京大学)
针对机器人操作泛化难、现有仿真平台支持不足的问题,研究推出GenManip仿真平台与GenManip-Bench基准,实验表明带基础模型的模块化策略泛化效果优于数据增强的端到端策略。
2025-06-12 cs.RO
Manipulation Planning Among Movable Obstacles Using Physics-Based Adaptive Motion Primitives
Carnegie Mellon University(卡内基梅隆大学)
在杂乱场景中的机器人操作通常需要与对象进行接触丰富的交互。通过非抓取动作进行交互可能更经济,例如,推动其他对象以达到所需的抓取姿势,而不是故意对场景进行抓取重排。对于场景中的每个对象,根据其属性,机器人可能会或可能不会被允许接触,倾斜,或推翻它。为了确保这些约束条件得到满足,在非可伸缩的相互作用,规划者可以查询基于物理的模拟器,以评估复杂的多体相互作用所造成的机器人动作。不幸的是,这是不可行的,以查询模拟器的数千个行动,需要评估在一个典型的规划问题,因为每个模拟是耗时的。在这项工作中,我们表明(i)操纵任务(特别是从桌面或冰箱拾取和放置类型的任务)通常可以通过将机器人-对象交互限制为计划中的自适应运动基元来解决,(ii)这些动作可以作为子目标并入多启发式搜索框架内,以及(iii)将交互限制到这些动作可以帮助减少在规划期间查询模拟器所花费的时间,与基线算法相比,减少高达40倍。我们的算法在仿真和现实世界中的PR 2机器人使用PyBullet作为我们的基于物理的模拟器进行评估。补充视频:\url{https://youtu.be/ABQc7JbeJPM}。
2023-03-23 cs.RO
Event-Driven Proactive Assistive Manipulation with Grounded Vision-Language Planning
The University of Osaka(大阪大学);Nanyang Technological University(南洋理工大学);The University of Tokyo(东京大学)
本文提出基于事件驱动的主动辅助操作方法,通过跟踪交互进度并分析状态转换,推断任务目标并生成辅助动作序列,提升人机协作效率。
2026-03-25 cs.RO
Cue the Flow: Steering Flow-Matching Policies for Open-World Delivery Manipulation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of California, Los Angeles(加州大学洛杉矶分校)
针对开放世界投递操作,提出利用预训练流动匹配VLA作为低层控制,以接地输出为空间线索,通过轻量适配器预测对角仿射变换引导策略,在桌面和移动场景中显著提升指令遵循与操作成功率。
2026-10-01 cs.RO
Multimodal Detection and Identification of Robot Manipulation Failures
Istanbul Technical University(伊斯坦布尔理工大学);Halmstad University(哈尔姆斯塔德大学)
针对服务机器人在非结构化环境中操作失败的问题,提出基于多模态传感器融合的FINO-Net网络,利用扩展FAILURE数据集实现高精度失败检测与分类,并支持实时应用。
2023-05-08 cs.RO
Humanoid Whole-Body Manipulation via Active Spatial Brain and Generalizable Action Cerebellum
School of Computer Science(计算机科学学院);Engineering, Sun Yat-sen University(工程学院,中山大学)
本文提出了一种通用的人形 locomotion-manipulation 框架,通过主动空间大脑和可泛化动作小脑来解决复杂3D环境中空间理解困难和动作生成泛化困难的问题,展示了在多种任务和环境中的强性能。
2026-07-09 cs.RO
CompCPZ: Preserving Multi-Modal Intent in Language-Guided Robot Manipulation
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
CompCPZ是一种用于语言引导机器人操作的代数层,可恢复多模态析取表示,在ManiSkill3基准测试中性能优于多种基线,且能迁移至真实机器人实验,凸显组合语言接地需评估意图连通分量结构。
2026-08-19 cs.RO
ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出 ArrayBot 触觉柱阵列系统,通过重塑空间局部与频域低频动作空间训练强化学习策略,实现仅靠触觉的可泛化物体操控,并成功零域随机化迁移到实体机器人。
2025-02-19 cs.LG cs.RO
ARRC: Advanced Reasoning Robot Control - Knowledge-Driven Autonomous Manipulation Using Retrieval-Augmented Generation
Department of Mechanical, Industrial and Mechatronics Engineering, Toronto Metropolitan University(机械、工业与机电工程系,多伦多 Metropolitan 大学)
ARRC系统结合检索增强生成与RGB-D感知,在低成本机械臂上实现安全自主操作,通过向量检索知识库和LLM生成JSON计划,显著提升计划有效性与适应性。
2025-10-07 cs.RO
StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception
Stanford University(斯坦福大学);Northwestern University(西北大学);Lambda, Inc(Lambda公司)
该研究提出StereoPolicy,一种利用立体视觉提升机器人操作策略的框架,通过同步立体图像对增强几何推理,无需构建显式3D表示,在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。
2026-09-29 cs.CV cs.RO
Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding
University of Arkansas(阿拉巴马大学);National University of Singapore(新加坡国立大学);TU Wien(维也纳技术大学);Max Planck Research School for Intelligent Systems(智能系统马克斯·普朗克研究学校);University of Stuttgart(斯图加特大学);University of Liverpool(利物浦大学)
本文提出OBEYED-VLA框架,通过分离感知接地与动作推理提升视觉-语言-动作模型在现实环境中的鲁棒性,特别是在存在干扰物、目标缺失和背景变化等挑战性场景中表现优异。
2026-04-24 cs.RO
SkelWAM: A Skeleton-Guided World-Action Model for Zero-Shot Cross-Embodiment Manipulation
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);Feagine;IIIS, Tsinghua University(清华大学智能产业研究院);Research Center for Robotics, Peking University(北京大学机器人研究中心)
SkelWAM提出骨架引导的世界-动作模型,通过共享25维状态实现零样本跨本体操作,在LIBERO-Cross10基准上以43.3%成功率超越基线36.2个百分点。
2026-09-21 cs.RO
What Enables In-Context Behavior Prompting for Manipulation?
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
提出行为提示策略(BPP),通过单次人类演示(行为提示)使机器人推理时执行新任务,结合手持操作接口iPhUMI收集多样化数据,在DrawAnything和LIBERO-Gen基准上验证零样本适应能力。
2026-10-07 cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington(华盛顿大学);NVIDIA(英伟达)
Transformers凭借其在大型数据集上的扩展能力,彻底改变了视觉和自然语言处理。但在机器人操作中,数据既有限又昂贵。在正确的问题表述下,Transformers还能使操纵受益吗?我们调查这个问题与PerAct,语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码,并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同,体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式,我们训练一个单一的多任务Transformer,用于18个RLBench任务(有249个变体)和7个现实世界的任务(有18个变体),每个任务只需几个演示。我们的研究结果表明,PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
HoMeR: Learning In-the-Wild Mobile Manipulation via Hybrid Imitation and Whole-Body Control
Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
提出模仿学习框架HoMeR,结合全身控制与混合动作模式处理长短距离移动,在真实家庭任务中仅用20次演示即达79.17%成功率,平均超越基线29.17%,实现高效泛化的移动操作。
2025-10-13 cs.RO
ACE: Agentic Control for Embodied Manipulation via Zero-shot Workflow Reasoning
Department of Computer Science, Tsinghua University(清华大学计算机科学系);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Wuxi Dexteroushands Robotic Technology Co.(无锡灵犀机器人技术有限公司)
研究开放式桌面操作,提出ACE零样本工作流推理框架,结合智能体工作流推理与视觉基础接口、可重复使用的拾取和放置原语等技能,经掩码介导视觉动作接口连接语义推理与物理控制,能在线适应多种情况,在复杂任务中表现出色。
2026-10-02 cs.LG cs.RO
EmbodiedMAE: A Unified 3D Multi-Modal Representation for Robot Manipulation
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出 EmbodiedMAE,通过融合 RGB、深度与点云的掩码自编码及 DROID-3D 数据集,提升机器人操作的3D表征与策略学习性能。
2025-05-15 cs.AI cs.RO
SORNet: Spatial Object-Centric Representations for Sequential Manipulation
University of Washington(华盛顿大学);NVIDIA(英伟达)
顺序操作任务要求机器人感知环境的状态,并计划导致期望的目标状态的动作序列。在这些任务中,从原始传感器输入中推理对象实体之间的空间关系的能力是至关重要的,以便确定任务何时完成以及可以执行哪些动作。在这项工作中,我们提出了SORNet(空间对象为中心的表示网络),一个框架,用于学习对象为中心的表示从RGB图像条件的一组对象查询,表示为图像补丁称为规范对象视图。由于每个对象只有一个规范视图,并且没有注释,SORNet将zero-shot推广到在训练期间形状和纹理都不可见的对象实体。我们评估SORNet在各种空间推理任务,如空间关系分类和相对方向回归在复杂的桌面操作场景,并显示SORNet显着优于基线,包括国家的最先进的表示学习技术。我们还演示了应用程序的表示学习SORNet上的视觉伺服和任务规划的顺序操作的一个真正的机器人。
2022-09-14 cs.CV cs.LG cs.RO
EquivAct: SIM(3)-Equivariant Visuomotor Policies beyond Rigid Object Manipulation
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
如果一个机器人掌握了折叠厨房毛巾的技能,那么我们就可以期待它掌握折叠一条大的沙滩毛巾。然而,依赖于数据增强的现有策略学习方法仍然不能保证这样的泛化。我们的见解是增加等变性的视觉对象表示和策略架构。我们提出了EquivAct,它利用SIM(3)-等变网络结构,保证在所有可能的对象平移,3D旋转和缩放的建设泛化。EquivAct的培训分为两个阶段。我们首先在模拟场景点云上预训练SIM(3)-等变视觉表示。然后,我们通过少量的源任务演示学习了一个SIM(3)等变的视觉策略。我们表明,学到的政策直接转移到对象,从示威的规模,位置和方向有很大的不同。我们评估我们的方法在三个操作任务涉及可变形和关节连接的对象,超越了典型的刚性对象的操作任务,考虑在以前的工作。我们在模拟和现实中进行实验。对于真正的机器人实验,我们的方法使用20人演示的桌面任务和转移zero-shot到一个更大的设置中的移动操作任务。实验证实,我们的对比预训练过程和等变架构提供了显着的改进比以前的工作。项目网址:https://equivact.github.io
2024-05-14 cs.LG cs.RO
LEMMA: Learning Language-Conditioned Multi-Robot Manipulation
Amazon Alexa AI(亚马逊Alexa人工智能)
本文提出语言条件下多机器人操作基准 LEMMA,包含8类程序化任务及专家演示,并设计模块化分层规划基线,以解决任务分配和长时程操作中的强时间依赖挑战。
2023-09-17 cs.AI cs.MA cs.RO
Fail2Progress: Learning from Real-World Robot Failures with Stein Variational Inference
University of Utah(犹他大学);NVIDIA Research(NVIDIA研究)
针对长时程操作任务的技能效应模型易在训练分布外场景故障的问题,提出Fail2Progress方法,利用Stein变分推理并行生成仿真环境以构建故障数据集,经实验验证其在多类移动操作任务中从故障学习的效果优于多个基线。
2025-09-01 cs.RO
Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Corporation(英伟达公司)
提出Human2Any框架,从人类视频学习可重用的物体中心交互先验,结合机器人端可行性推理与运动规划,实现无需目标任务真实机器人数据的跨实体、场景和任务迁移。
2026-06-27 cs.AI cs.RO
RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation
Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);University of Michigan(密歇根大学)
RoboVIP通过引入视觉身份提示和可扩展的视觉身份池,提升机器人操控数据的质量与多样性,从而增强视觉语言-动作和视觉-运动政策模型的性能。
2026-01-08 cs.AI cs.CV cs.RO
V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors
Nanjing University(南京大学);Northwestern Polytechnical University(西北工业大学)
V-Dreamer通过视频生成先验自动构建仿真环境和可执行轨迹,利用大语言模型和3D生成模型生成物理合理的3D场景,并通过Sim-to-Gen模块实现高效轨迹合成。
2026-03-19 cs.RO
Cyber-Physical Testbed for Human-Robot Collaborative Task Planning and Execution
Rochester Institute of Technology(罗切斯特理工学院)
在本文中,我们提出了一个网络物理的测试平台,使人类机器人团队在一个共享的工作空间中执行一个共享的任务。该实验台适合于桌面操作任务的实现,这是一种常见的人机协作场景。该测试平台集成了物理和虚拟世界中存在的元素。在这项工作中,我们报告了我们在理解和实施人类-机器人团队的任务规划和执行方面的探索过程中收集的见解。
2019-05-30 cs.MA cs.RO
Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation
Zhejiang University(浙江大学)
本文提出了一种无需硬件的演示框架Mobile UMI,通过三个组件解决移动模仿学习中的两个瓶颈问题:运动污染的动作标签和推理导致的执行延迟。核心方法是通过双摄像头捕捉全局和局部上下文,结合空间锚点统一视觉-惯性框架,并利用异步递推地执行器进行在线状态匹配,从而实现解耦的动力学和基座轨迹。
2026-05-20 cs.RO
GenAug: Retargeting behaviors to unseen situations via Generative Augmentation
University of Washington(华盛顿大学);Meta AI
机器人学习方法具有跨任务、环境和对象广泛推广的潜力。然而,这些方法需要大量不同的数据集,在现实世界的机器人设置中收集这些数据集是昂贵的。为了使机器人学习具有普遍性,我们必须能够利用机器人自身经验之外的数据源或先验知识。在这项工作中,我们认为,图像-文本生成模型,这是预先训练的大型语料库的网络抓取数据,可以作为这样的数据源。我们表明,尽管这些生成模型在很大程度上是基于非机器人数据进行训练的,但它们可以作为有效的方法,以一种能够广泛推广的方式将先验知识传授给机器人学习过程。特别是,我们展示了预训练的生成模型如何作为语义上有意义的数据增强的有效工具。通过利用这些预先训练的模型来生成适当的“语义”数据增强,我们提出了一个能够显着提高策略泛化的系统GenAug。我们将GenAug应用于桌面操作任务,展示了将行为重新定位到新场景的能力,同时只需要少量的真实数据。我们证明了这个系统在现实世界中的一些对象操作问题的功效,表现出40%的改进,在推广到新的场景和对象。
2023-02-22 cs.RO
Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models
Fudan University(复旦大学)
针对大语言模型缺乏视觉定位制约机器人实体交互的问题,提出融合GPT-4与视觉模型的Polaris框架及Syn2Real位姿估计流程,在桌面操作任务中表现优异且具备泛化潜力。
2024-08-15 cs.CL cs.CV cs.RO
Robot Vision Architecture for Autonomous Clothes Manipulation
University of Glasgow(格拉斯哥大学)
本文提出了一种新的机器人视觉体系结构感知通用的三维服装配置。我们的体系结构是分层结构,从低级别的曲率,中间层的几何形状\拓扑结构描述,并最终接近高层次的语义表面结构描述。我们展示了我们的机器人视觉架构在一个定制的双臂工业机器人与我们自己设计的,离我的立体视觉系统,进行自主抓取和双臂展平。值得注意的是,所提出的双臂展平方法是唯一的国家的最先进的机器人自主系统,这是本文的主要贡献。实验结果表明,提出的双臂扁平化立体视觉系统显着优于单臂扁平化和广泛引用的Kinect为基础的传感系统灵巧的操作任务。此外,所提出的抓取方法取得了令人满意的性能,抓住各种服装,验证了所提出的视觉感知体系结构的能力,以适应多个服装操作任务。
2016-10-18 cs.CV cs.RO