Multi-Agent Monte Carlo Tree Search for Makespan-Efficient Object Rearrangement in Cluttered Spaces
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
本文提出CAM-MCTS框架，通过集中式任务分配与异步执行策略，提升杂乱环境中物体重新排列的makespan效率。
2026-02-02 cs.RO
Scaling Bimanual Household Manipulation from 1,500 hours of Demonstrations to On-Policy Corrections
PrimeBot Research Institute（PrimeBot研究院）；Swancor Advanced Materials Co., Ltd.（Swancor先进材料有限公司）；School of Computer Science, Peking University（北京大学计算机学院）；Crobotia
本研究发布1500小时双手机器人家务操作演示数据，训练XR-2视觉-语言-动作模型，验证其学习能力与数据集的扩展潜力，开源数据支持相关研究。
2026-09-04 cs.RO
Language-guided Active Sensing of Confined, Cluttered Environments via Object Rearrangement Planning
Purdue University（普渡大学）
本文提出首个语言引导的主动感知方法，通过物体重排规划实现受限杂乱环境中特定区域的密集感知，在仿真和真实柜式环境中验证了其优越性能与泛化能力。
2024-02-04 cs.RO
Personalized Robotic Object Rearrangement from Scene Context
Georgia Institute of Technology（佐治亚理工学院）
提出了PARSEC基准和基于LLM的ContextSortLM模型，通过利用多场景上下文学习用户偏好，解决了部分布置环境中物体多有效放置位置的个性化重排问题。
2025-06-26 cs.AI cs.RO
CabiNet: Scaling Neural Collision Detection for Object Rearrangement with Procedural Scene Generation
NVIDIA（英伟达）；University of Washington（华盛顿大学）
本文提出CabiNet神经碰撞模型，利用65万余个程序化杂乱场景和单视图点云训练，结合MPPI规划与SDF航点，实现未知杂乱环境中的机器人无碰撞重排。
2023-04-18 cs.CV cs.RO
MORE: Mobile Manipulation Rearrangement Through Grounded Language Reasoning
University of Freiburg（弗赖堡大学）；University of Toronto（多伦多大学）；Toyota Motor Europe（丰田汽车欧洲公司）
MORE通过场景图表示、实例区分和主动子图过滤，将大规模移动操作重排规划转化为有界问题，在BEHAVIOR-1K上首次显著解决零样本重排任务并优于现有基础模型方法。
2025-05-05 cs.AI cs.RO
Classification of Household Materials via Spectroscopy
Healthcare Robotics Lab, Georgia Institute of Technology（佐治亚理工学院医疗机器人实验室）；Robot Autonomy and Interactive Learning Lab, Georgia Institute of Technology（佐治亚理工学院机器人自主与交互学习实验室）
识别物体的材料可以告知机器人物体的脆弱性或适当的使用。为了在操纵期间估计对象的材料，许多先前的作品已经探索了触觉感测的使用。在本文中，我们探讨了一种技术，机器人估计使用光谱的对象的材料。我们证明，光谱仪提供了几个好处，材料识别，包括快速的响应时间和低噪声的准确测量。此外，光谱仪不需要与物体直接接触。为了探索这一点，我们收集了两个商用光谱仪的光谱测量数据集，在此期间，一个机器人平台与50个平面物质物体相互作用，我们表明，一个神经网络模型可以准确地分析这些测量。由于连续光谱测量之间的相似性，我们的模型实现了94.6%的材料分类精度时，每个对象只给一个光谱样本。与之前使用触觉传感器的工作类似，我们发现将材料识别推广到新对象带来了更大的挑战，为此，我们通过留一个对象交叉验证实现了79.1%的准确率。最后，我们演示了PR2机器人如何利用光谱仪来估计家中日常物品的材料。从这项工作中，我们发现，光谱提出了一个很有前途的方法，在机器人操作过程中的材料分类。
2019-01-06 cs.RO stat.ML
LLM-enhanced Scene Graph Learning for Household Rearrangement
National University of Defense Technology（国防科技大学）；Shenzhen University（深圳大学）
针对家庭场景整理依赖常识与用户偏好的需求，提出LLM增强场景图学习方法，构建功能可供性增强图实现错位物品检测与归置规划，在自建基准上达到最优性能。
2024-09-12 cs.CV cs.RO
Kitchen Robotic Manipulation utilizing Foundation Models
Kumoh National Institute of Technology（金乌国立技术大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一种整合多种基础模型的模块化厨房机器人感知流水线，经评估优化后可在杂乱遮挡场景下实现89.12%的ADI，无需环境重训练即可完成餐具处理等家庭操作任务。
2026-08-06 cs.RO
BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities
Stanford University（斯坦福大学）
针对现实家务任务中移动操纵机器人面临的挑战，该研究提出BEHAVIOR Robot Suite（BRS）综合框架，基于特定硬件集成遥操作接口与新学习算法，在五项复杂家务任务中验证，推动现实全身操纵发展。
2025-08-24 cs.AI cs.CV cs.LG
BEHAVIOR: Benchmark for Everyday Household Activities in Virtual, Interactive, and Ecological Environments
Stanford University（斯坦福大学）
我们介绍了BEHAVIOR，这是嵌入式AI的基准，模拟了100个活动，涵盖了一系列日常家务，如清洁，维护和食物准备。这些活动被设计成现实的，多样化的和复杂的，旨在重现代理人在现实世界中必须面对的挑战。构建这样一个基准对每个活动提出了三个基本的困难：定义（它可能因时间、地点或人员而异）、在模拟器中的实例化和评估。Behavior通过三项创新解决了这些问题。首先，我们提出了一个以对象为中心，谓词逻辑为基础的描述语言表达活动的初始和目标条件，使任何活动的不同实例的生成。其次，我们确定了一个底层环境所需的模拟器不可知的功能，以支持行为，并证明其实现在这样的模拟器。第三，我们引入了一组指标来衡量任务的进度和效率，绝对和相对于人类示威者。我们在虚拟现实（VR）中包括500个人类演示，以作为人类的基础事实。我们的实验表明，即使是最先进的嵌入式人工智能解决方案，也难以满足我们基准测试中活动所带来的现实主义、多样性和复杂性水平。我们在behavior.stanford.edu上公开发布BEHAVIOR，以促进和校准新的嵌入式AI解决方案的开发。
2021-08-06 cs.AI cs.CV cs.RO
Efficiently Manipulating Clutter via Learning and Search-Based Reasoning
Baichuan Huang（黄百川）
针对机器人在杂乱场景中的物体重排问题，论文融合深度学习交互预测、MCTS动作推理与并行仿真，提出DIPN和PMBS以提升非抓取检索的准确率、完成率与规划速度。
2025-05-13 cs.RO
STOW: Discrete-Frame Segmentation and Tracking of Unseen Objects for Warehouse Picking Robots
University of Washington（华盛顿大学）；NVIDIA（英伟达）
针对仓储等场景离散帧下未知物体分割跟踪难题，提出带高效帧间通信transformer的联合分割跟踪新范式，构建对应合成与真实数据集，实验性能显著优于现有方法。
2023-11-04 cs.AI cs.CV cs.RO
iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks
Stanford University（斯坦福大学）
通过使用仿真环境来开发和训练机器人学习方法，最近对具身人工智能的研究得到了推动。然而，模拟的使用已经将注意力转移到只需要机器人模拟器可以模拟的任务上：运动和物理接触。我们提出了iGibson 2.0，一个开源的模拟环境，通过三个关键的创新，支持更多样化的家庭任务的模拟。首先，iGibson 2.0支持对象状态，包括温度、湿度水平、清洁度水平以及切换和切片状态，这是覆盖更广泛任务所必需的。其次，iGibson 2.0实现了一组谓词逻辑函数，将模拟器状态映射到Cooked或Soaked等逻辑状态。此外，给定一个逻辑状态，iGibson 2.0可以采样满足它的有效物理状态。该功能可以生成潜在的无限任务实例，只需用户付出最少的努力。采样机制允许我们的场景在语义上有意义的位置更密集地填充小对象。第三，iGibson 2.0包括一个虚拟现实（VR）界面，使人类沉浸在其场景中以收集演示。因此，我们可以收集人类对这些新型任务的演示，并将其用于模仿学习。我们评估了iGibson 2.0的新功能，使机器人学习的新任务，希望展示这种新的模拟器的潜力，以支持新的研究体现人工智能。iGibson 2.0及其新数据集可在http://svl.stanford.edu/igibson/上公开获取。
2021-11-03 cs.AI cs.CV cs.LG
Proactive Robot Assistance via Spatio-Temporal Object Modeling
Georgia Institute of Technology（佐治亚理工学院）
本文将主动机器人辅助形式化为对象移动时间模式预测问题，引入生成式图神经网络学习对象动力学的统一时空预测模型，并贡献了 HOMER 数据集，在对象移动预测上优于基线。
2022-11-28 cs.AI cs.RO
RISO: Combining Rigid Grippers with Soft Switchable Adhesives
Virginia Tech（弗吉尼亚理工大学）
帮助人类的机器人手臂应该能够拿起，移动和释放日常物品。今天的辅助机器人手臂使用刚性抓取器来夹持手指之间的物品;虽然这些刚性抓取器非常适合大型和重型物体，但它们通常难以抓取小型，众多或精致的物品（如食物）。软夹持器涵盖了光谱的另一端;这些夹持器使用粘合剂或改变形状来包裹小而不规则的物品，但不能施加操纵重物所需的大力量。在本文中，我们介绍了刚性软（RISO）夹具，结合可切换的软粘合剂与标准的刚性机制，使各种各样的机器人抓取。我们开发RISO夹持器，利用新型软材料，通过可控制的形状和刚度调整实时改变粘附力。通过将这些软粘合剂安装在刚性手指的底部，我们创建了一个夹持器，该夹持器可以使用纯刚性抓握（捏住物体）或纯软抓握（粘附在物体上）与物体相互作用。这种增加的能力需要额外的决策，因此，我们制定了一个共享的控制方法，部分自动化的机器人手臂的运动。在实践中，该控制器对齐RISO夹持器，同时推断人类想要抓住的对象，以及人类想要如何抓住该项目。我们的用户研究表明，RISO抓取器可以从现有的数据集中拾取、移动和释放家居用品，并且当人类和机器人之间共享控制时，系统可以更成功、更有效地执行抓取。请在此观看视频：https://youtu.be/5uLUkBYcnwg
2022-10-27 cs.RO
Neural Rearrangement Planning for Object Retrieval from Confined Spaces Perceivable by Robot's In-hand RGB-D Sensor
Purdue University（普渡大学）
提出一种基于手内摄像头感知的神经物体检索框架，通过重排非目标物体保持路径同伦，高效解决受限空间物体取出问题，计算速度比基线快两个数量级。
2024-02-10 cs.RO
CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception
Cornell University（康奈尔大学）；Horace Mann School（霍拉曼学校）
CLAMP通过开源设备收集大规模真实场景触觉数据集，训练多模态触觉编码器，实现材料识别和机器人操作任务的泛化能力。
2026-01-12 cs.RO
Visual Foresight Trees for Object Retrieval from Clutter with Nonprehensile Rearrangement
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））
本文考虑的问题，检索一个对象从许多紧密包装的对象，使用机器人推和把握行动的组合。密集杂波中的物体检索是机器人在家庭和日常环境中有效操作的重要技能。所提出的解决方案，视觉模糊树（VFT），智能地重新安排周围的目标对象，使它可以很容易地掌握杂波。嵌套的非线性行为的重排是具有挑战性的，因为它需要预测复杂的对象相互作用的组合大配置空间的多个对象。我们首先展示了一个深度神经网络可以被训练来准确地预测机器人推动其中一个包装物体时的姿态。预测网络提供视觉预见，并在树搜索中用作场景图像空间中的状态转换函数。树搜索返回一系列连续的推动动作，产生最佳的混乱安排，以抓住目标对象。仿真实验以及使用真实机器人和物体的实验表明，在几项具有挑战性的任务上，所提出的方法在成功率和执行动作数量方面都优于无模型技术以及基于模型的近视方法。一个介绍VFT的视频，以及机器人实验，可以在https://youtu.be/7cL-hmgvyec上访问。完整的源代码可以在https://github.com/arc-l/vft上找到。
2022-03-09 cs.RO
Harmonic Mobile Manipulation
UC San Diego（加州大学圣迭戈分校）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
针对导航与操作分离难以完成开门等协调任务的问题，提出端到端方法 HarmonicMM，联合优化两类能力，并通过仿真、真实公寓部署和新基准验证其泛化与实用潜力。
2024-12-05 cs.AI cs.CV cs.LG
RobotValues: Evaluating Household Robots When Human Values Conflict
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
提出RobotValues基准，通过10K个价值冲突场景评估家用机器人规划器，发现视觉语言模型存在默认价值偏好且难以覆盖，表明评估需考虑价值冲突下的行动选择。
2026-09-30 cs.AI cs.RO
Building Trustworthy Household Robots through Open-World Safety
University of California, Berkeley（加州大学伯克利分校）
该研究针对家用机器人在开放世界中面临的安全挑战，提出研究议程以实现开放世界安全，保障机器人在未知场景下的安全保护可靠性。
2026-10-14 cs.CR cs.RO
Explaining Why Things Go Where They Go: Interpretable Constructs of Human Organizational Preferences
Monash University, CSIRO Robotics（墨尔本大学，CSIRO机器人研究所）；Monash University（墨尔本大学）
本文提出四个可解释性构建来表现场景安排偏好，通过MCTS规划器验证其在厨房和客厅场景中的实用性，为机器人规划提供可解释的偏好模型。
2025-12-31 cs.AI cs.HC cs.RO
EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video
Apple（苹果公司）
EgoDex通过大规模第一人称视频数据集推动灵巧操作研究，提供3D手部跟踪数据及模仿学习评估框架。
2026-03-09 cs.CV cs.LG cs.RO
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation
Technical University of Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）
VidBot利用野外人类视频学习3D可供性，通过从粗到细的模型生成交互轨迹，实现零样本机器人操作，在13个任务中显著优于现有方法。
2025-03-27 cs.CV cs.RO
Adaptive Coordination in Social Embodied Rearrangement
Georgia Institute of Technology（佐治亚理工学院）；Meta AI
本文针对社会重排任务中的零样本协调问题，提出行为多样性博弈（BDP）方法，通过可区分性目标鼓励多样化协调行为，使智能体在未见环境中与新伙伴协作时成功率提升35%、效率提升32%。
2023-05-31 cs.LG cs.MA cs.RO
My House, My Rules: Learning Tidying Preferences with Graph Neural Networks
Imperial College London（帝国理工学院）
布置家居物品的机器人应该根据用户的偏好来做，这些偏好本质上是主观的，难以建模。我们呈现NeatNet：一种新的变分自编码器架构，使用图神经网络层，它可以通过观察用户如何安排场景来提取低维潜在偏好向量。给定任何一组对象，该向量然后可以用于生成针对该用户的空间偏好定制的布置，其中词嵌入用于概括到新对象。我们开发了一个整理模拟器收集重排的例子，从75个用户，并证明经验表明，我们的方法始终产生整洁和个性化的安排在各种重排方案。
2021-11-04 cs.LG cs.RO
Advancing Household Robotics: Deep Interactive Reinforcement Learning for Efficient Training and Enhanced Performance
Old Dominion University（欧道明大学）
本研究提出一种基于持久规则系统的深度交互式强化学习方法，通过保存和重用指导信息，加速家庭机器人训练并减少重复，提升其学习效率与性能。
2024-05-29 cs.LG cs.RO
HomeRobot: Open-Vocabulary Mobile Manipulation
Georgia Tech（佐治亚理工学院）；FAIR, Meta AI（Meta AI 基础人工智能研究团队）；Carnegie Mellon（卡内基梅隆大学）；Simon Fraser（西蒙弗雷泽大学）
提出HomeRobot OVMM基准，解决开放词汇移动操作问题，包含模拟与真实世界组件，实现强化学习与启发式基线并验证模拟到现实的迁移。
2024-01-10 cs.AI cs.CV cs.RO
ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
Paul G. Allen School of Computer Sci. & Eng., Univ. of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for AI（艾伦人工智能研究所）；NVIDIA（英伟达公司）
我们提出了ALFRED（从现实环境和指令的行动学习），学习从自然语言指令和以自我为中心的视觉映射到家庭任务的行动序列的基准。ALFRED包括具有不可逆状态变化的长时间组合任务，以缩小研究基准和现实世界应用之间的差距。ALFRED由25k自然语言指令的交互式视觉环境中的专家演示组成。这些指令包含两个高层次的目标，如“冲洗杯子并将其放入咖啡机。和低级语言指令，如“走到右边的咖啡机。“ALFRED任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂。我们发现，基于最近体现的视觉和语言任务的基线模型在ALFRED上表现不佳，这表明在此基准下开发创新的接地视觉语言理解模型有很大的空间。
2020-03-31 cs.AI cs.CL cs.CV
Human Universal Grasping
New York University（纽约大学）；Tsinghua University（清华大学）；University of Michigan（密歇根大学）
提出HUG模型，利用人类抓取数据（1M-HUG数据集）和流匹配方法，从单张RGB-D图像生成多样化抓取姿态，并重定向到机器人手，实现零样本抓取，在HUG-Bench上超越基线23%-34%。
2026-06-19 cs.AI cs.CV cs.LG
LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots
University of Edinburgh（爱丁堡大学）；Microsoft（微软公司）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
LLM-Personalize框架通过结合模仿学习与迭代自训练的优化流水线，个性化家庭机器人LLM规划器，在Housekeep基准上成功率提升超30%，显著改善与用户偏好的对齐。
2024-12-30 cs.AI cs.RO
Failing Gracefully: Mitigating Impact of Inevitable Robot Failures
George Mason University（乔治梅森大学）；RobotiXX Lab（RobotiXX实验室）
针对家庭服务机器人不可避免的故障，本文提出一种评估故障影响概率与严重程度的安全公式，结合FailBench模拟框架，为开发更安全的机器人运动规划及学习策略提供基础。
2026-08-07 cs.AI cs.HC cs.LG
RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（NVIDIA研究）
RoboCasa365通过大规模仿真框架提供多样化任务和环境，用于训练和评估通用机器人，分析任务多样性、数据集规模和环境变化对泛化的影响。
2026-03-04 cs.AI cs.LG cs.RO
Foundation-Model-Guided Topology-Aware Semantic Risk Fields for Manipulation
Rice University（莱斯大学）；Ken Kennedy Institute at Rice University（莱斯大学肯·肯尼迪研究所）
本研究提出一种基础模型引导的拓扑感知语义风险场，通过方向性权重和测地衰减构建3D成本，用于操作规划，实验表明其能降低语义暴露，超越碰撞避免。
2026-09-30 cs.RO
Shaping embodied agent behavior with activity-context priors from egocentric video
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究实验室）
复杂的物理任务需要一系列对象交互，每个对象都有自己的先决条件-机器人代理很难仅通过自己的经验有效地学习。我们介绍了一种方法来发现活动上下文先验在野生自我中心的视频捕获与人类佩戴的相机。对于给定对象，活动上下文先验表示活动成功所需的其他兼容对象的集合（例如，刀和砧板与番茄放在一起有利于切割）。我们将基于视频的先验编码为辅助奖励函数，鼓励代理在尝试交互之前将兼容的对象放在一起。通过这种方式，我们的模型将日常人类经验转化为具体的代理技能。我们使用以自我为中心的EPIC-Kitchen视频来展示我们的想法，视频中的人执行无脚本的厨房活动，以使虚拟家庭机器人代理在AI 2-iTHOR中执行各种复杂任务，从而显着加速代理学习。项目页面：http://vision.cs.utexas.edu/projects/ego-rewards/
2021-10-14 cs.CV cs.RO
FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching
Sapienza University of Rome（罗马大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
提出FlowMaps模型，通过潜在流匹配学习物体位置的多模态时空分布，预测动态物体未来位置，提升机器人在变化家庭环境中的导航性能。
2026-06-19 cs.AI cs.RO
Imagination-enabled Robot Perception
Institute for Artificial Intelligence（人工智能研究所）；University of Bremen（不来梅大学）
当今的许多机器人感知系统旨在完成过于简单和过于困难的感知任务。它们过于简单，因为它们不需要感知系统提供完成操纵任务所需的所有信息。典型地，感知结果不包括关于对象的部分结构、关节机制和适应操纵行为所需的其他属性的信息。另一方面，所述的感知问题也太难了，因为与人类不同，感知系统无法充分利用对它们将看到的东西的期望。因此，我们研究了机器人感知任务的变化，适合于完成日常操作任务的机器人，如家用机器人或零售店中的机器人。在这种情况下，我们可以合理地假设机器人知道大多数物体，并拥有它们的详细模型。我们提出了一个感知系统，保持其信念，其环境作为一个场景图与物理模拟和视觉渲染。当检测对象时，感知系统检索对象的模型并将其放置在基于VR的环境模型中的相应位置。物理模拟确保拒绝物理上不可能的目标检测，并且可以渲染场景以在图像级别生成期望。其结果是一个感知系统，可以提供有用的信息，操纵任务。
2021-07-06 cs.RO
PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；Delta Intelligence（三角洲智能公司）；PKU-Wuhan Institute for Artificial Intelligence（北京大学武汉人工智能研究院）；Hubei Humanoid Robot Innovation Center Co., Ltd.（湖北人形机器人创新中心有限公司）；China Academy of Information and Communications Technology（中国信息通信研究院）
本文介绍PRISM——一个面向高接触工业操作的大规模多模态数据集，涵盖25余项操作任务，包含5000余条共45小时的遥操作演示，为高精度工业场景的多模态感知与控制提供真实基准。
2026-08-19 cs.RO
Transfer of Tool Affordance and Manipulation Cues with 3D Vision Data
University of Aberdeen（阿伯丁大学）
未来的服务机器人在人类环境中工作，如厨房，将面临需要即兴发挥的情况。通常用于特定任务的工具可能不可用，机器人将不得不使用一些替代工具。机器人需要从可用的候选工具中选择合适的替代工具，还需要知道在哪里抓住它，如何定位它以及使用哪个部分作为末端执行器。我们提出了一个系统，作为输入的候选工具的点云和重量，并输出一个分数，该工具是如何有效的任务，以及如何使用它。我们的关键新颖性是在采取任务驱动的方法，其中的任务施加自上而下的影响如何低层次的视觉数据进行解释。这促进了“日常创造力”的类型，其中一个物体，如酒瓶，可以用作擀面杖，因为物体的解释不是预先固定的，而是在运行时自下而上和自上而下的压力之间的相互作用的结果。自上而下的影响是通过转移来实现的：使工具适合于任务的几何特征的先验知识被用来在候选工具中寻找相似的特征。先验知识是通过模拟执行任务的Web模型来学习的。我们评估了一组50个家庭物品和5个任务。我们将我们的系统与文献中最接近的系统进行比较，结果表明我们取得了明显更好的结果
2017-10-13 cs.RO
SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation
UC San Diego（南加洲大学）；Lambda, Inc（Lambda公司）
本文提出SG-VLA模型，通过辅助任务协同训练和多模态输入增强，提升移动操作中视觉-语言-动作模型的空间感知与表征能力，实现在家庭环境中更高效的物体抓取与操作。
2026-03-24 cs.RO
GOPLA: Generalizable Object Placement Learning via Synthetic Augmentation of Human Arrangement
Technical University of Munich（慕尼黑技术大学）；ETH Zurich（苏黎世联邦理工学院）
GOPLA提出层次化框架，结合多模态大模型、空间映射和扩散规划器，通过合成数据增强学习物体放置，将成功率提升30.04个百分点。
2025-10-25 cs.CV cs.RO
Refusals That Bend: Measuring and Predicting Task Malleability in Embodied VLM Planners
Purdue University（普渡大学）；Amazon（亚马逊）；Arizona State University（亚利桑那州立大学）
本研究通过向环境中放置日常物品，测试具身VLM规划器拒绝的可塑性，发现20.2%的任务可被绕过，并提出基于开源VLM信号预测任务可塑性的方法，建议部署前评估。
2026-10-01 cs.CR cs.RO
Object segmentation in depth maps with one user click and a synthetically trained fully convolutional network
Université de Lyon（里昂大学）；CNRS（法国国家科学研究中心）；École Centrale de Lyon（里昂中央理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；LIRIS（图像与信息系统科学实验室）；LIG（格勒诺布尔信息学实验室）；Siléane（Siléane公司）
随着越来越多的家用物品按计划报废并被快速增长的人口消费，危险废物回收已成为一项重大挑战。鉴于家庭垃圾的巨大可变性，当前的回收平台主要依赖于人类操作员来分析场景，通常由大量堆积的对象实例组成。帮助他们实现酉提取的自动化是加快这一繁琐过程的关键挑战。而监督式深度学习已经证明对于这种对象级场景理解非常有效，例如，尽管在日常场景中进行一般的目标检测和分割，但是它需要大量的每像素标记图像，这对于包括工业机器人在内的许多应用环境来说几乎不可用。因此，我们提出了一个实际的交互式应用程序的步骤，用于生成面向对象的机器人把握，只需要一个深度图的场景和一个用户点击下一个对象提取的输入。更确切地说，我们在本文中解决的中间问题的对象分割在顶视图的成堆的散装对象给定的像素位置，即种子，提供交互式的人类操作员。我们提出了一个双重的框架生成边驱动的实例段。首先，我们重新设计了一个国家的最先进的完全卷积对象轮廓检测器的种子为基础的实例分割通过引入边缘掩模对偶的概念与一个新的补丁免费和面向轮廓的损失函数。其次，我们只使用合成场景来训练一个模型，而不是手动标记的训练数据。我们的实验结果表明，考虑边缘掩码对偶训练编码器-解码器网络，正如我们所建议的那样，在目前的应用背景下，优于最先进的基于补丁的网络。
2018-09-24 cs.CV cs.LG cs.RO
ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer
Carnegie Mellon University（卡内基梅隆大学）
物体在我们的日常活动中起着至关重要的作用。虽然多感官对象为中心的学习最近显示出巨大的潜力，在以前的工作对象的建模是相当不现实的。ObjectFolder 1.0是一个最新的数据集，它引入了100个具有视觉，听觉和触觉感知数据的虚拟对象。然而，数据集的规模很小，多传感器数据的质量有限，阻碍了对真实世界场景的推广。我们提出了ObjectFolder 2.0，一个大规模的，多感官数据集的常见的家庭对象的形式隐式神经表示，显着增强ObjectFolder 1.0在三个方面。首先，我们的数据集在对象数量上大了10倍，在渲染时间上快了几个数量级。其次，我们显着提高了所有三种方式的多感官渲染质量。第三，我们证明了从数据集中的虚拟对象学习的模型在三个具有挑战性的任务中成功地转移到了现实世界中的对应对象：对象规模估计，接触定位和形状重建。ObjectFolder 2.0为计算机视觉和机器人技术中的多感官学习提供了新的途径和测试平台。该数据集可在https://github.com/rhgao/ObjectFolder上获得。
2022-04-05 cs.CV cs.LG cs.RO
SEVO: Semantic-Enhanced Virtual Observation for Robust VLA Manipulation via Active Illumination and Data-Centric Collection
School of Computing, University of Connecticut（康奈尔大学计算学院）
SEVO通过主动照明和数据导向收集提升跨环境操作鲁棒性，采用三机制改进观察，实现95%和83%的成功率，在新环境中转移率达85%和75%。
2026-05-11 cs.AI cs.RO
MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Berkeley（加州大学伯克利分校）
MolmoSpaces是一个大规模开放式生态系统，用于支持机器人导航与操作的大规模基准测试，包含230k多样化的室内环境和130k丰富标注的物体资产，通过8个任务的基准测试验证了其在仿真到现实中的强相关性。
2026-02-19 cs.AI cs.CV cs.RO
