arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2502.04531cs.ROcs.AIcs.CV
收藏

AnyPlace：学习机器人操作中的通用物体放置

AnyPlace: Learning Generalized Object Placement for Robot Manipulation

University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Shanghai Jiao Tong University（上海交通大学）；Wilfrid Laurier University（威尔弗里德·劳里埃大学）；Acceleration Consortium（加速联盟）；Georgia Institute of Technology（佐治亚理工学院）

Yuchi Zhao, Miroslav Bogdanovic, Chengyuan Luo, Steven Tohme, Kourosh Darvish, Alán Aspuru-Guzik, Florian Shkurti, Animesh Garg

备注：
Accepted at CoRL 2025
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

AnyPlace提出两阶段方法，利用视觉语言模型定位粗略放置区域，训练局部姿态预测模型，在合成数据上训练并迁移到真实世界，实现高精度、多模式的物体放置。

摘要：

在机器人任务中，物体放置因物体几何形状和放置配置的多样性而固有地具有挑战性。为解决此问题，我们提出AnyPlace，一种完全在合成数据上训练的两阶段方法，能够为真实世界任务预测广泛的可行放置姿态。我们的关键见解是，通过利用视觉语言模型（VLM）识别粗略的放置位置，我们仅关注局部放置的相关区域，这使得我们能够高效地训练低级放置姿态预测模型以捕获多样化的放置方式。在训练方面，我们生成一个完全合成的数据集，包含在不同放置配置（插入、堆叠、悬挂）中随机生成的物体，并训练局部放置预测模型。我们在仿真中进行了广泛评估，证明我们的方法在成功率、可能放置模式的覆盖范围和精度方面优于基线。在真实世界实验中，我们展示了我们的方法如何将纯粹在合成数据上训练的模型直接迁移到真实世界，成功地在其他模型难以应对的场景中执行放置——例如不同的物体几何形状、多样的放置模式以及实现精细放置的高精度。更多信息请访问：https://any-place.github.io。

英文摘要：

Object placement in robotic tasks is inherently challenging due to the diversity of object geometries and placement configurations. To address this, we propose AnyPlace, a two-stage method trained entirely on synthetic data, capable of predicting a wide range of feasible placement poses for real-world tasks. Our key insight is that by leveraging a Vision-Language Model (VLM) to identify rough placement locations, we focus only on the relevant regions for local placement, which enables us to train the low-level placement-pose-prediction model to capture diverse placements efficiently. For training, we generate a fully synthetic dataset of randomly generated objects in different placement configurations (insertion, stacking, hanging) and train local placement-prediction models. We conduct extensive evaluations in simulation, demonstrating that our method outperforms baselines in terms of success rate, coverage of possible placement modes, and precision. In real-world experiments, we show how our approach directly transfers models trained purely on synthetic data to the real world, where it successfully performs placements in scenarios where other models struggle -- such as with varying object geometries, diverse placement modes, and achieving high precision for fine placement. More at: https://any-place.github.io.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑