学习操控一切：揭示在边界框引导策略中的数据扩展定律
Choose What to Manipulate: Revealing Data Scaling Laws in Bounding-Box Guided Policies for Semantic Manipulation
AI总结：
本文提出利用边界框指令提升语义操控的泛化能力，并揭示数据扩展定律，通过高效数据收集和解耦框架实现85%的成功率。
摘要：
基于扩散的策略在语义操控中表现出有限的泛化能力，这是部署现实世界机器人面临的关键障碍。这种限制源于仅依赖文本指令不足以在复杂和动态环境中引导策略的注意力指向目标物体。为了解决这个问题，我们提出利用边界框指令直接指定目标物体，并进一步研究语义操控任务中是否存在数据扩展定律。具体而言，我们设计了一种手持分割设备，配备自动化标注管道Label-UMI，使能够高效收集带有语义标签的演示数据。我们进一步提出一个语义-运动解耦框架，整合物体检测和边界框引导的扩散策略，以提高语义操控的泛化能力和适应性。通过广泛的现实世界实验，在大规模数据集上验证了该方法的有效性，并揭示了泛化性能与边界框物体数量之间的幂律关系。最后，我们总结了语义操控的有效数据收集策略，该策略可在四个任务上实现85%的成功率，涵盖已见和未见物体。所有数据集和代码将向社区公开。
英文摘要：
Diffusion-based policies generalize poorly in semantic manipulation, a key obstacle to real-world deployment, because text-only instructions cannot reliably steer the policy toward the target object in cluttered, dynamic scenes. We instead use bounding-box instructions to specify the target directly, and study how performance scales with data. To this end, we build Label-UMI, a handheld segmentation device with an automated annotation pipeline for efficiently collecting semantically labeled demonstrations, and propose a semantic-motion-decoupled framework that couples object detection with a bounding-box-guided diffusion policy; a first-frame anchoring mechanism keeps execution robust to missed detections and noisy boxes. We find that generalization follows a bounded, saturating data-scaling law with diminishing returns, validated on four real-world tasks with 6,400 demonstrations, and distill an object-diversity-first collection strategy reaching 85\% success in cluttered scenes. All data and code will be released.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
