arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新

PAPERDAILY REPORTS

阿里等造出40万件可动物体,AI先写生成器,每件API摊到5美分

作者:arXivDaily编辑部 论文中文资料arXiv 2610.40333 cs · cs.CV

论文导读

阿里巴巴、清华大学、北京大学、香港科技大学等机构提出RFW-A,让AI先写出一类物体的生成规则,再批量造出带关节的不同款式。团队构建了402410件资产;在200件摊销设定下,每件估算API成本约5美分,可供机器人在仿真中练习开门、拉抽屉。

要给机器人练开柜子,模型得真的能开

一个看起来逼真的柜子,未必适合训练机器人。柜门绕哪里转、抽屉沿哪里滑、部件碰到什么位置要停,都得有明确结构。否则机器人看到的只是一张漂亮外壳,无法练习真实交互。

RFW-A生成的不只是外观。每件资产还带有部件层级、关节、运动范围、碰撞几何和估计的物理属性。论文展示同一家族的柜子改变宽度、门型、抽屉布局和材料,活动部件仍按共享的装配规则连接。

图:同一柜子程序改变配色、宽度、抽屉数量和门型,箭头标示可动柜门。

这类变化很适合仿真训练:机器人需要面对不同把手、尺寸和运动方式,而不是把同一个柜子的动作重复背熟。论文中的实机操作实验,也从资产库检索并修改物体,再在仿真里收集示范训练策略。

AI只负责把规则写好,后面交给程序跑

逐个让大模型生成物体,每多造一件就要重新推理、执行和修错。团队把这笔工作移到类别层面:先从已有可执行程序中提取部件,整理哪些可以改变、哪些关系必须保持,再写成可复用的生成器。

以柜子为例,抽屉数可以变,但抽屉和柜体的尺寸要联动;门板换款,连接轴也不能随意漂走。系统会对多组参数和关节状态测试,检查部件是否穿插、连接是否有效、导出文件能否被解析。出错后,修的是规则或代码,而不只是这一张样本。

通过检查后,换一个随机种子就能运行程序生成新物体,不需要再为每件资产调用模型。它省下的是重复的模型推理,程序采样、几何构建和渲染仍需要计算。

图:流程图从已有部件代码与类别蓝图出发,经生成、检查和修复得到不同物体。

5美分是摊出来的,物理有效也有测试范围

项目给出的平均生成器创作API费用是10.62美元,分摊到200件约0.053美元。逐件智能体合成对照约1.24美元。它是特定采样和成功记录上的API费用估计,不包括程序执行成本,也不能理解成每件资产总生产成本只要5美分。

资源规模为402410件、531个类别。全量资产通过运动学检查;在200件子集上,把根部固定,分别在四种物理仿真器里做一秒的被动运行,稳定通过率为99.5%。这支持跨仿真器使用,却不等于所有物体都经受过长时间复杂操作。

更接近应用的实验是五项真实关节物体操作。项目报告,每项使用500段仿真示范,保持策略架构和训练预算一致,通过检索和逐步程序编辑调整资产后,五项任务平均实机成功率从62%到72%、再到80%。每项真实试验为10次,规模仍有限。

图:上排是五项操作的仿真环境,下排是对应实物,展示训练与真实评估对象的配对。

这些结果把资产生成与机器人使用接上了:当真实物体和现有模型差一点时,可以改门、把手或布局,再训练,而不是重新从头造一个模型。项目页目前将代码与数据下载入口标为待提供,不能把可浏览演示直接说成全部资源已经可下载。

参考资料

https://arxiv.org/abs/2610.40333

https://arxiv.org/html/2610.40333

https://brain-labbb.github.io/RFW_A_web/

↑