arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

腾讯中科大让AI自己挑零件,8万种形状练出自动3D装配

作者:arXivDaily编辑部 arXiv 2609.19872 cs · cs.CV · cs.GR

论文导读

中国科学技术大学、腾讯和香港科技大学团队提出PART:给它一个目标形状和零件库,模型会决定该选哪些部件、需要几个,再预测每块零件的六自由度姿态。团队用超过8万个形状训练,系统还能处理场景布局、图像目标和真实扫描输入,把找零件与拼形状合成一次预测。

过去先给零件,现在连零件都要自己找

不少3D装配研究默认组成目标的零件已经选好,算法只负责把它们摆到正确位置。真实工作流往往只有一个大零件库:沙发需要坐垫、扶手和支架,台灯需要灯罩、杆和底座,部件数量还随目标变化。

库里零件一多,组合数量会迅速爆炸。逐个尝试不仅慢,还要同时解决“选几个”“选哪块”“朝什么方向摆”三件事。PART把它们统一成集合预测,不要求输出保持固定长度。

图1:项目主图左侧是目标形状,中间是零件库,右侧是检索并摆放后的装配结果。

Transformer一次吐出部件和六自由度姿态

模型先编码目标形状和零件库,再用一组可学习查询同时预测零件身份、是否需要该位置,以及对应的平移和旋转。没有被使用的查询输出空项,因此不同目标可以自然得到不同数量的部件。

团队还把目标分割与姿态装配联合训练。目标上的每个区域会提示“哪类零件应该放在这里”,装配结果又反过来约束分割。推理后再用分割增强优化细调姿态,减少零件互相穿插或偏离目标表面的情况。

图2:方法图展示目标与零件特征如何进入Transformer查询,再输出零件和姿态。

从杯子、椅子到场景布局

数据集包含超过8万个形状。定性结果覆盖杯子、斧头、耳机、床、桌子、车辆和角色等对象,灰色形状是目标,彩色区域表示检索到的零件及其装配位置。系统不只复制库中完整对象,而是从多个部件组成近似目标。

图3:每组灰色目标下方是模型用彩色零件完成的装配。

论文还把输入扩展到二维图像、场景布局和真实扫描。扫描有缺失、噪声与不完整表面,模型仍可检索部件并形成结构化装配,但这些输出是数字几何结果,不等同于实体零件已经满足强度、公差和制造约束。

图4:论文展示面对真实扫描点云时的目标与装配结果。

下一步接上可制造性和机器人执行

PART先解决数字空间中的选件与摆放。面向工业设计,后续需要把材料、连接方式、碰撞、公差和库存价格加入目标;面向机器人,还要判断夹具是否能抓住零件、装配顺序是否可执行。把这些约束纳入预测后,自动装配才能从几何拼图走向可制造方案和真实操作计划。

另一项直接测试是扩大零件库并加入近似重复部件,观察检索速度、错选率和装配稳定性是否同时保持。

参考资料

https://arxiv.org/abs/2609.19872

https://arxiv.org/html/2609.19872

https://iambrc.github.io/PART-project-page/