上海人工智能实验室、复旦大学和中国科学技术大学等机构联合提出MegaParts,用自回归大模型生成由语义零件组成的3D物体。系统支持最多300个部件、最长25.6万Token序列,生成的门、抽屉、钢琴键等部件保持独立,便于后续移动、替换和制作动画。
传统3D生成更擅长输出一个整体网格。它可以看起来完整,却很难单独打开柜门、旋转把手或替换轮子。部件级生成保留物体结构,但复杂物体包含数百个零件,每个零件若使用固定长度编码,序列和显存会迅速失控。
简单零件少用Token,复杂几何多分配预算
MegaParts先训练向量量化形状Tokenizer,将每个零件压缩成离散几何Token。分配长度不再固定,而是根据重建复杂度调整:平整门板只需少量Token,曲面装饰和精细结构得到更长编码,在整体预算下尽量保住细节。
MegaParts为不同复杂度的零件分配从16到4096个几何Token。
这种压缩不是单纯追求序列短。论文通过重建目标约束Token使用,避免把小部件压缩到失去形状。实验显示,紧凑离散表示同时改善规模扩展和网格质量,为自回归模型处理长3D序列提供基础。
一个序列同时描述整体、部件和局部形状
模型依次生成物体整体边界框、各部件边界框和零件形状Token。所有信息位于统一结构化序列中,大语言模型能够学习“把手属于门板”“琴键排列在琴体前方”等组合关系,而不是独立生成后再强行拼接。
MegaParts在统一自回归序列中生成物体边界、部件边界和局部几何。
配合长上下文训练,系统把部件数量扩展到300、序列长度扩展到256K。论文比较自回归和扩散基线后报告更高网格质量,但结论基于其数据、Tokenizer和评价指标,不能直接等同于工业CAD精度或机械可制造性。
零件保持独立,生成后还能继续编辑
项目样例中的钢琴、房屋和家具由大量局部结构组成。琴键、支撑柱、门和把手不只是表面纹理,而是独立几何部件,可以旋转、移动或设置关节。这让生成结果更适合动画、游戏和机器人仿真。
生成的钢琴与家具保持可单独运动的结构部件。
复杂室内结构还包含嵌套关系,例如柜体中的层板、餐具和门。MegaParts展示了多部件组合场景,但没有解决材质、受力、装配公差和功能逻辑等全部问题。外形合理的铰链不一定真的能按物理约束转动。
256K上下文在这里不是为了塞入更长文字,而是容纳层层展开的几何离散序列。零件数量越多,每个部件的位置、范围和形状都需要保持前后一致;一个早期边界框出错,后续局部网格可能整体漂移。自回归生成能够明确保留结构顺序,代价则是长序列推理时间和错误累积。
动态Token分配缓解了这一矛盾。若每个零件都固定使用4096个Token,300个部件会形成难以承受的序列;如果统一压到很短,小把手和曲面结构又会丢失。MegaParts让重建难度决定预算,把计算集中到几何复杂处。这一思路也可以延伸到场景生成:视觉和功能重要的部件获得更多表示容量,简单平面保持紧凑。
论文展示的结果更接近可编辑数字资产,而非可直接投产的工程模型。工业设计还要求尺寸公差、材料、连接方式和制造规则,机器人仿真则关心质量、摩擦与碰撞体。MegaParts解决了“大量部件如何共同生成”的表示与建模问题,为这些约束留下接口,但并未宣称已经替代CAD设计师。
大量局部零件组合成结构完整的3D场景。
下一步连接动画、仿真与设计约束
部件级输出为后续工具留下接口。游戏制作可以直接给门、轮子和抽屉绑定动作,机器人仿真可以把可交互部位转换成操作对象,设计师也能只重生成一个局部而不破坏整件物体。
进一步落地需要加入部件层级、关节类型、碰撞和材料约束,并测试更长序列下的一致性。MegaParts证明自回归路线能够跨过数百部件的规模门槛,下一步要回答的是这些零件能否不仅“长得对”,还在真实工作流中“用得上”。