arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

一套模型让万种骨架动起来,普林斯顿等团队提出UniMate

作者:arXivDaily编辑部 arXiv 2609.05415 cs · cs.CV · cs.GR · cs.LG

论文导读

普林斯顿大学、加州大学伯克利分校、麻省理工学院和南洋理工大学团队提出UniMate:输入文字和一副目标骨架,同一个模型就能为人、四足动物、鸟、鱼、昆虫乃至机械结构生成动作。配套UniML3D汇集13006段动作;论文证明的是零样本跨拓扑迁移,精细空间控制仍有限。

过去每换一种骨架,就像换一种语言

常见3D动作生成器默认角色拥有相近关节数、层级和语义。人的“膝盖”能与另一个人的膝盖对应,换成蛇、翅膀或机械连杆,这套对应关系便失效。已有方案往往为一个物种单独训练,或在测试时先优化新的骨架表示;制作陌生角色时,数据与调参成本会重新出现。

UniMate把骨架看成有连接关系的关节图,而不是固定长度的关节表。模型用拓扑感知的局部信息描述每个关节,并在统一潜空间中学习文字、动作与骨架的关系。于是“奔跑”“飞翔”描述的是整体运动意图,具体由哪些关节实现,则由目标骨架结构约束。

图:项目页数据概览展示UniML3D中的人形、四足、鸟类、海洋生物、昆虫、植物和机械结构。

13006段动作被整理到同一套表示里

团队将多个4D动画来源清洗并统一,得到13006段动作、七类拓扑。关键不是简单把文件放在一起,而是把不同骨架的层级、关节属性和运动轨迹转换成模型可共同处理的结构,同时保留物种差异。训练时,文字条件帮助模型抓住语义,骨架条件负责限制动作如何落到目标结构。

推理时不需要目标骨架的动作样本,也不需要针对新角色继续微调。论文展示了从一种拓扑向明显不同拓扑迁移的结果:相同动作意图可落到人、龙、鸟、蛇形生物或机器人上,但运动形态会随关节连接自动改变。

图:论文跨拓扑结果图比较多类目标骨架上的动作生成,体现同一模型对不同连接结构的适配。

实验比的是陌生骨架能不能自然动起来

论文从动作语义匹配、运动质量和跨拓扑泛化等维度与专用或需要适配的方法比较。定量结果与用户研究均显示,统一模型在多类骨架上保持竞争力,尤其避免了测试时优化。消融实验还表明,若拿掉拓扑信息或统一表示,陌生骨架更容易出现关节方向错乱、肢体塌缩和运动僵硬。

图:论文补充材料的定性消融图展示不同模块被移除后,跨骨架动作质量如何变化。

下一步:把新角色接入成本继续压低

对游戏、动画和机器人仿真而言,价值不只在“一次生成”,而在资产库里出现新骨架时,不必重新训练一套生成器。它也为跨物种运动数据共享提供了统一接口:稀缺类别可以借用其他类别中相近的运动规律。

边界同样明确。模型仍受现有4D动画覆盖范围约束,论文也指出缺少原生的精细空间控制;生成“走到桌边并准确伸手”这类带位置、接触和物理约束的动作,不能只靠当前文字条件。下一步需要把环境、碰撞和目标轨迹纳入统一表示。

参考资料

https://arxiv.org/abs/2609.05415

https://linzhanmou.com/unimate/