arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.15904cs.CV
收藏

Unimotion:统一三维人体运动合成与理解

Unimotion: Unifying 3D Human Motion Synthesis and Understanding

Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)

Chuqiao Li, Julian Chibane, Yannan He, Naama Pearl, Andreas Geiger, Gerard Pons-moll

AI总结:

Unimotion是首个统一多任务人体运动模型,同时支持全局与帧级文本控制及帧级运动理解,并在HumanML3D上取得最先进结果,开辟了分层控制、运动描述生成和可编辑运动等新应用。

摘要:

我们提出了Unimotion,这是首个统一的多任务人体运动模型,能够同时实现灵活的运动控制和帧级运动理解。现有工作要么通过全局文本条件控制虚拟角色运动,要么使用细粒度的逐帧脚本进行控制,但尚无方法能同时完成这两项任务。此外,现有工作均无法输出与生成姿态配对的帧级文本。相比之下,Unimotion允许用户通过全局文本、局部帧级文本或同时使用两者来控制运动,从而提供更灵活的控制方式。重要的是,Unimotion是首个在设计上输出与生成姿态配对的局部文本的模型,使用户能够了解运动发生的内容和时间,这对广泛的应用场景是必要的。我们展示了Unimotion开辟的新应用:1)分层控制,允许用户在不同细节层级上指定运动;2)为现有MoCap数据或YouTube视频获取运动文本描述;3)支持可编辑性,从文本生成运动,并通过文本编辑来修改运动。此外,Unimotion在已建立的HumanML3D数据集上的帧级文本到运动任务中取得了最先进的结果。预训练模型和代码已发布在我们的项目页面上:https://coral79.github.io/uni-motion/。

英文摘要:

We introduce Unimotion, the first unified multi-task human motion model capable of both flexible motion control and frame-level motion understanding. While existing works control avatar motion with global text conditioning, or with fine-grained per frame scripts, none can do both at once. In addition, none of the existing works can output frame-level text paired with the generated poses. In contrast, Unimotion allows to control motion with global text, or local frame-level text, or both at once, providing more flexible control for users. Importantly, Unimotion is the first model which by design outputs local text paired with the generated poses, allowing users to know what motion happens and when, which is necessary for a wide range of applications. We show Unimotion opens up new applications: 1.) Hierarchical control, allowing users to specify motion at different levels of detail, 2.) Obtaining motion text descriptions for existing MoCap data or YouTube videos 3.) Allowing for editability, generating motion from text, and editing the motion via text edits. Moreover, Unimotion attains state-of-the-art results for the frame-level text-to-motion task on the established HumanML3D dataset. The pre-trained model and code are available available on our project page at https://coral79.github.io/uni-motion/.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑