Next-Scale 自回归模型用于文本到运动生成
Next-Scale Autoregressive Models for Text-to-Motion Generation
AI总结:
提出 MoScale 框架,通过从粗到细的时间分辨率分层生成运动,结合跨尺度和尺度内细化,实现高效、可扩展的文本到运动生成。
摘要:
自回归(AR)模型提供稳定高效的训练,但标准的下一 token 预测与文本条件运动生成所需的时间结构不太一致。我们引入 MoScale,一个下一尺度 AR 框架,从粗到细的时间分辨率分层生成运动。通过在最粗尺度提供全局语义并逐步细化,MoScale 建立了一个更适合长程运动结构的因果层次。为了提高在有限文本-运动数据下的鲁棒性,我们进一步结合了跨尺度层次细化以改进每个尺度的初始预测,以及尺度内时间细化用于选择性双向重新预测。MoScale 在文本到运动任务上实现了最先进的性能,具有高训练效率,能有效随模型大小扩展,并零样本泛化到多种运动生成和编辑任务。
英文摘要:
Autoregressive (AR) models offer stable and efficient training, but standard next-token prediction is not well aligned with the temporal structure required for text-conditioned motion generation. We introduce MoScale, a next-scale AR framework that generates motion hierarchically from coarse to fine temporal resolutions. By providing global semantics at the coarsest scale and refining them progressively, MoScale establishes a causal hierarchy better suited for long-range motion structure. To improve robustness under limited text-motion data, we further incorporate cross-scale hierarchical refinement for improving per-scale initial predictions and in-scale temporal refinement for selective bidirectional re-prediction. MoScale achieves SOTA text-to-motion performance with high training efficiency, scales effectively with model size, and generalizes zero-shot to diverse motion generation and editing tasks.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。