Rhythm is a Dancer: Music-Driven Motion Synthesis with Global Structure
University of Cyprus(塞浦路斯大学);CYENS Centre of Excellence(CYENS卓越中心);Tel-Aviv University(特拉维夫大学);Reichman University(赖希曼大学)
本文提出包含姿态、动机和编舞三层级的音乐驱动舞蹈动作合成框架,通过 LSTM、动作感知损失与全局动作编排,实现节拍同步、内容可控且符合舞种整体结构的长期自然动作生成。
2021-11-23 cs.GR cs.LG
Learning to Generate Diverse Dance Motions with Transformer
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创新技术研究所);Beihang University(北京航空航天大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Pinscreen
随着疫情的持续,虚拟音乐会和使用音乐家数字化表演的现场活动在大型多人在线世界中越来越受欢迎。然而,精心设计的舞蹈动作是非常复杂的动画,将涉及昂贵和繁琐的生产过程。除了使用复杂的动作捕捉系统外,它通常还需要动画师、舞蹈演员和编舞者之间的协作。我们介绍了一个完整的舞蹈动作合成系统,它可以生成复杂的和高度多样化的舞蹈序列给定的输入音乐序列。由于动作捕捉数据是有限的舞蹈动作和风格的范围内,我们介绍了一个庞大的舞蹈动作数据集,是从YouTube视频创建的。我们还提出了一种新的双流运动Transformer生成模型,它可以生成运动序列具有很高的灵活性。我们还介绍了新的评价指标的合成舞蹈动作的质量,并证明我们的系统可以优于国家的最先进的方法。我们的系统为虚拟音乐会提供适合大量人群的高质量动画,也可以作为专业动画管道的参考。最重要的是,我们证明了大量的在线视频可以有效地训练舞蹈动作模型。
2020-08-18 cs.CV cs.GR
Learning to dance: A graph convolutional adversarial network to generate realistic dance motions from audio
UFMG(米纳斯吉拉斯联邦大学);UFOP(欧鲁普雷图联邦大学);INRIA(法国国家信息与自动化研究所)
通过学习技术合成人体运动正在成为一种越来越受欢迎的方法,以减轻新的数据捕获的要求,以产生动画。从音乐中学习自然移动,即,舞蹈是人类经常毫不费力地表演的更复杂的动作之一。每个舞蹈动作都是独特的,但这些动作保持了舞蹈风格的核心特征。由于运动流形结构的非欧几何性,传统的卷积神经网络和递归神经网络模型都存在训练和变异性问题,本文提出了一种基于图卷积网络的新方法来解决从音频信息中自动生成舞蹈的问题。我们的方法使用了一种以输入音乐音频为条件的对抗性学习方案,以创建自然的运动,保留不同音乐风格的关键动作。我们用生成方法和用户研究的三个定量指标来评估我们的方法。结果表明,在不同的实验中,所提出的GCN模型优于以音乐为条件的最先进的舞蹈生成方法。此外,我们的图卷积方法更简单,更容易训练,并且能够在定性和不同的定量指标方面生成更逼真的运动风格。它还提出了一个视觉运动感知质量相比,真正的运动数据。
2020-11-30 cs.CV cs.GR cs.SD
Dance Generation with Style Embedding: Learning and Transferring Latent Representations of Dance Styles
Fudan University(复旦大学);Bilibili(哔哩哔哩)
舞蹈编排是指根据人的潜意识知识创造舞蹈的舞步和动作,创造出的舞蹈动作一般具有风格特异性和连贯性。到目前为止,这种潜在的风格特定的知识,舞蹈风格不能明确地表示在人类语言中,还没有在以前的作品中学习的音乐到舞蹈生成任务。在本文中,我们提出了一个新的音乐舞蹈合成框架与可控的风格嵌入。这些嵌入是学习表示风格一致的运动学抽象的参考舞蹈剪辑,作为可控因素施加风格约束的舞蹈生成的潜在方式。因此,仅通过修改风格嵌入就可以将舞蹈风格转换为舞蹈动作。为了支持这项研究,我们建立了一个大型的音乐舞蹈数据集。定性和定量的评价表明,我们提出的框架的优势,以及通过风格嵌入从相同的音乐合成不同风格的舞蹈的能力。
2021-04-30 cs.GR cs.MM cs.SD
AI Choreographer: Music Conditioned 3D Dance Generation with AIST++
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
我们提出了AIST++,一个新的3D舞蹈动作和音乐的多模态数据集,以及FACT,一个全注意力跨模态Transformer网络,用于生成基于音乐的3D舞蹈动作。拟议的AIST++数据集包含1408个序列中5.2小时的3D舞蹈动作,涵盖了10种舞蹈类型,其中包括具有已知相机姿势的多视图视频-据我们所知,这是此类数据集中最大的数据集。我们表明,天真地应用序列模型,如Transformers,这个数据集的音乐条件的3D运动生成的任务,不产生令人满意的3D运动,以及与输入音乐相关。我们通过在其架构设计和监督中引入关键更改来克服这些缺点:FACT模型涉及一个具有全注意力的深度跨模态Transformer块,该块经过训练以预测$N$未来的运动。我们的经验表明,这些变化是生成长序列的现实舞蹈动作,以及调谐到输入音乐的关键因素。我们在AIST++上进行了大量的用户研究实验,我们的方法在定性和定量方面都优于最近的最先进的方法。
2021-07-31 cs.CV cs.GR cs.MM
DiffDance: Cascaded Human Motion Diffusion Model for Dance Generation
Alibaba Group(阿里巴巴集团);Beihang University(北京航空航天大学);BAAI(北京智源人工智能研究院);Skyworks(思佳讯)
本文提出级联扩散模型 DiffDance,通过音乐到舞蹈扩散、序列超分辨率、对比对齐及几何与动态损失约束,实现高分辨率长时长且与音乐对齐的逼真舞蹈生成,性能媲美最先进自回归方法。
2023-08-05 cs.CV cs.GR cs.SD
MDD: A Dataset for Text-and-Music Conditioned Duet Dance Generation
Purdue University(普渡大学)
本文提出MDD多模态双人舞数据集,整合620分钟专业动作捕捉、音乐与超10K条文本描述,并定义文本到双人舞和文本到舞蹈伴舞两个生成任务,提供基线评估以推动该方向研究。
2025-08-23 cs.CV cs.GR cs.MM
MIDGET: Music Conditioned 3D Dance Generation
Australian National University(澳大利亚国立大学)
本文提出MIDGET模型,结合VQ-VAE和GPT生成与音乐节奏匹配的高质量3D舞蹈,在AIST++数据集上达到最先进性能。
2024-04-18 cs.CV cs.GR cs.SD
MotionRAG-Diff: A Retrieval-Augmented Diffusion Framework for Long-Term Music-to-Dance Generation
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
针对长期音乐到舞蹈生成中时间连贯性与音乐对齐不足的问题,提出 MotionRAG-Diff 混合框架,通过跨模态对比学习、优化运动图检索与多条件扩散细化,实现高质量、高同步性的长期舞蹈生成。
2025-06-03 cs.CV cs.GR cs.SD
Listen to Rhythm, Choose Movements: Autoregressive Multimodal Dance Generation via Diffusion and Mamba with Decoupled Dance Dataset
Communication University of China(中国传媒大学)
本文提出LRCM框架,通过解耦舞蹈数据集实现多模态指导的扩散模型,结合Mamba模块实现流畅的长序列自回归生成,展示了在多模态输入和长序列生成中的潜力。
2026-04-07 cs.CV cs.GR cs.HC
Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by the Characteristic Dance Primitives
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Beijing Normal University(北京师范大学);Meshcapade(Meshcapade公司)
提出Lodge,一种由特征舞蹈原语引导的两阶段粗到细扩散网络,通过全局和局部扩散并行生成极长舞蹈序列,并利用Foot Refine Block优化动作真实感,在全局编舞与局部动作质量间取得平衡。
2024-04-20 cs.CV cs.GR cs.SD
InterDance:Reactive 3D Dance Generation with Realistic Duet Interactions
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Xiamen University(厦门大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室)
针对双人舞蹈交互动作生成质量低的问题,提出大规模数据集InterDance、全新运动表示法及基于扩散的交互细化引导框架,显著提升了双人舞蹈生成的真实感与质量。
2024-12-22 cs.CV cs.GR cs.MM
Transflower: probabilistic autoregressive dance generation with multimodal attention
Inria(法国国家信息与自动化研究所);Ensta ParisTech(巴黎高等先进技术学院);University of Bordeaux(波尔多大学);KTH Royal Institute of Technology(KTH皇家理工学院)
舞蹈需要熟练的复杂动作的组成,遵循音乐的节奏,音调和音色特征。形式上,生成以一段音乐为条件的舞蹈可以表示为以音频信号为条件的高维连续运动信号的建模问题。在这项工作中,我们做了两个贡献,以解决这个问题。首先,我们提出了一种新的概率自回归架构,该架构使用多模态Transformer编码器,以以前的姿势以及音乐上下文为条件,对未来姿势的分布进行建模。其次,我们介绍了目前最大的3D舞蹈运动数据集,获得了各种运动捕捉技术,包括专业和休闲舞者。使用这个数据集,我们通过客观指标和用户研究将我们的新模型与两个基线进行比较,并表明建模概率分布的能力以及能够参与大运动和音乐背景对于产生有趣,多样化和逼真的舞蹈是必要的。
2022-06-11 cs.GR cs.LG cs.SD
Single-Shot Freestyle Dance Reenactment
Facebook AI Research(Facebook人工智能研究);Tel-Aviv University(特拉维夫大学)
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况,其中目标人根据舞者的运动改变他们的姿势。在这项工作中,我们提出了一种新的方法,可以通过任意视频序列重新激活单个图像,在训练过程中看不到。该方法结合了三个网络:(i)分割映射网络,(ii)真实帧渲染网络,以及(iii)面部细化网络。通过将此任务分为三个阶段,我们能够获得一系列新颖的逼真帧,捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量,并且能够动画化不同的身体类型和外观,这些身体类型和外观是在具有挑战性的姿势中捕获的,如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
DuetGen: Music Driven Two-Person Dance Generation via Hierarchical Masked Modeling
Snap Inc.(Snap公司)
DuetGen提出两阶段分层掩码建模框架,从音乐生成交互式双人舞蹈,通过VQ-VAE和双变换器实现同步与协调,达到最先进性能。
2025-06-23 cs.CV cs.GR cs.SD
DanceAnyWay: Synthesizing Beat-Guided 3D Dances with Randomized Temporal Contrastive Learning
Purdue University(普渡大学);IIIT Naya Raipur(新赖布尔印度信息技术学院);Adobe Research(奥多比研究院)
DanceAnyWay通过节拍与重复两个层级解耦音乐特征,并结合随机化时序对比损失合成多样化且与音乐同步的3D舞蹈,在AIST++上显著优于现有基线。
2024-11-22 cs.GR cs.MM cs.SD
ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
本文提出基于扩散的 ChoreoMuse 框架,以 SMPL 参数为中介并结合 MotionTune 编码器,实现跨音乐风格与舞者特征、贴合节拍且风格可控的高保真舞蹈视频生成。
2025-07-26 cs.AI cs.CV cs.GR
Everybody Dance Now
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Humen, Inc.(Humen公司);UC Berkeley(加州大学伯克利分校)
本文提出了一种简单的方法“做我做”的运动转移:给定一个人跳舞的源视频,我们可以将该性能转移到一个新的(业余)目标后,只有几分钟的目标主体执行标准动作。我们将这个问题作为视频到视频的翻译,使用姿势作为中间表示。为了传输运动,我们从源主体中提取姿势,并应用学习的姿势到外观映射来生成目标主体。我们预测两个连续帧的时间相干的视频结果,并引入一个单独的管道逼真的人脸合成。虽然我们的方法非常简单,但它产生了令人惊讶的引人注目的结果(见视频)。这促使我们还提供了一个用于可靠的合成内容检测的取证工具,该工具能够将我们的系统合成的视频与真实数据区分开来。此外,我们还发布了首个开源视频数据集,可合法用于训练和运动传输。
2019-08-27 cs.CV cs.GR
MAGMA: Music Aligned Generative Motion Autodecoder
Georgia Institute of Technology(佐治亚理工学院)
针对音乐到舞蹈映射的难题,提出基于VQ-VAE和Transformer的两步生成方法,并比较不同音乐表示与位置编码,实现高质量、长序列、可定制的实时动作生成。
2023-09-03 cs.CV cs.GR cs.MM
Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis
Robotics Institute(机器人学院);Carnegie Mellon University(卡内基梅隆大学)
强化学习通过从运动捕捉数据中学习类人控制策略,在合成逼真的人类行为方面表现出很大的潜力。然而,要重现像芭蕾舞这样复杂的人类技能,或者稳定地模仿具有复杂过渡的长期人类行为,仍然非常具有挑战性。主要困难在于类人模型和真实人之间的动力学失配。也就是说,真实人类的运动对于类人模型在物理上可能是不可能的。为了克服动态失配,我们提出了一种新的方法,剩余力控制(RFC),增加了一个人形控制策略,通过添加外部剩余力到动作空间。在训练过程中,基于RFC的策略学习向人形机器人施加残余力,以补偿动力学失配并更好地模仿参考运动。广泛的动态运动的实验表明,我们的方法优于国家的最先进的方法在收敛速度和学习运动的质量。值得注意的是,我们展示了一个由RFC授权的基于物理的虚拟角色,可以执行高度敏捷的芭蕾舞动作,如旋转,阿拉伯式和jeté。此外,我们提出了一个双策略控制框架,其中运动学策略和基于RFC的策略协同工作,在没有任何任务指导或用户输入的情况下合成多模态无限时域人体运动。我们的方法是第一个成功地从大规模人体运动数据集(Human3.6M)中学习并生成各种长期运动的人形控制方法。代码和视频可在https://www.ye-yuan.com/rfc上获得。
2020-10-22 cs.CV cs.GR cs.LG