Orientation-Aware Leg Movement Learning for Action-Driven Human Motion Prediction
Toyohashi University of Technology（丰桥技术科学大学）；University of Fukui（福井大学）
本文提出一种朝向感知的腿部运动学习方法，通过动作条件下的中间插值生成自然过渡，解决动作驱动人体运动预测中朝向变化导致的过渡不自然问题，并在多个基准上达到最优性能。
2024-02-06 cs.CV cs.GR
Diverse Motion In-betweening with Dual Posture Stitching
Xiamen University（厦门大学）；Communication University of China（中国传媒大学）；Tencent Technology（腾讯科技）；Cardiff University（卡迪夫大学）
中间过渡是一种用于在给定初始和目标角色状态的情况下生成过渡的技术。大多数现有的作品需要多个（通常是$>$ 10）帧作为输入，这并不总是可访问的。我们的工作涉及一个重点突出但具有挑战性的问题：当给定两个帧（只有第一个和最后一个）时生成过渡。为了应对这种具有挑战性的情况，我们实现了我们的双向方案，该方案使用两个对抗自回归网络从开始帧和结束帧生成向前和向后的过渡，并将它们缝合在过渡的中间，那里没有严格的地面真实。基于条件变分自编码器（CVAE）的自回归网络通过寻找一对最优潜码来优化，使其输出之间的新拼接损失最小.结果表明，我们的方法在LaFAN 1和Human3.6m数据集上都取得了比现有方法更高的运动质量和更多样化的结果。
2023-03-25 cs.AI cs.CV cs.GR
SILK: Smooth InterpoLation frameworK for motion in-betweening A Simplified Computational Approach
SEED, Electronic Arts（SEED电子艺术公司）；Electronic Arts（电子艺术公司）
本文提出 SILK，一种仅用单个 Transformer 编码器的动作中间帧生成框架，并证明数据量、姿态表示和速度特征对动画质量的关键作用。
2025-06-09 cs.CV cs.GR cs.LG
Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（通用人工智能国家重点实验室，北京大学深圳研究生院）；Sony R&D Center（索尼研发中心）；Nanyang Technological University（南洋理工大学）
针对人体运动分析范式碎片化问题，提出Superman统一框架，通过视觉引导运动分词器创建跨模态运动词汇，训练单一MLLM架构处理多任务，实验表明该方法在运动任务中性能领先或具竞争力，为运动分析提供高效可扩展路径。
2026-07-08 cs.CV
Motion In-Betweening for Densely Interacting Characters
Durham University（杜伦大学）；University of Bristol（布里斯托大学）
针对密集交互角色动作补间的长时序质量下降问题，提出跨空间补间方法结合对抗学习与潜空间修正，实现真实可控的双角色长时序交互动作合成。
2025-09-30 cs.CV cs.GR
FLAME: Free-form Language-based Motion Synthesis & Editing
Korea University（高丽大学）；Kakao Brain
基于文本的运动生成模型由于其在游戏、动画或机器人行业中自动化运动生成过程的潜力而引起了人们的极大兴趣。在本文中，我们提出了一个基于扩散的运动合成和编辑模型命名为FLAME。受最近扩散模型成功的启发，我们将基于扩散的生成模型集成到运动域中。FLAME可以生成与给定文本对齐的高保真运动。此外，它还可以编辑运动的各个部分，包括帧和关节，而无需任何微调。FLAME涉及一个新的基于transformer的架构，我们设计，以更好地处理运动数据，这是至关重要的管理可变长度的运动，以及参加自由形式的文本。在实验中，我们证明了FLAME在三个文本运动数据集上实现了最先进的生成性能：HumanML3D，BABEL和KIT。我们还证明了FLAME的编辑能力可以扩展到其他任务，如运动预测或运动中间，这是以前所涵盖的专用模型。
2023-01-01 cs.CV cs.GR
Robust Motion In-betweening
Polytechnique Montreal（蒙特利尔综合理工学院）；Mila（米拉研究所）；Ubisoft Montreal（育碧蒙特利尔）；McGill University（麦吉尔大学）；Element AI（Element AI公司）
在这项工作中，我们提出了一种新的，强大的过渡生成技术，可以作为一个新的工具，为3D动画，基于对抗循环神经网络。该系统合成高质量的运动，使用时间稀疏的关键帧作为动画约束。这让人想起传统动画管道中的中间插入工作，其中动画师在提供的关键帧之间绘制运动帧。我们首先表明，一个国家的最先进的运动预测模型不能很容易地转换成一个强大的过渡生成器时，只添加有关未来的关键帧的条件信息。为了解决这个问题，我们提出了两个新的附加嵌入修改器，它们在每个时间步应用于网络架构内部编码的潜在表示。一个修改器是到达时间嵌入，允许单个模型的过渡长度的变化。另一个是预定的目标噪声向量，其允许系统对目标失真具有鲁棒性，并且在给定固定关键帧的情况下对不同过渡进行采样。为了定性地评估我们的方法，我们提出了一个自定义的MotionBuilder插件，该插件使用我们的训练模型在生产场景中执行中间插入。为了定量评估过渡和推广到更长时间范围的性能，我们在广泛使用的Human3.6M数据集的一个子集和LaFAN 1上提供了定义良好的中间基准，LaFAN 1是一种更适合过渡生成的新型高质量运动捕捉数据集。我们将发布这个新的数据集以及这项工作，并附带用于重现我们的基线结果的代码。
2021-02-09 cs.CV cs.GR cs.LG
NeMF: Neural Motion Fields for Kinematic Animation
Yale University（耶鲁大学）；Adobe Research（奥多比研究院）
我们提出了一个隐式神经表示学习运动的时空空间。与以前将运动表示为离散序列样本的工作不同，我们建议将巨大的运动空间表示为随时间变化的连续函数，因此命名为神经运动场（NeMF）。具体来说，我们使用神经网络来学习这个函数的杂项集的运动，这是一个生成模型的时间坐标$t$和随机向量$z$控制的风格。然后将模型训练为具有运动编码器的变分自编码器（VAE）以对潜在空间进行采样。我们训练我们的模型与不同的人类运动数据集和四足动物数据集，以证明其通用性，并最终部署它作为一个通用的运动之前，解决任务不可知的问题，并显示其优越性，在不同的运动生成和编辑应用程序，如运动插值，中间，和重新导航。更多细节可以在我们的项目页面上找到：https://cs.yale.edu/homes/che/projects/nemf/。
2022-10-09 cs.CV cs.GR
Single Motion Diffusion
Tel-Aviv University（特拉维夫大学）
针对运动领域数据有限的问题，提出轻量单运动扩散模型SinMDM，通过带局部注意力的浅层扩散网络学习单条运动序列模式，可在推理阶段实现多种运动合成应用，效果与时空效率均优于现有方法。
2023-06-13 cs.AI cs.CV cs.GR
Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening
Shanghai Jiao Tong University（上海交通大学）
人体运动合成是一个长期存在的问题，在数字孪生和Metaverse中有各种应用。然而，现代基于深度学习的运动合成方法几乎不考虑合成运动的物理可扩展性，因此它们通常产生不真实的人体运动。为了解决这个问题，我们提出了一个系统“Ancheton2Humanoid”，它在测试时通过在物理模拟器中正则化合成的骨架运动来执行面向物理的运动校正。具体来说，我们的系统包括三个连续的阶段：（I）测试时间运动合成网络适应，（II）骨架人形匹配和（III）基于强化学习（RL）的运动模仿。阶段I引入了测试时自适应策略，该策略通过优化骨骼关节位置来提高合成的人体骨骼运动的物理可扩展性。第二阶段采用解析逆运动学策略，将优化后的人体骨骼运动转化为物理仿真器中的人形机器人运动，然后将转化后的人形机器人运动作为参考运动，供强化学习策略进行仿真。第三阶段介绍了一个课程的残余力控制策略，它驱动人形机器人模仿复杂的转换参考运动，按照物理定律。我们验证我们的系统上一个典型的人体运动合成任务，运动之间。在具有挑战性的LaFAN 1数据集上的实验表明，我们的系统在物理可扩展性和准确性方面都明显优于以前的方法。代码将在以下网站发布以供研究：https://github.com/michaelliyunhao/Skeleton2Humanoid
2022-10-09 cs.CV
Towards Synthesized and Editable Motion In-Betweening Through Part-Wise Phase Representation
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）；University of Hong Kong（香港大学）
针对现有动作补间方法忽略身体部位表示的问题，提出在身体部位级别建模动作风格的框架，利用周期性自编码器提取部位相位并结合流形学习与条件生成技术，实现了更灵活可控且高质量的风格化动作合成。
2025-08-13 cs.CV
Controllable Long-term Motion Generation with Extended Joint Targets
Cinamon Inc.（Cinamon公司）
COMET通过扩展目标关节实现可控的长期运动生成，利用高效Transformer基于条件VAE实现精确交互控制，并通过参考引导反馈机制确保长期稳定性。
2025-12-04 cs.CV
Feed-forward Motion In-betweening for Any 4D
Waseda University（早稻田大学）；AIST（产业技术综合研究所）；Durham University（杜伦大学）
提出一种基于关键帧条件的前馈插值框架，利用网格VAE和MMDiT骨干的整流流模型，实现任意4D网格的快速运动插值，在DyMesh16和DyMesh32上表现优异。
2026-06-23 cs.CV
A Unified Conditional Flow for Motion Generation, Editing, and Intra-Structural Retargeting
ByteDance（字节跳动）
本文提出一种统一的条件流框架，用于运动生成、编辑和内部结构重定向，通过条件传输实现文本驱动的运动编辑和结构重定向，提升结构一致性。
2026-09-14 cs.AI cs.CV cs.GR
OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation
介绍用于全身人类运动生成的OmniMotion-X框架，利用自回归扩散变换器，提出参考运动等方法，构建数据集并采用新训练策略，超越现有方法，在多模态任务中表现出色，可交互式生成逼真连贯可控的长时间运动。
2026-07-21 cs.CV
Learning Context-Adaptive Motion Priors for Masked Motion Diffusion Models with Efficient Kinematic Attention Aggregation
Department of Computer Science, Hong Kong Baptist University（计算机科学系，香港 Baptist 大学）
MMDM通过高效运动学注意力聚合机制，学习上下文自适应的运动先验，实现遮蔽运动数据的高效重建与生成。
2026-03-08 cs.CV
HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models
ShanghaiTech University（上海科技大学）；Tencent（腾讯）
针对现有手部数据集交互弱、数据稀缺的问题，提出HandDiffuse12.5M数据集和基于扩散模型的HandDiffuse方法，实现可控双手交互运动生成，性能优于现有技术。
2025-04-23 cs.CV
Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation
本文提出Motion Dreamer框架，通过分离运动推理与视觉合成，解决视频生成中边界条件运动推理的问题，提升运动合理性与视觉真实性。
2026-03-12 cs.AI cs.CV
Executing your Commands via Motion Diffusion in Latent Space
Tencent PCG（腾讯平台与内容事业群）；Fudan University（复旦大学）
针对条件人体运动生成任务，提出基于运动潜在空间的扩散模型MLD，通过VAE提取低维潜在表示并在其上执行扩散，显著提升了生成质量并大幅降低了计算开销。
2023-05-19 cs.CV cs.GR
AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, China（中国科学院智能信息处理重点实验室（中国科学院计算技术研究所，中国））；University of Chinese Academy of Sciences, China（中国科学院大学）
提出AnyMo框架，结合残差FSQ运动分词器和可扩展掩码建模Transformer，利用大规模多模态对齐数据集OmniHuMo实现任意模态组合下的高质量人体运动生成。
2026-10-30 cs.AI cs.CV
MMM: Generative Masked Motion Model
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Central Florida（中佛罗里达大学）
本文提出 MMM，一种基于掩码运动模型的文本到运动生成范式，通过运动分词器和条件掩码 Transformer 实现高保真、高速生成，并支持身体部位修改、运动中间帧生成和长序列合成等编辑功能。
2024-03-28 cs.AI cs.CV cs.LG
Controllable Dance Generation with Style-Guided Motion Diffusion
本文提出Style-Guided Motion Diffusion方法，通过整合Transformer架构与风格调制模块，实现风格引导的舞蹈生成，提升舞蹈生成的可控性和风格一致性。
2026-02-10 cs.CV cs.MM cs.SD
DivDiff: A Conditional Diffusion Model for Diverse Human Motion Prediction
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出条件扩散模型DivDiff，通过DCT与transformer编码观测运动作为条件，并设计多样化强化采样函数DRSF施加骨骼约束，在Human3.6M和HumanEva-I上同时提升人体运动预测的多样性与准确性。
2024-08-16 cs.AI cs.CV
LongDanceDiff: Long-term Dance Generation with Conditional Diffusion Model
Tencent（腾讯）
针对长期3D舞蹈生成的冻结等问题，提出基于transformer的条件扩散模型LongDanceDiff，结合部分加噪、互信息最小化及空间约束策略，在效果上优于现有最优方法。
2023-08-23 cs.AI cs.CV
Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
由于角色之间的交互复杂多样，合成多角色交互是一项具有挑战性的任务。特别是，角色之间的精确时空对齐需要产生紧密的互动，如舞蹈和战斗。在生成多角色交互中的现有工作集中于针对给定序列生成单一类型的反应性运动，这导致合成运动缺乏多样性。在本文中，我们提出了一种新的方法来创建现实的人类反应运动，这是不存在于给定的数据集混合和匹配不同类型的密切的相互作用。我们提出了一个条件层次生成对抗网络与多热类嵌入生成混合和匹配反应运动的追随者从一个给定的运动序列的领导者。实验进行噪声（基于深度）和高质量（MoCap为基础的）的相互作用数据集。定量和定性的结果表明，我们的方法优于国家的最先进的方法在给定的数据集。我们还提供了一个增强的数据集与现实的反应运动，以刺激未来在这一领域的研究。代码可在https://github.com/Aman-Goel1/IMM上获得
2022-08-04 cs.CV cs.GR
Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation
Meta AI
提出Make-An-Animation模型，通过两阶段训练（大规模图文数据预训练+运动捕捉数据微调）和类文本到视频的U-Net架构，解决小数据导致的泛化不足问题，实现SOTA文本到3D人体运动生成。
2023-05-16 cs.AI cs.CV
QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation
Fudan University（复旦大学）
本文研究了条件人体运动动画（cHMA）的任务。给定源图像和驾驶视频，模型应该动画化新的帧序列，其中源图像中的人应该执行与来自驾驶视频的姿势序列类似的运动。尽管生成对抗网络（GANs）方法在图像和视频合成中取得了成功，但由于难以有效利用图像或姿势等条件引导信息并生成具有良好视觉质量的图像，因此进行cHMA仍然非常具有挑战性。为此，本文提出了一种新的模型，学习量化，拼字，和工艺（QS-Craft）的条件人体运动动画。关键的新颖性来自新引入的三个关键步骤：量化、拼字和工艺。特别是，我们的QS-Craft在其结构中使用了Transformer来利用注意力架构。引导信息被表示为从驾驶视频提取的姿势坐标序列。在人体运动数据集上进行的大量实验验证了该模型的有效性。
2022-03-22 cs.CV
Learning Human Motion with Temporally Conditional Mamba
FPT Software AI Center（FPT软件人工智能中心）；University of Liverpool（利物浦大学）；Vienna University of Technology（维也纳技术大学）；University of Arkansas（阿肯色大学）；National University of Singapore（新加坡国立大学）
提出时间条件Mamba模型，将条件信息融入循环动态，改善人体运动生成中的时间对齐、真实感与条件一致性。
2025-10-14 cs.CV
F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
Zhejiang University（浙江大学）；International Design Institute of Zhejiang University（浙江大学国际设计研究院）
作为一个条件生成问题，人脸动画的目的是合成连续的人脸图像从一个单一的源图像驱动的一组条件的人脸运动。先前的工作主要将面部运动建模为具有1D或2D表示的条件（例如，动作单元、情感代码、地标），这在一些复杂场景中，例如连续生成和大姿态变换，常常导致低质量的结果。为了解决这个问题，条件应该满足两个要求，即，运动信息保持和几何连续性。为此，我们提出了一种新的表示的基础上的3D几何流，称为面部流，表示在任何姿势的人脸的自然运动。与以往的其他条件相比，所提出的面部流很好地控制了面部的连续变化。之后，为了利用人脸流进行人脸编辑，我们建立了一个合成框架，生成具有条件人脸流的连续图像。为了充分利用人脸流的运动信息，设计了一个分层条件框架，以分层的方式将从图像中提取的多尺度外观特征和从流中提取的运动特征相结合。然后，框架将多个融合特征逐步解码回图像。实验结果表明，我们的方法相比，其他国家的最先进的方法的有效性。
2022-05-13 cs.AI cs.CV
AnyI2V: Animating Any Conditional Image with Motion Control
Fudan University（复旦大学）；DAMO Academy, Alibaba group（阿里达摩院）；Hupan Lab（虎扑实验室）
AnyI2V提出免训练框架，用用户定义的运动轨迹动画化任意条件图像，支持网格、点云等ControlNet不支持的模态及混合条件输入，实现灵活的空间与运动控制视频生成。
2025-07-03 cs.CV
FacEDiT: Talking Head Video Editing via Facial Motion Infilling
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
FacEDiT通过语音条件面部运动填充框架，实现说话人脸编辑与生成的统一，具备准确的语音对齐和强身份保持性。
2026-11-06 cs.AI cs.CV
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Microsoft Research Asia（微软亚洲研究院）
针对图像条件视频生成中运动连贯性与采样效率的问题，提出LaMD框架，通过运动分解视频自动编码器压缩运动表示，结合扩散运动生成器高效生成真实运动，在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
Decouple Content and Motion for Conditional Image-to-Video Generation
Peking University（北京大学）；Chinese Academy of Science（中国科学院）；Kuaishou Technology（快手科技）
针对条件式图像到视频生成中像素空间方法运动一致性差、效率低的问题，提出将RGB像素解耦为空间内容与时间运动，基于3D-UNet扩散模型预测运动并扭曲起始图像，在不增加模型复杂度的同时提升生成效果与效率。
2023-12-14 cs.CV
Conditional Latent Diffusion Model with Fourier-based Motion Modelling for Virtual Population Synthesis
Centre for Computational Imaging and Modelling in Medicine (CIMIM)（计算医学成像与建模中心）；University of Manchester（曼彻斯特大学）；Christabel Pankhurst Institute（克里斯塔贝尔·潘克赫斯特研究所）；Department of Computer Science（计算机科学系）；Division of Informatics, Imaging & Data Sciences（信息学、成像与数据科学分会）；Department of Electrical & Electronic Engineering（电子与电气工程系）；NIHR Manchester Biomedical Research Centre, Manchester Academic Health Sciences Centre, University of Manchester（尼日利亚卫生研究委员会曼彻斯特生物医学研究中心、曼彻斯特学术健康科学中心、曼彻斯特大学）
提出4D F-MeshLDM框架，结合卷积网格VAE、截断傅里叶级数运动参数化和条件扩散先验，实现可控的3D+t心脏网格序列生成，在UK Biobank数据上优于基线方法。
2026-06-18 cs.AI cs.CV
Long-Term TalkingFace Generation via Motion-Prior Conditional Diffusion Model
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Tongji University（同济大学）；Peking University（北京大学）；Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）
针对长期TalkingFace生成中头部运动不一致、表情同步性差等问题，提出运动先验条件扩散模型MCDM，结合存档与当前片段运动先验及时间注意力机制，提升运动预测与时间一致性，还发布多语言数据集TalkingFace-Wild。
2025-02-13 cs.CV
Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；ShengShu（升数）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对图像到视频扩散模型因条件图像泄漏导致运动不足的问题，提出从较早时间步生成并采用Analytic-Init初始噪声分布及TimeNoise训练噪声策略，在开放域基准和UCF101上提升运动分数与精度。
2024-11-06 cs.AI cs.CV
Sketch2Anim: Towards Transferring Sketch Storyboards into 3D Animation
University of Edinburgh（爱丁堡大学）；Snap Inc.（Snap公司）；Northeastern University（东北大学）
针对2D分镜草图转化为3D动画的难题，提出Sketch2Anim框架，通过3D条件运动生成器与神经映射器实现草图到3D运动的精准控制与直接编辑。
2025-04-27 cs.CV cs.GR
FMD-cGAN: Fast Motion Deblurring using Conditional Generative Adversarial Networks
IIT Gandhinagar（印度理工学院甘地讷格尔分校）；LNMIIT Jaipur（LNM信息技术学院斋浦尔）
在本文中，我们提出了一个快速运动去模糊条件生成对抗网络（FMD-cGAN），有助于在一个单一的图像盲运动去模糊。FMD-cGAN在去模糊图像后提供了令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样，GANs也存在模型大小（参数）和计算量大的问题。在资源受限的设备（如移动设备和机器人）上部署模型并不容易。在基于MobileNet的架构的帮助下，该架构由依赖可分离卷积组成，我们减少了模型的大小和推理时间，而不会损失图像的质量。更具体地说，与最接近的竞争对手相比，我们将模型尺寸缩小了3 - 60倍。由此产生的压缩去模糊cGAN比其最接近的竞争对手更快，甚至定性和定量结果都优于最近提出的各种最先进的盲运动去模糊模型。我们还可以将我们的模型用于实时图像去模糊任务。在标准数据集上的实验表明了该方法的有效性。
2021-12-09 cs.CV eess.IV
GeoDiffMM: Geometry-Guided Conditional Diffusion for Motion Magnification
School of Computer Science（计算机科学学院）；Information Engineering（信息工程）；Hefei University of Technology（合肥工业大学）
GeoDiffMM提出一种基于扩散的拉格朗日运动放大框架，利用光流作为几何线索，通过噪声自由光流增强策略和扩散运动放大器，实现结构一致的运动放大，提升微运动放大效果。
2026-03-24 cs.CV
Personality-Driven Gaze Animation with Conditional Generative Adversarial Networks
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
我们提出了一种生成对抗学习方法来合成给定个性的凝视行为。我们使用现有的数据集对模型进行训练，该数据集包括42名参与者执行日常任务的眼动跟踪数据和个性特征。考虑到大五人格特质（开放性、外向性、宜人性和神经质）的值，我们的模型生成了由凝视目标、眨眼时间和瞳孔尺寸组成的时间序列数据。我们使用生成的数据来合成游戏引擎上的虚拟代理的注视运动。
2020-11-11 cs.CV cs.GR
Dynamic Facial Expression Generation on Hilbert Hypersphere with Conditional Wasserstein Generative Adversarial Nets
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Faculty of Sciences（理学院）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
在这项工作中，我们提出了一种新的方法来生成视频的六个基本的面部表情给定一个中性的人脸图像。我们建议利用面部几何建模的面部地标运动作为曲线编码的点上的超球体。通过提出一个条件版本的流形值Wasserstein生成对抗网络（GAN）的运动生成的超球面上，我们学习的分布不同类的面部表情动态，我们合成新的面部表情运动。通过使用另一个条件生成对抗网络编辑纹理信息，可以将所得到的运动转换为地标序列，然后转换为图像序列。据我们所知，这是第一个工作，探讨流形值表示与GAN，以解决动态面部表情生成的问题。我们在两个公共数据集上定量和定性地评估了我们提出的方法; Oulu-CASIA和MUG面部表情。我们的实验结果表明，我们的方法在生成具有连续运动，逼真的外观和身份保护的逼真视频的有效性。我们还展示了我们的动态面部表情生成，动态面部表情传输和数据增强训练改进的情感识别模型的框架的效率。
2020-05-28 cs.CV
GenM$^3$: Generative Pretrained Multi-path Motion Model for Text Conditional Human Motion Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
针对多源动作数据异构问题，提出GenM$^3$框架，通过MEVQ-VAE和多路径Transformer学习统一表示，并在整合11个数据集后取得HumanML3D最优FID及IDEA400零样本泛化。
2025-07-27 cs.CV
T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design
UC Santa Barbara（加州大学圣芭芭拉分校）；UC Los Angeles（加州大学洛杉矶分校）；Amazon AGI（亚马逊人工智能实验室）；University of Waterloo（滑铁卢大学）
本文提出 T2V-Turbo-v2，通过整合高质量数据、奖励模型反馈和条件引导至一致性蒸馏过程，显著提升了扩散式 T2V 模型的后训练效果，在 VBench 上以 85.13 分超越 Gen-3 和 Kling 等专有系统。
2025-09-16 cs.AI cs.CV
Intraoperative Organ Motion Models with an Ensemble of Conditional Generative Adversarial Networks
University College London（伦敦大学学院）；University of Oxford（牛津大学）
在本文中，我们描述了如何从单个术前MR图像直接生成患者特定的超声探头诱导的前列腺运动模型。我们的运动模型允许从密集的位移场的条件分布采样，由一个生成神经网络编码的医疗图像的条件，并接受随机噪声作为额外的输入。生成网络通过具有第二判别神经网络的极小极大优化来训练，第二判别神经网络的任务是将生成的样本与训练运动数据区分开。在这项工作中，我们提出1）联合优化第三个预处理输入图像的调节神经网络，可以有效地提取患者特定的特征进行调节; 2）将单独训练的多个生成模型与预先分离的训练数据集相结合，可以充分缓解模式坍塌的问题。使用来自143名真实患者的诊断T2加权MR图像和来自经直肠超声探头压力引起的术中前列腺运动有限元模拟的73，216个3D密集位移场进行训练，所提出的模型产生了物理上合理的前列腺特定患者运动。捕获生物力学模拟运动的能力进行了评价，使用两个错误代表模型的一般性和特异性。根据10倍交叉验证计算的中位值分别为2.8+/-0.3 mm和1.7+/-0.1 mm。我们的结论是，所介绍的方法证明了应用最先进的机器学习算法从患者图像中生成器官运动模型的可行性，并显示出对未来研究的重大承诺。
2017-09-05 cs.CV cs.LG
Emotion-Conditioned Short-Horizon Human Pose Forecasting with a Lightweight Predictive World Model
本文研究了情感嵌入对短周期姿态预测的辅助作用，提出轻量级自回归预测世界模型，结合姿态关键点与情感嵌入，提升情感驱动动作序列的预测性能。
2026-04-26 cs.AI cs.CV
SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
针对现有音频驱动唇同步方法训练流程复杂、运动自然度有限的问题，提出条件视频扩散框架SayAnything，通过三个专用模块平衡latent空间条件信号，实现无需额外监督的精确控制，生成高真实度视频且泛化至动画角色。
2025-02-17 cs.CV
FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
本文提出FreeMotion框架，通过条件动作分布统一单人和多人动作生成，并设计生成与交互模块解耦过程，实现无人数限制的动作合成，实验验证其优越性能。
2024-05-24 cs.CV
Text-based Talking Video Editing with Cascaded Conditional Diffusion
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
提出级联条件扩散框架，分音频到稠密地标运动和运动到视频两阶段，实现高效、身份保持的文本驱动说话视频编辑。
2024-07-20 cs.CV
Physics-Informed Conditional Diffusion for Motion-Robust Retinal Temporal Laser Speckle Contrast Imaging
本文提出RetinaDiff框架，通过相位相关注册和条件扩散模型实现运动鲁棒的视网膜时间激光散斑对比成像，提升有限帧下的结构连续性和统计稳定性。
2026-10-07 cs.CV
Implicit Neural Representations for Variable Length Human Motion Generation
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory Inc.（电装IT实验室株式会社）
提出了一种基于变分隐式神经表征的动作条件下人体运动生成方法。变分形式主义使动作条件分布的INR，从中可以很容易地采样表示，以产生新的人体运动序列。我们的方法提供了可变长度的序列生成的建设，因为INR的一部分是优化的任意长度的整个序列的时间嵌入。相比之下，以前的作品报道的困难与建模可变长度的序列。我们确认，我们的方法与Transformer解码器优于所有相关的方法HumanAct 12，NTU-RGBD，和UESTC数据集的现实主义和多样性的生成的运动。令人惊讶的是，即使我们的方法与MLP解码器始终优于最先进的基于变换器的自动编码器。特别是，我们表明，由我们的方法产生的可变长度的运动比由国家的最先进的方法在现实主义和多样性方面产生的固定长度的运动。代码在https://github.com/PACerv/ImplicitMotion。
2022-07-15 cs.CV
Conditional MoCoGAN for Zero-Shot Video Generation
Chiba University（千叶大学）
我们提出了一个条件生成对抗网络（GAN）模型的zero-shot视频生成。在这项研究中，我们探讨了zero-shot条件生成设置。换句话说，我们从缺少类的训练样本中生成看不见的视频。该任务是条件数据生成的扩展。其关键思想是学习GAN的潜在空间中的解纠缠表示。为了实现这一目标，我们基于我们的模型的运动和内容分解的GAN和条件GAN的图像生成。我们构建模型以找到更好的解纠缠表示并生成高质量的视频。我们证明了我们提出的模型的有效性，通过实验上的魏茨曼动作数据库和MUG面部表情数据库。
2021-09-13 cs.CV
LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment
ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Hong Kong（香港大学）；University of Adelaide（阿德莱德大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有数据集局限，提出包含真实3D环境动作与自由文本的LaserHuman数据集，并设计多条件扩散模型生成语义一致且物理合理的人体动作，达到最先进性能。
2024-03-21 cs.CV
Conditional Generative Adversarial Networks for Speed Control in Trajectory Simulation
University of Passau（帕绍大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
运动行为是由几个因素驱动的-目标，邻近代理的存在和行动，社会关系，物理和社会规范，环境及其可变特性，等等。大多数因素是无法直接观察到的，必须根据背景进行建模。因此，轨迹预测是一个困难的问题，近年来越来越受到研究人员的关注。运动预报在实际应用中必须具有现实性、多样性和可控性。尽管越来越多地关注多模态轨迹生成，但大多数方法仍然缺乏用于显式控制数据生成的不同模式的手段。此外，大多数努力都在设计特殊的机制来学习潜在空间中的相互作用方面投入了大量资金。我们提出了条件速度GAN（CSG），它允许控制生成不同的和社会上可接受的轨迹，基于用户控制的速度。在预测过程中，CSG从潜在空间预测未来速度，并根据它来调节其生成。CSG在基准距离度量方面与最先进的GAN方法相当，同时对于不同环境（如快节奏或慢节奏环境）的仿真和数据增强来说简单而有用。此外，我们比较了不同的聚合机制的效果，并表明，一个天真的方法串联工程可比的注意力和池的替代品。
2021-03-21 cs.CV
Human Motion Generation: A Survey
Peking University（北京大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
本文首次全面综述人体运动生成，涵盖文本、音频和场景三种条件生成方法，总结数据集与评估指标，并展望未来研究方向。
2023-11-15 cs.CV
