Lookahead Anchoring: Preserving Character Identity in Audio-Driven Human Animation
KAIST(韩国科学技术院);Imperial College London(伦敦帝国学院)
提出前瞻锚定方法,利用未来关键帧作为方向性信标,解决音频驱动人体动画中的身份漂移,无需额外关键帧生成,平衡表现力与一致性,提升唇同步和身份保持。
2025-10-27 cs.CV cs.LG
I2V3D: Controllable image-to-video generation with 3D guidance
City University of Hong Kong(香港城市大学);Microsoft GenAI(微软生成式人工智能部门)
提出I2V3D框架,结合3D几何引导与生成模型,通过关键帧生成和免训练双向视频插值,实现单图到可控高质量视频的生成。
2025-03-12 cs.CV
KSDiff: Keyframe-Augmented Speech-Aware Dual-Path Diffusion for Facial Animation
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出KSDiff框架,通过双路径语音编码器和关键帧建立学习模块,提升语音驱动面部动画的唇同步和头部姿态自然度。
2026-04-11 cs.AI cs.CV cs.GR
Less is More: Improving Motion Diffusion Models with Sparse Keyframes
Seoul National University(首尔国立大学);Roblox(Roblox公司);The Chinese University of Hong Kong(香港中文大学)
针对稠密帧运动扩散计算冗余的问题,本文提出围绕稀疏几何关键帧的扩散框架,通过掩码、插值与推理时动态细化提升文本对齐、运动真实性及少步生成性能。
2025-05-12 cs.CV
PersonaLive! Expressive Portrait Image Animation for Live Streaming
University of Macau(澳门大学);GVC Lab, Great Bay University(大湾大学GVC实验室)
PersonaLive通过多阶段训练方法实现了实时面部动画生成,提升了效率和稳定性,达到7-22倍的速度提升。
2025-12-12 cs.CV
AniDoc: Animation Creation Made Easier
HKUST(香港科技大学);Ant Group(蚂蚁集团);NJU(南京大学);ZJU(浙江大学);HKU(香港大学)
AniDoc基于视频扩散模型,利用对应匹配指导实现草图序列自动上色与中间画自动化,有效降低2D动画制作的人力成本。
2025-01-30 cs.CV
Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
The University of Sydney(悉尼大学);The Hong Kong Polytechnic University(香港理工大学)
针对手绘2D动画素描中间帧手工制作成本高、通用插值方法受素描细节少与关键帧形变大制约的问题,提出融合多层级引导与多流U-Transformer的SAIN网络,构建STD-12K数据集,实验证明其性能优于现有最优方法。
2024-08-14 cs.CV cs.MM
Diverse Dance Synthesis via Keyframes with Transformer Controllers
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
现有的基于关键帧的运动合成主要集中在周期性动作或短期运动的生成,如步行,跑步,以及近距离姿势之间的过渡。然而,当处理复杂和即兴的运动时,这些方法将显著降低合成运动的自然性和多样性,例如,舞蹈表演和武术。此外,目前的研究缺乏对生成的运动的细粒度控制,这是必不可少的智能人机交互和动画创作。在本文中,我们提出了一种新的基于关键帧的运动生成网络的基础上,多个约束,它可以实现多样化的舞蹈合成通过学习的知识。具体来说,该算法主要是制定基于递归神经网络(RNN)和Transformer架构。我们的网络的骨干是一个分层的RNN模块,由两个长短期记忆(LSTM)单元组成,其中第一个LSTM用于将历史帧的姿势信息嵌入到潜在空间中,第二个LSTM用于预测下一帧的人体姿势。此外,我们的框架包含两个基于transformer的控制器,分别用于建模根轨迹和速度因子的约束,以便更好地利用帧的时间上下文,实现细粒度的运动控制。我们验证了所提出的方法在一个舞蹈数据集包含广泛的当代舞蹈。三个定量分析的结果验证了该算法的优越性。视频和定性实验结果表明,我们的算法生成的复杂的运动序列可以实现多样的和平滑的关键帧之间的运动过渡,即使是长期的合成。
2022-07-13 cs.CV
ArtiMo: Agent-Driven Articulated Mesh Animation
ArtiMo是一种智能体驱动的零样本框架,结合URDF运动学约束与LLMs/VLMs,生成文本引导的关节网格动画,通过视觉自改进机制修正错误,在新基准数据集上优于基线。
2026-08-24 cs.CV
FluentAvatar: Flicker-Free Talking-Head Animation via Phoneme-Guided Autoregressive Modeling
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
本文提出FluentAvatar,通过音素引导的自回归模型解决现有扩散模型中帧间闪烁问题,实现了高质量的说话头动画生成。
2026-04-20 cs.CV
CleanMDM: Clean Motion Diffusion Model for Multimodal Motion Cleanup
Peking University(北京大学);Light Origins(光起源);Alibaba(阿里巴巴)
CleanMDM提出统一多模态运动清理框架,通过掩码条件生成支持噪声3D运动、稀疏2D/3D关键帧及文本的任意组合,结合LMQD判别器与接触投影优化,在多个数据集上超越现有清理与生成基线。
2026-10-06 cs.CV
Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer
School of Electrical, Electronic and Computer Engineering, University of Western Australia(西澳大学电气、电子与计算机工程学院);University of Melbourne(墨尔本大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织);Hunan University(湖南大学);University of Central Florida(中佛罗里达大学)
针对文本驱动3D人体运动生成,提出KeyMotion方法,先生成关键帧再填充,采用VAE降维和并行跳跃Transformer,在HumanML3D和KIT数据集上取得最优性能。
2024-05-24 cs.AI cs.CV
Motion Keyframe Interpolation for Any Human Skeleton via Temporally Consistent Point Cloud Sampling and Reconstruction
The University of Sydney(悉尼大学);Meta Reality Labs(Meta现实实验室)
本文提出无监督PC-MRL框架,通过时间点云采样、骨骼重建及FOQ、RPA策略,实现任意骨骼配置下的运动关键帧插值,摆脱原生运动数据集依赖。
2025-07-27 cs.CV
Paint Bucket Colorization Using Anime Character Color Design Sheets
S-Lab, Nanyang Technological University (NTU)(南洋理工大学S-Lab);Nankai University(南开大学)
针对手绘动画油漆桶上色中参考法区域配色不准、匹配法难处理变形遮挡的问题,提出融合分段解析与颜色形变的包含匹配流程,并构建 PaintBucket-Character 数据集,提升关键帧与连续帧上色效果。
2024-10-25 cs.CV
FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations
University of Surrey(萨里大学)
提出 FlipSketch 系统,利用文本到视频扩散模型的运动先验,通过微调草图风格帧生成、参考帧噪声细化和双重注意力组合三项创新,将静态草图转换为文本引导动画,兼具直观性与手绘艺术表现力。
2024-11-16 cs.CV cs.GR
SceneMI: Motion In-betweening for Modeling Human-Scene Interactions
ECE, Seoul National University(电子工程系,首尔国立大学);Snap Inc(Snap公司)
该研究将人-场景交互建模重构为场景感知运动中间帧生成任务,提出 SceneMI 框架,通过双场景描述符与扩散去噪实现关键帧引导动画、含噪数据增强及真实数据集泛化。
2025-07-25 cs.CV
Interpatient Respiratory Motion Model Transfer for Virtual Reality Simulations of Liver Punctures
Univ. of Luebeck(吕贝克大学)
当前肝脏穿刺的虚拟现实(VR)训练模拟器通常依赖于静态3D患者数据,并使用呼吸运动的不现实(正弦)周期性动画。用于呼吸运动的动画的现有方法支持简单的数学或患者特定的估计呼吸模型。然而,对于每个新患者的个性化呼吸模型,对于基于关键帧的运动建模,必须进行大量剂量相关或昂贵的4D数据采集。给定参考4D数据,首先进行使用线性回归运动场建模的模型构建阶段。然后,这里所示的方法允许将4D参考患者的现有参考呼吸运动模型转移到新的静态3D患者。通过使用非线性患者间配准将一个个性化的4D运动场模型变形为新的3D患者数据来实现该目标。这种节省成本和剂量的新方法在定性概念验证研究中直观地显示出来。
2017-08-02 cs.CV
Iterative Motion Editing with Natural Language
Stanford University(斯坦福大学);Snap, Inc.(Snap公司)
本文提出一种使用自然语言迭代编辑角色动画的方法,通过运动学运动编辑算子(MEOs)和预训练语言模型将文本转换为关键帧约束,利用扩散模型生成符合编辑意图且忠实于原始动画的逼真运动。
2024-06-03 cs.CV cs.GR
Robust Motion In-betweening
Polytechnique Montreal(蒙特利尔综合理工学院);Mila(米拉研究所);Ubisoft Montreal(育碧蒙特利尔);McGill University(麦吉尔大学);Element AI(Element AI公司)
在这项工作中,我们提出了一种新的,强大的过渡生成技术,可以作为一个新的工具,为3D动画,基于对抗循环神经网络。该系统合成高质量的运动,使用时间稀疏的关键帧作为动画约束。这让人想起传统动画管道中的中间插入工作,其中动画师在提供的关键帧之间绘制运动帧。我们首先表明,一个国家的最先进的运动预测模型不能很容易地转换成一个强大的过渡生成器时,只添加有关未来的关键帧的条件信息。为了解决这个问题,我们提出了两个新的附加嵌入修改器,它们在每个时间步应用于网络架构内部编码的潜在表示。一个修改器是到达时间嵌入,允许单个模型的过渡长度的变化。另一个是预定的目标噪声向量,其允许系统对目标失真具有鲁棒性,并且在给定固定关键帧的情况下对不同过渡进行采样。为了定性地评估我们的方法,我们提出了一个自定义的MotionBuilder插件,该插件使用我们的训练模型在生产场景中执行中间插入。为了定量评估过渡和推广到更长时间范围的性能,我们在广泛使用的Human3.6M数据集的一个子集和LaFAN 1上提供了定义良好的中间基准,LaFAN 1是一种更适合过渡生成的新型高质量运动捕捉数据集。我们将发布这个新的数据集以及这项工作,并附带用于重现我们的基线结果的代码。
2021-02-09 cs.CV cs.GR cs.LG
Generative Tweening: Long-term Inbetweening of 3D Human Motions
University of Southern California(南加州大学);Adobe Research(奥多比研究院);USC Institute for Creative Technologies(南加州大学创意技术研究所);Pinscreen(品屏公司)
数十年来,在遵循特定艺术约束的同时,大规模生成复杂且逼真的人体动画的能力一直是游戏和动画行业的基本目标。流行的技术包括关键帧,基于物理的模拟,以及通过运动图的数据库方法。最近,已经引入了基于深度学习的运动生成器。虽然这些学习模型可以自动生成任意长度的高度复杂的程式化动作,但它们仍然缺乏用户控制。为此,我们引入了长期的中间插入,这涉及到自动合成复杂的运动在很长的时间间隔非常稀疏的关键帧由用户的问题。我们确定了一些与此问题相关的挑战,包括保持生物力学和关键帧约束,保留自然运动,并在考虑所有约束的同时整体设计整个运动序列。我们引入了一个生物力学约束的生成对抗网络,它以关键帧约束为条件,对人体运动进行长期的中间插入。该网络使用一种新颖的两阶段方法,首先以关节角度的形式预测局部运动,然后预测全局运动,即角色遵循的全局路径。由于通常有许多可能的运动可以满足给定的用户约束,我们还使我们的网络能够使用我们称为Motion DNA的方案生成各种输出。这种方法允许用户通过向网络提供种子运动(DNA)来操纵和影响输出内容。通过使用79类捕获的运动数据进行训练,我们的网络在各种高度复杂的运动风格上表现出色。
2020-05-28 cs.CV cs.GR
IKMo: Image-Keyframed Motion Generation with Trajectory-Pose Conditioned Motion Diffusion Model
Shanghai Jiao Tong University(上海交通大学)
提出IKMo,一种解耦轨迹与姿态输入的两阶段条件化运动扩散模型,结合MLLM智能体预处理用户输入,在HumanML3D和KIT-ML上超越SOTA,提升了运动生成的保真度与可控性。
2026-10-16 cs.CV cs.GR
Flexible Motion In-betweening with Diffusion Models
University of British Columbia(不列颠哥伦比亚大学);Tel-Aviv University(特拉维夫大学);Simon Fraser University(西蒙菲莎大学);NVIDIA(英伟达公司)
本文提出条件运动扩散插值(CondMDI)模型,利用扩散模型在关键帧和文本条件下生成多样且精确的人体运动,支持任意稀疏或密集的关键帧约束,并在HumanML3D数据集上验证了其有效性。
2024-05-23 cs.CV cs.GR cs.LG
Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting
NVIDIA(英伟达);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
我们提出了HIPNet,这是一种神经隐式姿势网络,在多个姿势的多个主题上进行训练。HIPNet可以将特定于主体的细节与特定于姿势的细节分开,有效地使我们能够将运动从一个主体重定向到另一个主体,或者通过潜在空间插值在关键帧之间进行动画。为此,我们采用基于骨架的分层表示来学习规范不定置空间上的符号距离函数。这种基于关节的分解使我们能够表示身体关节周围空间局部的细微细节。与以前需要地面实况SDF进行训练的神经隐式方法不同,我们的模型只需要一个姿势骨架和点云进行训练,并且我们不依赖于传统的参数模型或传统的蒙皮方法。我们在各种单一主题和多主题基准上取得了最先进的结果。
2021-12-02 cs.CV cs.GR cs.LG
3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室);Technical University of Darmstadt(达姆施塔特工业大学)
3DiFACE提出一种轻量级音频条件扩散模型,解决语音驱动3D面部动画的一对多映射问题,支持随机生成与运动编辑,仅需短视频即可个性化微调,在保真度和多样性上超越现有方法。
2023-12-01 cs.AI cs.CV cs.GR
See Before You Code: Learning Visual Priors for Spatially Aware Educational Animation Generation
Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出OmniManim框架,通过视觉规划和反馈机制提升教育动画生成质量,改进渲染效果和教学效果。
2026-05-15 cs.AI cs.CV
Kling-Avatar: Grounding Multimodal Instructions for Cascaded Long-Duration Avatar Animation Synthesis
Kling Team, Kuaishou Technology(快手科技 Kling 团队)
针对现有音频驱动虚拟人缺乏指令交流目的建模的问题,提出Kling-Avatar级联框架,通过MLLM导演生成蓝图视频并并行合成子片段,实现了高保真、长时长且语义可控的虚拟人动画生成。
2025-09-17 cs.CV
Sakuga-42M Dataset: Scaling Up Cartoon Research
针对现有模型在卡通数据上效果不佳的问题,提出首个大规模卡通数据集Sakuga-42M,含4200万关键帧及丰富标注,通过微调基础模型显著提升卡通理解与生成性能。
2024-05-13 cs.CV
AniMaker: Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳分校);Alibaba International Digital Commerce, Hangzhou(阿里巴巴国际数字商业)
针对多场景叙事动画生成存在的叙事脱节、连贯性差等问题,提出多智能体框架AniMaker,通过MCTS驱动的多候选片段生成与专属多镜头评估机制,提升动画质量与生成效率。
2025-10-02 cs.CV cs.MA
Temporal Residual Jacobians For Rig-free Motion Transfer
University College London(伦敦大学学院);Adobe Research(奥多比研究院);University Of Montreal(蒙特利尔大学)
本文提出时间残差雅可比矩阵表示,通过两个耦合神经网络联合预测空间与时间变化并积分,实现无需绑定和关键帧的数据驱动运动迁移,在多样网格上生成逼真动画,优于现有方法。
2024-07-20 cs.CV cs.GR
Sketch2Colab: Sketch-Conditioned Multi-Human Animation via Controllable Flow Distillation
IDEAS Lab, Department of Computer Science, Purdue University(普渡大学计算机科学系IDEAS实验室)
Sketch2Colab通过可控流蒸馏将故事板风格的2D草图转化为连贯的3D多人体运动,实现对代理、关节、时序和接触的精细控制,实验显示其在约束遵循和感知质量上优于基线方法。
2026-03-29 cs.AI cs.CV cs.GR
SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Stanford University(斯坦福大学)
本文提出SparseCtrl方法,通过额外的条件编码器处理时间稀疏的结构信号(如草图、深度图、RGB图像),在不修改预训练文本到视频模型的前提下实现灵活的视频生成控制,并验证了其在原始和个性化T2V生成器上的泛化能力。
2023-11-28 cs.CV
SILK: Smooth InterpoLation frameworK for motion in-betweening A Simplified Computational Approach
SEED, Electronic Arts(SEED电子艺术公司);Electronic Arts(电子艺术公司)
本文提出 SILK,一种仅用单个 Transformer 编码器的动作中间帧生成框架,并证明数据量、姿态表示和速度特征对动画质量的关键作用。
2025-06-09 cs.CV cs.GR cs.LG
InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing
School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Meituan New Laboratory of Pattern Recognition (NLPR), CASIA(美团模式识别新实验室(NLPR),中国科学院自动化所);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Meituan Division of AMC and Department of ECE, HKUST(美团AMC部门和香港科技大学电子与计算机工程系);State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(多模态人工智能系统国家重点实验室,中国科学院自动化所);Meituan School of Artificial Intelligence, University of Chinese Academy of Sciences(美团人工智能学院,中国科学院大学);Meituan(美团)
针对传统视频配音局限于嘴部编辑导致的不协调问题,提出稀疏帧视频配音范式,设计InfiniteTalk流式音频驱动生成器,通过自适应条件控制实现身份与动作保留及全身同步编辑,在多数据集上获最优性能。
2025-08-19 cs.CV
UMo: Unified Sparse Motion Modeling for Real-Time Co-Speech Avatars
Nanjing University(南京大学);Mogo AI Ltd.(Mogo AI有限公司);University of Southampton(南安普顿大学)
UMo通过统一稀疏运动建模架构,结合文本、音频和运动令牌,实现高效实时密集重建,提升面部表情和手势的高保真动画生成,同时在低延迟条件下保持精细的语音-运动对齐。
2026-05-14 cs.CV cs.GR cs.SD
MAViS: A Multi-Agent Framework for Long-Sequence Video Storytelling
Virginia Tech(弗吉尼亚理工大学);Nanyang Technological University(南洋理工大学);Eyeline Studios(Eyeline工作室)
MAViS通过多智能体协作框架提升长序列视频生成的辅助能力、视觉质量和表达性,支持多模态输出。
2026-01-24 cs.AI cs.CV cs.MA
ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
NVIDIA(英伟达);ETH Zürich(苏黎世联邦理工学院)
研究旨在解决交互式应用中人体运动生成问题,提出ARDY框架,采用混合表示和两阶段自回归变压器去噪器,能通过在线文本提示和运动学约束实现高保真运动生成,经评估验证了有效性和实用性。
2026-07-10 cs.CV cs.GR cs.LG