TDMM-LM: Bridging Facial Understanding and Animation via Language Models
University of Rochester(罗切斯特大学);University of Tokyo(东京大学);University of Michigan(密歇根大学);Voxel51
本文通过语言模型实现面部动作的双向建模,提出TDMM-LM框架,利用生成模型合成面部行为数据集,并通过Motion2Language和Language2Motion任务实现面部动画与理解的统一路径。
2026-03-14 cs.AI cs.CV
Enhanced Deep Animation Video Interpolation
Shanghai Jiao Tong University(上海交通大学);PointSpread Technology Inc.(点扩散科技公司)
现有的基于学习的帧内插算法从高速自然视频中提取连续帧来训练模型。与自然视频相比,卡通视频通常处于低帧速率。此外,连续动画帧之间的运动是典型的非线性,这打破了线性运动假设的插值算法。因此,它不适合直接从卡通视频生成训练集。为了更好地适应自然视频到动画视频的帧内插算法,提出了AutoFI,一种简单有效的自动渲染深度动画视频内插训练数据的方法。AutoFI采用分层架构来渲染合成数据,这确保了线性运动的假设。实验结果表明,AutoFI在训练DAIN和ANIN时表现良好。然而,大多数帧内插算法仍然会在容易出错的区域失败,例如快速运动或大遮挡。除了AutoFI,我们还提出了一个即插即用的草图为基础的后处理模块,名为SktFI,细化使用用户手动提供的草图的最终结果。使用AutoFI和SktFI,插值动画帧显示出高感知质量。
2022-06-25 cs.AI cs.CV
X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention
ByteDance(字节跳动)
提出X-Portrait条件扩散模型,利用ControlNet框架和分层运动注意力机制,从单张肖像和驱动视频生成具有表现力且身份一致的肖像动画。
2024-07-25 cs.AI cs.CV
Multi-Object Sketch Animation by Scene Decomposition and Motion Planning
Renmin University of China(中国人民大学)
针对多对象草图动画的挑战,提出基于场景分解与运动规划的MoSketch方法,通过SDS迭代优化实现无需训练数据的动画生成,实验证明其优越性。
2025-08-02 cs.CV
MemoryTalker: Personalized Speech-Driven 3D Facial Animation via Audio-Guided Stylization
Chung-Ang University(Chung-Ang 大学);Korea University(韩国大学)
针对语音驱动3D面部动画需额外先验的问题,提出MemoryTalker框架,仅用音频输入通过两阶段(记忆通用运动、音频引导风格化合成)实现个性化动画,实验证明其效果优于现有方法。
2025-08-25 cs.AI cs.CV
IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Kling Team, Kuaishou Technology(快手技术 Kling 团队);Cardiff University(卡迪夫大学)
IM-Animation通过隐式运动表示和时间一致的遮罩令牌重定向模块,实现身份解耦的角色动画生成,提升动画质量和训练效率。
2026-02-07 cs.CV
MoVer: Motion Verification for Motion Graphics Animations
Stanford University(斯坦福大学)
针对大视觉语言模型生成动态图形动画常缺失文本提示时空属性的问题,提出基于一阶逻辑的运动验证DSL——MoVer,构建含5600样本的数据集验证,其迭代修正流水线可将动画正确率从58.8%提升至93.6%。
2025-05-17 cs.CV cs.GR
HyperMotionX: The Dataset and Benchmark with DiT-Based Pose-Guided Human Image Animation of Complex Motions
Bournemouth University(伯恩茅斯大学);vivo BlueImage Lab, vivo Mobile Communication Co., Ltd(vivo 蓝影实验室,vivo 通信有限公司);Peking University(北京大学);National Cheng-Kung University(国立成功大学)
本文提出基于DiT的高效人体动画生成基线和改进的RoPE模块,构建了HyperMotionX数据集和基准,提升了复杂人体运动动画的结构稳定性和外观一致性。
2026-03-18 cs.CV
Multi-Object Sketch Animation with Grouping and Motion Trajectory Priors
School of Software(软件学院);Beihang University(北航);Qingdao Research Institute(青岛研究院)
本文提出GroupSketch两阶段方法,通过语义分组、关键帧插值和基于组的位移网络细化,结合文本到视频先验,显著提升多对象草图动画的时间一致性与质量。
2025-08-21 cs.CV
Every Image Listens, Every Image Dances: Music-Driven Image Animation
Stony Brook University(石溪大学);Bytedance(字节跳动);Apple(苹果公司)
提出端到端模型MuseDance,利用音乐和文本双重输入驱动参考图像生成个性化舞蹈视频,无需复杂运动引导,并构建含2,904个舞蹈视频的多模态数据集,为音乐驱动图像动画任务设定新基线。
2025-01-30 cs.AI cs.CV
MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model
The University of Tokyo(东京大学);Tencent AI Lab(腾讯人工智能实验室)
该研究提出MOFA-Video可控图像动画方法,通过设计域感知运动场适配器,基于稀疏控制条件生成稠密运动流并结合图像多尺度引导特征,在冻结图像到视频扩散模型中实现多信号、多域协同的高质量可控视频生成。
2024-07-11 cs.AI cs.CV
Is Visual Realism Enough? Evaluating Gait Biometric Fidelity in Generative AI Human Animation
Universidad Autonoma de Madrid(马德里自治大学);Southern University of Science and Technology(南方科技大学)
本研究评估了生成式AI在人体动画中是否能保持步态生物特征的保真度,发现当前模型在识别任务中存在不足,依赖视觉属性而非时间动态。
2025-12-22 cs.AI cs.CV
DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning
Key Lab of Intell. Info. Process., ICT, CAS(智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Southeast University(东南大学)
DreamActor-M2通过时空上下文学习实现通用角色图像动画,解决运动注入策略和姿态先验依赖问题,提升跨领域泛化能力。
2026-01-29 cs.AI cs.CV
Consistent and Controllable Image Animation with Motion Linear Diffusion Transformers
Department of Data Science & AI, Faculty of Information Technology, Monash University(数据科学与人工智能系,信息科技学院,墨尔本大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出MiraMo框架,通过线性注意力、运动残差学习和DCT噪声细化策略,提升图像动画的效率、外观一致性与运动平滑度,实现加速推理并支持运动迁移与视频编辑。
2025-08-10 cs.CV
MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation
Delft University of Technology(代尔夫特理工大学)
本文提出MotionDreamer,一种基于视频扩散模型提取运动先验的零样本3D网格自动重动画技术,利用扩散特征提升运动拟合精度,兼容现有图形管线,并在用户研究中优于现有方法。
2024-11-14 cs.CV cs.GR
MotiF: Making Text Count in Image Animation with Motion Focal Loss
Brown University(布朗大学);Meta
针对文本引导图像动画中运动与文本对齐差的问题,提出基于运动热图加权损失的MotiF方法,同时构建含320对样本的TI2V Bench基准,其效果优于9个开源模型,平均偏好率达72%。
2025-03-23 cs.AI cs.CV
Animation of 3D Human Model Using Markerless Motion Capture Applied To Sports
Pune Institute of Computer Technology(浦那计算机技术学院)
无标记运动捕捉是三维虚拟化领域的一个研究热点。在拟议的工作中,我们提出了一个用于3D人物动画的无标记运动捕捉系统,论文对已开发或正在开发的运动和骨架跟踪技术进行了调查。提出了一种将表演者的动作转化为三维人物(模型)的方法,三维人物实时的执行与表演者相似的动作。在所提出的工作中,人体模型数据将被Kinect摄像头捕获,处理后的数据将应用于三维人体模型的动画。3D人体模型使用开源软件(MakeHuman)创建。体育活动的预期数据集被认为是可以应用于任何HCI应用程序的输入。
2014-02-11 cs.CV cs.GR
Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation
BUAA(北京航空航天大学);KAUST(卡塔尔大学)
本文提出MMFA方法,通过无监督关键点定位解耦身份语义与运动信息,实现可控的面部动画生成与表达操控。
2026-03-04 cs.CV
Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization
Graphics Research Group, IIIT Delhi(IIIT德里图形研究组)
提出Sketch2Motion框架,结合扩散模型和骨架优化,将二维草图转化为三维动画,无需配对运动数据,支持多种角色类型。
2026-05-27 cs.CV cs.GR
F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
Zhejiang University(浙江大学);International Design Institute of Zhejiang University(浙江大学国际设计研究院)
作为一个条件生成问题,人脸动画的目的是合成连续的人脸图像从一个单一的源图像驱动的一组条件的人脸运动。先前的工作主要将面部运动建模为具有1D或2D表示的条件(例如,动作单元、情感代码、地标),这在一些复杂场景中,例如连续生成和大姿态变换,常常导致低质量的结果。为了解决这个问题,条件应该满足两个要求,即,运动信息保持和几何连续性。为此,我们提出了一种新的表示的基础上的3D几何流,称为面部流,表示在任何姿势的人脸的自然运动。与以往的其他条件相比,所提出的面部流很好地控制了面部的连续变化。之后,为了利用人脸流进行人脸编辑,我们建立了一个合成框架,生成具有条件人脸流的连续图像。为了充分利用人脸流的运动信息,设计了一个分层条件框架,以分层的方式将从图像中提取的多尺度外观特征和从流中提取的运动特征相结合。然后,框架将多个融合特征逐步解码回图像。实验结果表明,我们的方法相比,其他国家的最先进的方法的有效性。
2022-05-13 cs.AI cs.CV
Learning Fine-Grained Motion Embedding for Landscape Animation
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
在本文中,我们专注于景观动画,其目的是从一个单一的景观图像生成延时视频。运动对于景观动画至关重要,因为它决定了对象在视频中的移动方式。现有的方法能够通过从实时的延时视频中学习运动来生成吸引人的视频。然而,目前的方法遭受不准确的运动生成,这导致不切实际的视频结果。为了解决这个问题,我们提出了一个名为FGLA的模型,通过学习细粒度运动嵌入景观动画来生成高质量和逼真的视频。我们的模型由两部分组成:(1)运动编码器,它以细粒度的方式嵌入延时运动。(2)运动生成器,其生成逼真的运动以使输入图像动画化。为了对不同的延时视频进行训练和评估,我们构建了最大的具有不同场景的高分辨率延时视频数据集,即Time-lapse-D,其中包括超过1000万帧的16,874个视频片段。定量和定性的实验结果证明了我们的方法的优越性。特别是,与我们数据集上的最先进方法相比,我们的方法在LIPIS上实现了19%的相对改进,在FVD上实现了5.6%的相对改进。对700名人类受试者进行的用户研究表明,我们的方法在视觉上大大优于现有方法。
2021-09-13 cs.CV
MVPortrait: Text-Guided Motion and Emotion Control for Multi-view Vivid Portrait Animation
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
MVPortrait提出两阶段文本引导框架,首次以FLAME为中间表示,实现多视角肖像动画的运动与情感控制,并兼容文本、语音和视频驱动。
2025-03-25 cs.CV
Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation
Institute for Intelligent Computing, Alibaba Tongyi Lab(阿里巴巴通义实验室智能计算研究所)
本文提出Perception-as-Control框架,通过构建并操纵3D感知运动表示,将相机与物体运动转化为统一控制信号,实现细粒度协同运动控制的图像动画。
2025-03-10 cs.CV
Motion Transformer for Unsupervised Image Animation
University of Electronic Science and Technology of China(电子科技大学);Alibaba Group(阿里巴巴集团)
图像动画旨在通过使用从驾驶视频中学习的运动来动画源图像。当前最先进的方法通常使用卷积神经网络(CNN)来预测运动信息,诸如运动关键点和对应的局部变换。然而,这些基于CNN的方法没有明确地对运动之间的交互进行建模;因此,可能忽略重要的潜在运动关系,这可能潜在地导致在所生成的动画视频中产生明显的伪影。为此,我们提出了一种新的方法,运动Transformer,这是第一次尝试建立一个基于视觉Transformer的运动估计。更具体地说,我们在我们提出的方法中引入了两种类型的令牌:i)由补丁特征和相应的位置编码形成的图像令牌;以及ii)用运动信息编码的运动令牌。这两种类型的令牌都被发送到视觉Transformer中,以通过多头自我注意块来促进它们之间的底层交互。通过采用该过程,可以更好地学习运动信息以提高模型性能。然后,使用最终嵌入的运动令牌来预测对应的运动关键点和局部变换。在基准数据集上的大量实验表明,我们提出的方法在最先进的基线上取得了令人满意的结果。我们的源代码将公开。
2022-09-28 cs.CV
QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation
Fudan University(复旦大学)
本文研究了条件人体运动动画(cHMA)的任务。给定源图像和驾驶视频,模型应该动画化新的帧序列,其中源图像中的人应该执行与来自驾驶视频的姿势序列类似的运动。尽管生成对抗网络(GANs)方法在图像和视频合成中取得了成功,但由于难以有效利用图像或姿势等条件引导信息并生成具有良好视觉质量的图像,因此进行cHMA仍然非常具有挑战性。为此,本文提出了一种新的模型,学习量化,拼字,和工艺(QS-Craft)的条件人体运动动画。关键的新颖性来自新引入的三个关键步骤:量化、拼字和工艺。特别是,我们的QS-Craft在其结构中使用了Transformer来利用注意力架构。引导信息被表示为从驾驶视频提取的姿势坐标序列。在人体运动数据集上进行的大量实验验证了该模型的有效性。
2022-03-22 cs.CV
3DiFACE: Diffusion-based Speech-driven 3D Facial Animation and Editing
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室);Technical University of Darmstadt(达姆施塔特工业大学)
3DiFACE提出一种轻量级音频条件扩散模型,解决语音驱动3D面部动画的一对多映射问题,支持随机生成与运动编辑,仅需短视频即可个性化微调,在保真度和多样性上超越现有方法。
2023-12-01 cs.AI cs.CV cs.GR
Motion-Conditioned Image Animation for Video Editing
Meta;UC Berkeley(加州大学伯克利分校)
本文提出MoCA方法,将视频编辑分解为图像编辑与运动条件图像动画,并构建新基准,在多项编辑任务上超越现有方法,尤其在运动编辑上表现显著提升。
2023-11-30 cs.AI cs.CV cs.GR
Teller: Real-Time Streaming Audio-Driven Portrait Animation with Autoregressive Motion Generation
本研究提出首个自回归流式音频驱动人像动画框架Teller,通过面部运动潜变量生成与高效时序优化模块,实现25 FPS实时性能,推理速度远超扩散模型,在小幅运动逼真度上显著优于现有方法。
2025-03-24 cs.CV
AnimationBench: Are Video Models Good at Character-Centric Animation?
New AI Labs
本文提出AnimationBench,首个系统评估动画图像到视频生成的基准,结合动画十二基本原则和IP保护,评估语义一致性、运动合理性等质量维度,支持标准化和开放集评估,揭示现实主义基准忽视的动画特定质量差异。
2026-04-16 cs.CV
Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models
Technical University of Munich(慕尼黑工业大学)
针对人形动画制作成本高的问题,提出利用视频扩散模型的运动先验,结合SMPL表示与运动优化,实现从静态3D人形网格和文本提示生成多样逼真4D动画的低成本方案。
2025-03-20 cs.CV cs.GR
Iterative Motion Editing with Natural Language
Stanford University(斯坦福大学);Snap, Inc.(Snap公司)
本文提出一种使用自然语言迭代编辑角色动画的方法,通过运动学运动编辑算子(MEOs)和预训练语言模型将文本转换为关键帧约束,利用扩散模型生成符合编辑意图且忠实于原始动画的逼真运动。
2024-06-03 cs.CV cs.GR
Learning Motion Refinement for Unsupervised Face Animation
UESTC(电子科技大学)
本文提出一种无监督人脸动画方法,通过设计运动细化模块从源图像和驱动图像间的密集相关性学习局部精细运动,结合局部仿射运动模型捕捉全局粗略运动,有效消除局部伪影并取得最佳效果。
2023-10-21 cs.CV
SkelGen4D: Weakly-Supervised Skeleton-Based 4D Generation for Text-Driven Mesh Animation
School of Data Science, Lingnan University(岭南大学数据科学学院);Department of Computer Science and Engineering, Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Autodesk Research(Autodesk研究院);Institute of Computer Applications, Shanghai Jiao Tong University(上海交通大学计算机应用研究所)
研究文本驱动的4D网格动画生成,提出弱监督前馈框架SkelGen4D,先从动画网格恢复伪骨架,再生成文本条件骨架运动序列并优化,在大规模基准测试中表现良好,能匹配或超越全监督基线,支持运动编辑且符合标准动画管道。
2026-07-10 cs.CV
Towards Lightweight Neural Animation : Exploration of Neural Network Pruning in Mixture of Experts-based Animation Models
University of Mons(蒙斯大学);TelecomSud Paris(南巴黎电信学院)
在过去的几年里,神经角色动画已经出现,并提供了一个自动化的方法来动画虚拟人物。它们的运动由一个神经网络合成。用用户定义的控制信号实时的控制这种运动也是例如视频游戏中的重要任务。基于全连接层(MLP)和专家混合(MoE)的解决方案在生成和控制环境与虚拟角色之间的近距离交互的各种运动方面取得了令人印象深刻的结果。然而,全连接层的一个主要缺点是它们的计算和内存成本,这可能导致次优化的解决方案。在这项工作中,我们应用修剪算法来压缩的MLP-MoE神经网络的交互式角色动画的背景下,减少其参数的数量,并加快其计算时间与这种加速和合成的运动质量之间的权衡。这项工作表明,在相同数量的专家和参数的情况下,修剪模型产生的运动伪影比密集模型少,并且学习到的高级运动特征对于两者来说是相似的
2022-01-24 cs.CV
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China(中国科学技术大学);Central Media Technology Institute, Huawei(华为中央媒体技术研究所);Nanjing University(南京大学)
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画,提升动画质量和可控性。
2025-12-17 cs.CV
Implicit Warping for Animation with Image Sets
NVIDIA(英伟达)
我们提出了一个新的隐式变形框架的图像动画使用的源图像集,通过传输的运动的驱动视频。使用单个跨模态注意层来找到源图像和驱动图像之间的对应关系,从不同的源图像中选择最合适的特征,并扭曲所选择的特征。这与使用显式基于流的扭曲的现有方法形成对比,显式基于流的扭曲被设计用于使用单个源的动画并且不能很好地扩展到多个源。我们的框架的选择能力有助于它使用单个和多个源图像在多个图像动画数据集上实现最先进的结果。该项目的网站是https://deepimagination.cc/implicit warping/
2022-10-04 cs.CV
MIMAFace: Face Animation via Motion-Identity Modulated Appearance Feature Learning
Zhejiang University(浙江大学);Tencent Youtu Lab(腾讯优图实验室);Nanyang Technological University(南洋理工大学)
针对扩散模型在公开数据集上人脸动画图像质量与时间一致性差的问题,提出通过MIA模块调制运动与身份特征,并设计ICA模块建模跨片段时间关系,实现高保真身份保持与多模态驱动的人脸动画。
2024-09-23 cs.CV
Thin-Plate Spline Motion Model for Image Animation
Tsinghua University(清华大学)
图像动画根据行车视频为源图像中的静态对象赋予生命。最近的作品试图通过无监督的方法在不使用先验知识的情况下对任意对象进行运动转移。然而,当源图像和驱动图像中的对象之间存在较大的姿态差距时,这对于当前的无监督方法仍然是一个重大挑战。在本文中,一个新的端到端的无监督运动传输框架,提出了克服这个问题。首先,我们提出了薄板样条运动估计来产生更灵活的光流,它将源图像的特征映射扭曲到驱动图像的特征域。其次,为了更真实地恢复丢失的区域,我们利用多分辨率遮挡掩模来实现更有效的特征融合。最后,设计了额外的辅助损失函数,保证网络模块分工明确,鼓励网络生成高质量的图像。我们的方法可以动画的各种对象,包括说话的脸,人体和像素动画。实验表明,我们的方法在大多数基准测试中的表现优于现有技术,姿态相关指标有明显的改进。
2022-03-29 cs.CV
JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation
JD Health International Inc.(JD健康国际公司)
本文提出JoyVASA,一种基于扩散模型的音频驱动面部动画方法,通过解耦面部表示和独立于角色身份的运动生成,实现更长视频和动物面部的无缝动画。
2026-04-16 cs.CV
EvAnimate: Event-conditioned Image-to-Video Generation for Human Animation
University of Sydney(悉尼大学);Beijing Technology and Business University(北京技术与商业大学)
EvAnimate首次利用事件流作为运动线索,通过双分支架构和自适应编码实现鲁棒、高时间保真的人体图像动画,优于传统视频方法。
2025-05-24 cs.AI cs.CV cs.MM
MagicAvatar: Multimodal Avatar Generation and Animation
ByteDance Inc.(字节跳动公司)
本研究提出多模态虚拟形象生成与动画框架MagicAvatar,将生成过程拆分为多模态转动信号、动作转视频两阶段,仅需少量目标人物图像即可实现多模态引导的虚拟形象生成与动画,灵活性较强。
2023-08-28 cs.CV cs.GR
Triangular Character Animation Sampling with Motion, Emotion, and Relation
在动画个别角色方面取得了巨大的进步。然而,我们仍然缺乏对角色之间活动的自动控制,特别是那些涉及互动的活动。在本文中,我们提出了一种新的基于能量的框架,通过关联角色的身体运动,面部表情和社会关系来采样和合成动画。我们提出了一个时空与或图(ST-AOG),一个随机语法模型,编码的运动,情感和关系之间的上下文关系,形成一个三角形的条件随机场。我们训练我们的模型从一个标记的数据集的两个字符的相互作用。实验表明,我们的方法可以识别两个字符之间的社会关系和样本的生动的运动和情感的新场景,使用马尔可夫链蒙特卡罗(MCMC)给定的社会关系。因此,我们的方法可以为动画师提供一种自动生成3D角色动画的方法,帮助合成非玩家角色(NPC)之间的交互,并增强虚拟现实(VR)中的机器情感智能(EQ)。
2022-03-09 cs.CV cs.GR
CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
提出将语音驱动3D面部动画转化为码本查询任务,利用离散运动先验和时间自回归模型,有效解决回归到均值问题,提升生成运动的生动性与真实感。
2023-04-03 cs.CV
Vector sketch animation generation with differentiable motion trajectories
Zhejiang University of Technology(浙江工业大学);Hangzhou Dianzi University(杭州电子科技大学);Zhejiang Gongshang University(浙江工商大学)
本文提出一种端到端的向量草图动画生成方法,通过可微运动轨迹解决闪烁问题,提升语义一致性和时间连续性,实现在DAVIS和LVOS数据集上的优越性能。
2026-03-18 cs.AI cs.CV cs.GR
Thin-Plate Spline-based Interpolation for Animation Line Inbetweening
Harbin Institute of Technology(哈尔滨工业大学)
针对现有动画线稿中间帧生成方法在大幅运动场景下易出现线条断裂的问题,提出基于薄板样条变换的插值方法,结合运动细化模块与UNet生成高质量结果,并改进评估指标,性能优于现有方法。
2024-08-17 cs.CV
CrossPortrait: Cross-Species Portrait Animation via Adversarial Motion Alignment
University of Science and Technology of China(中国科学技术大学);Shenzhen Loop Area Institute(深圳河套学院);Huawei Technologies Ltd.(华为技术有限公司);Fudan University(复旦大学)
针对跨物种肖像动画的物种泄露问题,提出CrossPortrait框架,通过分解运动、引入物种路由表情编码器和Ex-ADA实现跨物种动画,性能优于现有方法。
2026-10-20 cs.CV
FG-Portrait: 3D Flow Guided Editable Portrait Animation
National University of Singapore(新加坡国立大学);University of Warwick(沃里克大学);Imperial College London(伦敦帝国理工学院);University of Surrey(萨里大学)
本文提出FG-Portrait,通过3D流引导的方法实现高质量的肖像动画生成,结合3D几何信息和扩散模型,提升驱动运动与源肖像的对应精度,并支持用户对表情和头部姿态的编辑。
2026-03-24 cs.CV
Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Microsoft Research Asia(微软亚洲研究院)
我们研究了从单个运动模糊图像中恢复详细运动的挑战性问题。这个问题的现有解决方案估计单个图像序列,而不考虑每个区域的运动模糊性。因此,结果趋于收敛到多模态可能性的平均值。在本文中,我们明确地考虑到这种运动模糊性,使我们能够生成多个合理的解决方案,所有的尖锐的细节。其关键思想是引入一个运动指导表示,这是一个紧凑的量化的二维光流只有四个离散的运动方向。在运动导引的条件下,通过一种新的两级分解网络,将模糊分解引向一个特定的、无模糊的解。我们提出了一个统一的模糊分解框架,它支持各种接口,用于生成我们的运动指导,包括人类输入,来自相邻视频帧的运动信息,以及从视频数据集学习。在合成数据集和真实数据上的大量实验表明,所提出的框架在定性和定量上优于以前的方法,并且还提供了产生物理上合理和多样化的解决方案的优点。代码可在https://github.com/zzh-tech/Animation-from-Blur上获得。
2022-07-20 cs.CV
Sparse to Dense Motion Transfer for Face Image Animation
Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
人脸图像动画从单一的图像已经取得了显著的进步。然而,当只有稀疏地标可用作驱动信号时,它仍然具有挑战性。给定一个源人脸图像和一系列稀疏的人脸地标,我们的目标是生成一个视频的脸模仿地标的运动。我们开发了一种高效和有效的方法,从稀疏地标的人脸图像的运动转移。然后,我们在一个统一的模型中结合全局和局部运动估计,忠实地传输运动。该模型可以学习从背景中分割移动的前景,并且不仅生成全局运动,例如面部的旋转和平移,还可以生成细微的局部运动,例如凝视变化。我们进一步改进了视频上的人脸地标检测。使用时间上更好对齐的地标序列进行训练,我们的方法可以生成具有更高视觉质量的时间相干视频。实验表明,我们取得的结果与国家的最先进的图像驱动的方法在相同的身份测试和更好的结果交叉身份测试。
2021-09-03 cs.CV
Image2Gif: Generating Continuous Realistic Animations with Warping NODEs
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
从有限数量的连续观察中生成平滑动画在视觉中有许多应用。例如,它可以用于增加每秒的帧数,或者仅基于第一帧和最后一帧生成新的轨迹,例如面部情绪的运动。尽管离散的观测数据(帧),生成一个新的轨迹的问题是一个持续的问题。此外,为了在感知上逼真,图像的域不应该通过变化的轨迹急剧改变。在本文中,我们提出了一个新的框架,Warping神经ODE,用于以连续的方式生成平滑的动画(视频帧插值),给定两个(“相距较远”)帧,表示动画的开始和结束。我们的框架的主要特点是利用连续的空间变换的图像的矢量场的基础上,来自微分方程系统。这使我们能够实现动画的平滑和真实感,帧之间的时间步长无限小。我们展示了我们的工作在生成两帧动画中的应用,在不同的训练设置中,包括生成对抗网络(GAN)和$L_2$损失。
2022-05-09 cs.AI cs.CV cs.LG
MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement
Facebook Reality Labs(脸书现实实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种通用的方法,从语音生成完整的面部三维动画。现有的音频驱动的面部动画的方法表现出不可思议的或静态的上脸动画,无法产生准确和合理的协同发音或依赖于限制其可扩展性的特定于人的模型。为了改进现有的模型,我们提出了一个通用的音频驱动的面部动画的方法,实现了高度逼真的运动合成结果的整个脸。我们的方法的核心是一个分类的潜在空间的面部动画,解开音频相关和音频不相关的信息的基础上一种新的跨模态损失。我们的方法确保了高度准确的嘴唇运动,同时还合成了与音频信号不相关的面部部分的合理动画,例如眨眼和眉毛运动。我们证明了我们的方法优于几个基线,并获得了最先进的质量在定性和定量。一项感知用户研究表明,在超过75%的情况下,我们的方法被认为比当前最先进的方法更现实。我们建议在阅读本文之前观看补充视频:https://github.com/facebookresearch/meshtalk
2022-05-20 cs.CV
ArtiMo: Agent-Driven Articulated Mesh Animation
ArtiMo是一种智能体驱动的零样本框架,结合URDF运动学约束与LLMs/VLMs,生成文本引导的关节网格动画,通过视觉自改进机制修正错误,在新基准数据集上优于基线。
2026-08-24 cs.CV
Landmark-Guided Elastic Shape Analysis of Human Character Motions
University of Vienna(维也纳大学);NTNU Trondheim(挪威科技大学)
电影或视频游戏中的虚拟角色的运动通常由使用运动捕捉方法记录演员来生成。以这种方式生成的动画通常需要后处理,例如提高循环动画的周期性或通过对现有运动的插值来生成全新的运动。此外,随着记录的运动数据量的增长,对记录的运动的搜索和分类变得越来越重要。在本文中,我们将从形状分析的方法,动画的处理。更确切地说,我们将使用到现在的经典弹性度量模型中使用的形状匹配,并通过纳入额外的不精确的特征点信息,这导致改进的时间对齐不同的动画扩展它。
2015-02-03 cs.CV cs.GR
Motion Representations for Articulated Animation
University of Trento(特伦托大学);Snap Inc(Snap公司)
我们提出了新的运动表示动画连接的对象组成的不同部分。在一个完全无监督的方式,我们的方法识别对象的部分,跟踪他们在驾驶视频,并推断他们的运动,通过考虑他们的主轴。与以前的基于关键点的工作相比,我们的方法提取有意义的和一致的区域,描述位置,形状和姿势。这些区域对应于语义上相关且不同的对象部分,其在驾驶视频的帧中更容易被检测到。为了强制前景与背景的解耦,我们用额外的仿射变换来建模非对象相关的全局运动。为了方便动画和防止泄漏的形状的驱动对象,我们解开形状和姿态的区域空间中的对象。我们的模型可以制作各种对象的动画,在现有的基准测试中大大超过了以前的方法。我们提出了一个具有挑战性的高分辨率视频新基准,并表明当考虑铰接对象时,这种改进特别明显,达到96.6%的用户偏好与最先进的水平。
2021-04-22 cs.CV