CrossPortrait: Cross-Species Portrait Animation via Adversarial Motion Alignment
University of Science and Technology of China（中国科学技术大学）；Shenzhen Loop Area Institute（深圳河套学院）；Huawei Technologies Ltd.（华为技术有限公司）；Fudan University（复旦大学）
针对跨物种肖像动画的物种泄露问题，提出CrossPortrait框架，通过分解运动、引入物种路由表情编码器和Ex-ADA实现跨物种动画，性能优于现有方法。
2026-10-20 cs.CV
Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；Microsoft Research Asia（微软亚洲研究院）
我们研究了从单个运动模糊图像中恢复详细运动的挑战性问题。这个问题的现有解决方案估计单个图像序列，而不考虑每个区域的运动模糊性。因此，结果趋于收敛到多模态可能性的平均值。在本文中，我们明确地考虑到这种运动模糊性，使我们能够生成多个合理的解决方案，所有的尖锐的细节。其关键思想是引入一个运动指导表示，这是一个紧凑的量化的二维光流只有四个离散的运动方向。在运动导引的条件下，通过一种新的两级分解网络，将模糊分解引向一个特定的、无模糊的解。我们提出了一个统一的模糊分解框架，它支持各种接口，用于生成我们的运动指导，包括人类输入，来自相邻视频帧的运动信息，以及从视频数据集学习。在合成数据集和真实数据上的大量实验表明，所提出的框架在定性和定量上优于以前的方法，并且还提供了产生物理上合理和多样化的解决方案的优点。代码可在https://github.com/zzh-tech/Animation-from-Blur上获得。
2022-07-20 cs.CV
Animate-X: Universal Character Image Animation with Enhanced Motion Representation
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
针对现有角色图像动画方法难泛化到拟人化角色的问题，提出基于LDM的通用框架Animate-X，通过含隐显式机制的姿态指示器增强运动表征，还构建了A^2Bench基准，实验证明其性能优于现有最优方法。
2024-12-11 cs.CV
MotionWeaver: Holistic 4D-Anchored Framework for Multi-Humanoid Image Animation
Xi’an Jiaotong University（西安交通大学）；Chinese Academy of Sciences（中国科学院）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））
MotionWeaver通过统一运动表示和4D锚定范式，实现多人形图像动画的高效生成与泛化。
2026-02-11 cs.CV
Hallo4: High-Fidelity Dynamic Portrait Animation via Direct Preference Optimization
Fudan University（复旦大学）；Baidu Inc.（百度公司）；Shanghai Innovative Institute（上海创新研究院）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
Hallo4通过直接偏好优化和时空运动调制，实现高保真的动态肖像动画生成，提升唇部同步、表情自然性和身体运动一致性。
2025-11-30 cs.CV
Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation
The Australian National University（澳大利亚国立大学）；XR Vision Labs, Tencent（腾讯XR视觉实验室）
提出一种数据驱动方法，通过解耦身体与服装变形的神经模块，结合新数据集MMDMC，实现风格化角色高质量动作迁移与真实服装动画。
2024-07-15 cs.CV
Deep Animation Video Interpolation in the Wild
SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Rutgers University（罗格斯大学）；Sun Yat-sen University（中山大学）；Shanghai AI Laboratory（上海人工智能实验室）；S-Lab Nanyang Technological University（南洋理工大学S-Lab）
在动画产业中，卡通视频通常以低帧速率产生，因为手绘这样的帧是昂贵且耗时的。因此，期望开发能够自动内插中间动画帧的计算模型。然而，现有的视频插值方法不能产生令人满意的结果上的动画数据。与自然视频相比，动画视频具有使帧插值困难的两个独特特征：1）卡通包括线条和平滑的颜色片段。平滑区域缺乏纹理，因此难以估计动画视频上的准确运动。2)漫画通过夸张来表达故事。有些运动是非线性的，而且非常大。本文首次对动画视频插值问题进行了形式化的定义和研究。为了解决上述挑战，我们提出了一个有效的框架，AnimeInterp，在一个由粗到细的方式有两个专用模块。具体地，1）分段引导匹配通过利用逐段连贯的颜色片段之间的全局匹配来解决“缺乏纹理”的挑战。2)递归流优化通过使用类似transformer的架构进行递归预测，解决了“非线性和超大运动”的挑战。为了便于全面的训练和评估，我们构建了一个大规模的动画三元组数据集ATD-12 K，其中包括12，000个具有丰富注释的三元组。大量的实验表明，我们的方法优于现有的国家的最先进的动画视频插值方法。值得注意的是，AnimeInterp在野外的动画场景中显示出良好的感知质量和鲁棒性。建议的数据集和代码可在https://github.com/lisiyao21/AnimeInterp/上获得。
2021-04-06 cs.CV
RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation
Hefei University of Technology（合肥工业大学）；HiDream.ai Inc.（HiDream.ai公司）
本研究提出RASA框架，通过向DiT注入结构化先验解耦空间映射与运动控制，构建CIM-Bench基准，实验显示其在跨身份角色动画的运动保真度和视觉质量上优于现有最优方法。
2026-08-31 cs.CV
FMReward: Aligning and Evaluating Audio-Driven 3D Facial Animation with Human Preferences
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学 USC-文化创意产业学院）；Institut Universitaire de France (IUF)（法国大学研究院）；University of Nantes（南特大学）
本文构建首个音频驱动三维面部动画人类偏好数据集FMPair，提出FMReward奖励模型与FMFL微调算法，可更好对齐人类偏好，提升该类动画的感知质量。
2026-08-18 cs.CV
Animation of 3D Human Model Using Markerless Motion Capture Applied To Sports
Pune Institute of Computer Technology（浦那计算机技术学院）
无标记运动捕捉是三维虚拟化领域的一个研究热点。在拟议的工作中，我们提出了一个用于3D人物动画的无标记运动捕捉系统，论文对已开发或正在开发的运动和骨架跟踪技术进行了调查。提出了一种将表演者的动作转化为三维人物（模型）的方法，三维人物实时的执行与表演者相似的动作。在所提出的工作中，人体模型数据将被Kinect摄像头捕获，处理后的数据将应用于三维人体模型的动画。3D人体模型使用开源软件（MakeHuman）创建。体育活动的预期数据集被认为是可以应用于任何HCI应用程序的输入。
2014-02-11 cs.CV cs.GR
Predicting Animation Skeletons for 3D Articulated Models via Volumetric Nets
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Toronto（多伦多大学）
我们提出了一种学习方法，用于预测输入的三维模型的关节字符的动画骨架。与以前的方法，适合预定义的骨架模板或预测固定的关节集相比，我们的方法产生了一个动画骨架的结构和几何形状的输入3D模型。我们的架构基于一堆沙漏模块，这些模块是在从网络上挖掘的3D操纵字符的大型数据集上训练的。它对输入3D形状的体积表示进行操作，该输入3D形状增强了几何形状特征，这些几何形状特征为关节和骨骼位置提供了额外的线索。我们的方法还使用户能够直观地控制输出骨架的细节层次。我们的评估表明，我们的方法预测的动画骨架更类似于人类创建的几个替代方案和基线相比。
2019-08-22 cs.CV cs.GR
Articulated Object Estimation in the Wild
University of Freiburg（弗赖堡大学）；University of Stuttgart（斯图加特大学）；University of Technology Nuremberg（纽伦堡技术大学）
针对现有铰接物体估计方法在真实无约束环境中失效的问题，提出结合深度点跟踪与因子图优化的ArtiPoint框架，可从动态RGB-D视频中鲁棒估计铰接特性，同时构建首个自我中心真实场景铰接数据集Arti4D，验证了方法的优越性能。
2025-09-01 cs.CV cs.RO
TDMM-LM: Bridging Facial Understanding and Animation via Language Models
University of Rochester（罗切斯特大学）；University of Tokyo（东京大学）；University of Michigan（密歇根大学）；Voxel51
本文通过语言模型实现面部动作的双向建模，提出TDMM-LM框架，利用生成模型合成面部行为数据集，并通过Motion2Language和Language2Motion任务实现面部动画与理解的统一路径。
2026-03-14 cs.AI cs.CV
The RBO Dataset of Articulated Objects and Interactions
Biology Laboratory, Technische Universit\" a t Berlin, Germany. denotes equal contribution.
我们提出了一个数据集，其中包含人类环境中常见的14个铰接对象的模型，以及记录人类与它们交互的RGB-D视频序列和扳手。358个交互序列在不同的实验条件下（交互类型、照明、视角和背景），总共进行了67分钟的人工操作。与对象的每个交互都用其刚性部分的地面真实姿态和由运动捕获系统获得的运动状态来注释。对于78个序列（25分钟）的子集，我们还测量了相互作用扳手。对象模型包含每个链接及其运动约束的纹理三维三角形网格。我们提供Python脚本来下载和可视化数据。这些数据可在https://tu-rbo.github.io/articulated-objects/上查阅，并在https://zenodo.org/record/1036660/上托管。
2018-06-17 cs.CV cs.RO
Reconstructing Articulated Rigged Models from RGB-D Videos
University of Bonn（波恩大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
虽然存在商业和开源软件来从用RGB-D传感器记录的序列重建静态对象，但缺乏构建逼真变形并可用于跟踪或动画的铰接对象的操纵模型的工具。在这项工作中，我们填补了这一空白，并提出了一种方法，创建一个完整的操纵模型的一个铰接对象从一个传感器的深度数据。为此，我们结合可变形网格跟踪，运动分割的基础上，谱聚类和基于平均曲率流。然后，完全装配的模型由防水网格、嵌入骨架和蒙皮权重组成。
2016-09-09 cs.CV
Articulated Kinematics Distillation from Video Diffusion Models
UCLA（加利福尼亚大学洛杉矶分校）；NVIDIA（英伟达公司）
本文提出 AKD 框架，结合基于骨架的动画与视频扩散模型，通过 Score Distillation Sampling 生成高保真、结构一致且物理合理的复杂角色动画，在 3D 一致性与运动质量上超越现有文本到 4D 生成方法。
2025-04-01 cs.CV cs.GR
Skeleton-aided Articulated Motion Generation
本文首次尝试从单幅图像中生成关节型人体运动序列。一方面，我们利用成对的输入，包括人体骨架信息作为运动嵌入和一个单一的人类图像作为外观参考，以产生新的运动帧，基于条件GAN基础设施。另一方面，采用三重丢失来追求连续帧之间的外观平滑度。由于所提出的框架能够联合利用图像外观空间和关节/运动学运动空间，它生成逼真的关节运动序列，与大多数以前的视频生成方法，产生模糊的运动效果。我们在包括KTH和Human3.6M在内的两个人类行为数据集上测试了我们的模型，所提出的框架在这两个数据集上都产生了非常有希望的结果。
2017-09-14 cs.CV
Learning Part Motion of Articulated Objects Using Spatially Continuous Neural Implicit Representations
Peking University（北京大学）；School of Computer Science（计算机学院）
提出一种基于空间连续神经隐式表示的新框架，通过预测部件表面点的变换矩阵显式解耦铰接物体部件运动，能通用建模多种关节运动，实验证明其有效性。
2023-11-21 cs.CV
SkelGen4D: Weakly-Supervised Skeleton-Based 4D Generation for Text-Driven Mesh Animation
School of Data Science, Lingnan University（岭南大学数据科学学院）；Department of Computer Science and Engineering, Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Autodesk Research（Autodesk研究院）；Institute of Computer Applications, Shanghai Jiao Tong University（上海交通大学计算机应用研究所）
研究文本驱动的4D网格动画生成，提出弱监督前馈框架SkelGen4D，先从动画网格恢复伪骨架，再生成文本条件骨架运动序列并优化，在大规模基准测试中表现良好，能匹配或超越全监督基线，支持运动编辑且符合标准动画管道。
2026-07-10 cs.CV
HumANDiff: Articulated Noise Diffusion for Motion-Consistent Human Video Generation
Stability AI
HumANDiff通过关节化噪声采样、联合外观-运动学习和几何运动一致性学习，实现高保真人体视频生成，支持多样化的服装风格。
2026-04-07 cs.CV
APES: Articulated Part Extraction from Sprite Sheets
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（Adobe研究院）；Tsinghua University（清华大学）
操纵木偶是创建2D角色动画的最流行的表示法之一。创建这些木偶需要将角色划分为独立移动的部分。在这项工作中，我们提出了一种方法来自动识别这样的关节部位，从一个小集合中显示的角色构成的精灵表，这是一个插图的字符，艺术家经常画木偶创作之前。我们的方法被训练来推断关节部位，例如头部，躯干和四肢，这些部位可以重新组装以最好地重建给定的姿势。我们的研究结果表明，无论是在质量上还是在数量上，我们的性能都明显优于替代品。我们的项目页面https://zhan-xu.github.io/parts/包含了我们的代码和数据。
2022-06-04 cs.CV cs.GR
Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of Articulated Objects
NVIDIA（英伟达）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在控制关节对象的姿态的同时渲染关节对象对于诸如虚拟现实或电影动画之类的应用是至关重要的。然而，操纵对象的姿势需要了解其底层结构，即其关节以及它们如何相互作用。不幸的是，假设结构是已知的，如现有的方法所做的那样，排除了在新的对象类别上工作的能力。我们建议通过观察它们从多个视图移动来学习以前看不见的铰接对象的外观和结构，没有关节注释监督或有关结构的信息。我们观察到，相对于彼此静止的3D点应该属于同一部分，并且相对于彼此移动的相邻部分必须通过关节连接。为了利用这一洞察力，我们将3D中的对象部分建模为椭球体，这使我们能够识别关节。我们将这种显式表示与隐式表示相结合，以补偿引入的近似。我们表明，我们的方法适用于不同的结构，从四足动物，单臂机器人，人类。
2022-04-06 cs.CV
AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance
Alibaba Group（阿里巴巴集团）
本文提出AnimateAnything方法，利用视频扩散模型的运动先验，通过目标运动区域引导和运动强度引导实现对开放域图像动画的细粒度可控生成，实验验证了其优越性能。
2023-12-04 cs.CV
ArticulatedGS: Self-supervised Digital Twin Modeling of Articulated Objects using 3D Gaussian Splatting
University of Science and Technology of China（中国科学技术大学）；National University of Defense Technology（国防科技大学）；Shenzhen University（深圳大学）
本文提出自监督框架ArticulatedGS，利用3D高斯泼溅在多步优化中解耦参数，无需3D监督或语义标签即可同时完成铰接物体的部件级外观几何重建与运动参数估计，并在分割、运动估计和视觉质量上取得最优结果。
2025-07-04 cs.CV
Ponymation: Learning Articulated 3D Animal Motions from Unlabeled Online Videos
CUHK MMLab（香港中文大学多媒体实验室）；Stanford University（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）
Ponymation提出一种无需姿态标注的视频照片几何自编码框架，从无标注网络视频中学习铰接式3D动物运动生成模型，实现单图秒级生成4D动画。
2024-07-31 cs.CV
Multi-Object Sketch Animation by Scene Decomposition and Motion Planning
Renmin University of China（中国人民大学）
针对多对象草图动画的挑战，提出基于场景分解与运动规划的MoSketch方法，通过SDS迭代优化实现无需训练数据的动画生成，实验证明其优越性。
2025-08-02 cs.CV
Differentiable Dynamics for Articulated 3d Human Motion Reconstruction
Google Research（谷歌研究院）；Lund University（隆德大学）
我们介绍了DiffPhy，一个可微的基于物理的模型，用于从视频中重建三维人体运动。到目前为止，基于物理的推理在人体运动分析中的应用受到了限制，既受到了构建适当的人体运动物理模型的复杂性的限制，也受到了在循环中使用物理进行稳定和有效推理的巨大挑战。我们共同解决这样的建模和推理的挑战，提出了一种方法，结合了物理上合理的身体表示与解剖关节限制，可微的物理模拟器和优化技术，确保良好的性能和鲁棒性次优局部最优。与最近的几种方法相比，我们的方法很容易支持全身接触，包括与场景中的对象进行交互。最重要的是，我们的模型与图像进行端到端连接，从而通过基于图像的损失函数支持直接基于梯度的物理优化。我们验证了该模型，证明它可以准确地重建物理上合理的三维人体运动从单目视频，无论是在公共基准与可用的三维地面实况，并从互联网上的视频。
2022-05-24 cs.CV
IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kling Team, Kuaishou Technology（快手技术 Kling 团队）；Cardiff University（卡迪夫大学）
IM-Animation通过隐式运动表示和时间一致的遮罩令牌重定向模块，实现身份解耦的角色动画生成，提升动画质量和训练效率。
2026-02-07 cs.CV
ArtMesh: Part-Aware Articulated Mesh Fields with Motion-Consistent Dynamics
University of California San Diego（加州大学圣地亚哥分校）；University of North Texas（北卡罗来纳州立大学）
ArtMesh通过构建基于网格的可微渲染基础，实现了从多视角图像中重建可变形物体的连接三角网格，并在100个新基准数据集上超越了现有3DGS方法。
2026-05-15 cs.CV
Long-Range Motion Trajectories Extraction of Articulated Human Using Mesh Evolution
Sichuan University（四川大学）；Chengdu Technological University（成都工业学院）；University of California-San Diego（加州大学圣地亚哥分校）
这封信提出了一种新的方法来提取可靠的密集和远程运动轨迹的关节的人在视频序列。与现有的方法，强调每个跟踪点的时间一致性相比，我们还考虑了空间结构的跟踪点上的铰接人。我们将点视为一组顶点，并在图像空间中构建一个三角形网格来连接它们。将长距离运动轨迹的提取问题转化为网格随时间演化的一致性问题。首先，自遮挡检测的一种新的基于网格的方法和自适应运动估计方法，提出了初始化连续帧之间的网格。此外，我们提出了一种迭代算法，以有效地调整网格顶点的物理上合理的变形，这可以满足网格的局部刚度和轮廓约束。最后，我们比较了所提出的方法与国家的最先进的方法上的一组具有挑战性的序列。评估表明，我们的方法在提取的轨迹的准确性和完整性方面取得了良好的性能。
2016-03-29 cs.CV
DYNAMO: Dependency-Aware Deep Learning Framework for Articulated Assembly Motion Prediction
School of Mechanical Engineering, Purdue University, USA（机械工程学院，普渡大学，美国）；Department of Electrical and Computer Engineering, Purdue University, USA（电气与计算机工程系，普渡大学，美国）
针对机械装配中几何耦合运动难以推理的问题，提出依赖感知神经模型DYNAMO与基准数据集MechBench，直接从CAD点云预测部件SE(3)运动轨迹，实现了准确且时间一致的耦合运动学习。
2025-09-15 cs.CV
MorphGS: Morphology-Adaptive Articulated 3D Motion Transfer from Videos
本文提出MorphGS框架，通过图像空间监督直接优化目标形态和姿态，解决视频到3D角色动作迁移中的形态差异和姿态模糊问题，实验显示优于基线方法。
2026-07-08 cs.CV
Structure from Articulated Motion: Accurate and Stable Monocular 3D Reconstruction without Training Data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Kaiserslautern（凯泽斯劳滕大学）；University of Prince Mugrin (UPM)（穆格林王子大学）
从二维观测数据中恢复关节式三维结构是一个具有挑战性的计算机视觉问题。目前基于学习的方法在公共基准上达到了最先进的精度，但仅限于训练数据集所涵盖的特定类型的对象和运动。基于模型的方法不依赖于训练数据，但在这些数据集上显示出较低的准确性。在本文中，我们介绍了一种基于模型的方法，称为结构从关节运动（SfAM），它可以恢复多个对象和运动类型，而无需训练广泛的数据汇集。同时，它在公共基准测试中的表现与基于学习的最先进方法不相上下，并且优于以前的非刚性运动恢复结构（NRSfM）方法。SfAM建立在通用NRSfM技术的基础上，同时集成了对骨长度的软时空约束。我们使用交替优化策略来恢复最佳几何形状（即，骨骼比例）以及3D关节位置。SfAM对噪声2D注释具有高度鲁棒性，可推广到任意对象，并且不依赖于训练数据，这在公共基准测试和真实视频序列上的大量实验中显示。我们相信，它带来了一个新的视角上的单目3D恢复关节结构，包括人体运动捕捉的域。
2019-11-12 cs.CV
HyperMotionX: The Dataset and Benchmark with DiT-Based Pose-Guided Human Image Animation of Complex Motions
Bournemouth University（伯恩茅斯大学）；vivo BlueImage Lab, vivo Mobile Communication Co., Ltd（vivo 蓝影实验室，vivo 通信有限公司）；Peking University（北京大学）；National Cheng-Kung University（国立成功大学）
本文提出基于DiT的高效人体动画生成基线和改进的RoPE模块，构建了HyperMotionX数据集和基准，提升了复杂人体运动动画的结构稳定性和外观一致性。
2026-03-18 cs.CV
Multi-Object Sketch Animation with Grouping and Motion Trajectory Priors
School of Software（软件学院）；Beihang University（北航）；Qingdao Research Institute（青岛研究院）
本文提出GroupSketch两阶段方法，通过语义分组、关键帧插值和基于组的位移网络细化，结合文本到视频先验，显著提升多对象草图动画的时间一致性与质量。
2025-08-21 cs.CV
Surface Keypoint Representation for Multi-Object and Articulated Human-Object Interaction Generation
该研究针对现有HOI生成方法难以处理多物体及铰接式物体交互的问题，提出表面关键点轨迹表示与时空接触距离场，通过三阶段框架实现HOI生成，在多数据集上表现优异。
2026-08-05 cs.CV
Consistent and Controllable Image Animation with Motion Linear Diffusion Transformers
Department of Data Science & AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出MiraMo框架，通过线性注意力、运动残差学习和DCT噪声细化策略，提升图像动画的效率、外观一致性与运动平滑度，实现加速推理并支持运动迁移与视频编辑。
2025-08-10 cs.CV
Survey on Modeling of Human-made Articulated Objects
Simon Fraser University（西蒙菲莎大学）
该综述聚焦人造铰接物体三维建模，从几何与铰接建模两维度梳理前沿进展，点明现存挑战与未来研究方向，为相关领域研究者提供基础参考。
2025-03-19 cs.CV
On the role of Lip Articulation in Visual Speech Perception
Apple（苹果公司）
从音频生成逼真的嘴唇运动来模拟语音产生对于驱动自然角色动画至关重要。先前的研究表明，用于优化和评估从语音生成嘴唇运动的模型的传统指标不是动画质量的主观意见的良好指标。设计符合主观意见的指标首先需要了解什么会影响人们对质量的感知。在这项工作中，我们专注于清晰度，并运行了一系列的实验，研究如何清晰度强度影响人类的嘴唇运动伴随着讲话的感知。具体来说，我们研究如何增加下关节（阻尼）和过度关节（夸张）嘴唇运动影响人类的感知质量。我们研究的影响时，只考虑嘴唇的运动，观众与说话的脸所代表的地标，并在具体的字符，观众呈现照片般逼真的视频的上下文中，对人类的感知的清晰度强度。我们的研究结果表明，观众更喜欢过关节的嘴唇运动一贯比下关节的嘴唇运动，这种偏好概括在不同的扬声器和实施例。
2022-11-10 cs.CV cs.GR cs.SD
Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation
BUAA（北京航空航天大学）；KAUST（卡塔尔大学）
本文提出MMFA方法，通过无监督关键点定位解耦身份语义与运动信息，实现可控的面部动画生成与表达操控。
2026-03-04 cs.CV
Learning Fine-Grained Motion Embedding for Landscape Animation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）
在本文中，我们专注于景观动画，其目的是从一个单一的景观图像生成延时视频。运动对于景观动画至关重要，因为它决定了对象在视频中的移动方式。现有的方法能够通过从实时的延时视频中学习运动来生成吸引人的视频。然而，目前的方法遭受不准确的运动生成，这导致不切实际的视频结果。为了解决这个问题，我们提出了一个名为FGLA的模型，通过学习细粒度运动嵌入景观动画来生成高质量和逼真的视频。我们的模型由两部分组成：（1）运动编码器，它以细粒度的方式嵌入延时运动。(2)运动生成器，其生成逼真的运动以使输入图像动画化。为了对不同的延时视频进行训练和评估，我们构建了最大的具有不同场景的高分辨率延时视频数据集，即Time-lapse-D，其中包括超过1000万帧的16，874个视频片段。定量和定性的实验结果证明了我们的方法的优越性。特别是，与我们数据集上的最先进方法相比，我们的方法在LIPIS上实现了19%的相对改进，在FVD上实现了5.6%的相对改进。对700名人类受试者进行的用户研究表明，我们的方法在视觉上大大优于现有方法。
2021-09-13 cs.CV
MVPortrait: Text-Guided Motion and Emotion Control for Multi-view Vivid Portrait Animation
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
MVPortrait提出两阶段文本引导框架，首次以FLAME为中间表示，实现多视角肖像动画的运动与情感控制，并兼容文本、语音和视频驱动。
2025-03-25 cs.CV
Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation
Institute for Intelligent Computing, Alibaba Tongyi Lab（阿里巴巴通义实验室智能计算研究所）
本文提出Perception-as-Control框架，通过构建并操纵3D感知运动表示，将相机与物体运动转化为统一控制信号，实现细粒度协同运动控制的图像动画。
2025-03-10 cs.CV
MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction
S-Lab, Nanyang Technological University, 637335 Singapore（南洋理工大学S实验室）
MonoArt通过渐进结构推理实现单目关节3D重建，无需外部运动模板或多阶段流程，提升重建精度和推理速度，并扩展至机器人操作和关节场景重建。
2026-03-19 cs.CV
QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation
Fudan University（复旦大学）
本文研究了条件人体运动动画（cHMA）的任务。给定源图像和驾驶视频，模型应该动画化新的帧序列，其中源图像中的人应该执行与来自驾驶视频的姿势序列类似的运动。尽管生成对抗网络（GANs）方法在图像和视频合成中取得了成功，但由于难以有效利用图像或姿势等条件引导信息并生成具有良好视觉质量的图像，因此进行cHMA仍然非常具有挑战性。为此，本文提出了一种新的模型，学习量化，拼字，和工艺（QS-Craft）的条件人体运动动画。关键的新颖性来自新引入的三个关键步骤：量化、拼字和工艺。特别是，我们的QS-Craft在其结构中使用了Transformer来利用注意力架构。引导信息被表示为从驾驶视频提取的姿势坐标序列。在人体运动数据集上进行的大量实验验证了该模型的有效性。
2022-03-22 cs.CV
Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints
Wuhan University（武汉大学）；Hong Kong Embodied AI Lab（香港具身AI实验室）；The Chinese University of Hong Kong（香港中文大学）；Peking Union Medical College（北京协和医学院）；University of Macau（澳门大学）；Zhejiang University（浙江大学）
提出Articulat3D框架，通过运动先验初始化和几何运动约束优化，从单目视频重建高保真关节式数字孪生，在合成和真实数据上达到最优性能。
2026-06-25 cs.CV
Teller: Real-Time Streaming Audio-Driven Portrait Animation with Autoregressive Motion Generation
本研究提出首个自回归流式音频驱动人像动画框架Teller，通过面部运动潜变量生成与高效时序优化模块，实现25 FPS实时性能，推理速度远超扩散模型，在小幅运动逼真度上显著优于现有方法。
2025-03-24 cs.CV
AnimationBench: Are Video Models Good at Character-Centric Animation?
New AI Labs
本文提出AnimationBench，首个系统评估动画图像到视频生成的基准，结合动画十二基本原则和IP保护，评估语义一致性、运动合理性等质量维度，支持标准化和开放集评估，揭示现实主义基准忽视的动画特定质量差异。
2026-04-16 cs.CV
UnfoldArt: Zero-Shot Recovery of Full Articulated 3D Objects from Text or Image
Technical University of Munich（慕尼黑工业大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出首个辩论驱动代理方法，结合视觉语言模型和视频生成先验，从文本或图像零样本重建关节式3D物体的结构、运动与隐藏几何。
2026-07-01 cs.CV
DragAPart: Learning a Part-Level Motion Prior for Articulated Objects
University of Oxford（牛津大学）
DragAPart通过在合成数据集Drag-a-Move上微调预训练图像生成器，学习部件级运动先验，实现对铰接对象的拖拽交互响应，并展现出优于现有方法的部件级运动理解与泛化能力。
2024-07-28 cs.CV
UNIF: United Neural Implicit Functions for Clothed Human Reconstruction and Animation
ZMO AI Inc.（ZMO人工智能公司）；ShanghaiTech University（上海科技大学）；Nanyang Technological University（南洋理工大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海高效节能与定制人工智能芯片工程研究中心）
我们提出了联合隐式函数（UNIF），一个基于部分的方法与原始扫描和骨骼作为输入的服装人体重建和动画。以前的基于部分的人体重建方法依赖于SMPL的地面实况部分标签，因此仅限于穿着最少的人类。相比之下，我们的方法学会了从身体运动中分离部分，而不是部分监督，因此可以扩展到穿着衣服的人和其他有关节的物体。我们的运动分割是通过以骨骼为中心的初始化，骨骼限制损失和截面正常损失来实现的，即使在训练姿势有限的情况下，也可以确保稳定的部分分割。我们还提出了一个最小的周边损失SDF抑制额外的表面和部分重叠。我们的方法的另一个核心是一个相邻的部分缝合算法，产生非刚性变形，以保持零件之间的连接，显着减轻了部分为基础的文物。在此算法下，我们进一步提出了“竞争部分”，一种通过点到骨骼的相对位置而不是绝对位置来定义混合权重的方法，避免了具有逆LBS（线性混合皮肤）的神经隐函数的泛化问题。我们通过在CAPE和ClothSeq数据集上的穿着人体重建和动画来证明我们的方法的有效性。
2022-07-20 cs.CV
Learning Motion Refinement for Unsupervised Face Animation
UESTC（电子科技大学）
本文提出一种无监督人脸动画方法，通过设计运动细化模块从源图像和驱动图像间的密集相关性学习局部精细运动，结合局部仿射运动模型捕捉全局粗略运动，有效消除局部伪影并取得最佳效果。
2023-10-21 cs.CV
Skeleton Driven Non-rigid Motion Tracking and 3D Reconstruction
Queensland University of Technology (QUT)（昆士兰科技大学）
提出了一种利用运动的RGB-D摄像机对人体非刚体表面运动进行跟踪和三维重建的方法。由于大范围的关节运动和相当大的非刚性变形，无标记的人体性能的3D重建是一个具有挑战性的问题。目前的方法使用局部优化跟踪。这些方法需要多次迭代才能收敛，并且在突然的关节运动期间可能会陷入局部最小值。我们提出了一种基于木偶模型的跟踪方法，使用骨架先验，它提供了一个更好的初始化跟踪关节运动。所提出的方法使用对齐的木偶模型来估计人类表演捕获的正确对应关系。我们还贡献了一个合成数据集，它提供了地面实况位置逐帧的几何形状和骨骼关节的人类受试者。实验结果表明，我们的方法是更强大的，当面对突然的关节运动，并提供更好的三维重建相比，现有的国家的最先进的方法。
2018-10-09 cs.CV
DeX-Portrait: Disentangled and Expressive Portrait Animation via Explicit and Latent Motion Representations
University of Science and Technology of China（中国科学技术大学）；Central Media Technology Institute, Huawei（华为中央媒体技术研究所）；Nanjing University（南京大学）
DeX-Portrait通过显式和潜在运动表示生成解耦且表达性的肖像动画，提升动画质量和可控性。
2025-12-17 cs.CV
