Reconstruction and Reenactment Separated Method for Realistic Gaussian Head
Zhiling Ye, Cong Zhou, Xiubao Zhang, Haifeng Shen, Weihong Deng, Quan Lu（作者）
本文提出一种3D高斯头部的重建与重演分离框架，仅需单张肖像即可生成可控虚拟人，通过基于WebSSL的两阶段大规模生成器提升泛化与纹理重建能力，在512x512下达90 FPS，性能优于现有最先进方法。
2025-09-17 cs.CV
PixReenact: Pixel-Conditioned Causal Video Diffusion for Streaming Head-Avatar Reenactment
OriginAI；NVIDIA（英伟达）
PixReenact提出像素条件因果视频扩散框架，无需专门身份或运动表示，实现低延迟流式头部化身重演，在跨身份基准上保持身份稳定并处理极端条件。
2026-10-06 cs.CV
ActGAN: Flexible and Efficient One-shot Face Reenactment
SoftServe, Inc.（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
本文介绍了ActGAN -一种用于一次性面部重演的新型端到端生成对抗网络（GAN）。给定两个图像，目标是以照片般逼真的方式将源演员的面部表情转移到目标人物上。虽然现有的方法需要预定义的目标身份，我们解决这个问题，通过引入一个“多对多”的方法，它允许任意的人都为源和目标，而无需额外的再培训。为此，我们采用特征金字塔网络（FPN）作为核心生成器构建块-FPN在面部重演中的第一个应用，产生更好的结果。我们还介绍了一种解决方案，以保持一个人的身份之间的合成和目标的人，采用最先进的方法在深度人脸识别领域。该架构很容易支持不同场景下的重演：“多对多”，“一对一”，“一对另一个”的表达准确性，身份保护和整体图像质量。我们证明了ActGAN在视觉质量方面与最近的作品相比具有竞争力。
2020-03-30 cs.CV
FaR-GAN for One-Shot Face Reenactment
Purdue University（普渡大学）
在图像编辑和电影制作领域中，用目标面部表情和运动来动画化静态面部图像是重要的。由于人脸的复杂几何形状和运动，这种人脸重现过程具有挑战性。以前的工作通常需要来自同一个人的大量图像来模拟外观。在本文中，我们提出了一个一次性的人脸重现模型，FaR-GAN，只需要一个人脸图像的任何给定的源身份和目标表达作为输入，然后产生一个人脸图像的相同的源身份，但与目标表达。所提出的方法不对源身份、面部表情、头部姿势甚至图像背景做任何假设。我们在VoxCeleb 1数据集上评估了我们的方法，并表明我们的方法能够生成比比较方法更高质量的人脸图像。
2020-05-13 cs.CV
ReenactNet: Real-time Full Head Reenactment
University of Exeter（埃克塞特大学）；Imperial College London（帝国理工学院）；Foundation for Research and Technology - Hellas (FORTH)（希腊基础研究与技术基金会（FORTH））
视频到视频合成是一个具有挑战性的问题，旨在学习语义映射序列和描述驾驶视频特征的照片级真实感视频之间的转换函数。我们提出了一个头对头的系统，我们自己的实现能够完全转移的人的头部3D姿态，面部表情和眼睛凝视从源到目标演员，同时保留目标演员的身份。我们的系统产生高保真度，时间平滑和照片般逼真的合成视频忠实地将人类随时间变化的头部属性从源传输到目标演员。我们建议的实施：1）实时的工作（$\sim 20$ fps），2）在具有作为唯一输入的网络摄像头的商用膝上型计算机上运行，3）是交互式的，允许参与者通过改变目标人（例如，名人、政治家等）的表情、头部姿势和眼睛注视来立即驾驶目标人，并且同时可视化合成的视频。
2020-05-22 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect（Hyperconnect公司）
当目标身份和驾驶员身份之间存在不匹配时，面部再现的结果质量会严重下降，特别是在Few-Shot设置中。身份保留问题是最常见的失败模式，其中模型丢失了目标的详细信息，导致有缺陷的输出。这个问题有几个潜在的来源，例如由于身份不匹配导致的驾驶员身份泄露，或者处理看不见的大姿势。为了克服这些问题，我们引入了解决上述问题的组件：图像注意力块，目标特征对齐和地标Transformer。通过参加和扭曲的相关功能，拟议的架构，称为MarioNETte，产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外，地标Transformer通过地标解纠缠隔离表达式几何，极大地简化了身份保存问题。进行了全面的实验，以验证所提出的框架可以生成高度逼真的面孔，优于所有其他基线，即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
One-Shot Face Reenactment on Megapixels
FuriosaAI；Seoul National University（首尔国立大学）；Neosapience；Ajou University（亚洲大学）
人脸再现的目标是将目标表情和头部姿态转换到源人脸，同时保留源身份。随着人脸相关应用的普及，关于这个话题的研究也越来越多。然而，现有的方法的结果仍然局限于低分辨率和缺乏照片真实感。在这项工作中，我们提出了一个一次性和高分辨率的人脸重现方法称为MegaFR。准确地说，我们通过使用基于3DMM的渲染图像来利用StyleGAN，并通过设计一个在没有高质量视频的情况下工作的损失函数来克服缺乏高质量视频数据集的问题。此外，我们采用迭代细化处理极端的姿势和/或表情。由于所提出的方法通过3DMM参数控制源图像，我们可以显式地操纵源图像。我们将MegaFR应用到各种应用中，例如面部额化，眼睛绘画和说话的头部生成。实验结果表明，我们的方法成功地解开身份从表情和头部姿势，并优于传统的方法。
2022-05-26 cs.CV
Neural Head Reenactment with Latent Pose Descriptors
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一个神经头重演系统，这是由潜在的姿态表示驱动，并能够预测前景分割旁边的RGB图像。潜在的姿态表示作为整个重演系统的一部分被学习，并且学习过程仅基于图像重建损失。我们表明，尽管它很简单，但有足够大和多样化的训练数据集，这种学习成功地从身份分解。然后，所得到的系统可以再现驾驶人的模仿，并且还可以执行跨人重演。此外，我们表明，学习的描述符是有用的其他姿势相关的任务，如关键点预测和姿势为基础的检索。
2020-10-30 cs.CV cs.LG
One-shot Face Reenactment Using Appearance Adaptive Normalization
NetEase Fuxi AI Lab（网易伏羲AI实验室）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）
本文提出了一种新的生成对抗网络用于一次人脸重现，它可以将单个人脸图像动画到不同的姿势和表情（由驱动图像提供），同时保持其原始外观。我们的网络的核心是一种称为外观自适应归一化的新机制，它可以通过使用学习的自适应参数调制生成器的特征图，有效地将输入图像的外观信息整合到我们的人脸生成器中。此外，我们专门设计了一个本地网络来重现本地面部组件（即，眼睛、鼻子和嘴巴），这对于网络来说是一个更容易学习的任务，并且可以反过来提供明确的锚点来指导我们的面部生成器学习全局外观和姿势和表情。大量的定量和定性实验表明，我们的模型与以前的一次性方法相比，显着的功效。
2021-04-26 cs.CV
One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space
Kingston University（金斯顿大学）；City University of London（伦敦城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
提出一种利用预训练GAN潜在空间方向发现的方法，实现单样本神经人脸重演，通过3D形状模型学习控制姿态和表情的方向，在VoxCeleb基准上优于现有方法。
2024-02-05 cs.CV
HeadOn: Real-time Reenactment of Human Portrait Videos
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
我们提出了HeadOn，第一个完整的人体肖像视频，使躯干和头部运动，面部表情和眼睛凝视的传输实时的【形】源到目标的重演方法。给定目标演员的短RGB-D视频，我们自动构建嵌入参数化头部、眼睛和运动学躯干模型的个性化几何代理。一种新实时的【形】重演算法采用这种代理照片逼真的映射所捕获的运动从源演员到目标演员。在粗糙的几何代理之上，我们提出了一种基于视频的渲染技术，该技术通过视图和姿势相关的纹理合成修改后的目标肖像视频，并在新颖的躯干和头部姿势，面部表情和凝视方向下创建目标演员的照片级逼真图像。为此，我们提出了一个强大的跟踪源演员的脸和躯干。我们广泛地评估了我们的方法，并显示出显着的改进，使更大的灵活性，在创建逼真的重现输出视频。
2018-05-29 cs.CV cs.GR
Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
人脸再现旨在将源人脸图像动画化为由驾驶图像提供的不同姿态和表情。现有的方法要么是为特定的身份而设计的，要么在一次性或Few-Shot场景中遭受身份保存问题。在本文中，我们介绍了一种用于一次性面部再现的方法，该方法使用重建的3D网格（即，源网格和驱动网格）作为指导来学习再现的面部合成所需的光流。在技术上，我们明确地排除了驱动面的身份信息在重建的驱动网格。通过这种方式，我们的网络可以专注于源人脸的运动估计，而不会受到驱动人脸形状的干扰。我们提出了一个运动网络来学习人脸运动，这是一个不对称的自动编码器。编码器是从网格学习潜在运动矢量的图卷积网络（GCN），并且解码器用于利用CNN从潜在矢量产生光流图像。与以往的基于稀疏关键点的光流学习方法相比，本文提出的运动网络直接从三维稠密网格中学习光流，为光流提供了详细的形状和姿态信息，从而可以在再现的人脸上实现更精确的表情和姿态。大量的实验表明，我们的方法可以产生高质量的结果，并优于国家的最先进的方法在定性和定量比较。
2020-09-18 cs.CV
HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces
Kingston University London（伦敦金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
针对现有单样本人脸重演易产生伪影、极端姿态下效果差的问题，提出HyperReenact方法，借助预训练StyleGAN2和超网络实现身份优化与姿态重定向，在标准基准上取得更优的无伪影生成效果与鲁棒性。
2023-07-20 cs.CV
VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；ETH Zurich（苏黎世联邦理工学院）；Pinscreen；VinAI Research（VinAI研究院）
VOODOO XP提出3D感知的一次性头部重演方法，通过交叉重演架构和多阶段自监督实现实时高表现力面部表情生成，并集成于VR远程呈现系统，在表现力和相似度保持上达到最先进水平。
2024-05-28 cs.AI cs.CV cs.GR
One-shot Face Reenactment
SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
为了实现逼真的形状（例如姿势和表情）转移，现有的面部重现方法依赖于一组目标面部来学习特定于主题的特征。然而，在现实世界的情况下，最终用户往往只有一个目标的脸在手，使现有的方法不适用。在这项工作中，我们提出了一种新颖的一次性面部重演学习框架，以弥补这一差距。我们的关键见解是，一次性学习器应该能够解开和组成的外观和形状信息，有效的建模。具体地，目标面部外观和源面部形状首先利用其对应的编码器被投影到潜在空间中。然后通过学习一个共享的解码器将这两个潜在空间关联起来，该解码器聚合多级特征以产生最终的重演结果。为了进一步提高胡子和头发区域的合成质量，我们还提出了FusionNet，它结合了我们学习的解码器和传统的扭曲方法的优点。大量的实验表明，我们的一杆脸重演系统实现了优越的传输保真度以及身份保护能力比替代品。更值得注意的是，我们的方法训练每个主题只有一个目标图像实现了竞争力的结果，那些使用一组目标图像，证明了这项工作的实际价值。代码，模型和一组额外的重新制定的面孔已经在项目页面上公开发布。
2019-08-05 cs.CV eess.IV
DiffusionAct: Controllable Diffusion Autoencoder for One-shot Face Reenactment
Kingston University London（伦敦金斯顿大学）；City University of London（伦敦城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
DiffusionAct利用扩散自编码器的语义空间控制，实现一次性人脸再现，无需特定主体微调，在保留身份外观的同时转移姿态表情，性能优于或媲美现有方法。
2025-03-25 cs.AI cs.CV
Audio-Visual Face Reenactment
IIIT, Hyderabad（海得拉巴国际信息技术研究所）；University of Bath（巴斯大学）
本文提出了一种利用音频流和视频流生成真实感头部视频的新方法。我们通过使用可学习的关键点生成的密集运动场从驾驶视频传输头部运动来制作源图像的动画。我们使用音频作为额外的输入来提高唇同步的质量，帮助网络关注嘴部区域。我们使用额外的先验知识，使用人脸分割和人脸网格来改善重建人脸的结构。最后，我们通过将一个精心设计的身份感知生成器模块，提高了一代人的视觉质量。身份感知生成器将源图像和变形的运动特征作为输入，以生成具有细粒度细节的高质量输出。我们的方法产生了最先进的结果，并很好地推广到看不见的面孔，语言和声音。我们使用多个指标全面评估我们的方法，并在定性和定量方面优于当前的技术。我们的工作开辟了几个应用，包括实现低带宽视频通话。我们在http://cvit.iiit.ac.in/research/projects/cvit-projects/avfr上发布了演示视频和其他信息。
2022-10-06 cs.CV
Thinking the Fusion Strategy of Multi-reference Face Reenactment
Sony Group Corporation（索尼集团公司）
在深度生成模型的最新进展中，人脸再现-操纵和控制人脸，包括他们的头部运动-因其广泛的适用性而备受关注。尽管其强大的表现力，这是不可避免的，模型无法重建或准确地生成一个给定的单一参考图像的脸看不见的一面。现有的大多数方法通过从大量数据中学习人脸的外观并在推理时生成真实感纹理来缓解这个问题。而不是完全依赖于生成模型的学习，我们表明，通过使用多个参考图像的简单扩展显着提高生成质量。我们通过以下方式来证明这一点：1）在公开数据集上进行重建任务，2）在由多人头部运动视频序列组成的原始数据集上进行面部运动转移，3）使用新提出的评估指标来验证我们的方法获得了更好的定量结果。
2022-02-22 cs.CV cs.LG
StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment
Kingston University London（伦敦金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
在本文中，我们解决了神经人脸重现的问题，其中，给定一对源和目标面部图像，我们需要通过同时保留源的身份特征（例如，面部形状、发型等），即使在源面部和目标面部属于不同身份的挑战性情况下也是如此。在这样做时，我们解决了现有技术作品的一些限制，即，a）它们依赖于成对的训练数据（即，源面部和目标面部具有相同的身份），b）它们在推断期间依赖于标记的数据，以及c）它们在大的头部姿势变化中不保持身份。更具体地说，我们提出了一个框架，使用不成对的随机生成的面部图像，学习解开的身份特征的脸从它的姿势，将最近推出的风格空间$\mathcal{S}$的StyleGAN2，一个潜在的表示空间，表现出显着的解开属性。通过利用这一点，我们学会了使用3D模型的监督成功地混合一对源和目标样式代码。所得到的潜在代码，随后用于重演，包括对应于面部姿势的目标只和对应于源的身份只的单元的潜在单元，导致显着改善的重演性能相比，最近的国家的最先进的方法。与现有技术相比，我们定量和定性地表明，所提出的方法即使在极端姿态变化的情况下也能产生更高质量的结果。最后，我们报告了真实图像的结果，首先将它们嵌入到预训练生成器的潜在空间中。我们将代码和预训练模型公开发布于：https://github.com/StelaBou/StyleMask
2022-09-27 cs.CV
FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality
Technical University Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了FaceVR，这是一种基于图像的新方法，可以基于自我重演在VR中实现视频电话会议。VR环境中最先进的人脸跟踪方法集中在操纵3D化身的动画上。虽然它们实现了良好的跟踪性能，但结果看起来卡通而不真实。与这些基于模型的方法相比，FaceVR使用基于图像的技术实现VR电话会议，从而产生近乎照片般逼真的输出。FaceVR的关键组件是一种强大的算法，用于对佩戴盔装显示器（HMD）的演员进行实时的面部运动捕捉，以及一种新的数据驱动方法，用于从单眼视频中进行眼动追踪。FaceVR基于在没有HMD的情况下对预先录制的立体视频的再现，实时的结合了照片般逼真的重新渲染，从而允许对面部和眼睛外观进行人工修改。例如，我们可以在预先录制的目标视频中改变面部表情或改变注视方向。在实时设置中，我们应用这些新引入的算法组件。
2018-03-21 cs.CV
PortraitDirector: A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment
Tongyi Lab（通义实验室）
本文提出PortraitDirector框架，通过分层解耦策略实现高保真可控的面部重演，采用空间层和语义层解耦面部运动，并通过优化实现20FPS的实时重演。
2026-04-21 cs.CV
Single-Shot Freestyle Dance Reenactment
Facebook AI Research（Facebook人工智能研究）；Tel-Aviv University（特拉维夫大学）
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况，其中目标人根据舞者的运动改变他们的姿势。在这项工作中，我们提出了一种新的方法，可以通过任意视频序列重新激活单个图像，在训练过程中看不到。该方法结合了三个网络：（i）分割映射网络，（ii）真实帧渲染网络，以及（iii）面部细化网络。通过将此任务分为三个阶段，我们能够获得一系列新颖的逼真帧，捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量，并且能够动画化不同的身体类型和外观，这些身体类型和外观是在具有挑战性的姿势中捕获的，如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance
本研究提出MagicPortrait视频人脸重演方法，将FLAME 3D人脸参数模型结合几何引导编码器融入潜扩散框架，实现精准运动控制与形状一致性，在基准测试中表现优异且域外泛化性强。
2025-10-29 cs.CV
ICface: Interpretable and Controllable Face Reenactment Using GANs
Tampere University（坦佩雷大学）；Aalto University of Technology（阿尔托理工大学）
本文提出了一种通用的人脸动画，是能够控制一个给定的人脸图像的姿态和表情。动画由人类可解释的控制信号驱动，包括头部姿势角度和动作单位（AU）值。控制信息可以从多个来源获得，包括外部驾驶视频和手动控制。由于驱动信号的可解释性，人们可以很容易地混合多个来源之间的信息（例如，来自一个图像的姿势和来自另一个图像的表情），并应用选择性的后期制作编辑。建议的人脸动画实现为一个两阶段的神经网络模型，学习在一个自我监督的方式使用一个大的视频集合。建议的可解释和可控的人脸重演网络（ICface）相比，国家的最先进的神经网络为基础的人脸动画技术在多个任务。结果表明，ICface产生更好的视觉质量，同时比大多数比较方法更通用。引入的模型可以为众多高级图像和视频编辑任务提供轻量级且易于使用的工具。
2020-01-17 cs.CV
Finding Directions in GAN's Latent Space for Neural Face Reenactment
Kingston University（金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文是脸/头的重演，其目标是将面部姿态（3D头部方向和表情）的目标脸的源面。以前的方法专注于学习嵌入网络的身份和姿态解纠缠，这被证明是一个相当困难的任务，降低了生成图像的质量。我们采取了一种不同的方法，绕过这种网络的训练，通过使用（微调）预先训练的GANs，这些GANs已经被证明能够产生高质量的面部图像。由于GANs的特点是弱可控性，我们的方法的核心是一种方法来发现潜在GAN空间中的哪些方向负责控制面部姿势和表情变化。我们提出了一个简单的管道来学习这样的方向的3D形状模型的帮助下，通过建设，已经捕获解开方向的面部姿势，身份和表情。此外，我们表明，通过将真实图像嵌入到GAN潜空间中，我们的方法可以成功地用于真实世界的人脸的再现。我们的方法具有几个有利的特性，包括使用单一的源图像（一次），并使跨人重演。我们的定性和定量结果表明，我们的方法通常会产生比VoxCeleb 1和2的标准基准的最先进的方法所产生的质量显着更高的重现的面孔。源代码可从以下网址获得：https://github.com/StelaBou/stylegan_directions_face_reenactment
2022-10-06 cs.AI cs.CV
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment
Sun Yat-sen University（中山大学）；Cardiff University（卡迪夫大学）
针对音频驱动面部重演中显式与隐式表征的权衡问题，提出参数化隐式人脸表征及可控高质量重演框架，通过多项技术优化提升生成效果与泛化性，实验验证其在逼真度和身份风格保真度上优于现有方法。
2023-06-13 cs.CV
Navigating Large-Pose Challenge for High-Fidelity Face Reenactment with Video Diffusion Model
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China（合成视觉基础科学国家重点实验室，四川大学，成都，610065，中国）；School of Cyber Science and Engineering, Sichuan University, Chengdu, 610065, China（网络科学与工程学院，四川大学，成都，610065，中国）；College of Computer Science, Sichuan University, Chengdu, 610065, China（计算机科学学院，四川大学，成都，610065，中国）
本文提出FRVD模型，通过运动提取、变形特征映射器与预训练I2V模型潜在空间相结合，解决大姿态变化下的高保真面部重现问题，在姿态准确性、身份保持和视觉质量上优于现有方法。
2025-07-22 cs.CV
Total-Editing: Head Avatar with Editable Appearance, Motion, and Lighting
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
Total-Editing提出统一肖像编辑框架，结合神经辐射场内在分解与移动最小二乘变形场，实现外观、动作和光照的精确控制，提升编辑质量与真实感。
2025-05-26 cs.CV
Automatic Face Reenactment
MPI for Informatics（马克斯·普朗克信息学研究所）；Philipps-Universität Marburg（马尔堡菲利普大学）；Technicolor（特艺集团）
我们提出了一种基于图像的面部重演系统，该系统将现有目标视频中的演员面部替换为源视频中的用户面部，同时保留原始目标性能。我们的系统是全自动的，不需要源表达式的数据库。相反，它能够从一个现成的摄像头（如网络摄像头）捕获的短源视频中产生令人信服的重现结果，其中用户执行任意的面部手势。我们的重演流水线被认为是部分图像检索和部分人脸传输：图像检索是基于目标帧的时间聚类和一种新的图像匹配度量，该度量结合了外观和运动，从源视频中选择候选帧，而人脸传输使用2D变形策略，保留用户的身份。我们的系统在简单性方面表现出色，因为它不依赖于3D人脸模型，它在头部运动下具有鲁棒性，并且不需要源和目标性能相似。我们为自己录制的视频和从互联网上拍摄的低质量镜头展示了令人信服的重现结果。
2016-02-08 cs.CV cs.GR
Learning Online Scale Transformation for Talking Head Video Generation
HKUST（香港科技大学）
针对单样本说话人头部视频生成中源图像与驱动图像尺度差异导致面部重演效果不佳的问题，提出带尺度变换模块的在线尺度变换面部重演网络，无需锚帧即可实现准确动作迁移，生成尺度准确的高质量跨身份重演人脸。
2024-07-13 cs.AI cs.CV
HeadGAN: One-shot Neural Head Synthesis and Editing
Imperial College London（帝国理工学院）；Huawei Technologies（华为技术有限公司）；University of Sussex（萨塞克斯大学）
最近尝试解决使用单个参考图像的头部再现的问题已经显示出有希望的结果。然而，它们中的大多数要么在照片真实感方面表现不佳，要么未能满足身份保留问题，要么没有完全转移驾驶姿势和表情。我们提出了HeadGAN，这是一种新的系统，它可以在3D面部表示上进行合成，这些表示可以从任何驾驶视频中提取，并适应任何参考图像的面部几何形状，从表情中分离身份。我们进一步改善嘴部运动，通过利用音频功能作为补充输入。3D人脸表示使HeadGAN能够进一步用作压缩和重建的有效方法以及表达和姿势编辑的工具。
2021-08-23 cs.CV
APB2Face: Audio-guided face reenactment with auxiliary pose and blink signals
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
音频引导的面部重现旨在使用音频信息生成逼真的面部，同时保持与真人说话时相同的面部运动。然而，现有的方法不能生成逼真的人脸图像或只能再现低分辨率的人脸，限制了其应用价值。为了解决这些问题，我们提出了一种新的深度神经网络APB2Face，它由GeometryPredictor和FaceReenactor模块组成。GeometryPredictor使用额外的头部姿势和眨眼状态信号以及音频来预测潜在的地标几何信息，而FaceReenactor输入面部地标图像来重现照片级逼真的面部。一个新的数据集AnnVI从YouTube收集到的支持的方法，实验结果表明，我们的方法比最先进的，无论是在真实性或可控性的优越性。
2020-04-30 cs.CV cs.LG eess.IV
Facial Reenactment Through a Personalized Generator
Tel-Aviv University（特拉维夫大学）
针对单图驱动面部重演易产生不忠实幻觉的问题，本文用简短自扫描视频训练个性化生成器，并通过潜空间优化匹配姿态与表情，实现保身份的SOTA重演及语义后编辑。
2023-07-12 cs.CV cs.GR cs.LG
Dynamic Neural Portraits
Imperial College London（帝国理工学院）；Huawei Technologies（华为技术有限公司）
我们提出了动态神经画像，一种新的方法来解决全头重演的问题。我们的方法通过明确控制头部姿势，面部表情和眼睛凝视来生成照片般逼真的视频肖像。我们提出的架构不同于现有的方法，这些方法依赖于基于GAN的图像到图像转换网络，将3D人脸渲染转换为照片级逼真的图像。相反，我们建立我们的系统上的二维坐标为基础的MLP与可控的动态。我们采用基于2D的表示的直觉，而不是最近的3D NeRF类系统，源于这样一个事实，即视频肖像是由单目固定摄像机捕获的，因此，只有一个单一的视点的场景是可用的。首先，我们将我们的生成模型设定在表情融合形状上，尽管如此，我们表明我们的系统也可以成功地由音频特征驱动。我们的实验表明，所提出的方法比最近基于NeRF的重演方法快270倍，我们的网络在分辨率高达1024 x 1024的情况下实现了24 fps的速度，同时在视觉质量方面优于以前的作品。
2022-11-25 cs.CV
Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control
Imperial College London（帝国理工学院）；Huawei Technologies（华为技术有限公司）；University of Sussex（萨塞克斯大学）
我们提出了Free-HeadGAN，一个人通用的神经说话头合成系统。我们表明，稀疏的3D面部标志的人脸建模足以实现最先进的生成性能，而不依赖于强大的统计先验的脸，如3D变形模型。除了3D姿势和面部表情之外，我们的方法还能够完全将眼睛注视从驾驶演员转移到源身份。我们完整的管道由三个组件组成：一个规范的3D关键点估计器，它回归3D姿势和表情相关的变形，一个凝视估计网络和一个基于HeadGAN架构的生成器。我们进一步实验了我们的生成器的扩展，以适应使用注意力机制的少量学习，如果有多个源图像可用。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实感，同时提供了明确的凝视控制。
2022-08-03 cs.CV
Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data
针对3DMM限制单样本4D头部合成的问题，提出利用大规模合成数据，通过对抗学习生成多视角训练数据，并结合基于transformer的可动画三平面重建器与解耦学习策略，实现了优于现有技术的4D头部合成。
2024-06-03 cs.CV
Neural Voice Puppetry: Audio-driven Facial Reenactment
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
我们提出了神经语音木偶，音频驱动的面部视频合成的新方法。给定源人物或数字助理的音频序列，我们生成与源输入的音频同步的目标人物的照片般逼真的输出视频。这种音频驱动的面部重现由采用潜在3D面部模型空间的深度神经网络驱动。通过底层的3D表示，该模型固有地学习时间稳定性，而我们利用神经渲染来生成照片般逼真的输出帧。我们的方法适用于不同的人，使我们能够将目标演员的视频与任何未知来源演员的声音合成，甚至可以使用标准的文本到语音方法生成合成声音。神经语音木偶有各种各样的用例，包括音频驱动的视频化身，视频配音和文本驱动的视频合成。我们展示了我们的方法在一系列音频和基于文本的木偶的例子，包括比较国家的最先进的技术和用户研究的能力。
2020-07-29 cs.CV cs.GR
Generalizable and Animatable Gaussian Head Avatar
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
提出GAGAvatar，通过单次前向传播和双重提升方法从单张图像生成高保真3D Gaussians，实现实时、高质量的单次可动画化头部虚拟人重建。
2024-10-10 cs.CV cs.GR
Head2Head++: Deep Facial Attributes Re-Targeting
Imperial College London（帝国理工学院）；University of Exeter（埃克塞特大学）；Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会）
人脸视频重定向是一个具有挑战性的问题，旨在通过驾驶单目序列以无缝的方式修改目标主体的面部属性。我们利用面部的3D几何形状和生成对抗网络（GANs）来设计一种新颖的深度学习架构，用于面部和头部的重现任务。我们的方法不同于纯粹的基于3D模型的方法，或最近使用深度卷积神经网络（DCNN）来生成单个帧的基于图像的方法。我们设法捕捉复杂的非刚性面部运动从驾驶单目表演和合成时间一致的视频，与顺序发生器和ad-hoc动态鉴别器网络的帮助。我们进行了一系列全面的定量和定性测试，并通过实验证明，我们提出的方法可以成功地将面部表情，头部姿势和眼睛凝视从源视频转移到目标对象，以照片般逼真和忠实的方式，优于其他最先进的方法。最重要的是，我们的系统以近乎实时的速度（18 fps）执行端到端的重演。
2021-09-28 cs.CV cs.LG eess.IV
Portrait4D-v2: Pseudo Multi-View Data Creates Better 4D Head Synthesizer
针对现有4D头部合成依赖不准确3DMM重建的问题，提出Portrait4D-v2方法，通过生成伪多视图视频、结合跨视图自重演与运动感知注意力的Transformer，提升了重建保真度等性能，为4D头部构建提供新路径。
2024-07-11 cs.CV
GaussianStyle: Gaussian Head Avatar via StyleGAN
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
提出GaussianStyle框架，融合3DGS与StyleGAN，实现高保真动态头部建模，在重演、新视角合成和动画任务上达到最先进性能。
2024-08-20 cs.CV
Realistic One-shot Mesh-based Head Avatars
Samsung AI Center – Moscow（三星人工智能中心（莫斯科））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex Armenia（亚美尼亚扬德克斯公司）
我们提出了一个系统，为现实的一杆网格为基础的人类头部化身创建，罗马为短。使用一张照片，我们的模型估计一个人特定的头部网格和相关的神经纹理，它编码局部光度和几何细节。由此产生的化身是操纵的，可以使用神经网络渲染，该网络与网格和纹理估计器一起在野外视频数据集上进行训练。在实验中，我们观察到，我们的系统表现出竞争力的头部几何形状恢复和渲染的质量，特别是跨人重演。查看结果https://samsunglabs.github.io/rome/
2022-06-16 cs.CV cs.GR
iDiT-HOI: Inpainting-based Hand Object Interaction Reenactment via Video Diffusion Transformer
Department of Computer Vision Technology(VIS), Baidu Inc.（计算机视觉技术系（VIS），百度公司）
针对手物交互重演生成中遮挡多、泛化难等问题，本文提出iDiT-HOI框架，搭配Inp-TPU方法与两阶段视频DiT模型，复用预训练模型能力实现强泛化，效果优于现有方法。
2025-06-15 cs.CV cs.GR
Compressing Video Calls using Synthetic Talking Heads
IIIT-Hyderabad（印度海得拉巴国际信息技术学院）；University of Bath（巴斯大学）
我们利用现代先进的说话头生成，提出了一个端到端的系统说话头视频压缩。我们的算法间歇性地传输枢轴帧，而其余的谈话头部视频是通过动画生成的。我们使用最先进的人脸重现网络来检测非枢轴帧中的关键点，并将其传输到接收器。然后计算密集流以扭曲枢轴帧以重建非枢轴帧。传输关键点而不是全帧会导致显著的压缩。我们提出了一种新的算法，以自适应地选择最适合的枢轴帧在定期提供一个平滑的体验。我们还提出了一个帧内插器在接收端，以进一步提高压缩水平。最后，人脸增强网络提高了重建质量，显著改善了几个方面，如世代的清晰度。我们在基准数据集上定性和定量地评估了我们的方法，并将其与多种压缩技术进行了比较。我们在https://cvit.iiit.ac.in/research/projects/cvit-projects/talking-video-compression上发布了演示视频和其他信息。
2022-10-07 cs.CV
DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
Technical University of Munich（慕尼黑工业大学）
本研究提出DiffusionAvatars方法，结合扩散模型与神经参数化头部模型，通过交叉注意力和TriPlane特征绑定实现高保真3D头部虚拟形象合成，在新姿态表情生成上效果优于现有方法。
2024-04-16 cs.CV
GHOST 2.0: generative high-fidelity one shot transfer of heads
Sber AI；AIRI
本文提出 GHOST 2.0 头部交换框架，通过多尺度身份保持的增强型 Aligner 与融合修复的 Blender，实现高保真头部重演与背景无缝合成。
2025-06-09 cs.CV
GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation
School of Artificial Intelligence, Nanjing University of Posts and Telecommunications（南京邮电大学人工智能学院）；BNRist, Tsinghua University（清华大学BNRist）；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
针对构建逼真3D头部化身并实现动画的挑战，提出GaussianHead方法，通过各向异性3D高斯建模头部，结合运动变形场、多分辨率三平面及高斯专属派生方案，在相关任务中实现高保真渲染并优于现有方法。
2025-04-15 cs.CV
OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
OMG-Avatar提出一种一次性多细节层次高斯表示方法，从单张图像在0.2秒内实现可动画的3D头像重建，通过统一模型支持多样化硬件能力和推理速度需求，结合Transformer架构和投影采样技术，融合深度缓冲区确保遮挡合理性，并引入粗到细学习范式提升层次细节感知。
2026-03-30 cs.CV
Head2Head: Video-based Neural Head Synthesis
University of Exeter（埃克塞特大学）；Imperial College London（帝国理工学院）；Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会）
在本文中，我们提出了一种新的机器学习架构的面部重现。特别是，与使用深度卷积神经网络（DCNN）来生成单个帧的基于模型的方法或最近的基于帧的方法相反，我们提出了一种新方法，该方法（a）利用面部运动的特殊结构（特别注意嘴巴运动）和（b）强制执行时间一致性。我们证明，所提出的方法可以传输面部表情，姿势和凝视的源演员的目标视频中的照片逼真的方式比国家的最先进的方法更准确。
2020-05-22 cs.CV cs.LG eess.IV
FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出FONT模型，通过头部姿态预测模块、关键点预测器和流引导遮挡感知生成器，从单张源人脸和驱动音频生成具有自然头部动作和同步嘴型的逼真说话人脸视频。
2023-03-31 cs.CV
HeadGAP: Few-Shot 3D Head Avatar via Generalizable Gaussian Priors
ByteDance（字节跳动）；ShanghaiTech University（上海科技大学）
针对少样本3D头部化身构建的欠约束问题，提出HeadGAP框架，通过基于高斯溅射的自解码器网络从大规模动态数据学习头部先验，结合反演微调实现高保真、可动画的少样本个性化头部生成。
2025-01-13 cs.CV
OSM-Net: One-to-Many One-shot Talking Head Generation with Spontaneous Head Motions
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对单样本说话人头像中头部动作缺失或一对一映射不自然的问题，本文提出 OSM-Net，通过片段级运动空间与音频条件采样实现一对多自然头部动作生成。
2023-09-28 cs.CV
G3FA: Geometry-guided GAN for Face Animation
本文提出G3FA框架，通过融合逆向渲染提取3D几何信息、判别器加权平均集成及2D运动扭曲与体绘制技术，提升了仅基于2D图像的实时人脸重演的几何一致性与生成质量。
2024-08-23 cs.CV
