MaskRenderer: 3D-Infused Multi-Mask Realistic Face Reenactment
University of Toronto（多伦多大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
提出身份无关的端到端人脸重现系统MaskRenderer，利用3DMM建模、三元组损失和多尺度遮挡技术，有效解决身份泄露与嘴部动作模仿问题，在VoxCeleb1上优于现有方法。
2023-09-10 cs.CV
ActGAN: Flexible and Efficient One-shot Face Reenactment
SoftServe, Inc.（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
本文介绍了ActGAN -一种用于一次性面部重演的新型端到端生成对抗网络（GAN）。给定两个图像，目标是以照片般逼真的方式将源演员的面部表情转移到目标人物上。虽然现有的方法需要预定义的目标身份，我们解决这个问题，通过引入一个“多对多”的方法，它允许任意的人都为源和目标，而无需额外的再培训。为此，我们采用特征金字塔网络（FPN）作为核心生成器构建块-FPN在面部重演中的第一个应用，产生更好的结果。我们还介绍了一种解决方案，以保持一个人的身份之间的合成和目标的人，采用最先进的方法在深度人脸识别领域。该架构很容易支持不同场景下的重演：“多对多”，“一对一”，“一对另一个”的表达准确性，身份保护和整体图像质量。我们证明了ActGAN在视觉质量方面与最近的作品相比具有竞争力。
2020-03-30 cs.CV
FaR-GAN for One-Shot Face Reenactment
Purdue University（普渡大学）
在图像编辑和电影制作领域中，用目标面部表情和运动来动画化静态面部图像是重要的。由于人脸的复杂几何形状和运动，这种人脸重现过程具有挑战性。以前的工作通常需要来自同一个人的大量图像来模拟外观。在本文中，我们提出了一个一次性的人脸重现模型，FaR-GAN，只需要一个人脸图像的任何给定的源身份和目标表达作为输入，然后产生一个人脸图像的相同的源身份，但与目标表达。所提出的方法不对源身份、面部表情、头部姿势甚至图像背景做任何假设。我们在VoxCeleb 1数据集上评估了我们的方法，并表明我们的方法能够生成比比较方法更高质量的人脸图像。
2020-05-13 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect（Hyperconnect公司）
当目标身份和驾驶员身份之间存在不匹配时，面部再现的结果质量会严重下降，特别是在Few-Shot设置中。身份保留问题是最常见的失败模式，其中模型丢失了目标的详细信息，导致有缺陷的输出。这个问题有几个潜在的来源，例如由于身份不匹配导致的驾驶员身份泄露，或者处理看不见的大姿势。为了克服这些问题，我们引入了解决上述问题的组件：图像注意力块，目标特征对齐和地标Transformer。通过参加和扭曲的相关功能，拟议的架构，称为MarioNETte，产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外，地标Transformer通过地标解纠缠隔离表达式几何，极大地简化了身份保存问题。进行了全面的实验，以验证所提出的框架可以生成高度逼真的面孔，优于所有其他基线，即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
One-Shot Face Reenactment on Megapixels
FuriosaAI；Seoul National University（首尔国立大学）；Neosapience；Ajou University（亚洲大学）
人脸再现的目标是将目标表情和头部姿态转换到源人脸，同时保留源身份。随着人脸相关应用的普及，关于这个话题的研究也越来越多。然而，现有的方法的结果仍然局限于低分辨率和缺乏照片真实感。在这项工作中，我们提出了一个一次性和高分辨率的人脸重现方法称为MegaFR。准确地说，我们通过使用基于3DMM的渲染图像来利用StyleGAN，并通过设计一个在没有高质量视频的情况下工作的损失函数来克服缺乏高质量视频数据集的问题。此外，我们采用迭代细化处理极端的姿势和/或表情。由于所提出的方法通过3DMM参数控制源图像，我们可以显式地操纵源图像。我们将MegaFR应用到各种应用中，例如面部额化，眼睛绘画和说话的头部生成。实验结果表明，我们的方法成功地解开身份从表情和头部姿势，并优于传统的方法。
2022-05-26 cs.CV
TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment
University of Technology Sydney（悉尼科技大学）；Shandong University of Science and Technology（山东科技大学）
本文提出首个跨身份舌部动态迁移框架，结合 foundation model 辅助的自举流水线与空间约束潜在掩码扩散模型，在舌部指标上较基线提升超两倍，且 VLM 评估证实其感知优势。
2026-07-31 cs.CV
Fine-grained Identity Preserving Landmark Synthesis for Face Reenactment
Fudan University（复旦大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
最近的人脸重建工作受到粗糙参考地标的限制，导致身份保持性能不令人满意，由于操纵的地标和从真实的人采样的地标之间的分布差距。为了解决这个问题，我们提出了一个细粒度的身份保持地标引导的人脸重现方法。所提出的方法有两个新颖之处。首先，一个地标合成网络，旨在生成更细粒度的地标面与更多的细节。该网络细化操作的标志，并产生一个平滑的，逐渐变化的人脸标志序列具有良好的身份保持能力。其次，设计了几种新颖的损失函数，包括合成人脸的身份保持损失、前景/背景掩模损失以及边界损失，旨在合成清晰锐利的高质量人脸。实验在我们自己收集的BeautySelfie和公共VoxCeleb 1数据集上进行。所提出的定性和定量的结果表明，我们的方法可以重现细粒度的更高质量的脸与良好的ID保留外观细节，更少的文物和更清晰的边界比国家的最先进的作品。代码将被发布用于复制。
2021-10-12 cs.CV
APB2FaceV2: Real-Time Audio-Guided Multi-Face Reenactment
Zhejiang University（浙江大学）；Huzhou University（湖州学院）
音频引导的面部重现旨在生成具有与输入音频匹配的面部表情的照片级真实感的面部。然而，目前的方法只能重现一个特定的人，一旦模型被训练或需要额外的操作，如三维渲染和图像后融合的前提下，生成生动的人脸。为了解决上述问题，本文提出了一种新的\emph{R}实时\emph{A}音频引导的\emph{M}多人脸再现方法\emph{APB2FaceV2}，该方法能够在多个人之间用相应的参考人脸再现不同的目标人脸，并驱动音频信号作为输入。为了使模型能够进行端到端的训练并具有更快的速度，我们设计了一个名为自适应卷积（AdaConv）的新模块来将音频信息注入网络，并采用轻量级网络作为我们的骨干，以便网络可以在CPU和GPU上实时的运行。对比实验证明了该方法的优越性，进一步的实验表明，该方法是有效和灵活的实际应用https://github.com/zhangzjn/APB2FaceV2
2020-10-25 cs.CV
One-shot Face Reenactment Using Appearance Adaptive Normalization
NetEase Fuxi AI Lab（网易伏羲AI实验室）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）
本文提出了一种新的生成对抗网络用于一次人脸重现，它可以将单个人脸图像动画到不同的姿势和表情（由驱动图像提供），同时保持其原始外观。我们的网络的核心是一种称为外观自适应归一化的新机制，它可以通过使用学习的自适应参数调制生成器的特征图，有效地将输入图像的外观信息整合到我们的人脸生成器中。此外，我们专门设计了一个本地网络来重现本地面部组件（即，眼睛、鼻子和嘴巴），这对于网络来说是一个更容易学习的任务，并且可以反过来提供明确的锚点来指导我们的面部生成器学习全局外观和姿势和表情。大量的定量和定性实验表明，我们的模型与以前的一次性方法相比，显着的功效。
2021-04-26 cs.CV
FSGAN: Subject Agnostic Face Swapping and Reenactment
Bar-Ilan University（巴伊兰大学）；The Open University of Israel（以色列开放大学）
我们提出了人脸交换GAN（FSGAN）的人脸交换和重演。与以前的工作不同，FSGAN是主题不可知的，可以应用于成对的面孔，而不需要对这些面孔进行训练。为此，我们描述了一些技术贡献。我们推导出一种新的基于递归神经网络（RNN）的人脸重现方法，该方法可以调整姿态和表情变化，并可以应用于单个图像或视频序列。对于视频序列，我们介绍了连续插值的人脸视图的基础上重演，德洛内三角剖分，重心坐标。被遮挡的面部区域由面部补全网络处理。最后，我们使用一个人脸混合网络来无缝混合两个人脸，同时保留目标肤色和光照条件。该网络使用了一种新的泊松混合损失，它结合了泊松优化与感知损失。我们将我们的方法与现有的最先进的系统进行比较，并表明我们的结果在质量和数量上都具有优势。
2019-08-16 cs.CV cs.GR cs.LG
Automatic Face Reenactment
MPI for Informatics（马克斯·普朗克信息学研究所）；Philipps-Universität Marburg（马尔堡菲利普大学）；Technicolor（特艺集团）
我们提出了一种基于图像的面部重演系统，该系统将现有目标视频中的演员面部替换为源视频中的用户面部，同时保留原始目标性能。我们的系统是全自动的，不需要源表达式的数据库。相反，它能够从一个现成的摄像头（如网络摄像头）捕获的短源视频中产生令人信服的重现结果，其中用户执行任意的面部手势。我们的重演流水线被认为是部分图像检索和部分人脸传输：图像检索是基于目标帧的时间聚类和一种新的图像匹配度量，该度量结合了外观和运动，从源视频中选择候选帧，而人脸传输使用2D变形策略，保留用户的身份。我们的系统在简单性方面表现出色，因为它不依赖于3D人脸模型，它在头部运动下具有鲁棒性，并且不需要源和目标性能相似。我们为自己录制的视频和从互联网上拍摄的低质量镜头展示了令人信服的重现结果。
2016-02-08 cs.CV cs.GR
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）
我们提出了Face2Face，一种用于单目目标视频序列的实时的面部再现的新方法（例如，Youtube视频）。源序列也是一个单目视频流，捕捉生活与商品摄像头。我们的目标是动画的面部表情的目标视频的源演员和重新渲染操作输出视频中的照片逼真的方式。为此，我们首先解决了约束不足的问题，从单目视频的面部身份恢复的非刚性基于模型的捆绑。在运行时间，我们跟踪面部表情的源和目标视频使用密集的光度一致性措施。然后通过源和目标之间快速有效的变形转移来实现重演。从目标序列中检索与重新定向的表情最佳匹配的嘴部内部，并将其扭曲以产生准确的拟合。最后，我们令人信服地重新渲染合成的目标面上的相应的视频流，使其无缝融合与现实世界的照明。我们在现场设置中演示了我们的方法，其中Youtube视频是实时的。
2020-07-29 cs.CV
FReeNet: Multi-Identity Face Reenactment
Zhejiang University（浙江大学）；Fuxi AI Lab, NetEase（网易伏羲人工智能实验室）
本文提出了一种新的多身份人脸再现框架，命名为FReeNet，从一个任意的源脸的面部表情转移到一个目标脸共享模型。FReeNet由两部分组成：统一地标转换器（ULC）和几何感知生成器（GAG）。ULC采用编码器-解码器架构来有效地转换潜在地标空间中的表情，这显著地缩小了源和目标身份之间的面部轮廓的差距。GAG利用经转换的地标来用目标人的参考图像来再现真实感图像。此外，提出了一种新的三重感知损失，迫使GAG模块同时学习外观和几何信息，这也丰富了再现图像的面部细节。进一步的实验证明了我们的方法的优越性，用于生成逼真的和表情相似的脸，以及身份之间的面部表情转移的灵活性。
2020-05-16 cs.CV
FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment
Bar Ilan University（巴伊兰大学）
我们提出了人脸交换GAN（FSGAN）的人脸交换和重演。与以前的工作不同，我们提供了一个主题不可知的交换方案，可以应用于成对的面孔，而不需要对这些面孔进行训练。我们推导出一种新的基于迭代深度学习的人脸重现方法，该方法可以调整可应用于单个图像或视频序列的显著姿势和表情变化。对于视频序列，我们介绍了一种连续插值的人脸视图的基础上重演，德洛内三角剖分，重心坐标。被遮挡的面部区域由面部补全网络处理。最后，我们使用一个人脸混合网络来无缝混合两个人脸，同时保留目标肤色和光照条件。该网络使用了一种新的泊松混合损失结合泊松优化与感知损失。我们将我们的方法与现有的最先进的系统进行比较，并表明我们的结果在质量和数量上都具有优势。这项工作描述了扩展的FSGAN方法，提出了在我们的工作的早期会议版本，以及额外的实验和结果。
2022-02-25 cs.CV cs.GR cs.LG
DiffusionAct: Controllable Diffusion Autoencoder for One-shot Face Reenactment
Kingston University London（伦敦金斯顿大学）；City University of London（伦敦城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
DiffusionAct利用扩散自编码器的语义空间控制，实现一次性人脸再现，无需特定主体微调，在保留身份外观的同时转移姿态表情，性能优于或媲美现有方法。
2025-03-25 cs.AI cs.CV
VOODOO 3D: Volumetric Portrait Disentanglement for One-Shot 3D Head Reenactment
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ETH Zurich（苏黎世联邦理工学院）；VinAI Research（VinAI研究院）；Pinscreen（Pinscreen公司）
针对单样本3D头部重演中的身份泄漏与表情不自然问题，提出基于三平面体积表示和自监督学习的实时解耦框架，实现高保真、任意视角的SOTA重演效果。
2023-12-07 cs.CV
Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
人脸再现旨在将源人脸图像动画化为由驾驶图像提供的不同姿态和表情。现有的方法要么是为特定的身份而设计的，要么在一次性或Few-Shot场景中遭受身份保存问题。在本文中，我们介绍了一种用于一次性面部再现的方法，该方法使用重建的3D网格（即，源网格和驱动网格）作为指导来学习再现的面部合成所需的光流。在技术上，我们明确地排除了驱动面的身份信息在重建的驱动网格。通过这种方式，我们的网络可以专注于源人脸的运动估计，而不会受到驱动人脸形状的干扰。我们提出了一个运动网络来学习人脸运动，这是一个不对称的自动编码器。编码器是从网格学习潜在运动矢量的图卷积网络（GCN），并且解码器用于利用CNN从潜在矢量产生光流图像。与以往的基于稀疏关键点的光流学习方法相比，本文提出的运动网络直接从三维稠密网格中学习光流，为光流提供了详细的形状和姿态信息，从而可以在再现的人脸上实现更精确的表情和姿态。大量的实验表明，我们的方法可以产生高质量的结果，并优于国家的最先进的方法在定性和定量比较。
2020-09-18 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
ICface: Interpretable and Controllable Face Reenactment Using GANs
Tampere University（坦佩雷大学）；Aalto University of Technology（阿尔托理工大学）
本文提出了一种通用的人脸动画，是能够控制一个给定的人脸图像的姿态和表情。动画由人类可解释的控制信号驱动，包括头部姿势角度和动作单位（AU）值。控制信息可以从多个来源获得，包括外部驾驶视频和手动控制。由于驱动信号的可解释性，人们可以很容易地混合多个来源之间的信息（例如，来自一个图像的姿势和来自另一个图像的表情），并应用选择性的后期制作编辑。建议的人脸动画实现为一个两阶段的神经网络模型，学习在一个自我监督的方式使用一个大的视频集合。建议的可解释和可控的人脸重演网络（ICface）相比，国家的最先进的神经网络为基础的人脸动画技术在多个任务。结果表明，ICface产生更好的视觉质量，同时比大多数比较方法更通用。引入的模型可以为众多高级图像和视频编辑任务提供轻量级且易于使用的工具。
2020-01-17 cs.CV
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment
Sun Yat-sen University（中山大学）；Cardiff University（卡迪夫大学）
针对音频驱动面部重演中显式与隐式表征的权衡问题，提出参数化隐式人脸表征及可控高质量重演框架，通过多项技术优化提升生成效果与泛化性，实验验证其在逼真度和身份风格保真度上优于现有方法。
2023-06-13 cs.CV
Finding Directions in GAN's Latent Space for Neural Face Reenactment
Kingston University（金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文是脸/头的重演，其目标是将面部姿态（3D头部方向和表情）的目标脸的源面。以前的方法专注于学习嵌入网络的身份和姿态解纠缠，这被证明是一个相当困难的任务，降低了生成图像的质量。我们采取了一种不同的方法，绕过这种网络的训练，通过使用（微调）预先训练的GANs，这些GANs已经被证明能够产生高质量的面部图像。由于GANs的特点是弱可控性，我们的方法的核心是一种方法来发现潜在GAN空间中的哪些方向负责控制面部姿势和表情变化。我们提出了一个简单的管道来学习这样的方向的3D形状模型的帮助下，通过建设，已经捕获解开方向的面部姿势，身份和表情。此外，我们表明，通过将真实图像嵌入到GAN潜空间中，我们的方法可以成功地用于真实世界的人脸的再现。我们的方法具有几个有利的特性，包括使用单一的源图像（一次），并使跨人重演。我们的定性和定量结果表明，我们的方法通常会产生比VoxCeleb 1和2的标准基准的最先进的方法所产生的质量显着更高的重现的面孔。源代码可从以下网址获得：https://github.com/StelaBou/stylegan_directions_face_reenactment
2022-10-06 cs.AI cs.CV
IMU2Face: Real-time Gesture-driven Facial Reenactment
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们提出了IMU2Face，一个手势驱动的面部重演系统。为此，我们结合了面部运动捕捉和惯性测量单元（IMU）的最新进展，根据直观的手势控制目标视频中人的面部表情。IMU无处不在，因为现代智能手机、智能手表和无人机集成了这样的传感器，例如，用于改变屏幕内容的方向、计数步数或用于飞行稳定。面部跟踪和重现是基于最先进的实时的【形】Face2Face面部重现系统。我们采用IMU来跟踪源演员的手势，并使用其方向来修改目标演员的表情，而不是将面部表情从源演员转移到目标演员。
2017-12-18 cs.CV
Learning Dense Correspondence for NeRF-Based Face Reenactment
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
针对基于NeRF的人脸重演中稠密对应建立难的问题，提出以三面体为基础表征、含PlaneDict模块的新框架，首次在无3D参数模型先验下实现单样本多视角人脸重演，细粒度动作控制与身份保留效果更优。
2023-12-19 cs.CV
ToonTalker: Cross-Domain Face Reenactment
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯人工智能实验室）；Ant Group（蚂蚁集团）
针对跨域人脸重演存在的域偏移、现有方法依赖配对数据的问题，提出基于transformer的无配对数据跨域重演框架，搭配类比约束训练方案，还贡献了迪士尼风格卡通数据集，性能优于对比方法。
2023-08-24 cs.CV
HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces
Kingston University London（伦敦金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
针对现有单样本人脸重演易产生伪影、极端姿态下效果差的问题，提出HyperReenact方法，借助预训练StyleGAN2和超网络实现身份优化与姿态重定向，在标准基准上取得更优的无伪影生成效果与鲁棒性。
2023-07-20 cs.CV
LI-Net: Large-Pose Identity-Preserving Face Reenactment Network
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
人脸再现是一项具有挑战性的任务，因为很难同时保持准确的表情，姿势和身份。现有的方法大多直接使用驱动人脸标志来再现源人脸，忽略了两个身份之间的内在差距，导致身份不匹配问题。此外，他们忽视了在编码驾驶脸时的表情和姿态特征的纠缠，导致不准确的表情和视觉伪像的大姿态再现的脸。为了解决这些问题，我们提出了一个大姿态的身份保持人脸重演网络，LI-Net。具体而言，采用Landmark Transformer对行驶地标图像进行调整，以缩小行驶地标图像与源地标图像之间的同一性差距。然后，面部旋转模块和表情增强生成器将变换后的地标图像解耦为姿势和表情特征，并分别重新制定这些属性以生成具有准确表情和姿势的身份保持面部。定性和定量的实验结果都证明了该方法的优越性。
2021-04-07 cs.AI cs.CV cs.MM
One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space
Kingston University（金斯顿大学）；City University of London（伦敦城市大学）；Queen Mary University of London（伦敦玛丽女王大学）
提出一种利用预训练GAN潜在空间方向发现的方法，实现单样本神经人脸重演，通过3D形状模型学习控制姿态和表情的方向，在VoxCeleb基准上优于现有方法。
2024-02-05 cs.CV
Thinking the Fusion Strategy of Multi-reference Face Reenactment
Sony Group Corporation（索尼集团公司）
在深度生成模型的最新进展中，人脸再现-操纵和控制人脸，包括他们的头部运动-因其广泛的适用性而备受关注。尽管其强大的表现力，这是不可避免的，模型无法重建或准确地生成一个给定的单一参考图像的脸看不见的一面。现有的大多数方法通过从大量数据中学习人脸的外观并在推理时生成真实感纹理来缓解这个问题。而不是完全依赖于生成模型的学习，我们表明，通过使用多个参考图像的简单扩展显着提高生成质量。我们通过以下方式来证明这一点：1）在公开数据集上进行重建任务，2）在由多人头部运动视频序列组成的原始数据集上进行面部运动转移，3）使用新提出的评估指标来验证我们的方法获得了更好的定量结果。
2022-02-22 cs.CV cs.LG
Navigating Large-Pose Challenge for High-Fidelity Face Reenactment with Video Diffusion Model
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China（合成视觉基础科学国家重点实验室，四川大学，成都，610065，中国）；School of Cyber Science and Engineering, Sichuan University, Chengdu, 610065, China（网络科学与工程学院，四川大学，成都，610065，中国）；College of Computer Science, Sichuan University, Chengdu, 610065, China（计算机科学学院，四川大学，成都，610065，中国）
本文提出FRVD模型，通过运动提取、变形特征映射器与预训练I2V模型潜在空间相结合，解决大姿态变化下的高保真面部重现问题，在姿态准确性、身份保持和视觉质量上优于现有方法。
2025-07-22 cs.CV
EgoFace: Egocentric Face Performance Capture and Videorealistic Reenactment
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
面部表演捕捉和再现技术使用多个摄像头和传感器，这些摄像头和传感器位于距离面部一定距离处或安装在重型可穿戴设备上。这限制了它们在移动和户外环境中的应用。我们提出EgoFace，一个全新的轻量级设置，使用一个以自我为中心的RGB摄像头进行面部性能捕捉和前视图视频逼真的重演。我们的轻量级设置允许在不受控制的环境中操作，并适合于远程呈现应用，如动态环境中的视频会议。将输入图像投影到面部表情参数的低维潜在空间中。通过对参数空间合成绘制的对抗训练，生成了真实感动画。我们的问题具有挑战性，因为人类视觉系统对最终结果中可能出现的最小面部不规则性非常敏感。对于视频结果，这种敏感性甚至更强。我们的解决方案在预处理阶段通过监督方式进行训练，无需手动注释。EgoFace捕捉各种各样的面部表情，包括嘴部动作和不对称的表情。它可以在不同的照明、背景、动作下工作，处理来自不同种族的人，并且可以实时的操作。
2019-05-26 cs.CV cs.GR
VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；ETH Zurich（苏黎世联邦理工学院）；Pinscreen；VinAI Research（VinAI研究院）
VOODOO XP提出3D感知的一次性头部重演方法，通过交叉重演架构和多阶段自监督实现实时高表现力面部表情生成，并集成于VR远程呈现系统，在表现力和相似度保持上达到最先进水平。
2024-05-28 cs.AI cs.CV cs.GR
GGViT:Multistream Vision Transformer Network in Face2Face Facial Reenactment Detection
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；National Computer Network Emergency Response Technical Team Coordination Center of China（国家计算机网络应急技术处理协调中心）
在社交网络上检测被篡改的人脸图像和视频一直是一个亟待解决的问题。社交媒体上的视频压缩破坏了一些可用于检测伪造的像素细节。因此，在不同质量的视频中检测被操纵的面部是至关重要的。我们提出了一种新的多流网络架构GGViT，它利用全局信息来提高模型的泛化能力。通过ViT提取的整个人脸的嵌入将引导每个流网络。通过大量的实验，证明了该模型在FF++数据集上达到了最先进的分类精度，在不同压缩率的场景下，分类精度得到了很大的提高。Raw/C23、Raw/C40和C23/C40的准确度分别提高了24.34%、15.08%和10.14%。
2022-10-12 cs.CV
MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance
本研究提出MagicPortrait视频人脸重演方法，将FLAME 3D人脸参数模型结合几何引导编码器融入潜扩散框架，实现精准运动控制与形状一致性，在基准测试中表现优异且域外泛化性强。
2025-10-29 cs.CV
StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment
Kingston University London（伦敦金斯顿大学）；Queen Mary University of London（伦敦玛丽女王大学）
在本文中，我们解决了神经人脸重现的问题，其中，给定一对源和目标面部图像，我们需要通过同时保留源的身份特征（例如，面部形状、发型等），即使在源面部和目标面部属于不同身份的挑战性情况下也是如此。在这样做时，我们解决了现有技术作品的一些限制，即，a）它们依赖于成对的训练数据（即，源面部和目标面部具有相同的身份），b）它们在推断期间依赖于标记的数据，以及c）它们在大的头部姿势变化中不保持身份。更具体地说，我们提出了一个框架，使用不成对的随机生成的面部图像，学习解开的身份特征的脸从它的姿势，将最近推出的风格空间$\mathcal{S}$的StyleGAN2，一个潜在的表示空间，表现出显着的解开属性。通过利用这一点，我们学会了使用3D模型的监督成功地混合一对源和目标样式代码。所得到的潜在代码，随后用于重演，包括对应于面部姿势的目标只和对应于源的身份只的单元的潜在单元，导致显着改善的重演性能相比，最近的国家的最先进的方法。与现有技术相比，我们定量和定性地表明，所提出的方法即使在极端姿态变化的情况下也能产生更高质量的结果。最后，我们报告了真实图像的结果，首先将它们嵌入到预训练生成器的潜在空间中。我们将代码和预训练模型公开发布于：https://github.com/StelaBou/StyleMask
2022-09-27 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
Single-Shot Freestyle Dance Reenactment
Facebook AI Research（Facebook人工智能研究）；Tel-Aviv University（特拉维夫大学）
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况，其中目标人根据舞者的运动改变他们的姿势。在这项工作中，我们提出了一种新的方法，可以通过任意视频序列重新激活单个图像，在训练过程中看不到。该方法结合了三个网络：（i）分割映射网络，（ii）真实帧渲染网络，以及（iii）面部细化网络。通过将此任务分为三个阶段，我们能够获得一系列新颖的逼真帧，捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量，并且能够动画化不同的身体类型和外观，这些身体类型和外观是在具有挑战性的姿势中捕获的，如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
Audio-Visual Face Reenactment
IIIT, Hyderabad（海得拉巴国际信息技术研究所）；University of Bath（巴斯大学）
本文提出了一种利用音频流和视频流生成真实感头部视频的新方法。我们通过使用可学习的关键点生成的密集运动场从驾驶视频传输头部运动来制作源图像的动画。我们使用音频作为额外的输入来提高唇同步的质量，帮助网络关注嘴部区域。我们使用额外的先验知识，使用人脸分割和人脸网格来改善重建人脸的结构。最后，我们通过将一个精心设计的身份感知生成器模块，提高了一代人的视觉质量。身份感知生成器将源图像和变形的运动特征作为输入，以生成具有细粒度细节的高质量输出。我们的方法产生了最先进的结果，并很好地推广到看不见的面孔，语言和声音。我们使用多个指标全面评估我们的方法，并在定性和定量方面优于当前的技术。我们的工作开辟了几个应用，包括实现低带宽视频通话。我们在http://cvit.iiit.ac.in/research/projects/cvit-projects/avfr上发布了演示视频和其他信息。
2022-10-06 cs.CV
Realistic Face Reenactment via Self-Supervised Disentangling of Identity and Pose
Zhejiang University（浙江大学）
最近的工作已经显示了如何在几何指导的监督下获得逼真的说话面部图像，例如，面部标志或边界。为了减轻对手动注释的需求，在本文中，我们提出了一种新的自监督混合模型（DAE-GAN），该模型可以学习如何在大量未标记视频的情况下自然地重现人脸。我们的方法结合了两个变形自动编码器的最新进展的条件生成。一方面，我们采用变形自动编码器来解开身份和姿态表示。在说话的人脸视频中，一个强大的先验是每个帧可以被编码为两个部分：一个用于视频特定的身份，另一个用于各种姿势。受此启发，我们利用多帧变形自动编码器为每个视频学习姿势不变的嵌入人脸。同时，提出了一种多尺度变形自动编码器来提取每帧的姿态相关信息。另一方面，条件生成器允许增强细节和整体真实性。它利用解纠缠的特征来生成照片般逼真和姿态相似的人脸图像。我们在VoxCeleb 1和RaFD数据集上评估了我们的模型。实验结果表明，再现图像的质量和身份之间的面部运动转移的灵活性。
2020-03-29 cs.CV
ReenactGAN: Learning to Reenact Faces via Boundary Transfer
SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
我们提出了一个新的基于学习的框架，面对重演。该方法被称为ReenactGAN，能够将面部运动和表情从任意人的单目视频输入传输到目标人。而不是在像素空间中执行直接传输，这可能会导致结构性伪影，我们首先将源面映射到边界潜在空间。随后使用Transformer来使源面的边界适应目标面的边界。最后，使用目标特定的解码器来生成再现的目标面部。由于有效和可靠的基于边界的转移，我们的方法可以执行照片般真实的人脸再现。此外，ReenactGAN的吸引力在于整个重演过程是纯粹的前馈，因此重演过程可以实时运行（在一个GTX 1080 GPU上为30 FPS）。数据集和模型将在https://wywu.github.io/projects/ReenactGAN/ReenactGAN.html上公开提供
2018-07-29 cs.AI cs.CV cs.GR
Anchored Diffusion for Video Face Reenactment
Verily AI
本文提出锚定扩散方法，扩展扩散变换器以生成连贯的长视频，在人脸重演任务中优于现有技术，实现高质量且可编辑的视频合成。
2024-07-21 cs.CV
HeadOn: Real-time Reenactment of Human Portrait Videos
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
我们提出了HeadOn，第一个完整的人体肖像视频，使躯干和头部运动，面部表情和眼睛凝视的传输实时的【形】源到目标的重演方法。给定目标演员的短RGB-D视频，我们自动构建嵌入参数化头部、眼睛和运动学躯干模型的个性化几何代理。一种新实时的【形】重演算法采用这种代理照片逼真的映射所捕获的运动从源演员到目标演员。在粗糙的几何代理之上，我们提出了一种基于视频的渲染技术，该技术通过视图和姿势相关的纹理合成修改后的目标肖像视频，并在新颖的躯干和头部姿势，面部表情和凝视方向下创建目标演员的照片级逼真图像。为此，我们提出了一个强大的跟踪源演员的脸和躯干。我们广泛地评估了我们的方法，并显示出显着的改进，使更大的灵活性，在创建逼真的重现输出视频。
2018-05-29 cs.CV cs.GR
Robust Deepfake Detection for Electronic Know Your Customer Systems Using Registered Images
NEC Corporation（日本电报电话公司）；The University of Tokyo（东京大学）
针对eKYC系统的深度伪造检测需求，提出结合身份向量时序不一致检测、注册图像身份差异比对及大模型人脸特征提取的鲁棒检测算法，可有效检测人脸交换与重演且抗图像退化。
2025-07-30 cs.CV
Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control
Zhejiang University（浙江大学）；Tencent（腾讯）；VIVO（维沃移动通信有限公司）；Nanyang Technological University（南洋理工大学）
针对预训练扩散模型人脸编辑训练成本高、性能不足的问题，提出Face-Adapter适配器，通过空间条件生成、即插即用身份编码、属性控制模块解耦结构、ID与属性，实现高精度人脸重演与换脸，性能媲美甚至优于全微调模型且兼容多种StableDiffusion。
2024-07-09 cs.CV
Learning Online Scale Transformation for Talking Head Video Generation
HKUST（香港科技大学）
针对单样本说话人头部视频生成中源图像与驱动图像尺度差异导致面部重演效果不佳的问题，提出带尺度变换模块的在线尺度变换面部重演网络，无需锚帧即可实现准确动作迁移，生成尺度准确的高质量跨身份重演人脸。
2024-07-13 cs.AI cs.CV
Unconstrained Facial Expression Transfer using Style-based Generator
Facebook AI（脸书人工智能研究院）
人脸表情转移与再现在人脸编辑、图像处理、合成视频等领域有着广泛的应用，是一个重要的研究课题。我们提出了一种新的方法，基于图像的面部表情转移，利用最近的风格为基础的GAN是非常有效的创建逼真的图像。给定两张人脸图像，我们的方法可以创建合理的结果，将一张图像的外观和另一张图像的表情结合起来。为了实现这一点，我们首先提出了一个基于StyleGAN的优化过程，从图像中推断出分层的风格向量，从而解开面部的不同属性。我们进一步引入了一个线性组合方案，融合了两个给定图像的风格向量，并生成一个新的面孔，结合了表情和外观的输入。我们的方法可以创建高质量的合成与准确的面部重现。与许多现有的方法不同，我们不依赖于几何注释，并且可以应用于任何身份的无约束面部图像，而无需重新训练，从而可以生成大规模的表情转移结果。
2019-12-12 cs.CV
UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing
Peking University（北京大学）；Xverse；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯AI实验室）；University of Rochester（罗切斯特大学）
最近的研究已经见证了面部图像编辑任务的进展，包括面部交换和面部重现。然而，这些方法仅限于一次处理一个特定的任务。此外，对于视频面部编辑，先前的方法要么简单地逐帧应用变换，要么以级联或迭代的方式利用多个帧，这导致明显的视觉闪烁。在本文中，我们提出了一个统一的时间一致的面部视频编辑框架，称为UniFaceGAN。基于一个三维重建模型和一个简单而有效的动态训练样本选择机制，我们的框架被设计为同时处理人脸交换和人脸重现。为了增强时间一致性，在重心坐标插值的基础上引入了一种新的三维时间损失约束。此外，我们提出了一个区域感知的条件归一化层，以取代传统的AdaIN或SPADE合成更多的上下文和谐的结果。与最先进的面部图像编辑方法相比，我们的框架生成的视频人像更逼真，时间平滑。
2021-08-12 cs.CV
Realistic One-shot Mesh-based Head Avatars
Samsung AI Center – Moscow（三星人工智能中心（莫斯科））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex Armenia（亚美尼亚扬德克斯公司）
我们提出了一个系统，为现实的一杆网格为基础的人类头部化身创建，罗马为短。使用一张照片，我们的模型估计一个人特定的头部网格和相关的神经纹理，它编码局部光度和几何细节。由此产生的化身是操纵的，可以使用神经网络渲染，该网络与网格和纹理估计器一起在野外视频数据集上进行训练。在实验中，我们观察到，我们的系统表现出竞争力的头部几何形状恢复和渲染的质量，特别是跨人重演。查看结果https://samsunglabs.github.io/rome/
2022-06-16 cs.CV cs.GR
Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data
针对3DMM限制单样本4D头部合成的问题，提出利用大规模合成数据，通过对抗学习生成多视角训练数据，并结合基于transformer的可动画三平面重建器与解耦学习策略，实现了优于现有技术的4D头部合成。
2024-06-03 cs.CV
HeadGAN: One-shot Neural Head Synthesis and Editing
Imperial College London（帝国理工学院）；Huawei Technologies（华为技术有限公司）；University of Sussex（萨塞克斯大学）
最近尝试解决使用单个参考图像的头部再现的问题已经显示出有希望的结果。然而，它们中的大多数要么在照片真实感方面表现不佳，要么未能满足身份保留问题，要么没有完全转移驾驶姿势和表情。我们提出了HeadGAN，这是一种新的系统，它可以在3D面部表示上进行合成，这些表示可以从任何驾驶视频中提取，并适应任何参考图像的面部几何形状，从表情中分离身份。我们进一步改善嘴部运动，通过利用音频功能作为补充输入。3D人脸表示使HeadGAN能够进一步用作压缩和重建的有效方法以及表达和姿势编辑的工具。
2021-08-23 cs.CV
Total-Editing: Head Avatar with Editable Appearance, Motion, and Lighting
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
Total-Editing提出统一肖像编辑框架，结合神经辐射场内在分解与移动最小二乘变形场，实现外观、动作和光照的精确控制，提升编辑质量与真实感。
2025-05-26 cs.CV
OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
OMG-Avatar提出一种一次性多细节层次高斯表示方法，从单张图像在0.2秒内实现可动画的3D头像重建，通过统一模型支持多样化硬件能力和推理速度需求，结合Transformer架构和投影采样技术，融合深度缓冲区确保遮挡合理性，并引入粗到细学习范式提升层次细节感知。
2026-03-30 cs.CV
One-Shot Domain Adaptation For Face Generation
Facebook AI（Facebook人工智能）
在本文中，我们提出了一个框架，能够生成人脸图像，落入相同的分布，作为一个给定的一杆的例子。我们利用一个预先训练的StyleGAN模型，该模型已经学习了通用的人脸分布。给定一次性目标，我们开发了一种迭代优化方案，该方案快速适应模型的权重，以将输出的高级别分布转移到目标的。为了生成具有相同分布的图像，我们引入了一种风格混合技术，该技术将目标的低级统计数据转移到使用模型随机生成的面部。这样，我们就能够生成无限数量的人脸，这些人脸继承自通用人脸和一次性示例的分布。新生成的面部可以用作其他下游任务的增强训练数据。这样的设置是有吸引力的，因为它需要在目标域中标记非常少或甚至一个示例，这通常是由各种未知和独特的分布引起的真实世界面部操纵的情况，每个分布都具有极低的流行率。我们证明了我们的一次拍摄的方法检测人脸操作的有效性，并将其与其他Few-Shot领域自适应方法定性和定量比较。
2020-03-28 cs.CV
One-Shot GAN Generated Fake Face Detection
University of Houston（休斯顿大学）
虚假人脸检测是智能系统面临的一个重大挑战，因为生成模型每天都变得越来越强大。随着虚假人脸质量的提高，训练模型在检测新的虚假人脸时变得越来越低效，因为相应的训练数据被认为是过时的。在这种情况下，鲁棒的One-Shot学习方法更符合多变的训练数据的要求。在本文中，我们提出了一种通用的One-Shot GAN生成的假人脸检测方法，可以用于异常检测的显着不同的领域。该方法基于场景理解模型从人脸中提取背景外对象。为此，我们使用最先进的场景理解和目标检测方法作为预处理工具来检测面部中的怪异物体。第二，我们根据所有训练数据创建一个单词包，其中包含所有检测到的上下文外对象。通过这种方式，我们将每个图像转换为稀疏向量，其中每个特征表示与图像中每个检测到的对象相关的置信度得分。我们的实验表明，我们可以区分假面孔从真正的上下文特征。这意味着，当我们用场景理解和目标检测模型对假人脸进行分析时，与真实人脸相比，在假人脸中检测到不同的目标集合。我们证明，该方法可以优于以前的方法基于我们的实验上的Style-GAN生成的假脸。
2020-03-27 cs.CV cs.LG eess.IV
FACE: Few-shot Adapter with Cross-view Fusion for Cross-subject EEG Emotion Recognition
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
针对跨被试脑电情绪识别中被试差异大和过拟合问题，提出少样本适配器与跨视角融合方法FACE，通过动态多视角融合和元学习增强适配器，在三个基准上取得领先泛化性能。
2025-03-24 cs.AI cs.CV eess.IV
