DiffusionAct: Controllable Diffusion Autoencoder for One-shot Face Reenactment
Kingston University London(伦敦金斯顿大学);City University of London(伦敦城市大学);Queen Mary University of London(伦敦玛丽女王大学)
DiffusionAct利用扩散自编码器的语义空间控制,实现一次性人脸再现,无需特定主体微调,在保留身份外观的同时转移姿态表情,性能优于或媲美现有方法。
2025-03-25 cs.AI cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
人脸再现是一种流行的人脸动画方法,其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人,或者面部结构非常相似,则这些模型的性能最好。然而,如果身份不同,则驱动面部结构泄漏到输出,从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN(FACEGAN),它通过动作单元(AU)表示从驾驶面部传输面部运动。与面部标志不同,AU独立于面部结构,防止身份泄露。此外,AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域,以优化输出质量。广泛的定量和定性比较表明,在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
Single Source One Shot Reenactment using Weighted motion From Paired Feature Points
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
图像再现是源图像中的目标对象模仿在驱动图像中表示的运动的任务。最常见的重现任务之一是面部图像动画。当前人脸再现方法的主要挑战是区分面部运动和身份。出于这个原因,如果驾驶和源身份不同(跨人物重演),以前的模型很难产生高质量的动画。我们提出了一个新的(脸)重演模型,学习形状无关的运动功能,在自我监督的设置。运动表示使用一组成对的特征点,同时从源和驱动图像中提取。该模型被推广到多个重演任务,包括人脸和非人脸对象,只使用一个源图像。大量的实验表明,该模型忠实地将驱动运动传递给源,同时保持源身份不变。
2021-04-07 cs.CV
EgoFace: Egocentric Face Performance Capture and Videorealistic Reenactment
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
面部表演捕捉和再现技术使用多个摄像头和传感器,这些摄像头和传感器位于距离面部一定距离处或安装在重型可穿戴设备上。这限制了它们在移动和户外环境中的应用。我们提出EgoFace,一个全新的轻量级设置,使用一个以自我为中心的RGB摄像头进行面部性能捕捉和前视图视频逼真的重演。我们的轻量级设置允许在不受控制的环境中操作,并适合于远程呈现应用,如动态环境中的视频会议。将输入图像投影到面部表情参数的低维潜在空间中。通过对参数空间合成绘制的对抗训练,生成了真实感动画。我们的问题具有挑战性,因为人类视觉系统对最终结果中可能出现的最小面部不规则性非常敏感。对于视频结果,这种敏感性甚至更强。我们的解决方案在预处理阶段通过监督方式进行训练,无需手动注释。EgoFace捕捉各种各样的面部表情,包括嘴部动作和不对称的表情。它可以在不同的照明、背景、动作下工作,处理来自不同种族的人,并且可以实时的操作。
2019-05-26 cs.CV cs.GR
APB2FaceV2: Real-Time Audio-Guided Multi-Face Reenactment
Zhejiang University(浙江大学);Huzhou University(湖州学院)
音频引导的面部重现旨在生成具有与输入音频匹配的面部表情的照片级真实感的面部。然而,目前的方法只能重现一个特定的人,一旦模型被训练或需要额外的操作,如三维渲染和图像后融合的前提下,生成生动的人脸。为了解决上述问题,本文提出了一种新的\emph{R}实时\emph{A}音频引导的\emph{M}多人脸再现方法\emph{APB2FaceV2},该方法能够在多个人之间用相应的参考人脸再现不同的目标人脸,并驱动音频信号作为输入。为了使模型能够进行端到端的训练并具有更快的速度,我们设计了一个名为自适应卷积(AdaConv)的新模块来将音频信息注入网络,并采用轻量级网络作为我们的骨干,以便网络可以在CPU和GPU上实时的运行。对比实验证明了该方法的优越性,进一步的实验表明,该方法是有效和灵活的实际应用https://github.com/zhangzjn/APB2FaceV2
2020-10-25 cs.CV
APB2Face: Audio-guided face reenactment with auxiliary pose and blink signals
Zhejiang University(浙江大学);Wuhan University(武汉大学)
音频引导的面部重现旨在使用音频信息生成逼真的面部,同时保持与真人说话时相同的面部运动。然而,现有的方法不能生成逼真的人脸图像或只能再现低分辨率的人脸,限制了其应用价值。为了解决这些问题,我们提出了一种新的深度神经网络APB2Face,它由GeometryPredictor和FaceReenactor模块组成。GeometryPredictor使用额外的头部姿势和眨眼状态信号以及音频来预测潜在的地标几何信息,而FaceReenactor输入面部地标图像来重现照片级逼真的面部。一个新的数据集AnnVI从YouTube收集到的支持的方法,实验结果表明,我们的方法比最先进的,无论是在真实性或可控性的优越性。
2020-04-30 cs.CV cs.LG eess.IV
FReeNet: Multi-Identity Face Reenactment
Zhejiang University(浙江大学);Fuxi AI Lab, NetEase(网易伏羲人工智能实验室)
本文提出了一种新的多身份人脸再现框架,命名为FReeNet,从一个任意的源脸的面部表情转移到一个目标脸共享模型。FReeNet由两部分组成:统一地标转换器(ULC)和几何感知生成器(GAG)。ULC采用编码器-解码器架构来有效地转换潜在地标空间中的表情,这显著地缩小了源和目标身份之间的面部轮廓的差距。GAG利用经转换的地标来用目标人的参考图像来再现真实感图像。此外,提出了一种新的三重感知损失,迫使GAG模块同时学习外观和几何信息,这也丰富了再现图像的面部细节。进一步的实验证明了我们的方法的优越性,用于生成逼真的和表情相似的脸,以及身份之间的面部表情转移的灵活性。
2020-05-16 cs.CV
MaskRenderer: 3D-Infused Multi-Mask Realistic Face Reenactment
University of Toronto(多伦多大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
提出身份无关的端到端人脸重现系统MaskRenderer,利用3DMM建模、三元组损失和多尺度遮挡技术,有效解决身份泄露与嘴部动作模仿问题,在VoxCeleb1上优于现有方法。
2023-09-10 cs.CV
Fine-grained Identity Preserving Landmark Synthesis for Face Reenactment
Fudan University(复旦大学);Zhejiang University(浙江大学);Tencent(腾讯)
最近的人脸重建工作受到粗糙参考地标的限制,导致身份保持性能不令人满意,由于操纵的地标和从真实的人采样的地标之间的分布差距。为了解决这个问题,我们提出了一个细粒度的身份保持地标引导的人脸重现方法。所提出的方法有两个新颖之处。首先,一个地标合成网络,旨在生成更细粒度的地标面与更多的细节。该网络细化操作的标志,并产生一个平滑的,逐渐变化的人脸标志序列具有良好的身份保持能力。其次,设计了几种新颖的损失函数,包括合成人脸的身份保持损失、前景/背景掩模损失以及边界损失,旨在合成清晰锐利的高质量人脸。实验在我们自己收集的BeautySelfie和公共VoxCeleb 1数据集上进行。所提出的定性和定量的结果表明,我们的方法可以重现细粒度的更高质量的脸与良好的ID保留外观细节,更少的文物和更清晰的边界比国家的最先进的作品。代码将被发布用于复制。
2021-10-12 cs.CV
FaR-GAN for One-Shot Face Reenactment
Purdue University(普渡大学)
在图像编辑和电影制作领域中,用目标面部表情和运动来动画化静态面部图像是重要的。由于人脸的复杂几何形状和运动,这种人脸重现过程具有挑战性。以前的工作通常需要来自同一个人的大量图像来模拟外观。在本文中,我们提出了一个一次性的人脸重现模型,FaR-GAN,只需要一个人脸图像的任何给定的源身份和目标表达作为输入,然后产生一个人脸图像的相同的源身份,但与目标表达。所提出的方法不对源身份、面部表情、头部姿势甚至图像背景做任何假设。我们在VoxCeleb 1数据集上评估了我们的方法,并表明我们的方法能够生成比比较方法更高质量的人脸图像。
2020-05-13 cs.CV
ActGAN: Flexible and Efficient One-shot Face Reenactment
SoftServe, Inc.(SoftServe公司);Ukrainian Catholic University(乌克兰天主教大学)
本文介绍了ActGAN -一种用于一次性面部重演的新型端到端生成对抗网络(GAN)。给定两个图像,目标是以照片般逼真的方式将源演员的面部表情转移到目标人物上。虽然现有的方法需要预定义的目标身份,我们解决这个问题,通过引入一个“多对多”的方法,它允许任意的人都为源和目标,而无需额外的再培训。为此,我们采用特征金字塔网络(FPN)作为核心生成器构建块-FPN在面部重演中的第一个应用,产生更好的结果。我们还介绍了一种解决方案,以保持一个人的身份之间的合成和目标的人,采用最先进的方法在深度人脸识别领域。该架构很容易支持不同场景下的重演:“多对多”,“一对一”,“一对另一个”的表达准确性,身份保护和整体图像质量。我们证明了ActGAN在视觉质量方面与最近的作品相比具有竞争力。
2020-03-30 cs.CV
Mesh Guided One-shot Face Reenactment using Graph Convolutional Networks
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);State Key Lab of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)
人脸再现旨在将源人脸图像动画化为由驾驶图像提供的不同姿态和表情。现有的方法要么是为特定的身份而设计的,要么在一次性或Few-Shot场景中遭受身份保存问题。在本文中,我们介绍了一种用于一次性面部再现的方法,该方法使用重建的3D网格(即,源网格和驱动网格)作为指导来学习再现的面部合成所需的光流。在技术上,我们明确地排除了驱动面的身份信息在重建的驱动网格。通过这种方式,我们的网络可以专注于源人脸的运动估计,而不会受到驱动人脸形状的干扰。我们提出了一个运动网络来学习人脸运动,这是一个不对称的自动编码器。编码器是从网格学习潜在运动矢量的图卷积网络(GCN),并且解码器用于利用CNN从潜在矢量产生光流图像。与以往的基于稀疏关键点的光流学习方法相比,本文提出的运动网络直接从三维稠密网格中学习光流,为光流提供了详细的形状和姿态信息,从而可以在再现的人脸上实现更精确的表情和姿态。大量的实验表明,我们的方法可以产生高质量的结果,并优于国家的最先进的方法在定性和定量比较。
2020-09-18 cs.CV
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学)
我们提出了Face2Face,一种用于单目目标视频序列的实时的面部再现的新方法(例如,Youtube视频)。源序列也是一个单目视频流,捕捉生活与商品摄像头。我们的目标是动画的面部表情的目标视频的源演员和重新渲染操作输出视频中的照片逼真的方式。为此,我们首先解决了约束不足的问题,从单目视频的面部身份恢复的非刚性基于模型的捆绑。在运行时间,我们跟踪面部表情的源和目标视频使用密集的光度一致性措施。然后通过源和目标之间快速有效的变形转移来实现重演。从目标序列中检索与重新定向的表情最佳匹配的嘴部内部,并将其扭曲以产生准确的拟合。最后,我们令人信服地重新渲染合成的目标面上的相应的视频流,使其无缝融合与现实世界的照明。我们在现场设置中演示了我们的方法,其中Youtube视频是实时的。
2020-07-29 cs.CV
TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment
University of Technology Sydney(悉尼科技大学);Shandong University of Science and Technology(山东科技大学)
本文提出首个跨身份舌部动态迁移框架,结合 foundation model 辅助的自举流水线与空间约束潜在掩码扩散模型,在舌部指标上较基线提升超两倍,且 VLM 评估证实其感知优势。
2026-07-31 cs.CV
One-shot Face Reenactment
SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
为了实现逼真的形状(例如姿势和表情)转移,现有的面部重现方法依赖于一组目标面部来学习特定于主题的特征。然而,在现实世界的情况下,最终用户往往只有一个目标的脸在手,使现有的方法不适用。在这项工作中,我们提出了一种新颖的一次性面部重演学习框架,以弥补这一差距。我们的关键见解是,一次性学习器应该能够解开和组成的外观和形状信息,有效的建模。具体地,目标面部外观和源面部形状首先利用其对应的编码器被投影到潜在空间中。然后通过学习一个共享的解码器将这两个潜在空间关联起来,该解码器聚合多级特征以产生最终的重演结果。为了进一步提高胡子和头发区域的合成质量,我们还提出了FusionNet,它结合了我们学习的解码器和传统的扭曲方法的优点。大量的实验表明,我们的一杆脸重演系统实现了优越的传输保真度以及身份保护能力比替代品。更值得注意的是,我们的方法训练每个主题只有一个目标图像实现了竞争力的结果,那些使用一组目标图像,证明了这项工作的实际价值。代码,模型和一组额外的重新制定的面孔已经在项目页面上公开发布。
2019-08-05 cs.CV eess.IV
One-Shot Face Reenactment on Megapixels
FuriosaAI;Seoul National University(首尔国立大学);Neosapience;Ajou University(亚洲大学)
人脸再现的目标是将目标表情和头部姿态转换到源人脸,同时保留源身份。随着人脸相关应用的普及,关于这个话题的研究也越来越多。然而,现有的方法的结果仍然局限于低分辨率和缺乏照片真实感。在这项工作中,我们提出了一个一次性和高分辨率的人脸重现方法称为MegaFR。准确地说,我们通过使用基于3DMM的渲染图像来利用StyleGAN,并通过设计一个在没有高质量视频的情况下工作的损失函数来克服缺乏高质量视频数据集的问题。此外,我们采用迭代细化处理极端的姿势和/或表情。由于所提出的方法通过3DMM参数控制源图像,我们可以显式地操纵源图像。我们将MegaFR应用到各种应用中,例如面部额化,眼睛绘画和说话的头部生成。实验结果表明,我们的方法成功地解开身份从表情和头部姿势,并优于传统的方法。
2022-05-26 cs.CV
One-shot Face Reenactment Using Appearance Adaptive Normalization
NetEase Fuxi AI Lab(网易伏羲AI实验室);Zhejiang University(浙江大学);Beijing Institute of Technology(北京理工大学)
本文提出了一种新的生成对抗网络用于一次人脸重现,它可以将单个人脸图像动画到不同的姿势和表情(由驱动图像提供),同时保持其原始外观。我们的网络的核心是一种称为外观自适应归一化的新机制,它可以通过使用学习的自适应参数调制生成器的特征图,有效地将输入图像的外观信息整合到我们的人脸生成器中。此外,我们专门设计了一个本地网络来重现本地面部组件(即,眼睛、鼻子和嘴巴),这对于网络来说是一个更容易学习的任务,并且可以反过来提供明确的锚点来指导我们的面部生成器学习全局外观和姿势和表情。大量的定量和定性实验表明,我们的模型与以前的一次性方法相比,显着的功效。
2021-04-26 cs.CV
Realistic Face Reenactment via Self-Supervised Disentangling of Identity and Pose
Zhejiang University(浙江大学)
最近的工作已经显示了如何在几何指导的监督下获得逼真的说话面部图像,例如,面部标志或边界。为了减轻对手动注释的需求,在本文中,我们提出了一种新的自监督混合模型(DAE-GAN),该模型可以学习如何在大量未标记视频的情况下自然地重现人脸。我们的方法结合了两个变形自动编码器的最新进展的条件生成。一方面,我们采用变形自动编码器来解开身份和姿态表示。在说话的人脸视频中,一个强大的先验是每个帧可以被编码为两个部分:一个用于视频特定的身份,另一个用于各种姿势。受此启发,我们利用多帧变形自动编码器为每个视频学习姿势不变的嵌入人脸。同时,提出了一种多尺度变形自动编码器来提取每帧的姿态相关信息。另一方面,条件生成器允许增强细节和整体真实性。它利用解纠缠的特征来生成照片般逼真和姿态相似的人脸图像。我们在VoxCeleb 1和RaFD数据集上评估了我们的模型。实验结果表明,再现图像的质量和身份之间的面部运动转移的灵活性。
2020-03-29 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect(Hyperconnect公司)
当目标身份和驾驶员身份之间存在不匹配时,面部再现的结果质量会严重下降,特别是在Few-Shot设置中。身份保留问题是最常见的失败模式,其中模型丢失了目标的详细信息,导致有缺陷的输出。这个问题有几个潜在的来源,例如由于身份不匹配导致的驾驶员身份泄露,或者处理看不见的大姿势。为了克服这些问题,我们引入了解决上述问题的组件:图像注意力块,目标特征对齐和地标Transformer。通过参加和扭曲的相关功能,拟议的架构,称为MarioNETte,产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外,地标Transformer通过地标解纠缠隔离表达式几何,极大地简化了身份保存问题。进行了全面的实验,以验证所提出的框架可以生成高度逼真的面孔,优于所有其他基线,即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space
Kingston University(金斯顿大学);City University of London(伦敦城市大学);Queen Mary University of London(伦敦玛丽女王大学)
提出一种利用预训练GAN潜在空间方向发现的方法,实现单样本神经人脸重演,通过3D形状模型学习控制姿态和表情的方向,在VoxCeleb基准上优于现有方法。
2024-02-05 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology(谢里夫理工大学);imec(imec研究所);Ghent University(根特大学)
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步,给定的音频输入。通过使用递归神经网络,我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力,以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Thinking the Fusion Strategy of Multi-reference Face Reenactment
Sony Group Corporation(索尼集团公司)
在深度生成模型的最新进展中,人脸再现-操纵和控制人脸,包括他们的头部运动-因其广泛的适用性而备受关注。尽管其强大的表现力,这是不可避免的,模型无法重建或准确地生成一个给定的单一参考图像的脸看不见的一面。现有的大多数方法通过从大量数据中学习人脸的外观并在推理时生成真实感纹理来缓解这个问题。而不是完全依赖于生成模型的学习,我们表明,通过使用多个参考图像的简单扩展显着提高生成质量。我们通过以下方式来证明这一点:1)在公开数据集上进行重建任务,2)在由多人头部运动视频序列组成的原始数据集上进行面部运动转移,3)使用新提出的评估指标来验证我们的方法获得了更好的定量结果。
2022-02-22 cs.CV cs.LG
ICface: Interpretable and Controllable Face Reenactment Using GANs
Tampere University(坦佩雷大学);Aalto University of Technology(阿尔托理工大学)
本文提出了一种通用的人脸动画,是能够控制一个给定的人脸图像的姿态和表情。动画由人类可解释的控制信号驱动,包括头部姿势角度和动作单位(AU)值。控制信息可以从多个来源获得,包括外部驾驶视频和手动控制。由于驱动信号的可解释性,人们可以很容易地混合多个来源之间的信息(例如,来自一个图像的姿势和来自另一个图像的表情),并应用选择性的后期制作编辑。建议的人脸动画实现为一个两阶段的神经网络模型,学习在一个自我监督的方式使用一个大的视频集合。建议的可解释和可控的人脸重演网络(ICface)相比,国家的最先进的神经网络为基础的人脸动画技术在多个任务。结果表明,ICface产生更好的视觉质量,同时比大多数比较方法更通用。引入的模型可以为众多高级图像和视频编辑任务提供轻量级且易于使用的工具。
2020-01-17 cs.CV
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment
Sun Yat-sen University(中山大学);Cardiff University(卡迪夫大学)
针对音频驱动面部重演中显式与隐式表征的权衡问题,提出参数化隐式人脸表征及可控高质量重演框架,通过多项技术优化提升生成效果与泛化性,实验验证其在逼真度和身份风格保真度上优于现有方法。
2023-06-13 cs.CV
HeadOn: Real-time Reenactment of Human Portrait Videos
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学)
我们提出了HeadOn,第一个完整的人体肖像视频,使躯干和头部运动,面部表情和眼睛凝视的传输实时的【形】源到目标的重演方法。给定目标演员的短RGB-D视频,我们自动构建嵌入参数化头部、眼睛和运动学躯干模型的个性化几何代理。一种新实时的【形】重演算法采用这种代理照片逼真的映射所捕获的运动从源演员到目标演员。在粗糙的几何代理之上,我们提出了一种基于视频的渲染技术,该技术通过视图和姿势相关的纹理合成修改后的目标肖像视频,并在新颖的躯干和头部姿势,面部表情和凝视方向下创建目标演员的照片级逼真图像。为此,我们提出了一个强大的跟踪源演员的脸和躯干。我们广泛地评估了我们的方法,并显示出显着的改进,使更大的灵活性,在创建逼真的重现输出视频。
2018-05-29 cs.CV cs.GR
Learning Dense Correspondence for NeRF-Based Face Reenactment
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
针对基于NeRF的人脸重演中稠密对应建立难的问题,提出以三面体为基础表征、含PlaneDict模块的新框架,首次在无3D参数模型先验下实现单样本多视角人脸重演,细粒度动作控制与身份保留效果更优。
2023-12-19 cs.CV
IMU2Face: Real-time Gesture-driven Facial Reenactment
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
我们提出了IMU2Face,一个手势驱动的面部重演系统。为此,我们结合了面部运动捕捉和惯性测量单元(IMU)的最新进展,根据直观的手势控制目标视频中人的面部表情。IMU无处不在,因为现代智能手机、智能手表和无人机集成了这样的传感器,例如,用于改变屏幕内容的方向、计数步数或用于飞行稳定。面部跟踪和重现是基于最先进的实时的【形】Face2Face面部重现系统。我们采用IMU来跟踪源演员的手势,并使用其方向来修改目标演员的表情,而不是将面部表情从源演员转移到目标演员。
2017-12-18 cs.CV
ToonTalker: Cross-Domain Face Reenactment
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯人工智能实验室);Ant Group(蚂蚁集团)
针对跨域人脸重演存在的域偏移、现有方法依赖配对数据的问题,提出基于transformer的无配对数据跨域重演框架,搭配类比约束训练方案,还贡献了迪士尼风格卡通数据集,性能优于对比方法。
2023-08-24 cs.CV
HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces
Kingston University London(伦敦金斯顿大学);Queen Mary University of London(伦敦玛丽女王大学)
针对现有单样本人脸重演易产生伪影、极端姿态下效果差的问题,提出HyperReenact方法,借助预训练StyleGAN2和超网络实现身份优化与姿态重定向,在标准基准上取得更优的无伪影生成效果与鲁棒性。
2023-07-20 cs.CV
Navigating Large-Pose Challenge for High-Fidelity Face Reenactment with Video Diffusion Model
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China(合成视觉基础科学国家重点实验室,四川大学,成都,610065,中国);School of Cyber Science and Engineering, Sichuan University, Chengdu, 610065, China(网络科学与工程学院,四川大学,成都,610065,中国);College of Computer Science, Sichuan University, Chengdu, 610065, China(计算机科学学院,四川大学,成都,610065,中国)
本文提出FRVD模型,通过运动提取、变形特征映射器与预训练I2V模型潜在空间相结合,解决大姿态变化下的高保真面部重现问题,在姿态准确性、身份保持和视觉质量上优于现有方法。
2025-07-22 cs.CV
MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance
本研究提出MagicPortrait视频人脸重演方法,将FLAME 3D人脸参数模型结合几何引导编码器融入潜扩散框架,实现精准运动控制与形状一致性,在基准测试中表现优异且域外泛化性强。
2025-10-29 cs.CV
GGViT:Multistream Vision Transformer Network in Face2Face Facial Reenactment Detection
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);National Computer Network Emergency Response Technical Team Coordination Center of China(国家计算机网络应急技术处理协调中心)
在社交网络上检测被篡改的人脸图像和视频一直是一个亟待解决的问题。社交媒体上的视频压缩破坏了一些可用于检测伪造的像素细节。因此,在不同质量的视频中检测被操纵的面部是至关重要的。我们提出了一种新的多流网络架构GGViT,它利用全局信息来提高模型的泛化能力。通过ViT提取的整个人脸的嵌入将引导每个流网络。通过大量的实验,证明了该模型在FF++数据集上达到了最先进的分类精度,在不同压缩率的场景下,分类精度得到了很大的提高。Raw/C23、Raw/C40和C23/C40的准确度分别提高了24.34%、15.08%和10.14%。
2022-10-12 cs.CV
StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment
Kingston University London(伦敦金斯顿大学);Queen Mary University of London(伦敦玛丽女王大学)
在本文中,我们解决了神经人脸重现的问题,其中,给定一对源和目标面部图像,我们需要通过同时保留源的身份特征(例如,面部形状、发型等),即使在源面部和目标面部属于不同身份的挑战性情况下也是如此。在这样做时,我们解决了现有技术作品的一些限制,即,a)它们依赖于成对的训练数据(即,源面部和目标面部具有相同的身份),b)它们在推断期间依赖于标记的数据,以及c)它们在大的头部姿势变化中不保持身份。更具体地说,我们提出了一个框架,使用不成对的随机生成的面部图像,学习解开的身份特征的脸从它的姿势,将最近推出的风格空间$\mathcal{S}$的StyleGAN2,一个潜在的表示空间,表现出显着的解开属性。通过利用这一点,我们学会了使用3D模型的监督成功地混合一对源和目标样式代码。所得到的潜在代码,随后用于重演,包括对应于面部姿势的目标只和对应于源的身份只的单元的潜在单元,导致显着改善的重演性能相比,最近的国家的最先进的方法。与现有技术相比,我们定量和定性地表明,所提出的方法即使在极端姿态变化的情况下也能产生更高质量的结果。最后,我们报告了真实图像的结果,首先将它们嵌入到预训练生成器的潜在空间中。我们将代码和预训练模型公开发布于:https://github.com/StelaBou/StyleMask
2022-09-27 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn(波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本文提出FSRT,一种基于Transformer的人脸重现方法,通过自监督分解外观、头部姿态和表情特征,支持跨人重现和多源图像适应,实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
Audio-Visual Face Reenactment
IIIT, Hyderabad(海得拉巴国际信息技术研究所);University of Bath(巴斯大学)
本文提出了一种利用音频流和视频流生成真实感头部视频的新方法。我们通过使用可学习的关键点生成的密集运动场从驾驶视频传输头部运动来制作源图像的动画。我们使用音频作为额外的输入来提高唇同步的质量,帮助网络关注嘴部区域。我们使用额外的先验知识,使用人脸分割和人脸网格来改善重建人脸的结构。最后,我们通过将一个精心设计的身份感知生成器模块,提高了一代人的视觉质量。身份感知生成器将源图像和变形的运动特征作为输入,以生成具有细粒度细节的高质量输出。我们的方法产生了最先进的结果,并很好地推广到看不见的面孔,语言和声音。我们使用多个指标全面评估我们的方法,并在定性和定量方面优于当前的技术。我们的工作开辟了几个应用,包括实现低带宽视频通话。我们在http://cvit.iiit.ac.in/research/projects/cvit-projects/avfr上发布了演示视频和其他信息。
2022-10-06 cs.CV
Anchored Diffusion for Video Face Reenactment
Verily AI
本文提出锚定扩散方法,扩展扩散变换器以生成连贯的长视频,在人脸重演任务中优于现有技术,实现高质量且可编辑的视频合成。
2024-07-21 cs.CV
Head2HeadFS: Video-based Head Reenactment with Few-shot Learning
Imperial College London(帝国理工学院);University of Exeter(埃克塞特大学)
在过去的几年里,大量的工作已经完成了面部重现的问题,解决方案主要来自图形社区。头部再现是一项更具挑战性的任务,其目的不仅是将面部表情,而且是将整个头部姿势从源人物转移到目标人物。目前的方法要么是训练特定于个人的系统,要么是使用面部标志来模拟人类头部,这种表示可能会将不需要的身份属性从源转移到目标。我们提出了head2headFS,一种新的易于适应的管道头重演。我们的条件合成的目标人物密集的3D人脸形状信息的来源,这使得高质量的表达和姿态转移。我们的基于视频的渲染网络在少样本学习策略下进行了微调,仅使用少量样本。这允许在多人数据集上训练的通用生成器快速适应特定于个人的生成器。
2021-03-30 cs.CV
Learning Online Scale Transformation for Talking Head Video Generation
HKUST(香港科技大学)
针对单样本说话人头部视频生成中源图像与驱动图像尺度差异导致面部重演效果不佳的问题,提出带尺度变换模块的在线尺度变换面部重演网络,无需锚帧即可实现准确动作迁移,生成尺度准确的高质量跨身份重演人脸。
2024-07-13 cs.AI cs.CV
Single-Shot Freestyle Dance Reenactment
Facebook AI Research(Facebook人工智能研究);Tel-Aviv University(特拉维夫大学)
源舞者和目标人之间的运动转移任务是姿势转移问题的特殊情况,其中目标人根据舞者的运动改变他们的姿势。在这项工作中,我们提出了一种新的方法,可以通过任意视频序列重新激活单个图像,在训练过程中看不到。该方法结合了三个网络:(i)分割映射网络,(ii)真实帧渲染网络,以及(iii)面部细化网络。通过将此任务分为三个阶段,我们能够获得一系列新颖的逼真帧,捕捉自然的运动和外观。我们的方法获得了比以前的方法更好的视觉质量,并且能够动画化不同的身体类型和外观,这些身体类型和外观是在具有挑战性的姿势中捕获的,如实验和补充视频所示。
2021-03-21 cs.CV cs.GR cs.LG
Robust Deepfake Detection for Electronic Know Your Customer Systems Using Registered Images
NEC Corporation(日本电报电话公司);The University of Tokyo(东京大学)
针对eKYC系统的深度伪造检测需求,提出结合身份向量时序不一致检测、注册图像身份差异比对及大模型人脸特征提取的鲁棒检测算法,可有效检测人脸交换与重演且抗图像退化。
2025-07-30 cs.CV
Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control
Zhejiang University(浙江大学);Tencent(腾讯);VIVO(维沃移动通信有限公司);Nanyang Technological University(南洋理工大学)
针对预训练扩散模型人脸编辑训练成本高、性能不足的问题,提出Face-Adapter适配器,通过空间条件生成、即插即用身份编码、属性控制模块解耦结构、ID与属性,实现高精度人脸重演与换脸,性能媲美甚至优于全微调模型且兼容多种StableDiffusion。
2024-07-09 cs.CV
Unconstrained Facial Expression Transfer using Style-based Generator
Facebook AI(脸书人工智能研究院)
人脸表情转移与再现在人脸编辑、图像处理、合成视频等领域有着广泛的应用,是一个重要的研究课题。我们提出了一种新的方法,基于图像的面部表情转移,利用最近的风格为基础的GAN是非常有效的创建逼真的图像。给定两张人脸图像,我们的方法可以创建合理的结果,将一张图像的外观和另一张图像的表情结合起来。为了实现这一点,我们首先提出了一个基于StyleGAN的优化过程,从图像中推断出分层的风格向量,从而解开面部的不同属性。我们进一步引入了一个线性组合方案,融合了两个给定图像的风格向量,并生成一个新的面孔,结合了表情和外观的输入。我们的方法可以创建高质量的合成与准确的面部重现。与许多现有的方法不同,我们不依赖于几何注释,并且可以应用于任何身份的无约束面部图像,而无需重新训练,从而可以生成大规模的表情转移结果。
2019-12-12 cs.CV
Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion
ETH Zürich(苏黎世联邦理工学院);DisneyResearch—Studios(迪士尼研究工作室)
提出运动文本反演方法,利用图像到视频模型分离外观与运动,通过运动参考视频优化嵌入实现语义运动迁移,无需空间对齐,适用于全身、面部及物体运动控制。
2025-05-23 cs.CV cs.GR cs.LG
UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing
Peking University(北京大学);Xverse;JD Explore Academy(京东探索研究院);Tencent AI Lab(腾讯AI实验室);University of Rochester(罗切斯特大学)
最近的研究已经见证了面部图像编辑任务的进展,包括面部交换和面部重现。然而,这些方法仅限于一次处理一个特定的任务。此外,对于视频面部编辑,先前的方法要么简单地逐帧应用变换,要么以级联或迭代的方式利用多个帧,这导致明显的视觉闪烁。在本文中,我们提出了一个统一的时间一致的面部视频编辑框架,称为UniFaceGAN。基于一个三维重建模型和一个简单而有效的动态训练样本选择机制,我们的框架被设计为同时处理人脸交换和人脸重现。为了增强时间一致性,在重心坐标插值的基础上引入了一种新的三维时间损失约束。此外,我们提出了一个区域感知的条件归一化层,以取代传统的AdaIN或SPADE合成更多的上下文和谐的结果。与最先进的面部图像编辑方法相比,我们的框架生成的视频人像更逼真,时间平滑。
2021-08-12 cs.CV
Total-Editing: Head Avatar with Editable Appearance, Motion, and Lighting
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司)
Total-Editing提出统一肖像编辑框架,结合神经辐射场内在分解与移动最小二乘变形场,实现外观、动作和光照的精确控制,提升编辑质量与真实感。
2025-05-26 cs.CV
IMTalker: Efficient Audio-driven Talking Face Generation with Implicit Motion Transfer
X-LANCE Lab, Shanghai Jiao Tong University(上海交通大学X-LANCE实验室);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室)
IMTalker通过隐式运动传输实现高效音频驱动说话人脸生成,提升运动准确性与身份保持性,达到最先进的生成质量与效率。
2025-11-27 cs.AI cs.CV
ReliableSwap: Boosting General Face Swapping Via Reliable Supervision
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
针对通用换脸中跨身份缺乏像素级监督导致源身份保留差的问题,提出构建循环三元组可靠监督与FixerNet下半脸增强的ReliableSwap框架,可低成本提升现有换脸网络的身份保留等性能。
2023-06-08 cs.CV
Expressive Talking Head Video Encoding in StyleGAN2 Latent-Space
University of Maryland(马里兰大学)
虽然最近在视频重现研究方面的进展已经取得了可喜的成果,但这些方法在捕捉精细、详细和富有表现力的面部特征(例如,嘴唇按压、嘴部起皱、嘴部张开和皱纹),这在生成逼真的动画面部视频中是至关重要的。为此,我们提出了一种端到端的表情人脸视频编码方法,通过优化单个身份潜在的低维编辑,促进数据高效的高质量视频重新合成。该方法基于StyleGAN 2图像反转和多级非线性潜在空间编辑,以生成与输入视频几乎相当的视频。虽然现有的基于StyleGAN的潜在编辑技术专注于简单地生成静态图像的合理编辑,但我们使用驻留在StyleGAN 2的Style-latent-space(StyleSpace)中的编码来自动化潜在空间编辑,以捕获帧序列中的精细表情面部变形。由此获得的编码可以叠加在单个身份-潜在上,以便于在$1024^2$处重新制定面部视频。所提出的框架经济地捕捉面部身份,头部姿势,和复杂的表情面部运动在精细的水平,从而绕过训练,人建模,依赖于地标/关键点,和低分辨率合成往往会阻碍大多数重演的方法。该方法的设计具有最大的数据效率,其中单个$W+$潜在和每帧35个参数实现高保真视频渲染。该流水线还可以用于操纵(即,运动转移)。
2023-02-14 cs.CV
UniBioTransfer: A Unified Framework for Multiple Biometrics Transfer
The University of Hong Kong(香港大学);Digital Trust Centre, Nanyang Technological University(南洋理工大学数字信任中心);ShanghaiTech University(上海科技大学)
UniBioTransfer 提出了一种统一框架,能够处理多种深度面部生成任务,通过统一数据构建策略和创新的BioMoE模型,解决数据不足和跨任务冲突问题,实现高效泛化和扩展性。
2026-03-20 cs.CV