Towards High-Fidelity Text-Guided 3D Face Generation and Manipulation Using only Images
Xi’an Jiaotong University(西安交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
本文提出TG-3DFace方法,利用文本引导生成高保真三维人脸,通过全局对比学习与细粒度对齐提升语义一致性,并引入方向性分类器引导增强创造性,在MVIC上较Latent3D提升9%。
2023-08-31 cs.CV
Weakly-Supervised Photo-realistic Texture Generation for 3D Face Reconstruction
Ecole Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
虽然最近在3D人脸重建方面取得了很大进展,但大多数以前的工作都致力于预测准确和细粒度的3D形状。相比之下,相对较少的工作集中在生成高保真的面部纹理。与照片级真实感二维人脸图像生成的繁荣相比,高保真三维人脸纹理生成还有待研究。在本文中,我们提出了一种新的UV地图生成模型,预测UV地图从一个单一的人脸图像。该模型由一个紫外线采样器和一个紫外线发生器。通过有选择地采样输入人脸图像的像素并调整它们的相对位置,UV采样器生成一个不完整的UV图,可以忠实地重建原始人脸。不完整UV贴图中缺少的纹理将由UV生成器进一步完全填充。训练基于由3DMM纹理和输入面部纹理混合的伪地面实况,因此是弱监督的。为了处理不完美的伪UV图中的伪影,利用多个部分UV图鉴别器。
2021-06-14 cs.CV
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University(密歇根州立大学);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文提出Dense-Face模型,通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注,在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
FaceScore: Benchmarking and Enhancing Face Quality in Human Generation
Shanghai Jiao Tong University(上海交通大学);OPPO AI Center(OPPO人工智能中心)
针对扩散模型生成人脸质量低、现有指标与人类判断一致性差的问题,提出新型人脸质量指标FaceScore,可用于优化扩散模型以提升人脸生成质量。
2024-09-12 cs.CV
High Diversity Attribute Guided Face Generation with GANs
Intel(英特尔)
在这项工作中,我们专注于基于GAN的解决方案,用于属性引导的人脸合成。以前的作品利用GANs来生成照片级逼真的人脸图像,并且没有注意到所生成图像的多样性问题。所提出的解决方案又引入了单位复数的新潜在空间,能够提供比训练数据集的大小高3倍的“生日悖论”分数的多样性。需要强调的是,我们的结果是在相对较小的数据集上显示的(20k样本vs 200k样本),同时在显着更高的分辨率上保留了生成的人脸的照片般逼真的特性(128x128,而以前的作品为32x32)。
2018-06-28 cs.CV
Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Human-Like Sketches
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);University College London(伦敦大学学院)
图像生成技术由于其在安全和娱乐方面的广泛应用而受到越来越多的关注。基于草图的人脸生成由于有监督的交互而带来了更多的乐趣和更好的图像生成质量。然而,当一个草图不符合真实的脸作为输入,现有的监督图像到图像的翻译方法往往不能产生可接受的照片逼真的人脸图像。为了解决这个问题,在本文中,我们提出了Cali-Sketch,一个像人一样的素描照片般真实的图像生成方法。Cali-Sketch使用两个组成网络明确地建模笔划校准和图像生成:笔划校准网络(SCN),其校准面部特征的笔划并丰富面部细节,同时保留原始意图特征;以及图像合成网络(ISN),其将校准和丰富的草图转换为照片般逼真的面部图像。通过这种方式,我们设法将困难的跨域翻译问题解耦为两个更容易的步骤。大量的实验表明,与现有的方法相比,Cali-Sketch生成的人脸照片既具有照片般的真实感,又忠实于输入的草图。
2022-10-09 cs.CV
Stochastic Talking Face Generation Using Latent Distribution Matching
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);NVIDIA(英伟达)
仅仅根据听到的声音就能想象出一张会说话的脸的视觉效果,这是人类独有的能力。最近已经有许多作品解决了这种能力。我们与这些方法的不同之处在于,基于单个音频输入实现了各种说话面部生成。事实上,仅仅是能够生成一张会说话的脸就可以让一个系统在本质上几乎是机器人。相比之下,我们的无监督随机音频到视频生成模型允许从单个音频输入生成不同的生成。特别是,我们提出了一个无监督的随机音频到视频生成模型,可以捕获多种模式的视频分布。我们确保所有不同的世代都是合理的。我们这样做,通过一个原则性的多模态变分自编码器框架。我们在具有挑战性的LRW和GRID数据集上证明了其有效性,并表现出比基线更好的性能,同时能够生成多个不同的嘴唇同步视频。
2020-11-21 cs.CV
MorCode: Face Morphing Attack Generation using Generative Codebooks
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Norwegian University of Science Technology(挪威科技大学);AiBA AS(AiBA AS公司)
提出基于编码器-解码器架构与码本学习的人脸融合攻击生成方法MorCode,在数字和打印扫描数据上展现出超越五种现有技术的最高攻击潜力。
2024-10-10 cs.CV
IdentiFace: Multi-Modal Iterative Diffusion Framework for Identifiable Suspect Face Generation in Crime Investigations
Southeast University(东南大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
本文提出IdentiFace框架,通过多模态输入设计和迭代生成流程提升可识别嫌疑人面部生成的条件控制与特征调整能力,贡献了面部身份损失函数和两个专用数据集,实验证明其在身份检索上的优越性能。
2026-05-01 cs.CV
'Tax-free' 3DMM Conditional Face Generation
Brown University(布朗大学)
本文针对3DMM条件人脸生成质量低于无条件StyleGAN的问题,通过数学形式化问题并提出简单解决方案,构建新模型消除了两者之间的质量税。
2023-05-26 cs.CV
FTGAN: A Fully-trained Generative Adversarial Networks for Text to Face Generation
Sichuan University(四川大学)
作为文本到图像合成的一个子领域,文本到人脸生成在公共安全领域有着巨大的潜力。由于缺乏数据集,几乎没有相关的研究集中在文本到人脸合成。在本文中,我们提出了一个完全训练的生成对抗网络(FTGAN),它同时训练文本编码器和图像解码器,以实现细粒度的文本到人脸生成。FTGAN采用一种新型的经过充分训练的生成网络,可以合成更高质量的图像,并促使FTGAN的输出与输入句子更相关。此外,我们还构建了一个名为SCU-Text 2face的数据集,用于文本到人脸的合成。通过大量的实验,FTGAN在提高生成图像的质量和与输入描述的相似性方面显示了其优越性。拟议的FTGAN优于先前的最新技术水平,将CUB数据集上报告的最佳Inception Score提高到4.63。在SCU-text 2face上,我们提出的FTGAN仅基于输入描述生成的人脸图像与地面真实值的相似度平均为59%,这为文本到人脸合成设定了基线。
2019-04-11 cs.CV
FACE: A Face-based Autoregressive Representation for High-Fidelity and Efficient Mesh Generation
CASIA;UCAS;VAST;KAUST
FACE提出了一种基于面的自回归表示方法,通过在面级别生成网格,显著提高3D网格生成的效率和保真度。
2026-03-03 cs.CV
X2Face: A network for controlling face generation by using images, audio, and pose codes
University of Oxford(牛津大学)
本文的目标是一个神经网络模型,该模型使用另一张脸或模态(例如音频)控制给定脸的姿势和表情。该模型可用于轻量级、复杂的视频和图像编辑。我们作出以下三项贡献。首先,我们介绍了一个网络,X2 Face,它可以控制一个源面(由一个或多个帧指定),使用驱动帧中的另一个面来产生一个生成的帧,该帧具有源帧的身份,但在驱动帧中的脸的姿势和表情。其次,我们提出了一种使用大量视频数据来训练网络完全自监督的方法。第三,我们证明了生成过程可以由其他形式驱动,例如音频或姿势代码,而无需对网络进行任何进一步的训练。将用另一张脸驱动一张脸的生成结果与最先进的自监督/监督方法进行比较。我们表明,我们的方法是更强大的比其他方法,因为它使更少的假设的输入数据。我们还展示了使用我们的框架进行视频人脸编辑的示例。
2018-07-27 cs.CV
Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了DiscoFaceGAN,一种用于虚拟人的面部图像生成的方法,该方法具有用于不存在的人的身份,表情,姿势和照明的分离,精确可控的潜在表示。我们将3D先验知识嵌入到对抗学习中,并训练网络来模拟分析3D人脸变形和渲染过程的图像形成。为了处理真实和渲染的脸之间的域间隙引起的生成自由度,我们进一步引入对比学习,通过比较生成的图像对来促进解纠缠。实验表明,通过我们的模仿-对比学习,很好地解开因素的变化,并可以精确地控制生成的人脸的属性。我们还分析了学习的潜在空间,并提出了几个有意义的属性支持因子解纠缠。我们的方法也可以用来嵌入真实图像到解开潜在的空间。我们希望我们的方法可以为物理性质和深度图像合成之间的关系提供新的理解。
2020-09-04 cs.CV
Attributes Aware Face Generation with Generative Adversarial Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近的研究表明,在面部图像生成方面取得了显着的成功。然而,现有的方法大多只从随机噪声中生成人脸图像,而不能根据人脸的特定属性生成人脸图像。本文主要研究基于属性的人脸合成问题,其目标是生成具有特定特征的人脸,并与给定的属性相对应。为此,我们提出了一种新的属性感知人脸图像生成器方法与生成对抗网络称为AFGAN。具体而言,我们首先提出了一个双路径嵌入层和自我注意力机制转换二进制属性向量丰富的属性特征。三个层叠生成器分别以属性特征为输入生成$64 \times 64$、$128 \times 128$和$256 \times 256$分辨率的人脸图像。此外,提出了一种图像-属性匹配损失,以增强生成的图像和输入属性之间的相关性。对CelebA的大量实验证明了我们的AFGAN在定性和定量评价方面的优越性。
2020-12-03 cs.CV
BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation
Kuaishou Technology(快手科技)
生成对抗网络(GANs)在高保真图像合成和风格化面部生成方面取得了巨大的飞跃。最近,层交换机制已经被开发出来,以提高风格化性能。然而,这种方法无法在单个模型中拟合任意风格,并且需要数百个风格一致的训练图像。为了解决上述问题,我们提出BlendGAN,通过利用灵活的混合策略和通用艺术数据集来生成任意风格化的人脸。具体来说,我们首先训练一个自我监督的风格编码器上的通用艺术数据集提取的表示任意风格。此外,加权混合模块(WBM)提出了混合的脸和风格表示隐式和控制的任意风格化效果。通过这样做,BlendGAN可以在统一模型中优雅地适应任意样式,同时避免逐个准备样式一致的训练图像。为此,我们还提出了一个新的大规模艺术人脸数据集AAHQ。大量的实验表明,BlendGAN在视觉质量和风格多样性方面优于最先进的方法,无论是潜在的引导和参考引导的风格化人脸合成。
2021-10-22 cs.CV
Controllable 3D Face Generation with Conditional Style Code Diffusion
Alibaba(阿里巴巴)
本文提出 TEx-Face 方法,通过三维 GAN 反演、条件风格码扩散和三维人脸解码三个组件,实现基于文本与表情条件的高效可控逼真三维人脸生成。
2024-01-11 cs.CV
Text-Guided 3D Face Synthesis -- From Generation to Editing
Netease Fuxi AI Lab(网易伏羲人工智能实验室);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Queensland(昆士兰大学)
本文提出统一的文本引导三维人脸生成与编辑框架,通过几何-纹理解耦生成、UV域一致性保持正则化和自引导一致性权重策略,实现高质量且可迭代编辑的定制化三维人脸合成。
2023-12-01 cs.CV
Faces à la Carte: Text-to-Face Generation via Attribute Disentanglement
The University of Queensland(昆士兰大学)
文本到人脸(TTF)合成是一项具有挑战性的任务,在各种计算机视觉应用中具有巨大的潜力。由于人脸属性的多样性和高维抽象自然语言的解析,人脸的文本描述比文本到图像(TTI)合成任务更加复杂和详细。在本文中,我们提出了一个文本到人脸模型,不仅产生高分辨率(1024 x1024)的图像与文本到图像的一致性,但也输出多个不同的脸,以覆盖范围广泛的非指定的面部特征,以自然的方式。通过对多标签分类器和图像编码器进行微调,我们的模型获得了用于对从正态分布中采样的输入噪声向量进行变换的向量和图像嵌入。然后,将变换后的噪声向量馈送到预先训练的高分辨率图像生成器中,以生成具有所需面部属性的一组面部。我们将我们的模型称为TTF-HD。实验结果表明,TTF-HD生成高质量的人脸与国家的最先进的性能。
2020-09-18 cs.CV
Realistic Speech-to-Face Generation with Speech-Conditioned Latent Diffusion Model with Face Prior
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent AI Lab(腾讯人工智能实验室);Aarhus University(奥胡斯大学)
针对现有GAN-based语音人脸生成方法稳定性差、真实感不足的问题,提出带人脸先验的SCLDM框架,通过对比预训练对齐跨模态属性、引入统计人脸先残差控制多样性,在两个基准数据集上实现身份保留与真实感的显著提升。
2023-10-05 cs.CV
Towards a Simultaneous and Granular Identity-Expression Control in Personalized Face Generation
School of Informatics, Xiamen University(厦门大学信息学院);Virtual Human Group, Netease Fuxi AI Lab(网易伏羲人工智能实验室虚拟人团队)
针对文本到图像模型难以同时保持身份并控制多样表情的问题,本文提出支持细粒度身份-表情同步控制的多模态条件扩散框架,并验证其可控性与可扩展性。
2024-04-07 cs.CV
StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
真实感生成式人脸视频合成一直是计算机视觉和图形学领域的研究热点。然而,现有的人脸视频生成方法往往会产生低质量的帧与漂移的面部身份和不自然的运动。为了应对这些挑战,我们提出了一个名为StyleFaceV的原则性框架,该框架可以生成具有生动动作的高保真身份保留人脸视频。我们的核心见解是分解外观和姿势信息,并在StyleGAN 3的潜在空间中重新组合它们,以产生稳定和动态的结果。具体来说,StyleGAN3为高保真面部图像生成提供了强大的先验知识,但潜在空间本质上是纠缠的。通过仔细研究其潜在的属性,我们提出了我们的分解和重组设计,允许面部外观和动作的解开组合。此外,一个时间相关的模型是建立在分解的潜在特征,并采样合理的运动序列,能够生成逼真的和时间上连贯的人脸视频。特别是,我们的管道是在静态图像和高质量的视频数据,这是更高的数据效率的联合训练策略进行训练。大量的实验表明,我们的框架实现了国家的最先进的人脸视频生成结果的定性和定量。值得注意的是,即使没有高分辨率的训练视频,StyleFaceV也能够生成逼真的$1024\times1024$面部视频。
2022-08-16 cs.CV
Analyzing Bias in Diffusion-based Face Generation Models
Johns Hopkins University(约翰斯·霍普金斯大学)
本文分析扩散人脸生成模型在性别、种族和年龄上的偏见,发现其加剧训练数据分布偏见且受数据集大小影响,而平衡大数据集训练的GAN偏见更少。
2023-05-10 cs.CV
Enhancing Diffusion Face Generation with Contrastive Embeddings and SegFormer Guidance
University of Surrey, UK(英国萨里大学)
本文提出在小规模 CelebAMask-HQ 数据集上评估扩散模型的人脸生成基准,主要贡献是引入 InfoNCE 损失和 SegFormer 分割编码器,显著提升了有限数据下属性引导生成的语义对齐与可控性。
2025-08-13 cs.CV
Collaborative Face Experts Fusion in Video Generation: Boosting Identity Consistency Across Large Face Poses
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室);National University of Singapore(新加坡国立大学)
本文提出协作面部专家融合方法,通过动态融合身份、语义和细节专家信号,提升大姿态下视频生成的身份一致性,并构建了大规模姿态标注数据集。
2025-12-05 cs.CV
3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation
NTNU(台湾师范大学);NTUST(台湾科技大学)
本文提出3D-GANTex方法,利用StyleGAN隐空间生成多视角人脸,并结合3DDFA与3DMM从单张图像估计高质量三维人脸网格和高分辨率纹理,缓解单视角重建的病态性问题。
2024-10-21 cs.CV
DH-FaceVid-1K: A Large-Scale High-Quality Dataset for Face Video Generation
Li Auto(利奥汽车);Harbin Institute of Technology(哈尔滨理工大学);University of New South Wales(新南威尔士大学);University of Science and Technology of China(中国科学技术大学)
本文提出了大规模高质量人脸视频数据集DH-FaceVid-1K,包含1200小时、超2万人的27万个视频片段,并建立生成模型与基准验证缩放定律,旨在解决亚洲人脸代表性不足问题。
2025-07-13 cs.CV
LADIMO: Face Morph Generation through Biometric Template Inversion with Latent Diffusion
Norwegian University of Science and Technology(挪威科技大学);Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出了一种基于潜在扩散的生物特征模板反演人脸变形方法LADIMO,通过在人脸识别嵌入上进行变形操作,并利用随机模型设计与身份条件机制生成无限攻击变体,其攻击潜力显著优于MIPGAN-II。
2024-10-10 cs.CV
FaceCook: Face Generation Based on Linear Scaling Factors
School of Information Technology
由于最先进的生成模型具有良好的解纠缠特性,图像编辑已经成为控制合成人脸图像属性的主要方法。然而,这些编辑的结果经常遭受伪影或不正确的特征渲染,特别是当要编辑的图像和期望的特征集之间存在较大差异时。因此,我们提出了一种新的方法,通过求解一组多元线性方程组来映射生成模型的特征向量到缩放因子。方程的系数是预训练模型的权重参数的特征向量,其形成超坐标系的基础。定性和定量的结果都表明,该方法优于基线的图像多样性。此外,该方法更省时,因为您可以直接从潜向量中获得具有所需特征的合成图像,而不是之前编辑随机生成的图像需要许多处理步骤的过程。
2021-09-08 cs.CV
AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars
HKUST(香港科技大学);Microsoft Research(微软研究院);Tsinghua University(清华大学)
虽然2D生成模型在人脸图像生成和动画方面取得了很大的进步,但当从不同的相机视点渲染图像时,它们经常遭受不期望的伪影,例如3D不一致。这就防止了他们合成与真实视频难以区分的视频动画。最近,3D感知的GANs扩展了2D GANs,通过利用3D场景表示来显式地解开相机姿态。这些方法可以很好地保持不同视图之间生成的图像的3D一致性,但它们不能实现对其他属性的细粒度控制,其中面部表情控制可以说是最有用和最理想的面部动画。在本文中,我们提出了一个动画三维感知GAN的多视图一致的人脸动画生成。其核心思想是将三维感知GAN的三维表示分解为模板场和变形场,前者用规范表达式表示不同的恒等式,后者表征每个恒等式的表达式变化。为了通过变形实现对面部表情的有意义的控制,我们在3D感知GAN的对抗训练期间提出了生成器和参数化3D面部模型之间的3D级模仿学习方案。这有助于我们的方法实现高质量的可动画人脸图像生成,具有很强的视觉3D一致性,即使只使用非结构化的2D图像进行训练。大量的实验表明,我们的优越性能比以前的作品。项目页面:https://yuewuhkust.github.io/AniFaceGAN
2022-10-12 cs.CV
MFR-Net: Multi-faceted Responsive Listening Head Generation via Denoising Diffusion Model
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
提出MFR-Net,利用去噪扩散模型生成多样化倾听头部视频,通过特征聚合保持身份并融合说话者特征,实现态度与观点表达的多方面响应。
2023-08-31 cs.CV
DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation
University of Science and Technology of China(中国科学技术大学);ByteDance Inc.(字节跳动公司)
本文提出了一种免优化的面部身份保持图像生成方法DreamIdentity,通过多尺度面部特征编码器和自增强可编辑性学习,在保持模型可编辑性的同时实现高效的身份保持图像生成。
2023-07-01 cs.CV
Talking Face Generation by Conditional Recurrent Adversarial Network
Samsung Research America(三星美国研究院);IBM(国际商业机器公司)
给定一个任意的人脸图像和一个任意的语音片段,所提出的工作试图生成说话的人脸视频与准确的嘴唇同步,同时保持平滑过渡的嘴唇和面部运动在整个视频剪辑。现有的作品要么不考虑跨不同视频帧的人脸图像的时间依赖性,从而容易产生明显的/突然的面部和嘴唇运动,或者仅限于为特定的人生成说话的面部视频,从而缺乏泛化能力。我们提出了一种新的条件视频生成网络,其中音频输入被视为循环对抗网络的条件,从而将时间依赖性纳入其中,以实现嘴唇和面部运动的平滑过渡。此外,我们在视频生成的背景下部署了一个多任务对抗训练方案,以提高照片的真实感和嘴唇同步的准确性。最后,基于从音频片段中提取的音素分布信息,我们开发了一种样本选择方法,该方法在不牺牲生成视频质量的情况下有效地减小了训练数据集的大小。在受控和非受控数据集上进行的大量实验表明,与最先进的方法相比,所提出的方法在视觉质量、唇同步准确性以及唇和面部运动的平滑过渡方面具有优越性。
2019-07-25 cs.CV
MAGIC-Talk: Motion-aware Audio-Driven Talking Face Generation with Customizable Identity Control
School of Computer Science and Electronic Engineering, University of Surrey(Surrey大学计算机科学与电子工程学院);School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机科学学院);Centre for Vision, Speech and Signal Processing, University of Surrey(Surrey大学视觉、语音和信号处理中心)
提出MAGIC-Talk单次扩散框架,通过ReferenceNet保持身份和AnimateNet增强运动连贯性,结合渐进式潜在融合,实现长视频中稳定且可定制的音频驱动说话人脸生成。
2025-10-26 cs.CV
Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Istanbul Technical University(伊斯坦布尔理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对说话人脸生成中唇音同步与视觉质量难以兼顾、同步评估不足的问题,本文利用 AV-HuBERT 计算训练损失,并提出三项新的唇音同步评估指标,实验与消融验证了其有效性。
2024-05-07 cs.CV
ReGenMorph: Visibly Realistic GAN Generated Face Morphing Attacks by Attack Re-generation
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所IGD);TU Darmstadt(达姆施塔特工业大学);Norwegian University of Science and Technology(挪威科技大学)
人脸变形攻击旨在创建可验证为多个身份的人脸图像,这可能导致在边境检查等操作中建立错误的身份链接。在创建变形人脸检测器(MFD)时,对所有可能的攻击类型进行训练对于实现良好的检测性能至关重要。因此,研究创建变形攻击的新方法推动了MAD的推广。创建变形攻击是在图像级别上通过地标插值执行的,或者在潜在空间级别上通过在生成对抗网络中操纵潜在向量执行的。前者导致不同的混合伪影,后者导致类似合成的条带伪影。这项工作提出了新的变形管道,ReGenMorph,通过使用基于GAN的生成来消除LMA混合伪影,以及消除潜在空间中的操作,从而与以前的作品相比,产生了视觉上逼真的变形图像。生成的ReGenMorph外观与最近的变形方法进行比较,并评估人脸识别漏洞和攻击可检测性,无论是已知的还是未知的攻击。
2021-09-24 cs.CV
Context-aware Talking Face Video Generation
Tsinghua University(清华大学)
针对多人互动场景,本文提出以面部关键点为控制信号的两阶段跨模态可控视频生成流程,并通过3D视频扩散模型实现上下文一致的说话人脸生成。
2024-02-28 cs.CV
Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation
University of Wrocław(弗罗茨瓦夫大学);Imperial College London(帝国理工学院);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Tooploox
提出仅需单张身份图像和音频序列的自回归扩散模型,能生成逼真说话人头视频并保留背景,在两个数据集上达到最先进水平。
2023-07-29 cs.CV
Multimodal-driven Talking Face Generation via a Unified Diffusion-based Generator
Zhejiang University(浙江大学);Tencent(腾讯)
提出统一扩散生成器TGDM,利用文本情感控制与纹理几何感知去噪,实现多模态驱动的高保真说话人脸生成及人脸交换。
2023-05-09 cs.CV
Heredity-aware Child Face Image Generation with Latent Space Disentanglement
University of Science and Technology of China(中国科学技术大学)
近年来,生成对抗网络在图像合成中得到了广泛的应用,生成的图像质量得到了很大的提高。然而,控制和解耦面部属性(例如,眼睛、鼻子、嘴巴)仍然有限。在本文中,我们提出了一种新的方法,称为ChildGAN,根据遗传先验的父母的图像生成一个孩子的图像。其主要思想是解开预训练生成模型的潜在空间,并精确控制具有清晰语义的子图像的面部属性。我们使用人脸地标之间的距离作为伪标签,通过计算潜在向量对伪标签的梯度来计算相应人脸属性的最有影响力的语义向量。此外,我们解开的语义向量加权无关的功能和正交化他们与施密特化。最后,在生物遗传规律的指导下,利用解纠缠后的语义向量对双亲的隐向量进行融合。大量的实验表明,我们的方法优于现有的方法与令人鼓舞的结果。
2021-08-25 cs.CV
3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image
Nanyang Technological University, Singapore(南洋理工大学);Singapore Management University, Singapore(新加坡管理学院)
提出一种无 3D 监督方法,利用 StyleGAN 潜空间语义将单张 GAN 人脸转换为表情、姿态可控的 3D 卡通人脸,并在三个数据集上验证有效。
2025-05-14 cs.CV
InsightTok: Improving Text and Face Fidelity in Discrete Tokenization for Autoregressive Image Generation
Tsinghua University(清华大学);Microsoft Research(微软研究院)
InsightTok通过局部内容感知损失提升文本和面部保真度,在不牺牲通用重建质量的情况下优于现有分词器,从而推动离散图像生成的发展。
2026-05-14 cs.CV
IF-MDM: Implicit Face Motion Diffusion Model for High-Fidelity Realtime Talking Head Generation
Yonsei University(延世大学);Adobe Research(奥多比研究院)
本文提出 IF-MDM,利用外观感知的隐式面部潜变量和运动统计实现高保真、可控的音驱说话头像生成,并支持512×512、最高45 fps实时推理。
2024-12-10 cs.CV
DCFace: Synthetic Face Generation with Dual Condition Diffusion Model
Michigan State University(密歇根州立大学)
本文提出基于扩散模型的双条件人脸生成器DCFace,通过逐块风格提取器和依赖时间步的ID损失结合主体外观与风格条件,实现同一主体在不同风格下的精确人脸合成,并在多个基准上显著提升人脸识别准确率。
2023-04-14 cs.CV
Lifting 2D StyleGAN for 3D-Aware Face Generation
Michigan State University(密歇根州立大学)
我们提出了一个名为LiftedGAN的框架,它可以解开并提升一个预先训练好的StyleGAN 2,用于3D感知人脸生成。我们的模型是“3D感知”的,因为它能够(1)将StyleGAN 2的潜在空间分解为纹理,形状,视点,照明和(2)生成用于渲染合成图像的3D组件。与大多数以前的方法不同,我们的方法是完全自监督的,即它既不需要任何手动注释也不需要3DMM模型进行训练。相反,它通过使用可区分的渲染器提取StyleGAN2中的先验知识来学习生成图像及其3D组件。该模型能够输出3D形状和纹理,允许对生成的图像进行明确的姿势和照明控制。定性和定量的结果表明,我们的方法优于现有的方法在3D可控的GANs的内容可控性,同时产生逼真的高质量的图像。
2021-04-18 cs.CV
Face Swap via Diffusion Model
提出基于扩散模型的人脸交换框架,结合IP-Adapter、ControlNet和修复流程,通过DreamBooth-LoRA保证身份一致性,并利用面部引导优化提升对齐质量。
2024-05-29 cs.CV
JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing
JD.Com, Inc.(京东公司);The University of Hong Kong(香港大学)
JoyGen提出两阶段框架,结合3D重建、audio2motion和深度图监督实现音频驱动的精确唇音同步说话人脸编辑,并构建130小时中文数据集验证其优越性能。
2025-01-03 cs.CV
StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via Pre-trained StyleGAN
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
单镜头说话人脸生成的目标是从任意的人像图像合成高质量的说话人脸视频,由视频或音频片段驱动。一个具有挑战性的质量因素是输出视频的分辨率:更高的分辨率传达更多的细节。在这项工作中,我们研究了预训练的StyleGAN的潜在特征空间,并发现了一些优秀的空间变换特性。根据观察结果,我们探索了使用预训练的StyleGAN突破训练数据集分辨率限制的可能性。我们提出了一种基于预训练的StyleGAN的新型统一框架,该框架实现了一组强大的功能,即,高分辨率视频生成,通过驱动视频或音频进行分离控制,以及灵活的面部编辑。我们的框架首次将合成的说话人脸的分辨率提高到1024*1024,即使训练数据集的分辨率较低。我们设计了一个基于视频的运动生成模块和一个基于音频的运动生成模块,它们可以单独或联合插入到框架中来驱动视频生成。预测的运动被用来转换StyleGAN的视觉动画的潜在特征。为了补偿变换失真,我们提出了一个校准网络,以及一个域的损失,以细化功能。此外,我们的框架允许两种类型的面部编辑,即,通过GAN反演进行全局编辑,并基于3D变形模型进行直观编辑。综合实验表明,优越的视频质量,灵活的可控性和可编辑性超过国家的最先进的方法。
2022-03-17 cs.CV
Face Video Generation from a Single Image and Landmarks
Imperial College London(帝国理工学院);University of Oulu(奥卢大学)
在本文中,我们关注的是具有挑战性的问题,产生一个完整的图像序列的可变形的脸只给出一个图像和通用的面部运动编码的一组稀疏的地标。为此,我们建立在图像到图像转换的最新突破基础上,例如pix2pix,CycleGAN和StarGAN,它们学习深度卷积神经网络(DCNN),学习在不同域之间映射对齐的对或图像(即,具有不同的标签),并提出了一种新的架构,其不再由标签驱动,而是由空间地图、面部地标驱动。特别是,我们提出了MotionGAN,它根据目标地标的热图将输入的人脸图像转换为新的人脸图像。我们表明,它是可以创建非常逼真的人脸视频使用一个单一的图像和一组目标地标。此外,我们的方法可以用于根据地标(例如,表达、言语等)。这为面部编辑、表情转移、面部视频创建等提供了比基于离散表情、音频或动作单元的模型更大的灵活性。
2019-04-25 cs.CV
Effect of Instance Normalization on Fine-Grained Control for Sketch-Based Face Image Generation
University of Science and Technology of China(中国科学技术大学)
草图是一种直观而有效的内容创建方法。虽然通过使用生成对抗网络在照片级真实感图像生成方面取得了重大进展,但对合成内容进行细粒度控制仍然具有挑战性。在现有的图像翻译网络中广泛采用的实例归一化层会洗掉输入草图中的细节,并导致对生成的人脸图像的期望形状失去精确控制。在本文中,我们全面调查的影响,实例规范化生成真实感的人脸图像从手绘草图。我们首先介绍了一种可视化的方法来分析特征嵌入草图与一组特定的变化。在视觉分析的基础上,我们修改了基线图像转换模型中的实例规范化层。我们精心设计了一套新的手绘草图,其中包括11类专门设计的变化,并进行了广泛的实验分析。实验结果和用户研究表明,该方法显著提高了合成图像的质量和与用户意图的一致性。
2022-07-17 cs.CV
Narrating For You: Prompt-guided Audio-visual Narrating Face Generation Employing Multi-entangled Latent Space
Machine Intelligence Group, Department of CS&IS, BITS Pilani, Hyderabad Campus, India(机器智能组,计算机科学与信息学系,比斯汉学院海得拉巴校区,印度);Georgia Institute of Technology, USA(佐治亚理工学院,美国)
本文提出了一种基于多纠缠潜在空间的音频视觉叙述面部生成方法,通过合成静态图像、语音档案和目标文本来生成逼真的说话面孔。
2026-02-20 cs.CV
Text-to-Face Generation with StyleGAN2
University of Ruhuna(鲁胡纳大学)
随着生成对抗网络的出现,从文本描述合成图像已经成为一个活跃的研究领域。这里的主要目标是生成与输入描述一致的照片级逼真图像。文本到人脸生成(Text-to-Face generation,T2 F)是文本到图像生成(Text-to-Image generation,T2 I)的一个子领域,由于人脸属性的复杂性和变化性,T2 F更具有挑战性。它主要在公共安全领域有许多应用。尽管有几种模型可用于T2 F,但仍然需要提高图像质量和语义对齐。在这项研究中,我们提出了一个新的框架,生成的面部图像,以及与输入的描述对齐。我们的框架利用了高分辨率的人脸生成器StyleGAN 2,并探索了在T2 F中使用它的可能性。在这里,我们使用BERT嵌入在StyleGAN 2的输入潜在空间中嵌入文本,并使用文本描述监督面部图像的生成。我们在基于属性的描述上训练了我们的框架,以生成分辨率为1024 x1024的图像。生成的图像与地面真实图像的相似度为57%,面部语义距离为0.92,优于最先进的技术。生成的图像的FID分数为118.097,实验结果表明,我们的模型生成有前途的图像。
2022-05-25 cs.CV
Adversarial Identity Injection for Semantic Face Image Synthesis
University of Parma(帕尔马大学);University of Bologna(博洛尼亚大学)
针对语义人脸图像合成中身份保留不足的问题,提出融合身份、风格与语义特征的交叉注意力SIS架构,兼具身份保留与人脸识别对抗攻击能力。
2024-04-16 cs.CV
CP-EB: Talking Face Generation with Controllable Pose and Eye Blinking Embedding
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
提出CP-EB方法,基于GAN从音频和参考视频提取眨眼特征并对比训练,嵌入身份与姿态特征,生成同步嘴唇、自然头部姿态和眨眼的逼真说话人脸。
2023-11-15 cs.CV