Domain Translation with Conditional GANs: from Depth to RGB Face-to-Face
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
由低成本深度传感器获取的人脸是否有助于捕捉人脸的某些特征细节？然而，新的深度架构可以从以不同模态获取的数据（例如深度数据）生成RGB图像。在本文中，我们提出了一种新的\textit{Deterministic Conditional GAN}，在注释的RGB-D人脸数据集上训练，有效地从深度到RGB的面对面转换。虽然该网络无法重建未知个体面部的精确身体特征，但它能够重建看似真实的面部;它们的外观足够准确，可以用于许多模式识别任务。事实上，我们测试了网络的能力，以幻觉与一些\textit{Perceptual Probes}，例如人脸方面的分类或地标检测。尽管对应的RGB图像通常由于困难的亮度条件而不可用，但可以使用深度面。实验结果是非常有前途的，是远远优于以前提出的方法：这种域的翻译可以构成一种新的方式来利用深度数据在新的未来应用。
2019-01-23 cs.CV
Simultaneous Face Hallucination and Translation for Thermal to Visible Face Verification using Axial-GAN
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的热-可见人脸验证方法期望热和可见人脸图像具有相似的分辨率。这在现实世界的远程监控系统中是不可能的，因为人类离摄像头很远。为了解决这个问题，我们介绍了从低分辨率热图像的热可见人脸验证的任务。此外，我们提出了轴向生成对抗网络（Axial-GAN）来合成高分辨率的可见光图像进行匹配。在所提出的方法中，我们增加了GAN框架的轴向注意层，利用Transformers的最新进展，为远程依赖关系建模。我们证明了所提出的方法的有效性，通过评估两个不同的热可见人脸数据集。与相关的最先进的作品相比，我们的结果显示，在图像质量和人脸验证性能显着改善，也更有效。
2021-08-07 cs.CV cs.LG
How Old Are You? Face Age Translation with Identity Preservation Using GANs
Cloudminds（达闼科技）
我们提出了一个新的框架，以产生不同年龄的图像，同时保留身份信息，这是被称为人脸老化。与最近流行的利用生成对抗网络（GANs）应用程序的人脸老化网络不同，我们的方法不是简单地将年轻的人脸转移到旧的人脸上。相反，我们使用边缘图作为中间表示，首先提取年轻面孔的边缘图，采用基于CycleGAN的网络将其转换为旧面孔的边缘图，然后采用另一个基于pix2pixHD的网络将合成的边缘图与身份信息连接起来转换为旧面孔。这样，我们的方法可以生成更真实的传输图像，同时确保人脸身份信息得到很好的保留，并生成的图像的表观年龄是准确的适当。实验结果表明，该方法是可行的人脸年龄翻译。
2019-09-11 cs.CV
HieroGlyphTranslator: Automatic Recognition and Translation of Egyptian Hieroglyphs to English
Helwan University（赫尔万大学）；Nile University（尼罗河大学）
HieroGlyphTranslator通过分割、符号映射和CNN模型实现埃及象形文字到英语的自动翻译，BLEU分数达42.2。
2025-12-03 cs.CV cs.LG
Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
Cross-modal Face- and Voice-style Transfer
Sony Group Corporation（索尼集团公司）
图像到图像转换和语音转换使得能够生成新的面部图像和语音，同时分别保持一些语义，例如图像中的姿势和音频中的语言内容。它们可以在许多应用程序中帮助内容创建过程。然而，由于它们仅限于每种模态内的转换，因此匹配所生成的面部和语音的印象仍然是一个悬而未决的问题。我们提出了一个名为XFaVoT的跨模态风格转换框架，该框架联合学习四个任务：具有音频或图像指导的图像翻译和语音转换任务，这使得能够生成“与给定语音匹配的面部”和“与给定面部匹配的语音”，以及具有单个框架的模态内翻译任务。在多个数据集上的实验结果表明，XFaVoT实现了图像和语音的跨模态风格翻译，在质量，多样性和人脸-语音对应性方面优于基线。
2023-03-01 cs.CV cs.SD eess.AS
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
Adversarial Image Translation: Unrestricted Adversarial Examples in Face Recognition Systems
NEC Corporation（日本电气股份有限公司）
由于深度神经网络（DNN）的最新进展，人脸识别系统在对大量人脸图像进行分类时变得高度准确。然而，最近的研究发现，DNN可能容易受到对抗性示例的影响，这引发了人们对此类系统鲁棒性的担忧。不限于小扰动的对抗性例子可能更严重，因为传统的认证防御可能对它们无效。为了揭示这种对抗性示例的脆弱性，我们提出了一种灵活有效的方法，使用图像翻译技术生成不受限制的对抗性示例。我们的方法使我们能够将源图像转换成任何所需的面部外观与大扰动欺骗目标人脸识别系统。我们的实验结果表明，我们的方法实现了约$90$和$80\%$攻击的成功率下的白盒和黑盒设置，分别和翻译的图像是感知现实，并保持个人的可识别性，而扰动是足够大的，以绕过认证的防御。
2020-01-28 cs.CR cs.CV cs.LG
Asymmetric Modality Translation For Face Presentation Attack Detection
人脸呈现攻击检测（PAD）是防止人脸识别系统被恶意用户欺骗的重要措施，受到学术界和工业界的广泛关注。虽然现有的大多数方法都能在一定程度上达到期望的性能，但是在跨域设置下的人脸呈现攻击检测的泛化问题（例如，设置不可见的攻击和变化的照明）仍然有待解决。在本文中，我们提出了一种新的框架，基于非对称模态翻译的双模态场景中的人脸呈现攻击检测。在此框架下，我们建立了真实面孔的两种模态意象之间的联系。提出了一种新的模态融合方法，即通过非对称模态转换器将一种模态的图像转换为另一种模态的图像，然后与对应的成对图像进行融合。将融合结果作为输入馈送到用于推理的神经网络。译者的训练受不对称的情态翻译损失的监督。此外，基于局部引力模式（PLGF）表示的光照归一化模块用于减少光照变化的影响。我们在三个公共数据集上进行了大量的实验，验证了我们的方法在检测各种类型的攻击方面是有效的，并且在不同的评估协议下达到了最先进的性能。
2021-10-20 cs.CV
StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation
KAIST, Visual Media Lab（韩国科学技术院，视觉媒体实验室）
StyleMM提出通过文本引导的图像翻译风格化人脸图像来微调3DMM生成模型，在保留身份、对齐和表情属性的同时实现可控、可动画化的风格化三维人脸生成，并在多样性和风格化能力上优于现有方法。
2025-08-15 cs.AI cs.CV cs.GR
Multi Scale Identity-Preserving Image-to-Image Translation Network for Low-Resolution Face Recognition
University of Western Ontario（西安大略大学）
最先进的深度神经网络模型已经在受控的高分辨率人脸图像上达到了近乎完美的人脸识别准确率。然而，当用非常低分辨率的人脸图像进行测试时，它们的性能急剧下降。这在监控系统中尤其重要，因为低分辨率的探测图像将与高分辨率的图库图像相匹配。超分辨率技术旨在从低分辨率对应物产生高分辨率面部图像。虽然它们能够重建视觉上吸引人的图像，但与身份相关的信息没有保留。在这里，我们提出了一种身份保护的端到端图像到图像翻译深度神经网络，它能够将非常低分辨率的人脸超分辨率地解析为高分辨率的人脸，同时保留身份相关信息。我们通过训练一个非常深的卷积编码器-解码器网络来实现这一点，该网络在相应的层之间具有对称的收缩路径。该网络在多尺度低分辨率条件下结合重建和身份保留丢失进行训练。对我们提出的模型进行的广泛的定量评估表明，它在自然和人工低分辨率人脸数据集甚至看不见的身份上的性能优于竞争性的超分辨率和低分辨率人脸识别方法。
2022-07-03 cs.CV
Cyclically Disentangled Feature Translation for Face Anti-spoofing
Baidu Inc.（百度公司）
当前用于人脸反欺骗的领域自适应方法利用标记的源域数据和未标记的目标域数据来获得有希望的可推广的决策边界。然而，这通常是困难的，这些方法来实现一个完美的域不变的活性特征解纠缠，这可能会降低最终的分类性能域的差异，在照明，人脸类别，欺骗类型等，在这项工作中，我们解决跨场景的脸反欺骗提出了一种新的领域自适应方法称为循环解纠缠特征翻译网络（CDFTN）。具体来说，CDFTN生成伪标记样本，这些样本具有：1）源域不变的活性特征和2）目标域特定的内容特征，这些特征通过域对抗训练来分解。在源域标签的监督下，基于合成的伪标记图像训练鲁棒分类器。我们进一步扩展CDFTN的多目标领域自适应，利用更多的未标记的目标域的数据。在几个公共数据集上的大量实验表明，我们提出的方法显着优于最先进的。
2022-12-07 cs.CV
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.（谷歌公司）
传统上，视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而，在更现实的设置中，当多个面部潜在地在屏幕上时，需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步，并考虑多人同时在屏幕上的场景（多人A/V ASR）。我们提出了一个完全可区分的A/V ASR模型，该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道，我们引入了一个注意层的ASR编码器，能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明，与说话面部的Oracle选择相比，所提出的方法可以自动选择适当的面部轨迹，并且具有较小的WER降级，同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation
Imperial College London（伦敦帝国学院）；Michigan State University（密歇根州立大学）
标准的配准算法需要在仔细的预处理和手动调整后，独立应用于每个表面进行配准。最近，出现了基于学习的方法，将新扫描的配准减少到使用先前训练的模型进行推理。在本文中，我们将配准任务转换为一个表面到表面的翻译问题，并设计了一个模型，以可靠地捕获潜在的几何信息直接从原始的3D人脸扫描。我们介绍了形状我的脸（SMF），一个强大的编码器-解码器架构的基础上改进的点云编码器，一种新颖的视觉注意力机制，图形卷积解码器与跳过连接，和一个专门的嘴模型，我们顺利地与网格卷积集成。与先前用于面部扫描的非刚性配准的最先进的学习算法相比，SMF仅需要将原始数据与预定义的面部模板刚性对准（具有缩放）。此外，我们的模型提供了具有最小监督的拓扑合理的网格，提供了更快的训练时间，具有数量级更少的可训练参数，对噪声更具鲁棒性，并且可以推广到以前看不见的数据集。我们根据各种数据广泛评估注册的质量。我们证明了我们的模型的鲁棒性和通用性，在野外的人脸扫描在不同的方式，传感器类型和分辨率。最后，我们表明，通过学习注册扫描，SMF产生一个混合的线性和非线性变形模型。对SMF潜在空间的操纵允许形状生成和变形应用，例如野生表达转移。我们训练SMF的人脸数据集，包括9个大型数据库的商品硬件。
2021-03-10 cs.CV cs.GR cs.LG
Few-shot Face Image Translation via GAN Prior Distillation
Xidian University（西安电子科技大学）；University of Science and Technology of China（中国科学技术大学）
人脸图像翻译近年来取得了显著的进展。然而，当在有限的数据上训练时，现有方法的性能显著下降。尽管一些研究试图解决这个问题，但它们要么未能达到Few-Shot设置（少于10），要么只能获得次优结果。在本文中，我们提出了GAN先验蒸馏（GPD），以实现有效的Few-Shot人脸图像翻译。GPD包含两个模型：一个是基于GAN Prior的教师网络，另一个是实现端到端翻译的学生网络。具体来说，我们将在源域中大规模数据上训练的教师网络适应目标域，只有很少的样本，它可以学习目标域的知识。然后，我们可以实现Few-Shot增强，同时产生源域和目标域图像具有相同的潜在代码。我们提出了一个基于锚点的知识蒸馏模块，该模块可以充分利用训练数据和增强数据之间的差异，将教师网络中的知识蒸馏到学生网络中。训练后的学生网络在吸收额外知识的同时，具有良好的泛化性能。定性和定量的实验表明，我们的方法实现了优越的结果比国家的最先进的方法在一个Few-Shot设置。
2023-01-28 cs.CV
Does Melania Trump have a body double from the perspective of automatic face recognition?
EURECOM；Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV））
在本文中，我们将探讨自动人脸识别是否有助于验证社交媒体上广泛存在的错误信息，特别是基于身体替身存在的阴谋论。本文所讨论的阴谋论是梅拉尼娅·特朗普的替身案。我们采用了四种不同的最先进的面部识别描述符来验证所研究的阴谋论的完整性。此外，我们还评估了不同图像质量指标对人脸识别结果变化的影响。考虑了两组图像质量指标：采集相关指标和受试者相关指标。
2021-09-06 cs.CV cs.LG
Automatic Face Image Quality Prediction
Michigan State University（密歇根州立大学）
人脸图像质量可以定义为人脸图像在自动人脸识别中的实用性的度量。在这项工作中，我们提出（并比较）两种方法的自动人脸图像质量的基础上，目标人脸质量值（i）人脸图像质量的人类评估（匹配器无关），和（ii）质量值计算相似性分数（匹配器依赖）。使用在使用深度卷积神经网络（ConvNet）提取的面部特征上训练的支持向量回归模型来预测面部图像的质量。两个无约束的人脸图像数据库，LFW和IJB-A，这两个包含多个质量因子的面部变化，所提出的方法进行了评估。对所提出的自动面部图像质量测量的评估表明，通过使用所提出的面部质量来选择面部图像和视频帧的子集以用于匹配模板（即，每个受试者多个面孔）。据我们所知，这是第一个工作，利用人类的面部图像质量的评估，在设计一个预测的无约束的面部质量，被证明是有效的跨数据库的评估。
2017-06-29 cs.CV
Can we still avoid automatic face detection?
Department of Computer Science, Cornell University（康奈尔大学计算机科学系）；Cornell Tech（康奈尔科技学院）
经过几十年的研究，自动人脸检测和识别系统现在是准确和广泛的。当然，这意味着希望避免自动识别的用户越来越无法做到这一点。我们在这场猫鼠赛跑中处于什么位置？我们现在生活在一个人人口袋里都有相机的社会。许多人故意将他们拍摄的大部分或全部照片上传到社交网络，这些网络在自动人脸识别系统上投入了大量资金。在这种情况下，有隐私意识的用户是否仍然可以避免自动人脸检测和识别？如果是，如何做到？规避技术是否必须明显有效，或者是否仍有简单的措施可供用户用来保护自己？在这项工作中，我们找到了在Facebook上逃避人脸检测的方法，Facebook是一个流行的社交网络的代表性例子，它使用自动人脸检测来增强其服务。我们挑战了关于逃避面部检测的广泛信念：我们的旧技术，如模糊面部区域或戴上“隐私眼镜”仍然有效吗？我们表明，在一般情况下，国家的最先进的检测器往往可以找到面孔，即使对象穿着遮挡衣服，甚至如果上传者损坏的照片，以防止面部被检测到。
2020-03-27 cs.CV
MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（新一代人工智能技术及其交叉应用重点实验室（东南大学））；Monash University（莫纳什大学）
针对热红外到可见光面部翻译的挑战，提出MTVDiff框架，通过双分支交叉注意力融合等三个核心技术，整合深度和文本信息，在多指标上优于现有方法，提升图像质量和面部验证性能，推动跨光谱面部图像翻译发展。
2026-07-23 cs.CV
T2V-DDPM: Thermal to Visible Face Translation using Denoising Diffusion Probabilistic Models
Johns Hopkins University（约翰斯·霍普金斯大学）
现代监控系统使用基于深度学习的人脸验证网络来执行人员识别。大多数最先进的面部验证系统都是使用可见光谱图像进行训练的。但是，在可见光谱中获取图像在低光和夜间条件的场景中是不切实际的，并且通常在诸如热红外域的替代域中捕获图像。热图像中的人脸验证通常在检索相应的可见光域图像之后执行。这是一个公认的问题，通常称为热到可见光（T2V）图像转换。在本文中，我们提出了一个去噪扩散概率模型（DDPM）为基础的解决方案T2V翻译专门为面部图像。在训练过程中，模型通过扩散过程学习可见面部图像的条件分布，并给出相应的热图像。在推理过程中，从高斯噪声出发，反复进行去噪处理，得到可见域图像。现有的DDPM推理过程是随机的，耗时的。因此，我们提出了一种新的推理策略，加快DDPM的推理时间，特别是T2V图像翻译的问题。我们在多个数据集上实现了最先进的结果。代码和预训练模型可在http://github.com/Nithin-GK/T2V-DDPM上免费获得
2022-09-19 cs.CV
UGAN: Untraceable GAN for Multi-Domain Face Translation
Chinese Academy of Sciences（中国科学院）；Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；West Virginia University（西弗吉尼亚大学）
多域图像到图像的翻译是一项具有挑战性的任务，其目标是将图像翻译到多个不同的域。对于平移图像，仅目标特征是期望的，而仅源特征应被擦除。然而，最近的方法往往遭受保留的源域的特性，这是不兼容的目标域。为了解决这个问题，我们提出了一种方法称为不可追踪的GAN，它有一个新的源分类器来区分图像是从哪个域翻译的，并确定翻译后的图像是否仍然保留源域的特征。此外，我们以目标域的原型为指导，使译者能够有效地合成目标域特有的特征。翻译器被学习来合成仅目标的特征，并且使源域对于目标不可追踪，从而仅源的特征被擦除。最后，在三个人脸编辑任务上的广泛实验，包括人脸老化，化妆和表情编辑，表明所提出的UGAN可以产生优于最先进的模型的结果。源代码将被释放。
2019-09-12 cs.CV
3DFaceGAN: Adversarial Nets for 3D Face Representation, Generation, and Translation
Imperial College London（帝国理工学院）；The Cyprus Institute（塞浦路斯研究所）
在过去的几年里，生成对抗网络（GANs）引起了计算机视觉研究人员越来越多的兴趣，其应用包括但不限于图像生成，翻译，插补和超分辨率。然而，在文献中还没有提出基于GAN的方法可以成功地表示，生成或转换3D面部形状（网格）。这可以主要归因于两个事实，即（a）公开可用的3D人脸数据库是稀缺的，并且在样本大小和可变性方面是有限的（例如，受试者少，种族和性别差异小），以及（b）深度网络的网格卷积提出了一些文献中没有完全解决的挑战，导致算子近似和模型不稳定，通常无法保留分布的高频分量。因此，诸如主成分分析（PCA）之类的线性方法主要用于3D形状分析，尽管无法捕获3D面部的非线性和高频细节（诸如眼睑和嘴唇变化）。在这项工作中，我们提出了3DFace GAN，第一个GAN专门针对3D面部表面的分布建模，同时保留了3D面部形状的高频细节。我们进行了一系列广泛的定性和定量实验，其中3DFaceGAN的优点在3D形状表示，生成和翻译等任务中与其他最先进的方法相比得到了清楚的证明。
2019-05-09 cs.CV
Image-to-Image Translation with Disentangled Latent Vectors for Face Editing
Virginia Tech（弗吉尼亚理工大学）；MPI（马克斯·普朗克学会）；ETH（苏黎世联邦理工学院）；TUM（慕尼黑工业大学）；Bilkent University（比尔肯特大学）
提出一种基于解耦隐向量的图像到图像转换框架，通过隐空间分解和正交约束学习解耦属性方向，结合注意力跳跃连接的编码器-解码器架构，显著提升了人脸属性编辑的精确性与保真度。
2025-03-28 cs.CV
High-Quality Face Caricature via Style Translation
提出一种基于GAN模型和非配对数据的高质量人脸漫画生成与投影方法，通过两步过程实现面部特征夸张与外观风格化，并有效保留身份属性和处理遮挡，展现出更高的真实感与鲁棒性。
2023-11-22 cs.CV
Automatic local Gabor Features extraction for face recognition
National Engineering School of Sfax（斯法克斯国立工程学院）
本文提出了一种彩色图像中人脸检测与识别的生物特征系统。人脸检测技术是基于肤色信息和模糊分类。提出了一种新的人脸特征（眼、嘴、鼻）的自动检测和几何点提取算法。这些基准点被描述为用于识别的小波分量的集合。为了实现人脸识别，我们使用了神经网络，并研究了它在不同输入下的性能。我们比较了两种类型的特征用于识别：几何距离和Gabor系数，可以单独使用或联合使用。这种比较表明，Gabor系数比几何距离更强大。我们的实验结果表明，如何识别率的重要性，使我们的系统自动人脸检测和识别的有效工具。
2009-07-28 cs.CV
Face Prediction Model for an Automatic Age-invariant Face Recognition System
London e-Science Centre（伦敦电子科学中心）；Imperial College London（帝国理工学院）
自动人脸识别和识别软件正在成为我们日常生活的一部分;它不仅在Facebook的自动照片标记，Apple的iPhoto，Google的Picasa，Microsoft的Kinect中找到了自己的住所，而且在国土安全部的专用生物识别人脸检测系统中也找到了自己的住所。这些自动人脸识别系统中的大多数都在衰老的影响下失败了。人脸预测是计算机人脸识别系统的一个重要组成部分，但关于人脸预测的文献很少。近年来，基于人脸各个部位（如眼睛、鼻子、嘴巴）特征的匹配算法相继出现，但这些方法的效率仍然不高。因此，在这项工作中，我们描述了一个人脸预测模型（FPM），预测人脸老化或生长相关的图像变化，使用主成分分析（PCA）和人工神经网络（ANN）学习技术。FPM捕捉面部变化，这发生在人类衰老和预测的面部图像与几年的差距与可接受的准确度从76%到86%的面部匹配。
2015-04-16 cs.CV cs.NE
SliderGAN: Synthesizing Expressive Face Images by Sliding 3D Blendshape Parameters
Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（芬兰奥卢大学机器视觉与信号分析中心，芬兰奥卢）
图像到图像（i2i）转换是学习如何使用对齐的图像对将输入图像转换为输出的密集回归问题。随着深度卷积神经网络（DCNN）的出现，特别是使用生成对抗网络（GANs）的学习范式，i2i翻译取得了显着进展。在没有成对图像的情况下，利用一个或多个域变换（即，CycleGAN、StarGAN等）。在本文中，我们研究了一个新的问题，图像到图像的翻译，在一组连续的参数，对应于一个模型描述的物理过程。特别是，我们提出了SliderGAN，它根据面部运动的统计blendshape模型的连续值将输入的面部图像转换为新的图像。我们表明，它是可以编辑的面部图像，根据表达和语音blendshape，使用滑块控制的blendshape模型的连续值。与基于离散表情或动作单元的模型相比，这在各种任务中提供了更大的灵活性，包括但不限于面部编辑、表情转移和面部中性化。
2019-08-26 cs.CV
3D Magic Mirror: Automatic Video to 3D Caricature Translation
University of Science and Technology of China（中国科学技术大学）
漫画是对真实人物的一种抽象，它歪曲或夸大了人物的某些特征，但仍然保持了相似性。针对现有的基于二维漫画的三维漫画重建算法或将二维照片转换为二维漫画的问题，提出了一种基于二维照片或视频的漫画风格纹理映射的三维漫画实时自动生成算法。为了解决这一具有挑战性的不适定重建问题和跨域转换问题，我们首先重建每帧的3D人脸形状，然后通过一种新的身份和表达保持VAE-CycleGAN将3D人脸形状从正常风格转换为漫画风格。基于标记公式，漫画纹理映射是从一组由CariGANs生成的多视图漫画图像构造的。我们的方法的有效性和效率证明了基线实现的比较。感知研究表明，该方法生成的三维漫画符合人们对三维漫画风格的期望。
2019-06-03 cs.CV cs.GR
Exploring Unlabeled Faces for Novel Attribute Discovery
Korea University（高丽大学）；Kakao Corp.（Kakao公司）
尽管在不成对的图像到图像的翻译中取得了显著的成功，但现有的系统仍然需要大量的标记图像。这是它们在现实世界中应用的瓶颈;在实践中，在标记CelebA数据集上训练的模型对于来自不同分布的测试图像效果不佳-极大地限制了它们对大量未标记图像的应用。在本文中，我们试图减轻这种必要性标记的数据在面部图像翻译域。我们的目标是探索您可以从未标记的面部中发现新属性并执行高质量翻译的程度。为此，我们使用视觉世界的先验知识作为指导，发现新的属性，并通过一种新的归一化方法将它们转移。实验表明，我们在未标记数据上训练的方法可以产生高质量的翻译，保留身份，并且在感知上与在标记数据上训练的最先进的方法一样好，甚至更好。
2019-12-06 cs.CV
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异，例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现，越来越多的方法被提出用于草图到图像的合成。然而，这些模型仍然受到限制，例如训练所需的大量配对数据，所生成图像的低分辨率或所生成图像的不真实外观。在本文中，我们提出了一种方法，用于将输入的面部素描转换为彩色照片，而不需要任何配对的数据集。为此，我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片，并采用优化程序来保持对输入草图的高保真度。我们训练一个网络，将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外，我们还研究了不同的优化标准，并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655，rank-1人脸识别率为97.59%，且具有较高的图像质量。
2021-10-23 cs.CV
CariGANs: Unpaired Photo-to-Caricature Translation
Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft AI Perception and Mixed Reality（微软人工智能感知与混合现实部门）
面部漫画是一种以夸张的方式描绘面部以传达幽默或讽刺的艺术形式。在本文中，我们提出了第一个生成对抗网络（GAN），用于不成对的照片到漫画的翻译，我们称之为“CariGAN”。它使用两个组件显式地对几何夸张和外观样式化进行建模：CariGeoGAN，它只对从脸部照片到漫画的几何到几何的转换进行建模，CariStyGAN，它将样式外观从漫画转移到脸部照片而没有任何几何变形。通过这种方式，一个困难的跨域翻译问题被解耦为两个更容易的任务。感知研究表明，与最先进的方法相比，我们的CariGAN生成的漫画更接近手绘漫画，同时更好地坚持了身份。此外，我们的CariGAN允许用户通过调整参数或给出示例漫画来控制形状夸张程度并更改颜色/纹理风格。
2018-11-02 cs.AI cs.CV cs.GR
Fast and Robust Face-to-Parameter Translation for Game Character Auto-Creation
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
随着角色扮演游戏（RPG）的快速发展，玩家现在可以根据自己的喜好编辑游戏角色的面部外观，而不是使用默认模板。本文提出了一种游戏角色自动生成框架，根据玩家输入的人脸照片生成游戏中的角色。与以往基于神经风格转换或单目3D人脸重建的方法不同，我们从不同的角度重新制定了字符自动创建过程：通过预测大量的物理意义的面部参数下的自监督学习范例。我们引入了一个面部参数翻译器，而不是像以前的方法那样在渲染器的输入端迭代地更新面部参数，这是耗时的，因此可以通过从面部嵌入到参数的单个前向传播有效地完成创建，具有相当大的1000倍计算加速。尽管它的效率很高，但在我们的方法中保留了交互性，允许用户根据他们的需要选择性地微调我们创建的面部参数。我们的方法也表现出更好的鲁棒性比以前的方法，特别是对于那些照片与头部姿势方差。在七个公开人脸验证数据集上的对比和消融分析表明了该方法的有效性。
2020-08-17 cs.CV
ASFD: Automatic and Scalable Face Detector
Tencent Youtu Lab（腾讯优图实验室）；Southeast University（东南大学）
与当前基于多尺度的检测器一起，特征聚合和增强（FAE）模块已经显示出用于尖端目标检测的优异性能增益。然而，这些手工制作的FAE模块在人脸检测方面表现出不一致的改进，这主要是由于其训练和应用语料库之间的显著分布差异，COCO与WIDER Face。为了解决这个问题，我们从根本上分析了数据分布的影响，并因此提出了搜索一个有效的FAE架构，称为AutoFAE的微分架构搜索，它优于所有现有的FAE模块在人脸检测有相当大的利润。在找到的AutoFAE和现有的骨干上，进一步构建和训练超网，该超网自动获得不同复杂度约束下的检测器族。广泛的实验进行流行的基准，WIDER脸和FDDB，展示了国家的最先进的性能效率的权衡所提出的自动和可扩展的人脸检测器（ASFD）的家庭。特别是，我们强大的ASFD-D 6在WIDER Face测试中优于AP 96.7/96.2/92.1的最佳竞争对手，而轻量级的ASFD-D 0在V100 GPU上的VGA分辨率图像成本约为3.1 ms，超过320 FPS。
2022-01-26 cs.CV
Automatic Face Recognition from Video
Trinity College（三一学院）
这项工作的目的是自动识别人脸的视频序列中的一个现实的，无约束的设置，其中照明条件是极端的，大大改变，视点和用户的运动模式有很大的变化，视频输入是低质量的。在焦点的中心是人脸外观流形：这篇论文提出了一个显着的进步，他们的理解和应用领域的人脸识别。两个主要贡献是通用形状照明流形识别算法和各向异性流形空间聚类。通用形状照明流形上获得的真实世界条件下的大型数据语料库进行评估，其性能大大超过了国家的最先进的方法在文献中，最好的商业软件。经验评估的各向异性流形空间聚类的一个流行的情景喜剧也描述了良好的初步结果。
2015-04-21 cs.CV
Multi-Attribute guided Thermal Face Image Translation based on Latent Diffusion Model
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生院）
提出一种基于潜在扩散模型的多属性引导方法，从热红外图像生成高质量可见光人脸图像，同时保留关键身份特征，解决异质人脸识别中的域偏移和特征丢失问题。
2025-12-24 cs.CV
Automatic Face Aging in Videos via Deep Reinforcement Learning
Concordia University（康考迪亚大学）；University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于深度强化学习的视频序列人脸图像自动合成方法。所提出的方法模型的面部结构和纵向面部老化过程中给定的主题连贯地跨视频帧。该方法使用长期奖励、强化学习功能和深度卷积神经网络的深度特征提取进行优化。与以前的只能从单个输入图像中合成人脸的年龄相似性的年龄进展方法不同，所提出的方法能够在视频中对人脸相似性进行年龄进展，并在各帧中始终合成人脸特征。此外，深度强化学习方法保证了在年龄增长之后输入面部的视觉身份的保留。我们新收集的老化人脸AGFW-v2数据库的视频上的结果证明了所提出的解决方案在年龄进展的人脸质量，时间平滑度和跨年龄人脸验证方面的优势。
2019-04-24 cs.CV
Enhanced Local Binary Patterns for Automatic Face Recognition
University of West Bohemia（西波希米亚大学）
提出了一种基于局部二值模式的人脸自动识别方法。该描述符考虑像素的局部邻域来计算特征向量值。该方法对于处理图像噪声、方差和不同光照条件不是非常鲁棒。我们解决这些问题，提出了一种新的描述符，考虑更多的像素和不同的邻域计算特征向量值。该方法在两个基准语料库，即UFI和FERET人脸数据集上进行了评估。我们的实验表明，我们的方法优于国家的最先进的方法，是有效的，特别是在现实条件下，上述问题是显而易见的。我们进一步表明，该方法处理好一个训练样本的问题，也是强大的图像分辨率。
2018-06-14 cs.CV
Face-Dubbing++: Lip-Synchronous, Voice Preserving Translation of Videos
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Istanbul Technical University（伊斯坦布尔理工大学）
在本文中，我们提出了一个神经端到端系统的语音保留，嘴唇同步翻译的视频。该系统被设计为结合多个组件模型，并产生一个视频的原始扬声器说话的目标语言，是唇同步与目标语音，但保持重点的语音，语音特征，面部视频的原始扬声器。流水线从自动语音识别开始，包括强调检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建从原始句子映射的原始重点。然后使用语音转换模型将所得到的合成语音映射回原始说话者的语音。最后，为了使说话者的嘴唇与翻译的音频同步，基于条件生成对抗网络的模型相对于输入面部图像以及语音转换模型的输出生成适应的嘴唇运动的帧。最后，系统将生成的视频与转换后的音频相结合，以产生最终输出。其结果是一个视频的扬声器说另一种语言，而实际上不知道it. To评估我们的设计，我们提出了一个完整的系统，以及单独的评估的单个组件的用户研究。由于没有可用的数据集来评估我们的整个系统，我们收集了一个测试集，并在这个测试集上评估我们的系统。结果表明，我们的系统是能够产生令人信服的视频的原说话人说目标语言，同时保持原说话人的特点。收集的数据集将被共享。
2022-06-09 cs.CL cs.CV cs.SD
Fully Automatic Expression-Invariant Face Correspondence
National University of Colombia（哥伦比亚国立大学）；Saarland University（萨尔大学）；National Research Council of Canada（加拿大国家研究委员会）
我们考虑的问题，计算精确的点到点之间的对应关系，一组不同的表情的人脸扫描。我们的全自动方法不需要在扫描上手动放置任何标记。相反，该方法学习数据库中存在的一组地标的位置，并使用此知识来自动预测这些地标在新可用扫描上的位置。然后，使用预测的地标来计算模板模型和新可用扫描之间的点对点对应关系。为了准确地将模板的表达与扫描的表达相匹配，我们使用blendshape模型作为模板。我们的算法进行了测试，不同种族的人脸数据库具有强烈的不同的表情。实验结果表明，所获得的点到点的对应关系是高度准确的和一致的大多数测试的三维人脸模型。
2013-01-30 cs.CV cs.GR
Unrestricted Facial Geometry Reconstruction Using Image-to-Image Translation
Technion - Israel Institute of Technology（以色列理工学院）
最近已经表明，神经网络可以从单个给定图像恢复人脸的几何结构。现有的人脸几何重建方法的一个共同点是将解空间限制在某个低维子空间。虽然这样的模型大大简化了重建问题，但它的表达能力固有地受到限制。作为替代方案，我们提出了一种图像到图像的翻译网络，它将输入图像联合映射到深度图像和面部对应图。然后，可以利用这种显式的基于像素的映射，使用纯粹的几何细化过程来提供极端表情下的各种面部的高质量重建。在最近的方法的精神，网络只训练合成数据，然后在野生面部图像进行评估。定性和定量分析表明，我们的方法的准确性和鲁棒性。
2017-09-15 cs.CV
ASFD: Automatic and Scalable Face Detector
Tencent（腾讯）；Southeast University（东南大学）；Xiamen University（厦门大学）
在本文中，我们提出了一种新的自动和可扩展的人脸检测器（ASFD），这是基于神经结构搜索技术的组合，以及一个新的损失设计。首先，我们提出了一个自动特征增强模块Auto-FEM，通过改进的差分结构搜索，它允许有效的多尺度特征融合和上下文增强。其次，我们使用基于距离的回归和基于边缘的分类（DRMC）多任务损失来预测准确的边界框并学习高度区分的深度特征。第三，我们采用复合缩放方法，统一缩放骨干，特征模块和头部网络，以开发一系列ASFD，这些ASFD始终比最先进的人脸检测器更有效。在流行的基准测试（例如WIDER FACE和FDDB）上进行的大量实验表明，我们的ASFD-D 6优于之前的强大竞争对手，我们的轻量级ASFD-D 0在Mobilenet上运行超过120 FPS，可用于VGA分辨率图像。
2020-03-31 cs.CV
Deep Spatiotemporal Representation of the Face for Automatic Pain Intensity Estimation
University of Oulu（奥卢大学）
疼痛强度自动评估在疾病诊断中具有很高的应用价值。许多疾病和大脑疾病可以中断正常的面部表情形成的事实的启发，我们的目标是开发一个计算模型的自动疼痛强度评估自发和微观面部变化。为此，我们提出了一个动态面部视频表示的3D深度架构。所提出的模型是通过堆叠几个卷积模块来构建的，其中每个模块包含一个具有固定时间深度的3D卷积内核，几个具有不同时间深度的并行3D卷积内核，以及一个平均池化层。在所提出的架构中部署可变的时间深度，使模型能够有效地捕捉面上的广泛的时空变化。在UNBC-McMaster肩关节疼痛表达档案数据库上进行的大量实验表明，与最先进的自动疼痛强度估计相比，我们提出的模型具有良好的性能。
2018-06-18 cs.CV
Face-to-Parameter Translation for Game Character Auto-Creation
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Beihang University（北京航空航天大学）；Zhejiang University（浙江大学）
角色定制系统是角色扮演游戏（RPG）中的一个重要组成部分，允许玩家根据自己的喜好而不是使用默认模板来编辑游戏中角色的面部外观。提出了一种根据输入的人脸照片自动生成玩家游戏角色的方法。我们制定了面部相似性测量和参数搜索范式下的上述“艺术创作”的过程中，通过解决一个优化问题，在一个大的物理意义的面部参数。为了有效地最小化创建的人脸与真实人脸之间的距离，专门设计了两个损失函数，即“区分损失”和“人脸内容损失”。由于游戏引擎的渲染过程是不可微的，进一步引入生成网络作为“模仿者”来模仿游戏引擎的物理行为，使得所提出的方法可以在神经风格转换框架下实现，并且可以通过梯度下降来优化参数。实验结果表明，我们的方法实现了输入的人脸照片和创建的游戏中的字符在全局外观和局部细节方面的高度生成相似性。我们的方法已经在去年的一个新游戏中部署，现在已经被玩家使用了超过100万次。
2019-09-03 cs.CV
