Facial Attribute Based Text Guided Face Anonymization
Istanbul Technical University(伊斯坦布尔技术大学)
本文提出一种基于深度学习的人脸匿名化流水线,利用RetinaNet、VGG-Face和BrushNet扩散模型,通过文本提示指定面部属性生成不可识别的逼真人脸,以创建符合隐私要求的数据集。
2025-05-27 cs.CV
Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing
Texas A&M University(德克萨斯农工大学);University of British Columbia(不列颠哥伦比亚大学);Qingdao University(青岛大学)
本文提出一种基于组织引导的端到端3D面部重建管线,利用扩散模型与参数化面部模型生成初始面部,并通过组织厚度分布的潜空间优化使其匹配颅骨,同时提供交互式适应工具,实现了高准确性、多样性和稳定性的颅骨到面部重建与编辑。
2024-12-22 cs.CV cs.CY
Conditional Image Generation and Manipulation for User-Specified Content
University of Amsterdam(阿姆斯特丹大学);Dutch National Police(荷兰国家警察)
近年来,生成对抗网络(GANs)在生成越来越令人印象深刻的真实世界图像方面取得了稳步进展。为了诸如内容创建之类的目的,操纵图像生成过程是有用的。这可以通过在附加信息上调节模型来完成。然而,当条件作用于附加信息时,仍然存在大量符合特定条件作用的图像。这使得所生成的图像不太可能完全如用户所设想的那样,这对于诸如生成面部合成或库存照片的实际内容创建场景是有问题的。为了解决这个问题,我们提出了一个单一的管道文本到图像的生成和操作。在管道的第一部分中,我们介绍了textStyleGAN,这是一个以文本为条件的模型。在管道的第二部分,我们使用textStyleGAN的预训练权重来执行语义面部图像操作。该方法的工作原理是在潜在空间中寻找语义方向。我们表明,这种方法可以用来操纵面部图像的广泛的属性。最后,我们介绍了CelebTD-HQ数据集,这是CelebA-HQ的扩展,由人脸和相应的文本描述组成。
2020-05-11 cs.CV
MMHead: Towards Fine-grained Multi-modal 3D Facial Animation
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
为填补多模态3D面部动画数据集的空白,本文构建了大规模数据集MMHead并建立两项新基准,同时提出基于VQ-VAE的MM2Face方法统一多模态信息生成高质量3D面部运动。
2024-10-10 cs.CV
Altering Facial Expression Based on Textual Emotion
Ahsanullah University of Science and Technology(阿赫桑拉工程与技术大学)
人脸及其表情是数字图像的重要主题之一。从图像中检测情感是计算机视觉领域的一项古老任务;然而,执行其逆过程--从图像中合成面部表情--却相当新颖。这种重新生成具有不同面部表情的图像或改变图像中现有表情的操作需要生成对抗网络(GAN)。在本文中,我们的目标是使用GAN来改变图像中的面部表情,其中具有初始表情的输入图像(即,快乐)被改变为不同的表达(即,对同一个人来说,是厌恶的。我们在MUG数据集的修改版本上使用StarGAN技术来实现这一目标。此外,我们进一步扩展了我们的工作,重塑面部表情的图像表示的情感从一个给定的文本。因此,我们应用了一种长短期记忆(LSTM)方法来从文本中提取情感,并将其转发到我们的表情改变模块。作为工作流程的演示,我们还创建了一个博客应用程序原型,该原型可以根据用户的文本情感重新生成具有不同表情的个人资料图片。
2021-12-02 cs.CV cs.HC
Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement
Zhejiang Gongshang University(浙江工商大学);State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Kuaishou Technology(快手科技)
针对现有3D面部纹理生成方法的局限,提出渐进式潜空间优化方法,结合自监督GAN与边缘感知SDS的互增强机制,生成高质量多样化的PBR面部纹理,性能优于现有方法。
2024-04-15 cs.CV
OMGTex: One-stage Multi-style Facial Texture Reconstruction without Geometry Guidance
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能化重点实验室);FNii-Shenzhen(FNii-深圳)
提出OMGTex,一种端到端的扩散框架,无需3D几何先验,直接从多风格面部图像重建高质量、可编辑的UV纹理,通过梯度引导推理和语义感知训练实现鲁棒重建与编辑。
2026-05-25 cs.CV
DeepFace: Face Generation using Deep Learning
我们使用CNN来构建一个系统,该系统既可以根据各种不同的面部属性对面部图像进行分类,又可以根据一组所需的面部特征生成新的面部。在第一节中介绍了这个问题并提供了上下文之后,我们将在第二节中讨论与图像生成相关的最新工作。在第3节中,我们描述了用于微调CNN的方法,并使用受高斯混合模型启发的新方法生成新图像。在第4节中,我们讨论了我们的工作数据集,并描述了我们的预处理步骤和面部属性的处理。最后,在第5、6和7节中,我们解释了我们的实验和结果,并在下一节中得出结论。我们的分类系统具有82%的测试准确率。此外,我们的生成管道成功地创建了形状良好的面。
2017-01-07 cs.CV
DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation
Tencent Youtu Laboratory(腾讯优图实验室);Nanjing University(南京大学);Zhejiang University(浙江大学);VIVO(维沃(vivo));Fudan University(复旦大学)
本文提出DiffFAE,一个单阶段高效扩散框架,通过空间敏感物理定制和区域响应语义组合模块及一致性正则化,解决面部外观编辑中的保真度低、属性保留差和推理效率低问题,实现最先进性能。
2024-03-26 cs.CV
FFHQ-Makeup: Paired Synthetic Makeup Dataset with Facial Consistency Across Multiple Styles
CyberAgent;Keio University(Keio大学)
本文提出FFHQ-Makeup,一个基于FFHQ构建的高质量配对合成化妆数据集,通过解耦身份与化妆的迁移方法,为18K身份各配5种风格,共90K对,填补了该领域数据空白。
2025-08-06 cs.CV
Stitch it in Time: GAN-Based Facial Editing of Real Videos
The Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院)
生成对抗网络在其潜在空间内编码丰富语义的能力已被广泛用于面部图像编辑。然而,事实证明,用视频复制他们的成功具有挑战性。缺乏高质量的面部视频集,并且使用视频引入了一个需要克服的基本障碍-时间一致性。我们认为,这种障碍在很大程度上是人为的。源视频已经是时间相干的,并且与该状态的偏差部分地由于编辑流水线中对各个组件的不小心处理而出现。我们利用StyleGAN的自然对齐和神经网络学习低频函数的趋势,并证明它们提供了强一致的先验。我们借鉴这些见解,并提出了一个框架,在视频中的面部语义编辑,展示了显着的改进,目前的最先进的。我们的方法产生有意义的面部操作,保持更高程度的时间一致性,并可以应用于具有挑战性的,高品质的,说话的头部视频,目前的方法的斗争。
2022-01-21 cs.CV cs.GR cs.LG
Geometry-Aware Video Inpainting for Joint Headset Occlusion Removal and Face Reconstruction in Social XR
Technische Universität Berlin(柏林技术大学);Tampere University(塔尔库大学);HTW Berlin(柏林应用技术大学)
本文提出一种几何感知的视频修复框架,结合GAN修复网络、密集关键点引导与SynergyNet的3DMM回归,从单视点RGB视频中联合移除HMD遮挡并重建逼真的3D人脸几何,实验验证了其有效性与对关键点密度的鲁棒性。
2025-08-17 cs.CV
A Latent Transformer for Disentangled Face Editing in Images and Videos
Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学院,巴黎综合理工学院);InterDigital R&I(InterDigital研究与创新部门)
高质量的面部图像编辑是电影后期制作行业中具有挑战性的问题,需要高度的控制和身份保护。以往试图解决这一问题的作品可能会遭遇面部属性的纠缠和人的身份的丧失。此外,许多算法仅限于特定的任务。为了解决这些限制,我们建议通过StyleGAN生成器的潜在空间编辑面部属性,通过训练专用的潜在转换网络,并在损失函数中加入显式解纠缠和身份保留项。我们还引入了一个管道来将我们的面部编辑推广到视频。我们的模型实现了一个解开的,可控的,和身份保护的面部属性编辑,即使在具有挑战性的情况下,真正的(即,非合成)图像和视频。我们对图像和视频数据集进行了广泛的实验,并表明我们的模型在视觉质量和定量评价方面优于其他最先进的方法。源代码可在https://github.com/InterDigitalInc/latent-transformer上获得。
2021-08-17 cs.CV
3D GAN Inversion with Facial Symmetry Prior
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);Ant Group(蚂蚁集团);HKUST(香港科技大学);University of Cambridge(剑桥大学)
最近,已经提出了一系列高质量的3D感知GANs,它们利用了神经渲染的生成能力。将3D GANs与GAN反演方法相关联是很自然的,以将真实图像投影到生成器的潜在空间中,从而允许自由视图一致的合成和编辑,称为3D GAN反演。虽然在预训练的3D GANs中保留了面部先验,但仅用一个单目图像重建3D肖像仍然是一个病态问题。二维GAN反演方法的直接应用仅关注纹理相似性,而忽略了三维几何形状的正确性。这可能会引起几何体塌陷效果,特别是在极端姿势下重建侧面时。此外,在新的视图合成的结果是容易模糊。在这项工作中,我们提出了一种新的方法来促进三维GAN反演通过引入面部对称先验。我们设计了一个流水线和约束,充分利用通过图像翻转获得的伪辅助视图,这有助于在反演过程中获得一个鲁棒的和合理的几何形状。为了增强未观察到的视点中的纹理保真度,来自深度引导3D变形的伪标签可以提供额外的监督。我们设计的约束条件,旨在过滤出冲突地区的优化在不对称的情况下。对图像重建和编辑的综合定量和定性评价表明了该方法的优越性。
2023-03-14 cs.CV
Audio Driven Real-Time Facial Animation for Social Telepresence
Seoul National University(首尔国立大学);Codec Avatars Lab, Meta(Meta语义编码实验室)
提出一种音频驱动的实时面部动画系统,利用扩散模型与在线transformer及蒸馏管道实现低延迟、高精度的3D虚拟人动画,推理速度较离线基线快100至1000倍。
2025-11-01 cs.CV cs.GR cs.LG
FED-Bench: A Cross-Granular Benchmark for Disentangled Evaluation of Facial Expression Editing
Xi’an Jiaotong University(西安交通大学);Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Zhejiang Lab(之江实验室)
本文提出FED-Bench,通过构建747个三元组基准,引入FED-Score评估协议,评估面部表情编辑的对齐、保真度和相对表达增益,揭示当前方法在高保真与准确表达操控间的困境,并提供20k+真实世界面部训练集。
2026-03-31 cs.CV
SubtleTalk: Generating Controllable Weakly-correlated Facial Dynamics for 3D Talking Heads via Residual Flow Matching
Shanghai Jiao Tong University(上海交通大学);Tencent Games(腾讯游戏)
SubtleTalk通过多条件建模和残差流匹配,结合新构建的大规模数据集SubtleTalk-Face,提升3D Talking Heads弱相关面部动力学的真实感与多样性,同时保留准确唇同步。
2026-08-10 cs.CV cs.GR
Diff-ID: Identity Consistent Facial Image Generation and Morphing via Diffusion Models
University of Surrey(萨里大学);Jiangnan University(江南大学)
研究针对面部图像合成中高分辨率下身份保持难题,提出Diff-ID框架,通过自定义数据集、集成嵌入及新损失函数实现,实验表明其在身份-真实感权衡上表现出色,还展示了基于DDIM的变形管道,强调联合评估身份保持与真实感。
2026-07-29 cs.CV
AuthFace: Towards Authentic Blind Face Restoration with Face-oriented Generative Diffusion Prior
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);Nanyang Technological University(南洋理工大学)
AuthFace通过面向面部的生成扩散先验和摄影引导标注,实现高质量盲脸修复,提升面部细节还原和减少关键区域伪影。
2026-03-06 cs.CV
DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping
UNC Charlotte(北卡罗来纳大学夏洛特分校)
本研究提出DiffSwap++,一种融入3D人脸潜在特征的扩散人脸交换方法,可在保留源身份的同时维持目标姿态表情,在多数据集实验及评估中性能优于现有方法。
2026-08-25 cs.CV
SEED: A Benchmark Dataset for Sequential Facial Attribute Editing with Diffusion Models
Huazhong University of Science and Technology(华中科技大学);University of Nevada Reno(内华达大学拉森分校);University of Macau(澳门大学)
本文提出了大规模序列面部编辑数据集SEED,并开发了结合高频线索的Transformer模型FAITH,以解决扩散模型序列编辑的归因与检测鲁棒性挑战。
2025-05-31 cs.CV cs.MM
Safeguarding Facial Identity against Diffusion-based Face Swapping via Cascading Pathway Disruption
MoE Key Laboratory of Information Technology, Sun Yat-sen University, Guangzhou, China(信息科技教育部重点实验室,中山大学,广州,中国);State Key Laboratory of Mathematical Engineering and Advanced Computing, Zhengzhou, China(数学工程与先进计算国家重点实验室,郑州,中国)
VoidFace通过级联路径破坏技术,有效防御基于扩散模型的面部交换攻击,提升身份安全性。
2026-01-21 cs.CV
VividFace: High-Quality and Efficient One-Step Diffusion For Video Face Enhancement
South China University of Technology(华南理工大学);Max Planck Institute for Informatics(马克斯·普朗克研究所(信息学));University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学);Nanjing University of Science and Technology(南京理工大学);Shanghai Jiao Tong University(上海交通大学)
VividFace通过单步扩散框架和联合训练策略,高效提升视频面部增强的高质量与效率。
2025-11-20 cs.CV
Enhanced 3DMM Attribute Control via Synthetic Dataset Creation Pipeline
Purdue University(普渡大学);NAVER WEBTOON
虽然通过生成对抗网络(GANs)对2D图像的面部属性操作由于其许多实际用途而在计算机视觉和图形学中变得常见,但对3D属性操作的研究相对不发达。现有的3D属性操作方法是有限的,因为相同的语义变化应用于每个3D面。开发更好的3D属性控制方法的关键挑战是缺乏成对的训练数据,其中一个属性被改变而其他属性保持固定-例如,一对3D面孔,其中一个是男性,另一个是女性,但所有其他属性(如种族和表情)都是相同的。为了克服这一挑战,我们设计了一个新的管道,通过利用GANs的力量来生成成对的3D人脸。在此管道之上,我们提出了一个增强的非线性3D条件属性控制器,与现有方法相比,该控制器提高了3D属性控制的精度和多样性。我们通过定量和定性评估证明了我们的数据集创建管道的有效性和我们的条件属性控制器的优越性能。
2020-12-11 cs.CV cs.GR
ID-Animator: Zero-Shot Identity-Preserving Human Video Generation
University of Science and Technology of China(中国科学技术大学);Hefei Institute of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);LightSpeed Studios, Tencent(腾讯天美工作室)
提出零样本方法ID-Animator,通过面部适配器与面向身份的数据集构建流水线及随机参考训练策略,仅需单张参考图像即可生成高保真且保持身份的个性化人体视频,并具备高度兼容性与可扩展性。
2024-06-25 cs.CV
Leveraging Deepfakes to Close the Domain Gap between Real and Synthetic Images in Facial Capture Pipelines
Stanford University(斯坦福大学);Epic Games(Epic游戏公司)
我们提出了一个端到端的管道,用于从个性化的野外(手机,网络摄像头,YouTube剪辑等)构建和跟踪3D面部模型。编码视频数据首先,我们提出了一种方法,自动数据整理和检索的基础上的层次聚类框架的碰撞检测算法在传统的计算机图形管道。随后,我们利用合成转盘并利用deepfake技术来构建用于外观捕获的合成多视图立体视觉管道,该管道对不完美的合成几何形状和图像未对齐具有鲁棒性。生成的模型与动画装备相匹配,然后用于跟踪面部表现。值得注意的是,我们对deepfake技术的新颖使用使我们能够使用可微分渲染器对野外数据进行鲁棒跟踪,尽管合成域与真实域之间存在显著差距。最后,我们概述了我们如何训练运动捕捉回归,利用上述技术,以避免需要真实世界的地面实况数据和/或高端校准的相机捕捉设置。
2022-04-27 cs.CV cs.GR
BioFace3D: A fully automatic pipeline for facial biomarkers extraction of 3D face reconstructions segmented from MRI
La Salle - Universitat Ramon Llull(拉蒙·柳利大学拉萨尔学院);Universitat de Barcelona(巴塞罗那大学);FIDMAG, Sisters Hospitallers Research Foundation(仁爱修女会研究基金会FIDMAG研究所);CIBERSAM(精神健康生物医学研究网络);Hospital de Sant Pau i la Santa Creu(圣保禄圣十字医院)
BioFace3D提出了一种从MRI重建三维面部模型并全自动提取面部生物标志物的流程,通过标志点配准和几何形态测量学实现客观定量分析,以辅助遗传及精神类疾病的诊断。
2024-10-01 cs.CV q-bio.QM
A Self-Supervised Learning Pipeline for Demographically Fair Facial Attribute Classification
Wichita State University(威奇托州立大学);University of North Texas(北得克萨斯大学)
针对人脸属性分类的人口统计偏差及现有监督学习偏差缓解方法的标注局限,提出融合伪标注、数据筛选与元学习加权对比学习的全自监督公平分类流程,在FairFace和CelebA上优于基线,设立该领域SSL新基准。
2024-07-14 cs.AI cs.CV cs.CY
Expression-Diverse References for Identity-Preserving Video Generation
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所)
该研究针对身份保留视频生成中表情变化导致的身份表征不足问题,构建表情多样化参考集并扩展Stand-In模型,在受控基准上显著提升了不同表情强度下的身份相似度。
2026-10-09 cs.CV
XmoPipe: A Pipeline for Large-Scale In-the-Wild Human Motion Dataset Construction
Ecole Centrale de Lyon, CNRS, INSA Lyon, Universite Claude Bernard Lyon 1, LIRIS, UMR5205(里昂中央理工学院, 法国国家科学研究中心, 国立应用科学学院里昂, 克洛德·贝尔纳里昂第一大学, 里昂信息与系统研究实验室, UMR5205);Univ Rennes, Inria, CNRS, IRISA - UMR 6074(雷恩大学, 法国国家信息与自动化研究所, 法国国家科学研究中心, 雷恩计算机科学研究所 - UMR 6074);Universite Claude Bernard Lyon 1, CNRS, INSA Lyon, LIRIS, UMR5205(克洛德·贝尔纳里昂第一大学, 法国国家科学研究中心, 国立应用科学学院里昂, 里昂信息与系统研究实验室, UMR5205)
提出可扩展的流水线,从关键词检索视频、提取3D身体和面部运动并生成文本描述,用于构建野外人体运动数据集,训练的运动模型性能与基于传统动捕数据集训练的模型相当。
2026-06-23 cs.AI cs.CV
Finding Directions in GAN's Latent Space for Neural Face Reenactment
Kingston University(金斯顿大学);Queen Mary University of London(伦敦玛丽女王大学)
本文是脸/头的重演,其目标是将面部姿态(3D头部方向和表情)的目标脸的源面。以前的方法专注于学习嵌入网络的身份和姿态解纠缠,这被证明是一个相当困难的任务,降低了生成图像的质量。我们采取了一种不同的方法,绕过这种网络的训练,通过使用(微调)预先训练的GANs,这些GANs已经被证明能够产生高质量的面部图像。由于GANs的特点是弱可控性,我们的方法的核心是一种方法来发现潜在GAN空间中的哪些方向负责控制面部姿势和表情变化。我们提出了一个简单的管道来学习这样的方向的3D形状模型的帮助下,通过建设,已经捕获解开方向的面部姿势,身份和表情。此外,我们表明,通过将真实图像嵌入到GAN潜空间中,我们的方法可以成功地用于真实世界的人脸的再现。我们的方法具有几个有利的特性,包括使用单一的源图像(一次),并使跨人重演。我们的定性和定量结果表明,我们的方法通常会产生比VoxCeleb 1和2的标准基准的最先进的方法所产生的质量显着更高的重现的面孔。源代码可从以下网址获得:https://github.com/StelaBou/stylegan_directions_face_reenactment
2022-10-06 cs.AI cs.CV
Frankenstein in the Pipeline: Computational Epistemicide in Facial Recognition
Universidade Estadual de Campinas(坎皮纳斯州立大学);Instituto da Hora(时间研究所)
本文借鉴玛丽·雪莱的《弗兰肯斯坦》作为方法论框架,分析基于嵌入的面部识别如何通过检测、地标定位、对齐/正面化和嵌入等步骤,逐步将面部简化为数据,实施“计算性知识灭绝”,并论证废除主义作为规范性立场。
2026-05-30 cs.CV cs.CY
Amora: Black-box Adversarial Morphing Attack
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学);Kyushu University(九州大学);Institute of Computing Innovation, Zhejiang University(浙江大学计算创新研究院)
如今,随着生成对抗网络(GANs)的成功,数字面部内容操作已经变得无处不在和现实,使得面部识别(FR)系统受到前所未有的安全问题。在本文中,我们研究并介绍了一种新型的对抗攻击,通过操纵面部内容来逃避FR系统,称为\textbf{\underline{a}dversarial \underline{mor}phing \underline{a}ttack}(a.k.a. Amora)。与通过添加人类无法感知的噪声来干扰像素强度值的对抗性噪声攻击相比,我们提出的对抗性变形攻击在语义层面上工作,以连贯的方式在空间上干扰像素。为了解决黑盒攻击的问题,我们设计了一个简单而有效的联合字典学习管道,以获得一个专有的光流场的每一个攻击。我们对两个流行的FR系统进行了广泛的评估,证明了我们的对抗变形攻击在各种变形强度水平下的有效性,以及微笑的面部表情操作。开集和闭集实验结果表明,基于局部变形的黑盒对抗攻击是可行的,与加性噪声攻击有很大不同.这项工作的发现可能为更彻底地理解和调查基于图像的对抗攻击和防御铺平了新的研究方向。
2020-08-15 cs.CR cs.CV
Superimposition-guided Facial Reconstruction from Skull
Louisiana State University(路易斯安那州立大学)
我们开发了一种新的算法来执行面部重建从一个给定的头骨。这种技术在法医学上的应用,有助于在其他信息不可用时识别骨骼遗骸。与大多数直接从头骨重建面部的现有策略不同,我们利用人像照片数据库创建许多候选人,然后执行叠加以获得匹配良好的面部,然后根据叠加进行修改。为了支持这个管道,我们建立了一个有效的自动编码器,基于图像的面部重建,和约束的面部修复生成模型。实验结果表明,该流水线具有稳定性和准确性。
2018-09-28 cs.CV cs.GR
AuraMask: An Extensible Pipeline for Developing Aesthetic Anti-Facial Recognition Image Filters
Franklin and Marshall College(弗兰克林与马歇尔学院);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出AuraMask,一种生成有效且美观的反面部识别图像滤镜的方法,通过40个仿Instagram滤镜的实例,验证其在对抗有效性与用户接受度上的优势。
2026-05-13 cs.AI cs.CV cs.HC
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland(马里兰大学);US Naval Academy(美国海军学院)
面部识别系统越来越多地被私营公司、政府机构和承包商部署,用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而,现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器,它占了整个图像处理管道,并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外,我们还发布了一个易于使用的Web工具,可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性,将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG
FIDAC: An Easy-to-use Pipeline to Extract and Interpret Interpersonal Distance From Video
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Florida(佛罗里达大学);Stanford University(斯坦福大学)
研究如何从视频中提取和解释人际距离,开发开源库FIDAC,合并多模型数据,包含精确跟踪方法,后续计划评估其在不同场景下测量人际距离的有效性并集成新特征。
2026-07-29 cs.CV cs.HC
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley(加州大学伯克利分校)
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响,发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
TrustSkin: A Fairness Pipeline for Trustworthy Facial Affect Analysis Across Skin Tone
Departamento de Física, Universidad de Tarapacá(物理系,塔拉帕卡大学);Departamento de Ciencia de la Computación, Facultad de Ingeniería, Pontificia Universidad Católica de Chile(计算机科学系,工程学院,智利天主教大学)
本研究提出TrustSkin流程,比较ITA与H*-L*肤色分类方法,发现深肤色代表性不足及公平性差异,并整合感知肤色估计、可解释性与公平性评估以改进面部情感分析系统的公平性。
2025-05-27 cs.AI cs.CV
High-Quality Real Time Facial Capture Based on Single Camera
FACEGOOD
我们提出了一个基于视频的面部表情捕捉的实时的深度学习框架。我们的过程使用基于FACEGOOD的高端面部捕获管道来捕获面部表情。我们训练一个卷积神经网络,以从视频训练中产生高质量的连续混合形状权重输出。由于这种面部捕捉是完全自动化的,我们的系统可以大大减少开发现代叙事驱动的视频游戏或电影所涉及的劳动量,这些游戏或电影涉及演员的逼真数字替身,以及每个角色可能长达数小时的动画对话。我们展示了引人注目的动画推理在具有挑战性的领域,如眼睛和嘴唇。
2021-11-15 cs.AI cs.CV
SRE-FER: Regional residual evidence learning for mitigating local evidence dilution in fine-grained facial expression recognition
针对细粒度FER中局部证据稀释问题,提出SRE-FER框架,通过RERA模块和AU指导优化,在三个基准测试中取得具竞争力的FER性能。
2026-08-11 cs.CV
CAT: Controllable Attribute Translation for Fair Facial Attribute Classification
USC Ming Hsieh Department of Electrical and Computer Engineering(南加州大学明谢电气工程与计算机工程系);USC Information Sciences Institute(南加州大学信息科学研究所);Visual Intelligence and Multimedia Analytics Laboratory(视觉智能与多媒体分析实验室)
随着视觉识别的社会影响受到审查,出现了几个保护属性平衡数据集,以解决不平衡数据集中的数据集偏差。然而,在人脸属性分类中,数据集的偏见源于保护属性水平和人脸属性水平,这使得它具有挑战性,以构建一个多属性水平平衡的真实数据集。为了弥补这一差距,我们提出了一个有效的管道来生成具有所需面部属性的高质量和足够的面部图像,并补充原始数据集,使其在两个级别上都是平衡的数据集,理论上满足几个公平标准。我们的方法的有效性验证性别分类和面部属性分类产生可比的任务性能作为原始数据集,并进一步提高公平性,在一个全面的公平性评价与广泛的指标。此外,我们的方法在解决数据集偏差和去偏置模型的任务偏差方面都优于恢复和平衡数据集构建。
2022-09-14 cs.CV
A Dataset and Application for Facial Recognition of Individual Gorillas in Zoo Environments
University of Bristol(布里斯托尔大学)
我们提出了一个视频数据集与5k+面部限界框注释在布里斯托尔动物园花园的7个西部低地大猩猩的部队。在这个数据集上进行训练,我们实现并评估了一个标准的深度学习管道,用于在动物园环境中面部识别单个大猩猩的任务。我们表明,一个基本的YOLOv3供电的应用程序是能够执行识别在92%mAP时,只利用单帧。通过检测关联跟踪和跨短tracklet的身份投票产生了97%mAP的改进的鲁棒性能。为了便于利用,以丰富动物园环境的研究能力,我们在data.bris.ac.uk上发布了代码,视频数据集,权重和地面实况注释。
2021-03-26 cs.AI cs.CV
PoreTrack3D: A Benchmark for Dynamic 3D Gaussian Splatting in Pore-Scale Facial Trajectory Tracking
School of Automation, Guangdong University of Technology(广东工业大学自动化学院)
PoreTrack3D是首个用于孔尺度非刚性3D面部轨迹跟踪的动态3D高斯散射基准,通过分析细微皮肤运动推进细粒度面部表情研究。
2025-12-14 cs.CV
VR Facial Animation for Immersive Telepresence Avatars
University of Bonn(波恩大学)
本文提出面向机器人化身操作者的实时VR面部动画流水线,利用嘴部与眼部摄像头关键点及注册图像实现快速个性化适配,并在ANA Avatar XPRIZE半决赛中验证。
2023-04-24 cs.CV cs.RO
Automated Assessment of Aesthetic Outcomes in Facial Plastic Surgery
Michigan State University(密歇根州立大学);Cornell University(康奈尔大学);New York Medical College(纽约医学院)
本文提出一个基于计算机视觉的面部整形手术美学效果自动评估框架,利用关键点检测、对称性分析、年龄估计和鼻部形态分析,并构建了包含1,259名患者的大规模术前术后数据集,为手术规划和效果评估提供可复现的量化基准。
2025-08-18 cs.CV
Facial Geometric Detail Recovery via Implicit Representation
Shanghai Jiao Tong University(上海交通大学);Imperial College London(帝国理工学院);Huawei CBG(华为消费者业务集团)
从单个面部图像中学习具有精细尺度细节的密集3D模型是非常具有挑战性和不适定的。为了解决这个问题,许多方法通过面部先验拟合平滑几何形状,同时学习细节作为额外的位移图或个性化基础。然而,这些技术通常需要大量成对多视图数据或3D扫描的数据集,而这样的数据集是稀缺且昂贵的。为了减轻沉重的数据依赖,我们提出了一个强大的纹理引导的几何细节恢复方法,只使用一个单一的野生面部图像。更具体地说,我们的方法结合了高质量的纹理完成与隐式曲面的强大表现力。最初,我们修补被遮挡的面部部分,生成完整的纹理,并构建同一主题的精确多视图数据集。为了估计详细的几何形状,我们定义了一个隐式的有符号距离函数,并采用基于物理的隐式渲染器从生成的多视图图像中重建精细的几何细节。我们的方法不仅恢复准确的面部细节,而且还分解法线,阴影和阴影部分在一个自我监督的方式。最后,我们将隐式形状细节注册到3D Morphable Model模板,该模板可用于传统的建模和渲染管道。大量的实验表明,所提出的方法可以从单个图像中重建令人印象深刻的面部细节,特别是与在大型数据集上训练的最先进的方法相比。
2022-03-18 cs.CV
Improving Makeup Face Verification by Exploring Part-Based Representations
Institute of Computing, University of Campinas (Unicamp)(坎皮纳斯大学计算研究所(Unicamp));Samsung R&D Institute Brazil(巴西三星研发研究院)
最近,我们看到全球面部识别市场规模的增长。尽管随着卷积神经网络的采用,面部识别技术取得了重大进展,但仍然存在开放的挑战,例如当面部化妆时。为了应对这一挑战,我们提出并评估采用面部部位融合当前的整体表示。我们提出了两种策略的面部部分:一个有四个区域(左眼周,右眼周,鼻子和嘴),另一个有三个面部三分之一(上,中,下)。在四个公开的化妆人脸数据集和具有挑战性的跨数据集协议中获得的实验结果表明,从面部部分提取的深度特征与整体表示的融合提高了人脸验证系统的准确性并降低了出错率,即使没有对CNN模型进行任何重新训练。我们提出的管道在四个数据集(EMFD,FAM,M501和YMU)上取得了有竞争力的结果。
2021-10-16 cs.CV
Using Gaussian Splats to Create High-Fidelity Facial Geometry and Texture
Epic Games, Stanford University(Epic Games、斯坦福大学)
本文提出利用高斯散点重建高质量面部几何与纹理,通过约束三角化表面并解耦纹理与光照,实现高保真视觉效果。
2025-12-18 cs.AI cs.CV cs.GR
3D Facial Matching by Spiral Convolutional Metric Learning and a Biometric Fusion-Net of Demographic Properties
KU Leuven(天主教鲁汶大学);Imperial College London(伦敦帝国学院);USI Lugano(卢加诺大学);Indiana University-Purdue University-Indianapolis(印第安纳大学-普渡大学印第安纳波利斯联合分校);Penn State University(宾夕法尼亚州立大学);Twitter(推特)
人脸识别是一种被广泛接受的生物特征验证工具,因为人脸包含了大量关于人的身份的信息。在这项研究中,提出了一种基于神经的两步管道,用于将3D面部形状与多个DNA相关属性(性别,年龄,BMI和基因组背景)进行匹配。第一步由基于三重损失的度量学习器组成,该学习器将面部形状压缩到较低维度的嵌入中,同时保留关于感兴趣的属性的信息。度量学习领域的大多数研究都只关注2D欧几里得数据。在这项工作中,几何深度学习被用来直接从3D面部网格中学习。为此,螺旋卷积与一种新的网格采样方案一起使用,该方案以不同的分辨率水平保留均匀采样的3D点。第二步是通过完全连接的神经网络进行多生物特征融合。该网络将嵌入和属性标签的集合作为输入,并返回真实和冒名顶替者的分数。由于嵌入被接受为输入,因此不需要针对不同属性训练分类器,并且可以更有效地使用可用数据。生物识别验证的10倍交叉验证所获得的结果表明,结合多种属性会导致更强大的生物识别系统。此外,所提出的基于神经的管道优于线性基线,线性基线由主成分分析,然后用线性支持向量机和基于朴素贝叶斯的分数融合器进行分类组成。
2020-10-16 cs.CV cs.LG eess.IV
Robust Registration and Geometry Estimation from Unstructured Facial Scans
Vision Systems Inc(视觉系统公司)
商用现货(COTS)3D扫描仪能够在近距离以亚毫米精度生成覆盖面部可见部分的点云,但缺乏更昂贵的3D面部扫描仪所提供的覆盖范围和专门的解剖配准。我们展示了一个有效的管道,用于多个非结构化的3D点云的联合对齐和注册到一个参数化的3D模型,代表形状变化的人的头部。大多数算法分离的问题,姿态估计和网格变形,但我们提出了一个新的迭代法,这些步骤交织在一起。误差随着每次迭代而减小,表明所提出的方法在改善几何和对准方面是有效的。所描述的方法用于对齐NDOff-2007数据集,该数据集包含396名受试者在各种姿势下的7,358次单独扫描。该数据集具有多个完整轮廓扫描,这些扫描正确对齐并直接有助于相关的网格几何结构。原始形式的数据集包含大量错误标记的扫描,使用所提出的算法基于对准误差来识别和校正这些扫描。对准的扫描和产生的几何形状之间的平均点到表面的距离是半毫米。
2017-08-17 cs.CV
True to Tone? Quantifying Skin Tone Fidelity and Bias in Photographic-to-Virtual Human Pipelines
PUCRS(南里奥格兰德天主教大学);UNIT(蒂拉登特斯大学);Kunumi Institute(Kunumi研究所);INCT-SANI(国家科学与技术研究所-社会、自然与信息技术)
本文提出一种自动方法评估虚拟人类生成管道中的肤色保真度,通过整合肤色和光照提取、纹理重新着色、实时渲染和定量颜色分析,发现肤色提取策略对深肤色存在更高的色度误差。
2026-04-02 cs.CV
End-to-End Machine Learning Framework for Facial AU Detection in Intensive Care Units
Intelligent Critical Care Center, University of Florida(佛罗里达大学智能重症监护中心);University of Florida(佛罗里达大学)
疼痛是一种常见的发生在病人入住重症监护室。ICU患者的疼痛评估仍然是临床医生和ICU工作人员的挑战,特别是在非言语镇静,机械通气和插管患者的情况下。目前基于人工观察的疼痛评估工具受到疼痛观察频率的限制,并且对观察者来说是主观的。面部行为是基于观察的工具的主要组成部分。此外,以前的文献显示了使用面部动作单元(AU)进行痛苦面部表情检测的可行性。然而,这些方法仅限于受控或半受控环境,并且从未在临床环境中得到验证。在这项研究中,我们提出了我们的疼痛ICU数据集,最大的数据集可用于在动态ICU环境中进行面部行为分析。我们的数据集包括76,388个患者面部图像帧,这些图像帧用从佛罗里达大学健康尚兹医院ICU收治的49名成人患者获得的AU进行了注释。在这项工作中,我们评估了两个视觉Transformer模型,即ViT和SWIN,用于我们的疼痛ICU数据集和外部数据集上的AU检测。我们开发了一个完全端到端的AU检测管道,目的是在ICU中执行实时AU检测。SWIN Transformer Base变体在Pain-ICU数据集的保留测试分区上实现了0.88 F1评分和0.85准确度。
2022-11-12 cs.AI cs.CV
Dynamic Facial Asset and Rig Generation from a Single Scan
University of Southern California(南加利福尼亚大学);USC Institute for Creative Technologies(南加州大学创意技术研究所);Pinscreen(品视科技)
电影和游戏中使用的高保真计算机生成(CG)角色的创建需要密集的体力劳动和一套全面的面部资产,这些资产将通过复杂的硬件捕获,从而导致成本高和生产周期长。为了简化和加速这一数字化过程,我们提出了一个自动生成高质量动态面部资产的框架,包括可以随时部署艺术家进行抛光的钻机。我们的框架将单次扫描作为输入,以生成一组个性化的融合形状,动态和基于物理的纹理,以及次要的面部组件(例如,牙齿和眼球)。建立在由毛孔级细节组成的面部数据库基础上,通过对不同表情和身份的$4,000$扫描,我们采用自监督神经网络从一组模板表情中学习个性化的融合形状。我们还对身份和表情之间的联合分布进行建模,从而能够从单个中性输入扫描中推断出具有动态外观的全套个性化融合形状。我们生成的个性化面部装备资产与面部动画和渲染的尖端行业管道无缝兼容。我们证明了我们的框架是强大的和有效的推断范围广泛的新的主题,并说明引人注目的渲染结果,同时动画生成的定制的基于物理的动态纹理的脸。
2020-10-05 cs.CV cs.GR