SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所 IGD);Technical University of Darmstadt(达姆施塔特工业大学)
人脸图像质量是影响人脸识别系统性能的重要因素。人脸质量评估的目的是估计人脸图像的识别适合性。以前的工作提出了监督的解决方案,需要人工或人类标记的质量值。然而,这两种标记机制都容易出错,因为它们不依赖于对质量的明确定义,并且可能不知道所使用的人脸识别系统的最佳特征。为了避免使用不准确的质量标签,我们提出了一种新的概念来衡量人脸质量的基础上任意的人脸识别模型。通过确定从人脸模型的随机子网络生成的嵌入变化,估计样本表示的鲁棒性,从而估计其质量。实验进行了跨数据库的评估设置在三个公开的数据库。我们将我们提出的解决方案与来自学术界和工业界的六种最先进的方法进行了比较。结果表明,我们的无监督解决方案优于所有其他方法在大多数调查的情况下。与以前的作品相比,所提出的解决方案在所有情况下表现出稳定的性能。利用部署的人脸识别模型进行人脸质量评估方法,完全避免了训练阶段,并大大优于所有基线方法。我们的解决方案可以很容易地集成到当前的人脸识别系统中,并可以修改为人脸识别以外的其他任务。
2020-03-20 cs.CV
Unravelling Robustness of Deep Learning based Face Recognition Against Adversarial Attacks
IIIT-Delhi(德里印度理工学院);IBM IRL(IBM印度研究院实验室);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
基于深度神经网络(DNN)架构的模型具有高表达能力和学习能力。然而,它们本质上是一种黑盒方法,因为在其许多表示层中学习的函数不容易数学公式化。意识到这一点,许多研究人员已经开始设计方法来利用基于深度学习的算法的缺点,质疑它们的鲁棒性并暴露它们的奇异性。在本文中,我们试图解开与用于人脸识别的DNN的鲁棒性相关的三个方面:(i)评估用于人脸识别的深层架构在现实世界中常见的扭曲所激发的攻击漏洞方面的影响,这些扭曲可以通过浅层学习方法以及基于学习的对手很好地处理;(ii)通过表征深度网络的隐藏层中的异常滤波器响应行为来检测奇异点;以及(iii)对处理流水线进行校正以缓解问题。我们使用多个开源的基于DNN的人脸识别网络(包括OpenFace和VGG-Face)以及两个公开的数据库(MEDS和PaSC)进行的实验评估表明,基于深度学习的人脸识别算法的性能在存在这种失真的情况下会受到很大影响。所提出的方法也与现有的检测算法进行了比较,结果表明,它是能够检测到的攻击具有非常高的准确性,通过适当地设计一个分类器,使用网络中的隐藏层的响应。最后,我们提出了几种有效的对策,以减轻对抗攻击的影响,提高基于DNN的人脸识别的整体鲁棒性。
2018-02-22 cs.CV
Robustness of Facial Recognition to GAN-based Face-morphing Attacks
IDEMIA(IDEMIA公司);Ecole Centrale de Lyon(里昂中央理工学院)
多年来,面部变形攻击一直是令人担忧的原因。为了保持领先攻击者一步,研究人员提出了许多创建和检测变形图像的方法。然而,这些检测方法通常被证明是不够的。在这项工作中,我们确定了两种新的基于GAN的方法,攻击者可能已经在他的武器库中。每种方法进行评估,对国家的最先进的面部识别(FR)算法,我们证明,改善FR算法的保真度确实会导致攻击的成功率降低提供变形图像时,考虑设置操作接受阈值。
2020-12-18 cs.CV
RobFR: Benchmarking Adversarial Robustness on Face Recognition
Department of Computer Science & Technology, Tsinghua University(清华大学计算机科学与技术系)
人脸识别(FR)最近取得了实质性进展,并在标准基准上实现了高准确性。然而,它在巨大的FR应用中引起了安全问题,因为深度CNN异常容易受到对抗性示例的影响,并且在FR模型部署在安全关键场景之前仍然缺乏全面的鲁棒性评估。为了更好地理解FR上的对抗性漏洞,我们开发了一个FR上的对抗性鲁棒性评估库\textbf{RobFR},作为评估下游任务鲁棒性的参考。具体而言,RobFR涉及15个流行的自然训练的FR模型,9个具有代表性的防御机制的模型和2个商业FR API服务,使用各种对抗攻击作为重要的替代品来执行鲁棒性评估。评估是在不同的对抗性设置下进行的,包括躲避和模仿、$\ell_2$和$\ell_\infty$以及白盒和黑盒攻击。我们进一步提出了一种地标引导剪切(LGC)攻击方法,通过考虑FR的特殊特性来提高对抗性示例的可移植性。基于大规模评估,商业FR API服务在鲁棒性评估方面未能表现出可接受的性能,并得出了一些重要结论,为理解FR模型的对抗鲁棒性和设计鲁棒FR模型提供了参考模型RobFR是开源的,并维护所有可扩展模块,即,\emph{Datasets}、\emph{FR Models}、\emph{Attacks\&Defenses}和\emph{Evaluations}在\url{https://github.com/ShawnXYang/Face-Robustness-Benchm…
2021-09-29 cs.CV
TetraLoss: Improving the Robustness of Face Recognition against Morphing Attacks
Hochschule Darmstadt(达姆施塔特应用科学大学)
本文提出TetraLoss损失函数,通过在人脸识别嵌入空间中分离变形图像与其来源主体,在保持高验证性能的同时显著提升系统对变形攻击的鲁棒性,并优于现有基线方法。
2024-12-29 cs.CV
Detection of Synthetic Face Images: Accuracy, Robustness, Generalization
Faculty of Electrical Engineering, \ Technical University in Prague, Czech Republic
本文研究了合成人脸图像的检测,构建了FF5数据集,发现简单模型在特定生成器上表现优异且能定位局部篡改,但易受对抗攻击且难以泛化至未见生成器,即便是SOTA方法也面临此问题。
2025-09-16 cs.CV
ARoFace: Alignment Robustness to Improve Low-Quality Face Recognition
West Virginia University(西弗吉尼亚大学)
针对低质量人脸识别中模型对对齐误差敏感的问题,提出将人脸对齐误差作为FR特定质量因素,通过可微空间变换与对抗性数据增强提升模型鲁棒性,在多个基准上显著提升性能。
2024-07-20 cs.CV
DArFace: Deformation Aware Robustness for Low Quality Face Recognition
Advanced AI and Information Technology(先进人工智能与信息技术)
针对低质量人脸识别中现有方法忽略局部非刚性形变的问题,提出无需成对样本的DArFace框架,通过对抗融合全局与局部形变训练及对比损失提升鲁棒性,在多个低质量基准上超越SOTA。
2025-10-28 cs.CV
Investigating Adversarial Robustness against Preprocessing used in Blackbox Face Recognition
本文研究黑盒人脸识别中预处理对对抗攻击迁移的影响,发现人脸检测可显著降低攻击成功率,并提出输入变换的预处理不变方法,将攻击可迁移性最高提升27%。
2025-10-20 cs.CV
Towards Generalizable and Robust Face Manipulation Detection via Bag-of-local-feature
University of Science and Technology of China(中国科学技术大学)
近年来,为了解决人脸操纵技术被恶意滥用的问题,人脸操纵检测技术得到了相当的重视并取得了显著的进展。然而,大多数现有的方法都有很差的推广能力和鲁棒性。本文提出了一种新的人脸操作检测方法,该方法利用局部特征袋提高了人脸操作检测的泛化能力和鲁棒性。具体来说,我们扩展Transformers使用袋的功能的方法来编码补丁间的关系,使其能够学习本地伪造功能,而无需任何明确的监督。大量的实验表明,我们的方法可以在FaceForensics++,Celeb-DF和DeeperForensics-1.0数据集上胜过竞争对手的最先进的方法。
2021-03-14 cs.CV
Boosting Semi-Supervised Face Recognition with Noise Robustness
Australian National University(澳大利亚国立大学);JD AI Research(京东人工智能研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
尽管深度人脸识别从大规模训练数据中受益匪浅,但目前的瓶颈是标签成本。一个可行的解决方案是半监督学习,利用一小部分的标记数据和大量的未标记数据。然而,主要的挑战是通过自动标签累积的标签错误,从而影响了训练。提出了一种有效的半监督人脸识别方法,该方法对自动标注所产生的标签噪声具有鲁棒性。具体来说,我们引入了一个多代理方法,名为GroupNet(GN),赋予我们的解决方案的能力,以识别错误标记的样本,并保留干净的样本。我们表明,GN单独实现了领先的准确性,在传统的监督人脸识别,即使在嘈杂的标签超过50%的训练数据。此外,我们开发了一种半监督人脸识别解决方案,命名为噪声鲁棒学习标记(NRoLL),它是基于GN赋予的鲁棒训练能力。它从少量标记数据开始,然后对大量未标记数据进行高置信度标记,以促进进一步的训练。NRoLL标记的数据越多,数据集中标签的置信度就越高。为了评估我们的方法的竞争力,我们在一个粗略的条件下运行NRoLL,即只有五分之一的标记MSCeleb可用,其余的用作未标记的数据。在广泛的基准测试中,我们的方法与最先进的方法相比毫不逊色。
2021-05-10 cs.CV
FACESEC: A Fine-grained Robustness Evaluation Framework for Face Recognition Systems
Washington University in St. Louis(圣路易斯华盛顿大学);NEC Laboratories America(NEC美国实验室);University of Connecticut(康涅狄格大学)
我们提出了FACESEC,一个框架,用于细粒度的鲁棒性评估的人脸识别系统。FACESEC评估是沿着对抗建模的四个维度进行的:扰动的性质(例如,像素级或面部附件)、攻击者的系统知识(关于训练数据和学习架构)、目标(躲避或模仿)和能力(针对单个输入或跨这些输入的集合定制)。我们使用FACESEC研究五个人脸识别系统在封闭集和开放集的设置,并评估国家的最先进的方法来抵御物理上可实现的攻击。我们发现,准确的神经结构的知识是显着更重要的比知识的训练数据在黑盒攻击。此外,我们观察到,在不同类型的攻击下,开集人脸识别系统比闭集系统更容易受到攻击。然而,针对其他威胁模型变体的攻击的功效似乎高度依赖于扰动的性质和神经网络架构。例如,涉及对抗性面具的攻击通常更有效,即使是对抗性训练的模型,ArcFace架构往往比其他架构更强大。
2021-04-08 cs.CV cs.LG
Toward Sub-1 kB Identity-Preserving Face Compression: A Benchmark of Codecs, a Custom Learned Codec, and Studies of Resolution, Demographic Fairness, Recompression, and Adversarial Robustness
Innovatrics(因诺维特克斯(Innovatrics))
该研究针对亚千字节人脸压缩需求,基准测试了10种编解码器,提出定制学习型编解码器,发现512字节预算下编解码器排名会变化,为身份保留人脸压缩的实际部署提供依据。
2026-08-25 cs.CV
FairDeFace: Evaluating the Fairness and Adversarial Robustness of Face Obfuscation Methods
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Northeastern University(东北大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出FairDeFace框架,通过统一基准、多种攻击与公平性指标,系统评估并比较七种人脸混淆方法的对抗鲁棒性及对不同人口群体的偏见。
2025-03-11 cs.CV cs.LG
Robustness in AI-Generated Detection: Enhancing Resistance to Adversarial Attacks
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文针对AI生成人脸检测系统易受对抗攻击的问题,提出结合对抗训练与扩散反演重建的方法,显著提升了检测鲁棒性,并公开代码以促进后续研究。
2025-05-06 cs.CV
Realism to Deception: Investigating Deepfake Detectors Against Face Enhancement
SMILES Lab, College of Innovation & Technology, University of Michigan-Flint(SMILES实验室,创新与技术学院,密歇根大学弗林特分校)
本研究系统评估人脸增强技术对深度伪造检测器的反取证攻击,发现传统和GAN增强方法可显著降低检测准确率(ASR最高达75.12%),凸显了开发更鲁棒取证方法的必要性。
2025-09-08 cs.CV
Robustness Disparities in Face Detection
University of Maryland(马里兰大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在过去的十年里,面部分析系统已经被大公司部署,并受到学者和活动家的批评。许多现有的算法审计检查这些系统在面部分析系统的后期元素上的性能,如面部识别和年龄,情感或感知性别预测;然而,从公平的角度来看,这些系统的核心组件:面部检测,有时称为面部定位。由于人脸检测是人脸分析系统中的先决条件,因此我们在人脸检测中观察到的偏见将流向下游的其他组件,如面部识别和情感预测。此外,没有先前的工作集中在这些系统在各种扰动和腐败下的鲁棒性上,这就留下了各种人如何受到这些现象影响的问题。我们提出了第一个详细的人脸检测系统的基准,特别是研究商业和学术模型的噪声鲁棒性。我们使用标准和最近发布的学术面部数据集来定量分析面部检测鲁棒性的趋势。在所有的数据集和系统中,我们通常发现,个人照片谁是$\textit{masculine presenting}$,$\textit{older}$,$\textit{darker skin type}$,或有$\textit{dim lighting}$更容易受到错误比他们的同行在其他身份。
2022-11-29 cs.AI cs.CV cs.CY
Robustness Disparities in Commercial Face Detection
University of Maryland(马里兰大学)
在过去的十年里,面部检测和分析系统已经被大公司部署,并受到学者和活动家的批评。关注系统性能的批评分析了系统输出的差异,即,对于不同的Fitzpatrick皮肤类型或感知的性别,检测面部的频率如何。然而,我们专注于这些系统输出的鲁棒性在嘈杂的自然扰动。我们提出了三个这样的系统的鲁棒性的第一个详细基准:Amazon Rekognition,Microsoft Azure和Google Cloud Platform。我们使用标准和最近发布的学术面部数据集来定量分析每个数据集的鲁棒性趋势。在所有的数据集和系统中,我们通常发现年龄较大、男性化、肤色较深或光线较暗的个人的照片比其他身份的照片更容易出错。
2021-08-27 cs.AI cs.CV cs.CY
Improving Identity-Robustness for Face Models
The University of Iowa(爱荷华大学);Netflix(奈飞)
本文提出一种无需身份标注的人脸模型身份鲁棒性提升方法,通过人脸识别嵌入向量作为身份代理,并利用条件逆密度(CID)对稀有样本加权,有效提升了模型训练鲁棒性、整体性能及对数据偏差的鲁棒性。
2023-06-29 cs.AI cs.CV cs.DS
Exploring the Adversarial Robustness of Face Forgery Detection with Decision-based Black-box Attacks
Shanghai Engineering Research Center of AI & Robotics, Academy for Engineering & Technology, Fudan University, Shanghai 200433, China(上海人工智能与机器人工程研究中心,工程与技术学院,复旦大学,上海);Engineering Research Center of Robotics, Ministry of Education, Academy for Engineering & Technology, Fudan University, Shanghai 200433, China(机器人工程研究中心,教育部,工程与技术学院,复旦大学,上海);Youtu Lab, Tencent, Shanghai 200000, China(优衣库实验室,腾讯,上海);vivo Mobile Communication Co., Ltd, Shanghai 200120, China(vivo移动通信有限公司,上海);Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University, Shanghai 200433, China(上海智能信息处理重点实验室,计算机科学学院,复旦大学,上海)
针对人脸伪造检测器易受对抗样本攻击且现有攻击难适用于已部署应用的问题,提出跨任务扰动与频率决策型攻击方法,在多个数据集及工业API上实现高效攻击,暴露了检测器的安全隐患。
2025-11-12 cs.CV cs.CY
Towards robustness under occlusion for face recognition
University of Brasilia(巴西利亚大学);CIC / IE / UnB(巴西利亚大学计算与信息中心/工程研究所);Vicon Motion Systems Ltd(维康运动系统有限公司)
在本文中,我们评估了遮挡对使用ResNet主干的人脸识别管道性能的影响。该分类器在CelebA-HQ数据集的一个子集上进行训练,该数据集包含来自307个类别的5,478个图像,以实现17.91%的前1出错率。我们设计了8种不同的遮挡掩模,并将其应用于输入图像。这导致分类器性能显著下降:每个掩码的出错率至少比以前差两倍。为了提高遮挡下的鲁棒性,我们采用了两种方法。第一个是使用预先训练的多元图像修补网络进行图像修补。第二个是Cutmix,一种正则化策略,包括使用矩形补丁混合训练图像及其标签,使分类器对输入损坏更具鲁棒性。这两种策略都显示出有效和有趣的结果。特别是,Cutmix方法使网络更加健壮,而无需在应用时执行额外的步骤,尽管其训练时间要长得多。我们的数据集包含不同的遮挡掩模以及它们的修复对应物,这些数据集是公开的,以促进该领域的研究。
2021-09-19 cs.AI cs.CV
Towards Fair and Robust Face Parsing for Generative AI: A Multi-Objective Approach
University of Notre Dame(圣母大学)
本文提出一种多目标学习框架,通过基于同伦的损失函数动态平衡准确率、公平性与鲁棒性,提升人脸解析质量,并在Pix2PixHD和ControlNet合成流程中验证其改善生成真实感与人口统计学一致性的效果。
2025-02-06 cs.AI cs.CV
Face Age Verification Vulnerabilities Under Simple Appearance Manipulations
Information Technologies Institute, Centre for Research and Technology Hellas(信息技术研究所,希腊研究与技术中心)
研究简单外观操纵下面部年龄验证的漏洞,评估七个模型在三个数据集及四种操纵类型下的情况,发现胡茬操纵影响大,不同人口统计特征受影响有差异,还探索了用偏差缓解方法减轻偏差。
2026-07-28 cs.CV
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
在海量数据和计算资源重要进展的推动下,新的深度学习系统在大量应用中取得了出色的成果。然而,我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而,为了解决神经网络的脆弱性,对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中,我们对深度学习中的对抗鲁棒性领域进行了深入的回顾,并对其主要概念进行了完整的介绍。但是,与对抗鲁棒性的主流悲观观点相反,我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系,并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外,我们还展示了对抗鲁棒性的广泛适用性,概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习,并为他们提供直观的工具和见解,了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Principles of Designing Robust Remote Face Anti-Spoofing Systems
AWS AI Labs(亚马逊云科技人工智能实验室)
本文揭示了现有人脸反欺骗方法对数字攻击的脆弱性,提出威胁分类法,并从模型、流水线和平台鲁棒性等层面给出设计原则,建议采用主动传感器构建主动式系统以应对未知攻击。
2024-06-06 cs.CR cs.CV
DaliID: Distortion-Adaptive Learned Invariance for Identification Models
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Universidade Estadual de Campinas(坎皮纳斯州立大学)
在不受约束的场景中,人脸识别和人员重新识别会受到诸如运动模糊、大气湍流或上采样伪影等失真的影响。为了提高在这些情况下的鲁棒性,我们提出了一种称为失真自适应学习不变性识别(DaliID)模型的方法。我们认为,失真增强,降低图像质量,可以成功地利用到更大的程度比文献中所示。借助于自适应加权计划,在训练过程中,在严重的水平上应用一种新的失真增强。这种训练策略增加了特征级对失真的不变性,并减少了向无约束场景的域转移。在推理时,我们使用来自并行模型的特征的幅度加权融合来保持图像范围内的鲁棒性。DaliID模型在包括IJB-S、TinyFace、DeepChange和MSMT 17在内的七个基准数据集上实现了最先进的人脸识别和人员重新识别(SOTA)。此外,我们还提供了在750米以上距离处重新捕获的评估数据,并在真实的长距离人脸图像上进行了进一步验证。
2023-02-11 cs.CV
Unexplored Faces of Robustness and Out-of-Distribution: Covariate Shifts in Environment and Sensor Domains
Seoul National University(首尔大学)
本文提出新数据集ImageNet-ES以模拟图像采集过程中的环境与传感器协变量偏移,发现现有OOD检测方法难以应对此类真实偏移,并证明通过学习该变化及控制相机传感器可显著提升模型鲁棒性且不增加模型规模。
2024-04-25 cs.AI cs.CV
Segmentation-Reconstruction-Guided Facial Image De-occlusion
Ecole Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
遮挡现象在人脸图像中非常普遍,导致人脸相关任务的性能下降。尽管人们在去除人脸图像中的遮挡方面做了大量的工作,但是遮挡的形状和纹理的变化仍然对现有方法的鲁棒性提出了挑战。因此,当前的方法要么依赖于手动遮挡掩模,要么仅适用于特定的遮挡。本文提出了一种基于人脸分割和三维人脸重建的人脸去遮挡模型,该模型能够自动去除各种边界模糊的人脸遮挡,的毛该模型由三维人脸重建模块、人脸分割模块和图像生成模块组成。利用人脸先验和遮挡掩模分别预测出的人脸先验和遮挡掩模,图像生成模块可以忠实地恢复丢失的人脸纹理。为了监督训练,我们进一步构建了一个大型的遮挡数据集,包括手动标记和合成遮挡。定性和定量的结果证明了所提出的方法的有效性和鲁棒性。
2021-12-15 cs.AI cs.CV
Spoof Face Detection Via Semi-Supervised Adversarial Training
East China Normal University(华东师范大学);Deakin University(迪肯大学)
人脸欺骗给人脸识别系统带来了严重的安全威胁。以前的反欺骗工作主要集中在监督技术上,通常使用二进制或辅助监督。他们中的大多数遭受有限的鲁棒性和泛化,特别是在跨数据集设置。在本文中,我们提出了一个半监督的对抗性学习框架的欺骗人脸检测,这在很大程度上放松了监督条件。为了在潜在表示空间中捕获实时人脸数据的底层结构,我们建议仅对实时人脸数据进行训练,并使用卷积编码器-解码器网络作为生成器。同时,我们添加了第二个卷积网络作为鉴别器。生成器和人脸识别器通过相互竞争进行训练,同时合作理解普通类(活面孔)中的基本概念。由于欺骗面部检测是基于视频的(即,时间信息),我们直观地将从连续视频帧转换的光流图作为输入。我们的方法是免费的欺骗的脸,因此是强大的和一般的不同类型的欺骗,甚至未知的欺骗。对数据集内和跨数据集测试的大量实验表明,我们的半监督方法与最先进的监督技术相比,取得了更好或相当的结果。
2020-05-22 cs.CV
The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization
UC Berkeley(加州大学伯克利分校);UChicago(芝加哥大学);Google(谷歌)
我们介绍了四个新的真实世界的分布偏移数据集,包括图像风格,图像模糊,地理位置,相机操作等的变化。通过我们的新数据集,我们评估了以前提出的用于提高分布外鲁棒性的方法,并对其进行了测试。我们发现,使用更大的模型和人工数据增强可以提高对现实世界的分布偏移的鲁棒性,与先前工作中的要求相反。我们发现人工鲁棒性基准的改进可以转移到现实世界的分布偏移,与先前工作中的要求相反。由于我们观察到数据增强可以帮助真实世界的分布偏移,我们还引入了一种新的数据增强方法,该方法提高了最新技术水平,并且优于使用1000倍以上标记数据预训练的模型。总的来说,我们发现,一些方法始终有助于纹理和局部图像统计的分布偏移,但这些方法并不有助于其他一些分布偏移,如地理变化。我们的研究结果表明,未来的研究必须同时研究多个分布偏移,因为我们证明,没有评估的方法一致地提高鲁棒性。
2021-07-24 cs.CV cs.LG stat.ML
Realistic Face Reconstruction from Facial Embeddings via Diffusion Models
本文提出FEM框架,利用扩散模型和KAN网络,从面部嵌入中重建逼真人脸,以评估FR和PPFR系统的隐私安全性和攻击鲁棒性。
2026-02-13 cs.CV cs.LG
OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);China Academy of Information and Communications Technology(中国信息通信研究院)
本文提出OODFace基准,从常见损坏和外观变化两方面系统评估人脸识别模型在分布外场景下的鲁棒性,发现现有模型脆弱,并提供统一工具包与改进方向。
2025-03-27 cs.AI cs.CR cs.CV
Towards Generalized Proactive Defense against Face Swapping with Contour-Hybrid Watermark
Xidian University(西安电子科技大学);City University of Macau(澳门城市大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对未知换脸技术,提出基于面部轮廓的混合水印(CMark)主动防御方法,无需训练时接触换脸技术,在8种换脸数据集上超越现有被动与主动检测器。
2025-05-27 cs.CV
Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing
InterDigital R&I(InterDigital研究与创研中心);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所)
在一般光照条件下,从单目图像中进行鲁棒的人脸重建是一个挑战。将深度神经网络编码器与可微分渲染相结合的方法为几何、照明和反射率的非常快速的单目重建开辟了道路。它们也可以以自我监督的方式进行训练,以提高鲁棒性和更好的泛化能力。然而,他们的可微光栅化的图像形成模型,以及底层场景参数化,限制了他们的朗伯面反射率和穷人的形状细节。最近,光线追踪被引入用于在经典的基于优化的框架内进行单眼面部重建,并且能够实现最先进的结果。然而,基于优化的方法本质上是缓慢的,缺乏鲁棒性。在本文中,我们建立在上述方法的工作,并提出了一种新的方法,大大提高了重建质量和鲁棒性,在一般场景。我们通过将CNN编码器与可微光线跟踪器相结合来实现这一点,这使我们能够基于更先进的个性化漫射和镜面反射,更复杂的照明模型和自阴影的合理表示来重建。这使得即使在照明困难的场景中,也可以在形状,外观和照明的重建质量方面取得巨大进步。一致的人脸属性重建,我们的方法导致实际应用,如重光照和自我阴影去除。与现有的方法相比,我们的结果表明该方法具有更高的准确性和有效性。
2021-11-22 cs.CV cs.LG
Fair SA: Sensitivity Analysis for Fairness in Face Recognition
Apple(苹果公司)
随着深度学习在高影响力领域的使用变得无处不在,评估模型的弹性变得越来越重要。其中一个高影响领域是人脸识别,现实世界的应用涉及受到各种退化(例如运动模糊或高曝光)影响的图像。此外,跨不同属性(例如性别和种族)捕获的图像也会挑战人脸识别算法的鲁棒性。虽然传统的汇总统计表明人脸识别模型的总体性能不断提高,但这些指标并不能直接衡量模型的鲁棒性或公平性。视觉心理物理敏感性分析(VPSA)[1]通过在数据中引入增量扰动,提供了一种查明故障原因的方法。然而,扰动可能会影响不同的子群。在本文中,我们提出了一个新的公平性评估的基础上,鲁棒性的形式,扩展VPSA的通用框架。有了这个框架,我们可以分析模型在受扰动影响的人口的不同子群体中公平执行的能力,并通过测量目标鲁棒性来确定子群体的确切故障模式。随着人们对模型公平性的关注越来越多,我们使用人脸识别作为我们框架的一个示例应用,并建议通过AUC矩阵对模型的公平性分析进行复杂的可视化。我们分析了常见的人脸识别模型的性能,并根据经验表明,当图像受到扰动时,某些子组处于不利地位,从而揭示了使用模型在没有扰动的子组上的性能不可见的趋势。
2022-02-09 cs.AI cs.CV cs.LG
High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking
Jinan University(暨南大学);University of Macau(澳门大学);Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学)
本文提出VeriFi框架,结合版权保护、像素级篡改定位和高保真面部内容恢复,通过紧凑语义潜在水印和AIGC攻击模拟器提升水印鲁棒性和恢复质量。
2026-08-28 cs.AI cs.CV
3D Face Recognition: A Survey
Deakin University(迪肯大学)
人脸识别是社会上研究最多的研究课题之一。近年来,人脸识别的研究已经转向使用三维人脸表面,因为更多的区分特征可以由三维几何信息表示。本调查重点回顾了过去十年中开发的3D人脸识别技术,这些技术通常分为传统方法和深度学习方法。分类技术进行评估,使用的代表性作品的详细描述。从准确性、复杂性和对人脸变化(表情、姿态和遮挡等)的鲁棒性等方面总结了这些技术的优缺点。该调查的主要贡献在于它全面涵盖了3D人脸识别的传统方法和深度学习方法。此外,提供了一个可用的3D人脸数据库的审查,随着未来的研究挑战和方向的讨论。
2021-08-25 cs.CV cs.GR
Am I a Real or Fake Celebrity? Measuring Commercial Face Recognition Web APIs under Deepfake Impersonation Attack
Sungkyunkwan University(成均馆大学)
最近,使用深度神经网络的人脸识别技术取得了重大进展。因此,微软、亚马逊和Naver等公司为各种应用提供高度准确的商业人脸识别Web服务,以满足最终用户的需求。然而,自然地,这些技术持续受到威胁,因为几乎任何个人都可以快速实施模仿攻击。特别是,这些攻击可能对身份验证和身份识别服务构成重大威胁,这些服务严重依赖其底层人脸识别技术的准确性和鲁棒性。尽管其严重性,但使用商业Web API的Deepfake滥用及其鲁棒性的问题尚未得到彻底调查。这项工作提供了一个测量研究的黑盒商业人脸识别API对Deepfake冒充(DI)攻击的鲁棒性使用名人识别API作为一个示例案例研究。我们使用了五个Deepfake数据集,其中两个是我们创建的,计划发布。更具体地说,我们基于两种情况(有针对性和非有针对性)来测量攻击性能,并使用保真度,置信度和相似性度量进一步分析不同的系统行为。因此,我们展示了流行公司的人脸识别技术对DI攻击的脆弱性,针对目标(即,精确匹配)和非目标(即,与任何名人匹配)分别攻击。此外,我们提出了实用的防御策略,以减轻DI攻击,降低攻击成功率低至0%和0.02%的目标和非目标的攻击,分别。
2021-03-02 cs.AI cs.CR cs.CV
Face Recognition by Fusion of Local and Global Matching Scores using DS Theory: An Evaluation with Uni-classifier and Multi-classifier Paradigm
University of Sassari(萨萨里大学);Jadavpur University(贾达夫普尔大学);I.I.T Kanpur(印度理工学院坎普尔分校)
面部是高度可变形的对象,可以随时间轻松地改变其外观。并非所有面部区域都具有相同的可变性。因此,从人脸的独立区域解耦信息对于提高任何人脸识别技术的鲁棒性都是至关重要的。本文提出了一种鲁棒的人脸识别技术的基础上提取和匹配的SIFT特征的独立的人脸区域。提出了一种全局和局部(如从零件识别)匹配策略。局部策略是基于将个体显著的面部SIFT特征与面部地标(诸如眼睛和嘴)相匹配。在全局匹配策略中,将所有的SIFT特征组合在一起形成一个特征。为了减少识别误差,应用Dempster-Shafer决策理论对两种匹配技术进行融合。ORL和IITK人脸数据库的评估所提出的算法。实验结果表明,所提出的人脸识别技术的有效性和潜力的情况下,部分遮挡的脸或丢失的信息。
2010-02-02 cs.AI cs.CV
Towards Robust Protective Perturbation against DeepFake Face Swapping
University of Birmingham(伯明翰大学);University of Oxford(牛津大学);Xiamen University(厦门大学);MBZUAI
本文提出EOLT框架,通过学习变换分布提升深度伪造面部交换的鲁棒保护性能,实验显示其在鲁棒性和迁移性方面优于现有方法。
2025-12-08 cs.AI cs.CR cs.CV