Alive Caricature from 2D to 3D
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）；Nanyang Technological University（南洋理工大学）
漫画是一种以抽象、朴素、夸张的手法表现事物的艺术形式。虽然许多漫画是2D图像，本文提出了一种算法，用于创建富有表现力的3D漫画从2D漫画图像与最小的用户交互。我们的方法的核心思想是引入一个内在的变形表示，具有外推的能力，使我们能够从标准的人脸数据集，保持人脸约束，同时是足够大的生产夸张的人脸模型创建一个变形空间。建立在所提出的变形表示，一个优化模型，制定了自动捕捉的风格的二维漫画图像的三维漫画。实验结果表明，该方法比直接使用3DMM和FaceWareHouse等经典参数化人脸模型的拟合方法具有更好的表达漫画的能力。此外，我们的方法是基于标准的人脸数据集，并避免了复杂的三维漫画训练集，这在实际应用中提供了很大的灵活性。
2018-03-27 cs.CV
Weakly-supervised Caricature Face Parsing through Domain Adaptation
Zhejiang University（浙江大学）；University of California at Merced（加州大学默塞德分校）；NEC Laboratories America（NEC美国实验室）
漫画是一种艺术形式的人的图片，其中某些显着的特点是抽象或夸张，以创造一个幽默或讽刺的效果。对于许多漫画相关的应用，如属性识别和漫画编辑，人脸解析是一个必不可少的预处理步骤，提供了一个完整的面部结构的理解。然而，目前国家的最先进的人脸解析方法需要大量的标记数据的像素级和漫画的过程是繁琐和劳动密集型。对于真实照片，有许多标记的数据集用于面部解析。因此，我们制定漫画脸解析作为一个领域自适应问题，真正的照片发挥的作用，源域，适应目标漫画。具体来说，我们首先利用空间Transformer为基础的网络，使形状域的变化。一个前馈式的传输网络，然后利用捕获纹理级域间隙。通过这两个步骤，我们从真实照片中合成人脸漫画，因此我们可以使用解析原始照片的地面真值来学习解析模型。对合成漫画和真实漫画的实验结果表明了该领域自适应算法的有效性。代码可从以下网址获得：https://github.com/ZJULearning/CariFaceParsing。
2019-05-13 cs.CV
Unsupervised Domain Attention Adaptation Network for Caricature Attribute Recognition
Nanjing University（南京大学）
漫画属性提供了独特的面部特征，以帮助心理学和神经科学的研究。然而，与具有大量注释图像的面部照片属性数据集不同，漫画属性的注释很少。为了方便漫画属性学习的研究，我们提出了一个漫画属性数据集，即WebCariA。此外，为了利用由人脸属性训练的模型，我们提出了一种新的无监督领域自适应框架，用于跨模态（即，照片到漫画）属性识别，具有集成的域间和域内一致性学习方案。具体地，域间一致性学习方案包括图像到图像翻译器，其通过生成中间图像样本来首先填充照片和漫画之间的域间隙，以及标签一致性学习模块，其对齐它们的语义信息。域内一致性学习方案将共同特征一致性学习模块与新颖的属性感知注意力一致性学习模块相结合，以实现更有效的对齐。我们做了广泛的消融研究，以显示所提出的方法的有效性。该方法也优于国家的最先进的方法的利润。所提出的方法的实现可在https://github.com/KeleiHe/DAAN上获得。
2020-07-18 cs.CV
3DCaricShop: A Dataset and A Baseline Method for Single-view 3D Caricature Face Reconstruction
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent America（腾讯美国）
漫画是一种故意夸大人脸特征以表达幽默或讽刺的艺术表现。然而，从2D漫画图像重建3D漫画仍然是一项具有挑战性的任务，主要是由于缺乏数据。我们建议通过引入3DCaricShop来填补这一空白，这是第一个大型3D漫画数据集，包含2000个由专业艺术家手工制作的高质量多样化3D漫画。3DCaricShop还提供丰富的注释，包括成对的2D漫画图像，相机参数和3D面部标志。为了证明3DCaricShop的优势，我们提出了一种新的基线方法，单视图三维漫画重建。为了确保一个可信的重建与合理的面部变形，我们建议连接的detailrich隐函数和参数网格表示的好的结束。特别地，我们首先将模板网格注册到隐式生成器的输出，并将注册结果迭代地投影到预先训练的PCA空间上，以解决伪影和自相交。为了解决非刚性配准过程中的大变形问题，提出了一种新的视图协作图卷积网络（VCGCN）来从隐式网格中提取关键点，以实现精确配准。我们的方法是能够产生高保真的三维漫画在一个预定义的网格拓扑结构，是动画准备。在3DCaricShop上进行了大量的实验，验证了数据库的重要性和所提方法的有效性。
2021-03-15 cs.CV
Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model
School of Mathematical Sciences, University of Science and Technology of China（中国科学技术大学数学科学学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
漫画是通过扭曲或夸张某些面部特征，而仍然保持与给定面部相似的艺术抽象。由于漫画中几何和纹理变化的多样性，自动地标检测和三维人脸重建是一个具有挑战性的问题，以前很少有人研究。在本文中，我们提出了第一个自动化的方法，这项任务的一种新的3D方法。为此，我们首先建立一个数据集与各种风格的2D漫画及其相应的3D形状，然后建立一个参数化模型的顶点为基础的变形空间的3D漫画脸。基于所构造的数据集和非线性参数模型，我们提出了一种基于神经网络的方法，从输入的二维漫画图像中回归出三维人脸形状和方向。消融研究和与最先进方法的比较证明了我们的算法设计的有效性。大量的实验结果表明，我们的方法适用于各种漫画。我们构建的数据集，源代码和训练模型可在https://github.com/Juyong/CaricatureFace上获得。
2021-03-08 cs.CV cs.GR
Analysis of face detection, face landmarking, and face recognition performance with masked face images
University of Ljubljana（卢布尔雅那大学）；Faculty of Computer and Information Science（计算机与信息科学学院）
人脸识别已经成为我们生活中必不可少的任务。然而，当前COVID-19疫情导致口罩的广泛使用。戴口罩的影响目前是一个研究不足的问题。本文的目的是分析人脸检测，人脸地标，人脸识别性能与蒙面的人脸图像。HOG和CNN人脸检测器与5点和68点人脸界标预测器相结合用于人脸检测，VGG 16人脸识别模型用于掩蔽和未掩蔽图像上的人脸识别。我们发现，人脸检测，人脸地标和人脸识别的性能受到面具的负面影响
2022-06-03 cs.CV
Comparing Face Detection and Recognition Techniques
Christ University Faculty of Engineering（基督大学工程学院）
本文实现并比较了不同的人脸检测和识别技术。一个是寻找人脸在图像中的位置，即人脸检测，第二个是人脸识别，即识别人。本文研究了三种人脸识别技术：基于自组织映射的人脸检测、基于投影和最近邻的人脸识别以及基于支持向量机的人脸识别。
2016-04-19 cs.CV
State of the Art: Face Recognition
人脸自动识别技术的发展将有助于儿童性剥削材料（CSEM）在法医学中的应用。然而，CSEM中的面部的区别性部分，即，主要是眼睛，可能经常被遮住，难以识别受害者。大多数人脸识别方法不能处理这种遮挡，导致人脸识别结果不准确。本文介绍了一个简短的审查人脸识别方法的图像与自然和眼睛遮挡的脸。其目的是选择最佳的基线方法来解决自动人脸识别的遮挡人脸。
2021-08-26 cs.CV
Multi-Pose Face Recognition Using Hybrid Face Features Descriptor
Mataram University（马塔兰大学）；Kumamoto University（熊本大学）
提出了一种基于混合人脸特征描述子（HFFD）的多姿态人脸识别方法。HFFD是一种包含丰富判别信息的人脸描述符，它是通过融合使用小波和DCT分析提取的几种不同姿态的2D人脸图像的一些基于频率的特征而创建的。该方法的主要目的是使用一个主频率分量来表示多姿态人脸图像，与最近的多姿态人脸识别方法相比，仍然具有合理的成就。基于HFFD的人脸识别往往比最近的基于2D的人脸识别方法实现更好的性能。此外，基于HFFD的人脸识别也足以处理由于人脸姿态变化而引起的大的人脸变化。
2017-03-12 cs.CV
Face Detection and Face Recognition In the Wild Using Off-the-Shelf Freely Available Components
Information Technology University（信息技术大学）
本文提出了一种简单有效的人脸检测和人脸识别方法，使用免费的软件组件从互联网上。人脸检测和人脸识别问题在家庭和办公室安全中有着广泛的应用。因此，这项工作将有助于那些寻找一个自由的脸现成的人脸检测系统。使用该系统，可以在不受控制的环境中检测人脸。在检测阶段，检测到每个人的脸，在识别阶段，检测到的脸与给定数据集中的脸进行比较并识别。
2019-01-19 cs.CV
A survey of face recognition techniques under occlusion
University of Twente（特文特大学）
在遮挡情况下识别人脸的能力有限是一个长期存在的问题，这对人脸识别系统甚至人类都是一个独特的挑战。与其他挑战（如姿势变化，不同表情等）相比，研究较少涉及遮挡问题。然而，遮挡人脸识别对于充分利用人脸识别在现实世界中的应用潜力至关重要。在本文中，我们限制的范围被遮挡的人脸识别。首先，我们探讨什么是遮挡问题，会出现什么内在的困难。作为这篇评论的一部分，我们介绍了遮挡下的人脸检测，人脸识别的初步步骤。其次，我们介绍了现有的人脸识别方法如何处理遮挡问题，并将它们分为三类，即1）遮挡鲁棒的特征提取方法，2）遮挡感知的人脸识别方法，和3）遮挡恢复的人脸识别方法。此外，我们分析了动机，创新，利弊，并比较代表性的方法的性能。最后，对遮挡人脸识别的未来挑战和方法趋势进行了深入的讨论。
2020-06-19 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
Face Image Quality Enhancement Study for Face Recognition
West Virginia University（西弗吉尼亚大学）
针对低质量人脸照片识别研究不足的问题，本文构建大型低质量人脸数据库，提出无偏实验协议，并评估图像增强方法对识别准确率的影响。
2023-07-08 cs.CV
AutoToon: Automatic Geometric Warping for Face Cartoon Generation
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
漫画是一种夸张的艺术肖像，它放大了人脸的独特而微妙的特征。这项任务通常留给艺术家，因为事实证明，使用自动化方法很难很好地捕捉主题的独特特征。最近开发的深度端到端方法在捕捉风格和更高层次的夸张方面取得了可喜的成果。然而，漫画的一个关键部分，面部变形，对这些系统来说仍然是一个挑战。在这项工作中，我们提出了AutoToon，这是第一个有监督的深度学习方法，可以为漫画的变形组件生成高质量的变形。完全脱离风格，它可以与任何风格化方法配对，以创建不同的漫画。与现有技术相比，我们利用SENet和空间Transformer模块，并直接在艺术家扭曲场上进行训练，在扭曲之前和之后施加损耗。正如我们的用户研究所示，我们实现了吸引人的夸张，放大了面部的显著特征，同时保留了面部细节。
2020-04-06 cs.CV
Computerized Face Detection and Recognition
该出版物介绍了人脸检测，分析和识别的方法：快速归一化互相关基于多模板之间的快速相关系数的人脸预检测方法、基于snakes和广义梯度矢量流场的精确人脸轮廓检测方法、基于累积匹配特征的组合识别算法以提高识别速度和准确度的方法、以及基于小波包分解的主成分分析的人脸识别方法，其允许使用具有大量训练图像的基于PCA的识别方法。对于所有的方法的实验结果和速度和精度与大型人脸数据库的比较。
2004-10-20 cs.CV
Young Labeled Faces in the Wild (YLFW): A Dataset for Children Faces Recognition
University of Coimbra（科英布拉大学）
随着深度学习技术的发展，人脸识别在过去十年中取得了突出的表现。目前，人脸识别面临的挑战与特定场景有关，例如，在不同图像质量下的性能，对年龄和边缘情况（儿童和老人）的鲁棒性，以及相关身份的区分。在这组问题中，识别儿童的面孔是最敏感和最重要的问题之一。造成这个问题的原因之一是现有人脸数据集中存在对成年人的偏见。在这项工作中，我们提出了一个基准数据集的儿童的人脸识别，这是类似于著名的人脸识别基准LFW，CALFW，CPLFW，XQLFW和CARDB编译。我们还提出了一个开发数据集（分为训练和测试部分），用于适应儿童面部图像的面部识别模型。拟定的数据在非洲人、亚洲人、高加索人和印度人种中是平衡的。据我们所知，这是第一个用于基准测试的标准化数据工具集，也是儿童面部识别开发的最大集合。几个人脸识别实验来证明所提出的数据工具集的性能。
2023-01-13 cs.CV
Face Recognition Using Map Discriminant on YCbCr Color Space
Mataram University（马塔兰大学）
提出了一种基于YCbCr颜色空间的最大后验概率（MAP）判别人脸识别方法.在识别过程中，为了覆盖人脸图像的肤色信息，采用了YCbCr颜色空间。该方法用于提高基于灰度的人脸识别的识别率和等出错率。在这种情况下，人脸特征向量组成的一小部分的主频率元素，这是通过非分块DCT提取的实现作为降维的原始人脸图像。使用最大后验概率（MAP）判别式进行查询人脸特征和训练人脸特征之间的匹配过程。在4个人脸数据库（2268张196类人脸图像）上的实验结果表明，与基于灰度的人脸识别方法相比，基于YCbCr颜色空间的人脸识别方法具有更好的识别率和更小的EER，使基于灰度的人脸识别方法的第一级结果提高了约4%。然而，它需要三倍以上的计算时间比基于灰度的方法。
2018-07-05 cs.CV
Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）
最先进的深度网络在接受面部识别训练的同时，对性别信息进行了隐式编码。性别通常被视为识别面孔的一个重要属性。然而，面部描述符中性别信息的隐式编码有两个主要问题：（a.）这使得描述符容易受到隐私泄露的影响，即恶意代理可以被训练来从这些描述符中预测人脸性别。（b.）它似乎有助于面部识别中的性别偏见，即我们发现DCNN对男性和女性面部的识别准确性存在显着差异。因此，我们提出了一种新的“对抗性性别去偏置算法（AGENDA）”，以减少从先前训练的人脸识别网络获得的人脸描述符中存在的性别信息。我们发现，议程显着降低了性别的可预测性的面孔描述。因此，我们也能够减少人脸验证中的性别偏见，同时保持合理的识别性能。
2020-09-17 cs.CV
Face Recognition using 3D CNNs
IIIT Allahabad（印度阿拉哈巴德信息技术学院）
人脸识别是计算机视觉和生物识别领域中研究最广泛的领域之一。这是因为，人脸生物识别的非侵入性使其相对更适合应用于机场等公共场所的监控领域。原始方法在人脸识别中的应用效果并不令人满意。但随着机器和深度学习方法的出现及其在人脸识别中的应用，取得了几项重大突破。二维卷积神经网络（2D CNN）在人脸识别中的应用，使人脸识别的准确率达到了99%。尽管如此，在真实世界条件下的鲁棒人脸识别，如分辨率，光照和姿态的变化是人脸识别研究人员的一个主要挑战。在这项工作中，我们使用视频作为3D CNN架构的输入，用于从视频中捕获空间和时域信息，以在现实世界环境中进行人脸识别。出于实验的目的，我们开发了自己的视频数据集，称为CVBL视频数据集。在视频中使用3D CNN进行人脸识别显示出了令人鼓舞的结果，DenseNets在CVBL数据集上的准确率为97%。
2021-02-02 cs.CV
Face Recognition: A Novel Multi-Level Taxonomy based Survey
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico – Universidade de Lisboa（里斯本大学高等理工学院）
在安全问题变得越来越重要的世界中，人脸识别系统在多个应用领域引起了越来越多的关注，从取证和监视到商业和娱乐。为了帮助理解与人脸识别系统相关的景观和抽象级别，人脸识别分类允许对现有解决方案进行更深入的剖析和比较。本文提出了一个新的，更全面和更丰富的多层次的人脸识别分类，促进组织和分类的可用和新兴的人脸识别解决方案，这种分类也可以指导研究人员在开发更有效的人脸识别解决方案。所提出的多层次分类法考虑了与人脸结构、特征支持和特征提取方法相关的层次。根据建议的分类，代表性的人脸识别解决方案的全面调查。本文最后讨论了当前的算法和应用相关的挑战，可能会定义未来的研究方向，人脸识别。
2019-01-03 cs.CV
Masked Face Recognition Dataset and Application
National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心）；Wuhan University（武汉大学）
为了有效防止COVID-19病毒的传播，在冠状病毒疫情期间，几乎每个人都戴口罩。这几乎使得传统的人脸识别技术在很多情况下失效，比如小区门禁、人脸门禁、人脸考勤、训练站的人脸安检等，因此，提高现有人脸识别技术对蒙面人脸的识别性能显得非常迫切。目前大多数先进的人脸识别方法都是基于深度学习设计的，这依赖于大量的人脸样本。然而，目前还没有公开可用的蒙面人脸识别数据集。为此，本文提出了三种类型的面具人脸数据集，包括面具人脸检测数据集（MFDD），真实世界面具人脸识别数据集（RMFRD）和模拟面具人脸识别数据集（SMFRD）。其中，据我们所知，RMFRD是目前世界上最大的真实世界蒙面人脸数据集。这些数据集免费提供给工业界和学术界，基于这些数据集，可以开发各种面具人脸应用。我们开发的多粒度蒙面人脸识别模型达到了95%的准确率，超过了业界报道的结果。我们的数据集可在https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset获得。
2020-03-23 cs.CV
Dual-discriminator GAN: A GAN way of profile face recognition
Tsinghua University（清华大学）
在进行人脸识别时会出现大量的角度问题：目前，特征提取网络在许多情况下呈现的特征向量在同一个人的正面人脸和侧面人脸识别之间存在很大差异。因此，最先进的面部识别网络将对同一目标使用多个样本，以确保在训练过程中忽略角度引起的特征向量差异。然而，存在另一种可用的解决方案，其是在识别之前用侧面人脸图像生成正面人脸图像。本文提出了一种基于生成对抗网络（GAN）的人脸生成方法。
2020-03-20 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
FedFace: Collaborative Learning of Face Recognition Model
Michigan State University（密歇根州立大学）
基于DNN的人脸识别模型需要大量集中聚集的人脸数据集进行训练。然而，由于日益增长的数据隐私问题和法律限制，访问和共享人脸数据集变得非常困难。我们提出FedFace，一个联邦学习（FL）框架，用于以隐私感知的方式协作学习人脸识别模型。FedFace利用多个客户端上可用的面部图像来学习准确且可推广的面部识别模型，其中存储在每个客户端处的面部图像既不与其他客户端也不与中央主机共享，并且每个客户端是仅包含与设备的所有者有关的面部图像的移动终端（每个客户端一个身份）。我们的实验表明，FedFace在增强预训练人脸识别系统在标准人脸验证基准（即LFW，IJB-A和IJB-C）上的验证性能方面是有效的。
2021-06-24 cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出利用适配器将黑盒人脸识别模型的嵌入转换到人脸基础模型嵌入空间，从而重建人脸图像，实验证明该方法在攻击人脸识别模型时优于以往重建攻击方法。
2024-11-06 cs.CV
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人（2009）的论文“Robust Face Recognition via Sparse Representation”，其示出了在某些技术条件下，如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中，我们试图澄清一些经常遇到的问题，这项工作，特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
Face Recognition Machine Vision System Using Eigenfaces
Moscow Institute of Physics & Technology（莫斯科物理技术学院）
人脸识别是机器学习中的一个常见问题。这项技术已经广泛应用于我们的生活中。例如，Facebook可以自动标记图像中的人脸，一些移动设备也使用人脸识别来保护私人安全。人脸图像具有不同的背景、不同的光照、不同的表情和遮挡等特点。人脸识别的方法有很多。不同的方法进行人脸识别实验与特定的数据库，其中包括单一类型，格式和组成的图像。这样做，这些方法不适合不同的人脸数据库。人脸识别的基本技术之一是特征脸，它非常简单，有效，并且在受控的情况下通常会产生良好的结果。因此，本文提出了一个实验性能比较的人脸识别主成分分析（PCA）和归一化主成分分析（NPCA）。ORL（ATT）和印度人脸数据库（IFD），其中包含的表情，姿势和面部细节的变化进行了实验。通过改变训练图像的数量，对两种方法获得的结果进行了比较。MATLAB也用于实现算法。
2017-05-08 cs.CV
A Deep Image Compression Framework for Face Recognition
Xi’an Jiaotong University（西安交通大学）
人脸识别技术发展迅速，在各种应用中得到了广泛的应用。由于大规模人脸识别任务中人脸图像的数据量极其庞大，相应地需要大量的计算资源，因此需要一种高度适用于人脸识别任务的人脸图像压缩方法。在本文中，我们提出了一种用于人脸识别任务的深度卷积自动编码器压缩网络。在压缩过程中，通过卷积神经网络从原始图像中提取深度特征，以产生原始图像的紧凑表示，然后通过现有的编解码器（如PNG）对其进行编码和保存。重建网络利用这种紧凑表示来生成原始图像的重建图像。为了提高人脸识别系统中使用的压缩框架时，人脸识别的准确性，我们结合这个压缩框架与现有的人脸识别网络进行联合优化。我们测试所提出的方案，并发现，经过联合训练，标记的人脸在野生（LFW）数据集压缩我们的压缩框架具有更高的人脸验证精度比压缩的JPEG 2000，是远远高于压缩的JPEG。
2019-07-03 cs.CV
Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology（燕京理工学院）
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景，安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点，使得高分辨率人脸识别算法难以提取有效的特征信息，应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要，开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法（CoFFaR），该方法适用于均匀低分辨率的监控视频，详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Partial matching face recognition method for rehabilitation nursing robots beds
Shanghai University of Engineering Science（上海工程技术大学）
为了在康复护理机器人病床上建立人脸识别系统，实现对病床上病人的实时监控。提出了一种基于部分匹配Hu矩的人脸识别方法，应用于康复护理机器人病床。首先利用Haar分类器在动态视频帧中自动检测人脸。然后利用大津阈值法提取人脸图像中的面部特征（眉毛、眼睛、嘴巴）及其Hu矩。最后利用Hu矩特征集实现了人脸的自动识别。实验结果表明，该方法能够有效地识别动态视频中的人脸，准确率达到91%，平均识别时间为4.3s，具有较高的实用价值。
2015-08-02 cs.CV
HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting
Bahcesehir University（巴耶塞特大学）；American University of Malta（马耳他美国大学）
为了识别被遮挡的人脸，可能的解决方案之一是首先恢复人脸的被遮挡部分，然后应用人脸识别方法。受当前图像修补方法的启发，本文提出了一个端到端的混合式面具人脸识别系统HiMFR，该系统由面具人脸检测器、人脸修复和人脸识别三部分组成。面具人脸检测器模块应用预先训练的视觉Transformer（ViT\_b32）来检测人脸是否被面具覆盖。修复模块使用基于生成对抗网络（GAN）的微调图像修补模型来恢复面部。最后，基于ViT的混合人脸识别模块与EfficientNetB 3骨干识别人脸。我们已经在四个不同的公开数据集上实现和评估了我们提出的方法：CelebA，SSDMNV 2，MAFA，{Pubfig 83}与我们本地收集的小数据集，即Face 5。综合实验结果表明，所提出的HiMFR方法具有竞争力的性能的有效性。代码可在https://github.com/mdhosen/HiMFR上获得
2022-09-19 cs.CV
Analysis of Recent Trends in Face Recognition Systems
本文综述并比较RPRV、LWKPCA、SVM Model、基于LTrP的SPM及CCTV图像深度学习框架等方法，以评估人脸识别系统的准确性与性能趋势。
2023-04-23 cs.CV
DeepID3: Face Recognition with Very Deep Neural Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group（商汤集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
深度学习的出现极大地推动了人脸识别的发展。非常深的神经网络最近在一般物体识别上取得了巨大的成功，因为它们具有超强的学习能力。这促使我们研究它们在人脸识别上的有效性。本文提出了两种用于人脸识别的非常深的神经网络架构，称为DeepID 3。这两个架构是从VGG网和GoogLeNet中提出的堆叠卷积和初始层重建的，使其适用于人脸识别。在训练期间，将联合面部识别-验证监督信号添加到中间和最终特征提取层。所提出的两种架构的集成实现了99.53%的LFW人脸验证准确率和96.0%的LFW等级-1人脸识别准确率，分别。最后对LFW人脸验证结果进行了进一步的讨论。
2015-02-03 cs.CV
SynFace: Face Recognition with Synthetic Data
JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Tencent Data Platform（腾讯数据平台）
随着最近深度神经网络的成功，人脸识别取得了显着进展。然而，收集大规模的真实世界的人脸识别训练数据已被证明是具有挑战性的，特别是由于标签噪声和隐私问题。同时，现有的人脸识别数据集通常是从网络图像中收集的，缺乏对属性的详细注释（例如，姿态和表情），因此不同属性对人脸识别的影响研究得很少。在本文中，我们解决了上述问题，在人脸识别使用合成人脸图像，即，SynFace具体来说，我们首先探讨了最近使用合成和真实人脸图像训练的最先进的人脸识别模型之间的性能差距。然后，我们分析了性能差距背后的根本原因，例如，差的类内变化和合成和真实人脸图像之间的域间隙。受此启发，我们设计了具有身份混淆（IM）和域混淆（DM）的SynFace，以缓解上述性能差距，展示了合成数据在人脸识别中的巨大潜力。此外，通过可控的人脸合成模型，我们可以很容易地管理合成人脸生成的不同因素，包括姿态，表情，光照，身份的数量和每个身份的样本。因此，我们也对合成人脸图像进行了系统的实证分析，为如何有效地利用合成数据进行人脸识别提供了一些见解。
2021-12-03 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后，为控制疫情，公共场所已强制佩戴口罩。然而，由于戴口罩的人脸遮挡提出了一个新兴的挑战，人脸识别系统。在本文中，我们提出了一种解决方案，以提高蒙面人脸识别性能。具体来说，我们提出了嵌入解蔽模型（EUM）操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数，自我约束的三元组（SRT），这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型，两个真实的蒙面数据集，和两个合成生成的蒙面人脸数据集上取得的评价结果证明，我们提出的方法显着提高了性能，在大多数实验设置。
2021-12-13 cs.CV
MegaFace: A Million Faces for Recognition at Scale
University of Washington（华盛顿大学）
最近在LFW基准上进行的人脸识别实验表明，人脸识别的表现非常好，超过了人类的识别率。本文研究了大规模的人脸识别问题。具体来说，我们已经从Flickr收集了一个\textbf{Million}的脸，并评估了最先进的人脸识别算法在这个数据集上。我们发现算法的性能各不相同-虽然所有算法在LFW上都表现出色，但一旦在大规模上进行评估，大多数算法的识别率就会急剧下降。有趣的是，\cite{schroff2015facenet}基于深度学习的方法表现得更好，但在规模上仍然不太稳健。我们考虑验证和识别问题，并评估如何构成影响识别规模。此外，我们在Mechanical Turk上进行了广泛的人类研究，以评估大规模的人类识别，并报告结果。所有的照片都是创作共用的照片，并在\small{\url{http://megaface.cs.washington.edu/}}发布，用于研究和进一步的实验。
2015-09-07 cs.CV
Analyzing the effectiveness of image augmentations for face recognition from limited data
Innopolis University（因诺波利斯大学）
这项工作提出了一个分析的效率图像增强的人脸识别问题，从有限的数据。我们考虑了增强的基本操作、生成方法以及它们的组合。我们的研究结果表明，增强，在一般情况下，可以大大提高人脸识别系统的质量和生成和基本方法的组合表现优于其他测试技术。
2021-05-18 cs.CV
End-To-End Face Detection and Recognition
Zhejiang University（浙江大学）
几十年来，人们提出了许多人脸检测和识别的方法，并取得了令人满意的结果。常见的人脸识别流程包括：1）人脸检测，2）人脸对齐，3）特征提取，4）相似度计算，这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算，难以进行端到端的训练。在本文中，我们提出了一种新的端到端的可训练卷积网络框架，用于人脸检测和识别，其中直接学习几何变换矩阵来对齐人脸，而不是预测人脸标志。在训练阶段，我们的单个CNN模型仅由面部边界框和个人身份进行监督，这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集（FDDB）\cite{Jain2010}数据集和野生标记人脸（LFW）\cite{Huang2007}数据集上进行测试，人脸检测任务的召回率达到89.24%，人脸识别任务的验证准确率达到98.63%，与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
RAF: Recursive Adversarial Attacks on Face Recognition Using Extremely Limited Queries
University Of Houston（休斯顿大学）
最近几次成功的人脸识别对抗攻击表明，尽管人脸识别模型取得了显著的进步，但它们在感知和识别方面仍然远远落后于人类的智能。它揭示了深度卷积神经网络（CNN）作为对抗性示例的人脸识别模型的最先进构建模块的脆弱性，这可能会对安全系统造成某些后果。基于恶意的对抗攻击在以前被广泛研究，并被证明对人脸识别模型是成功的。然而，找到每个面的优化扰动需要向目标模型提交大量的查询。在本文中，我们提出了递归对抗攻击的人脸识别使用自动人脸扭曲，需要非常有限的查询数量来欺骗目标模型。而不是一个随机的脸扭曲过程中，扭曲功能被应用在特定的检测区域的脸，如眉毛，鼻子，嘴唇等，我们评估的鲁棒性，提出的方法在基于决策的黑盒攻击设置，攻击者无法访问的模型参数和梯度，但硬标签的预测和置信度得分提供的目标模型。
2022-07-04 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Harnessing Unrecognizable Faces for Improving Face Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
作为检测阶段和识别或验证阶段的级联的面部识别系统的常见实现可能导致检测器故障以外的问题。当检测器成功时，它可以检测到无法识别的人脸，无论识别系统的能力如何。因此，可识别性，一个潜在的变量，应考虑到人脸识别系统的设计和实施。我们提出了一个衡量人脸图像可识别性的方法，该方法利用了一个关键的经验观察：人脸图像的嵌入，由一个使用大多数可识别身份训练的深度神经网络实现，诱导超球体的分区，从而无法识别的身份聚集在一起。无论导致面部无法识别的现象如何，都会发生这种情况，这些现象可以是光学或运动模糊、部分遮挡、空间量化、照明不良。因此，我们使用距离这样一个“不可识别的身份”作为可识别性的衡量标准，并将其纳入整个系统的设计。我们表明，考虑可识别性将单图像人脸识别的出错率在IJB-C协变量验证基准上的FAR= 1 e-5处降低了58%，并将IJB-C基准上基于集合的识别中的验证出错率在FAR= 1 e-5处降低了24%。
2021-09-14 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文提出 IDiff-Face，利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸，在 LFW 上达到 98.00% 准确率，显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Michigan State University（密歇根州立大学）
由于年龄、性别、种族等人口因素造成的影响，已经在自动面部识别系统中被广泛研究。然而，\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中，我们研究了通过生成对抗网络（GANs）诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验，使用AttGAN和STGAN故意修改13个属性，并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明，一些属性操作，包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%，需要进一步分析。
2022-09-07 cs.CV
DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling
The University of Hong Kong（香港大学）
人脸建模一直是视觉计算领域的研究热点。存在许多场景，包括卡通人物，社交媒体的化身，3D面部漫画以及与面部相关的艺术和设计，其中低成本的交互式面部建模是一种流行的方法，特别是在业余用户中。在本文中，我们提出了一个基于深度学习的素描系统的三维人脸和漫画建模。这个系统有一个劳动效率的草图界面，允许用户绘制徒手不精确但表现力的2D线条表示轮廓的面部特征。设计了一种基于CNN的深度回归网络，用于从二维草图中推断三维人脸模型。我们的网络融合了输入草图的CNN和基于形状的特征，并且具有完全连接的层的两个独立分支，为双线性面部表示生成独立的系数子集。我们的系统还支持基于手势的交互，让用户进一步操作初始人脸模型。用户研究和数值结果表明，我们的草图系统可以帮助用户快速，有效地创建人脸模型。为促进人脸建模技术的进一步研究和评价，构建了一个具有不同身份、表情和夸张程度的人脸数据库。
2017-06-07 cs.CV cs.GR
A Multi-Face Challenging Dataset for Robust Face Recognition
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
图像中的人脸识别是计算机视觉研究者们的一个活跃的研究领域。然而，在不受约束的环境中识别人脸是一个相对较少探索的研究领域。由于人脸图像的视点、尺度、姿态、光照和表情等变化，无约束环境下的多人脸识别是一项具有挑战性的任务。人脸的部分遮挡使得识别任务更具挑战性。本文的贡献是双重的：引入了一个具有挑战性的多面数据集（即，IIITS MFace Dataset）用于无约束环境中的人脸识别，并评估最先进的手工设计和基于深度学习的人脸描述符在数据集上的性能。建议的IIITS MFace数据集包含具有挑战性的人脸，如姿势变化，遮挡，面具，眼镜，表情，照明变化等。我们使用几种最先进的人脸描述符进行实验，包括最近基于深度学习的人脸描述符，如VGGFace，并与现有的基准人脸数据集进行比较。实验结果清楚地表明，与基准数据集相比，所提出的数据集的难度要高得多。
2019-03-28 cs.CV
EQFace: A Simple Explicit Quality Network for Face Recognition
Shenzhen Deepcam Information Technologies（深圳深视信息技术有限公司）；LinkSprite Technologies（LinkSprite 技术公司）
随着深度学习在静态图像人脸识别方面取得了很大的进展，由于姿态、模糊、遮挡、光照等原因造成的低质量人脸图像，无约束视频人脸识别仍然是一项具有挑战性的任务。本文提出了一种用于人脸识别的网络，该网络在提取特征向量的同时给出了明确的量化质量分数。据我们所知，这是第一个在一个网络中在线实现这两个功能的网络。该网络非常简单，只需在人脸识别的基线网络上添加一个质量网络分支。它不需要带有注释的人脸质量标签的训练数据集。我们在静态图像人脸数据集和视频人脸数据集上对该网络进行了评估，并在许多情况下实现了最先进的性能。该网络支持许多使用显式面部质量scpre的应用。我们展示了三个应用程序的显式人脸质量，其中之一是一个渐进的特征聚合计划在在线视频人脸识别。我们设计了一个实验来证明在这个应用程序中使用人脸质量的好处。代码将在\url{https://github.com/deepcam-cn/facequality}上提供。
2021-05-03 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications（北京邮电大学）
随着越来越多的人因当前的COVID-19大流行而开始戴口罩，现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响，本文建立了一个简单有效的工具，可以自动地从非面具人脸生成面具人脸，并在跨年龄LFW（Cross-Age LFW，CALFW）数据库的基础上构建了一个新的面具LFW（Masked LFW，MLFW）数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外，我们收集了各种面具模板，涵盖了日常生活中出现的大多数常见样式，以实现多样化的生成效果。考虑到现实场景，我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
Face Synthesis for Eyeglass-Robust Face Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在人脸识别的应用中，眼镜会显著降低识别的准确率。一种可行的方法是采集大规模的戴眼镜人脸图像，用于训练深度学习方法。然而，很难在具有和不具有相同身份的眼镜的情况下收集图像，使得难以优化由眼镜引起的内部变化。在本文中，我们建议解决这个问题，在虚拟合成的方式。基于3D人脸模型和3D眼镜，合成了带眼镜的高保真人脸图像。然后，基于深度学习方法的模型在合成的人脸数据集上进行训练，获得比以前更好的性能。在真实人脸数据库上的实验验证了我们合成的数据对提高人脸识别性能的有效性。
2021-02-10 cs.CV
RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer
Nanjing University（南京大学）
得益于深度神经网络的发展，人脸识别近年来取得了长足的进步，但最近发现，深度神经网络容易受到对抗性样本的影响。这意味着基于深度神经网络的人脸识别模型或系统也容易受到对抗性样本的影响。然而，现有的攻击人脸识别模型或系统的方法可以有效地完成白盒攻击，而不是黑盒模仿攻击，物理攻击，或方便的攻击，特别是对商业人脸识别系统。在本文中，我们提出了一种新的方法来攻击人脸识别模型或系统，称为RSTAM，它可以使用移动和紧凑的打印机打印的对抗性面具进行有效的黑盒模仿攻击。首先，RSTAM通过我们提出的随机相似性转换策略增强了对抗面具的可转移性。此外，我们提出了一种随机元优化策略，用于集成多个预训练的人脸模型，以生成更通用的对抗面具。最后，我们在CelebA-HQ，LFW，Makeup Transfer（MT）和CASIA-FaceV 5数据集上进行了实验。攻击的性能也在最先进的商业人脸识别系统上进行了评估：Face++，百度，阿里云，腾讯和微软。大量的实验表明，RSTAM可以有效地执行黑盒模仿攻击的人脸识别模型或系统。
2022-06-25 cs.CV
