Face Detection and Face Recognition In the Wild Using Off-the-Shelf Freely Available Components
Information Technology University（信息技术大学）
本文提出了一种简单有效的人脸检测和人脸识别方法，使用免费的软件组件从互联网上。人脸检测和人脸识别问题在家庭和办公室安全中有着广泛的应用。因此，这项工作将有助于那些寻找一个自由的脸现成的人脸检测系统。使用该系统，可以在不受控制的环境中检测人脸。在检测阶段，检测到每个人的脸，在识别阶段，检测到的脸与给定数据集中的脸进行比较并识别。
2019-01-19 cs.CV
A survey of face recognition techniques under occlusion
University of Twente（特文特大学）
在遮挡情况下识别人脸的能力有限是一个长期存在的问题，这对人脸识别系统甚至人类都是一个独特的挑战。与其他挑战（如姿势变化，不同表情等）相比，研究较少涉及遮挡问题。然而，遮挡人脸识别对于充分利用人脸识别在现实世界中的应用潜力至关重要。在本文中，我们限制的范围被遮挡的人脸识别。首先，我们探讨什么是遮挡问题，会出现什么内在的困难。作为这篇评论的一部分，我们介绍了遮挡下的人脸检测，人脸识别的初步步骤。其次，我们介绍了现有的人脸识别方法如何处理遮挡问题，并将它们分为三类，即1）遮挡鲁棒的特征提取方法，2）遮挡感知的人脸识别方法，和3）遮挡恢复的人脸识别方法。此外，我们分析了动机，创新，利弊，并比较代表性的方法的性能。最后，对遮挡人脸识别的未来挑战和方法趋势进行了深入的讨论。
2020-06-19 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
Face Image Quality Enhancement Study for Face Recognition
West Virginia University（西弗吉尼亚大学）
针对低质量人脸照片识别研究不足的问题，本文构建大型低质量人脸数据库，提出无偏实验协议，并评估图像增强方法对识别准确率的影响。
2023-07-08 cs.CV
Computerized Face Detection and Recognition
该出版物介绍了人脸检测，分析和识别的方法：快速归一化互相关基于多模板之间的快速相关系数的人脸预检测方法、基于snakes和广义梯度矢量流场的精确人脸轮廓检测方法、基于累积匹配特征的组合识别算法以提高识别速度和准确度的方法、以及基于小波包分解的主成分分析的人脸识别方法，其允许使用具有大量训练图像的基于PCA的识别方法。对于所有的方法的实验结果和速度和精度与大型人脸数据库的比较。
2004-10-20 cs.CV
Young Labeled Faces in the Wild (YLFW): A Dataset for Children Faces Recognition
University of Coimbra（科英布拉大学）
随着深度学习技术的发展，人脸识别在过去十年中取得了突出的表现。目前，人脸识别面临的挑战与特定场景有关，例如，在不同图像质量下的性能，对年龄和边缘情况（儿童和老人）的鲁棒性，以及相关身份的区分。在这组问题中，识别儿童的面孔是最敏感和最重要的问题之一。造成这个问题的原因之一是现有人脸数据集中存在对成年人的偏见。在这项工作中，我们提出了一个基准数据集的儿童的人脸识别，这是类似于著名的人脸识别基准LFW，CALFW，CPLFW，XQLFW和CARDB编译。我们还提出了一个开发数据集（分为训练和测试部分），用于适应儿童面部图像的面部识别模型。拟定的数据在非洲人、亚洲人、高加索人和印度人种中是平衡的。据我们所知，这是第一个用于基准测试的标准化数据工具集，也是儿童面部识别开发的最大集合。几个人脸识别实验来证明所提出的数据工具集的性能。
2023-01-13 cs.CV
Face Recognition Using Map Discriminant on YCbCr Color Space
Mataram University（马塔兰大学）
提出了一种基于YCbCr颜色空间的最大后验概率（MAP）判别人脸识别方法.在识别过程中，为了覆盖人脸图像的肤色信息，采用了YCbCr颜色空间。该方法用于提高基于灰度的人脸识别的识别率和等出错率。在这种情况下，人脸特征向量组成的一小部分的主频率元素，这是通过非分块DCT提取的实现作为降维的原始人脸图像。使用最大后验概率（MAP）判别式进行查询人脸特征和训练人脸特征之间的匹配过程。在4个人脸数据库（2268张196类人脸图像）上的实验结果表明，与基于灰度的人脸识别方法相比，基于YCbCr颜色空间的人脸识别方法具有更好的识别率和更小的EER，使基于灰度的人脸识别方法的第一级结果提高了约4%。然而，它需要三倍以上的计算时间比基于灰度的方法。
2018-07-05 cs.CV
Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）
最先进的深度网络在接受面部识别训练的同时，对性别信息进行了隐式编码。性别通常被视为识别面孔的一个重要属性。然而，面部描述符中性别信息的隐式编码有两个主要问题：（a.）这使得描述符容易受到隐私泄露的影响，即恶意代理可以被训练来从这些描述符中预测人脸性别。（b.）它似乎有助于面部识别中的性别偏见，即我们发现DCNN对男性和女性面部的识别准确性存在显着差异。因此，我们提出了一种新的“对抗性性别去偏置算法（AGENDA）”，以减少从先前训练的人脸识别网络获得的人脸描述符中存在的性别信息。我们发现，议程显着降低了性别的可预测性的面孔描述。因此，我们也能够减少人脸验证中的性别偏见，同时保持合理的识别性能。
2020-09-17 cs.CV
Face Recognition using 3D CNNs
IIIT Allahabad（印度阿拉哈巴德信息技术学院）
人脸识别是计算机视觉和生物识别领域中研究最广泛的领域之一。这是因为，人脸生物识别的非侵入性使其相对更适合应用于机场等公共场所的监控领域。原始方法在人脸识别中的应用效果并不令人满意。但随着机器和深度学习方法的出现及其在人脸识别中的应用，取得了几项重大突破。二维卷积神经网络（2D CNN）在人脸识别中的应用，使人脸识别的准确率达到了99%。尽管如此，在真实世界条件下的鲁棒人脸识别，如分辨率，光照和姿态的变化是人脸识别研究人员的一个主要挑战。在这项工作中，我们使用视频作为3D CNN架构的输入，用于从视频中捕获空间和时域信息，以在现实世界环境中进行人脸识别。出于实验的目的，我们开发了自己的视频数据集，称为CVBL视频数据集。在视频中使用3D CNN进行人脸识别显示出了令人鼓舞的结果，DenseNets在CVBL数据集上的准确率为97%。
2021-02-02 cs.CV
Face Recognition: A Novel Multi-Level Taxonomy based Survey
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico – Universidade de Lisboa（里斯本大学高等理工学院）
在安全问题变得越来越重要的世界中，人脸识别系统在多个应用领域引起了越来越多的关注，从取证和监视到商业和娱乐。为了帮助理解与人脸识别系统相关的景观和抽象级别，人脸识别分类允许对现有解决方案进行更深入的剖析和比较。本文提出了一个新的，更全面和更丰富的多层次的人脸识别分类，促进组织和分类的可用和新兴的人脸识别解决方案，这种分类也可以指导研究人员在开发更有效的人脸识别解决方案。所提出的多层次分类法考虑了与人脸结构、特征支持和特征提取方法相关的层次。根据建议的分类，代表性的人脸识别解决方案的全面调查。本文最后讨论了当前的算法和应用相关的挑战，可能会定义未来的研究方向，人脸识别。
2019-01-03 cs.CV
Masked Face Recognition Dataset and Application
National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心）；Wuhan University（武汉大学）
为了有效防止COVID-19病毒的传播，在冠状病毒疫情期间，几乎每个人都戴口罩。这几乎使得传统的人脸识别技术在很多情况下失效，比如小区门禁、人脸门禁、人脸考勤、训练站的人脸安检等，因此，提高现有人脸识别技术对蒙面人脸的识别性能显得非常迫切。目前大多数先进的人脸识别方法都是基于深度学习设计的，这依赖于大量的人脸样本。然而，目前还没有公开可用的蒙面人脸识别数据集。为此，本文提出了三种类型的面具人脸数据集，包括面具人脸检测数据集（MFDD），真实世界面具人脸识别数据集（RMFRD）和模拟面具人脸识别数据集（SMFRD）。其中，据我们所知，RMFRD是目前世界上最大的真实世界蒙面人脸数据集。这些数据集免费提供给工业界和学术界，基于这些数据集，可以开发各种面具人脸应用。我们开发的多粒度蒙面人脸识别模型达到了95%的准确率，超过了业界报道的结果。我们的数据集可在https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset获得。
2020-03-23 cs.CV
Dual-discriminator GAN: A GAN way of profile face recognition
Tsinghua University（清华大学）
在进行人脸识别时会出现大量的角度问题：目前，特征提取网络在许多情况下呈现的特征向量在同一个人的正面人脸和侧面人脸识别之间存在很大差异。因此，最先进的面部识别网络将对同一目标使用多个样本，以确保在训练过程中忽略角度引起的特征向量差异。然而，存在另一种可用的解决方案，其是在识别之前用侧面人脸图像生成正面人脸图像。本文提出了一种基于生成对抗网络（GAN）的人脸生成方法。
2020-03-20 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
FedFace: Collaborative Learning of Face Recognition Model
Michigan State University（密歇根州立大学）
基于DNN的人脸识别模型需要大量集中聚集的人脸数据集进行训练。然而，由于日益增长的数据隐私问题和法律限制，访问和共享人脸数据集变得非常困难。我们提出FedFace，一个联邦学习（FL）框架，用于以隐私感知的方式协作学习人脸识别模型。FedFace利用多个客户端上可用的面部图像来学习准确且可推广的面部识别模型，其中存储在每个客户端处的面部图像既不与其他客户端也不与中央主机共享，并且每个客户端是仅包含与设备的所有者有关的面部图像的移动终端（每个客户端一个身份）。我们的实验表明，FedFace在增强预训练人脸识别系统在标准人脸验证基准（即LFW，IJB-A和IJB-C）上的验证性能方面是有效的。
2021-06-24 cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出利用适配器将黑盒人脸识别模型的嵌入转换到人脸基础模型嵌入空间，从而重建人脸图像，实验证明该方法在攻击人脸识别模型时优于以往重建攻击方法。
2024-11-06 cs.CV
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人（2009）的论文“Robust Face Recognition via Sparse Representation”，其示出了在某些技术条件下，如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中，我们试图澄清一些经常遇到的问题，这项工作，特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
Face Recognition Machine Vision System Using Eigenfaces
Moscow Institute of Physics & Technology（莫斯科物理技术学院）
人脸识别是机器学习中的一个常见问题。这项技术已经广泛应用于我们的生活中。例如，Facebook可以自动标记图像中的人脸，一些移动设备也使用人脸识别来保护私人安全。人脸图像具有不同的背景、不同的光照、不同的表情和遮挡等特点。人脸识别的方法有很多。不同的方法进行人脸识别实验与特定的数据库，其中包括单一类型，格式和组成的图像。这样做，这些方法不适合不同的人脸数据库。人脸识别的基本技术之一是特征脸，它非常简单，有效，并且在受控的情况下通常会产生良好的结果。因此，本文提出了一个实验性能比较的人脸识别主成分分析（PCA）和归一化主成分分析（NPCA）。ORL（ATT）和印度人脸数据库（IFD），其中包含的表情，姿势和面部细节的变化进行了实验。通过改变训练图像的数量，对两种方法获得的结果进行了比较。MATLAB也用于实现算法。
2017-05-08 cs.CV
A Deep Image Compression Framework for Face Recognition
Xi’an Jiaotong University（西安交通大学）
人脸识别技术发展迅速，在各种应用中得到了广泛的应用。由于大规模人脸识别任务中人脸图像的数据量极其庞大，相应地需要大量的计算资源，因此需要一种高度适用于人脸识别任务的人脸图像压缩方法。在本文中，我们提出了一种用于人脸识别任务的深度卷积自动编码器压缩网络。在压缩过程中，通过卷积神经网络从原始图像中提取深度特征，以产生原始图像的紧凑表示，然后通过现有的编解码器（如PNG）对其进行编码和保存。重建网络利用这种紧凑表示来生成原始图像的重建图像。为了提高人脸识别系统中使用的压缩框架时，人脸识别的准确性，我们结合这个压缩框架与现有的人脸识别网络进行联合优化。我们测试所提出的方案，并发现，经过联合训练，标记的人脸在野生（LFW）数据集压缩我们的压缩框架具有更高的人脸验证精度比压缩的JPEG 2000，是远远高于压缩的JPEG。
2019-07-03 cs.CV
Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology（燕京理工学院）
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景，安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点，使得高分辨率人脸识别算法难以提取有效的特征信息，应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要，开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法（CoFFaR），该方法适用于均匀低分辨率的监控视频，详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Partial matching face recognition method for rehabilitation nursing robots beds
Shanghai University of Engineering Science（上海工程技术大学）
为了在康复护理机器人病床上建立人脸识别系统，实现对病床上病人的实时监控。提出了一种基于部分匹配Hu矩的人脸识别方法，应用于康复护理机器人病床。首先利用Haar分类器在动态视频帧中自动检测人脸。然后利用大津阈值法提取人脸图像中的面部特征（眉毛、眼睛、嘴巴）及其Hu矩。最后利用Hu矩特征集实现了人脸的自动识别。实验结果表明，该方法能够有效地识别动态视频中的人脸，准确率达到91%，平均识别时间为4.3s，具有较高的实用价值。
2015-08-02 cs.CV
HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting
Bahcesehir University（巴耶塞特大学）；American University of Malta（马耳他美国大学）
为了识别被遮挡的人脸，可能的解决方案之一是首先恢复人脸的被遮挡部分，然后应用人脸识别方法。受当前图像修补方法的启发，本文提出了一个端到端的混合式面具人脸识别系统HiMFR，该系统由面具人脸检测器、人脸修复和人脸识别三部分组成。面具人脸检测器模块应用预先训练的视觉Transformer（ViT\_b32）来检测人脸是否被面具覆盖。修复模块使用基于生成对抗网络（GAN）的微调图像修补模型来恢复面部。最后，基于ViT的混合人脸识别模块与EfficientNetB 3骨干识别人脸。我们已经在四个不同的公开数据集上实现和评估了我们提出的方法：CelebA，SSDMNV 2，MAFA，{Pubfig 83}与我们本地收集的小数据集，即Face 5。综合实验结果表明，所提出的HiMFR方法具有竞争力的性能的有效性。代码可在https://github.com/mdhosen/HiMFR上获得
2022-09-19 cs.CV
Analysis of Recent Trends in Face Recognition Systems
本文综述并比较RPRV、LWKPCA、SVM Model、基于LTrP的SPM及CCTV图像深度学习框架等方法，以评估人脸识别系统的准确性与性能趋势。
2023-04-23 cs.CV
DeepID3: Face Recognition with Very Deep Neural Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group（商汤集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
深度学习的出现极大地推动了人脸识别的发展。非常深的神经网络最近在一般物体识别上取得了巨大的成功，因为它们具有超强的学习能力。这促使我们研究它们在人脸识别上的有效性。本文提出了两种用于人脸识别的非常深的神经网络架构，称为DeepID 3。这两个架构是从VGG网和GoogLeNet中提出的堆叠卷积和初始层重建的，使其适用于人脸识别。在训练期间，将联合面部识别-验证监督信号添加到中间和最终特征提取层。所提出的两种架构的集成实现了99.53%的LFW人脸验证准确率和96.0%的LFW等级-1人脸识别准确率，分别。最后对LFW人脸验证结果进行了进一步的讨论。
2015-02-03 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后，为控制疫情，公共场所已强制佩戴口罩。然而，由于戴口罩的人脸遮挡提出了一个新兴的挑战，人脸识别系统。在本文中，我们提出了一种解决方案，以提高蒙面人脸识别性能。具体来说，我们提出了嵌入解蔽模型（EUM）操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数，自我约束的三元组（SRT），这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型，两个真实的蒙面数据集，和两个合成生成的蒙面人脸数据集上取得的评价结果证明，我们提出的方法显着提高了性能，在大多数实验设置。
2021-12-13 cs.CV
MegaFace: A Million Faces for Recognition at Scale
University of Washington（华盛顿大学）
最近在LFW基准上进行的人脸识别实验表明，人脸识别的表现非常好，超过了人类的识别率。本文研究了大规模的人脸识别问题。具体来说，我们已经从Flickr收集了一个\textbf{Million}的脸，并评估了最先进的人脸识别算法在这个数据集上。我们发现算法的性能各不相同-虽然所有算法在LFW上都表现出色，但一旦在大规模上进行评估，大多数算法的识别率就会急剧下降。有趣的是，\cite{schroff2015facenet}基于深度学习的方法表现得更好，但在规模上仍然不太稳健。我们考虑验证和识别问题，并评估如何构成影响识别规模。此外，我们在Mechanical Turk上进行了广泛的人类研究，以评估大规模的人类识别，并报告结果。所有的照片都是创作共用的照片，并在\small{\url{http://megaface.cs.washington.edu/}}发布，用于研究和进一步的实验。
2015-09-07 cs.CV
Analyzing the effectiveness of image augmentations for face recognition from limited data
Innopolis University（因诺波利斯大学）
这项工作提出了一个分析的效率图像增强的人脸识别问题，从有限的数据。我们考虑了增强的基本操作、生成方法以及它们的组合。我们的研究结果表明，增强，在一般情况下，可以大大提高人脸识别系统的质量和生成和基本方法的组合表现优于其他测试技术。
2021-05-18 cs.CV
End-To-End Face Detection and Recognition
Zhejiang University（浙江大学）
几十年来，人们提出了许多人脸检测和识别的方法，并取得了令人满意的结果。常见的人脸识别流程包括：1）人脸检测，2）人脸对齐，3）特征提取，4）相似度计算，这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算，难以进行端到端的训练。在本文中，我们提出了一种新的端到端的可训练卷积网络框架，用于人脸检测和识别，其中直接学习几何变换矩阵来对齐人脸，而不是预测人脸标志。在训练阶段，我们的单个CNN模型仅由面部边界框和个人身份进行监督，这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集（FDDB）\cite{Jain2010}数据集和野生标记人脸（LFW）\cite{Huang2007}数据集上进行测试，人脸检测任务的召回率达到89.24%，人脸识别任务的验证准确率达到98.63%，与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
RAF: Recursive Adversarial Attacks on Face Recognition Using Extremely Limited Queries
University Of Houston（休斯顿大学）
最近几次成功的人脸识别对抗攻击表明，尽管人脸识别模型取得了显著的进步，但它们在感知和识别方面仍然远远落后于人类的智能。它揭示了深度卷积神经网络（CNN）作为对抗性示例的人脸识别模型的最先进构建模块的脆弱性，这可能会对安全系统造成某些后果。基于恶意的对抗攻击在以前被广泛研究，并被证明对人脸识别模型是成功的。然而，找到每个面的优化扰动需要向目标模型提交大量的查询。在本文中，我们提出了递归对抗攻击的人脸识别使用自动人脸扭曲，需要非常有限的查询数量来欺骗目标模型。而不是一个随机的脸扭曲过程中，扭曲功能被应用在特定的检测区域的脸，如眉毛，鼻子，嘴唇等，我们评估的鲁棒性，提出的方法在基于决策的黑盒攻击设置，攻击者无法访问的模型参数和梯度，但硬标签的预测和置信度得分提供的目标模型。
2022-07-04 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Harnessing Unrecognizable Faces for Improving Face Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
作为检测阶段和识别或验证阶段的级联的面部识别系统的常见实现可能导致检测器故障以外的问题。当检测器成功时，它可以检测到无法识别的人脸，无论识别系统的能力如何。因此，可识别性，一个潜在的变量，应考虑到人脸识别系统的设计和实施。我们提出了一个衡量人脸图像可识别性的方法，该方法利用了一个关键的经验观察：人脸图像的嵌入，由一个使用大多数可识别身份训练的深度神经网络实现，诱导超球体的分区，从而无法识别的身份聚集在一起。无论导致面部无法识别的现象如何，都会发生这种情况，这些现象可以是光学或运动模糊、部分遮挡、空间量化、照明不良。因此，我们使用距离这样一个“不可识别的身份”作为可识别性的衡量标准，并将其纳入整个系统的设计。我们表明，考虑可识别性将单图像人脸识别的出错率在IJB-C协变量验证基准上的FAR= 1 e-5处降低了58%，并将IJB-C基准上基于集合的识别中的验证出错率在FAR= 1 e-5处降低了24%。
2021-09-14 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文提出 IDiff-Face，利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸，在 LFW 上达到 98.00% 准确率，显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Michigan State University（密歇根州立大学）
由于年龄、性别、种族等人口因素造成的影响，已经在自动面部识别系统中被广泛研究。然而，\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中，我们研究了通过生成对抗网络（GANs）诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验，使用AttGAN和STGAN故意修改13个属性，并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明，一些属性操作，包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%，需要进一步分析。
2022-09-07 cs.CV
A Multi-Face Challenging Dataset for Robust Face Recognition
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
图像中的人脸识别是计算机视觉研究者们的一个活跃的研究领域。然而，在不受约束的环境中识别人脸是一个相对较少探索的研究领域。由于人脸图像的视点、尺度、姿态、光照和表情等变化，无约束环境下的多人脸识别是一项具有挑战性的任务。人脸的部分遮挡使得识别任务更具挑战性。本文的贡献是双重的：引入了一个具有挑战性的多面数据集（即，IIITS MFace Dataset）用于无约束环境中的人脸识别，并评估最先进的手工设计和基于深度学习的人脸描述符在数据集上的性能。建议的IIITS MFace数据集包含具有挑战性的人脸，如姿势变化，遮挡，面具，眼镜，表情，照明变化等。我们使用几种最先进的人脸描述符进行实验，包括最近基于深度学习的人脸描述符，如VGGFace，并与现有的基准人脸数据集进行比较。实验结果清楚地表明，与基准数据集相比，所提出的数据集的难度要高得多。
2019-03-28 cs.CV
EQFace: A Simple Explicit Quality Network for Face Recognition
Shenzhen Deepcam Information Technologies（深圳深视信息技术有限公司）；LinkSprite Technologies（LinkSprite 技术公司）
随着深度学习在静态图像人脸识别方面取得了很大的进展，由于姿态、模糊、遮挡、光照等原因造成的低质量人脸图像，无约束视频人脸识别仍然是一项具有挑战性的任务。本文提出了一种用于人脸识别的网络，该网络在提取特征向量的同时给出了明确的量化质量分数。据我们所知，这是第一个在一个网络中在线实现这两个功能的网络。该网络非常简单，只需在人脸识别的基线网络上添加一个质量网络分支。它不需要带有注释的人脸质量标签的训练数据集。我们在静态图像人脸数据集和视频人脸数据集上对该网络进行了评估，并在许多情况下实现了最先进的性能。该网络支持许多使用显式面部质量scpre的应用。我们展示了三个应用程序的显式人脸质量，其中之一是一个渐进的特征聚合计划在在线视频人脸识别。我们设计了一个实验来证明在这个应用程序中使用人脸质量的好处。代码将在\url{https://github.com/deepcam-cn/facequality}上提供。
2021-05-03 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications（北京邮电大学）
随着越来越多的人因当前的COVID-19大流行而开始戴口罩，现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响，本文建立了一个简单有效的工具，可以自动地从非面具人脸生成面具人脸，并在跨年龄LFW（Cross-Age LFW，CALFW）数据库的基础上构建了一个新的面具LFW（Masked LFW，MLFW）数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外，我们收集了各种面具模板，涵盖了日常生活中出现的大多数常见样式，以实现多样化的生成效果。考虑到现实场景，我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
Face Synthesis for Eyeglass-Robust Face Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在人脸识别的应用中，眼镜会显著降低识别的准确率。一种可行的方法是采集大规模的戴眼镜人脸图像，用于训练深度学习方法。然而，很难在具有和不具有相同身份的眼镜的情况下收集图像，使得难以优化由眼镜引起的内部变化。在本文中，我们建议解决这个问题，在虚拟合成的方式。基于3D人脸模型和3D眼镜，合成了带眼镜的高保真人脸图像。然后，基于深度学习方法的模型在合成的人脸数据集上进行训练，获得比以前更好的性能。在真实人脸数据库上的实验验证了我们合成的数据对提高人脸识别性能的有效性。
2021-02-10 cs.CV
RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer
Nanjing University（南京大学）
得益于深度神经网络的发展，人脸识别近年来取得了长足的进步，但最近发现，深度神经网络容易受到对抗性样本的影响。这意味着基于深度神经网络的人脸识别模型或系统也容易受到对抗性样本的影响。然而，现有的攻击人脸识别模型或系统的方法可以有效地完成白盒攻击，而不是黑盒模仿攻击，物理攻击，或方便的攻击，特别是对商业人脸识别系统。在本文中，我们提出了一种新的方法来攻击人脸识别模型或系统，称为RSTAM，它可以使用移动和紧凑的打印机打印的对抗性面具进行有效的黑盒模仿攻击。首先，RSTAM通过我们提出的随机相似性转换策略增强了对抗面具的可转移性。此外，我们提出了一种随机元优化策略，用于集成多个预训练的人脸模型，以生成更通用的对抗面具。最后，我们在CelebA-HQ，LFW，Makeup Transfer（MT）和CASIA-FaceV 5数据集上进行了实验。攻击的性能也在最先进的商业人脸识别系统上进行了评估：Face++，百度，阿里云，腾讯和微软。大量的实验表明，RSTAM可以有效地执行黑盒模仿攻击的人脸识别模型或系统。
2022-06-25 cs.CV
Disentangled Face Identity Representations for joint 3D Face Recognition and Expression Neutralisation
University of Luxembourg（卢森堡大学）；Artec3D（Artec3D公司）
在本文中，我们提出了一种新的基于深度学习的方法，用于从富有表现力的3D人脸中分离人脸身份表示。给定一个3D人脸，我们的方法不仅提取一个解开的身份表示，但也产生一个现实的3D人脸与中性的表达，同时预测其身份。该网络由三个部分组成：（1）一个图卷积自动编码器（GCA），用于将3D人脸编码为潜在表示;（2）一个生成对抗网络（GAN），用于将表情人脸的潜在表示转换为中性人脸的潜在表示;（3）一个身份识别子网络，利用中性化的潜在表示进行3D人脸识别。整个网络以端到端的方式进行训练。在三个公开数据集上进行的实验表明了该方法的有效性。
2021-04-20 cs.CV
Hide and Seek: How Does Watermarking Impact Face Recognition?
Michigan State University（密歇根州立大学）
本文研究了数字水印对人脸识别模型有效性的影响，提出集生成、水印与识别的综合流水线，发现水印虽能实现稳健图像归属，但会导致识别准确率轻微下降，揭示了二者间的权衡。
2024-04-29 cs.CV
Towards Interpretable Face Recognition
Michigan State University（密歇根州立大学）；Wormpex AI Research（Wormpex人工智能研究院）；ByteDance AI Lab（字节跳动人工智能实验室）
在过去的几年里，深度CNN一直在推动视觉识别的前沿。除了识别准确性之外，研究界对理解深度CNN的强烈需求也推动了工具的发展，这些工具可以分解预先训练的模型，以可视化它们如何进行预测。最近的工作进一步推动了网络学习阶段的可解释性，以学习更有意义的表征。在这项工作中，专注于视觉识别的一个特定领域，我们报告了我们的努力，可解释的人脸识别。我们提出了一个空间激活多样性损失，以学习更多的结构化人脸表示。通过利用该结构，我们进一步设计了一个特征激活多样性损失，以推动可解释的表示具有区分性和对遮挡的鲁棒性。我们证明了三个人脸识别基准，我们提出的方法是能够提高人脸识别的准确性，易于解释的人脸表示。
2019-08-17 cs.CV
Controllable Evaluation and Generation of Physical Adversarial Patch on Face Recognition
RealAI（瑞莱智慧）；Tsinghua University（清华大学）
最近的研究揭示了人脸识别模型对物理对抗补丁的脆弱性，这引发了对部署的人脸识别系统的安全担忧。然而，在复杂的物理条件下，大多数攻击算法的可重复性仍然是一个挑战，这导致现有的攻击方法缺乏系统的评估。因此，必须制定一个框架，可以全面评估在物理世界中的人脸识别的脆弱性。为此，我们建议通过3D人脸建模来模拟物理世界中人脸的复杂变换，3D人脸建模可以作为物理人脸的数字对应物。通用框架允许我们控制不同的面部变化和身体条件，以全面地进行可再现的评估。在此基础上，我们进一步提出了一种考虑三维人脸变换和真实物理变化的Face3DAdv方法。大量的实验验证了Face3DAdv可以显着提高模拟和物理环境中各种物理可实现的对抗补丁的有效性，对抗各种白盒和黑盒人脸识别模型。
2022-03-10 cs.CV
A Novel Face Recognition Method using Nearest Line Projection
Yibin Vocational & Technical College（宜宾职业技术学院）
人脸识别是模式识别方法的一个热门应用，它面临着光照、表情、姿态等挑战性问题。最流行的方法是学习人脸图像的子空间，以便将其投影到另一个判别空间，在该判别空间中可以分离不同人的图像。本文提出了一种最近邻直线投影算法来表示人脸图像，并用于人脸识别。我们尝试将图像投影到由两个不同的人脸图像跨越的最近的线上，而不是将图像投影到最近的图像。学习子空间，以便最小化每个人脸图像到其最近的线。我们在一些基准人脸图像数据库上对该算法进行了评估，并将其与其他一些图像投影算法进行了比较。实验结果表明，该算法优于其他算法。
2014-02-24 cs.CV
Wildest Faces: Face Detection and Recognition in Violent Settings
Hacettepe University（哈斯特帕大学）；Middle East Technical University（中东技术大学）
随着大规模数据集和能够学习复杂表示的深度学习模型的引入，人脸检测和识别任务取得了令人印象深刻的进展。尽管取得了这些进展，但现有的数据集并没有捕捉到在最疯狂的场景中人脸识别的困难，例如敌对纠纷或打架。此外，现有的数据集并不代表完全不受约束的情况下，低分辨率，高模糊和大姿态/遮挡变化。为此，我们引入了Wildest Faces数据集，该数据集专注于暴力场景的不利影响。该数据集由电影中名人的大量暴力场景组成。我们的实验结果表明，最先进的技术并不适合暴力场景，因此，《狂野面孔》可能会激起人们对人脸检测和识别研究的进一步兴趣。
2018-05-19 cs.CV
FaceNet2ExpNet: Regularizing a Deep Face Recognition Net for Expression Recognition
University of Maryland, College Park（马里兰大学学院公园分校）；Siemens Healthcare Technology Center, Princeton, New Jersey（西门子医疗技术中心（普林斯顿））
可用于表情识别研究的数据集相对较小，这使得用于表情识别的深度网络的训练非常具有挑战性。虽然微调可以部分缓解这个问题，但性能仍然低于可接受的水平，因为深度特征可能包含来自预训练域的冗余信息。在本文中，我们提出了FaceNet 2 ExpNet，一个新的想法训练的表情识别网络的基础上静态图像。我们首先提出了一个新的分布函数来模拟表达网络的高级神经元。在此基础上，精心设计了两阶段训练算法。在预训练阶段，我们训练表达式网络的卷积层，由面网络正则化;在细化阶段，我们添加全连接层到预训练的卷积层，并训练整个网络。可视化显示，用我们的方法训练的模型捕获了改进的高级表达式语义。在CK+、Oulu-CASIA、TFD和SFEW四个公共表达数据库上的实验结果表明，该方法取得了比现有方法更好的结果。
2016-09-22 cs.CV
A Statistical Nonparametric Approach of Face Recognition: Combination of Eigenface & Modified k-Means Clustering
National Institute of Technology, Durgapur（印度杜尔加普尔国家理工学院）
面部表情传递着非语言信息，在人际关系中起着重要的作用。基于面部表情的人脸自动识别是自然人机界面的重要组成部分。它也可以用于行为科学。虽然人类几乎可以毫不费力地识别人脸，但可靠的机器人脸识别是一个挑战。本文提出了一种新的方法来识别一个人的脸考虑在不同的时刻相同的人脸表情。该方法结合了用于特征提取的Eigenface方法和用于人脸识别的改进的k-Means聚类。该方法不需要使用传统的距离测度分类器，就能进行人脸识别。仿真结果表明，所提出的人脸识别使用感知的k-Means聚类是有用的人脸图像具有不同的面部表情。
2011-04-07 cs.CV
Longitudinal Study of Child Face Recognition
Michigan State University（密歇根州立大学）；Malaviya National Institute of Technology（马拉维亚国立技术学院）
我们对儿童纵向面部（CLF）数据集进行了面部识别性能的纵向研究，该数据集包含919名受试者的3，682张面部图像，年龄组[2，18]岁。每个受试者至少有四张面部图像，这些图像是在长达六年的时间跨度内获得的。面部比较分数从（i）最先进的COTS匹配器（COTS-A）、（ii）开源匹配器（FaceNet）和（iii）从COTS-A和FaceNet匹配器获得的分数的简单总和融合获得。为了提高开源FaceNet匹配器在儿童面部识别方面的性能，我们能够在一个独立的训练集上对它进行微调，该训练集包含1，119名年龄组[3，18]儿童的3，294张面部图像。将多级统计模型拟合到CLF数据集的真实比较分数，以确定人脸识别准确性随时间的下降。此外，我们分析了验证和开放集识别的准确性，以评估最先进的人脸识别技术，用于追踪和识别作为儿童贩运或绑架受害者的年轻儿童。
2017-11-10 cs.CV
Robust real time face recognition and tracking on gpu using fusion of rgb and depth image
Indian Institute of science（印度科学院）
提出了一种基于kinect传感器的实时人脸识别系统。该算法是在GPU上使用opencl和显着的速度提高。我们使用Kinect深度图像来增加鲁棒性，并减少传统的基于LBP的人脸识别的计算成本。本文的主要目标是进行鲁棒的，高速融合的人脸识别和跟踪。该算法主要由三个步骤组成。第一步是使用viola jones算法检测视频中的所有人脸。第二步是使用面部跟踪窗口在线生成数据库。在GPU上利用深度和灰度图像的融合信息计算改进的LBP特征向量。此特征向量用于训练支持向量机分类器。第三步是基于我们修改后的特征向量识别多个人脸。
2015-04-08 cs.CV
Automatic local Gabor Features extraction for face recognition
National Engineering School of Sfax（斯法克斯国立工程学院）
本文提出了一种彩色图像中人脸检测与识别的生物特征系统。人脸检测技术是基于肤色信息和模糊分类。提出了一种新的人脸特征（眼、嘴、鼻）的自动检测和几何点提取算法。这些基准点被描述为用于识别的小波分量的集合。为了实现人脸识别，我们使用了神经网络，并研究了它在不同输入下的性能。我们比较了两种类型的特征用于识别：几何距离和Gabor系数，可以单独使用或联合使用。这种比较表明，Gabor系数比几何距离更强大。我们的实验结果表明，如何识别率的重要性，使我们的系统自动人脸检测和识别的有效工具。
2009-07-28 cs.CV
Face Recognition Using Scattering Convolutional Network
NYU School of Engineering（纽约大学工程学院）
人脸识别在过去的几十年里一直是一个活跃的研究领域。在一般情况下，人脸识别可以是非常具有挑战性的，由于在视点，照明，面部表情等的变化，因此，它是必不可少的，以提取特征是不变的一些或所有这些变化。在这里，一个新的图像表示，称为散射变换/网络，已被用来提取面部特征。散射变换是一种卷积网络，它为信号提供了强大的多层表示。在提取散射特征后，利用主成分分析对数据进行降维，然后利用多类支持向量机进行识别。该算法在三个人脸数据集上进行了测试，取得了很高的识别率。
2017-11-30 cs.CV
Real Time Face Recognition Using Convoluted Neural Networks
SNIST
人脸识别是利用人脸识别人的过程之一，它有各种各样的应用，如身份验证系统，监控系统和执法。卷积神经网络被证明是人脸识别的最佳方法。使用core-ml api检测人脸，并通过coreML模型处理提取的人脸，该模型经过训练以识别特定的人。数据集的创建是通过将待识别人员的人脸视频转换为数百张人的图像来完成的，这些图像进一步用于模型的训练和验证，以提供准确的实时结果。
2020-10-09 cs.CV
