Hybrid Score- and Rank-level Fusion for Person Identification using Face and ECG Data
University of Calgary（卡尔加里大学）
单模态识别系统容易受到传感器数据汇集中的错误的影响，因此更有可能错误识别主体。例如，仅依赖RGB人脸相机的数据可能会在光线不足的环境中或主体不面对相机时导致问题。其他识别方法（如心电图（ECG））存在导线与皮肤连接不正确的问题。通过融合从这两个模型中收集的信息，最大限度地减少了识别错误。本文提出了一种方法，结合面部和心电图数据的识别结果，使用BioVid热痛数据库的A部分，包含同步RGB视频和心电图数据87个主题。使用10倍交叉验证，人脸识别的准确率为98.8%，而ECG识别的准确率为96.1%。通过融合方法，识别准确率提高到99.8%。我们提出的方法允许识别精度显着提高使用不同的脸和心电图模型，具有非重叠的方式。
2020-08-07 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Leveraging the Power of Gabor Phase for Face Identification: A Block Matching Approach
KTH, Royal Institute of Technology（瑞典皇家理工学院）
与人脸验证不同，人脸识别的要求要高得多。为了达到类似的性能，标识符需要比验证器好大约N倍。为了期待人脸识别的突破，我们需要重新审视人脸识别的基本组成部分。在本文中，我们专注于选择一个合适的信号表示和更好的匹配策略，人脸识别。我们演示了如何利用Gabor相位，以提高性能的人脸识别，通过使用块匹配方法。与现有的方法相比，该方法具有算法复杂度低得多的特点：人脸图像只需要一个单尺度的Gabor滤波器对进行滤波，并且在任意一对人脸图像之间进行匹配，而不需要任何训练过程。基准评估表明，所提出的方法是完全可比的，甚至比国家的最先进的算法，这是典型的基于更多的功能提取的一个大的Gabor人脸集和/或依赖于繁重的训练过程。
2015-06-15 cs.CV
Privacy-Protective-GAN for Face De-identification
Temple University（天普大学）
随着图像源的爆炸性增长和易于访问，人脸去识别变得越来越重要。新的人脸识别技术的发展也引起了人们对隐私泄露的关注。主流的人脸去识别流程大多基于k-same框架，存在效率低、视觉效果差等缺点。在本文中，我们提出了一个新的框架，称为隐私保护GAN（PP-GAN），适应GAN与新的验证器和调节器模块专门设计的人脸去识别问题，以确保根据一个单一的输入生成去识别的输出与保留的结构相似性。我们评估所提出的方法在隐私保护，效用保存，和结构相似性。我们的方法不仅优于现有的人脸去识别技术，但也提供了一个实用的框架，适应GAN与领域知识的先验。
2018-06-23 cs.CV
A Deep Face Identification Network Enhanced by Facial Attributes Prediction
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个新的深度框架，预测面部属性，并利用它作为一个软模态，以提高人脸识别性能。我们的模型是一个端到端的框架，它由一个卷积神经网络（CNN）组成，其输出被分成两个独立的分支;第一个分支预测面部属性，而第二个分支识别面部图像。与现有的多任务方法只使用共享的CNN特征空间来联合训练这两个任务相反，我们将预测属性与来自人脸模态的特征相融合，以提高人脸识别性能。实验结果表明，我们的模型带来的好处，人脸识别以及面部属性的预测性能，特别是在身份的面部属性，如性别预测的情况下。我们在两个由身份和面部属性注释的标准数据集上测试了我们的模型。实验结果表明，该模型优于目前大多数现有的人脸识别和属性预测方法。
2018-04-20 cs.CV
Additional Baseline Metrics for the paper "Extended YouTube Faces: a Dataset for Heterogeneous Open-Set Face Identification"
Media Integration and Communication Center (MICC)（媒体整合与传播中心（MICC））；University of Florence（佛罗伦萨大学）
在本报告中，我们为论文“扩展的YouTube面孔：异质开放集人脸识别数据集”提供了额外的和更正的结果。经过进一步调查，我们发现并纠正了错误标记的图像和不正确的身份。这迫使我们重新生成新数据的评估协议;在此过程中，我们还使用文献中使用的其他标准度量和措施复制和扩展了实验结果。读者可以参考原始论文，了解有关数据汇集过程和识别管道的其他详细信息。
2019-02-11 cs.CV
How important are faces for person re-identification?
Insight SFI Research Centre for Data Analytics（Insight科学基金会数据 analytics研究中心）；Dublin City University（都柏林城市大学）
本文研究了现有的国家的最先进的人的重新识别模型的存在和可见性的人脸的依赖。我们应用人脸检测和模糊算法来创建几个流行的人重新识别数据集的匿名版本，包括Market 1501，DukeMTMC-reID，CUHK 03，Viper和Airport。使用现有的最先进的模型，范围在准确性和计算效率的横截面，我们使用标准指标评估这种匿名化对重新识别性能的影响。也许令人惊讶的是，对mAP的影响非常小，并且通过简单地训练数据的匿名版本而不是原始数据来恢复准确性。这些发现在多个模型和数据集上是一致的。这些结果表明，数据集可以通过模糊面部来安全地匿名化，而不会显著影响人员重新识别系统的性能，并且可以允许在以前存在隐私或数据保护问题的情况下发布新的更丰富的重新识别数据集。
2020-10-13 cs.AI cs.CV cs.LG
Deep Learning Face Representation by Joint Identification-Verification
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
人脸识别的关键挑战是开发有效的特征表示，以减少个人内部的差异，同时扩大人与人之间的差异。在本文中，我们表明，它可以很好地解决深度学习和使用人脸识别和验证信号作为监督。深度识别验证功能（DeepID 2）是通过精心设计的深度卷积网络学习的。人脸识别任务通过将从不同身份提取的DeepID 2分开来增加人与人之间的差异，而人脸验证任务通过将从同一身份提取的DeepID 2拉在一起来减少人与人之间的差异，这两者对于人脸识别都是必不可少的。学习的DeepID 2特征可以很好地推广到训练数据中看不到的新身份。在具有挑战性的LFW数据集上，实现了99.15%的人脸验证准确率。与LFW上最好的深度学习结果相比，出错率大幅降低了67%。
2014-06-18 cs.CV
Deepfakes for Medical Video De-Identification: Privacy Protection and Diagnostic Information Preservation
Tsinghua University（清华大学）；National Engineering Laboratory for Neuromodulation（神经调控国家工程实验室）
医学研究的数据共享一直很困难，因为开源的临床数据可能会侵犯患者隐私。传统的人脸去识别方法完全消除了面部信息，使得无法分析面部行为。全身关键点检测的最新进展也依赖于面部输入来估计身体关键点。在一些医学诊断中，面部和身体关键点都是至关重要的，去识别后的关键点不变性是非常重要的。在这里，我们提出了一种使用deepfake技术的解决方案，即人脸交换技术。虽然这种交换方法因侵犯隐私和肖像权而受到批评，但它可以反过来保护医疗视频中的隐私：患者的面部可以被交换到适当的目标面部，并且变得无法识别。然而，它仍然是一个悬而未决的问题，在多大程度上交换去识别方法可以影响身体关键点的自动检测。在本研究中，我们将Deepfake技术应用于帕金森病检查视频中，对受试者进行去识别，并定量表明：人脸交换作为一种去识别方法是可靠的，并且它保持关键点几乎不变，明显优于传统方法。本研究提出了一个视频去识别和关键点保存的管道，清除了医疗数据共享的一些伦理限制。这项工作可以使开源的高质量医学视频数据集更加可行，并促进未来的医学研究，造福我们的社会。
2020-02-07 cs.AI cs.CV
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning
Yonsei University（延世大学）
在本文中，我们专注于解决开集人脸识别问题的Few-Shot画廊微调。该问题假设了一个现实的情况下，人脸识别，只有少量的人脸图像是为了注册和任何未知的身份必须在识别过程中被拒绝。我们观察到，在大型数据集上预训练的人脸识别模型和天真的微调模型在这项任务中表现不佳。出于这个问题，我们提出了一个有效的微调方案与分类器的权重印记和独家BatchNorm层调整。为了进一步提高拒绝未知身份的准确性，我们提出了一种新的匹配称为邻域余弦（NAC），计算相似性的基础上的邻域信息。我们验证了所提出的方案的有效性，彻底的大规模人脸基准在不同的卷积神经网络架构。该项目的源代码可在以下网址获得：https://github.com/1ho0jin1/OSFI-by-FineTuning
2023-01-05 cs.CV
A Fast and Accurate System for Face Detection, Identification, and Verification
University of Maryland, College Park（马里兰大学帕克分校）
大型注释数据集的可用性和负担得起的计算能力使得CNN在各种目标检测和识别基准上的性能得到了令人印象深刻的改善。这些，以及对深度学习方法的更好理解，也提高了机器对人脸的理解能力。CNN能够检测面部，定位面部标志，估计姿势，并在不受约束的图像和视频中识别面部。在本文中，我们描述了用于无约束人脸识别和验证的深度学习管道的细节，该管道在几个基准数据集上实现了最先进的性能。本文提出了一种新的人脸检测器--深度金字塔Single Shot人脸检测器（DPSSD），它能够快速地检测具有大尺度变化的人脸（尤其是微小人脸）。我们给出了自动人脸识别中所涉及的各个模块的设计细节：人脸检测，地标定位和对齐，以及人脸识别/验证。我们提供了具有挑战性的无约束人脸检测数据集上的人脸检测器的评估结果。然后，我们给出了IARPA Janus基准A，B和C（IJB-A，IJB-B，IJB-C）以及Janus挑战集5（CS5）的实验结果。
2018-09-20 cs.CV
Watch Out for the Confusing Faces: Detecting Face Swapping with the Probability Distribution of Face Identification Models
Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）
最近，人脸交换发展迅速，并取得了令人惊讶的现实，引发了对虚假内容的担忧。作为对策，已经提出了各种检测方法，并取得了良好的性能。然而，大多数现有的检测器都很难在看不见的人脸交换方法和低质量图像上保持性能。除了泛化问题，目前的检测方法已被证明容易受到规避攻击的检测感知操纵。在敌对场景下缺乏鲁棒性给人脸交换检测在现实世界中的应用带来了威胁。在本文中，我们提出了一种新的人脸交换检测方法的基础上，人脸识别概率分布，创造了IdP_FSD，以提高泛化能力和鲁棒性。IdP_FSD是专门为检测身份属于有限集合的交换面孔而设计的，这在现实世界的应用中是有意义的。与以往的一般检测方法相比，我们利用现有的真实人脸与有关的身份和不需要假样本的训练。IdP_FSD利用面孔交换的共同性质，即交换面孔的身份组合了交换中涉及的两个面孔的身份。我们用人脸识别模型的混淆度来反映这种性质，并用输出概率分布的最大值来度量混淆度。更重要的是，为了在敌对场景下保护我们的检测器，提出了一种基于注意力的微调方案用于IdP_FSD中使用的人脸识别模型。大量的实验表明，所提出的IdP_FSD不仅实现了不同的基准数据集和图像质量的高检测性能，但也提高了酒吧的机械手逃避检测。
2023-03-23 cs.CV
SPOT-Face: Forensic Face Identification using Attention Guided Optimal Transport
Vision Intelligence and Machine Learning (VIML) Group（视觉智能与机器学习组）；School of Computing and Electrical Engineering (SCEE)（计算与电气工程学院）；Indian Institute of Technology Mandi (IIT Mandi)（印度理工学院曼迪分校）
SPOT-Face通过注意力引导最优传输机制，实现跨域法医面部识别，提升骨骼和草图与面部的匹配效果。
2026-01-14 cs.CV
Deep 3D Face Identification
我们提出了一种新的三维人脸识别算法，使用深度卷积神经网络（DCNN）和三维增强技术。通过利用深度神经网络的表征能力和使用大规模标记的训练数据，2D人脸识别算法的性能显著提高。与2D人脸识别相反，由于缺乏大规模的3D人脸数据集，训练用于3D人脸识别的区分性深度特征非常困难。在本文中，我们表明，从2D人脸图像上训练的CNN的迁移学习可以通过使用相对较少的3D人脸扫描来微调CNN，从而有效地进行3D人脸识别。我们还提出了一种3D人脸增强技术，该技术从单个3D人脸扫描中合成了许多不同的面部表情。我们提出的方法在博斯普鲁斯海峡，BU-3DFE和3D-TEC数据集上显示出出色的识别结果，而无需使用手工制作的功能。使用我们的深度特征的3D识别也可以很好地扩展到大型数据库。
2017-03-30 cs.CV
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University（武汉大学）；Peking University（北京大学）
在过去的几年里，电子漫画（电子日本式漫画）有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据，我们提出了一个新的课题，称为无监督漫画人物再识别。然而，漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发，我们提出了一种面体时空关联聚类方法（FSAC）。在面体组合模块中，利用图像的完整性，构建面体图，解决艺术创作中的夸张、变形等问题。在时空关系校正模块中，我们分析了字符的外观特征，并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
Face Identification using Local Ternary Tree Pattern based Spatial Structural Components
Asansol Engineering College（阿散索尔工程学院）；National Institute of Technology Durgapur（杜尔加普尔国家理工学院）；University of Sassari（萨萨里大学）
本文提出了一种基于局部三元树模式（LTTP）的人脸识别系统。从人脸图像中挖掘和提取不同的局部描述符在人脸识别任务中起着至关重要的作用，在各种各样的人脸图像，包括约束，无约束和整形手术图像。LTTP已被用来提取强大的和有用的空间特征，用于描述的各种结构组件的脸。为了提取特征，在每个块中为每个像素与其八个相邻像素形成三元树。LTTP模式可以以四种形式生成，诸如LTTP左深度（LTTP LD）、LTTP左宽度（LTTP LB）、LTTP右深度（LTTP RD）和LTTP右宽度（LTTP RB）。这些模式的编码方案在计算复杂度和时间复杂度方面非常简单和有效。建议的人脸识别系统进行了测试，在六个人脸数据库，即UMIST，JAFFE，扩展耶鲁面临B，整形外科，LFW和UFI。实验评估表明，考虑到在不同环境下捕获的各种人脸，最有前途的结果。所提出的基于LTTP的系统也比较了一些本地描述符在相同的条件下。
2020-07-16 cs.CV
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge（剑桥大学）；Indian Institute of Science（印度科学理工学院）
伪装人脸识别（DFI）是一个极具挑战性的问题，因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架，首先检测14个面部关键点，然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集，因此引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较，验证了该方法的有效性。
2017-08-30 cs.CV
Mugshot Identification from Manipulated Facial Images
University of Mysore（迈索尔大学）
数字图像的编辑无处不在。人脸图像的篡改识别是人脸识别系统面临的一个新挑战。在本文中，我们解决的问题，从严重改变的面部图像的人脸或人的识别。在该面部识别问题中，系统的输入是经处理或变换的面部图像，并且系统从已知个体的数据库报告所确定的身份。这样的系统可以是有用的，在mugshot识别，其中mugshot数据库包含两个视图（正面和侧面）的每个罪犯。我们认为只有正面的看法，从现有的数据库中的人脸识别和查询图像是一个操纵的脸所产生的人脸变换软件工具在线。在这种情况下，我们提出了有效的人脸识别SIFT功能。与著名的特征脸方法进行了进一步的比较分析。实验已经进行了真实情况下的图像，以评估这两种方法的性能。
2012-10-31 cs.CV cs.MM
Improved Eigenfeature Regularization for Face Identification
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
在这项工作中，我们建议使用空间划分树将每个类（一个人）划分为子类，这有助于更好地捕捉同一个人的外观所产生的个人内部差异。本文对人脸图像的类内和子类内特征谱进行了全面的分析，提出了一种新的特征谱建模方法，该方法从子类内和子类间散布矩阵中提取人脸的鉴别特征。在整个特征空间中进行鉴别评价后，提取有效的低维人脸鉴别特征用于人脸识别。在流行的人脸数据库（AR，FERET）和具有挑战性的无约束YouTube人脸数据库上的实验结果表明，我们提出的方法在所有三个数据库上的优越性。
2016-02-10 cs.CV
ForensicNet: Lightweight Attention-Enhanced MobileNetV2 for Automated Face Identification
针对法医环境中自动人脸识别难题，提出法医网络，结合MobileNetV2与CBAM增强注意力，用两阶段迁移学习策略，在公开数据集上表现优于基线架构，准确率高且计算量小，可用于实时法医监控。
2026-07-21 cs.AI cs.CV
Template Adaptation for Face Verification and Identification
Systems & Technology Research (STR)（系统与技术研究公司（STR））；Visionary Systems and Research (VSR)（远景系统与研究公司（VSR））；University of Oxford（牛津大学）
人脸识别性能评估传统上集中在一对一的验证上，通过用于图像的Wild数据集中的Labeled Faces和用于视频的YouTubeFaces数据集推广。相比之下，新发布的IJB-A人脸识别数据集将一对多人脸识别的评估与模板上的一对一人脸验证或图像和视频集统一起来。在本文中，我们研究的问题，模板适应，一种形式的迁移学习的媒体集的模板。对IJB-A的广泛性能评估显示了一个令人惊讶的结果，即也许是最简单的模板自适应方法，将深度卷积网络特征与模板特定的线性SVM相结合，远远优于最先进的方法。我们研究了模板大小、负集构造和分类器融合对性能的影响，然后将模板自适应与具有度量学习、2D和3D对齐的卷积网络进行比较。我们意外的结论是，当与模板自适应相结合时，这些其他方法在基于模板的人脸验证和识别的IJB-A上都实现了几乎相同的最高性能。
2016-04-06 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性，个人身份信息的安全和隐私成为前所未有的挑战。与此同时，先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此，重要的是要使用人脸图像，同时仔细考虑保护人们的身份。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指生成另一张具有相似外观和相同背景的图像，而真实身份被隐藏。虽然已经做出了广泛的努力，但现有的人脸去识别技术要么在照片真实性方面不足，要么无法很好地平衡隐私和实用性。在本文中，我们专注于解决这些挑战，以提高人脸去识别。我们提出了IdentityDP，这是一个将数据驱动的深度神经网络与差分隐私（DP）机制相结合的人脸匿名化框架。该框架包括三个阶段：面部表征解纠缠，$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息，保持显着的视觉相似性，并生成高质量的图像，可用于身份不可知的计算机视觉任务，如检测，跟踪等，与以往的方法不同，我们可以调整隐私和实用性的平衡，通过隐私预算根据实际需求，并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
Watchlist Challenge: 3rd Open-set Face Detection and Identification
University of Zurich（苏黎世大学）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Federal University of Paraná（巴拉那联邦大学）；Federal Police of Brazil（巴西联邦警察）；DERMALOG Identification Systems GmbH（德马逻格识别系统有限公司）
针对真实监控非受控场景人脸检测与开集识别需求，第三届Watchlist Challenge采用增强UCCS数据集和新协议评估参赛算法，发现检测能力整体稳健，闭集性能差异大、大模型预训练模型更优，开集场景仍需提升。
2024-09-11 cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology（SRM科学技术学院）；Instituto Superior Técnico, Univ. of Lisbon（里斯本大学高等技术学院）
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而，在实际情况下，经典的融合技术对个人用户和外部环境的变化响应不佳。为此，我们提出了一种新的自适应多生物特征融合策略，通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素，如视点和距离相机，在这项研究中进行了调查。大量的实验表明，与现有模型相比，该模型具有更好的性能。
2023-03-24 cs.CV
Investigating the Impact of Inclusion in Face Recognition Training Data on Individual Face Identification
University of Waterloo（滑铁卢大学）
现代人脸识别系统利用包含数十万个特定个体的面部图像的数据集来训练深度卷积神经网络，以学习将任意个体的面部映射到其身份的矢量表示的嵌入空间。人脸识别系统在人脸验证（1：1）和人脸识别（1：N）任务中的性能与嵌入空间区分身份的能力直接相关。最近，公众对MS-Celeb-1 M和MegaFace等大规模人脸识别训练数据集的来源和隐私影响进行了大量审查，因为许多人对他们的脸被用于训练双重用途技术感到不安，这些技术可以实现大规模监控。然而，一个人的列入训练数据的派生系统的能力，以识别他们的影响，以前没有研究过。在这项工作中，我们审计ArcFace，一个国家的最先进的，开源的人脸识别系统，在一个大规模的人脸识别实验超过一百万张干扰图像。我们发现，对于模型的训练数据中存在的个体，Rank-1人脸识别准确率为79.71%，对于不存在的个体，准确率为75.73%。准确性的这种适度差异表明，使用深度学习的人脸识别系统更适合他们所训练的个人，当人们考虑到所有主要的开源人脸识别训练数据集在收集过程中没有获得个人的知情同意时，这具有严重的隐私影响。
2020-01-10 cs.CV cs.CY
Privacy-preserving Optics for Enhancing Protection in Face De-identification
Universidad Industrial de Santander（桑坦德工业大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文针对软件级人脸去标识易受嗅探攻击的问题，提出硬件级隐私保护光学方法，通过学习光学编码器和回归模型获取人脸热图，并结合参考人脸生成匿名化人脸，经仿真与硬件实验验证其有效性。
2024-03-31 cs.AI cs.CR cs.CV
Rapid Face Mask Detection and Person Identification Model based on Deep Neural Networks
Aligarh Muslim University（阿里格尔穆斯林大学）
由于新冠肺炎一直在不断变异，三四个月后，一种新的变种就会出现在我们面前，它带来了更多致命的问题。防止我们感染新冠肺炎的方法是接种疫苗和戴口罩。在本文中，我们已经实现了一个新的人脸检测和识别模型，名为洞察脸，它是基于SoftMax损失分类算法弧脸损失，并将其命名为RFMPI-DNN（快速人脸检测和庇隆识别模型基于深度神经网络），以检测人脸面具和人的身份迅速相比，其他可用的模型。为了比较我们的新模型，我们使用了以前的MobileNet_V2模型和人脸识别模块，以时间为基础进行了有效的比较。该模型在系统中的实现在各个方面都优于本文所比较的模型
2021-12-18 cs.CV cs.LG
Face De-Identification: A Domain-Centric Survey from Capture to Processing
ELLIS Institute Finland（芬兰埃利斯研究所）；Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）
该综述以领域为中心，涵盖面部去识别从采集到处理的完整数据管道，系统分析各阶段方法、进展与挑战，回顾评估协议，确定开放问题与新兴方向，为该领域未来工作提供指导。
2026-07-29 cs.AI cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络，从多序列或多视角人脸图像实现人脸超分辨率，其统一的身份表示可提升行人重识别性能，效果优于现有方法。
2026-07-31 cs.CV
Face identification by means of a neural net classifier
Escuela Universitaria Politécnica de Mataró, Adscrita a la UPC（马塔罗大学理工学院，附属于加泰罗尼亚理工大学）
提出了一种将特征脸理论与神经网络相结合的人脸识别方法。我们使用的特征脸的方法，以减少输入图像的维数，和一个神经网络分类器，执行识别过程。所提出的方法在面部表情、面部细节和照明条件存在变化的情况下识别面部。识别率超过87%，而Turk和Pentland的经典方法达到75.5%。
2022-04-01 cs.CR cs.CV
Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification
Center for Artificial Intelligence (CAI), King Khalid University（哈立德国王大学人工智能中心）；College of Science and Arts, King Khalid University（哈立德国王大学文理学院）；College of Computer Science, King Khalid University（哈立德国王大学计算机科学学院）
最近一段时间的大流行带来了人的识别，即使与闭塞的面部图像非常重要的口罩使用数量的增加。本文的目的是识别人脸图像中的四种类型之一的遮挡。对各种迁移学习方法进行了测试，结果表明，具有门控递归单元（GRU）的MobileNet V2的性能优于任何其他迁移学习方法，在有或无遮挡的图像分类中具有99%的完美准确率，如果有遮挡，则是遮挡类型。并行地，完成从设备捕获的图像识别感兴趣区域。该提取的感兴趣区域用于面部识别。这样的人脸识别过程是使用ResNet模型及其Caffe实现完成的。为了减少执行时间，在识别出人脸遮挡类型之后，在注册数据库中搜索该人以确认其人脸图像。从两个同时的过程中获得的人的面部标签进行了验证，以获得其匹配分数。如果匹配分数高于90，则将识别出的人的标签与他们的姓名、面具类型、日期和识别时间一起记录到文件中。MobileNetV2是一个轻量级框架，也可用于嵌入式或物联网设备中，使用CCTV镜头在可疑的调查区域执行实时的检测和识别。当MobileNetV2与GRU相结合时，获得了可靠的精度。论文中提供的数据属于两类，要么从Google Images收集，用于遮挡分类，人脸识别和面部标志，要么在实地调查中收集。这项研究背后的动机是识别和记录个人的详细信息，可以服务于社会为基础的电子政务的监视活动。
2022-05-15 cs.CV
Demographic Fairness in Face Identification: The Watchlist Imbalance Effect
最近，不同的研究人员已经发现，人脸数据库的图库组成可以诱导性能差异的面部识别系统，其中探针图像与所有存储的参考图像进行比较，以达到生物识别决策。这种负面影响被称为“观察名单不平衡效应”。在这项工作中，我们提出了一种方法，从理论上估计所述影响的生物识别系统，其验证性能的人口群体和所使用的画廊的组成。此外，我们报告的结果不同组成的人口子集，即女性和男性，使用开源ArcFace人脸识别系统的公共学术MORPH数据库的识别实验。结果表明，数据库组成对生物特征识别系统的性能差异有巨大的影响，即使性能差异在验证方案中不太明显。这项研究代表了观察名单不平衡效应的第一次详细分析，预计这将对面部识别领域的未来研究产生很大的兴趣。
2021-06-30 cs.CV cs.CY
Neural Face Identification in a 2D Wireframe Projection of a Manifold Object
University of California, Berkeley（加州大学伯克利分校）；Manycore Tech Inc.（酷家乐科技有限公司）
在计算机辅助设计（CAD）系统中，2D线条图通常用于说明3D对象设计。为了重建由单个2D线条图描绘的3D模型，一个重要的关键是在线条图中找到与3D对象的实际面相对应的边缘环。在本文中，我们从一个新的数据驱动的角度来探讨人脸识别的经典问题。我们把它作为一个序列生成问题：从一个任意的边缘开始，我们采用流行的Transformer模型的一个变体，以自然的顺序预测与同一张脸相关联的边缘。这使我们能够避免像大多数现有方法那样使用各种手工制作的规则和算法搜索所有可能的边循环的空间，处理具有挑战性的情况，如曲面和嵌套边循环，并利用其他线索，如面类型。我们进一步讨论如何可能不完美的预测可以用于3D对象重建。
2022-03-08 cs.CV
A real-time and unsupervised face Re-Identification system for Human-Robot Interaction
Imperial College London（帝国理工学院）
在人机交互（HRI）的背景下，面部重新识别（面部重新ID）旨在验证某些检测到的面部是否已经被机器人观察到。区分不同用户的能力在社交机器人中至关重要，因为它将使机器人能够根据用户的个人偏好定制交互策略。人脸识别的研究已经取得了很大的成功，但在社会机器人中的实际应用却很少受到关注。在本文中，我们提出了一个有效的和无监督的人脸重新识别系统，同时重新识别多个人脸的HRI。该Re-ID系统采用深度卷积神经网络来提取特征，并采用在线聚类算法来确定人脸的ID。其性能在两个数据集上进行评估：TERESA机器人收集的TERESA视频数据集和YouTube人脸数据集（YTF数据集）。我们证明了优化的技术组合在TERESA数据集上实现了93.55%的总体准确率，在YTF数据集上实现了90.41%的总体准确率。我们已经实现了所提出的方法到一个软件模块中的HCI^2框架，它被进一步集成到TERESA机器人，并实现了实时的【形】性能在10~26帧/秒。
2022-03-24 cs.CV
A Deep Dive into Dataset Imbalance and Bias in Face Identification
University of YYY（YYY大学）
随着自动人脸识别（FR）系统的部署激增，这些系统中的偏见不仅仅是一个学术问题，而是一个公众关注的问题。媒体的描述往往把不平衡作为偏见的主要来源，即，FR模型在非白人或女性的图像上表现更差，因为这些人口统计群体在训练数据中代表性不足。最近的学术研究对这种关系描绘了一幅更加微妙的画面。然而，以前的研究数据不平衡的FR只集中在人脸验证设置，而人脸识别设置已在很大程度上被忽视，尽管被部署在敏感的应用，如执法。这是一个不幸的遗漏，因为“不平衡”是识别中更复杂的问题;不平衡不仅可能出现在训练数据中，而且可能出现在测试数据中，并且还可能影响属于每个人口统计组的身份的比例或属于每个身份的图像的数量。在这项工作中，我们通过深入探索面孔识别中可能存在的各种不平衡的影响来解决研究中的这一差距，并讨论在这种情况下可能影响偏见的其他因素。
2022-03-15 cs.CV cs.LG
Group-level Emotion Recognition using Transfer Learning from Face Identification
National Research University Higher School of Economics（国立研究大学高等经济学院）
在本文中，我们描述了我们的算法方法，该方法用于提交第五届野生情绪识别（Emotion Recognition in the Wild，2017）组级情绪识别子挑战赛。我们使用经过人脸识别训练的卷积神经网络提取检测到的人脸的特征向量，而不是传统的情感识别问题的预训练。在最后的管道中，学习了随机森林分类器的集合，以使用可用的训练集来预测情感得分。在没有检测到人脸的情况下，我们的集合中的一个成员从整个图像中提取特征。在我们的实验研究中，所提出的方法显示出最低的出错率相比，其他探索的技术。特别是，我们在验证数据上实现了75.4%的准确率，比基于手工特征的基线高出20%。使用Keras框架的源代码是公开的。
2017-10-30 cs.CV
Gallery Sampling for Robust and Fast Face Identification
kakaoenterprise corp.（Kakao企业公司）
针对人脸识别画廊数据中的异常值问题，提出剪枝和生成采样方法，在5.4M数据集上显著提升识别性能并减少搜索时间。
2023-05-12 cs.AI cs.CV cs.LG
Medical Manifestation-Aware De-Identification
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
针对医学场景人脸去识别研究不足，本文构建含超4万张患者人脸的数据集MeMa并建立基准，提出整合医学语义先验的基线方法，性能显著优于先前方法。
2024-12-14 cs.AI cs.CV
Towards A Comprehensive Visual Saliency Explanation Framework for AI-based Face Recognition Systems
EPFL（洛桑联邦理工学院）
本文提出面向人脸验证与辨识的综合视觉显著性解释框架，设计模型无关方法CorrRISE以揭示人脸图像间的相似和差异区域，并建立定量评估方法，实验证明其优于现有方法。
2024-07-08 cs.AI cs.CV
MGFace: Mask-Gated Face Matching via Conditional Similarity Routing
UIT
研究针对口罩遮挡下面部识别准确率下降问题，提出MGFace掩码门控面部识别管道，通过预测掩码状态有条件地路由相似性计算，区分不同情况处理，实验表明其能高效提升准确率，降低查询时间。
2026-07-16 cs.CV
PetFace: A Large-Scale Dataset and Benchmark for Animal Identification
Kyoto University（京都大学）；The University of Tokyo（东京大学）
本文提出PetFace，一个包含257,484个个体、13个科和319个品种的大规模动物面部识别数据集及基准，支持已见个体重识别和未见个体验证，显著提升识别性能。
2024-08-20 cs.CV
De-identification without losing faces
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
用于计算机视觉的深度学习模型的训练需要来自真实世界的大型图像或视频数据集。通常，在收集此类数据集时，我们需要保护图像或视频中捕获的人的隐私，同时仍然保留有用的属性，如面部表情。在这项工作中，我们描述了一种新的人脸去识别方法，可以保持基本的面部属性的脸，同时隐藏身份。我们的方法利用了人脸属性转移模型的最新进展，同时保持了较高的视觉质量。我们的方法不是改变原始面孔的因素或完全合成面孔，而是使用经过训练的面部属性转移模型将非身份相关的面部属性映射到捐赠者的面部，捐赠者是少数（通常为2到3个）同意的受试者。使用供体的面部确保合成面部的自然外观，同时确保合成面部的身份被改变。另一方面，FATM将捐赠者的面部属性与原始面部的面部属性混合以使合成面部的外观多样化。在多组图像和视频上的实验结果证明了该算法的有效性。
2019-02-12 cs.CV cs.CY cs.LG
Face Recognition with Machine Learning in OpenCV_ Fusion of the results with the Localization Data of an Acoustic Camera for Speaker Identification
Ostbayerische Technische Hochschule Regensburg（雷根斯堡东巴伐利亚技术大学）
研究利用OpenCV机器学习进行人脸识别，追踪面部与声源位置后融合数据，实现对场景精确实时描述，为多通道语音增强等应用提供支持。
2026-07-28 cs.CV cs.LG
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；Université Laval（拉瓦尔大学）
尽管深度人脸识别（DFR）系统取得了重大进展，但在特定约束条件下引入新的DFR（如姿态变化）仍然是一个巨大的挑战。最特别地，由于人类头部的3D性质，当被投影到相机图像平面时，相同对象的面部外观引入了高的类内可变性。在本文中，我们提出了一种新的多视图深度人脸识别（MVDFR）系统来解决上述挑战。在这种情况下，每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中，该深度神经网络具有独特的设计，以在单个和更紧凑的面部描述符中重新表达面部特征，这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像，我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明，我们提出的方法产生了99.8%的准确率，而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学（IUST）的人脸数据库，其中包含504名受试者的6552张图像，以完成我们的实验。
2020-01-22 cs.CV
Web-Scale Training for Face Identification
Facebook AI Research（Facebook人工智能研究院）；Tel Aviv University（特拉维夫大学）
近年来，将机器学习方法扩展到非常大的数据集已经引起了相当大的关注，这要归功于从网络上轻松访问无处不在的传感和数据。我们研究了人脸识别，并表明三个不同的属性对深度卷积网络（CNN）的可转移性有令人惊讶的影响：（1）网络的瓶颈是一个重要的迁移学习正则化器，（2）与常见的智慧相反，性能饱和可能存在于CNN的（随着训练样本数量的增长）;我们提出了一种解决方案，通过用自举过程代替训练集的天真随机子采样来缓解这一问题。此外，（3）我们发现了表征规范与目标域中的区分能力之间的联系，这揭示了此类网络如何表征人脸。基于这些发现，我们能够在广泛使用的LFW基准测试中提高人脸识别的准确性，无论是在验证（1：1）还是识别（1：N）协议中，并首次直接与最先进的商用现成系统进行比较，并在性能上显示出相当大的飞跃。
2015-04-18 cs.CV
On effective human robot interaction based on recognition and association
INDIAN INSTITUTE OF INFORMATION TECHNOLOGY, ALLAHABAD（印度理工学院阿拉哈巴德分校）
人脸在人类与机器人的互动中扮演着重要的角色，就像它们在我们的日常生活中一样。人类思维的固有能力有助于我们通过利用人脸识别中涉及的各种挑战（例如不良照明、遮挡、姿势变化等）来识别人。但是，由人形机器人识别人脸在自然界中是一个非常复杂的任务。人脸生物特征识别在结构化环境下解决身份识别问题的研究文献非常丰富。但人脸生物识别技术在移动机器人中的应用受到限制，因为它不能在不均匀的环境中产生准确的识别。现有的人脸识别问题已经解决了我们提出的组件为基础的碎片人脸识别框架。所提出的框架只使用了一个子集的完整的脸，如眼睛，鼻子和嘴来识别一个人。它的搜索成本低，令人鼓舞的准确性和能力，以应对各种挑战的人脸识别提供了其适用性的人形机器人。人脸识别中的第二个问题是人脸欺骗，其中人脸识别系统无法区分人和冒名顶替者（真实用户的照片/视频）。当机器人被用作机器人时，这个问题将变得更加有害。我们在研究工作中研究了一种深度分析方法来测试冒名顶替者的活跃度，以将他们与合法用户区分开来。先前获得的技术的含义已被用于刑事识别与NAO机器人。目击者可以通过用户界面与NAO交互。NAO会询问嫌疑人的几个问题，如年龄、身高、面部形状和大小等，然后猜猜她/他的脸
2018-12-08 cs.AI cs.CV
Mask-up: Investigating Biases in Face Re-identification for Masked Faces
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Straumman Group（士卓曼集团）
本文审计了 13 个商业与开源人脸识别系统在蒙面人脸再识别任务中的表现，发现其准确率低且对非白人群体偏差严重，呼吁重新审视 FRS 设计原则。
2024-02-21 cs.AI cs.CV cs.CY
Face Identification with Second-Order Pooling
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；The Australian Center for Visual Technologies（澳大利亚视觉技术中心）；The University of Queensland（昆士兰大学）
通过开发专门的面部图像表示，自动面部识别已经获得了显着的性能改进。另一方面，通用对象识别很少应用于人脸识别。空间金字塔池的特征编码的过完备的字典已经成为许多国家的最先进的图像分类系统的关键组成部分。受其成功的启发，在这项工作中，我们开发了一种新的人脸图像表示方法，其灵感来自Carreira等人的二阶池。[1]，最初是为了图像分割而提出的。该方法与以往方法的不同之处在于，我们编码密集提取的局部补丁的一个小尺寸的字典，和面部图像签名获得通过池的二阶统计的编码特征。我们展示了池化对编码特征的重要性，这是由原始的二阶池化方法绕过的，以避免高计算成本。配备了一个简单的线性分类器，所提出的方法优于国家的最先进的人脸识别性能的大幅度。例如，在LFW数据库上，所提出的方法比以前的最佳方法的准确率高出约13%。
2014-09-17 cs.CV
RID-TWIN: An end-to-end pipeline for automatic face de-identification in videos
IIITB（印度信息技术研究所班加罗尔分校）；MINRO center（MINRO中心）
提出RID-Twin流水线，利用生成模型解耦身份与运动，实现视频人脸自动去识别，并在VoxCeleb2及自定义数据集上验证，兼顾真实性与时间连贯性。
2024-03-15 cs.CV
Toward Open-Set Face Recognition
Vision and Security Technology Lab, University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校视觉与安全技术实验室）
在人脸识别和人脸验证方面已经进行了大量的研究，其中对后者的关注更大。人脸识别的研究主要集中在使用闭集协议，它假设在评估中使用的所有探头图像包含在画廊中注册的受试者的身份。然而，在真实系统中，只有一小部分探针样本身份被登记在图库中，不能做出这种闭集假设。相反，它们必须假设一组开放的探针样本，并且能够拒绝/忽略那些对应于未知身份的探针样本。在本文中，我们通过制定开放集人脸识别协议并评估评估相似性的不同策略，解决了人们普遍存在的误解，即对类似验证的分数进行阈值化是解决开放集人脸识别问题的好方法。我们的开集识别协议是基于野生（LFW）数据集的规范标记的面孔。除了已知的身份，我们还将已知的未知数（已知但不感兴趣的人）和未知的未知数（从未见过的人）的概念引入生物识别社区。我们比较了三种算法在开集协议下评估深特征空间中的相似性：阈值验证类得分，线性判别分析（LDA）得分和极值机（EVM）概率。我们的研究结果表明，阈值EVM概率，这是开放式的设计，优于阈值验证类分数。
2017-05-19 cs.CV
Face Identification and Clustering
Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））
在这篇论文中，我们研究了两个基于聚类算法的问题。在第一个问题中，我们研究的视觉属性的作用，使用凝聚聚类算法削减搜索区域的类的数量是高的，以提高聚类的性能。我们观察到，随着我们添加更多的属性，聚类性能总体上会提高。在第二个问题中，我们研究了聚类在1：N开集协议中聚合模板的作用，使用多镜头视频作为探针。我们观察到，通过增加集群的数量，性能相对于基线增加，并达到峰值，之后增加集群的数量会导致性能下降。使用最近推出的无约束IARPA Janus IJB-A，CS2和CS3人脸识别数据集进行实验。
2017-04-26 cs.CV
Robust and Low-Rank Representation for Fast Face Identification with Occlusions
Northwestern University（西北大学）；TCL Research America（TCL 美国研究院）；Universidad de Granada（格拉纳达大学）
在本文中，我们提出了一个迭代法，以解决人脸识别问题与块遮挡。我们的方法利用基于两个特征的鲁棒表示，以便对连续错误（例如，阻塞阻塞）有效地。第一个拟合误差分布所描述的定制损失函数。第二种描述了具有特定结构的错误图像（导致与图像大小相比的低秩）。我们将证明，这种联合表征是有效的空间连续性描述错误。我们的方法是计算效率，由于利用交替方向乘法（ADMM）。我们的快速迭代算法的一个特殊情况导致了鲁棒的表示方法，该方法通常用于处理非连续错误（例如，像素损坏）。在有代表性的人脸数据库（在约束和无约束的环境中）上的广泛结果证明了我们的方法在识别率和计算时间方面优于现有的鲁棒表示方法的有效性。代码可以在Github上找到，在那里你可以找到F-LR-IRNNLS和F-IRNNLS（RRC的快速版本）的实现：https://github.com/miliadis/FIRC
2017-11-11 cs.CV
HYDRO: Towards Non-Reversible Face De-Identification Using a High-Fidelity Hybrid Diffusion and Target-Oriented Approach
HYDRO结合目标导向模型与扩散过程，通过注入噪声并恢复，实现不可逆的高保真人脸去识别，平均降低85.7%重建攻击成功率。
2026-09-24 cs.CV
