Hybrid Score- and Rank-level Fusion for Person Identification using Face and ECG Data
University of Calgary（卡尔加里大学）
单模态识别系统容易受到传感器数据汇集中的错误的影响，因此更有可能错误识别主体。例如，仅依赖RGB人脸相机的数据可能会在光线不足的环境中或主体不面对相机时导致问题。其他识别方法（如心电图（ECG））存在导线与皮肤连接不正确的问题。通过融合从这两个模型中收集的信息，最大限度地减少了识别错误。本文提出了一种方法，结合面部和心电图数据的识别结果，使用BioVid热痛数据库的A部分，包含同步RGB视频和心电图数据87个主题。使用10倍交叉验证，人脸识别的准确率为98.8%，而ECG识别的准确率为96.1%。通过融合方法，识别准确率提高到99.8%。我们提出的方法允许识别精度显着提高使用不同的脸和心电图模型，具有非重叠的方式。
2020-08-07 cs.CV
Face Recognition with Machine Learning in OpenCV_ Fusion of the results with the Localization Data of an Acoustic Camera for Speaker Identification
Ostbayerische Technische Hochschule Regensburg（雷根斯堡东巴伐利亚技术大学）
研究利用OpenCV机器学习进行人脸识别，追踪面部与声源位置后融合数据，实现对场景精确实时描述，为多通道语音增强等应用提供支持。
2026-07-28 cs.CV cs.LG
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Leveraging the Power of Gabor Phase for Face Identification: A Block Matching Approach
KTH, Royal Institute of Technology（瑞典皇家理工学院）
与人脸验证不同，人脸识别的要求要高得多。为了达到类似的性能，标识符需要比验证器好大约N倍。为了期待人脸识别的突破，我们需要重新审视人脸识别的基本组成部分。在本文中，我们专注于选择一个合适的信号表示和更好的匹配策略，人脸识别。我们演示了如何利用Gabor相位，以提高性能的人脸识别，通过使用块匹配方法。与现有的方法相比，该方法具有算法复杂度低得多的特点：人脸图像只需要一个单尺度的Gabor滤波器对进行滤波，并且在任意一对人脸图像之间进行匹配，而不需要任何训练过程。基准评估表明，所提出的方法是完全可比的，甚至比国家的最先进的算法，这是典型的基于更多的功能提取的一个大的Gabor人脸集和/或依赖于繁重的训练过程。
2015-06-15 cs.CV
Privacy-Protective-GAN for Face De-identification
Temple University（天普大学）
随着图像源的爆炸性增长和易于访问，人脸去识别变得越来越重要。新的人脸识别技术的发展也引起了人们对隐私泄露的关注。主流的人脸去识别流程大多基于k-same框架，存在效率低、视觉效果差等缺点。在本文中，我们提出了一个新的框架，称为隐私保护GAN（PP-GAN），适应GAN与新的验证器和调节器模块专门设计的人脸去识别问题，以确保根据一个单一的输入生成去识别的输出与保留的结构相似性。我们评估所提出的方法在隐私保护，效用保存，和结构相似性。我们的方法不仅优于现有的人脸去识别技术，但也提供了一个实用的框架，适应GAN与领域知识的先验。
2018-06-23 cs.CV
A Deep Face Identification Network Enhanced by Facial Attributes Prediction
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个新的深度框架，预测面部属性，并利用它作为一个软模态，以提高人脸识别性能。我们的模型是一个端到端的框架，它由一个卷积神经网络（CNN）组成，其输出被分成两个独立的分支;第一个分支预测面部属性，而第二个分支识别面部图像。与现有的多任务方法只使用共享的CNN特征空间来联合训练这两个任务相反，我们将预测属性与来自人脸模态的特征相融合，以提高人脸识别性能。实验结果表明，我们的模型带来的好处，人脸识别以及面部属性的预测性能，特别是在身份的面部属性，如性别预测的情况下。我们在两个由身份和面部属性注释的标准数据集上测试了我们的模型。实验结果表明，该模型优于目前大多数现有的人脸识别和属性预测方法。
2018-04-20 cs.CV
Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined
School of Behavioral and Brain Sciences（行为与脑科学学院）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）；UMIACS（马里兰大学信息与计算机科学学院）；University of Maryland（马里兰大学）
为人脸识别而训练的深度卷积神经网络（DCNN）开发了在可变图像上泛化的表示，同时保留主题（例如，性别）和图像（例如，观点）信息。身份，性别和观点代码进行了研究，在“神经元”和合奏水平的人脸识别网络。在单元级别，识别，性别分类和观点估计通过删除单元来测量，以在顶部网络层创建可变大小的随机采样子空间。随着维度从512个单位降低到16（0.95）、4（0.80）和2（0.72）个单位，3，531个身份的识别率仍然很高（ROC下的面积约为1.0）。每个顶层单元上的个人身份都是统计分离的。跨单位的反应是最低限度的相关性，表明单位代码非冗余的身份线索。这种“分布式”代码只需要稀疏的随机样本就可以准确地识别人脸。随着维度的减少，性别分类逐渐下降，观点估计急剧下降。个别单位弱预测性别和观点，但合奏证明有效的预测。因此，分布式和稀疏码共存于网络单元中，以表示不同的人脸属性。在集成水平上，人脸表征的主成分分析表明，身份，性别和观点信息分离到高维子空间，解释方差排序。身份，性别和观点信息有助于所有个人单位的反应，削弱了面部属性的神经调节类比。从DCNN解释神经类代码，并通过类比，高级视觉代码，不能从单个单元响应推断。相反，“意义”是由高维空间中的方向编码的。
2020-03-01 cs.CV cs.LG
How important are faces for person re-identification?
Insight SFI Research Centre for Data Analytics（Insight科学基金会数据 analytics研究中心）；Dublin City University（都柏林城市大学）
本文研究了现有的国家的最先进的人的重新识别模型的存在和可见性的人脸的依赖。我们应用人脸检测和模糊算法来创建几个流行的人重新识别数据集的匿名版本，包括Market 1501，DukeMTMC-reID，CUHK 03，Viper和Airport。使用现有的最先进的模型，范围在准确性和计算效率的横截面，我们使用标准指标评估这种匿名化对重新识别性能的影响。也许令人惊讶的是，对mAP的影响非常小，并且通过简单地训练数据的匿名版本而不是原始数据来恢复准确性。这些发现在多个模型和数据集上是一致的。这些结果表明，数据集可以通过模糊面部来安全地匿名化，而不会显著影响人员重新识别系统的性能，并且可以允许在以前存在隐私或数据保护问题的情况下发布新的更丰富的重新识别数据集。
2020-10-13 cs.AI cs.CV cs.LG
Additional Baseline Metrics for the paper "Extended YouTube Faces: a Dataset for Heterogeneous Open-Set Face Identification"
Media Integration and Communication Center (MICC)（媒体整合与传播中心（MICC））；University of Florence（佛罗伦萨大学）
在本报告中，我们为论文“扩展的YouTube面孔：异质开放集人脸识别数据集”提供了额外的和更正的结果。经过进一步调查，我们发现并纠正了错误标记的图像和不正确的身份。这迫使我们重新生成新数据的评估协议;在此过程中，我们还使用文献中使用的其他标准度量和措施复制和扩展了实验结果。读者可以参考原始论文，了解有关数据汇集过程和识别管道的其他详细信息。
2019-02-11 cs.CV
Deep Learning Face Representation by Joint Identification-Verification
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
人脸识别的关键挑战是开发有效的特征表示，以减少个人内部的差异，同时扩大人与人之间的差异。在本文中，我们表明，它可以很好地解决深度学习和使用人脸识别和验证信号作为监督。深度识别验证功能（DeepID 2）是通过精心设计的深度卷积网络学习的。人脸识别任务通过将从不同身份提取的DeepID 2分开来增加人与人之间的差异，而人脸验证任务通过将从同一身份提取的DeepID 2拉在一起来减少人与人之间的差异，这两者对于人脸识别都是必不可少的。学习的DeepID 2特征可以很好地推广到训练数据中看不到的新身份。在具有挑战性的LFW数据集上，实现了99.15%的人脸验证准确率。与LFW上最好的深度学习结果相比，出错率大幅降低了67%。
2014-06-18 cs.CV
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
Mugshot Identification from Manipulated Facial Images
University of Mysore（迈索尔大学）
数字图像的编辑无处不在。人脸图像的篡改识别是人脸识别系统面临的一个新挑战。在本文中，我们解决的问题，从严重改变的面部图像的人脸或人的识别。在该面部识别问题中，系统的输入是经处理或变换的面部图像，并且系统从已知个体的数据库报告所确定的身份。这样的系统可以是有用的，在mugshot识别，其中mugshot数据库包含两个视图（正面和侧面）的每个罪犯。我们认为只有正面的看法，从现有的数据库中的人脸识别和查询图像是一个操纵的脸所产生的人脸变换软件工具在线。在这种情况下，我们提出了有效的人脸识别SIFT功能。与著名的特征脸方法进行了进一步的比较分析。实验已经进行了真实情况下的图像，以评估这两种方法的性能。
2012-10-31 cs.CV cs.MM
Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning
Yonsei University（延世大学）
在本文中，我们专注于解决开集人脸识别问题的Few-Shot画廊微调。该问题假设了一个现实的情况下，人脸识别，只有少量的人脸图像是为了注册和任何未知的身份必须在识别过程中被拒绝。我们观察到，在大型数据集上预训练的人脸识别模型和天真的微调模型在这项任务中表现不佳。出于这个问题，我们提出了一个有效的微调方案与分类器的权重印记和独家BatchNorm层调整。为了进一步提高拒绝未知身份的准确性，我们提出了一种新的匹配称为邻域余弦（NAC），计算相似性的基础上的邻域信息。我们验证了所提出的方案的有效性，彻底的大规模人脸基准在不同的卷积神经网络架构。该项目的源代码可在以下网址获得：https://github.com/1ho0jin1/OSFI-by-FineTuning
2023-01-05 cs.CV
A Fast and Accurate System for Face Detection, Identification, and Verification
University of Maryland, College Park（马里兰大学帕克分校）
大型注释数据集的可用性和负担得起的计算能力使得CNN在各种目标检测和识别基准上的性能得到了令人印象深刻的改善。这些，以及对深度学习方法的更好理解，也提高了机器对人脸的理解能力。CNN能够检测面部，定位面部标志，估计姿势，并在不受约束的图像和视频中识别面部。在本文中，我们描述了用于无约束人脸识别和验证的深度学习管道的细节，该管道在几个基准数据集上实现了最先进的性能。本文提出了一种新的人脸检测器--深度金字塔Single Shot人脸检测器（DPSSD），它能够快速地检测具有大尺度变化的人脸（尤其是微小人脸）。我们给出了自动人脸识别中所涉及的各个模块的设计细节：人脸检测，地标定位和对齐，以及人脸识别/验证。我们提供了具有挑战性的无约束人脸检测数据集上的人脸检测器的评估结果。然后，我们给出了IARPA Janus基准A，B和C（IJB-A，IJB-B，IJB-C）以及Janus挑战集5（CS5）的实验结果。
2018-09-20 cs.CV
Watch Out for the Confusing Faces: Detecting Face Swapping with the Probability Distribution of Face Identification Models
Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）
最近，人脸交换发展迅速，并取得了令人惊讶的现实，引发了对虚假内容的担忧。作为对策，已经提出了各种检测方法，并取得了良好的性能。然而，大多数现有的检测器都很难在看不见的人脸交换方法和低质量图像上保持性能。除了泛化问题，目前的检测方法已被证明容易受到规避攻击的检测感知操纵。在敌对场景下缺乏鲁棒性给人脸交换检测在现实世界中的应用带来了威胁。在本文中，我们提出了一种新的人脸交换检测方法的基础上，人脸识别概率分布，创造了IdP_FSD，以提高泛化能力和鲁棒性。IdP_FSD是专门为检测身份属于有限集合的交换面孔而设计的，这在现实世界的应用中是有意义的。与以往的一般检测方法相比，我们利用现有的真实人脸与有关的身份和不需要假样本的训练。IdP_FSD利用面孔交换的共同性质，即交换面孔的身份组合了交换中涉及的两个面孔的身份。我们用人脸识别模型的混淆度来反映这种性质，并用输出概率分布的最大值来度量混淆度。更重要的是，为了在敌对场景下保护我们的检测器，提出了一种基于注意力的微调方案用于IdP_FSD中使用的人脸识别模型。大量的实验表明，所提出的IdP_FSD不仅实现了不同的基准数据集和图像质量的高检测性能，但也提高了酒吧的机械手逃避检测。
2023-03-23 cs.CV
Face Identification by SIFT-based Complete Graph Topology
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Sassari（萨萨里大学）
本文提出了一种基于从人脸图像中提取的SIFT特征的图匹配技术的人脸识别系统。虽然SIFT特征已经成功地用于一般的目标检测和识别，但直到最近才被应用于人脸识别。本文进一步研究了基于SIFT特征的图匹配拓扑的身份识别技术的性能，SIFT特征具有旋转、缩放和平移不变性。图像上的人脸投影，由一个图形表示，可以匹配到新的图像，通过最大化的相似性函数，考虑到空间失真和局部特征的相似性。研究了两种基于图的匹配技术，以处理错误的配对分配和减少特征的数量，以找到数据库和查询面SIFT特征之间的最佳特征集。在BANCA数据库上的实验结果表明了该系统的有效性。
2010-02-02 cs.AI cs.CV
Reconstructing A Large Scale 3D Face Dataset for Deep 3D Face Identification
深度学习方法为计算机视觉带来了许多突破，特别是在2D人脸识别方面。然而，基于深度学习的3D人脸识别的瓶颈在于，无论是对工业界还是学术界来说，都很难收集到数以百万计的3D人脸。针对这种情况，有很多方法通过三维人脸数据增强，从现有的三维人脸生成更多的三维人脸，用于训练深度三维人脸识别模型。然而，据我们所知，目前还没有从2D人脸图像生成3D人脸的方法来训练深度3D人脸识别模型。这封信的重点是重建的三维人脸表面在三维人脸识别中的作用，并提出了一个框架的二维辅助深度三维人脸识别。特别是，我们建议使用基于深度学习的3D人脸重建方法（即ExpNet）从大规模2D人脸数据库（即VGGFace 2）重建数百万个3D人脸扫描。然后，我们采用两阶段训练方法：在第一阶段，我们使用数百万张人脸图像来预训练深度卷积神经网络（DCNN），在第二阶段，我们使用重建的3D人脸扫描的正常分量图像（NCI）来训练DCNN。大量的实验结果表明，所提出的方法可以大大提高排名-1得分的三维人脸识别FRGC v2. 0，博斯普鲁斯海峡，和BU-3DFE三维人脸数据库，相比，由2D人脸图像训练的模型。最后，我们提出的方法在FRGC v2.0（97.6%），Bosphorus（98.4%）和BU-3DFE（98.8%）数据库上实现了最先进的rank-1评分。实验结果表明，重建的三维人脸表面是有用的，我们的二维辅助深度三维人脸识别框…
2022-06-12 cs.AI cs.CV
SPOT-Face: Forensic Face Identification using Attention Guided Optimal Transport
Vision Intelligence and Machine Learning (VIML) Group（视觉智能与机器学习组）；School of Computing and Electrical Engineering (SCEE)（计算与电气工程学院）；Indian Institute of Technology Mandi (IIT Mandi)（印度理工学院曼迪分校）
SPOT-Face通过注意力引导最优传输机制，实现跨域法医面部识别，提升骨骼和草图与面部的匹配效果。
2026-01-14 cs.CV
Deep 3D Face Identification
我们提出了一种新的三维人脸识别算法，使用深度卷积神经网络（DCNN）和三维增强技术。通过利用深度神经网络的表征能力和使用大规模标记的训练数据，2D人脸识别算法的性能显著提高。与2D人脸识别相反，由于缺乏大规模的3D人脸数据集，训练用于3D人脸识别的区分性深度特征非常困难。在本文中，我们表明，从2D人脸图像上训练的CNN的迁移学习可以通过使用相对较少的3D人脸扫描来微调CNN，从而有效地进行3D人脸识别。我们还提出了一种3D人脸增强技术，该技术从单个3D人脸扫描中合成了许多不同的面部表情。我们提出的方法在博斯普鲁斯海峡，BU-3DFE和3D-TEC数据集上显示出出色的识别结果，而无需使用手工制作的功能。使用我们的深度特征的3D识别也可以很好地扩展到大型数据库。
2017-03-30 cs.CV
Unsupervised Manga Character Re-identification via Face-body and Spatial-temporal Associated Clustering
Wuhan University（武汉大学）；Peking University（北京大学）
在过去的几年里，电子漫画（电子日本式漫画）有了戏剧性的增长。面对漫画研究的需求和大量未标注的漫画数据，我们提出了一个新的课题，称为无监督漫画人物再识别。然而，漫画的艺术表现力和文体局限性给重新认同问题带来了诸多挑战。受一些与内容相关的特征可能有助于聚类的思想的启发，我们提出了一种面体时空关联聚类方法（FSAC）。在面体组合模块中，利用图像的完整性，构建面体图，解决艺术创作中的夸张、变形等问题。在时空关系校正模块中，我们分析了字符的外观特征，并设计了一个时空相关的三元组损失来微调聚类。在一个109卷的漫画书数据集上进行的大量实验验证了该方法在无监督漫画角色重识别中的优越性。
2022-04-10 cs.CV
FLUID: Training-Free Face De-identification via Latent Identity Substitution
Kyungpook National University（庆尚国立大学）
FLUID通过在预训练扩散模型的潜在空间中直接替换身份特征，实现了无需训练的面部去标识化，有效平衡了身份抑制与属性保持。
2026-01-06 cs.AI cs.CV
Face Identification using Local Ternary Tree Pattern based Spatial Structural Components
Asansol Engineering College（阿散索尔工程学院）；National Institute of Technology Durgapur（杜尔加普尔国家理工学院）；University of Sassari（萨萨里大学）
本文提出了一种基于局部三元树模式（LTTP）的人脸识别系统。从人脸图像中挖掘和提取不同的局部描述符在人脸识别任务中起着至关重要的作用，在各种各样的人脸图像，包括约束，无约束和整形手术图像。LTTP已被用来提取强大的和有用的空间特征，用于描述的各种结构组件的脸。为了提取特征，在每个块中为每个像素与其八个相邻像素形成三元树。LTTP模式可以以四种形式生成，诸如LTTP左深度（LTTP LD）、LTTP左宽度（LTTP LB）、LTTP右深度（LTTP RD）和LTTP右宽度（LTTP RB）。这些模式的编码方案在计算复杂度和时间复杂度方面非常简单和有效。建议的人脸识别系统进行了测试，在六个人脸数据库，即UMIST，JAFFE，扩展耶鲁面临B，整形外科，LFW和UFI。实验评估表明，考虑到在不同环境下捕获的各种人脸，最有前途的结果。所提出的基于LTTP的系统也比较了一些本地描述符在相同的条件下。
2020-07-16 cs.CV
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge（剑桥大学）；Indian Institute of Science（印度科学理工学院）
伪装人脸识别（DFI）是一个极具挑战性的问题，因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架，首先检测14个面部关键点，然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集，因此引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较，验证了该方法的有效性。
2017-08-30 cs.CV
DeepFace-EMD: Re-ranking Using Patch-wise Earth Mover's Distance Improves Out-Of-Distribution Face Identification
Auburn University（奥本大学）；Carnegie Mellon University（卡内基梅隆大学）
人脸识别（FI）无处不在，并推动执法部门做出许多高风险决策。最先进的FI方法通过在它们的图像嵌入之间取余弦相似性来比较两个图像。然而，这样的方法遭受到对新类型的图像（例如，当查询面部被掩蔽、裁剪或旋转时）不包括在训练集或图库中。在这里，我们提出了一个重新排名的方法，比较两个面孔使用地球移动器的距离上的深，图像补丁的空间特征。我们额外的比较阶段明确地在细粒度级别上检查图像相似性（例如，眼睛对眼睛），并且比传统FI对OOD扰动和遮挡更鲁棒。有趣的是，在没有微调特征提取器的情况下，我们的方法始终如一地提高了所有测试的OOD查询的准确性：掩蔽，裁剪，旋转和对抗，同时在分发图像上获得类似的结果。
2022-03-25 cs.CV cs.IR cs.LG
Improved Eigenfeature Regularization for Face Identification
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
在这项工作中，我们建议使用空间划分树将每个类（一个人）划分为子类，这有助于更好地捕捉同一个人的外观所产生的个人内部差异。本文对人脸图像的类内和子类内特征谱进行了全面的分析，提出了一种新的特征谱建模方法，该方法从子类内和子类间散布矩阵中提取人脸的鉴别特征。在整个特征空间中进行鉴别评价后，提取有效的低维人脸鉴别特征用于人脸识别。在流行的人脸数据库（AR，FERET）和具有挑战性的无约束YouTube人脸数据库上的实验结果表明，我们提出的方法在所有三个数据库上的优越性。
2016-02-10 cs.CV
Toward Face Biometric De-identification using Adversarial Examples
Universidad Autonoma de Madrid（马德里自治大学）；University of Twente（特文特大学）
人脸识别（FR）的巨大成功已经危及互联网用户的隐私，特别是在社交媒体上。最近，研究人员转向使用对抗性例子作为对策。在本文中，我们评估了使用两种广为人知的对抗方法（BIM和ILLC）去识别个人图像的有效性。我们发现，与文献中先前的声明不同，要获得对人类视觉系统具有不可感知的对抗性扰动的高保护成功率（抑制识别率）并不容易。最后，我们发现对抗性示例的可移植性受到生成它们的网络的训练参数的高度影响。
2023-02-07 cs.CR cs.CV cs.LG
Live Face De-Identification in Video
Facebook AI Research（脸书人工智能研究院）；Tel-Aviv University（特拉维夫大学）
我们提出了一种人脸去识别的方法，使全自动视频修改在高帧速率。我们的目标是最大限度地去相关的身份，同时有固定的感知（姿势，照明和表情）。我们通过一种新颖的前馈编码器-解码器网络架构来实现这一点，该架构以人的面部图像的高级表示为条件。该网络是全球性的，从某种意义上说，它不需要针对给定的视频或给定的身份进行重新训练，并且它可以创建自然的图像序列，并且在时间上几乎没有失真。
2019-11-19 cs.CV cs.GR cs.LG
Privacy-preserving Optics for Enhancing Protection in Face De-identification
Universidad Industrial de Santander（桑坦德工业大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文针对软件级人脸去标识易受嗅探攻击的问题，提出硬件级隐私保护光学方法，通过学习光学编码器和回归模型获取人脸热图，并结合参考人脸生成匿名化人脸，经仿真与硬件实验验证其有效性。
2024-03-31 cs.AI cs.CR cs.CV
Template Adaptation for Face Verification and Identification
Systems & Technology Research (STR)（系统与技术研究公司（STR））；Visionary Systems and Research (VSR)（远景系统与研究公司（VSR））；University of Oxford（牛津大学）
人脸识别性能评估传统上集中在一对一的验证上，通过用于图像的Wild数据集中的Labeled Faces和用于视频的YouTubeFaces数据集推广。相比之下，新发布的IJB-A人脸识别数据集将一对多人脸识别的评估与模板上的一对一人脸验证或图像和视频集统一起来。在本文中，我们研究的问题，模板适应，一种形式的迁移学习的媒体集的模板。对IJB-A的广泛性能评估显示了一个令人惊讶的结果，即也许是最简单的模板自适应方法，将深度卷积网络特征与模板特定的线性SVM相结合，远远优于最先进的方法。我们研究了模板大小、负集构造和分类器融合对性能的影响，然后将模板自适应与具有度量学习、2D和3D对齐的卷积网络进行比较。我们意外的结论是，当与模板自适应相结合时，这些其他方法在基于模板的人脸验证和识别的IJB-A上都实现了几乎相同的最高性能。
2016-04-06 cs.CV
IdentityDP: Differential Private Identification Protection for Face Images
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61
由于人脸照片的爆炸式增长以及其在社交媒体上的广泛传播和易获取性，个人身份信息的安全和隐私成为前所未有的挑战。与此同时，先进的身份不可知计算机视觉技术所带来的便利也是引人注目的。因此，重要的是要使用人脸图像，同时仔细考虑保护人们的身份。给定一张人脸图像，人脸去识别，也称为人脸匿名化，是指生成另一张具有相似外观和相同背景的图像，而真实身份被隐藏。虽然已经做出了广泛的努力，但现有的人脸去识别技术要么在照片真实性方面不足，要么无法很好地平衡隐私和实用性。在本文中，我们专注于解决这些挑战，以提高人脸去识别。我们提出了IdentityDP，这是一个将数据驱动的深度神经网络与差分隐私（DP）机制相结合的人脸匿名化框架。该框架包括三个阶段：面部表征解纠缠，$ε$ -IdentityDP扰动和图像重建。我们的模型可以有效地混淆人脸的身份相关信息，保持显着的视觉相似性，并生成高质量的图像，可用于身份不可知的计算机视觉任务，如检测，跟踪等，与以往的方法不同，我们可以调整隐私和实用性的平衡，通过隐私预算根据实际需求，并提供了一个没有预先注释的结果的多样性。大量的实验证明了我们提出的匿名化框架的有效性和推广能力。
2021-03-02 cs.CV
Watchlist Challenge: 3rd Open-set Face Detection and Identification
University of Zurich（苏黎世大学）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Federal University of Paraná（巴拉那联邦大学）；Federal Police of Brazil（巴西联邦警察）；DERMALOG Identification Systems GmbH（德马逻格识别系统有限公司）
针对真实监控非受控场景人脸检测与开集识别需求，第三届Watchlist Challenge采用增强UCCS数据集和新协议评估参赛算法，发现检测能力整体稳健，闭集性能差异大、大模型预训练模型更优，开集场景仍需提升。
2024-09-11 cs.CV
Face identification by means of a neural net classifier
Escuela Universitaria Politécnica de Mataró, Adscrita a la UPC（马塔罗大学理工学院，附属于加泰罗尼亚理工大学）
提出了一种将特征脸理论与神经网络相结合的人脸识别方法。我们使用的特征脸的方法，以减少输入图像的维数，和一个神经网络分类器，执行识别过程。所提出的方法在面部表情、面部细节和照明条件存在变化的情况下识别面部。识别率超过87%，而Turk和Pentland的经典方法达到75.5%。
2022-04-01 cs.CR cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology（SRM科学技术学院）；Instituto Superior Técnico, Univ. of Lisbon（里斯本大学高等技术学院）
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而，在实际情况下，经典的融合技术对个人用户和外部环境的变化响应不佳。为此，我们提出了一种新的自适应多生物特征融合策略，通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素，如视点和距离相机，在这项研究中进行了调查。大量的实验表明，与现有模型相比，该模型具有更好的性能。
2023-03-24 cs.CV
StyleGAN as a Utility-Preserving Face De-identification Method
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文研究StyleGAN通过风格混合进行人脸去识别，实验表明其在保护隐私和保持图像效用方面与CIAGAN和DeepPrivacy相当或更优，并通过用户研究验证了其性能。
2023-08-31 cs.CR cs.CV cs.LG
Exploring Disentangled Feature Representation Beyond Face Identification
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）；Peking University（北京大学）
本文提出通过人脸识别来学习解纠缠但互补的人脸特征，并具有最小的监督。具体来说，我们构建了一个身份提取和消除自动编码器（D2 AE）框架，该框架逆向学习身份提取的身份验证和身份消除的功能，以欺骗验证系统。由于双流线索的设计，学习到的解纠缠特征不仅代表身份或属性，而且代表完整的输入图像。综合评估进一步表明，所提出的功能，不仅保持了最先进的身份验证性能LFW，但也获得了竞争力的人脸属性识别CelebA和LFWA的区分能力。此外，所提出的系统是准备语义控制的面部生成/编辑的基础上，各种身份和属性在一个无监督的方式。
2018-04-10 cs.AI cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络，从多序列或多视角人脸图像实现人脸超分辨率，其统一的身份表示可提升行人重识别性能，效果优于现有方法。
2026-07-31 cs.CV
Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification
Center for Artificial Intelligence (CAI), King Khalid University（哈立德国王大学人工智能中心）；College of Science and Arts, King Khalid University（哈立德国王大学文理学院）；College of Computer Science, King Khalid University（哈立德国王大学计算机科学学院）
最近一段时间的大流行带来了人的识别，即使与闭塞的面部图像非常重要的口罩使用数量的增加。本文的目的是识别人脸图像中的四种类型之一的遮挡。对各种迁移学习方法进行了测试，结果表明，具有门控递归单元（GRU）的MobileNet V2的性能优于任何其他迁移学习方法，在有或无遮挡的图像分类中具有99%的完美准确率，如果有遮挡，则是遮挡类型。并行地，完成从设备捕获的图像识别感兴趣区域。该提取的感兴趣区域用于面部识别。这样的人脸识别过程是使用ResNet模型及其Caffe实现完成的。为了减少执行时间，在识别出人脸遮挡类型之后，在注册数据库中搜索该人以确认其人脸图像。从两个同时的过程中获得的人的面部标签进行了验证，以获得其匹配分数。如果匹配分数高于90，则将识别出的人的标签与他们的姓名、面具类型、日期和识别时间一起记录到文件中。MobileNetV2是一个轻量级框架，也可用于嵌入式或物联网设备中，使用CCTV镜头在可疑的调查区域执行实时的检测和识别。当MobileNetV2与GRU相结合时，获得了可靠的精度。论文中提供的数据属于两类，要么从Google Images收集，用于遮挡分类，人脸识别和面部标志，要么在实地调查中收集。这项研究背后的动机是识别和记录个人的详细信息，可以服务于社会为基础的电子政务的监视活动。
2022-05-15 cs.CV
A Systematical Solution for Face De-identification
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；College of Automation（自动化学院）；Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所）
随着人脸数据中的身份信息与个人信用和财产安全的关系越来越密切，人们对人脸数据隐私的保护日益重视。在不同的任务中，人们对人脸去识别（De-ID）有不同的要求，因此我们提出了一个系统的解决方案，兼容这些De-ID操作。首先，构造一个属性解纠缠和生成网络来编码人脸的两个部分，即身份（嘴，鼻子和眼睛等面部特征）和表情（包括表情，姿态和光照）。通过人脸交换，我们可以完全删除原始ID。其次，与以往的传统对抗方法不同，我们增加了一个对抗向量映射网络来扰动人脸图像的潜在代码。通过这种方法，我们可以构造无限制的对抗图像，以降低模型识别的ID相似度。我们的方法可以灵活地去识别人脸数据的各种方式和处理后的图像具有较高的图像质量。
2021-07-19 cs.AI cs.CV
Gallery Sampling for Robust and Fast Face Identification
kakaoenterprise corp.（Kakao企业公司）
针对人脸识别画廊数据中的异常值问题，提出剪枝和生成采样方法，在5.4M数据集上显著提升识别性能并减少搜索时间。
2023-05-12 cs.AI cs.CV cs.LG
Neural Face Identification in a 2D Wireframe Projection of a Manifold Object
University of California, Berkeley（加州大学伯克利分校）；Manycore Tech Inc.（酷家乐科技有限公司）
在计算机辅助设计（CAD）系统中，2D线条图通常用于说明3D对象设计。为了重建由单个2D线条图描绘的3D模型，一个重要的关键是在线条图中找到与3D对象的实际面相对应的边缘环。在本文中，我们从一个新的数据驱动的角度来探讨人脸识别的经典问题。我们把它作为一个序列生成问题：从一个任意的边缘开始，我们采用流行的Transformer模型的一个变体，以自然的顺序预测与同一张脸相关联的边缘。这使我们能够避免像大多数现有方法那样使用各种手工制作的规则和算法搜索所有可能的边循环的空间，处理具有挑战性的情况，如曲面和嵌套边循环，并利用其他线索，如面类型。我们进一步讨论如何可能不完美的预测可以用于3D对象重建。
2022-03-08 cs.CV
A real-time and unsupervised face Re-Identification system for Human-Robot Interaction
Imperial College London（帝国理工学院）
在人机交互（HRI）的背景下，面部重新识别（面部重新ID）旨在验证某些检测到的面部是否已经被机器人观察到。区分不同用户的能力在社交机器人中至关重要，因为它将使机器人能够根据用户的个人偏好定制交互策略。人脸识别的研究已经取得了很大的成功，但在社会机器人中的实际应用却很少受到关注。在本文中，我们提出了一个有效的和无监督的人脸重新识别系统，同时重新识别多个人脸的HRI。该Re-ID系统采用深度卷积神经网络来提取特征，并采用在线聚类算法来确定人脸的ID。其性能在两个数据集上进行评估：TERESA机器人收集的TERESA视频数据集和YouTube人脸数据集（YTF数据集）。我们证明了优化的技术组合在TERESA数据集上实现了93.55%的总体准确率，在YTF数据集上实现了90.41%的总体准确率。我们已经实现了所提出的方法到一个软件模块中的HCI^2框架，它被进一步集成到TERESA机器人，并实现了实时的【形】性能在10~26帧/秒。
2022-03-24 cs.CV
Mask-up: Investigating Biases in Face Re-identification for Masked Faces
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Straumman Group（士卓曼集团）
本文审计了 13 个商业与开源人脸识别系统在蒙面人脸再识别任务中的表现，发现其准确率低且对非白人群体偏差严重，呼吁重新审视 FRS 设计原则。
2024-02-21 cs.AI cs.CV cs.CY
FICGAN: Facial Identity Controllable GAN for De-identification
Samsung SDS（三星SDS）；Seoul National University（首尔大学）；POSTECH（浦项工科大学）
在这项工作中，我们提出了面部身份可控GAN（FICGAN），不仅可以生成高质量的去识别人脸图像，确保隐私保护，而且还可以详细控制属性保存，以增强数据效用。基于这两个因素，我们解决了较少探索但期望的人脸去识别功能。首先，我们专注于具有挑战性的问题，以获得高水平的隐私保护在去识别任务，同时不妥协的图像质量。其次，我们分析了与身份和非身份相关的面部属性，并探索了面部去识别程度和保留源属性以增强数据效用之间的权衡。基于分析，我们开发了面部身份可控GAN（FICGAN），这是一种基于自动编码器的条件生成模型，可以学习将面部图像上的身份属性与非身份属性区分开来。通过应用流形k-same算法来满足k-匿名性以增强安全性，我们的方法在去身份化的人脸图像中实现了增强的隐私保护。大量的实验表明，我们的模型优于其他人在各种情况下的人脸去识别。
2021-10-02 cs.AI cs.CV
Group-level Emotion Recognition using Transfer Learning from Face Identification
National Research University Higher School of Economics（国立研究大学高等经济学院）
在本文中，我们描述了我们的算法方法，该方法用于提交第五届野生情绪识别（Emotion Recognition in the Wild，2017）组级情绪识别子挑战赛。我们使用经过人脸识别训练的卷积神经网络提取检测到的人脸的特征向量，而不是传统的情感识别问题的预训练。在最后的管道中，学习了随机森林分类器的集合，以使用可用的训练集来预测情感得分。在没有检测到人脸的情况下，我们的集合中的一个成员从整个图像中提取特征。在我们的实验研究中，所提出的方法显示出最低的出错率相比，其他探索的技术。特别是，我们在验证数据上实现了75.4%的准确率，比基于手工特征的基线高出20%。使用Keras框架的源代码是公开的。
2017-10-30 cs.CV
MGFace: Mask-Gated Face Matching via Conditional Similarity Routing
UIT
研究针对口罩遮挡下面部识别准确率下降问题，提出MGFace掩码门控面部识别管道，通过预测掩码状态有条件地路由相似性计算，区分不同情况处理，实验表明其能高效提升准确率，降低查询时间。
2026-07-16 cs.CV
PetFace: A Large-Scale Dataset and Benchmark for Animal Identification
Kyoto University（京都大学）；The University of Tokyo（东京大学）
本文提出PetFace，一个包含257,484个个体、13个科和319个品种的大规模动物面部识别数据集及基准，支持已见个体重识别和未见个体验证，显著提升识别性能。
2024-08-20 cs.CV
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；Université Laval（拉瓦尔大学）
尽管深度人脸识别（DFR）系统取得了重大进展，但在特定约束条件下引入新的DFR（如姿态变化）仍然是一个巨大的挑战。最特别地，由于人类头部的3D性质，当被投影到相机图像平面时，相同对象的面部外观引入了高的类内可变性。在本文中，我们提出了一种新的多视图深度人脸识别（MVDFR）系统来解决上述挑战。在这种情况下，每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中，该深度神经网络具有独特的设计，以在单个和更紧凑的面部描述符中重新表达面部特征，这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像，我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明，我们提出的方法产生了99.8%的准确率，而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学（IUST）的人脸数据库，其中包含504名受试者的6552张图像，以完成我们的实验。
2020-01-22 cs.CV
Web-Scale Training for Face Identification
Facebook AI Research（Facebook人工智能研究院）；Tel Aviv University（特拉维夫大学）
近年来，将机器学习方法扩展到非常大的数据集已经引起了相当大的关注，这要归功于从网络上轻松访问无处不在的传感和数据。我们研究了人脸识别，并表明三个不同的属性对深度卷积网络（CNN）的可转移性有令人惊讶的影响：（1）网络的瓶颈是一个重要的迁移学习正则化器，（2）与常见的智慧相反，性能饱和可能存在于CNN的（随着训练样本数量的增长）;我们提出了一种解决方案，通过用自举过程代替训练集的天真随机子采样来缓解这一问题。此外，（3）我们发现了表征规范与目标域中的区分能力之间的联系，这揭示了此类网络如何表征人脸。基于这些发现，我们能够在广泛使用的LFW基准测试中提高人脸识别的准确性，无论是在验证（1：1）还是识别（1：N）协议中，并首次直接与最先进的商用现成系统进行比较，并在性能上显示出相当大的飞跃。
2015-04-18 cs.CV
Face De-identification: State-of-the-art Methods and Comparative Studies
The Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）；University of Missouri-Kansas City（密苏里大学堪萨斯城分校）
本综述全面回顾了像素级、表示级和语义级的最先进人脸去标识化方法，基于隐私保护与图像效用评估其优劣，指出基于GANs和扩散模型的深度学习方法在平衡隐私与效用上取得显著进展，并总结了当前挑战与未来方向。
2024-11-15 cs.CR cs.CV
Understanding Unconventional Preprocessors in Deep Convolutional Neural Networks for Face Identification
Baze University（巴泽大学）；The University of the West of England（西英格兰大学）
深度网络在物体和人脸识别等应用领域取得了巨大的成功。性能提升归因于网络架构的不同方面，例如：卷积层的深度、激活函数、池化、批量归一化、前向和反向传播等等。然而，很少强调预处理器。因此，在本文中，网络的预处理模块是不同的预处理方法，同时保持恒定的网络架构的其他方面，调查预处理对网络的贡献。常用的预处理器是数据增强和归一化，并被称为传统的预处理器。其他被称为非常规预处理器，它们是：颜色空间转换器; HSV，CIE L*a*b* 和YCBCR，灰度分辨率预处理器;基于全平面和基于平面的图像量化，照明归一化和不敏感特征预处理，使用：直方图均衡化（HE），局部对比度归一化（LN）和完整的面部结构模式（CFSP）。为了实现固定的网络参数，采用具有迁移学习的CNN。来自Inception-V3网络的高级特征向量的知识被转移到离线预处理的LFW目标数据;并使用SoftMax分类器进行人脸识别。实验表明，在将RGB数据馈送到CNN之前，可以通过使用HE、基于全平面和基于平面的量化、rgbGELog和YCBCR预处理器对RGB数据进行预处理来提高深度网络的辨别能力。然而，为了获得最佳性能，需要正确设置具有增强和/或归一化的预处理数据。基于平面的图像量化被发现增加了邻域像素的均匀性，并利用减少的位深度以获得更好的存储效率。
2019-05-02 cs.CV cs.LG stat.ML
Face Identification with Second-Order Pooling
University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；The Australian Center for Visual Technologies（澳大利亚视觉技术中心）；The University of Queensland（昆士兰大学）
通过开发专门的面部图像表示，自动面部识别已经获得了显着的性能改进。另一方面，通用对象识别很少应用于人脸识别。空间金字塔池的特征编码的过完备的字典已经成为许多国家的最先进的图像分类系统的关键组成部分。受其成功的启发，在这项工作中，我们开发了一种新的人脸图像表示方法，其灵感来自Carreira等人的二阶池。[1]，最初是为了图像分割而提出的。该方法与以往方法的不同之处在于，我们编码密集提取的局部补丁的一个小尺寸的字典，和面部图像签名获得通过池的二阶统计的编码特征。我们展示了池化对编码特征的重要性，这是由原始的二阶池化方法绕过的，以避免高计算成本。配备了一个简单的线性分类器，所提出的方法优于国家的最先进的人脸识别性能的大幅度。例如，在LFW数据库上，所提出的方法比以前的最佳方法的准确率高出约13%。
2014-09-17 cs.CV
RID-TWIN: An end-to-end pipeline for automatic face de-identification in videos
IIITB（印度信息技术研究所班加罗尔分校）；MINRO center（MINRO中心）
提出RID-Twin流水线，利用生成模型解耦身份与运动，实现视频人脸自动去识别，并在VoxCeleb2及自定义数据集上验证，兼顾真实性与时间连贯性。
2024-03-15 cs.CV
Toward Open-Set Face Recognition
Vision and Security Technology Lab, University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校视觉与安全技术实验室）
在人脸识别和人脸验证方面已经进行了大量的研究，其中对后者的关注更大。人脸识别的研究主要集中在使用闭集协议，它假设在评估中使用的所有探头图像包含在画廊中注册的受试者的身份。然而，在真实系统中，只有一小部分探针样本身份被登记在图库中，不能做出这种闭集假设。相反，它们必须假设一组开放的探针样本，并且能够拒绝/忽略那些对应于未知身份的探针样本。在本文中，我们通过制定开放集人脸识别协议并评估评估相似性的不同策略，解决了人们普遍存在的误解，即对类似验证的分数进行阈值化是解决开放集人脸识别问题的好方法。我们的开集识别协议是基于野生（LFW）数据集的规范标记的面孔。除了已知的身份，我们还将已知的未知数（已知但不感兴趣的人）和未知的未知数（从未见过的人）的概念引入生物识别社区。我们比较了三种算法在开集协议下评估深特征空间中的相似性：阈值验证类得分，线性判别分析（LDA）得分和极值机（EVM）概率。我们的研究结果表明，阈值EVM概率，这是开放式的设计，优于阈值验证类分数。
2017-05-19 cs.CV
Face Identification and Clustering
Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））
在这篇论文中，我们研究了两个基于聚类算法的问题。在第一个问题中，我们研究的视觉属性的作用，使用凝聚聚类算法削减搜索区域的类的数量是高的，以提高聚类的性能。我们观察到，随着我们添加更多的属性，聚类性能总体上会提高。在第二个问题中，我们研究了聚类在1：N开集协议中聚合模板的作用，使用多镜头视频作为探针。我们观察到，通过增加集群的数量，性能相对于基线增加，并达到峰值，之后增加集群的数量会导致性能下降。使用最近推出的无约束IARPA Janus IJB-A，CS2和CS3人脸识别数据集进行实验。
2017-04-26 cs.CV
