Cross-Resolution Face Recognition via Prior-Aided Face Hallucination and Residual Knowledge Distillation
Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）；National University of Defense Technology（中国人民解放军国防科技大学）；Pensees Pte Ltd（Pensees私人有限公司）；University of Electronic Science and Technology of China（电子科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
最近基于深度学习的人脸识别方法已经取得了很好的性能，但当CCTV摄像机远离拍摄对象时，识别非常低分辨率的查询人脸（如28x28像素）仍然具有挑战性。这种分辨率非常低的人脸与图库中的正常分辨率相比完全失去了人脸身份的详细信息，并且难以在其中找到对应的人脸。为此，我们提出了一个决议不变模型（RIM）解决这种跨分辨率人脸识别问题，有三个不同的新奇。首先，RIM是一种新颖且统一的深度架构，包含端到端联合学习的人脸幻觉子网（FHN）和异构识别子网（HRN）。其次，FHN是一个设计良好的三路径生成对抗网络（GAN），它同时感知面部结构和几何先验信息，即地标热图和解析图，并结合无监督的跨域对抗训练策略，将非常低分辨率的查询图像超解析为8倍大的查询图像，而不需要它们很好地对齐。第三，HRN是一个通用的卷积神经网络（CNN）的异构人脸识别与我们提出的剩余知识蒸馏策略学习歧视性的，但广义的特征表示。定量和定性实验的几个基准证明了所提出的模型的优越性，在国家的艺术。代码和型号将在验收后发布。
2019-05-26 cs.CV
Unsupervised Domain Adaptation for Face Recognition in Unlabeled Videos
NEC Labs America（NEC美国实验室）；UC Merced（加州大学默塞德分校）；Dalian University of Technology（大连理工大学）；UC San Diego（加州大学圣迭戈分校）
尽管人脸识别技术取得了快速的进步，但基于静态图像的人脸识别和基于视频的人脸识别的性能之间仍然存在明显的差距，这是由于这两个领域之间的视觉质量存在巨大差异，以及难以管理各种大规模视频数据集。本文解决了这两个挑战，通过图像到视频的特征级领域自适应的方法，学习歧视性的视频帧表示。该框架利用大规模的未标记的视频数据，以减少不同领域之间的差距，同时从大规模标记的静止图像转移的歧视性知识。给定在图像域中预训练的人脸识别网络，通过（i）通过特征匹配将知识从网络提取到视频自适应网络，（ii）通过合成数据增强执行特征恢复，以及（iii）通过域对抗训练学习域不变特征来实现自适应。我们通过鉴别器引导的特征融合进一步提高性能，该融合提高了高质量帧，同时消除了因视频域特定因素而退化的帧。在YouTube Faces和IJB-A数据集上的实验表明，每个模块都有助于我们的特征级领域自适应框架，并大大提高了视频人脸识别的性能，以达到最先进的准确性。我们定性地证明了网络学习抑制视频中的各种伪影，如姿势，照明或遮挡，而无需对其进行明确的训练。
2017-08-07 cs.AI cs.CV
Attention-Set based Metric Learning for Video Face Recognition
人脸识别随着深度学习的发展取得了长足的进步。然而，视频人脸识别（VFR）仍然是一个正在进行的任务，由于各种照明，低分辨率，姿态变化和运动模糊。现有的基于CNN的VFR方法大多只从单个图像中获取特征向量，简单地将视频中的特征进行聚合，较少考虑视频中人脸图像之间的相关性。在本文中，我们提出了一种新的基于注意力集的度量学习（ASML）方法来衡量图像集的统计特性。这是一个有前途的和广义的扩展最大均值离散与记忆注意加权。首先，我们定义了一个有效的距离度量的图像集，显式地最小化集内距离和最大化集间距离的同时。其次，受神经图灵机的启发，提出了一种记忆注意力加权方法来适应集合感知的全局内容。然后，ASML自然地集成到CNN中，从而产生端到端的学习方案。我们的方法在三个广泛使用的基准测试（包括YouTubeFace，YouTube Celebrity和Celebrity-1000）上实现了视频人脸识别任务的最先进性能。
2017-08-28 cs.CV
von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification
Laboratoire LIRIS, École centrale de Lyon（里昂中央理工学院 LIRIS 实验室）；Safran Identity & Security（赛峰身份与安全公司）
许多模式识别任务，\textit{e.g.}，人脸验证，可以归结为单位长度的方向特征向量的分类或聚类，其距离可以简单地通过它们的角度计算。在本文中，我们提出了von Mises-Fisher（vMF）混合模型作为这种方向特征的有效深度学习的理论基础，并推导出一种新的vMF混合损失及其相应的vMF深度特征。所提出的vMF特征学习实现了判别式学习的特性，\textit{i.e.}，压缩了同一类的实例，同时增加了来自不同类的实例的距离。此外，它包含了许多流行的损失函数以及深度学习中的有效方法，即归一化。我们使用4个不同的具有挑战性的人脸数据集，\textit{i.e.}，LFW，YouTube的面孔，CACD和IJB-A进行了大量的人脸验证实验。实验结果表明了该方法的有效性和良好的泛化能力，在LFW、YouTube人脸和CACD数据集上取得了最先进的结果，在IJB-A数据集上取得了有竞争力的结果。
2017-12-31 cs.CV
Compatibility-aware Heterogeneous Visual Search
AWS/Amazon AI（亚马逊网络服务/亚马逊人工智能）；Georgia Institute of Technology（佐治亚理工学院）
我们解决了资源限制下的视觉搜索问题。现有系统使用相同的嵌入模型来计算查询和图库图像的表示（嵌入）。这样的系统本质上面临着一个很难的准确性-效率权衡：嵌入模型需要足够大以确保高准确性，但又足够小以在资源受限的平台上实现查询嵌入计算。如果图库嵌入是从大型模型中生成的，而查询嵌入是使用紧凑模型提取的，则可以减轻这种权衡。构建这样一个系统的关键是确保查询和图库模型之间的表示兼容性。在本文中，我们解决了两种形式的兼容性：一种是通过修改计算嵌入的每个模型的参数来实现的。另一种是通过修改计算嵌入的架构，导致兼容性感知神经架构搜索（CMP-NAS）。我们在具有挑战性的时尚图像（DeepFashion 2）和人脸图像（IJB-C）检索任务上测试了CMP-NAS。与使用最大嵌入模型（paragon）的普通（同质）视觉搜索相比，CMP-NAS实现了80倍和23倍的成本降低，同时在DeepFashion 2和IJB-C上分别将准确率保持在paragon的0.3%和1.6%以内。
2021-05-13 cs.AI cs.CV cs.LG
Mutimodal Ranking Optimization for Heterogeneous Face Re-identification
本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。
2024-05-28 cs.CV
Multi-Margin based Decorrelation Learning for Heterogeneous Face Recognition
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）
异构人脸识别（HFR）是指对来自不同领域的人脸图像进行匹配，在安全领域有着广泛的应用。本文提出了一种深度神经网络方法，即基于多边缘的去相关学习（MMDL），以提取跨域人脸图像在超球面空间中的去相关表示。该框架可以分为两个部分：异构表示网络和去相关表示学习。首先，我们采用大规模的可访问的视觉人脸图像训练异构表示网络。去相关层将第一分量的输出投影到去相关潜在子空间中，得到去相关表示。此外，我们设计了一个多边缘损失（MML），其中包括四重边缘损失（QML）和异质角边缘损失（HAML），以约束所提出的框架。两个具有挑战性的异构人脸数据库上的实验结果表明，我们的方法在验证和识别任务上都取得了优异的性能，与最先进的方法相比。
2020-05-25 cs.CV
Improved Eigenfeature Regularization for Face Identification
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
在这项工作中，我们建议使用空间划分树将每个类（一个人）划分为子类，这有助于更好地捕捉同一个人的外观所产生的个人内部差异。本文对人脸图像的类内和子类内特征谱进行了全面的分析，提出了一种新的特征谱建模方法，该方法从子类内和子类间散布矩阵中提取人脸的鉴别特征。在整个特征空间中进行鉴别评价后，提取有效的低维人脸鉴别特征用于人脸识别。在流行的人脸数据库（AR，FERET）和具有挑战性的无约束YouTube人脸数据库上的实验结果表明，我们提出的方法在所有三个数据库上的优越性。
2016-02-10 cs.CV
Cross-spectral Face Completion for NIR-VIS Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
近红外-可见光（NIR-VIS）异构人脸识别是指将近红外和可见光人脸图像进行匹配的过程。当前的异构方法试图通过从NIR图像合成VIS图像来将VIS人脸识别方法扩展到NIR光谱。然而，由于自遮挡和传感间隙，近红外人脸图像丢失了一些可见光的内容，使他们总是不完整的VIS人脸图像相比。本文将高分辨率异构人脸合成建模为两个组件的互补组合，即纹理修复组件和姿态校正组件。修复组件从NIR图像纹理合成和修复VIS图像纹理。校正组件将NIR图像中的任何姿态映射到VIS图像中的正面姿态，从而产生成对的NIR和VIS纹理。开发了一个翘曲过程，将这两个组件集成到端到端的深度网络中。分别设计了细粒度的类内方差和基于小波变换的类内方差和视觉质量监控算法。为了保证合成结果，采用了一次UV损失、两次对抗损失和一次像素损失。我们证明，通过附加的校正组件，我们可以简化异构人脸合成从一对多的不成对的图像翻译到一对一的成对图像翻译，并尽量减少异构识别过程中的光谱和姿态差异。大量的实验结果表明，我们的网络不仅产生高分辨率的VIS人脸图像，而且还有利于提高异构人脸识别的准确性。
2019-02-10 cs.CV
Sparse Graphical Representation based Discriminant Analysis for Heterogeneous Face Recognition
Xidian University（西安电子科技大学）
在异构环境中捕获的面部图像，例如，由艺术家或合成物生成软件生成的草图、由普通照相机拍摄的照片和由相应的红外成像设备捕获的红外图像，通常具有较大的纹理（即，风格）差异。这导致与在均匀环境中捕获的图像上的性能相比，传统的面部识别方法的性能严重下降。在本文中，我们提出了一种新的基于稀疏图形表示的判别分析（SGR-DA）方法来解决上述异构场景下的人脸识别。设计了一种自适应稀疏图表示方法来表示异构人脸图像，并通过构造马尔可夫网络模型来生成自适应稀疏向量。为了处理复杂的人脸结构，进一步提高区分度，提出了一种基于空间划分的判别分析框架，以细化用于人脸匹配的自适应稀疏向量。我们在六个常用的异构人脸数据集上进行了实验，实验结果表明，与最先进的方法相比，我们提出的SGR-DA方法具有更好的性能。
2016-07-01 cs.CV
Coupled Deep Learning for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于训练过程中不同模式下的图像对数量不足，以及不同模式下的区域差异较大，异构人脸匹配是人脸识别中的一个挑战性问题。提出了一种用于异构人脸匹配的耦合深度学习（CDL）方法。CDL寻求一个共享的特征空间，在其中异构人脸匹配问题可以近似地被视为一个同质的人脸匹配问题。CDL的目标函数主要包括两部分。第一部分包含一个迹范数和一个块对角先验作为相关性约束，这不仅使来自多个模态的未配对图像被聚类和相关，而且还正则化参数以减轻过拟合。针对直接优化低秩约束的困难，引入了一种近似变分公式。第二部分包含三重域特定图像之间的交叉模态排名，以最大化不同身份的裕度并增加少量训练样本的数据。此外，采用交替最小化方法迭代更新CDL参数。实验结果表明，CDL在具有挑战性的CASIA NIR-VIS 2.0人脸识别数据库、IIIT-D Sketch人脸识别数据库、CUFS人脸识别数据库和CUFSF人脸识别数据库上均取得了较好的性能，显著优于现有的异构人脸识别方法。
2017-11-16 cs.CV
A Survey on Heterogeneous Face Recognition: Sketch, Infra-red, 3D and Low-resolution
Beijing University of Posts and Telecommunications（北京邮电大学）；Queen Mary University of London（伦敦玛丽女王大学）
异构人脸识别（HFR）是指跨不同领域匹配人脸图像。由于其在执法方面的深远影响，它受到了研究界的极大兴趣。近年来，各种新的不变特征，跨模态匹配模型和异构数据集正在建立。这项调查提供了一个全面的审查既定的技术和最近的发展，高频电刀。此外，我们还详细介绍了通常用于评估的数据集和基准。最后，我们评估了该领域的现状，并讨论了未来研究的前景。
2014-10-10 cs.CV
Improving Heterogeneous Face Recognition with Conditional Adversarial Networks
彩色图像和深度图像之间的异构人脸识别对于其中形状信息被视为仅涉及图库的现实世界应用是非常期望的能力。在本文中，我们提出了一种跨模态深度学习方法，作为应对这一挑战的有效和高效的解决方案。具体来说，我们首先学习两个卷积神经网络（CNN）来分别提取2D和2.5D人脸特征。一旦经过训练，它们可以作为另一个双向CNN的预训练模型，该模型探索颜色和深度之间的相关部分，以进行异构匹配。与大多数传统的交叉模态方法相比，我们的方法还使用条件生成对抗网络（cGAN）从单色图像进行精确的深度图像重建，并通过融合多模态匹配结果进一步提高识别性能。通过在基准FRGC 2D/3D人脸数据库上的定性和定量实验，我们证明了所提出的流水线在异构人脸识别上的性能优于最先进的性能，并确保了一个非常有效的在线阶段。
2017-09-13 cs.CV
DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
异构人脸识别（HFR）是指跨领域的人脸匹配，在公共安全中起着至关重要的作用。然而，HFR面临着领域差异大和异构数据不足的挑战。在本文中，我们制定HFR作为一个对偶生成问题，并解决它通过一个新的对偶变分生成（DVG脸）框架。具体地说，一个双变分发生器精心设计的学习成对异构图像的联合分布。然而，小规模的成对异构训练数据可能会限制采样的同一性多样性。为了突破这一局限性，我们提出将大规模可见数据中丰富的身份信息整合到联合分布中。此外，成对的身份保持损失施加在生成的成对异构图像，以确保其身份的一致性。因此，可以从噪声中生成大量新的具有相同身份的不同成对异构图像。身份一致性和身份多样性属性允许我们使用这些生成的图像通过对比学习机制来训练HFR网络，从而产生域不变和区分嵌入特征。具体地说，生成的成对异构图像被视为正对，从不同的采样获得的图像被视为负对。我们的方法在属于五个HFR任务的七个具有挑战性的数据库上实现了优于最先进方法的性能，包括NIR-VIS，Sketch-Photo，Profile-Frontal Photo，Thermal-VIS和ID-Camera。相关代码将在https://github.com/BradyFU上发布。
2021-01-16 cs.CV
Dual Variational Generation for Low-Shot Heterogeneous Face Recognition
NLPR & CRIPAC, CASIA（中国科学院自动化研究所 国家模式识别实验室与模式识别国家重点实验室与智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
异构人脸识别（HFR）是一个具有挑战性的问题，因为大的领域差异和缺乏异构数据。本文将HFR看作一个对偶生成问题，提出了一种新的对偶变分生成（DVG）框架。该方法从噪声中产生大规模的新的具有相同身份的成对异质图像，以减小HFR的域间隙。具体来说，我们首先引入一个双变分自编码器来表示成对的异构图像的联合分布。然后，为了确保所生成的成对异构图像的身份一致性，我们施加一个分布对齐的潜在空间和成对的身份保持在图像空间。此外，HFR网络通过约束生成的成对异构图像之间的成对特征距离来减少域差异。在四个HFR数据库上进行的大量实验表明，我们的方法可以显着提高最先进的结果。相关代码可在https://github.com/BradyFU/DVG上获得。
2019-12-01 cs.CV
Graphical Representation for Heterogeneous Face Recognition
Xidian University（西安电子科技大学）
异构人脸识别（HFR）是指匹配从不同来源（即，不同的传感器或不同的波长）用于识别。HFR在生物识别研究和工业中发挥着重要作用。尽管近年来取得了令人鼓舞的进展，HFR仍然是一个具有挑战性的问题，由于难以表示两个异构图像在一个均匀的方式。现有的HFR方法要么表示忽略空间信息的图像，要么依赖于使识别任务复杂化的变换过程。针对这些问题，本文提出了一种新的基于图形表示的HFR方法（G-HFR）。利用马尔可夫网络对异构图像块进行分离表示，考虑了相邻图像块之间的空间兼容性。耦合表示相似性度量（CRSM）的目的是衡量所获得的图形表示之间的相似性。在多个HFR场景（观察草图、法医草图、近红外图像和热红外图像）上进行的大量实验表明，所提出的方法优于现有的方法。
2016-03-14 cs.CV
Escaping Data Scarcity for High-Resolution Heterogeneous Face Hallucination
Johns Hopkins University（约翰斯·霍普金斯大学）
在异构人脸识别（HFR）中，目标是在两个不同的领域（如可见光和热）中匹配人脸。大的领域差异使得高频频率响应成为一个难题。最近的方法试图通过合成来填补这一空白，取得了可喜的成果，但它们的性能仍然受到成对训练数据稀缺的限制。在实际应用中，由于获取和标注过程的高成本以及隐私法规，大规模异构人脸数据往往无法访问。在本文中，我们提出了一种新的HFR人脸幻觉范例，它不仅可以实现数据高效合成，还可以在不违反任何隐私政策的情况下扩大模型训练。与完全从头开始学习面部合成的现有方法不同，我们的方法特别设计用于利用可见域中丰富多样的面部先验，以获得更忠实的幻觉。另一方面，通过引入新的联邦学习方案来实现大规模培训，以允许机构之间的协作，同时避免明确的数据共享。大量的实验证明了我们的方法在当前数据限制下处理HFR的优势。在一个统一的框架中，我们的方法在多个HFR数据集上产生了最先进的幻觉结果。
2022-03-30 cs.CV
Deep Heterogeneous Hashing for Face Video Retrieval
University of Chinese Academy of Sciences（中国科学院大学）
通过哈希技术检索特定人的视频具有许多重要的应用。虽然人脸图像通常表示为欧几里得空间中的向量，但使用一些鲁棒的集合建模技术（例如，本研究中使用的协方差矩阵，其位于黎曼流形上）来表征人脸视频，最近显示出吸引人的优势。这就导致了一个棘手的异构空间匹配问题。此外，散列与手工制作的功能，在许多现有的作品显然是不够的，以实现理想的性能为这项任务。为了解决这些问题，我们提出了一种端到端的深度异构哈希（DHH）方法，该方法将图像特征学习，视频建模和异构哈希三个阶段集成在一个框架中，以学习人脸图像和视频的统一二进制代码。为了解决在流形上进行散列的关键挑战，采用了一种经过充分研究的黎曼核映射来将数据（即协方差矩阵）投影到欧几里得空间中，从而能够将两种异构表示嵌入到一个共同的汉明空间中，其中考虑了空间内的可辨别性和空间间的兼容性。为了进行网络优化，核映射的梯度是创新性地通过结构化矩阵反向传播理论原则的方式。在三个具有挑战性的数据集上的实验表明，与现有的哈希方法相比，我们的方法具有相当有竞争力的性能。
2019-11-04 cs.CV
Adversarial Discriminative Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA（模式识别国家重点实验室，中国科学院自动化研究所）；Center for Research on Intelligent Perception and Computing, CASIA（智能感知与计算研究中心，中国科学院自动化研究所）；Center for Excellence in Brain Science and Intelligence Technology, CAS（脑科学与智能技术卓越创新中心，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
在异构人脸识别（HFR）中，不同人脸模态的感知模式之间的差距仍然是一个具有挑战性的问题。本文提出了一个对抗性的区别性特征学习框架，通过在原始像素空间和紧凑特征空间上的对抗性学习来缩小感知差距。该框架将跨光谱人脸幻觉和判别特征学习集成到端到端对抗网络中。在像素空间中，我们利用生成对抗网络来执行跨光谱人脸超分辨率。引入了一种精细的双路径模型来缓解图像配对不足的问题，该模型兼顾了全局结构和局部纹理。在特征空间中，分别采用对抗损失和高阶方差差异损失来度量两个异质分布之间的全局差异和局部差异。这两个损失增强了域不变特征学习和模态独立噪声去除。在三个NIR-VIS数据库上的实验结果表明，该方法在不需要复杂网络或大规模训练数据集的情况下，性能优于现有的HFR方法。
2017-09-12 cs.CV
Disentangled Variational Representation for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing (CRIPAC), CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
可见光（VIS）到近红外（NIR）人脸匹配是一个具有挑战性的问题，由于域之间的显着域差异和缺乏足够的数据来训练跨模态匹配算法。现有的方法试图解决这个问题，无论是合成可见的近红外人脸，从这些模态提取域不变的功能，或投影异构数据到一个共同的潜在空间的跨模态匹配。在本文中，我们采取了不同的方法，我们利用解纠缠变分表示（DVR）的跨模态匹配。首先，我们建立了一个具有内在身份信息及其内部变化的人脸模型。通过探索解纠缠的潜变量空间，变分下界被用来优化NIR和VIS表示的近似后验。其次，为了获得更紧凑和歧视性的解纠缠的潜在空间，我们施加了最小化的身份信息为同一主题和放松的相关对齐约束之间的近红外和可见光的模态变化。对于解纠缠变分表示部分和异构人脸识别网络部分，提出了一种替代的优化方案。这两个部分之间的相互促进，有效地减少了近红外和可见光域的差异，并消除了过度拟合。在三个具有挑战性的NIR-VIS异构人脸识别数据库上的大量实验表明，该方法比现有的方法取得了显着的改进。
2019-01-23 cs.CV
Face morphing detection in the presence of printing/scanning and heterogeneous image sources
University of Bologna（博洛尼亚大学）
人脸变形是当今电子身份证件中的一个巨大安全威胁，也是人脸识别领域研究人员面临的一个有趣挑战。尽管最先进的数字图像处理方法取得了良好的效果，但迄今为止还没有找到令人满意的解决办法来处理跨数据库测试和打印-扫描图像（通常在许多国家用于文件签发）。在这项工作中，提出了新的方法来训练深度神经网络进行变形检测：特别是生成模拟的打印扫描图像以及其他数据增强策略，并在大型人脸识别数据集上进行预训练，从而在来自异构图像源的具有挑战性的数据集上达到最先进的精度。
2021-02-24 cs.CV
Deep Heterogeneous Feature Fusion for Template-Based Face Recognition
尽管深度学习在人脸识别方面取得了令人印象深刻的性能，但许多研究表明，不同的网络学习不同的特征图：虽然一些网络更容易接受姿势和照明，但其他网络似乎捕捉更多的本地信息。因此，在这项工作中，我们提出了一种深度异构特征融合网络，以利用不同深度卷积神经网络（DCNN）生成的特征中存在的互补信息进行基于模板的人脸识别，其中模板是指来自不同来源的一组静态人脸图像或视频帧，这些图像或视频帧比传统的人脸数据集引入了更多的模糊，姿态，照明和其他变化。所提出的方法通过以下方式有效地融合不同深度特征的判别信息：1）联合学习深度特征的非线性高维投影; 2）生成更具判别力的模板表示，该模板表示保留了特征空间中深度特征的固有几何形状。在IARPA Janus Challenge Set 3（Janus CS3）数据集上的实验结果表明，该方法能有效地提高识别性能.此外，我们还提出了一系列的协变量实验的人脸验证任务，深入的定性评估所提出的方法。
2017-02-15 cs.CV
Heterogeneous Face Recognition Using Domain Invariant Units
Idiap Research Institute（伊迪亚普研究所）；University of Lausanne（洛桑大学）
本文提出利用预训练模型作为教师网络学习域不变单元（DIU），在对比蒸馏框架中减少异构人脸识别的模态域差距，该方法在数据有限时仍有效，并在多个基准上取得优于现有方法的性能。
2024-04-22 cs.CV
Shared Representation Learning for Heterogeneous Face Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
经过深入的研究，异构人脸识别仍然是一个具有挑战性的问题。主要困难是由于异构人脸图像空间之间的复杂关系。人脸图像的异质性往往与其他变量紧密耦合，使得异质人脸图像之间的关系具有高度的非线性。虽然已经提出了许多优秀的方法来建模非线性关系，但由于样本有限，这些方法容易过拟合训练集。受深度学习中无监督算法的启发，本文提出了一种新的异构人脸识别框架。我们首先在一些局部的面部点提取Gabor特征，然后使用受限玻尔兹曼机（RBM）在本地学习一个共享表示，以消除每个面部点周围的异质性。最后，局部RBM的共享表示被连接在一起并由PCA处理。两个问题（Sketch-Photo和NIR-VIS）和三个数据库被选择来评估所提出的方法。对于Sketch-Photo问题，我们在CUFS数据库上获得了理想的结果。对于NIR-VIS问题，我们在CASIA HFB和NIR-VIS 2.0数据库上产生了新的最先进的性能。
2014-06-05 cs.CV
Heterogeneous Face Frontalization via Domain Agnostic Learning
Johns Hopkins University（约翰霍普金斯大学）；U.S. Army DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
深度卷积神经网络（DCNN）的最新进展在热到可见人脸合成和匹配问题上显示出令人印象深刻的性能改进。然而，目前基于DCNN的合成模型在具有大姿态变化的热面上表现不佳。为了解决这个问题，需要一种异构的人脸正面化方法，其中一个模型需要一个热轮廓人脸图像，并产生一个正面可见的脸。这是一个非常困难的问题，由于大的域以及两个模态之间的大的姿态差异。尽管它在生物识别和监控中的应用，这个问题在文献中相对未被探讨。提出了一种基于领域不可知学习的生成对抗网络（DAL-GAN），该网络可以在可见光域中从具有姿态变化的热人脸中合成正面视图。DAL-GAN由一个生成器和一个辅助分类器和两个鉴别器组成，它们可以捕获局部和全局纹理鉴别，以便更好地合成。通过双路径训练策略，在生成器的特征空间中引入对比约束，提高了特征向量的区分度。最后，一个多用途的损失函数被用来指导网络合成身份保持跨域前端化。大量的实验结果表明，DAL-GAN可以生成更好的质量相比，其他基线方法的正面视图。
2021-12-05 cs.CV
Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
异构人脸识别（HFR）旨在将从不同传感模式获取的人脸图像与取证，安全和商业领域的关键任务应用相匹配。然而，HFR是一个比传统的人脸识别更具挑战性的问题，因为大的类内变化的异构人脸图像和有限的训练样本的跨模态人脸图像对。本文提出了一种新的方法，即Wasserstein CNN（卷积神经网络，或简称WCNN）学习近红外和视觉人脸图像之间的不变特征（即近红外-可见光人脸识别）。WCNN的低层是用可见光谱中广泛可用的人脸图像训练的。高级层分为三个部分，即，NIR层、VIS层和NIR-VIS共享层。前两层用于学习模态相关特征，NIR-VIS共享层用于学习模态不变特征子空间。在NIR-VIS共享层中引入Wasserstein距离来度量异质特征分布之间的相异性。因此，W-CNN学习的目标是实现NIR分布和VIS分布之间的Wasserstein距离最小化，以实现异构人脸图像的不变深度特征表示。为了避免小规模异构人脸数据的过拟合问题，在WCNN网络的全连接层上引入相关先验以减少参数空间。该先验通过端到端网络中的低秩约束来实现。联合公式导致在训练阶段的深层特征表示的交替最小化和在测试阶段的异构数据的有效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上进行的大量实验表明，Wasserstein CNN比最先进的方法具有显着的优越性。
2017-08-08 cs.CV
SeqFace: Make full use of sequence information for face recognition
College of Information Science and Technology（信息科学与技术学院）；Beijing University of Chemical Technology（北京化工大学）；YUNSHITU Corp.（云视途公司）
近年来，深度卷积神经网络（CNN）极大地提高了人脸识别（FR）的性能。FR中几乎所有的CNN都是在包含大量身份的仔细标记的数据集上训练的。然而，这种高质量的数据集是非常昂贵的收集，这限制了许多研究人员实现最先进的性能。在本文中，我们提出了一个框架，称为SeqFace，用于学习判别人脸特征。除了传统的身份训练数据集外，所设计的SeqFace可以通过使用额外的数据集来训练CNN，该数据集包括从视频中收集的大量人脸序列。此外，标签平滑正则化（LSR）和一个新的提出的歧视性序列代理（DSA）损失，通过充分利用序列数据，以提高深层人脸特征的区分能力。我们的方法在Labeled Faces in the Wild（LFW），YouTube Faces（YTF）上实现了出色的性能，仅使用单个ResNet。这些代码和模型可在网上公开获取（https：//github.com/huangyangyu/SeqFace）。
2018-03-24 cs.CV
Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition
Idiap Research Institute（日内瓦研究所）
本文评估了多模态大语言模型在异构人脸识别中的性能，发现其在跨模态条件下表现欠佳，凸显了当前模型的局限性及生物识别评估的重要性。
2026-01-21 cs.CV
The Do's and Don'ts for CNN-based Face Verification
UMIACS（马里兰大学高等计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
虽然研究界似乎已经就获取注释数据的方法、CNN的设计和训练达成了共识，但仍有许多问题有待回答。在本文中，我们探讨了以下问题，是至关重要的人脸识别研究：（一）我们可以训练静态图像和期望系统的工作视频？(ii)更深的数据集比更宽的数据集更好吗？(iii)添加标签噪声是否会提高深度网络的性能？(iv)人脸识别需要对齐吗？我们通过使用CASIA-WebFace，UMDFaces和一个新的视频数据集训练CNN，并在YouTube- Faces，IJB-A和UMDFaces数据集的不相交部分上进行测试来解决这些问题。我们的新数据集将公开提供，其中包含22，075个视频和从中提取的3，735，476个人类注释帧。
2017-09-06 cs.CV
Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators
Idiap Research Institute（伊迪亚普研究所）
针对异质人脸识别中跨模态域差距大、现有方法需针对特定模态对单独训练的问题，提出含SSMB自动路由机制的模态无关框架，可端到端训练并适配预训练模型，多基准实验验证有效，代码将开源。
2024-07-11 cs.CV
DBLFace: Domain-Based Labels for NIR-VIS Heterogeneous Face Recognition
Computational Biomedicine Lab（计算生物医学实验室）；University of Houston（休斯顿大学）
基于深度学习的领域不变特征学习方法在近红外和可见光（NIR-VIS）异构人脸识别中不断发展。然而，由于类内变化较大以及缺乏用于训练的近红外图像，这些方法容易出现过拟合。在本文中，我们介绍了基于域的标签脸（DBLFace），学习方法的基础上的假设，一个主题是不是由一个单一的标签，而是由一组标签。每个标签表示特定域的图像。特别地，每个受试者的两个标签的集合（一个用于NIR图像，一个用于VIS图像）用于训练NIR-VIS面部识别模型。将图像分类到不同的域减少了类内变异，并减轻了训练中数据不平衡的负面影响。为了训练具有标签集的网络，我们引入了基于域的角度裕度损失和最大角度损失以保持类间差异并加强集合中标签的紧密关系。定量实验证实，DBLFace在EDGE 20数据集上将rank-1识别率显著提高了6.7%，并在CASIA NIR-VIS 2.0数据集上实现了最先进的性能。
2020-10-08 cs.CV
DeepVisage: Making face recognition simple yet with powerful generalization skills
Laboratoire LIRIS（LIRIS实验室）；École centrale de Lyon（里昂中央理工学院）；Safran Identity & Security（赛峰身份与安全公司）
人脸识别（FR）方法通过采用基于卷积神经网络（CNN）的学习方法来报告显著的性能。虽然CNN主要是通过优化softmax损失来训练的，但最近的趋势显示了不同策略的准确性提高，例如具有不同损失函数的特定任务CNN学习，对目标数据集的微调，度量学习和连接多个CNN的特征。完成这些任务显然需要更多的努力。此外，它使发现仅用身份标签训练的FR的有效CNN模型失去动力。我们专注于这一事实，并提出了一个易于训练和单一的CNN为基础的FR方法。我们的CNN模型利用了残差学习框架。此外，它使用归一化特征来计算损失。我们广泛的实验表明，在不同的数据集上具有很好的泛化能力。我们在LFW，IJB-A，YouTube面孔和CACD数据集上获得了非常有竞争力和最先进的结果。
2017-04-07 cs.CV
From Modalities to Styles: Rethinking the Domain Gap in Heterogeneous Face Recognition
Idiap Research Institute（伊迪亚普研究所）；Université de Lausanne（洛桑大学）
本文将异构人脸识别中的不同模态视为不同风格，提出条件自适应实例调制（CAIM）模块无缝嵌入现有人脸识别网络，通过调制特征图弥合域差异，仅需少量配对样本即可端到端训练并在多项基准上超越现有方法。
2024-04-22 cs.CV
Bridging the Gap: Heterogeneous Face Recognition with Conditional Adaptive Instance Modulation
Idiap Research Institute（伊迪亚普研究所）
针对跨光谱等异质人脸识别中的域差距与目标域数据稀缺问题，提出可嵌入预训练FR网络的CAIM模块，通过条件自适应实例调制中间特征图，实现少量配对样本下端到端训练并取得优于现有方法的性能。
2023-07-13 cs.CV
Learnt quasi-transitive similarity for retrieval from large collections of faces
University of St Andrews（圣安德鲁斯大学）
我们感兴趣的是在不受控制的环境中获得的大型未标记的集合的人脸集的基于身份的检索。给定用于测量两个人脸集的相似性的基线算法，本文中介绍的元算法试图利用数据语料库的结构来最好地利用可用的基线。特别是，我们展示了如何利用人际相似性的部分传递性来提高检索特别具有挑战性的集合，这些集合在基线测量下与查询匹配得很差。我方：（i）描述使用代理集作为计算两个集之间的相似性的手段，（ii）基于集之间的外观变化的突出模式的相似性引入传递性元特征，（iii）示出如何在没有任何标记或人工干预的情况下从这些特征学习准传递性，和（iv）通过在众所周知的具有挑战性的YouTube数据库和文献中的两个成功基线上的实验来证明所提出的方法的有效性。
2016-04-14 cs.CV
Unconstrained Still/Video-Based Face Verification with Deep Convolutional Neural Networks
University of Maryland（马里兰大学）
在过去的五年中，基于深度卷积神经网络（DCNN）的方法在目标检测和识别问题上表现出令人印象深刻的性能改进。这是由于大型注释数据集的可用性，对输入图像和类别标签之间的非线性映射的更好理解以及GPU的可负担性。在本文中，我们提出了无约束人脸识别的深度学习系统的设计细节，包括人脸检测，关联，对齐和人脸验证模块。使用IARPA Janus基准A（IJB-A）、JANUS挑战集2（JANUS CS2）和LFW数据集进行定量性能评估。IJB-A数据集包括500个受试者的真实无约束人脸，这些受试者具有显著的姿势和光照变化，这比野生标签人脸（LFW）和Youtube人脸（YTF）数据集要困难得多。JANUS CS2是IJB-A的扩展版本，它不仅包含IJB-A的所有图像/帧，还包含用于评估基于视频的人脸验证系统的原始视频。然后讨论了DCNN在人脸验证问题中的一些开放问题。
2017-07-18 cs.CV
xEdgeFace: Efficient Cross-Spectral Face Recognition for Edge Devices
Idiap Research Institute（IDiap研究 institute）
本文提出一种轻量级混合CNN-Transformer的异构人脸识别框架xEdgeFace，在极少成对异构数据下端到端训练，兼顾标准RGB人脸识别性能，在多个基准上以低计算开销超越现有方法。
2025-04-28 cs.CV
Template Adaptation for Face Verification and Identification
Systems & Technology Research (STR)（系统与技术研究公司（STR））；Visionary Systems and Research (VSR)（远景系统与研究公司（VSR））；University of Oxford（牛津大学）
人脸识别性能评估传统上集中在一对一的验证上，通过用于图像的Wild数据集中的Labeled Faces和用于视频的YouTubeFaces数据集推广。相比之下，新发布的IJB-A人脸识别数据集将一对多人脸识别的评估与模板上的一对一人脸验证或图像和视频集统一起来。在本文中，我们研究的问题，模板适应，一种形式的迁移学习的媒体集的模板。对IJB-A的广泛性能评估显示了一个令人惊讶的结果，即也许是最简单的模板自适应方法，将深度卷积网络特征与模板特定的线性SVM相结合，远远优于最先进的方法。我们研究了模板大小、负集构造和分类器融合对性能的影响，然后将模板自适应与具有度量学习、2D和3D对齐的卷积网络进行比较。我们意外的结论是，当与模板自适应相结合时，这些其他方法在基于模板的人脸验证和识别的IJB-A上都实现了几乎相同的最高性能。
2016-04-06 cs.CV
Relational Deep Feature Learning for Heterogeneous Face Recognition
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Yongin University（龙仁大学）
异构人脸识别（HFR）是一项跨两个不同领域（如可见光（VIS），近红外（NIR）或草图领域）匹配人脸的任务。由于缺乏数据库，HFR方法通常利用包含一般面部信息的大规模视觉数据库上的预训练特征。然而，这些预先训练的特征由于与视觉域的纹理差异而导致性能下降。有了这个动机，我们提出了一个图结构的模块，称为关系图模块（RGM），提取全球关系信息，除了一般的面部特征。由于每个身份的面部内部部分之间的关系信息在任何模态下都是相似的，因此特征之间的建模关系可以帮助跨域匹配。通过RGM，关系传播减少了纹理依赖性，而不会失去其来自预训练特征的优势。此外，RGM从局部相关的卷积特征中捕获全局面部几何形状，以识别长期关系。此外，我们提出了一个节点注意单元（NAU），执行节点的重新校准集中在更多的信息节点所产生的基于关系的传播。此外，我们提出了一种新的条件裕度损失函数（C-softmax）的高效投影学习的嵌入向量在HFR。所提出的方法优于其他国家的最先进的方法在五个HFR数据库。此外，我们在三个主干上展示了性能改进，因为我们的模块可以插入任何预先训练的人脸识别主干，以克服小型HFR数据库的局限性。
2020-07-14 cs.CV
A Comprehensive Analysis of Deep Learning Based Representation for Face Recognition
Sabanci University（萨班哲大学）；Istanbul Technical University（伊斯坦布尔理工大学）
基于深度学习的方法一直主导着人脸识别领域，因为它们在具有挑战性的野生数据集上提供了显着的性能改进。这些方法已经在这些无约束的数据集上进行了广泛的测试，在野外的标签脸和YouTube脸上，仅举几例。然而，它们处理由诸如头部姿势、照明、遮挡和未对准等因素引起的个体外观变化的能力至今尚未得到彻底评估。在本文中，我们提出了一个全面的研究，以评估性能的深度学习为基础的人脸表示在几个条件下，包括不同的头部姿势角度，上，下面部遮挡，不同强度的照明变化，以及由于错误的面部特征定位错位。两个成功的和公开可用的深度学习模型，即VGG-Face和Lightened CNN已被用于提取面部表示。所获得的结果表明，尽管深度学习为人脸识别提供了强大的表示，但它仍然可以受益于预处理，例如，姿势和光照归一化，以便在各种条件下实现更好的性能。特别是，如果这些变化不包括在用于训练深度学习模型的数据集中，则预处理的作用变得更加关键。实验结果还表明，基于深度学习的表示对未对准具有鲁棒性，并且可以容忍高达两眼间距离的10%的面部特征定位误差。
2016-06-09 cs.CV
A real-time and unsupervised face Re-Identification system for Human-Robot Interaction
Imperial College London（帝国理工学院）
在人机交互（HRI）的背景下，面部重新识别（面部重新ID）旨在验证某些检测到的面部是否已经被机器人观察到。区分不同用户的能力在社交机器人中至关重要，因为它将使机器人能够根据用户的个人偏好定制交互策略。人脸识别的研究已经取得了很大的成功，但在社会机器人中的实际应用却很少受到关注。在本文中，我们提出了一个有效的和无监督的人脸重新识别系统，同时重新识别多个人脸的HRI。该Re-ID系统采用深度卷积神经网络来提取特征，并采用在线聚类算法来确定人脸的ID。其性能在两个数据集上进行评估：TERESA机器人收集的TERESA视频数据集和YouTube人脸数据集（YTF数据集）。我们证明了优化的技术组合在TERESA数据集上实现了93.55%的总体准确率，在YTF数据集上实现了90.41%的总体准确率。我们已经实现了所提出的方法到一个软件模块中的HCI^2框架，它被进一步集成到TERESA机器人，并实现了实时的【形】性能在10~26帧/秒。
2022-03-24 cs.CV
Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study
University of Greenwich（格林威治大学）；University of Sussex（萨塞克斯大学）；Imperial College London（伦敦帝国理工学院）
多任务学习已经成为一种方法，其中多个任务通过共享的学习算法（例如DNN）来联合学习。MTL基于所考虑的任务是相关的假设;因此，它利用共享知识来提高每个单独任务的性能。任务通常被认为是同质的，即，来解决同一类型的问题。此外，MTL通常基于在任务之间具有完全或部分重叠的地面实况注释。在这项工作中，我们处理异构MTL，同时解决检测，分类和回归问题。我们探索任务相关性作为共同训练的一种手段，以弱监督的方式，包含很少甚至不重叠的注释的任务。任务相关性被引入MTL，无论是明确通过先前的专家知识，或通过数据驱动的研究。我们提出了一种新的分布匹配方法，在该方法中，通过匹配任务预测的分布，实现任务之间的知识交换。基于这种方法，我们通过共同学习所有面部行为任务，构建了第一个大规模面部分析框架FaceBehaviorNet。我们开发的案例研究：i）连续情感估计、动作单元检测、基本情感识别; ii）属性检测、人脸识别。我们说明，通过任务相关性的共同训练消除负迁移。由于FaceBehaviorNet学习的功能涵盖了面部行为的所有方面，因此我们进行零/少样本学习来执行超出其训练范围的任务，例如复合情感识别。通过进行一个非常大的实验研究，利用10个数据库，我们说明了我们的方法优于，大幅度，在所有的任务和所有的数据库中，即使在这些还没有被用于其培训的最先进的。
2021-05-08 cs.CV
Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition
South China University of Technology（华南理工大学）；UBTech Sydney Artificial Intelligence Institute（优必选悉尼人工智能研究院）；The University of Sydney（悉尼大学）
监控视频中的人脸通常会出现严重的图像模糊、姿态变化和遮挡。在本文中，我们提出了一个全面的框架，卷积神经网络（CNN）的基础上，以克服在基于视频的人脸识别（VFR）的挑战。首先，为了学习模糊鲁棒的人脸表示，我们人为地模糊了由清晰的静止图像组成的训练数据，以弥补真实世界视频训练数据的不足。使用由静止图像和人工模糊数据组成的训练数据，鼓励CNN自动学习模糊不敏感特征。其次，为了增强CNN特征对姿态变化和遮挡的鲁棒性，我们提出了一种主干-分支包围CNN模型（TBE-CNN CNN），该模型从整体面部图像和面部组件周围裁剪的补丁中提取补充信息。TBE-CNN是一种端到端模型，通过在主干和分支网络之间共享低级和中级卷积层来有效地提取特征。第三，为了进一步提高TBE-CNN学习的表示的区分能力，我们提出了一个改进的三重损失函数。系统的实验证明了所提出的技术的有效性。最令人印象深刻的是，TBE-CNN在三个流行的视频人脸数据库上实现了最先进的性能：PaSC，COX Face和YouTube Faces。在BTAS 2016年视频人物识别评测中，我们也获得了第一名。
2017-05-17 cs.CV
DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration
Beijing University of Posts and Telecommunications（北京邮电大学）
提出DiffMAC框架，通过两阶段扩散与流形信息瓶颈校正幻觉，实现高泛化盲人脸恢复，在真实和异构场景中优于现有方法。
2024-03-15 cs.CV
LAMP-HQ: A Large-Scale Multi-Pose High-Quality Database and Benchmark for NIR-VIS Face Recognition
University of Chinese Academy of Sciences（中国科学院大学）
近红外-可见光（NIR-VIS）异构人脸识别将NIR匹配到相应的VIS人脸图像。然而，由于传感间隙，近红外图像往往会丢失一些身份信息，使识别问题比传统的VIS人脸识别更困难。近红外-可见光异构人脸识别由于其方便性和实用性，近年来受到了计算机视觉界的广泛关注。已经提出了各种基于深度学习的方法，并大大提高了识别性能，但缺乏NIR-VIS训练样本导致模型训练过程困难。在本文中，我们提出了一个新的大规模多姿态高质量的近红外-可见光数据库LAMP-HQ包含56,788近红外和16,828可见光图像的573个主题，具有大的姿态，照明，属性，场景和附件的变化。我们通过在LAMP-HQ上生成NIR-VIS人脸识别协议提供了基准，包括Pixel 2 Pixel，CycleGAN和ADFL。此外，我们提出了一种新的基于样本的变分光谱注意力网络产生高保真VIS图像从近红外数据。引入光谱条件注意模块来减少NIR和VIS数据之间的域间隙，从而提高NIR-VIS异构人脸识别在包括LAMP-HQ在内的各种数据库上的性能。
2020-03-29 cs.CV
A Sparse and Locally Coherent Morphable Face Model for Dense Semantic Correspondence Across Heterogeneous 3D Faces
University of Florence（佛罗伦萨大学）
3D变形模型（3DMM）是一个强大的统计工具，用于表示3D人脸形状。为了构建3DMM，需要完全点对点对应的面部扫描的训练集，并且其建模能力直接取决于训练数据中包含的可变性。因此，为了提高3DMM的描述能力，在身份、种族或表达方面具有足够多样性的异质扫描之间建立密集对应关系变得至关重要。在本文中，我们提出了一种全自动的方法，该方法利用3DMM在原始3D面部之间传输其密集的语义注释，从而在它们之间建立密集的对应关系。我们提出了一种新的公式来学习一组稀疏的变形组件与本地支持的脸，连同一个原始的非刚性变形算法，允许3DMM精确地适应看不见的脸和转移其语义注释。我们对我们的方法进行了广泛的实验，表明它可以有效地推广到高度多样化的样本，即使在复杂的面部表情中也能准确地建立密集的对应关系。通过将三个大型数据集连接在一起获得9，000多个完全配准的扫描，构建一个异构的大规模3DMM，证明了密集配准的准确性。
2021-06-24 cs.CG cs.CV
Heterogeneous Face Recognition via Face Synthesis with Identity-Attribute Disentanglement
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
异构人脸识别（HFR）旨在跨不同域（例如，可见的近红外图像），其已广泛应用于认证和取证场景。然而，HFR是一个具有挑战性的问题，因为大的跨域差异，有限的异构数据对，和大的变化的面部属性。为了解决这些问题，我们从异构数据增强的角度提出了一种新的HFR方法，命名为人脸合成与身份属性解纠缠（FSIAD）。首先，身份-属性解纠缠（IAD）将人脸图像分解为身份相关和身份无关两种表示（称为属性），降低身份和属性之间的相关性。其次，我们设计了一个人脸合成模块（FSM）来生成大量的图像与随机组合的解开身份和属性，以丰富合成图像的属性多样性。利用原始图像和合成图像对HFR网络进行训练，以应对挑战，提高HFR的性能。在五个HFR数据库上的实验验证了FSIAD比以前的HFR方法具有更好的性能。特别地，FSIAD在LAMP-HQ（迄今为止最大的HFR数据库）上的VR@FAR=0.01%方面比现有技术水平提高了4.8%。
2022-06-10 cs.AI cs.CV
Prepended Domain Transformer: Heterogeneous Face Recognition without Bells and Whistles
Idiap Research Institute（Idiap研究所）
异构人脸识别（HFR）是指将不同领域捕获的人脸图像进行匹配，例如热图像与可见光图像（VIS）、草图与可见光图像、近红外与可见光图像等。这在将可见光谱图像与从其他模态捕获的图像进行匹配时特别有用。虽然HFR非常有用，但由于源域和目标域之间的域间隙，HFR具有挑战性。通常，大规模成对的异构人脸图像数据集是不存在的，这阻止了专门用于异构任务的训练模型。在这项工作中，我们提出了一个令人惊讶的简单，但非常有效的方法，在不同的传感方式匹配人脸图像。该方法的核心思想是在预先训练的人脸识别（FR）模型前面添加一个新的神经网络块，称为Prepended Domain Transformer（PDT），以解决域间隙问题。在对比学习设置中使用少量配对样本重新训练这个新块足以在许多HFR基准测试中实现最先进的性能。使用所提出的一般框架，可以针对几个源-目标组合重新训练PDT块。所提出的方法与架构无关，这意味着它们可以添加到任何预先训练的FR模型中。此外，该方法是模块化的，可以使用最少的配对样本集来训练新块，从而使实际部署变得更加容易。源代码和协议将公开提供。
2022-10-12 cs.CR cs.CV
A Good Practice Towards Top Performance of Face Recognition: Transferred Deep Feature Fusion
Panasonic R&D Center Singapore（松下新加坡研发中心）；National University of Singapore（新加坡国立大学）
在过去的几年里，无约束人脸识别性能评估传统上集中在用于图像的Labeled Faces in the Wild（LFW）数据集和用于视频的YouTubeFaces（YTF）数据集。这一领域的惊人进展导致这些基准数据集的验证和识别精度饱和。在本文中，我们提出了一个统一的学习框架，称为转移深度特征融合（TDFF），针对NIST人脸挑战发布的新IARPA Janus Benchmark A（IJB-A）人脸识别数据集。IJB-A数据集包括来自500个具有完整姿势和照明变化的受试者的真实世界无约束面部，这比LFW和YTF数据集要难得多。受迁移学习的启发，我们分别在源域中使用两个不同的大数据集来训练两个高级深度卷积神经网络（DCNN）。通过探索两个不同DCNN的互补性，在目标域中的特征提取之后利用深度特征融合。然后，模板特定的线性支持向量机，以提高框架的歧视。最后，将不同模板对应的多个匹配得分合并为最终结果。这个简单的统一框架在IJB-A数据集上表现出出色的性能。基于所提出的方法，我们已经将我们的IJB-A结果提交给美国国家标准与技术研究院（NIST）进行正式评估。此外，通过引入新的数据和先进的神经架构，我们的方法在IJB-A数据集上的表现远远优于最先进的方法。
2018-02-09 cs.CV
Range Loss for Deep Face Recognition with Long-tail
Tianjin University（天津大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；Southern University of Science and Technology（南方科技大学）；Carnegie Mellon University（卡内基梅隆大学）
卷积神经网络由于其在学习不同身份的人的区分特征方面的非凡能力，近年来在人脸识别方面取得了很大的进展。为了训练这样一个精心设计的深度网络，大量的数据是必不可少的。长尾分布具体指的是少数类属实体频繁出现，而其他对象远不存在的事实。考虑到现实世界中数据的长尾分布的存在，大而均匀分布的数据往往难以检索。经验和分析表明，样本数越多的类对特征学习过程的影响越大，反而削弱了整个模型对尾部数据的特征提取能力。与现有的大多数通过简单地切割尾数据以使其在类间均匀分布来缓解这个问题的工作相反，本文提出了一种新的称为范围损失的损失函数，以有效地利用整个长尾数据在训练过程中。更具体地说，范围损失的目的是减少整体的个人内部的变化，同时扩大一个小批量内的个人差异，同时面对甚至非常不平衡的数据。距离损失的优化目标是类内$k$最大距离的调和均值和批内类间距离最短。在两个著名的人脸识别基准（Labeled Faces in the Wild（LFW）和YouTube Faces（YTF））上进行的大量实验不仅证明了该方法在克服长尾效应方面的有效性，而且还显示了该方法良好的泛化能力。
2016-11-28 cs.CV
Metric Classification Network in Actual Face Recognition Scene
Beijing University of Posts and Telecommunications（北京邮电大学）；AI Labs, Didi Chuxing（滴滴出行AI实验室）
为了使面部特征更具鉴别力，最近提出了一些新的模型。然而，几乎所有这些模型都使用传统的人脸验证方法，其中使用瓶颈层输出的特征执行余弦运算。然而，这些模型中的每一个都需要在每次对不同的测试集进行操作时改变阈值。这对于在现实世界场景中的应用是非常不合适的。本文通过训练一个验证分类器对判决阈值进行归一化，即不需要更换阈值就可以直接得到结果。我们将我们的模型称为验证分类器，它在由一个卷积层和六个全连接层组成的结构上实现了最佳结果。为了测试我们的方法，我们进行了广泛的实验，在野外的标签人脸（LFW）和Youtube的脸（YTF），相对于传统的方法分别减少了25.37%和26.60%。这些实验证实了验证分类器在人脸识别任务中的有效性。
2019-10-25 cs.CV cs.LG
F3: Fair and Federated Face Attribute Classification with Heterogeneous Data
IIIT Hyderabad（国际信息技术学院海得拉巴分校）
不同人口群体之间的公平性是人脸相关任务的一个重要标准，人脸属性分类（FAC）是一个突出的例子。除了这种趋势，联邦学习（FL）作为分布式训练的可扩展范例越来越受到关注。现有的FL方法需要数据的同质性，以确保公平性。然而，这种假设在现实世界中限制太多。我们提出了F3，一个新的FL框架下的公平FAC数据异构性。F3采用多重统计学方法，在不需要数据同质性假设的情况下，提高不同人口统计群体之间的公平性。我们通过在流行的人脸数据集上报告经验观察到的公平性措施和准确性保证来证明F3的有效性。我们的研究结果表明，F3罢工FAC的准确性和公平性之间的实际平衡。
2022-06-24 cs.CV cs.CY cs.LG
Cross Euclidean-to-Riemannian Metric Learning with Application to Face Recognition from Video
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology（计算技术研究所）；Swiss Federal Institute of Technology（瑞士联邦理工学院）
黎曼流形已被广泛用于视频表示的视觉分类任务，包括基于视频的人脸识别。成功主要来自学习判别黎曼度量编码的非线性几何的基本黎曼流形。在本文中，我们提出了一种新的度量学习框架，用于学习欧氏空间和黎曼流形上的距离度量，以融合一个视频中人脸的平均外观和模式变化。所提出的度量学习框架可以处理基于视频的人脸识别的三个典型任务：Video-to-Still、Still-to-Video和Video-to-Video设置。为了实现这个新的框架，通过利用典型的黎曼几何的内核嵌入，我们映射到一个共同的欧氏空间和黎曼流形的源欧氏空间，每个通过相应的高维再生核希尔伯特空间（RKHS）。通过这种映射，学习两个源异构空间之间的交叉视图度量的问题可以表示为学习目标公共欧几里得空间中的单视图欧几里得距离度量。通过使用共享标签学习异构数据上的信息，公共空间中的判别度量提高了视频中的人脸识别。在四个具有挑战性的视频人脸数据库上进行的大量实验表明，该框架在三个经典的基于视频的人脸识别任务中具有明显的优势。
2017-01-06 cs.CV
The Impact of Print-Scanning in Heterogeneous Morph Evaluation Scenarios
Clarkson University（克拉克森大学）
本文研究了打印-扫描对人脸变形攻击检测的影响，发现在异构场景下打印-扫描可将MMPMR提高8.48%，且未训练的S-MAD算法的MACER可增加96.12%，揭示了显著漏洞。
2024-09-03 cs.CV
