Face recognition has made tremendous progress in recent years due to the advances in loss functions and the explosive growth in training sets size. A properly designed loss is seen as key to extract discriminative features for classification. Several margin-based losses have been proposed as alternatives of softmax loss in face recognition. However, two issues remain to consider: 1) They overlook the importance of hard sample mining for discriminative learning. 2) Label noise ubiquitously exists in large-scale datasets, which can seriously damage the model's performance. In this paper, starting from the perspective of decision boundary, we propose a novel mining framework that focuses on the relationship between a sample's ground truth class center and its nearest negative class center. Specifically, a closed-set noise label self-correction module is put forward, making this framework work well on datasets containing a lot of label noise. The proposed method consistently outperforms SOTA methods in various face recognition benchmarks. Training code has been released at https://github.com/SWJTU-3DVision/BoundaryFace.
What happens in Face during a facial expression? Using data mining techniques to analyze facial expression motion vectors
Fasa University(法萨大学);Deakin University(迪肯大学);University of Tabriz(大不里士大学);Universidad de Granada(格拉纳达大学);University of Cambridge(剑桥大学);Harvard University(哈佛大学)
Hard-Mining Loss based Convolutional Neural Network for Face Recognition
Indian Institute of Information Technology(印度信息技术学院)
人脸识别是计算机视觉领域的一个突出问题。随着深度学习的进步,在人脸识别方面已经有了重要的工作,涉及到了识别框架的各个部分,如卷积神经网络(CNN),层,损失函数等。各种损失函数,如交叉熵,Angular-Softmax和ArcFace已经被引入来学习人脸识别网络的权重。然而,与容易样本相比,这些损失函数不给予硬样本高优先级。此外,他们的学习过程是有偏见的,由于一些简单的例子相比,硬的例子。在本文中,我们通过考虑更优先的硬例子来解决这个问题。为了做到这一点,我们提出了一个硬挖掘损失,增加损失的困难的例子和减少损失的简单的例子。所提出的概念是通用的,可以与任何现有的损失函数。我们测试了不同的损失,如交叉熵,Angular-Softmax和ArcFace的硬挖掘损失。在广泛使用的Labeled Faces in the Wild(LFW)和YouTube Faces(YTF)数据集上测试了所提出的硬挖掘损失。训练在CASIA-WebFace和MS-Celeb-1 M数据集上进行。我们使用残差网络(即,ResNet 18)进行实验分析。实验结果表明,现有的损失函数的性能得到提升时,在建议的硬挖掘损失的框架。
FaceNet: A Unified Embedding for Face Recognition and Clustering
Google Inc.(谷歌公司)
尽管最近在人脸识别领域取得了重大进展,但大规模有效地实现人脸验证和识别对当前方法提出了严峻的挑战。在本文中,我们提出了一个系统,称为FaceNet,直接学习从人脸图像映射到一个紧凑的欧几里德空间,距离直接对应于人脸相似性的度量。一旦生成了这个空间,就可以使用标准技术轻松实现人脸识别、验证和聚类等任务,并将FaceNet嵌入作为特征向量。我们的方法使用经过训练的深度卷积网络来直接优化嵌入本身,而不是像以前的深度学习方法那样使用中间瓶颈层。为了进行训练,我们使用了一种新的在线三元组挖掘方法生成的粗略对齐的匹配/非匹配人脸补丁的三元组。我们的方法的好处是更大的代表性效率:我们实现了最先进的人脸识别性能,每张脸只使用128字节。在广泛使用的Labeled Faces in the Wild(LFW)数据集上,我们的系统实现了99.63%的新记录准确率。在YouTube Faces DB上,它达到了95.12%。我们的系统在两个数据集上都将出错率与最佳公布结果相比降低了30%。我们还介绍了谐波嵌入的概念,以及谐波三重态损失,它描述了不同版本的人脸嵌入(由不同的网络产生),这些嵌入彼此兼容,并允许彼此之间进行直接比较。
Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues
SenseTime Research(商汤科技研究院);University of Electronic Science and Technology of China(电子科技大学);College of Software, Beihang University(北京航空航天大学软件学院);Northwestern Polytechnical University(西北工业大学)
Leveraging Semi-Supervised Learning to Enhance Data Mining for Image Classification under Limited Labeled Data
University of Michigan(密歇根大学);Columbia University(哥伦比亚大学);Tulane University(杜兰大学);Northeastern University(东北大学);Dartmouth College(达特茅斯学院);Shanghai Jiao Tong University(上海交通大学)
Scalable Angular Discriminative Deep Metric Learning for Face Recognition
Nankai University(南开大学);Tianjin University(天津大学)
随着深度学习的发展,深度度量学习(Deep Metric Learning,DML)在人脸识别方面取得了很大的进步。具体来说,在训练过程中广泛使用的softmax损失往往会带来很大的类内变化,而特征归一化只在测试过程中使用,以计算对相似度。为了弥补这一差距,我们在训练步骤中将softmax损失中的特征和权重向量之间的类内余弦相似性设置为大于一个裕度,并从四个方面对其进行了扩展。首先,我们探讨了硬样本挖掘策略的效果。为了减轻调整超参数的人工劳动,提出了一种自适应的边缘更新策略。然后,一个规范化的版本,以充分利用余弦相似性约束。此外,我们加强了前一个约束,迫使类内余弦相似度大于平均类间余弦相似度,在指数特征投影空间中有一个保证金。在Labeled Face in the Wild(LFW)、Youtube Faces(YTF)和IARPA Janus Benchmark A(IJB-A)数据集上进行的大量实验表明,本文提出的方法优于主流的DML方法,接近最先进的性能。