We built the largest database for kinship recognition. The data were labeled using a novel clustering algorithm that used label proposals as side information to guide more accurate clusters. Great savings in time and human input was had. Statistically, FIW shows enormous gains over its predecessors. We have several benchmarks in kinship verification, family classification, tri-subject verification, and large-scale search and retrieval. We also trained CNNs on FIW and deployed the model on the renowned KinWild I and II to gain SOTA. Most recently, we further augmented FIW with MM. Now, video dynamics, audio, and text captions can be used in the decision making of kinship recognition systems. We expect FIW will significantly impact research and reality. Additionally, we tackled the classic problem of facial landmark localization. A majority of these networks have objectives based on L1 or L2 norms, which inherit several disadvantages. The locations of landmarks are determined from generated heatmaps from which predicted landmark locations get penalized without accounting for the spread: a high scatter corresponds to low confidence and vice-versa. To address this, we introduced an objective that penalizes for low confidence. Another issue is a dependency on labeled data, which is expensive to collect and susceptible to error. We addressed both issues by proposing an adversarial training framework that leverages unlabeled data to improve model performance. Our method claims SOTA on renowned benchmarks. Furthermore, our model is robust with a reduced size: 1/8 the number of channels is comparable to SOTA in real-time on a CPU. Finally, we built BFW to serve as a proxy to measure bias across ethnicity and gender subgroups, allowing us to characterize FR performances per subgroup. We show performances are non-optimal when a single threshold is used to determine whether sample pairs are genuine.
The 5th Recognizing Families in the Wild Data Challenge: Predicting Kinship from Faces
Recognizing Families In the Wild（RFIW）是与第16届IEEE International Conference on Automatic Face and Gesture Recognition（FG）联合举办的一项数据挑战，是一项大规模、多轨道的视觉亲属关系识别评估。对于RFIW的第五版，我们继续吸引学者，汇集专业人士，发表新的工作，并讨论前景。在本文中，我们总结了今年RFIW的三项任务的提交：具体来说，我们回顾了亲属关系验证，三主题验证和家庭成员搜索和检索的结果。我们着眼于RFIW问题，分享当前的努力，并为未来的发展方向提出建议。
Recognizing Families In the Wild: White Paper for the 4th Edition Data Challenge
Northeastern University（东北大学）；UMass Dartmouth（麻省大学达特茅斯分校）；Southeast University（东南大学）；Konica Minolta（柯尼卡美能达）；ISM Connect；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田工业大学）；University of Maryland（马里兰大学）
Recognizing Families In the Wild（RFIW）：一项年度大规模、多轨道的自动亲属关系识别评估，支持各种基于视觉亲属关系的问题，其规模比以往任何时候都要高。RFIW与第15届IEEE自动人脸和手势识别（FG）国际会议作为一项挑战联合举办，为发布原创作品和聚集专家讨论下一步提供了一个平台。本文总结了支持的任务（即，亲属关系验证、三主体验证和失踪儿童的搜索和检索），其中包括实际动机、技术背景、数据分割、指标和基准结果。此外，顶级提交（即，排行榜统计数据）被列出并作为对问题状态的高级分析进行审查。最后，本文的目的是描述2020年RFIW的挑战，端到端，以及对未来发展方向的预测。
Recognizing Families through Images with Pretrained Encoder
Faculty of Information Technology, University of Science, VNU-HCM（越南国家大学胡志明市分校科学大学信息技术学院）
亲属关系验证和亲属关系检索是计算机视觉中的新兴任务。亲属关系验证的目的是确定两个人脸图像是否来自相关的人，而亲属关系检索是从图像库中检索可能与一个人相关的人脸图像的任务。他们引入了独特的挑战，因为隐藏的关系和功能，进行面部图像之间的固有特性。我们采用3种方法，FaceNet，Siamese VGG-Face以及FaceNet和VGG-Face模型的组合作为特征提取器，在2020年的Recognizing Family in The Wild比赛中获得了第9名的亲属关系验证和第5名的亲属关系检索。然后，我们使用StyleGAN 2作为另一个编码器进行了进一步的实验，结果没有任何改善。
Achieving Better Kinship Recognition Through Better Baseline
使用人脸图像识别血缘关系可以被视为具有额外限制的人脸识别系统的应用。事实证明，这些限制很难处理，然而，最近在人脸验证方面的进展表明，使用更多的数据和新的想法仍然有很多收获。因此，人脸识别是一个很大的源域，我们可以从中转移知识，以获得更好的性能在亲属识别作为一个源域。我们提出了一个新的基线，用于自动亲属识别任务和亲属搜索，基于RetinaFace[1]的人脸注册和ArcFace[2]人脸验证模型。以上述方法为基础，我们构建了一个管道，在最近的Recognizing Families In the Wild Data Challenge中在两个轨道上实现了最先进的性能。
Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点，我们介绍了新的人在相册（PIPA）数据集，包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸，识别任务是非常具有挑战性的，由于姿势，服装，相机的观点，图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition（PIPER）方法，该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索，以折扣姿态变化，结合面部识别器和全局识别器。在三种不同设置上的实验证实，在我们的无约束设置中，PIPER显着提高了DeepFace的性能，DeepFace是在LFW数据集上测量的最佳人脸识别器之一。
Deep Fusion Siamese Network for Automatic Kinship Verification
University of Science and Technology of China（中国科学技术大学）
自动亲属关系验证旨在确定某些个体是否属于同一家庭。帮助失踪人员与家人团聚具有重要的研究意义。在这项工作中，具有挑战性的问题是逐步解决在两个方面。首先，我们提出了一个深度连体网络来量化两个个体之间的相对相似性。当给定两个输入人脸图像时，深度连体网络从其中提取特征，并通过组合和连接来融合这些特征。然后，融合后的特征被送入一个全连接的网络，以获得两个人脸之间的相似性得分，这是用来验证亲属关系。为了提高性能，陪审团制度也被用于多模型融合。第二，将两个深度连体网络集成为用于三主题的深度三重网络（即，父亲、母亲和孩子）亲属关系核实，旨在确定一个孩子是否与一对父母有亲属关系。具体地，对所获得的父子相似度得分和母子相似度得分进行加权，以生成用于亲属关系验证的父子相似度得分。Recognizing Families In the Wild（RFIW）是一个具有挑战性的多轨道亲属关系识别任务，它基于Families in the Wild（FIW），一个大规模和全面的图像数据库，用于自动亲属关系识别。在正在进行的RFIW 2020挑战期间，支持亲属关系验证（第一轨道）和三主体验证（第二轨道）。我们的团队（中国科大-nelslip）在第二赛道排名第一，在第一赛道排名第三。该代码可在https://github.com/gniknoil/FG2020-kinship上获得。
Look Across Elapse: Disentangled Representation Learning and Photorealistic Cross-Age Face Synthesis for Age-Invariant Face Recognition
National University of Singapore（新加坡国立大学）；National University of Defense Technology（中国人民解放军国防科技大学）；Panasonic R&D Center Singapore（松下新加坡研发中心）；Nanyang Technological University（南洋理工大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
