不受限制的耳朵识别挑战

Towards Image-based Automatic Meter Reading in Unconstrained Scenarios: A Robust and Efficient Approach

Existing approaches for image-based Automatic Meter Reading (AMR) have been evaluated on images captured in well-controlled scenarios. However, real-world meter reading presents unconstrained scenarios that are way more challenging due to dirt, various lighting conditions, scale variations, in-plane and out-of-plane rotations, among other factors. In this work, we present an end-to-end approach for AMR focusing on unconstrained scenarios. Our main contribution is the insertion of a new stage in the AMR pipeline, called corner detection and counter classification, which enables the counter regi…

2019年无约束耳识别挑战赛- ArXiv版本（含附录）

The Unconstrained Ear Recognition Challenge 2019 - ArXiv Version With Appendix

本文总结了2019年无约束耳朵识别挑战赛（UERC），这是一系列小组基准测试中的第二次，重点关注在不受控制的环境中捕获的耳朵图像中的人识别问题。该挑战的目标是评估现有耳朵识别技术在具有挑战性的大规模耳朵数据集上的性能，并从各种角度分析该技术的性能，例如对不可见数据特征的泛化能力，对旋转的敏感性，遮挡和图像分辨率以及基于人口统计标准（即性别和种族）选择的受试者子组的性能偏差。来自12个机构的研究小组参加了比赛，并提交了从基于机器人的方法到深度学习模型的13种识别方法。大多数提交的文件都集中在基于集成的方法上，这些方法结合了来自多个深度模型的表示或手工制作的学习图像描述符。我们的分析表明，结合深度学习模型的方法明显优于仅依赖手工制作的描述符的技术，即使这两组技术在对各种协变量的鲁棒性方面表现出相似的行为，例如遮挡的存在，（头部）姿势的变化或图像分辨率的变化。挑战赛的结果也表明，自2017年第一届UERC以来，已经取得了相当大的进展，但在这一领域仍有足够的进一步研究空间。

超越正面面孔：使用多线索提高人物识别

Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues

我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点，我们介绍了新的人在相册（PIPA）数据集，包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸，识别任务是非常具有挑战性的，由于姿势，服装，相机的观点，图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition（PIPER）方法，该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索，以折扣姿态变化，结合面部识别器和全局识别器。在三种不同设置上的实验证实，在我们的无约束设置中，PIPER显着提高了DeepFace的性能，DeepFace是在LFW数据集上测量的最佳人脸识别器之一。

Unconstrained Text Detection in Manga: a New Dataset and Baseline

The detection and recognition of unconstrained text is an open problem in research. Text in comic books has unusual styles that raise many challenges for text detection. This work aims to binarize text in a comic genre with highly sophisticated text styles: Japanese manga. To overcome the lack of a manga dataset with text annotations at a pixel level, we create our own. To improve the evaluation and search of an optimal model, in addition to standard metrics in binarization, we implement other special metrics. Using these resources, we designed and evaluated a deep network model, outperforming…

野外步态识别：一个大规模基准与基于NAS的基线

Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline

本文提出首个野外步态识别大规模基准GREW，并设计首个基于NAS的步态识别模型SPOSGait，在多个基准上大幅超越现有方法。

UIT-HWDB：使用 Transferring 方法构建用于评估越南语无约束手写图像识别的新型基准

UIT-HWDB: Using Transferring Method to Construct A Novel Benchmark for Evaluating Unconstrained Handwriting Image Recognition in Vietnamese

针对越南语手写识别数据稀缺及现有由笔迹坐标生成图像不真实的问题，提出 Transferring 方法构建高质量自然合成基准 UIT-HWDB，并通过多种前沿方法实验揭示识别挑战。

身份识别与上下文学习相结合的人物识别方法

Unifying Identification and Context Learning for Person Recognition

尽管人脸识别技术取得了巨大的成功，但在不受约束的环境下识别人仍然具有挑战性。诸如纵断面图、不利的照明和遮挡等问题可能会导致相当大的困难。以前的作品试图通过利用背景来解决这个问题，例如衣服和社会关系。虽然这些方法有很好的改进效果，但它们通常局限于两个重要方面，即依赖简单的语义学来组合不同的线索，以及将语境的构建与人的身份分离开来。在这项工作中，我们的目标是超越这些限制，并提出了一个新的框架，利用上下文的人识别。特别是，我们提出了一个区域注意力网络，学习自适应地结合视觉线索与实例相关的权重。我们还开发了一个统一的配方，其中的社会背景是随着人们的身份推理学习。这些模型大大提高了在无约束环境中处理复杂上下文关系时的鲁棒性。在两个大的数据集，PIPA和演员在电影（CIM），在这项工作中提出的一个新的数据集，我们的方法始终达到国家的最先进的性能在多个评估政策。

Gait Recognition in the Wild with Dense 3D Representations and A Benchmark

Existing studies for gait recognition are dominated by 2D representations like the silhouette or skeleton of the human body in constrained scenes. However, humans live and walk in the unconstrained 3D space, so projecting the 3D human body onto the 2D plane will discard a lot of crucial information like the viewpoint, shape, and dynamics for gait recognition. Therefore, this paper aims to explore dense 3D representations for gait recognition in the wild, which is a practical yet neglected problem. In particular, we propose a novel framework to explore the 3D Skinned Multi-Person Linear (SMPL) …

儿童耳部识别的深度学习方法与纵向评估

Deep Learning Approach for Ear Recognition and Longitudinal Evaluation in Children

本文针对儿童耳部随年龄快速变化带来的识别难题，构建了4至14岁儿童2.5年的纵向数据集，并提出基于VGG16与MobileNet集成的深度学习方法，重点评估儿童耳部识别的纵向性能。

PTSD in the Wild: A Video Database for Studying Post-Traumatic Stress Disorder Recognition in Unconstrained Environments

POST-traumatic stress disorder (PTSD) is a chronic and debilitating mental condition that is developed in response to catastrophic life events, such as military combat, sexual assault, and natural disasters. PTSD is characterized by flashbacks of past traumatic events, intrusive thoughts, nightmares, hypervigilance, and sleep disturbance, all of which affect a person's life and lead to considerable social, occupational, and interpersonal dysfunction. The diagnosis of PTSD is done by medical professionals using self-assessment questionnaire of PTSD symptoms as defined in the Diagnostic and Stat…

A New Periocular Dataset Collected by Mobile Devices in Unconstrained Scenarios

Recently, ocular biometrics in unconstrained environments using images obtained at visible wavelength have gained the researchers' attention, especially with images captured by mobile devices. Periocular recognition has been demonstrated to be an alternative when the iris trait is not available due to occlusions or low image resolution. However, the periocular trait does not have the high uniqueness presented in the iris trait. Thus, the use of datasets containing many subjects is essential to assess biometric systems' capacity to extract discriminating information from the periocular region. …

耳朵识别：不仅仅是一项调查

Ear Recognition: More Than a Survey

从人耳图像中自动识别身份是生物识别领域的一个研究热点。从远处以隐蔽方式捕获耳朵图像的能力使该技术成为监视和安全应用以及其他应用领域的吸引人的选择。近年来，该领域做出了重大贡献，但开放的研究问题仍然存在，阻碍了该技术的更广泛（商业）部署。本文介绍了自动人耳识别（从2D图像）领域的概述，并特别侧重于最新的，在这一领域提出的基于矢量的方法。开放的挑战进行了讨论，并概述了潜在的研究方向，为读者提供了一个参考点的问题，值得在未来的研究目标。除了对人耳识别技术进行全面回顾外，本文还介绍了一个新的、完全无约束的从网络上收集的人耳图像数据集和一个工具箱，该工具箱实现了几种最先进的人耳识别技术。该数据集和工具箱旨在解决该领域的一些悬而未决的问题，并向研究界公开提供。

基于深度卷积神经网络的领域自适应人耳识别

Domain Adaptation for Ear Recognition Using Deep Convolutional Neural Networks

在本文中，我们广泛研究了无约束的人耳识别问题。我们首先展示了当深度卷积神经网络模型用于人耳识别时，领域自适应的重要性。为了启用领域自适应，我们使用Multi-PIE人脸数据集收集了一个新的耳朵数据集，我们将其命名为Multi-PIE耳朵数据集。为了进一步提高性能，我们结合了不同的深度卷积神经网络模型。我们深入分析了耳朵图像质量（例如照度和纵横比）对分类性能的影响。最后，我们解决了人耳识别领域中的数据集偏差问题。在UERC数据集上的实验表明，领域自适应可以显著提高性能。例如，当使用VGG-16模型并应用领域自适应时，已经实现了约10%的绝对增加。结合不同的深度卷积神经网络模型，进一步提高了4%的精度。还观察到图像质量对结果有影响。在我们已经进行的检查数据集偏差的实验中，给定一个耳朵图像，我们能够以99.71%的准确率对数据集进行分类，这表明耳朵识别数据集之间存在很强的偏差。

基于卷积神经网络的精确、高效、无约束文本识别

Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks

无约束文本识别是一个重要的计算机视觉任务，具有各种不同的子任务，每个子任务都有自己的挑战。深度神经网络的最大承诺之一是从输入原始信号中提取特征的收敛和自动化，从而以最少的领域知识实现尽可能高的性能。为此，我们提出了一个数据高效，端到端的神经网络模型通用，无约束的文本识别。在我们提出的架构中，我们努力在不牺牲识别精度的情况下实现简单性和效率。我们提出的架构是一个完全卷积的网络，没有任何使用CTC损失函数训练的循环连接。因此，它可以对任意大小的输入进行操作，并以非常高效和可并行的方式生成任意长度的字符串。我们通过在七个公共基准数据集上实现最先进的结果来展示我们所提出的文本识别架构的通用性和优越性，这些数据集涵盖了广泛的文本识别任务，即：手写识别，CAPTCHA识别，OCR，车牌识别和场景文本识别。我们提出的架构赢得了ICFHR 2018 READ数据集自动文本识别竞赛。

无约束生物识别：最近的SOCIA实验室总结。研究

Unconstrained Biometric Recognition: Summary of Recent SOCIA Lab. Research

开发能够在视觉监控条件下工作的生物识别解决方案，即，在不受约束的数据采集条件下和在隐蔽协议下的研究已经激发了研究界越来越多的努力。在关注这个问题的各种实验室、学校和研究机构中，SOCIA：软计算和图像分析实验室，葡萄牙贝拉内政大学的研究人员一直在积极寻求颠覆性的解决方案，以获得这种极其雄心勃勃的自动机。本报告总结了SOCIA实验室成员发表的研究成果。在过去的十年中，在不受约束的条件下，生物识别的范围。这个想法是，它可以作为希望进入这个研究课题的人的基础。

深度视听语音识别

Deep Audio-Visual Speech Recognition

这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献是：（1）我们比较了两种唇读模型，一种使用CTC损失，另一种使用序列间损失。这两个模型都建立在Transformer自我注意力架构之上;（2）我们研究唇读在多大程度上是音频语音识别的补充，特别是当音频信号有噪声时;（3）我们引入并公开发布一个新的视听语音识别数据集LRS 2-BBC，由英国电视上的数千个自然句子组成。我们训练的模型在唇读基准数据集上的性能远远超过了以前所有工作的性能。

一种基于视频的无约束人脸自动识别系统

An Automatic System for Unconstrained Video-Based Face Recognition

虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可

一种有效的无约束相关滤波器及其核函数化在人脸识别中的应用

An Effective Unconstrained Correlation Filter and Its Kernelization for Face Recognition

本文提出了一种有效的无约束相关滤波器--无约束最优原点折衷滤波器（UOOTF），并将其应用于鲁棒人脸识别。与传统的相关滤波器在类相关特征分析（CFA），UOOTF提高了整体性能的不可见的模式，通过删除硬约束的原始相关输出在滤波器的设计。为了处理不同类之间的非线性可分分布，我们进一步开发了基于核技术的UOOTF的非线性扩展。UOOTF的内核扩展允许更高的灵活性的决策边界，由于更广泛的非线性特性。实验结果表明，所提出的无约束相关滤波器及其核化算法在人脸识别中是有效的。

Spatial Domain Feature Extraction Methods for Unconstrained Handwritten Malayalam Character Recognition

Handwritten character recognition is an active research challenge,especially for Indian scripts. This paper deals with handwritten Malayalam, with a complete set of basic characters, vowel and consonant signs and compound characters that may be present in the script. Spatial domain features suitable for recognition are chosen in this work. For classification, k-NN, SVM and ELM are employed

DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition

Unconstrained handwritten text recognition is a challenging computer vision task. It is traditionally handled by a two-step approach, combining line segmentation followed by text line recognition. For the first time, we propose an end-to-end segmentation-free architecture for the task of handwritten document recognition: the Document Attention Network. In addition to text recognition, the model is trained to label text parts using begin and end tags in an XML-like fashion. This model is made up of an FCN encoder for feature extraction and a stack of transformer decoder layers for a recurrent t…

RoadText-1K：用于驾驶视频的文本检测和识别数据集

RoadText-1K: Text Detection & Recognition Dataset for Driving Videos

感知文本对于理解户外场景的语义至关重要，因此是构建驾驶员辅助和自动驾驶智能系统的关键要求。大多数用于文本检测和识别的现有数据集包括静态图像，并且大多数都是在考虑文本的情况下进行编译的。本文介绍了一个新的“RoadText-1 K”数据集，用于驾驶视频中的文本。该数据集比现有最大的视频文本数据集大20倍。我们的数据集包括1000个驾驶视频片段，没有任何对文本的偏见，并且在每帧中都有文本边界框和translation的注释。在新数据集上评估了最先进的文本检测、识别和跟踪方法，结果表明，与现有数据集相比，无约束驾驶视频面临着挑战。这表明RoadText-1 K适合阅读系统的研究和开发，足够强大，可以整合到更复杂的下游任务中，如驾驶员辅助和自动驾驶。该数据集可在http://cvit.iiit.ac.in/research/projects/cvit-projects/roadtext-1k上找到

Controllable and Guided Face Synthesis for Unconstrained Face Recognition

Although significant advances have been made in face recognition (FR), FR in unconstrained environments remains challenging due to the domain gap between the semi-constrained training datasets and unconstrained testing scenarios. To address this problem, we propose a controllable face synthesis model (CFSM) that can mimic the distribution of target datasets in a style latent space. CFSM learns a linear subspace with orthogonal bases in the style latent space with precise control over the diversity and degree of synthesis. Furthermore, the pre-trained synthesis model can be guided by the FR mod…

面向消费类设备的无约束掌纹识别研究综述

Towards Unconstrained Palmprint Recognition on Consumer Devices: a Literature Review

作为一种生物识别技术，掌纹在很大程度上没有得到充分利用，但它们比指纹和面部生物识别技术具有一些优势。最近在手持和可穿戴消费设备上的成像能力的改进重新唤起了人们对掌纹使用的兴趣。本文的目的是提供一个全面的国家的最先进的掌纹识别方法，包括感兴趣的区域提取方法，特征提取方法和匹配算法，以及可用的掌纹数据集的概述，以了解最新的趋势和研究动态在掌纹识别领域。

Boosting Unconstrained Face Recognition with Auxiliary Unlabeled Data

In recent years, significant progress has been made in face recognition, which can be partially attributed to the availability of large-scale labeled face datasets. However, since the faces in these datasets usually contain limited degree and types of variation, the resulting trained models generalize poorly to more realistic unconstrained face datasets. While collecting labeled faces with larger variations could be helpful, it is practically infeasible due to privacy and labor cost. In comparison, it is easier to acquire a large number of unlabeled faces from different domains, which could be…

融合学习特征和手工特征的人耳识别

Employing Fusion of Learned and Handcrafted Features for Unconstrained Ear Recognition

我们提出了一个不受约束的人耳识别框架，在不同的公开可用的图像数据库中的性能优于最先进的系统。为此，我们开发了基于CNN的耳标准化和描述解决方案，我们使用了众所周知的手工描述符，并融合了学习和手工特征以提高识别率。我们设计了一个两阶段的地标检测器，成功地在未经训练的情况下工作。我们使用生成的结果来执行几何图像归一化，从而提高了所有评估描述符的性能。我们的CNN描述符优于文献中其他基于CNN的作品，特别是在更困难的情况下。学习和手工制作的匹配器的融合似乎是互补的，因为它在所有实验中取得了最佳性能。所获得的结果优于UERC挑战的所有其他报告结果，其中包含当今最困难的数据库。

Have convolutions already made recurrence obsolete for unconstrained handwritten text recognition ?

Unconstrained handwritten text recognition remains an important challenge for deep neural networks. These last years, recurrent networks and more specifically Long Short-Term Memory networks have achieved state-of-the-art performance in this field. Nevertheless, they are made of a large number of trainable parameters and training recurrent neural networks does not support parallelism. This has a direct influence on the training time of such architectures, with also a direct consequence on the time required to explore various architectures. Recently, recurrence-free architectures such as Fully …

VoxCeleb2：深度说话人识别

VoxCeleb2: Deep Speaker Recognition

本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先，我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道，我们策划了VoxCeleb2，其中包含来自6，000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次，我们开发和比较卷积神经网络（CNN）模型和训练策略，可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。

Recurrence-free unconstrained handwritten text recognition using gated fully convolutional network

Unconstrained handwritten text recognition is a major step in most document analysis tasks. This is generally processed by deep recurrent neural networks and more specifically with the use of Long Short-Term Memory cells. The main drawbacks of these components are the large number of parameters involved and their sequential execution during training and prediction. One alternative solution to using LSTM cells is to compensate the long time memory loss with an heavy use of convolutional layers whose operations can be executed in parallel and which imply fewer parameters. In this paper we presen…

基于稠密网络的多尺度通道相关性人脸识别

Learning Channel Inter-dependencies at Multiple Scales on Dense Networks for Face Recognition

我们提出了一种新的无约束人脸识别深度网络结构。该网络将几个关键组件集成在一起，以表征复杂的数据分布，例如无约束的人脸图像。受深度网络最新进展的启发，我们考虑了一些重要的概念，包括多尺度特征学习，网络层的密集连接，以及对不同网络流进行加权，以构建我们的深度网络结构。在无约束人脸匹配中对所开发的网络进行了评估，显示出学习各种质量的人脸图像所引起的复杂数据分布的能力。

非约束条件下人脸识别的系统评价

Face Recognition in Unconstrained Conditions: A Systematic Review

人脸识别是一种生物识别技术，吸引了大量的研究，商业和政府的兴趣，因为它提供了一种谨慎的，非侵入性的方式来检测和识别个人，而不需要主体的知识或同意。这是由于降低了成本，以及硬件和算法的发展，这些硬件和算法提高了处理无约束条件的能力。显然需要负担得起的和有效的应用程序。然而，对于哪种方法最合适存在很大争议，特别是在基于深度神经网络的人脸识别系统日益重要的背景下。本系统综述试图通过组织该领域的大量研究和数据来澄清这两个问题，以澄清当前的研究趋势，最先进的方法，并概述其优点和缺点。总体而言，这项研究涵盖了1，330项相关研究，显示在过去6年中，人脸识别领域的研究兴趣增加了200%以上。我们的研究结果还表明，由于硬件数据库的改进和对神经网络理解的增加，深度学习方法是现代研究的主要焦点。相比之下，传统方法由于其固有的准确性限制以及在处理大量数据时缺乏效率而失去了研究人员的青睐。

利用数十亿张人脸克服无约束人脸识别的性能障碍

Leveraging Billions of Faces to Overcome Performance Barriers in Unconstrained Face Recognition

我们采用了face.com内部开发的人脸识别技术，达到了一个公认的基准，并表明无需任何调整，我们就能够大大超过最先进的结果。大部分改进集中在零假阳性匹配的高值性能点，其中获得的召回率几乎是迄今为止最好的报告结果的两倍。我们讨论了我们的系统，使这一显着的性能差距的各种组件和创新。这些组件包括广泛利用精确的3D重建形状模型来处理姿势和照明带来的挑战。此外，基于数十亿张人脸的判别模型被用于克服衰老和面部表情以及低光和过度曝光。最后，我们确定了一组具有挑战性的识别查询，可能为未来的研究提供有用的重点。

无约束文本识别的深度结构化输出学习

Deep Structured Output Learning for Unconstrained Text Recognition

我们开发了一个表示适合于自然图像中的单词的无约束识别：没有固定的词典和未知长度的一般情况下。为此，我们提出了一种基于卷积神经网络（CNN）的架构，该架构采用了条件随机场（CRF）图形模型，将整个单词图像作为单个输入。CRF的一元由预测输出的每个位置处的字符的CNN提供，而高阶项由检测N元语法的存在的另一个CNN提供。我们表明，整个模型（CRF，字符预测器，N-gram预测器）可以通过反向传播结构化输出损失来联合优化，基本上要求系统执行多任务学习，并且训练使用纯粹的合成生成的数据。由此产生的模型是一个比单独的字符预测更准确的标准真实文本识别基准系统，为尚未在特定词典上训练的系统设定了基准。此外，我们的模型在词汇受限的情况下实现了最先进的准确性，而无需专门为受限识别建模。为了测试我们的模型的泛化，我们还进行了随机字母数字字符串的实验，以评估的方法时，没有视觉语言模型是适用的。

对抗性超分辨率无约束监控系统中的实用车牌识别

Practical License Plate Recognition in Unconstrained Surveillance Systems with Adversarial Super-Resolution

虽然大多数当前的牌照（LP）识别应用程序已经显着先进，他们仍然局限于理想的环境中，训练数据仔细注释与受约束的场景。在本文中，我们提出了一种新的车牌识别方法来处理无约束的现实世界的交通场景。为了克服这些困难，我们使用对抗超分辨率（SR），和一个阶段的字符分割和识别。结合基于VGG-net的深度卷积网络，我们的方法提供了简单但合理的训练过程。此外，我们介绍了GIST-LP，一个具有挑战性的LP数据集，其中图像样本有效地从无约束的监控场景中收集。AOLP和GIST-LP数据集上的实验结果表明，我们的方法，没有任何特定场景的适应，优于目前的LP识别方法的准确性，并提供视觉增强我们的SR结果，更容易理解比原始数据。

面向无约束视频的鲁棒跨模态知识蒸馏

Robust Cross-Modal Knowledge Distillation for Unconstrained Videos

针对无约束视频中模态噪声与语义关联不一致的问题，提出MNF净化教师模态并结合CSC进行自适应对比蒸馏，提升动作识别、视频检索及音频标注性能。

无约束人脸检测和开集人脸识别挑战

Unconstrained Face Detection and Open-Set Face Recognition Challenge

人脸检测和识别基准已经转向更困难的环境。本文提出的挑战解决了从室外监控摄像机自动检测和识别人的方向的下一步。虽然人脸检测在从网络收集的图像中取得了显着的成功，但监控摄像头包括更多样化的遮挡，姿势，天气条件和图像模糊。虽然人脸验证或闭集人脸识别在某些数据集上已经超过了人类的能力，但开集识别要复杂得多，因为它需要拒绝来自人脸检测器的未知身份和错误接受。我们表明，无约束的人脸检测可以接近高的检测率，虽然有适度的错误接受率。相比之下，开集人脸识别目前还很弱，需要更多的关注。

基于视频的无约束人脸识别中Tracklet之间上下文连接的不确定性建模

Uncertainty Modeling of Contextual-Connections between Tracklets for Unconstrained Video-based Face Recognition

无约束的基于视频的人脸识别是一个具有挑战性的问题，由于显着的视频内的变化所造成的姿态，遮挡和模糊。为了解决这个问题，一个有效的想法是通过上下文连接将身份从高质量的面孔传播到低质量的面孔，上下文连接是基于身体外观等上下文构建的。然而，以前的方法往往传播错误的信息，由于缺乏不确定性建模的嘈杂的上下文连接。在本文中，我们提出了不确定性门控图（UGG），它进行基于图形的身份传播之间的轨迹，这是由图中的节点表示。UGG通过在推理过程中根据节点的身份分布自适应地更新边门的权重来显式地建模上下文连接的不确定性。UGG是一个通用的图形模型，只能在推理时应用，也可以在端到端训练时应用。我们在最近发布的具有挑战性的电影演员搜索和IARPA Janus监控视频基准数据集中展示了UGG的有效性。

预处理对无约束环境下虹膜识别深度表示的影响

The Impact of Preprocessing on Deep Representations for Iris Recognition on Unconstrained Environments

虹膜作为一种生物特征被广泛使用，因为它具有高度的区分性和唯一性。目前，主要的研究挑战之一是在无约束环境下对可见光范围内的虹膜图像进行识别。在这种情况下，所获取的虹膜受到捕获距离、旋转、模糊、运动模糊、低对比度和镜面反射的影响，从而产生干扰虹膜识别系统的噪声。为了解决这些问题，除了提取虹膜区域外，通常还需要对虹膜图像进行归一化和分割等预处理。但这些技术不可避免地会出现一些错误。在这种情况下，我们建议使用深度表示，更具体地说，基于VGG和ResNet-50网络的架构，用于处理使用（而不是）虹膜分割和归一化的图像。我们使用从人脸域的迁移学习，并提出了一个具体的数据增强技术虹膜图像。我们的研究结果表明，使用非规范化的，只有圆圈界定的虹膜图像的方法达到了一个新的国家的艺术在官方协议的NICE。II竞争，一个子集的UBIRIS数据库，一个最具挑战性的数据库在无约束的环境，报告平均相等的出错率（EER）为13.98%，这代表了约5%的绝对减少。

阿拉伯文字的无约束场景文本和视频文本识别

Unconstrained Scene Text and Video Text Recognition for Arabic Script

为阿拉伯语构建强大的识别器一直是一项挑战。我们展示了端到端可训练的CNN-RNN混合架构在识别视频和自然场景中的阿拉伯语文本方面的有效性。我们在两个公开的视频文本数据集- ALIF和ACTIV上的表现优于以前的最先进水平。对于场景文本识别任务，我们引入了一个新的阿拉伯语场景文本数据集，并建立基线结果。对于像阿拉伯语这样的脚本，开发强大的识别器的一个主要挑战是缺乏大量的注释数据。我们通过从大量的阿拉伯单词和短语中合成数百万的阿拉伯语文本图像来克服这一点。我们的实现建立在这里介绍的模型之上[37]，该模型被证明对英语场景文本识别非常有效。该模型遵循无片段的序列到序列转录方法。该网络将来自输入图像的卷积特征序列转录为目标标签序列。这消除了将输入图像分割成组成字符/字形的需要，这对于阿拉伯文字来说通常是困难的。此外，RNN对上下文依赖性进行建模的能力产生了更好的识别结果。

基于多原型网络的无约束集合人脸识别

Multi-Prototype Networks for Unconstrained Set-based Face Recognition

在本文中，我们研究了具有挑战性的无约束的基于集合的人脸识别问题，其中每个主题的脸是由一组媒体（图像和视频），而不是一个单一的图像实例化。单纯地聚集来自集合内的所有媒体的信息将遭受由异构因素（例如，变化的媒体形态、姿势和照明），并且不能学习区别性的面部表示。因此，提出了一种新的多原型网络（MPNet）模型，学习多个原型人脸表示自适应的媒体集。每个学习的原型是在一定条件下的姿态，照明和媒体模态方面的主体脸的代表。MPNet引入了一个密集子图（DSG）学习子网，而不是手工制作原型学习的集合分区，该子网隐式地解开不一致的媒体并学习许多代表性的原型。定性和定量的实验清楚地表明了所提出的模型的优越性，在国家的最先进的。

HiH：一种用于无约束步态识别的多模态层级嵌套网络

HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait Recognition

HiH 提出一种融合剪影与姿态序列的多模态层级嵌套网络，通过层级步态分解、可变形空间增强和时间对齐模块，在无约束步态识别中实现精度与效率的平衡。

无约束人脸验证与识别中的晶体损失和质量池

Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition

近年来，基于深度卷积神经网络（DCNN）的人脸验证和识别系统的性能得到了显著提高。用于人脸验证的典型管道包括训练深度网络以进行具有softmax损失的主题分类，使用倒数第二层输出作为特征描述符，并在给定一对人脸图像或视频的情况下生成余弦相似性得分。softmax损失函数不会优化特征，使其对正对具有更高的相似性得分，对负对具有更低的相似性得分，这导致性能差距。在本文中，我们提出了一个新的损失函数，称为晶体损失，限制的功能，躺在一个固定半径的超球面。使用现有的深度学习框架可以很容易地实现这种损失。我们表明，将这个简单的步骤集成到训练管道中可以显着提高人脸验证和识别系统的性能。我们在具有挑战性的LFW，IJB-A，IJB-B和IJB-C数据集上实现了最先进的人脸验证和识别性能，误报率范围很大（10-1至10-7）。

利用分布内、分布外和无约束数据探索半监督面部表情识别的边界

Exploring the Boundaries of Semi-Supervised Facial Expression Recognition using In-Distribution, Out-of-Distribution, and Unconstrained Data

本文系统评估了11种最新半监督学习方法在面部表情识别中的表现，发现FixMatch适合分布内未标注数据，ReMixMatch在分布外、无约束及稀缺数据场景下最优，并证明半监督学习在等量标注样本下始终优于监督学习。

Cross-Quality LFW: A Database for Analyzing Cross-Resolution Image Face Recognition in Unconstrained Environments

Real-world face recognition applications often deal with suboptimal image quality or resolution due to different capturing conditions such as various subject-to-camera distances, poor camera settings, or motion blur. This characteristic has an unignorable effect on performance. Recent cross-resolution face recognition approaches used simple, arbitrary, and unrealistic down- and up-scaling techniques to measure robustness against real-world edge-cases in image quality. Thus, we propose a new standardized benchmark dataset and evaluation protocol derived from the famous Labeled Faces in the Wild…

无约束图像中有效的人脸正面化

Effective Face Frontalization in Unconstrained Images

“正面化”是合成出现在单个不受约束的照片中的面部的正面视图的过程。最近的报告表明，这一过程可能会大大提高人脸识别系统的性能。这是通过将识别从不受约束的视角观看的人脸的挑战性问题转换为识别受约束的、面向前方的姿势的人脸的更容易的问题。以前的正面化方法通过尝试为每个查询图像近似3D面部形状来实现这一点。我们观察到，从无约束的照片中估计3D人脸形状可能是一个比正面化更难的问题，并且可能会引入面部错位。相反，我们探索使用单个未修改的3D表面作为所有输入面的形状的近似的更简单的方法。我们表明，这导致了一个简单，高效，易于实现的方法，前端化。更重要的是，它产生了美学上的新的正面视图，并且在用于面部识别和性别估计时非常有效。

一种用于鲁棒人脸识别的多人脸数据集

A Multi-Face Challenging Dataset for Robust Face Recognition

图像中的人脸识别是计算机视觉研究者们的一个活跃的研究领域。然而，在不受约束的环境中识别人脸是一个相对较少探索的研究领域。由于人脸图像的视点、尺度、姿态、光照和表情等变化，无约束环境下的多人脸识别是一项具有挑战性的任务。人脸的部分遮挡使得识别任务更具挑战性。本文的贡献是双重的：引入了一个具有挑战性的多面数据集（即，IIITS MFace Dataset）用于无约束环境中的人脸识别，并评估最先进的手工设计和基于深度学习的人脸描述符在数据集上的性能。建议的IIITS MFace数据集包含具有挑战性的人脸，如姿势变化，遮挡，面具，眼镜，表情，照明变化等。我们使用几种最先进的人脸描述符进行实验，包括最近基于深度学习的人脸描述符，如VGGFace，并与现有的基准人脸数据集进行比较。实验结果清楚地表明，与基准数据集相比，所提出的数据集的难度要高得多。

DropSample：一种新的用于大规模无约束手写体汉字识别的深度卷积神经网络训练方法

DropSample: A New Training Method to Enhance Deep Convolutional Neural Networks for Large-Scale Unconstrained Handwritten Chinese Character Recognition

受心理学领域Leitners学习盒理论的启发，提出了一种训练深度卷积神经网络（DCNN）的新方法--DropSample，并将其应用于大规模在线手写体汉字识别（HCCR）。根据DropSample的原理，每个训练样本都与配额函数相关联，该配额函数根据DCNN softmax输出给出的分类置信度进行动态调整。在学习迭代之后，具有低置信度的样本将具有更高的概率被选择为下一次迭代中的训练数据;相反，具有非常高置信度的良好训练和良好识别的样本将具有更低的概率被涉及下一次训练迭代，并且可以被逐渐淘汰。因此，学习过程变得更加有效，因为它的进展。此外，我们研究了使用特定领域的知识，以提高DCNN的性能，在传统的CNN之前添加一个领域知识层。通过采用DropSample结合不同类型的领域特定知识，可以有效地提高HCCR的准确性。在CASIA-OLHDWB 1.0、CASIA-OLHWDB 1.1和ICDAR 2013在线HCCR竞赛数据集上的实验分别获得了97.33%、97.06%和97.51%的出色识别率，所有这些都明显优于文献中报道的先前最佳结果。

基于生成对抗网络的无约束道路标线识别

Unconstrained Road Marking Recognition with Generative Adversarial Networks

近年来，随着深度学习的快速发展，道路标线识别取得了巨大的成功。虽然已经取得了相当大的进展，但它们往往过度依赖于不具代表性的数据集和约束条件。在本文中，为了克服这些缺点，我们提出了一种替代方法，实现更高的精度，并产生高质量的样本作为数据增强。本文的主要贡献有两点：1）提出的去模糊网络采用生成对抗网络（GAN），可以成功地从模糊的道路标记中恢复出清晰的道路标记。2)提出的数据增强方法，基于互信息，可以保持和学习给定的数据集的语义上下文。我们构造并训练了一个类条件GAN，以增加训练集的规模，使其适合于目标识别。实验结果表明，我们提出的框架产生去模糊的干净的样本模糊的，并优于其他方法，即使在无约束的道路标记数据集。

利用目标风格对抗提升无约束人脸识别性能

Boosting Unconstrained Face Recognition with Targeted Style Adversary

针对人脸识别模型跨域表现不佳的问题，提出目标风格对抗方法TSA，通过特征统计插值扩充训练数据并保留身份信息，性能优异且训练速度提升近70%、内存消耗降40%。

生物学上合理的层次结构能否有效地取代人脸检测、对齐和识别管道？

Can a biologically-plausible hierarchy effectively replace face detection, alignment, and recognition pipelines?

在自然照片中进行无约束人脸识别的标准方法是通过检测、对齐和识别管道。虽然这种方法取得了令人印象深刻的结果，但有几个原因令人不满意，其中之一是缺乏生物相容性。最近的一个前馈分层网络（如HMAX，其他卷积网络，或可能的腹侧流）的不变识别理论意味着无约束人脸识别的另一种方法。这种方法通过存储训练图像的变换（称为模板）来隐式地完成检测和对齐，而不是在测试时显式地检测和对齐人脸。在这里，我们提出了一个特定的位置敏感的哈希为基础的投票计划，我们称之为“共识的冲突”，并表明它可以用来近似的理论所隐含的完整的3层层次结构。所得到的用于无约束人脸识别的端到端系统对在自然条件下拍摄的人脸照片进行操作，例如，标签的脸在野外（LFW），没有对齐或裁剪他们，因为通常这样做。它在端到端任务上实现了最先进的技术水平的大幅改进，达到了与在对齐的、紧密裁剪的图像（没有外部训练数据）上运行的最佳系统相同的性能水平。它在两个较新的数据集上也表现良好，类似于LFW，但更困难：LFW-jittered（新的）和SUFR-W。

基于稀疏概念编码Tetrolet变换的无约束Odia字符识别

Sparse Concept Coded Tetrolet Transform for Unconstrained Odia Character Recognition

空间谱分解的特征表示是手写体字符自动识别系统中采用的鲁棒技术之一。在这方面，我们提出了一种新的图像表示方法，无约束的手写字母数字字符使用稀疏概念编码Tetrolets。Tetrolets不像传统小波那样使用固定的二进方块进行谱分解，通过采用捕获形状几何的Tetrominoes来保留手写体中的局部变化。低熵Tetrolet表示的稀疏概念编码被发现提取重要的隐藏信息（概念）的优越的模式识别。大规模的实验，使用10个数据库在六个不同的脚本（孟加拉语，梵文，Odia，英语，阿拉伯语和泰卢固语）进行。建议的特征表示以及标准分类器，如随机森林，支持向量机（SVM），最近邻和修改的二次判别函数（MQDF）被发现在所有数据库中实现最先进的识别性能，即99.40%（MNIST）; 98.72%和93.24%（IITBBS）; 99.38%和99.22%（ISI Kolkata）。建议的OCR系统的性能优于其他稀疏的技术，如PCA，SparsePCA和SparseLDA，以及优于现有的变换（小波，Slantlet和Stockwell）。

Towards End-to-end Car License Plate Location and Recognition in Unconstrained Scenarios

Benefiting from the rapid development of convolutional neural networks, the performance of car license plate detection and recognition has been largely improved. Nonetheless, most existing methods solve detection and recognition problems separately, and focus on specific scenarios, which hinders the deployment for real-world applications. To overcome these challenges, we present an efficient and accurate framework to solve the license plate detection and recognition tasks simultaneously. It is a lightweight and unified deep neural network, that can be optimized end-to-end and work in real-time…

跨年龄LFW：一个研究无约束环境下跨年龄人脸识别的数据库

Cross-Age LFW: A Database for Studying Cross-Age Face Recognition in Unconstrained Environments

Labeled Faces in the Wild（LFW）数据库已被广泛用作无约束人脸验证的基准，并且由于大数据驱动的机器学习方法，在数据库上的性能接近100%。然而，我们认为，这种准确性可能过于乐观，因为一些限制因素。除了不同的姿态、光照、遮挡和表情，跨年龄人脸是人脸识别的另一个挑战。同一个人的不同年龄会导致类内差异很大，在真实世界的人脸验证中，老化过程是不可避免的。然而，LFW对此并没有太多关注，因此我们构建了一个跨年龄LFW（CALFW），该算法故意搜索并选择3，000个具有年龄差距的积极面孔对来添加衰老过程的类内方差。该方法还选择了同性别、同种族的阴性对，减少了阳性/阴性对属性差异的影响，实现了人脸验证而非属性分类。我们在新数据库上评估了几种度量学习和深度学习方法。与LFW相比，CALFW的精度下降了10%-17%。

Unconstrained Face Recognition using ASURF and Cloud-Forest Classifier optimized with VLAD

The paper posits a computationally-efficient algorithm for multi-class facial image classification in which images are constrained with translation, rotation, scale, color, illumination and affine distortion. The proposed method is divided into five main building blocks including Haar-Cascade for face detection, Bilateral Filter for image preprocessing to remove unwanted noise, Affine Speeded-Up Robust Features (ASURF) for keypoint detection and description, Vector of Locally Aggregated Descriptors (VLAD) for feature quantization and Cloud Forest for image classification. The proposed method a…

使用消费者级手持移动终端获取的无约束杂乱视频进行对象检索的描述符转换表

Descriptor transition tables for object retrieval using unconstrained cluttered video acquired using a consumer level handheld mobile device

视觉识别和基于视觉的大型数据库对象检索是具有广泛潜在应用的任务。在本文中，我们提出了一种新的识别方法，从视频序列，适合从数据库中获取的高度不受约束的条件下，例如，使用移动消费级设备，如手机检索。在最低级别上，我们将每个序列表示为密集包装的局部外观描述符的3D网格。虽然图像平面几何形状是通过提取描述符的相邻区域的大重叠来隐式地捕获的，但是3D信息是通过描述符转换表来提取的，该描述符转换表是从每个已知图库对象的单个序列中学习的。这些允许我们沿着第三维（对应于视点变化）连接局部描述符，从而为每个视频生成一组可变长度的马尔可夫链。这种链的两个集合的匹配被公式化为统计假设检验，由此选择每个的子集以最大化对应的视频序列显示相同对象的可能性。阿姆斯特丹图书馆的对象图像和一个新的高度挑战性的视频数据集，使用手机获取的经验评估所提出的算法的有效性。在这两个数据集上，我们的方法被证明是成功的识别背景杂波和大的视点变化的存在。