Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney（悉尼科技大学）
虽然卷积神经网络（CNN）显著提高了人脸相关算法的性能，但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能，这使得它对于移动应用不太实用，因为更多的参数和更高的计算复杂性。因此，我们提出了一个有效的多任务神经网络，对准跟踪和姿态网络（ATPN）的人脸对准，人脸跟踪和头部姿态估计。具体来说，为了用更少的层实现更好的性能，我们在浅层和深层特征之间引入了一个快捷连接。我们发现，浅层特征与人脸边界高度对应，可以提供人脸的结构信息，对人脸对齐至关重要。此外，我们根据人脸对齐结果生成一个廉价的热图，并将其与特征融合，以提高其他两个任务的性能。基于热图，网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程，这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN，WFLW，300 VW，WIDER Face和300 W-LP。实验结果表明，与其他光照模型相比，该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
An Iterative Regression Approach for Face Pose Estimation from RGB Images
本文提出了一种迭代优化的人脸姿态检测和定位方法--显式形状回归。学习回归函数以找出整个面部形状并最小化对齐误差。在检测过程中，采用级联学习框架来增强形状约束。结合两级提升回归、形状索引特征和基于相关性的特征选择方法来提高性能。在本文中，我们已经解释了ESR的变形物体一样的人脸姿态估计的优势，并揭示其一般应用的方法。在实验中，我们比较了不同工作的结果，并证明了在不同情况下的准确性和鲁棒性。
2017-09-10 cs.CV
HAZE-Net: High-Frequency Attentive Super-Resolved Gaze Estimation in Low-Resolution Face Images
Chonnam National University（全南国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
虽然已经利用深度学习技术开发了视线估计方法，但是还没有这样的方法旨在在像素宽度为50像素或更小的低分辨率人脸图像中获得准确的性能。为了解决具有挑战性的低分辨率条件下的限制，我们提出了一种高频注意超分辨率视线估计网络，即，HAZE-Net.我们的网络提高了输入图像的分辨率，并通过基于高频注意力块的超分辨率模块增强了眼睛特征和边界。此外，我们的凝视估计模块利用眼睛的高频分量以及全局外观图。我们还利用人脸的结构位置信息来近似头部姿态。实验结果表明，该方法具有强大的视线估计性能，即使在低分辨率的人脸图像与28 × 28像素。这个工作的源代码可以在https://github.com/dbseorms16/HAZE_Net/上找到。
2022-09-21 cs.CV
Fusion Network for Face-based Age Estimation
The University of Warwick（华威大学）；University of Bath（巴斯大学）；Charles Sturt University（查尔斯史都华大学）
卷积神经网络（CNN）作为核心框架已被应用于年龄相关的研究。虽然人脸由许多面部属性组成，但大多数使用CNN的作品仍然将人脸视为典型对象，并且没有足够关注携带特定年龄特征的面部区域。在本文中，我们提出了一种新的CNN架构称为融合网络（FusionNet）来解决年龄估计问题。除了整个面部图像外，FusionNet还连续将几个特定年龄的面部斑块作为输入的一部分，以强调特定年龄的特征。通过实验，我们表明，FusionNet显着优于其他国家的最先进的模型在MORPH II基准。
2018-07-27 cs.CV
Learning-by-Novel-View-Synthesis for Full-Face Appearance-Based 3D Gaze Estimation
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）
尽管最近在基于外观的注视估计技术方面取得了进展，但对覆盖目标头部姿势和注视分布的训练数据的需求仍然是实际部署的关键挑战。本文提出了一种基于单目三维人脸重建的视线估计训练数据合成方法。与以前的作品使用多视图重建，照片逼真的CG模型，或生成神经网络，我们的方法可以操纵和扩展现有的训练数据的头部姿势范围，而没有任何额外的要求。我们引入了一个投影匹配过程，将重建的3D人脸网格与相机坐标系对齐，并合成具有准确凝视标签的人脸图像。我们还提出了一个面具引导的视线估计模型和数据增强策略，以进一步提高估计精度，利用合成训练数据。使用多个公共数据集的实验表明，我们的方法显着提高了具有挑战性的跨数据集设置与非重叠的凝视分布的估计性能。
2022-04-27 cs.CV
LPM: Learnable Pooling Module for Efficient Full-Face Gaze Estimation
Sophia University（上智大学）
视线跟踪是一项重要的技术。诸如卷积神经网络（CNN）的技术已经允许发明仅依赖于诸如个人计算机上的相机的商品硬件的注视跟踪方法。已经表明，用于凝视估计的全脸区域可以提供比单独来自眼睛图像更好的性能。然而，使用全脸图像的问题是由于较大的图像尺寸而导致的繁重的计算。本研究通过使用一种新的可学习池化模块去除冗余信息来压缩输入的全脸图像来解决这个问题。该模块可以通过反向传播进行端到端的训练，以学习池化过滤器中网格的大小。可学习的池化模块保持有价值区域的高分辨率，反之亦然。当图像缩小到较小尺寸时，该方法在一定程度上保持了视线估计精度。
2019-03-21 cs.CV
Multi-modal Face Pose Estimation with Multi-task Manifold Deep Learning
Hangzhou Dianzi University（杭州电子科技大学）；Xiamen University of Technology（厦门理工学院）
人脸姿态估计的目的是利用二维图像估计出人脸的注视方向或头部姿态。它提供了一些非常重要的信息，如交际手势，显著性检测等，近年来引起了广泛的关注。然而，由于复杂的背景，各种方向和人脸外观的可见性是具有挑战性的。因此，人脸图像的描述性表示并将其映射到姿势是至关重要的。在本文中，我们利用多模态数据，并提出了一种新的人脸姿态估计方法，使用一种新的深度学习框架命名为多任务流形深度学习$M^2DL$。它基于改进的深度神经网络的特征提取和多任务学习的多模态映射关系。在提出的基于深度学习的框架中，流形正则卷积层（MRCL）通过学习神经元输出之间的关系来改进传统卷积层。此外，在所提出的映射关系学习方法中，不同的模式的人脸表示自然地结合起来，学习从人脸图像到姿态的映射函数。通过这种方式，改进了多任务计算映射模型。在三个具有挑战性的基准数据集DPOSE、HPID和BKHPD上的实验结果证明了$M^2DL$的出色性能。
2017-12-18 cs.CV
Age Range Estimation using MTCNN and VGG-Face Model
InfoDevelopers Pvt. Ltd.（信息开发者私人有限公司）
卷积神经网络在几个应用中的使用让我们感到惊讶。由于CNN在众多领域的应用，使用CNN进行年龄范围估计是新兴的，这使得它成为研究和提高估计精度的最新领域。在我们提出的工作中，使用深度CNN模型来识别人的年龄范围。首先，我们使用MTCNN从图像数据集中只提取人脸图像，以从图像中去除人脸以外的不必要特征。其次，我们使用随机裁剪技术进行数据增强，以提高模型的性能。我们在研究中使用了迁移学习的概念。一个预先训练的人脸识别模型，即VGG-Face，用于建立我们的模型，用于识别年龄范围，其性能在Adience Benchmark上进行评估，以确认我们工作的有效性。测试集的性能远远优于现有的最先进技术。
2021-04-17 cs.CV
An Estimation Method of Measuring Image Quality for Compressed Images of Human Face
数字图像压缩与解压缩技术是当今世界的重要技术。因此，我们的目标是计算压缩图像的人脸和其他区域相对于原始图像的质量。图像分割通常用于定位对象和边界（直线、曲线等）。在图像中。分割后的图像变成更有意义的分析。使用通用图像质量指数（Q），结构相似性指数（SSIM）和基于一致性的结构相似性指数（G-SSIM），它可以表明，人脸区域比图像的任何其他区域压缩较少。
2014-02-06 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
Simultaneous face detection and 360 degree headpose estimation
VNU Hanoi（河内国家大学）
随着数字图像在生产监控摄像机、分析和处理消费者行为等方面的实际应用，人脸检测和头部姿态估计成为研究的热点。大量提出的深度学习模型具有最先进的精度，例如YOLO，SSD，MTCNN，解决人脸检测问题或HopeNet，FSA-Net，用于头部姿势估计问题的RankPose模型。根据许多最先进的方法，该任务的流水线由两部分组成，从人脸检测到头部姿态估计。这两个步骤是完全独立的，不共享信息。这使得模型在设置中清晰，但没有利用每个模型中提取的大部分特征资源。在本文中，我们提出了多任务网络模型，其动机是利用从人脸检测模型中提取的特征，将其与头部姿态估计分支共享以提高准确性。此外，随着数据的多样性，代表人脸的欧拉角域很大，我们的模型可以在360欧拉角域预测结果。应用多任务学习方法，多任务网络模型可以同时预测人体头部的位置和方向。为了提高预测模型头部方向的能力，我们将人脸的表示从欧拉角改为旋转矩阵的向量。
2021-11-23 cs.CV
Benchmarking CLIP for Zero-Shot Face and Periocular Gender Estimation
Halmstad University（哈尔姆斯塔德大学）；University of Balearic Islands（巴利阿里群岛大学）
本研究评估CLIP在零样本全脸和眼周性别估计中的性能，发现全脸准确率高，眼周存在性别偏差，通过阈值对齐和线性SVM可部分改善，但仍逊于全脸表现。
2026-10-06 cs.CV
POSEidon: Face-from-Depth for Driver Pose Estimation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
快速准确的上半身和头部姿态估计是自动监控驾驶员注意力的关键任务，这是一个具有挑战性的背景，其特征在于严重的照明变化，遮挡和极端姿态。在这项工作中，我们提出了一个新的深度学习框架，用于深度图像上的头部定位和姿态估计。该提案的核心是一个回归神经网络，称为POSEidon，它由三个独立的卷积网络组成，后面是一个融合层，专门用于通过深度理解姿势。此外，为了恢复面部外观的内在价值，以理解头部的位置和方向，我们提出了一个新的面部从深度的方法来学习图像的深度人脸。面部重建的结果在质量上令人印象深刻。我们在两个公共数据集上测试了所提出的框架，即Biwi Kinect Head Pose和ICT-3DHP，以及Pandora，这是一个主要受汽车设置启发的新的具有挑战性的数据集。结果表明，我们的方法克服了所有最近的最先进的作品，实时的运行在每秒30帧以上。
2017-12-12 cs.CV
Distributional Estimation of Data Uncertainty for Surveillance Face Anti-spoofing
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出分布估计方法DisE，通过建模特征均值与方差将监控场景下人脸活体检测从点估计转为分布估计，并在SuHiFiMask数据集上验证了其在ACER和AUC指标上的竞争力。
2023-09-18 cs.CV
Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Michigan State University（密歇根州立大学）
人脸属性估计在视频监控、人脸检索和社交媒体等领域有着广泛的应用前景。虽然已经提出了许多用于人脸属性估计的方法，但是它们中的大多数没有明确地考虑属性相关性和异质性（例如，序数对标称和整体对局部表示学习。在本文中，我们提出了一种深度多任务学习（DMTL）方法，用于从单个人脸图像中联合估计多个异构属性。在DMTL中，我们使用卷积神经网络（CNN）来处理属性相关性和异质性，CNN由所有属性的共享特征学习和异质属性的类别特定特征学习组成。我们还介绍了一个不受约束的人脸数据库（LFW+），公共领域LFW的扩展，通过众包获得的异构人口统计属性（年龄，性别和种族）。在具有多个人脸属性的基准测试（MORPH II、LFW+、CelebA、LFWA和FotW）上的实验结果表明，该方法具有优于现有技术的性能。最后，在具有单个属性的公共域人脸数据库（PUMA）上的测试结果表明，该方法具有良好的泛化能力。
2017-09-28 cs.CV
SwinFace: A Multi-task Transformer for Face Recognition, Expression Recognition, Age Estimation and Attribute Estimation
Beijing University of Posts and Telecommunications（北京邮电大学）；China Mobile Research Institute（中国移动研究院）
针对现有单任务/集成人脸分析方法忽略任务协同的问题，提出基于Swin Transformer的多任务模型SwinFace，通过共享骨干+任务子网+MLCA模块实现多任务协同，在表情识别、年龄估计等任务上取得SOTA结果。
2023-08-22 cs.CV
Impact of Face Image Quality Estimation on Presentation Attack Detection
TOC Biometrics（TOC生物识别公司）；Hochschule Darmstadt（达姆施塔特应用技术大学）
非参考人脸图像质量评估方法作为人脸识别系统的预过滤步骤已经得到普及。在大多数情况下，质量分数通常是在考虑面部匹配的情况下设计的。然而，少量的工作已经做了衡量他们的影响和有用性的演示攻击检测（PAD）。在本文中，我们研究了质量评估方法对过滤真实和攻击样本的影响，它们对PAD系统的影响，以及在过滤（按质量）数据集上训练时如何提高此类系统的性能。在视觉Transformer PAD算法上，通过去除较低质量的样本减少了20%的训练数据集，使我们能够在交叉数据集测试中将BPCER提高3%。
2022-09-30 cs.CV
Recognizability Embedding Enhancement for Very Low-Resolution Face Recognition and Quality Estimation
Yonsei University（延世大学）；Institute for Basic Science（基础科学研究院）
针对极低分辨率人脸识别，本文提出可识别性指数、指数偏移损失和可感知性注意力，以端到端方式增强嵌入并同时估计人脸质量，且在三个低分辨率数据集上优于现有方法。
2023-04-20 cs.CV
HyperFace: A Deep Multi-task Learning Framework for Face Detection, Landmark Localization, Pose Estimation, and Gender Recognition
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）
我们提出了一种使用深度卷积神经网络（CNN）同时进行人脸检测、地标定位、姿态估计和性别识别的算法。所提出的方法称为HyperFace，使用单独的CNN融合深度CNN的中间层，然后使用对融合特征进行操作的多任务学习算法。它利用了任务之间的协同作用，提高了他们的个人表现。此外，我们还提出了HyperFace的两种变体：（1）HyperFace-ResNet，它建立在ResNet-101模型的基础上，并在性能上取得了显着的改进;（2）Fast-HyperFace，它使用高召回率的快速人脸检测器来生成区域建议，以提高算法的速度。大量的实验表明，所提出的模型是能够捕捉全球和本地信息的面孔，并执行显着优于许多竞争对手的算法，这四个任务。
2017-12-06 cs.CV
Normal and Visibility Estimation of Human Face from a Single Image
最近的工作对人的内在形象开始考虑入射照明的可见性和编码的光传递函数的球谐函数。在本文中，我们表明，这样的光传递函数可以进一步分解为可见度和余弦项有关的表面法线。这种分解使我们能够恢复表面法线以及可见性。我们提出了一种基于深度学习的方法，该方法具有重建损失，用于在真实世界图像上进行训练。实验结果表明，与以往的人脸重建方法相比，该方法能更好地反映人脸表面的法线和阴影细节，尤其是在可见性影响较强的区域。
2022-03-09 cs.CV
ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation
SRI International（斯坦福国际研究院）
我们提出了一种新的面部轮廓和轮廓估计框架，ACE网，精细的人脸对齐任务。ACE-Net预测的面部锚点和轮廓比传统的面部标志更丰富，同时克服了其定义中的模糊性和不一致性。我们引入了弱监督损失，使ACE-Net能够从现有的面部标志数据集学习，而无需重新注释。相反，合成数据，从GT轮廓可以很容易地获得，在训练过程中使用，以弥合地标和真实的面部轮廓之间的密度差距。我们评估了ACE-Net相对于HELEN数据集的面部对齐准确性，HELEN数据集有194个注释的面部标志，而它只使用来自300-W数据集的68或36个标志进行训练。我们表明，ACE-Net生成的轮廓优于直接从68个GT地标插值的轮廓，ACE-Net也优于仅在基于GT地标的轮廓的全面监督下训练的模型。
2022-01-09 cs.CV
Maximum A Posteriori Estimation of Distances Between Deep Features in Still-to-Video Face Recognition
National Research University Higher School of Economics（俄罗斯高等经济研究大学）；Laboratory of Algorithms and Technologies for Network Analysis（网络分析算法与技术实验室）
研究了基于高维深瓶颈特征间距离计算的小样本静态到视频人脸识别问题。我们提出了一种新的统计识别方法，其中静态到视频的识别任务是铸造成最大后验估计。在这种方法中，我们最大化的联合概率密度的距离所有参考静止图像。它表明，这种可能性可以估计与已知的渐近正态分布的Kullback-Leibler歧视之间的非负功能。利用LFW（Labeled Faces in the Wild）、YTF（YouTube Faces）和IJB-A（IARPA Janus Benchmark A）数据集进行了实验研究。我们证明了，所提出的方法可以应用于最先进的深度特征和相异性措施。我们的算法实现了3-5%的准确性相比，传统的聚合所有帧获得的决定。
2017-08-26 cs.CV
U-FaceBP: Uncertainty-aware Bayesian Ensemble Deep Learning for Face Video-based Blood Pressure Estimation
Biometrics Research Laboratories, NEC Corporation（NEC公司生物特征研究实验室）
本文提出U-FaceBP，一种基于面部视频的血氧饱和度估计的不确定性感知贝叶斯集成深度学习方法，通过贝叶斯神经网络建模并融合多种信号以提升估计性能和可靠性。
2026-04-29 cs.CV eess.IV
KEPLER: Keypoint and Pose Estimation of Unconstrained Faces by Learning Efficient H-CNN Regressors
University of Maryland-College Park（马里兰大学帕克分校）
关键点检测是人脸建模、识别和验证等任务中最重要的预处理步骤之一。在本文中，我们提出了一种迭代法，通过学习高效的H-CNN回归器（KEPLER）对无约束人脸进行关键点估计和姿态预测，以解决人脸对齐问题。最新的现有技术方法已经通过采用卷积神经网络（CNN）在面部关键点检测中显示出改进。虽然简单的前馈神经网络可以学习输入和输出空间之间的映射，但它不能学习固有的结构依赖性。我们提出了一种称为H-CNN（Heatmap-CNN）的新架构，它可以捕获结构化的全局和局部特征，从而有利于准确的关键点检测。HCNN在人脸的可见性、基准点和3D姿态方面进行了联合训练。随着迭代的进行，误差减小，使得梯度变小，因此需要DCNN的有效训练来减轻这一点。KEPLER在前四次迭代中对姿态和基准点进行全局校正，然后在后续阶段进行局部校正。作为一个副产品，KEPLER还提供了3D姿态（俯仰，偏航和滚动）的脸准确。在本文中，我们表明，在不使用任何3D信息的情况下，KEPLER在AFW和AFLW等具有挑战性的数据集上的比对性能优于最先进的方法。
2017-02-16 cs.CV
Robust Head Pose Estimation Using Contourlet Transform
Urmia University（乌尔米亚大学）
头部姿态估计是许多模式识别和计算机视觉系统（如人脸识别）中的重要预处理步骤。由于人脸的姿态对人脸识别系统的性能有很大的影响，如何准确地估计人脸图像中的人脸姿态仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的方法，头部姿态估计。为了提高估计的效率，我们使用轮廓波变换的特征提取。Contourlet变换是一种多分辨率、多方向的变换。为了降低特征空间的维数，获得合适的特征，我们使用LDA（线性判别分析）和PCA（主成分分析）去除无效特征。然后，我们应用不同的分类器，如k-最近邻（knn）和最小距离。我们使用公共可用的FERET数据库来评估所提出的方法的性能。仿真结果表明，该方法具有较好的鲁棒性。
2012-05-12 cs.CV
Estimation of BMI from Facial Images using Semantic Segmentation based Region-Aware Pooling
Information Technology University（信息技术大学）；The Home Depot（家得宝）
身体质量指数（BMI）传达了有关一个人生活的重要信息，如健康和社会经济状况。大规模的BMI自动估计可以帮助预测一些社会行为，如健康，工作机会，友谊和受欢迎程度。最近的工作采用手工制作的几何面部特征或面部水平的深度卷积神经网络特征来预测面部BMI。手工构造的几何人脸特征缺乏泛化能力，人脸层次的深层特征缺乏详细的局部信息。虽然有用，这些方法错过了详细的本地信息，这是必不可少的准确的BMI预测。在本文中，我们建议使用从不同面部区域（眼睛，鼻子，眉毛，嘴唇等）汇集的深度特征。并证明这种来自面部区域的显式池化可以显着提高BMI预测的性能。为了解决准确和像素级的人脸区域定位的问题，我们建议在我们的框架中使用人脸语义分割。使用不同的卷积神经网络（CNN）骨干，包括FaceNet和VGG-face在三个公开的数据集：VisualBMI，宝莱坞和VIP属性进行了广泛的实验。实验结果表明，与最近的研究成果相比，本文提出的Reg-GAP在VIP属性上提高了22.4%，在VisualBMI上提高了3.3%，在Bollywood数据集上提高了63.09%.
2021-04-10 cs.CV
Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images
Dalio Institute of Cardiovascular Imaging, Weill Cornell Medical College（威尔康奈尔医学院达利奥心血管影像研究所）
最近，一个成功的姿态估计算法，称为级联姿态回归（CPR），在文献中提出。在姿势指数特征上训练，CPR是类似于Boosting的回归子集合。在本文中，我们展示了如何心肺复苏术可以表示为一个神经网络。具体来说，我们采用了一个图形Transformer网络（GTN）表示，并相应地训练CPR与反向传播（BP），允许全球调整。相比之下，以前的CPR文献只进行了逐层训练，没有任何后期微调。我们的经验表明，BP的全局训练优于逐层（预）训练。我们的CPR-GTN采用多层Percetron作为回归器，利用稀疏连接来学习局部图像特征表示。我们测试了所提出的CPR-GTN在2D人脸姿态估计问题，在以前的CPR文献。此外，我们还研究了将CPR-GTN扩展到3D姿态估计的可能性，通过使用3D CT数据集进行心脏分割来进行实验。
2015-03-30 cs.CV
Relative Age Estimation Using Face Images
Faculty of Engineering, Bar Ilan University（巴伊兰大学工程学院）
本文提出一种基于参考人脸库和差分回归的相对年龄估计方法，通过年龄增强迭代细化初始估计，在MORPH II和CACD数据集上达到最先进精度，并分析了现有年龄估计技术的偏差。
2025-02-07 cs.CV
Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于源人脸和驾驶人脸之间的身份不匹配，单镜头人脸再现是一项具有挑战性的任务。具体而言，驾驶主体的身份信息的次优解将不可避免地干扰再现结果，并导致人脸形状失真。为了解决这个问题，本文提出了使用三维变形模型（3DMM）的显式面部语义分解和身份解开。而不是单独使用3D系数的重演控制，我们利用3DMM的生成能力，渲染纹理的脸代理。这些代理包含了丰富而紧凑的人脸几何和语义信息，使我们能够通过估计密集的对应关系来计算源图像和驱动图像之间的人脸运动场。该方法通过对源图像的运动场进行变形来近似再现结果，并采用生成对抗网络（GAN）进一步提高变形结果的视觉质量。在各种数据集上进行的大量实验表明，所提出的方法在身份保护和重演实现方面优于现有的最先进的基准。
2022-11-23 cs.CV
FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild
Imperial College London（帝国理工学院）
基于图像的年龄估计旨在从面部图像中预测人的年龄。它被用于各种实际应用中。尽管端到端深度模型在基准数据集上的年龄估计方面取得了令人印象深刻的结果，但由于头部姿势、面部表情和遮挡的巨大变化所带来的挑战，它们在野外的性能仍有很大的改进空间。为了解决这个问题，我们提出了一种简单而有效的方法来明确地将面部语义纳入年龄估计，以便模型能够正确地关注未对齐面部图像中信息量最大的面部组件，而不管头部姿势和非刚性变形。为此，我们设计了一个基于人脸解析的网络来学习不同尺度的语义信息，并设计了一个新的人脸解析注意力模块来利用这些语义特征进行年龄估计。为了在野外数据上评估我们的方法，我们还引入了一个新的具有挑战性的大规模基准测试，称为IMDB-Clean。该数据集是通过使用约束聚类方法半自动清理嘈杂的IMDB-WIKI数据集创建的。通过在IMDB-Clean和其他基准数据集上的综合实验，在数据集内和跨数据集评估协议下，我们表明我们的方法始终优于所有现有的年龄估计方法，并实现了新的最先进的性能。据我们所知，我们的工作提出了第一次尝试利用人脸解析注意力来实现语义感知的年龄估计，这可能会启发其他高层次的面部分析任务。代码和数据可在\url{https://github.com/ibug-group/fpage}上获得。
2022-03-04 cs.CV
SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所 IGD）；Technical University of Darmstadt（达姆施塔特工业大学）
人脸图像质量是影响人脸识别系统性能的重要因素。人脸质量评估的目的是估计人脸图像的识别适合性。以前的工作提出了监督的解决方案，需要人工或人类标记的质量值。然而，这两种标记机制都容易出错，因为它们不依赖于对质量的明确定义，并且可能不知道所使用的人脸识别系统的最佳特征。为了避免使用不准确的质量标签，我们提出了一种新的概念来衡量人脸质量的基础上任意的人脸识别模型。通过确定从人脸模型的随机子网络生成的嵌入变化，估计样本表示的鲁棒性，从而估计其质量。实验进行了跨数据库的评估设置在三个公开的数据库。我们将我们提出的解决方案与来自学术界和工业界的六种最先进的方法进行了比较。结果表明，我们的无监督解决方案优于所有其他方法在大多数调查的情况下。与以前的作品相比，所提出的解决方案在所有情况下表现出稳定的性能。利用部署的人脸识别模型进行人脸质量评估方法，完全避免了训练阶段，并大大优于所有基线方法。我们的解决方案可以很容易地集成到当前的人脸识别系统中，并可以修改为人脸识别以外的其他任务。
2020-03-20 cs.CV
An All-In-One Convolutional Neural Network for Face Analysis
University of Maryland（马里兰大学）
我们提出了一个多用途的算法，同时人脸检测，人脸对齐，姿态估计，性别识别，微笑检测，年龄估计和人脸识别使用一个单一的深度卷积神经网络（CNN）。所提出的方法采用了多任务学习框架，该框架对CNN的共享参数进行了正则化，并在不同的域和任务之间建立了协同作用。大量的实验表明，该网络对人脸有更好的理解，并在大多数任务中取得了最先进的结果。
2016-11-03 cs.CV
A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking
LIACS, Leiden University（莱顿大学LIACS（莱顿高级计算机科学研究所））
这项工作提出了一个框架，用于跟踪头部运动和捕捉运动的嘴和两个眉毛在实时的【形】。我们提出了一个头部跟踪器，这是一个组合的光流和基于模板的跟踪器。光流头部跟踪器的估计被用作微调头部估计的模板跟踪器的起始点。该方法与重新更新光流点一起防止头部跟踪器漂移。这种结合与我们的切换方案，使我们的跟踪器非常强大的快速运动和运动模糊。我们还提出了一种方法来减少头部部分遮挡的影响。在光流和基于模板的跟踪器中，我们识别并排除遮挡点。
2010-12-31 cs.CV
Facial age estimation using BSIF and LBP
University of Biskra（比斯克拉大学）；University of Valenciennes（瓦伦西ennes大学）；University of Oulu（奥卢大学）
人脸老化是一个不可逆的过程，它会导致人的面部特征发生变化，如头发变白、肌肉萎缩、皱纹等。由于人脸老化在生物特征识别系统中的重要性，人脸年龄估计成为一个备受关注的研究领域。提出了一种基于二值化统计图像特征（BSIF）和局部二值模式（LBP）直方图的人脸图像年龄估计方法，该方法分别采用支持向量回归（SVR）和核岭回归（KRR）进行人脸图像年龄估计。我们将我们的方法应用于FG-NET和PAL数据集。我们所提出的方法已显示出优越性，国家的最先进的方法时，使用整个PAL数据库。
2016-01-08 cs.CV
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
最近基于深度学习和面部先验知识的工作已经成功地对严重退化的面部图像进行了超分辨率处理。然而，现有的方法没有充分利用先验知识，因为面部先验信息，如地标和组件地图总是估计低分辨率或粗超分辨率的图像，这可能是不准确的，从而影响恢复性能。在本文中，我们提出了一种深度人脸超分辨率（FSR）的方法与两个递归网络之间的迭代合作，分别专注于面部图像恢复和地标估计。在每个循环步骤中，恢复分支利用界标的先验知识来产生更高质量的图像，这反过来又有助于更准确的界标估计。因此，两个过程之间的迭代信息交互逐步提高彼此的性能。此外，一个新的注意力融合模块的设计，以加强指导的地标地图，面部组件单独生成和聚合注意力更好地恢复。定量和定性的实验结果表明，该方法显着优于国家的最先进的FSR方法在恢复高质量的人脸图像。
2020-03-29 cs.CV
End-to-end Video Gaze Estimation via Capturing Head-face-eye Spatial-temporal Interaction Context
National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室）
本文提出MCGaze方法，通过端到端捕获头部-面部-眼睛时空交互上下文，联合定位线索并融合全局与局部特征，实现高效视频注视估计，在Gaze360数据集上验证优越性。
2023-12-29 cs.CV
An Overview of Two Age Synthesis and Estimation Techniques
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
年龄估计是一种用于从数字面部图像预测人类年龄的技术，其分析人的面部图像并基于年度量来估计他/她的年龄。目前，智能年龄估计和年龄合成已成为计算机视觉和人脸验证系统中特别热门的研究课题。年龄合成被定义为在人的面部上美学地呈现具有恢复活力和自然衰老效果的面部图像。年龄估计被定义为自动标记面部图像的年龄组（年龄范围）或人的面部的确切年龄（年龄）。在这个案例研究中，我们概述了现有的模型，流行的技术，系统性能，以及与基于面部图像的年龄合成和估计主题相关的技术挑战。这篇评论的主要目标是通过系统的讨论提供一个容易理解的和有希望的未来方向。
2020-01-26 cs.CV
Improving Face-Based Age Estimation with Attention-Based Dynamic Patch Fusion
University of Warwick（华威大学）；Deakin University（迪肯大学）
随着卷积神经网络（CNN）的日益普及，最近基于人脸的年龄估计工作采用这些网络作为骨干。然而，最先进的基于CNN的方法平等地对待每个面部区域，从而完全忽略了一些可能包含丰富的年龄特定信息的面部补丁的重要性。在本文中，我们提出了一个基于人脸的年龄估计框架，称为基于注意力的动态补丁融合（ADPF）。在ADPF中，实现了两个独立的CNN，即AttentionNet和FusionNet。AttentionNet采用一种新的排名引导多头混合注意力（RMHHA）机制，动态地定位和排名特定年龄的补丁。FusionNet使用发现的补丁以及面部图像来预测受试者的年龄。由于所提出的RMHHA机制根据其重要性对发现的补丁进行排名，因此FusionNet中每个补丁的学习路径长度与其携带的信息量成正比（越长，越重要）。ADPF还引入了一种新的多样性损失来指导AttentionNet的训练，减少补丁之间的重叠，从而发现不同的重要补丁。通过大量的实验，我们表明，我们提出的框架优于国家的最先进的方法在几个年龄估计基准数据集。
2021-12-19 cs.CV
Non-contact photoplethysmogram and instantaneous heart rate estimation from infrared face video
Duke University（杜克大学）
近年来，从人脸视频中提取瞬时心率（iHR）已经得到了很好的研究。众所周知，可以使用传统的相机来捕获由于血流引起的皮肤颜色的变化。依赖于该原理的方法的主要限制之一是需要照明源。此外，它们必须能够在不同的光照条件下工作。避免这些限制的一种方法是使用红外摄像机，允许在弱光条件下监测iHR。在这项工作中，我们提出了一个简单的，原则性的信号提取方法，恢复红外人脸视频的iHR。我们对7名参与者进行了测试，我们同时记录了心电图和红外人脸视频。我们检查了恢复的信号与地面真实iHR匹配，表明红外线是心率监测传统视频成像的一种有前途的替代方案，特别是在弱光条件下。代码可在https://github.com/natalialmg/IR_iHR上获得
2019-02-14 cs.CV
Face Normal Estimation from Rags to Riches
School of Computer Science and Technology, Tiangong University（工业大学计算机科学与技术学院）；Algorithm Department of Fitow (Tianjin) Detection Technology Co., Ltd.（Fitow（天津）检测技术有限公司算法部）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
本文提出了一种从粗到细的面部法线估计方法，通过减少对大规模配对数据的依赖，提升估计质量与效率。
2026-01-05 cs.CV
VGG-Tex: A Vivid Geometry-Guided Facial Texture Estimation Model for High Fidelity Monocular 3D Face Reconstruction
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院）
针对现有单目3D人脸重建方法忽视纹理预测的问题，提出融合多模块的VGG-Tex模型，借助3D参数先验与几何纹理互补机制提升纹理及整体重建保真度，效果优于现有最优方法。
2024-09-17 cs.CV
360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales
National Taiwan University（国立台湾大学）
注视估计涉及预测人在图像或视频内正在看的位置。从技术上讲，凝视信息可以从两个不同的放大水平推断出来：面部取向和眼睛取向。由于在极端左/右凝视或遮挡等条件下缺乏清晰的眼罩，因此该推断对于野外凝视估计并不总是可行的。在这项工作中，我们设计了一个模型，模仿人类的能力，估计目光聚集从集中的外观，每个在不同的放大水平的脸面积。该模型避免了需要提取清晰的眼罩，并在同一时间解决了另一个重要的问题，在野外的注视估计的面部尺度变化。我们进一步扩展了模型，以处理具有挑战性的任务，360度凝视估计编码的极性表示以及一个强大的平均方案的向后凝视。在ETH-XGaze数据集上的实验结果表明，该模型能够有效地吸收来自多个尺度的信息。对于具有许多尺度变化的人脸的其他基准数据集（Gaze 360和RT-GENE），所提出的模型在使用图像或视频时实现了最先进的凝视估计性能。我们的代码和预训练模型可以在https://github.com/ashesh-0/MultiZoomGaze上访问。
2021-10-26 cs.CV
Multi-Task Learning Using Uncertainty to Weigh Losses for Heterogeneous Face Attribute Estimation
Tianjin University（天津大学）；Tencent（腾讯）
针对异构人脸属性联合估计，本文提出硬参数共享浅层特征并利用同方差不确定性加权多任务损失的框架，提升了基准性能、降低训练成本，且验证了边缘部署可行性。
2024-03-01 cs.AI cs.CV
Deep Spatiotemporal Representation of the Face for Automatic Pain Intensity Estimation
University of Oulu（奥卢大学）
疼痛强度自动评估在疾病诊断中具有很高的应用价值。许多疾病和大脑疾病可以中断正常的面部表情形成的事实的启发，我们的目标是开发一个计算模型的自动疼痛强度评估自发和微观面部变化。为此，我们提出了一个动态面部视频表示的3D深度架构。所提出的模型是通过堆叠几个卷积模块来构建的，其中每个模块包含一个具有固定时间深度的3D卷积内核，几个具有不同时间深度的并行3D卷积内核，以及一个平均池化层。在所提出的架构中部署可变的时间深度，使模型能够有效地捕捉面上的广泛的时空变化。在UNBC-McMaster肩关节疼痛表达档案数据库上进行的大量实验表明，与最先进的自动疼痛强度估计相比，我们提出的模型具有良好的性能。
2018-06-18 cs.CV
It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation
Osaka University（大阪大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出仅以全脸图像为输入的基于外观的视线估计方法，通过卷积神经网络和空间权重机制，在2D和3D视线估计任务上显著超越现有技术。
2023-05-16 cs.CV cs.HC
VIPL-HR: A Multi-modal Database for Pulse Estimation from Less-constrained Face Video
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
心率（HR）是反映人体生理和情感活动的重要生理信号。传统的HR测量主要基于接触式监测器，这是不方便的，并且可能引起受试者的不适。最近，已经提出了用于从人脸视频进行远程HR估计的方法。然而，大多数现有的方法集中在控制良好的场景，其推广到较少的约束场景的能力是未知的。同时，缺乏大规模数据库限制了深度表示学习方法在远程HR估计中的使用。本文介绍了一个大规模的多模态HR数据库（VIPL-HR），其中包含107个主题的2，378个可见光（VIS）和752个近红外（NIR）视频。我们的VIPL-HR数据库还包含各种变化，如头部运动、照明变化和采集设备变化。我们还学习了一个深度HR估计器（命名为RhythmNet）与建议的时空表示，这在公共领域和我们的VIPL-HR HR估计数据库上都取得了可喜的成果。我们希望将VIPL-HR数据库置于公共领域。
2018-11-27 cs.CV
AV-Gaze: A Study on the Effectiveness of Audio Guided Visual Attention Estimation for Non-Profilic Faces
Monash University（莫纳什大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；University of Melbourne（墨尔本大学）
在具有挑战性的现实生活条件下，例如极端的头部姿势，遮挡和低分辨率图像，其中视觉信息无法估计视觉注意力/注视方向，音频信号可以提供重要的补充信息。在本文中，我们探讨了音频引导的粗略头部姿势是否可以进一步提高非多产人脸的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头部姿势，因此我们使用现成的最先进的模型来促进跨模态弱监督。在训练阶段，框架从同步的视听模态中学习补充信息。我们的模型可以利用任何可用的方式，即音频，视觉或视听任务特定的推理。值得注意的是，当AV-Gaze在具有这些特定模式的基准数据集上进行测试时，它在多个数据集上获得了具有竞争力的结果，同时对具有挑战性的场景具有高度适应性。
2022-08-12 cs.CV
Learning to Cluster Faces via Confidence and Connectivity Estimation
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）；Nanyang Technological University（南洋理工大学）
人脸聚类是利用未标记人脸数据的重要工具，在人脸标注和检索等方面有着广泛的应用。最近的工作表明，监督聚类可以导致显着的性能增益。然而，它们通常涉及启发式步骤，并需要大量的重叠子图，严重限制了其准确性和效率。在本文中，我们提出了一个完全可学习的聚类框架，而不需要大量的重叠子图。相反，我们将聚类问题转化为两个子问题。具体而言，两个图卷积网络，命名为GCN-V和GCN-E，被设计用于估计的顶点的置信度和边的连通性，分别。有了顶点置信度和边连通性，我们可以自然地组织亲和图上更多相关的顶点并将它们分组到聚类中。在两个大规模基准上的实验表明，我们的方法显着提高了聚类精度，从而提高了在上面训练的识别模型的性能，但它比现有的监督方法效率高出一个数量级。
2020-04-03 cs.CV
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下，如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中，我们提出了一种高效的卷积神经网络（CNN），称为轻量级多任务CNN，用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上，年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
心率（HR）是反映人的身体和情绪状态的重要生理信号。传统的HR测量通常依赖于接触式监测器，这可能会造成不便和不适。最近，已经提出了一些方法用于从人脸视频中进行远程HR估计;然而，它们中的大多数集中在良好控制的场景，它们到约束较少的场景（例如，具有头部移动和不良照明）是未知的。同时，缺乏大规模的人力资源数据库限制了深度模型用于远程人力资源估计的使用。在本文中，我们提出了一个端到端的RhythmNet远程人力资源估计的脸。在RyhthmNet中，我们使用时空表示编码来自多个ROI体积的HR信号作为其输入。然后将时空表示馈送到卷积网络中以进行HR估计。我们还考虑到相邻的HR测量的视频序列通过门控递归单元（GRU）的关系，实现了高效的HR测量。此外，我们还建立了一个大规模的多模态人力资源数据库（VIPL-HR，可在http：//www.example.com上获得vipl.ict.ac.cn/view_database.php? id= 15 '），其包含107个对象的2，378个可见光视频（VIS）和752个近红外（NIR）视频。我们的VIPL-HR数据库包含各种变化，如头部运动，照明变化和采集设备的变化，复制了一个约束较少的情况下，HR估计。所提出的方法优于国家的最先进的方法在公共领域和我们的VIPL-HR数据库。
2019-11-04 cs.CV
FunFace: Feature Utility and Norm Estimation for Face Recognition
University of Ljubljana（卢布尔雅纳大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究机构IGD）；Department of Computer Science, TU Darmstadt（图腾斯大学计算机科学系）；Dalian University of Technology（大连理工大学）
本文提出FunFace，一种结合生物效用和范数估计的自适应边缘损失函数，用于提升人脸识别模型在高质量和低质量样本上的性能。
2026-04-29 cs.CV
Hierarchical Attention-based Age Estimation and Bias Estimation
Bar Ilan University（巴伊兰大学）
提出一种结合注意力双重增强聚合与概率分层回归的人脸年龄估计方法，在 MORPH II 上达到新的最先进准确率，并分析估计偏差。
2023-09-27 cs.CV
Contrastive Attention Network with Dense Field Estimation for Face Completion
University of Science and Technology of China（中国科学技术大学）
大多数现代人脸修复方法采用自动编码器或其变体来恢复人脸图像中缺失的区域。编码器通常用于学习强大的表征，在应对复杂学习任务的挑战方面发挥着重要作用。具体来说，在野外的人脸图像中经常会呈现出各种口罩，形成复杂的图案，尤其是在这个COVID-19的艰难时期。在这种复杂的情况下，编码器很难捕捉到如此强大的表示。为了解决这一挑战，我们提出了一个自监督的连体推理网络，以提高编码器的泛化能力和鲁棒性。它可以从全分辨率图像中编码上下文语义，并获得更具鉴别力的表示。为了处理人脸图像的几何变化，一个密集的对应字段被集成到网络中。我们进一步提出了一个多尺度解码器与一个新的双注意力融合模块（DualAttention Fusion Module，简称DAI），它可以结合恢复和已知区域的自适应方式。这种多尺度架构有利于解码器将从编码器学习的区别性表示用于图像。大量的实验表明，该方法不仅取得了更有吸引力的结果相比，国家的最先进的方法，但也提高了蒙面人脸识别的性能显着。
2021-12-20 cs.CV
