Think about boundary: Fusing multi-level boundary information for landmark heatmap regression
虽然目前的人脸对齐算法在预测人脸标志点位置方面取得了很好的成绩，但对于具有严重遮挡和大姿态变化等情况的人脸，仍然存在巨大的挑战。相反，在这些场景中，人脸边界的语义位置更有可能被保留和估计。因此，我们研究了两个阶段，但端到端的方法来探索面部边界和地标之间的关系，以获得边界感知的地标预测，它包括两个模块：自校准边界估计（SCBE）模块和边界感知的地标变换（BALT）模块。在SCBE模块中，我们修改了茎层并采用中间监督来帮助生成高质量的面部边界热图。从SCBE模块继承的边界感知功能被集成到多尺度融合框架中的BALT模块中，以更好地对从边界到地标热图的转换进行建模。在具有挑战性的基准数据集上进行的实验结果表明，我们的方法优于文献中最先进的方法。
2020-08-25 cs.CV
Sub-pixel face landmarks using heatmaps and a bag of tricks
Sertis Vision Lab（瑟蒂斯视觉实验室）
人脸特征点的精确定位是人脸识别、重建和变形的重要环节。为了准确地定位面部标志，我们提出了我们的热图回归方法。每个模型都由一个MobileNetV 2骨干网和几个升级层组成，并使用不同的技巧来优化性能和推理成本。我们使用五个天真的人脸地标从公开可用的人脸检测器来定位和对齐的脸，而不是像传统的方法使用的限界框。此外，我们通过添加随机旋转，位移和缩放-对齐后-该模型对面部位置比方向更敏感。我们还表明，它是可能的，以减少放大的复杂性，通过使用反卷积和像素洗牌层的混合物，而不妨碍本地化性能。我们提出了我们最先进的面部地标定位模型（在106点面部地标定位验证集的第二次大挑战中排名第二）。最后，我们使用公开的模型和基准测试这些地标对人脸识别的影响。
2021-03-08 cs.AI cs.CV cs.LG
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney（悉尼科技大学）
虽然卷积神经网络（CNN）显著提高了人脸相关算法的性能，但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能，这使得它对于移动应用不太实用，因为更多的参数和更高的计算复杂性。因此，我们提出了一个有效的多任务神经网络，对准跟踪和姿态网络（ATPN）的人脸对准，人脸跟踪和头部姿态估计。具体来说，为了用更少的层实现更好的性能，我们在浅层和深层特征之间引入了一个快捷连接。我们发现，浅层特征与人脸边界高度对应，可以提供人脸的结构信息，对人脸对齐至关重要。此外，我们根据人脸对齐结果生成一个廉价的热图，并将其与特征融合，以提高其他两个任务的性能。基于热图，网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程，这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN，WFLW，300 VW，WIDER Face和300 W-LP。实验结果表明，与其他光照模型相比，该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment
University of Maryland-College Park（马里兰大学帕克分校）
热图回归已经被用于地标定位有一段时间了。大多数方法使用非常深的瓶颈模块堆栈进行热图分类阶段，然后使用热图回归来提取关键点。在本文中，我们提出了一个单一的树突状CNN，被称为姿势条件树突状卷积神经网络（PCD-CNN），其中一个分类网络是由第二个和模块化的分类网络，在端到端的方式训练，以获得准确的标志点。在贝叶斯公式之后，我们通过对姿势的地标估计进行条件化来明确地解开面部图像的3D姿势，使其不同于多任务处理方法。大量的实验表明，姿态调节通过使其与面部姿态无关来减少定位误差。所提出的模型可以扩展到产生可变数量的标志点，从而扩大其适用于其他数据集。我们没有增加网络的深度或宽度，而是使用Mask-Softmax Loss和硬样本挖掘有效地训练CNN，以实现与最先进的方法相比，最多$15\%$减少错误，用于来自具有挑战性的数据集（包括AFLW，AFW，COFW和IBUG）的极端和中等姿态人脸图像。
2018-03-28 cs.CV
Subpixel Heatmap Regression for Facial Landmark Localization
Samsung AI Center（三星人工智能中心）；Queen Mary University London（伦敦玛丽女王大学）
基于热图回归的深度学习模型已经彻底改变了面部标志定位的任务，现有模型在大姿态、非均匀照明和阴影、遮挡和自遮挡、低分辨率和模糊的情况下都能稳健地工作。然而，尽管它们被广泛采用，但热图回归方法遭受与热图编码和解码过程相关的离散化引起的错误。在这项工作中，我们表明，这些错误有一个令人惊讶的大的负面影响，面部对齐精度。为了缓解这个问题，我们提出了一种利用底层连续分布进行热图编码和解码过程的新方法。为了充分利用新提出的编码-解码机制，我们还引入了一种基于Siamese的训练，该训练可以在各种几何图像变换中强制执行热图一致性。我们的方法在多个数据集上提供了显着的收益，在面部标志定位方面创造了新的最先进的结果。预训练模型旁边的代码将在https://www.adrianbulat.com/face-alignment上提供
2021-11-03 cs.CV
A Transfer Learning approach to Heatmap Regression for Action Unit intensity estimation
University of Nottingham（诺丁汉大学）；Queen Mary University of London（伦敦玛丽女王大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）
动作单元（AU）是已知在特定面部位置产生外观变化的基于几何学的原子面部肌肉运动。出于这种观察，我们提出了一种新的AU建模问题，包括共同估计其定位和强度。为此，我们提出了一种基于热图回归的简单而有效的方法，将这两个问题合并到一个任务中。热图对AU是否出现在给定空间位置处进行建模。为了适应AU强度的联合建模，我们提出了可变大小的热图，其幅度和大小根据标记的强度而变化。使用热图回归，我们可以继承最近在面部标志定位方面所取得的进展。基于这两个问题之间的相似性，我们设计了一种迁移学习方法，利用在大规模面部标志数据集上训练的网络知识。特别是，我们通过a）微调，b）适应层，c）注意力地图和d）重新参数化来探索迁移学习的不同替代方案。我们的方法有效地继承了强大的面部对齐网络产生的丰富的面部特征，以最小的额外计算成本。我们通过经验验证，我们的系统在三个流行的数据集上设置了新的最先进的技术，即BP4D，DISFA和FERA2017。
2020-04-14 cs.CV
Joint Action Unit localisation and intensity estimation through heatmap regression
University of Nottingham（诺丁汉大学）
本文提出了一种监督学习的方法来联合执行面部动作单元（AU）定位和强度估计。与之前尝试学习动作单元区域的无监督表示的工作相反，我们建议通过热图回归直接联合估计所有AU强度，以及它们引起可见变化的面部位置。我们的方法旨在学习逐像素回归函数，返回每个AU的分数，这表明给定空间位置处的AU强度。热图回归然后生成每个AU的图像或通道，其中每个像素指示对应的AU强度。为了生成目标AU的地面实况热图，首先估计面部标志，并在已知AU引起变化的点周围绘制2D高斯。高斯的振幅和大小由AU的强度决定。我们表明，使用一个沙漏网络足以达到新的最先进的结果，证明了这种简单的方法的有效性。热图回归的使用允许学习AU之间的共享表示，而不需要依赖于潜在表示，因为这些是从数据中隐式学习的。我们在BP4D数据集上验证了所提出的方法，对最近的复杂技术以及对未对准误差的鲁棒性进行了适度的改进。测试代码和模型可从https://github.com/ESanchezLozano/Action-Units-Heatmaps下载。
2018-07-20 cs.CV
FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors
Nanjing University of Science and Technology（南京理工大学）；Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；University of Adelaide（阿德莱德大学）
人脸超分辨率（SR）是一个特定领域的超分辨率问题。可以利用特定的面部先验知识来更好地超分辨率面部图像。本文提出了一种新型的深度端到端可训练人脸超分辨率网络（FSRNet），它充分利用了人脸的几何先验，面部地标热图和解析图，以超分辨率极低分辨率（LR）的面部图像，而无需良好对齐的要求。具体来说，我们首先构建一个粗糙的SR网络来恢复粗糙的高分辨率（HR）图像。然后，粗HR图像被发送到两个分支：精细SR编码器和先验信息估计网络，其提取图像特征，并分别估计界标热图/解析图。图像特征和先验信息都被发送到精细SR解码器以恢复HR图像。为了进一步生成逼真的人脸，我们提出了人脸超分辨率生成对抗网络（FSRGAN），将对抗损失纳入FSRNet。此外，我们引入了两个相关的任务，人脸对齐和解析，作为新的评价指标的脸SR，解决了经典指标w.r.t.视觉感知大量的基准测试实验表明，FSRNet和FSRGAN在定量和定性上都明显优于LR人脸SR的最新技术水平。代码将在发布时提供。
2017-11-29 cs.CV
Facial Landmarks Localization using Cascaded Neural Networks
Bar-Ilan University（巴伊兰大学）；Roma Tre University（罗马第三大学）
面部标志的准确定位是面部分析任务的核心，例如面部识别和面部表情分析等。在这项工作中，我们提出了一种基于深度学习架构的新型定位方法，该架构利用具有卷积神经网络单元的级联子网络。第一子网络的级联单元估计地标位置的基于热图的编码，而第二子网络的级联单元接收对应热图估计单元的输出作为输入，并且通过回归来细化它们。实验结果表明，该方案与当代最先进的方案相比，尤其是当应用于描绘具有挑战性的定位条件的图像时。
2021-07-19 cs.CV
PropagationNet: Propagate Points to Curve to Learn Structure Information
Beijing University of Posts and Telecommunications（北京邮电大学）；DiDi Chuxing（滴滴出行）
深度学习技术极大地提高了人脸对齐算法的性能。然而，由于大的可变性和缺乏样本，在无约束的情况下，\emph{e.g} \onedot大的头部姿势，夸张的表情，和不均匀的照明，对准问题仍然在很大程度上没有解决。在本文中，我们探讨了我们的两个建议，\emph{i.e} \onedot传播模块和焦点机翼损失，以解决这个问题背后的本能和原因。具体地说，我们提出了一种新的结构注入的人脸对齐算法的基础上热图回归通过传播地标热图边界热图，提供进一步的注意力地图生成的结构信息。此外，我们提出了一个焦点翼损失的挖掘和强调困难的样品在野外条件下。此外，我们采用了其他领域的CoordConv和Anti-aliased CNN等方法，解决了CNN在人脸对齐中的偏移方差问题。当在不同的基准测试，\emph{i.e} \onedot WFLW，300 W和COFW上进行广泛的实验时，我们的方法明显优于最先进的方法。我们提出的方法在WFLW上的平均误差为4.05%，在300 W的全集上的平均误差为2.93%，在COFW上的平均误差为3.71%.
2020-06-25 cs.CV
Heatmap Regression without Soft-Argmax for Facial Landmark Detection
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
本文提出基于经典结构化预测框架的替代训练目标，证明人脸关键点检测无需依赖Soft-argmax，在WFLW、COFW和300W上取得最先进性能且训练收敛速度提升2.2倍。
2025-08-19 cs.AI cs.CV
3FabRec: Fast Few-shot Face alignment by Reconstruction
Korea University（高丽大学）
当前用于面部特征点检测的监督方法需要大量的训练数据，并且由于大量的参数而可能遭受对特定数据集的过拟合。我们介绍了一种半监督的方法，其中的关键思想是首先从大量的未标记的人脸图像中生成隐含的人脸知识。在第一个完全无监督的阶段，我们训练对抗性自动编码器通过低维人脸嵌入来重建人脸。在第二个监督阶段，我们将解码器与传输层交错，以将彩色图像的生成重新分配给地标热图的预测。我们的框架（3FabRec）在几个常见的基准测试中达到了最先进的性能，最重要的是，能够在极小的训练集上保持令人印象深刻的准确性，最少只有10张图像。由于交错层仅向解码器添加少量参数，因此推理在GPU上以数百FPS运行。
2020-05-21 cs.CV
Deep Alignment Network: A convolutional neural network for robust face alignment
Warsaw University of Technology（华沙理工大学）
在本文中，我们提出了深度对齐网络（DAN），这是一种基于深度神经网络架构的鲁棒人脸对齐方法。DAN由多个阶段组成，其中每个阶段改进由前一阶段估计的面部标志的位置。我们的方法在所有阶段使用整个面部图像，与最近提出的依赖于局部补丁的面部对齐方法相反。这是可能的，这要归功于地标热图的使用，该热图提供了关于在算法的先前阶段估计的地标位置的视觉信息。使用整个面部图像而不是补丁允许DAN处理头部姿势变化大且初始化困难的面部图像。对两个公开数据集的广泛评估表明，DAN将最先进的故障率降低了70%。我们的方法也已提交评估的一部分，门波挑战。
2017-08-10 cs.CV
Privacy-preserving Optics for Enhancing Protection in Face De-identification
Universidad Industrial de Santander（桑坦德工业大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文针对软件级人脸去标识易受嗅探攻击的问题，提出硬件级隐私保护光学方法，通过学习光学编码器和回归模型获取人脸热图，并结合参考人脸生成匿名化人脸，经仿真与硬件实验验证其有效性。
2024-03-31 cs.AI cs.CR cs.CV
A survey and classification of face alignment methods based on face models
National Cheng Kung University（国立成功大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Pontificia Universidad Católica de Valparaíso（智利天主教大学瓦尔帕莱索校区）
该研究针对人脸对齐领域缺乏人脸模型相关综述的问题，面向三类读者全面分析不同人脸模型的解读、训练与拟合方法，明确3D模型和深度学习方法的适用场景，并展望未来方向。
2023-11-06 cs.CV
Face Video Generation from a Single Image and Landmarks
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
在本文中，我们关注的是具有挑战性的问题，产生一个完整的图像序列的可变形的脸只给出一个图像和通用的面部运动编码的一组稀疏的地标。为此，我们建立在图像到图像转换的最新突破基础上，例如pix2pix，CycleGAN和StarGAN，它们学习深度卷积神经网络（DCNN），学习在不同域之间映射对齐的对或图像（即，具有不同的标签），并提出了一种新的架构，其不再由标签驱动，而是由空间地图、面部地标驱动。特别是，我们提出了MotionGAN，它根据目标地标的热图将输入的人脸图像转换为新的人脸图像。我们表明，它是可以创建非常逼真的人脸视频使用一个单一的图像和一组目标地标。此外，我们的方法可以用于根据地标（例如，表达、言语等）。这为面部编辑、表情转移、面部视频创建等提供了比基于离散表情、音频或动作单元的模型更大的灵活性。
2019-04-25 cs.CV
LDDMM-Face: Large Deformation Diffeomorphic Metric Learning for Flexible and Consistent Face Alignment
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；The University of Queensland（昆士兰大学）
我们创新性地提出了一个灵活和一致的人脸对齐框架，LDDMM-Face，其主要贡献是一个变形层，自然地嵌入人脸几何形状在一个同构的方式。而不是通过热图或坐标回归预测面部标志，我们制定了这个任务，在一个同构注册的方式和预测动量，唯一参数化的初始边界和真实边界之间的变形，然后执行大变形同构度量映射（LDDMM）的曲线和地标同时本地化的面部标志。由于LDDMM嵌入到深度网络中，LDDMM-Face可以一致地注释面部标志而不会产生歧义，并灵活地处理各种注释方案，甚至可以从稀疏注释中预测密集注释。我们的方法可以很容易地集成到各种人脸对齐网络中。我们在四个基准数据集上广泛评估了LDDMM-Face：300 W，WFLW，HELEN和COFW-68。LDDMM-Face与传统的数据集内和相同注释设置的最先进方法相当或更好，但在处理弱监督学习（部分到完全），具有挑战性的情况（例如，被遮挡的面部）以及不同的训练和预测数据集。此外，LDDMM-Face在最具挑战性的跨数据集预测任务上显示出了有希望的结果。
2021-08-02 cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University（崇实大学）
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法，结合双维度多维度特征网络与知识蒸馏训练策略，在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver（丹佛大学）
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度，但这仍然是一项具有挑战性的任务，特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归（Heatmap-based Regression，HBR）和基于坐标的回归（Coordinate-based Regression，CBR）是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存，但其性能低于HBR方法。在本文中，我们提出了一个自适应的基于坐标的回归（ACR）损失，以提高人脸对齐的CBR的准确性。受主动形状模型（ASM）的启发，我们生成平滑面部对象，这是一组与地面真实地标点相比变化较少的面部地标点。然后，我们介绍了一种方法，通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此，ACR损失引导网络朝向挑战点而不是更容易的点，这提高了面部对准任务的准确性。我们的广泛的评估表明，建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning
University of Technology Sydney（悉尼科技大学）；Southern University of Technology and Science（南方科技大学）；CalmCar（天瞳威视）
近年来，热图回归方法在人脸配准领域占据主导地位，但它们忽略了不同特征点之间的内在联系。在本文中，我们提出了一个稀疏局部补丁Transformer（SLPT）的学习的内在关系。SLPT从局部块中生成每个单个地标的表示，并基于注意力机制通过自适应的内在关系聚合它们。基于聚合特征独立地预测每个地标的子像素坐标。此外，还引入了一个由粗到细的框架与SLPT相结合，这使得初始地标逐渐收敛到目标面部地标使用细粒度的功能，从动态调整大小的局部补丁。实验结果表明，该方法通过学习人脸特征点之间的内在联系，以较低的计算复杂性达到了最新水平。该代码可在项目网站上获得。
2022-03-26 cs.CV
Look at Boundary: A Boundary-Aware Face Alignment Algorithm
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Amazon Rekognition（亚马逊Rekognition）
我们提出了一种新的边界感知人脸对齐算法，利用边界线作为人脸的几何结构，以帮助面部标志定位。与传统的基于热图的方法和基于回归的方法不同，我们的方法从边界线中导出人脸地标，从而消除了地标定义中的模糊性。本文主要探讨并回答了三个问题：1.为什么使用边界？2.如何使用边界？3.边界估计和地标定位之间的关系是什么？我们的边界感知人脸对齐算法在300-W Fullset上实现了3.49%的平均误差，大大优于最先进的方法。我们的方法也可以很容易地整合来自其他数据集的信息。通过利用300-W数据集的边界信息，我们的方法在COFW数据集上实现了3.92%的平均误差，失败率为0.39%，在AFLW-Full数据集上实现了1.25%的平均误差。此外，我们提出了一个新的数据集WFLW，以统一不同因素的训练和测试，包括姿势，表情，照明，化妆，遮挡和模糊。数据集和模型将在https://wywu.github.io/projects/LAB/LAB.html上公开提供
2018-05-26 cs.CV
KEPLER: Keypoint and Pose Estimation of Unconstrained Faces by Learning Efficient H-CNN Regressors
University of Maryland-College Park（马里兰大学帕克分校）
关键点检测是人脸建模、识别和验证等任务中最重要的预处理步骤之一。在本文中，我们提出了一种迭代法，通过学习高效的H-CNN回归器（KEPLER）对无约束人脸进行关键点估计和姿态预测，以解决人脸对齐问题。最新的现有技术方法已经通过采用卷积神经网络（CNN）在面部关键点检测中显示出改进。虽然简单的前馈神经网络可以学习输入和输出空间之间的映射，但它不能学习固有的结构依赖性。我们提出了一种称为H-CNN（Heatmap-CNN）的新架构，它可以捕获结构化的全局和局部特征，从而有利于准确的关键点检测。HCNN在人脸的可见性、基准点和3D姿态方面进行了联合训练。随着迭代的进行，误差减小，使得梯度变小，因此需要DCNN的有效训练来减轻这一点。KEPLER在前四次迭代中对姿态和基准点进行全局校正，然后在后续阶段进行局部校正。作为一个副产品，KEPLER还提供了3D姿态（俯仰，偏航和滚动）的脸准确。在本文中，我们表明，在不使用任何3D信息的情况下，KEPLER在AFW和AFLW等具有挑战性的数据集上的比对性能优于最先进的方法。
2017-02-16 cs.CV
A Backbone Replaceable Fine-tuning Framework for Stable Face Alignment
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于热图回归的人脸对齐算法在静态图像上取得了显著的效果。然而，当将现有的方法应用于动态视频时，稳定性和准确性显着打折扣。我们将这种退化归因于视频中常见的随机噪声和运动模糊。时间信息对于解决这一问题至关重要，但在现有工作中尚未充分考虑。在本文中，我们访问面向视频的人脸对齐问题在两个方面：检测精度更倾向于较低的误差为一个单一的帧，检测一致性的力量相邻帧之间的稳定性更好。在此基础上，我们提出了一个抖动损失函数，利用时间信息来抑制不准确以及抖动的地标。抖动损失涉及到一个新的框架，该框架在骨干可替换网络上具有微调的ConvLSTM结构。我们进一步证明了准确和稳定的地标与在规范坐标中具有重叠的不同区域相关联，基于此，所提出的抖动损失促进了训练过程中的优化过程。所提出的框架实现了至少40%的稳定性评估指标的改善，同时提高检测精度与国家的最先进的方法。一般来说，它可以快速地将面部图像的地标检测器转换为性能更好的视频检测器，而无需重新训练整个模型。
2020-11-13 cs.CV
Automatic Face Understanding: Recognizing Families in Photos
Northeastern University（东北大学）
我们建立了最大的亲属识别数据库。使用一种新的聚类算法标记数据，该算法使用标签建议作为辅助信息来指导更准确的聚类。节省了大量的时间和人力投入。从统计数据来看，FIW比其前任取得了巨大的进步。我们在亲属关系验证、家庭分类、三主题验证和大规模搜索和检索方面有几个基准。我们还在FIW上训练CNN，并在著名的KinWild I和II上部署模型以获得SOTA。最近，我们进一步增强了FIW与MM。现在，视频动态，音频和文本字幕可以用于亲属识别系统的决策。我们预计FIW将对研究和现实产生重大影响。此外，我们还解决了面部地标定位的经典问题。这些网络中的大多数具有基于L1或L2规范的目标，这继承了一些缺点。地标的位置是根据生成的热图确定的，根据热图，预测的地标位置在不考虑扩散的情况下受到惩罚：高散射对应于低置信度，反之亦然。为了解决这个问题，我们引入了一个惩罚低信心的目标。另一个问题是对标记数据的依赖，这是昂贵的收集和容易出错。我们通过提出一个对抗性训练框架来解决这两个问题，该框架利用未标记的数据来提高模型性能。我们的方法声称SOTA在著名的基准。此外，我们的模型是鲁棒的，具有较小的尺寸：1/8的通道数与CPU上的SOTA实时相当。最后，我们建立了BFW作为衡量种族和性别亚组偏倚的代理，使我们能够表征每个亚组的FR性能。我们发现，当使用单个阈值来确定样本对是否是真实的时，性能是非最优的。
2021-01-10 cs.CV
Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection
National Lab of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Visionfinity Inc.（Visionfinity公司）；ObjectEye Inc.（ObjectEye公司）；Universal AI Inc.（通用人工智能公司）；AnyVision；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，基于深度学习的人脸标志点检测取得了巨大的成功。尽管如此，我们注意到，语义模糊性大大降低了检测性能。具体地，语义模糊性意味着一些界标（例如，沿着面部轮廓均匀分布的那些界标）不具有清晰和准确的定义，从而导致注释者的注释不一致。因此，这些通常由公共数据库提供的不一致的注释通常用作监督网络训练的真值，导致准确性降低。据我们所知，很少有研究调查这个问题。在本文中，我们提出了一种新的概率模型，它引入了一个潜在的变量，即“真正的”真值，这是语义上一致的，以优化。该框架耦合了两个部分：（1）训练地标检测CNN和（2）搜索“真实”真值。这两个部分被交替优化：搜索到的“真实”地面实况监督CNN训练;并且训练后的CNN辅助搜索“真实"真值。此外，为了恢复由于遮挡和低质量而导致的不自信的预测地标，我们提出了一个全局热图校正单元（GHCU），通过考虑全局人脸形状作为约束来校正离群值。在基于图像（300 W和AFLW）和基于视频（300-VW）的数据库上进行的大量实验表明，该方法有效地提高了地标检测的准确性，并达到了最先进的性能。
2019-03-26 cs.CV
From Pixels to Words: Leveraging Explainability in Face Recognition through Interactive Natural Language Processing
Universidad Autonoma de Madrid（马德里自治大学）；Paderborn University（帕德博恩大学）
本文提出交互式自然语言处理框架，通过结合XAI和NLP技术提升人脸识别的可解释性，同时保持识别性能，增强用户对决策过程的理解。
2024-12-09 cs.AI cs.CV cs.CY
ADNet: Leveraging Error-Bias Towards Normal Direction in Face Alignment
Microsoft Research Asia（微软亚洲研究院）
本文研究人脸对齐中关键点误差沿切线方向扩散的误差偏差问题，提出各向异性方向损失和各向异性注意力模块，并构建端到端模型 ADNet，在多个数据集上达到最优性能。
2022-12-19 cs.AI cs.CV cs.GR
