Occlusion Coherence: Detecting and Localizing Occluded Faces
University of California at Irvine（加州大学尔湾分校）
遮挡物的存在显著影响对象识别的准确性。然而，遮挡通常被视为非结构化的噪声源，并且遮挡物的显式模型已经落后于对象外观和形状的模型。在本文中，我们描述了一个层次的可变形部分模型的人脸检测和地标定位，明确模型的一部分遮挡。所提出的模型结构使得有可能用大量的合成遮挡实例来增强正训练数据。这使我们能够轻松地将遮挡模式的统计数据纳入到有区别的训练模型中。我们在几个基准上测试了该模型，用于地标定位和检测，包括具有显著遮挡特征的具有挑战性的新数据集。我们发现，除了一个明确的遮挡模型产生一个检测系统，优于现有的方法，遮挡的情况下，同时保持竞争力的准确性检测和地标定位未遮挡的情况下。
2016-08-25 cs.CV
Multi-task Localization and Segmentation for X-ray Guided Planning in Knee Surgery
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Siemens Healthcare GmbH（西门子医疗保健有限公司）；Hochschule Furtwangen（富特旺根应用技术大学）；BG Trauma Center Ludwigshafen（路德维希港BG创伤中心）
基于X射线的测量和引导是骨科手术中常用的工具，以促进微创工作流程。通常，首先使用骨形态和解剖标志的知识来执行手术规划。然后，关于骨位置的信息在术中X射线图像上的规划的叠加期间用作配准的先验。然而，手动执行这些步骤容易出现评估者内/评估者间变异性，并增加了外科医生的任务复杂性。为了解决这些问题，我们提出了一个自动规划和后续覆盖框架。我们以内侧髌股韧带重建手术的股骨钻孔部位规划为例进行评价。在149张常规侧位X射线图像上训练深度多任务堆叠沙漏网络，以联合定位两个股骨标志，预测股骨后皮质切线的感兴趣区域，并使用自适应任务复杂度加权执行股骨、髌骨、胫骨和腓骨的语义分割。在38张临床测试图像上，框架实现了股骨钻孔部位的中位定位误差为1.50 mm，股骨、髌骨、胫骨和腓骨的平均IOU评分分别为0.99、0.97、0.98和0.96。所证明的方法始终以专家级精度执行手术计划，而无需手动校正。
2019-07-24 cs.CV eess.IV
Robust Face Alignment by Multi-order High-precision Hourglass Network
Singapore University of Technology and Design（新加坡科技设计大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
热图回归（HR）已成为人脸对齐的主流方法之一，并在约束环境下取得了良好的效果。然而，当人脸图像遭受大的姿态变化、严重的遮挡和复杂的光照时，由于生成的地标热图的低分辨率和排除可用于学习更多区分特征的重要高阶信息，HR方法的性能大大降低。为了解决具有极大姿态和严重遮挡的人脸的对齐问题，本文提出了一种热图子像素回归（HSR）方法和一种多阶交叉几何感知（MCG）模型，它们无缝集成到一种新的多阶高精度沙漏网络（MHHN）中。HSR方法通过设计良好的亚像素检测损失（SDL）和亚像素检测技术（SDT）来实现高精度的地标检测。同时，MCG模型能够使用所提出的多阶交叉信息来学习更多的判别表示，以增强面部几何约束和上下文信息。据我们所知，这是第一项探索热图子像素回归的研究，用于鲁棒和高精度的面部对齐。具有挑战性的基准数据集的实验结果表明，我们的方法优于最先进的方法在文献中。
2020-10-17 cs.CV
Multi-Scale Structure-Aware Network for Human Pose Estimation
University of Chinese Academy of Sciences（中国科学院大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
我们开发了一个强大的多尺度结构感知神经网络的人体姿态估计。这种方法改进了最近的深度conv-decov沙漏模型，有四个关键改进：（1）多尺度监督，以通过组合跨尺度的特征热图来加强匹配身体关键点时的上下文特征学习，（2）末端的多尺度回归网络，以全局优化多尺度特征的结构匹配，（3）在中间监督和回归中使用的结构感知损失，以改善关键点和相应邻居的匹配，从而推断更高阶的匹配配置，以及（4）关键点掩蔽训练方案，其可以有效地微调我们的网络以通过相邻匹配鲁棒地定位被遮挡的关键点。我们的方法可以有效地改善国家的最先进的姿态估计方法，遭受困难的规模变化，闭塞，和复杂的多人的情况。这种多尺度监督与回归网络紧密集成，以有效地（i）使用多尺度特征的集合来定位关键点，以及（ii）通过最大化跨多个关键点和尺度的结构性映射来推断全局姿态配置。关键点掩蔽训练增强了这些优势，以将学习集中在硬遮挡样本上。我们的方法在MPII挑战排行榜中处于领先地位。
2018-09-16 cs.CV
OccFace: Unified Occlusion-Aware Facial Landmark Detection with Per-Point Visibility
University of California, Davis（加州大学戴维斯分校）；Genies inc.（Genies公司）；University of Arizona（亚利桑那大学）
OccFace 提出了一种统一的遮挡感知面部 landmark 检测框架，通过联合预测 landmark 坐标和每个点的可见性，提升在遮挡和旋转条件下的鲁棒性。
2026-02-11 cs.CV
Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails
Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）；Research Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
在本文中，我们研究的任务幻觉一个真实的高分辨率（HR）的脸从一个闭塞的缩略图。我们提出了一个多阶段渐进上采样和修复生成对抗网络，称为Pro-UIGAN，它利用面部几何先验来补充和上采样（8*）被遮挡和微小的面部（16*16像素）。Pro-UIGAN迭代地（1）估计低分辨率（LR）面部的面部几何先验，以及（2）在估计的先验的指导下获取非遮挡的HR面部图像。我们的多级幻觉网络以从粗到细的方式对被遮挡的LR面部进行超分辨率和修复，从而显著减少不必要的模糊和伪影。具体而言，我们设计了一种新的跨模态Transformer模块的面部先验估计，其中输入的脸和它的地标功能制定为查询和键，分别。这样的设计鼓励跨输入面部和地标特征的联合特征学习，并且通过注意力将发现深度特征对应。因此，面部外观特征和面部几何先验以相互促进的方式被学习。大量的实验表明，我们的Pro-UIGAN实现了视觉上令人愉悦的HR面孔，在下游任务中达到了卓越的性能，即，人脸对齐，人脸解析，人脸识别和表情分类，与其他国家的最先进的（SotA）的方法相比。
2022-04-01 cs.CV
Multistage Model for Robust Face Alignment Using Deep Neural Networks
Anhui University（安徽大学）；University of Windsor（温莎大学）
推广无约束条件的能力，如严重的遮挡和大的姿态变化仍然是一个具有挑战性的目标，以实现在面部对齐。本文提出了一种基于深度神经网络的多级模型，该模型利用了空间Transformer网络、沙漏网络和基于样本的形状约束。首先，空间Transformer -生成对抗网络，它由卷积层和残差单元组成，用于解决人脸检测器引起的初始化问题，如旋转和尺度变化，以获得改进的人脸边界框进行人脸对齐。然后，堆叠沙漏网络，以获得初步的位置标志，以及其相应的分数。此外，一个基于范例的形状字典的设计，以确定具有高分数的基础上，那些低分数的地标。通过结合面部形状约束，可以显著改善由遮挡或杂乱背景引起的未对准的地标。基于具有挑战性的基准数据集进行了大量的实验，以证明所提出的方法优于其他国家的最先进的方法的性能。
2020-02-04 cs.CV eess.IV
LUVLi Face Alignment: Estimating Landmarks' Location, Uncertainty, and Visibility Likelihood
University of Utah（犹他大学）；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；University of Manchester（曼彻斯特大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
现代面部对齐方法在预测面部地标的位置方面已经变得相当准确，但是它们通常不估计其预测位置的不确定性，也不预测地标是否可见。在本文中，我们提出了一个新的框架，共同预测地标的位置，这些预测的位置相关的不确定性，和地标vibrium。我们将这些建模为混合随机变量，并使用我们提出的位置，不确定性和可见性可能性（LUVLi）损失训练的深度网络进行估计。此外，我们还发布了一个全新的大型人脸对齐数据集的标签，该数据集包含超过19，000张全方位头部姿势的人脸图像。每个面部都手动标记有68个地标的地面真实位置，以及每个地标是否未被遮挡，自遮挡（由于极端的头部姿势）或外部遮挡的附加信息。我们的联合估计不仅可以准确估计预测地标位置的不确定性，而且还可以在多个标准人脸对齐数据集上对地标位置本身进行最先进的估计。我们的方法对预测地标位置的不确定性的估计可用于自动识别人脸对齐失败的输入图像，这对下游任务至关重要。
2020-04-06 cs.CV cs.LG eess.IV
Multi-spectral Facial Landmark Detection
Monash University Malaysia（莫纳什大学马来西亚校区）；EURECOM（欧洲通信研究院）
热面图像分析在某些情况下是有利的。例如，照明敏感的应用，如夜间监控;和隐私保护要求访问控制。然而，在响应行业需求方面，热面图像分析的研究不足，需要引起重视。人脸标志点的检测对于人脸识别、三维人脸重建、人脸表情识别等人脸分析任务具有重要意义。在本文中，我们提出了一个强大的神经网络启用面部标志检测，即深度多光谱学习（DMSL）。简单地说，DMSL由两个子模型组成，即人脸边界检测和地标坐标检测。这种架构展示了在可见光图像和热图像上检测面部标志的能力。特别地，所提出的DMSL模型在面部特征点检测中是鲁棒的，其中面部被部分遮挡，或面向不同方向。在Eurecom的可见光和热配对数据库上进行的实验表明，DMSL在热面部标志检测方面的性能优于最先进的技术。除此之外，为了实验的目的，我们还用它们各自的面部标志注释了一个热人脸数据集。
2020-06-09 cs.CV
Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition
University of Maryland, College Park（马里兰大学帕克分校）
部分遮挡人脸的表情识别是一个具有挑战性的计算机视觉问题。以前的表情识别方法，要么忽略了这个问题，要么使用极端的假设解决了这个问题。由于人类视觉系统擅长忽略遮挡并专注于非遮挡面部区域，因此我们提出了一个地标引导的注意力分支来查找和丢弃遮挡区域中的损坏特征，以便它们不用于识别。首先生成一个注意力图来指示特定的面部部分是否被遮挡，并引导我们的模型关注未被遮挡的区域。为了进一步提高鲁棒性，我们提出了一个面部区域分支，将特征图划分为不重叠的面部块，并分配每个块来独立预测表情。这导致更多样化和更有区别的特征，使得表情识别系统能够在面部被部分遮挡的情况下恢复。根据这两个分支的协同效应，我们的遮挡自适应深度网络在两个具有挑战性的野外基准数据集和三个真实世界的遮挡表达数据集上的表现明显优于最先进的方法。
2020-05-12 cs.CV
Adversarial Occlusion-aware Face Detection
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
遮挡人脸检测是一个具有挑战性的检测任务，由于各种现实世界中的遮挡引起的外观变化大。本文介绍了一种对抗性遮挡感知人脸检测器（AOFD），通过同时检测遮挡人脸和分割遮挡区域。具体来说，我们采用对抗性训练策略来生成面部检测器难以识别的类似遮挡的面部特征。在检测被遮挡人脸的同时预测遮挡掩模，将被遮挡区域作为辅助而不是障碍。此外，来自分割分支的监督信号将间接影响特征，从而帮助检测严重遮挡的面部。因此，AOFD能够以非常高的置信度找到具有很少暴露的面部特征点的面部，并且即使对于掩蔽的面部也保持高的检测精度。大量的实验表明，AOFD不仅显着优于国家的最先进的方法上的MAFA遮挡人脸检测数据集，但也达到了竞争力的检测精度的基准数据集上的一般人脸检测，如FDDB。
2018-09-29 cs.CV
Maximized Posteriori Attributes Selection from Facial Salient Landmarks for Face Recognition
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Dr. B. C. Roy Engineering College（B. C. 罗伊工程学院）；Jadavpur University（贾达普大学）；University of Sassari（萨萨里大学）
本文提出了一种鲁棒的和动态的人脸识别技术的基础上提取和匹配的设计概率图的SIFT特征相关的独立的人脸区域。人脸匹配策略是基于匹配的个人显着的面部图，其特征在于SIFT功能连接到面部标志，如眼睛和嘴。为了减少人脸匹配的错误，应用Dempster-Shafer决策理论融合从每对显著人脸特征中获得的个体匹配分数。该算法与ORL和IITK人脸数据库进行了评估。实验结果表明，所提出的人脸识别技术的有效性和潜力的情况下，部分遮挡的脸。
2010-04-12 cs.CV
Automatic segmentation of vertebral features on ultrasound spine images using Stacked Hourglass Network
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Alberta（阿尔伯塔大学）
目的：棘突角是表征脊柱三维畸形的重要参数之一。我们提出了一种基于堆叠沙漏网络（SHN）的自动分割方法，用于检测超声（US）脊柱图像上的棘突（SP），并测量临床脊柱侧凸受试者的SPAs。研究方法：该网络经过训练，在1200张超声横向图像上检测椎体SP和椎板作为5个标志，并在100张图像上进行验证。所有处理后的横断面图像，SP和椎板被突出显示，重建成3D图像体积，并在投影冠状面图像上测量SPAs。通过计算正确关键点的百分比（PCK），在400张图像上对训练好的网络进行了测试;通过比较US图像和X线片的结果，对50名脊柱侧凸受试者的SPA测量结果进行了评估。结果：训练后的网络在测试数据集上获得了较高的平均PCK（86.8%），特别是SP检测的PCK为90.3%。两种方法测量的SPAs具有良好的相关性（r>0.85），平均绝对差（MAD）为3.3°，小于临床可接受误差（5°）。结论：利用SHN可以在US脊柱图像上准确地分割椎体特征，并且US数据的SPA测量结果与X线摄影的金标准相当。
2021-05-24 cs.CV eess.IV
Fiducial Focus Augmentation for Facial Landmark Detection
Sony Research India（索尼印度研究院）；Indian Institute of Technology（印度理工学院）
本文针对人脸关键点检测在姿态、表情和光照变化下样本不足的问题，提出一种基准聚焦图像增强方法，并结合Siamese架构、DCCA损失及Transformer+CNN骨干网络，在多个基准数据集上取得优于现有方法的性能。
2024-02-23 cs.CV cs.LG
Map-aided annotation for pole base detection
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc（希迪亚斯实验室）
本文提出利用2D高精地图并结合激光雷达遮挡过滤与地面投影细化，自动生成图像中杆状物底部的训练标注，并训练检测器，同时修正原版实验的MAE评估。
2024-03-04 cs.CV eess.IV
ExpNet: Landmark-Free, Deep, 3D Facial Expressions
Institute for Robotics and Intelligent Systems, USC（南加州大学机器人与智能系统研究所）；Information Sciences Institute, USC（南加州大学信息科学研究所）；The Open University of Israel（以色列开放大学）
我们描述了一种基于深度学习的方法，用于估计3D面部表情系数。与以前的工作不同，我们的过程不依赖于面部地标检测方法作为代理步骤。最近的方法已经表明，CNN可以被训练为直接从图像强度回归准确且有区别的3D变形模型（3DMM）表示。通过前面的面部标志检测，这些方法能够估计在前所未有的野外观看条件下出现的被遮挡面部的形状。我们建立在这些方法的基础上，表明面部表情也可以通过一种强大的，深入的，无标志的方法来估计。我们的ExpNet CNN直接应用于人脸图像的强度，并回归3D表情系数的29维向量。我们提出了一种独特的方法来收集数据来训练这个网络，利用深度网络的鲁棒性来训练标签噪声。我们还提供了一种新的方法来评估估计的表情系数的准确性：通过测量他们如何捕捉面部情绪的CK+和ESTIW-17情感识别基准。我们表明，我们的ExpNet产生的表情系数，更好地区分面部情绪比那些使用最先进的，面部地标检测技术。此外，这种优势随着图像尺度的下降而增长，这表明我们的ExpNet比地标检测方法对尺度变化更鲁棒。最后，在相同的精度水平下，我们的ExpNet比其他替代品快几个数量级。
2018-02-02 cs.CV
Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Qingdao Research Institute of Beihang University（北京航空航天大学青岛研究院）
本文提出一种由关键点引导的完整人脸解析图生成方法，通过估计遮挡区域的二维人脸结构来构建三维纹理，从而在遮挡场景下实现更高质量和更鲁棒的三维人脸重建。
2024-12-25 cs.CV
Identity-Preserving Talking Face Generation with Landmark and Appearance Priors
Sun Yat-sen University（中山大学）；Xidian University（西安电子科技大学）；The University of Hong Kong（香港大学）
提出两阶段框架，用Transformer生成地标并利用外观先验渲染视频，实现逼真、唇同步且保持身份的说话人脸生成。
2023-05-15 cs.CV cs.MM
3D Pose Detection in Videos: Focusing on Occlusion
在这项工作中，我们建立在现有的方法，在视频中的遮挡感知3D姿态检测。我们实现了一个两阶段架构，该架构由堆叠的沙漏网络组成，以产生2D姿态预测，然后将其输入到时间卷积网络中以产生3D姿态预测。为了便于预测与闭塞关节的姿态，我们引入了一个直观的泛化的圆柱人模型用于生成遮挡标签。我们发现，在Human3.6M数据集上，遮挡感知网络能够实现比我们的线性基线模型小5 mm的平均每个关节位置误差。与我们的时间卷积网络基线相比，我们以更低的计算成本实现了0.1 mm的可比平均每关节位置误差。
2020-06-24 cs.CV
LDDMM-Face: Large Deformation Diffeomorphic Metric Learning for Flexible and Consistent Face Alignment
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；The University of Queensland（昆士兰大学）
我们创新性地提出了一个灵活和一致的人脸对齐框架，LDDMM-Face，其主要贡献是一个变形层，自然地嵌入人脸几何形状在一个同构的方式。而不是通过热图或坐标回归预测面部标志，我们制定了这个任务，在一个同构注册的方式和预测动量，唯一参数化的初始边界和真实边界之间的变形，然后执行大变形同构度量映射（LDDMM）的曲线和地标同时本地化的面部标志。由于LDDMM嵌入到深度网络中，LDDMM-Face可以一致地注释面部标志而不会产生歧义，并灵活地处理各种注释方案，甚至可以从稀疏注释中预测密集注释。我们的方法可以很容易地集成到各种人脸对齐网络中。我们在四个基准数据集上广泛评估了LDDMM-Face：300 W，WFLW，HELEN和COFW-68。LDDMM-Face与传统的数据集内和相同注释设置的最先进方法相当或更好，但在处理弱监督学习（部分到完全），具有挑战性的情况（例如，被遮挡的面部）以及不同的训练和预测数据集。此外，LDDMM-Face在最具挑战性的跨数据集预测任务上显示出了有希望的结果。
2021-08-02 cs.CV
Face De-occlusion using 3D Morphable Model and Generative Adversarial Network
Inha University（仁荷大学）
近几十年来，三维形变模型（3DMM）被广泛应用于基于图像的真实感三维人脸重建。然而，人脸图像往往会受到眼镜、口罩、手等非人脸物体的严重遮挡。这样的物体阻碍了地标和阴影信息的正确捕获。因此，重建的3D人脸模型是很难重用。本文提出了一种基于三维数字万用表和生成对抗网络的去遮挡人脸图像恢复新方法。我们利用3DMM之前提出的对抗性网络，并结合全局和局部对抗性卷积神经网络来学习人脸去遮挡模型。3DMM不仅作为几何先验，而且还提出了用于局部重构的人脸区域。实验结果证实了该算法在去除各种头部姿态和光照条件下具有挑战性的遮挡类型时的有效性和鲁棒性。此外，所提出的方法重建正确的三维人脸模型与去遮挡的纹理。
2019-09-06 cs.CV
Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification
Center for Artificial Intelligence (CAI), King Khalid University（哈立德国王大学人工智能中心）；College of Science and Arts, King Khalid University（哈立德国王大学文理学院）；College of Computer Science, King Khalid University（哈立德国王大学计算机科学学院）
最近一段时间的大流行带来了人的识别，即使与闭塞的面部图像非常重要的口罩使用数量的增加。本文的目的是识别人脸图像中的四种类型之一的遮挡。对各种迁移学习方法进行了测试，结果表明，具有门控递归单元（GRU）的MobileNet V2的性能优于任何其他迁移学习方法，在有或无遮挡的图像分类中具有99%的完美准确率，如果有遮挡，则是遮挡类型。并行地，完成从设备捕获的图像识别感兴趣区域。该提取的感兴趣区域用于面部识别。这样的人脸识别过程是使用ResNet模型及其Caffe实现完成的。为了减少执行时间，在识别出人脸遮挡类型之后，在注册数据库中搜索该人以确认其人脸图像。从两个同时的过程中获得的人的面部标签进行了验证，以获得其匹配分数。如果匹配分数高于90，则将识别出的人的标签与他们的姓名、面具类型、日期和识别时间一起记录到文件中。MobileNetV2是一个轻量级框架，也可用于嵌入式或物联网设备中，使用CCTV镜头在可疑的调查区域执行实时的检测和识别。当MobileNetV2与GRU相结合时，获得了可靠的精度。论文中提供的数据属于两类，要么从Google Images收集，用于遮挡分类，人脸识别和面部标志，要么在实地调查中收集。这项研究背后的动机是识别和记录个人的详细信息，可以服务于社会为基础的电子政务的监视活动。
2022-05-15 cs.CV
ORFormer: Occlusion-Robust Transformer for Accurate Facial Landmark Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；MediaTek Inc.（联发科技股份有限公司）；NVIDIA（英伟达）
针对现有FLD方法在遮挡等不可见人脸场景下性能下降的问题，提出带信使token的ORFormer，通过识别不可见区域并恢复特征生成鲁棒热图，集成到现有方法后在WFLW、COFW数据集上性能超越SOTA。
2025-01-14 cs.AI cs.CV cs.LG
PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition
Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学）；Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部）
针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。
2026-07-15 cs.AI cs.CV
Face Alignment Robust to Pose, Expressions and Occlusions
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个强大的约束局部模型的包围对齐的脸在存在显着的闭塞和任何未知的姿势和表达。为了解释部分遮挡，我们引入了鲁棒约束局部模型，该模型包括可变形形状和局部地标外观模型以及二进制遮挡标签的原因。我们的遮挡推理过程中的假设和测试搜索遮挡标签。假设产生的约束局部模型基于形状拟合随机采样的子集的地标检测器的响应，并进行评估的面部对齐的质量。为了跨越整个范围内的面部姿态和表情的变化，我们采用了一个独立的鲁棒约束局部模型的合奏搜索的姿态和表情的离散化表示。我们对大量的人脸图像进行了广泛的评价，包括遮挡和未遮挡的。我们发现，我们的人脸对齐系统完全在“实验室”捕获的面部图像上训练，表现出高度的泛化能力。我们的结果是准确和稳定的广泛的闭塞，姿态和表情的变化，从而在许多现实世界的人脸数据集上表现出色。
2017-07-19 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace；Imperial College London（帝国理工学院）
在野外拍摄的图像中，面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络（DCNN），如堆叠U网和沙漏网络。在这项工作中，我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块，在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失，我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后，我们表明，准确的三维人脸对齐可以帮助姿态不变的人脸识别，我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
emg2face: Expressive Facial Animation with High-Density Surface EMG
University of British Columbia（不列颠哥伦比亚大学）；Google（谷歌）；Imperial College London（帝国理工学院）；Vital Mechanics Research
本文提出emg2face，利用高密度表面肌电信号（HD-sEMG）在面部遮挡场景下实现非光学表情捕捉，通过亚毫秒同步与分阶段拟合，训练时空网络以100Hz预测融合变形参数，支持实时动画生成。
2026-10-08 cs.CV cs.ET cs.GR
Time-Series U-Net with Recurrence for Noise-Robust Imaging Photoplethysmography
Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）；Harvard Medical School（哈佛医学院）；Google（谷歌）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
该研究提出模块化可解释的iPPG脉搏信号估计流水线，核心TURNIP模块可抗运动与自遮挡干扰精准重构脉搏波形，在RGB与NIR数据集上性能优于现有方法，实现无接触可靠心率监测。
2025-03-21 cs.CV
A Unified Tensor-based Active Appearance Face Model
人脸的外貌变化给人脸图像分析带来了很多困难。为了应对这一挑战，我们提出了一个统一的基于张量的主动外观模型（UT-AAM），用于联合建模的几何和纹理信息的二维人脸。对于每种类型的人脸信息，即形状和纹理，我们构建了一个统一的张量模型捕捉所有相关的外观变化。这与经典张量AAM的变分特定模型形成对比。为了实现姿态变化的统一，提出了一种处理自遮挡人脸的策略，以获得一致的姿态变化的人脸的形状和纹理表示。此外，我们的UT-AAM能够使用张量补全方法从不完整的训练数据集构建模型。最后，我们使用一个有效的级联回归为基础的方法UT-AAM拟合。随着这些进步，UT-AAM在实践中的实用性大大增强。作为一个例子，我们展示了通过使用UT-AAM合成大量虚拟样本来训练面部标志检测器的改进。在Multi-PIE和300-W人脸数据集上的实验结果验证了该方法的有效性。
2017-06-13 cs.CV
PERI: Part Aware Emotion Recognition In The Wild
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
情感识别旨在基于包括音频、视觉和文本线索在内的各种输入来解释人的情感状态。本文主要研究基于视觉特征的情感识别。为了利用面部表情和人的情绪状态之间的相关性，开创性的方法主要依赖于面部特征。然而，面部特征在自然的无约束场景中通常是不可靠的，例如在拥挤的场景中，因为面部缺乏像素分辨率并且由于遮挡和模糊而包含伪影。为了解决这个问题，在野生情绪识别利用全身人作物以及周围的场景上下文。为了使用身体姿势进行情感识别，这些方法未能实现面部表情（当可用时）提供的潜力。因此，本文的目的是双重的。首先，我们展示了我们的方法，PERI，利用身体姿势和面部标志。我们创建部分感知空间（PAS）图像提取关键区域从输入图像使用从身体姿势和面部标志生成的掩模。这使我们能够利用身体姿势，除了面部上下文，只要可用。其次，原因从PAS图像，我们引入上下文注入（Cont-In）块。这些模块处理特定于部分的信息，并将其传递到情感识别网络的中间特征。我们的方法在概念上是简单的，可以应用到任何现有的情感识别方法。我们提供了我们的结果公开可用的野生EMOTIC数据集。与现有方法相比，PERI实现了卓越的性能，并导致情绪类别的mAP的显着改善，同时减少效价，唤醒和优势错误。重要的是，我们观察到，我们的方法提高了在完全可见的人脸图像以及在被遮挡或模糊的人脸图像中的性能。
2022-10-18 cs.CV
Illumination,Expression and Occlusion Invariant Pose-Adaptive Face Recognition System for Real-Time Applications
NIT Warangal（瓦朗加尔国家理工学院）
实时的【形】场景下的人脸识别主要受光照、表情和姿态变化以及遮挡的影响。提出了一种基于姿态自适应组件的人脸识别系统框架。拟议的框架涉及上述所有问题。所提出的框架中涉及的步骤是（i）面部地标定位，（ii）面部组件提取，（iii）面部图像的预处理（iv）面部姿态估计（v）特征提取使用每个组件的局部二进制模式直方图，然后（vi）融合组件的姿态自适应分类。通过采用姿态自适应分类，基于估计的姿态对数据库的某些部分执行识别过程，而不是对整个数据库应用识别过程。本文还讨论了用于克服光照变化问题的预处理技术。与整体方法相比，当人脸图像被遮挡时，基于一致性的技术提供了更好的识别率。我们的方法是简单的，可行的，并提供了更好的结果相比，其他整体的方法。
2014-03-06 cs.CV
Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Department of Computer Science, Hong Kong Baptist University（香港 Baptist大学计算机科学系）
针对遮挡 FER 中特征提取失效与数据集偏差问题，本文提出 ORSANet，融合语义分割与关键点先验，并通过 MCM 和 DARELoss 提升相似表情判别力，同时构建 Occlu-FER 数据集，取得 SOTA 性能。
2025-07-24 cs.CV
Joint Action Unit localisation and intensity estimation through heatmap regression
University of Nottingham（诺丁汉大学）
本文提出了一种监督学习的方法来联合执行面部动作单元（AU）定位和强度估计。与之前尝试学习动作单元区域的无监督表示的工作相反，我们建议通过热图回归直接联合估计所有AU强度，以及它们引起可见变化的面部位置。我们的方法旨在学习逐像素回归函数，返回每个AU的分数，这表明给定空间位置处的AU强度。热图回归然后生成每个AU的图像或通道，其中每个像素指示对应的AU强度。为了生成目标AU的地面实况热图，首先估计面部标志，并在已知AU引起变化的点周围绘制2D高斯。高斯的振幅和大小由AU的强度决定。我们表明，使用一个沙漏网络足以达到新的最先进的结果，证明了这种简单的方法的有效性。热图回归的使用允许学习AU之间的共享表示，而不需要依赖于潜在表示，因为这些是从数据中隐式学习的。我们在BP4D数据集上验证了所提出的方法，对最近的复杂技术以及对未对准误差的鲁棒性进行了适度的改进。测试代码和模型可从https://github.com/ESanchezLozano/Action-Units-Heatmaps下载。
2018-07-20 cs.CV
MaskMTL: Attribute prediction in masked facial images with deep multitask learning
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology Delhi（印度理工学院德里分校）
在无标志的面部图像中预测属性本身是一项具有挑战性的任务，当面部由于使用掩模而被遮挡时，该任务变得更加复杂。利用身份验证或安全登录到个人电子设备的智能访问控制门可以利用面部作为生物特征。特别是，新型冠状病毒疫情日益证明了卫生和非接触式身份验证的重要性。在这种情况下，面具的使用变得更加不可避免，并且执行属性预测有助于将目标弱势群体与社区传播隔离开来，或者确保他们在协作环境中保持社交距离。我们通过有效地覆盖不同形状，大小和纹理的面具来创建一个面具人脸数据集，以有效地模拟佩戴面具产生的变化。本文提出了一种深度多任务学习（MTL）方法，用于从单个蒙面面部图像中联合估计各种异构属性。在基准人脸属性UTKFace数据集上的实验结果表明，该方法在性能上优于其他竞争技术。源代码可在https://github.com/ritikajha/Attribute-prediction-in-masked-facial-images-with-deep-multitask-learning上获得
2022-01-11 cs.CV
T-LEAP: Occlusion-robust pose estimation of walking cows using temporal information
Wageningen University & Research（瓦赫宁根大学与研究中心）
本研究提出一种利用时间信息的奶牛姿态估计模型T-LEAP，通过引入过去帧数据提升遮挡环境下的鲁棒性，实验证明其在遮挡数据上比静态模型最多提升32.9%，且对未知奶牛具有良好泛化能力。
2021-12-08 cs.CV
Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN
University of Copenhagen（哥本哈根大学）；University of Electronic Science and Technology of China（电子科技大学）
Mask-FPAN 框架通过半监督去遮挡模块、3D 可变形人脸模型与 UV GAN 提升野外遮挡和大幅姿态下的人脸解析精度，并发布两个新数据集，MIOU 从 0.7353 提升至 0.9013。
2023-05-30 cs.CV
