Mitigating Knowledge Discrepancies among Multiple Datasets for Task-agnostic Unified Face Alignment
本文提出TUFA框架，通过计算平均人脸形状并引入语义对齐嵌入构建可解释平面，统一多数据集学习目标，有效缓解知识差异，提升泛化、少样本及零样本人脸对齐性能。
2025-06-30 cs.CV
AI-KD: Towards Alignment Invariant Face Image Quality Assessment Using Knowledge Distillation
University of Ljubljana（卢布尔雅那大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
针对现有FIQA技术对人脸对齐敏感的问题，提出可适配任意FIQA方法的AI-KD知识蒸馏方案，经多数据集多模型验证，其能提升对齐鲁棒性并刷新SOTA性能，代码已开源。
2024-04-15 cs.CV
MobileFAN: Transferring Deep Hidden Representation for Face Alignment
Griffith University（格里菲斯大学）；The University of Adelaide（阿德莱德大学）；Wuhan University of Technology（武汉理工大学）
人脸特征点检测是人脸分析应用的重要前提。基于深度学习的方法目前主导着解决面部特征点检测的方法。然而，这样的作品通常引入大量的参数，导致高存储器成本。在本文中，我们的目标是一个轻量级的，以及有效的解决方案，面部标志检测。为此，我们提出了一个有效的轻量级模型，即移动人脸对齐网络（MobileFAN），使用一个简单的骨干MobileNetV2作为编码器和三个解卷积层作为解码器。所提出的MobileFAN，只有8%的模型大小和较低的计算成本，实现了优越的或等效的性能相比，国家的最先进的模型。此外，通过特征对齐蒸馏和特征相似性蒸馏，将人脸图的几何结构信息从大型复杂模型转移到我们提出的MobileFAN中，进一步提高了MobileFAN在人脸对齐方面的有效性和效率。在三个具有挑战性的面部标志点估计基准测试（包括COFW，300W和WFLW）上的大量实验结果显示了我们提出的MobileFAN对最先进方法的优越性。
2019-11-20 cs.CV
Efficient Branching Cascaded Regression for Face Alignment under Significant Head Rotation
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
尽管近年来对人脸对齐的兴趣很大，但绝大多数工作都集中在近正面的人脸上。算法通常会在剖面上崩溃，或者对于实时应用程序来说太慢。在这项工作中，我们提出了一种有效的方法来面对对齐，可以处理180度的头部旋转在一个统一的方式（例如，而不求助于基于视图的模型）使用二维训练数据。我们的方法的基础是级联形状回归（CSR），这是最近出现的领先战略。我们提出了一个泛化的传统CSR，我们称之为分支级联回归（BCR）。传统的CSR是单轨的;也就是说，它们以直线从一个级联水平进展到下一个级联水平，每个回归变量都试图拟合整个数据集。相反，我们在每个级联级别之后将回归问题拆分为两个或更多个更简单的问题。直观地，每个回归量然后可以对更简单的目标函数（即，具有较少的冲突梯度方向）。在BCR框架内，我们使用结构化点分布模型（SPDM）同时建模和推断姿势相关的地标可见性和面部形状。我们建议学习任务特定的特征映射功能，自适应地标的可见性，并使用SPDM参数作为回归目标，而不是二维地标坐标。此外，我们引入了一个新的野外轮廓面数据集来验证我们的方法。
2016-11-10 cs.CV
Towards Highly Accurate and Stable Face Alignment for High-Resolution Videos
Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；Fudan University（复旦大学）
近年来，基于热图回归的模型在人脸对齐和姿态估计中显示出其有效性。然而，传统的热图回归（Heatmap Regression）在处理高分辨率面部视频时既不准确也不稳定，因为它在从舍入坐标生成的热图中找到最大激活位置，从而在缩放回原始高分辨率空间时导致量化误差。在本文中，我们提出了一个分数热图回归（FHR）的高分辨率视频为基础的人脸对齐。所提出的FHR可以根据二维高斯函数通过对热图中的三个点进行采样来准确地估计分数部分。为了进一步稳定连续视频帧之间的地标，同时保持精度，我们提出了一种新的稳定损失，包含两个术语，分别解决时间延迟和非平滑问题。在300 W、300-VW和Talking Face数据集上的实验表明，该方法比现有的模型更准确、更稳定。
2018-11-22 cs.CV
Look at Boundary: A Boundary-Aware Face Alignment Algorithm
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Amazon Rekognition（亚马逊Rekognition）
我们提出了一种新的边界感知人脸对齐算法，利用边界线作为人脸的几何结构，以帮助面部标志定位。与传统的基于热图的方法和基于回归的方法不同，我们的方法从边界线中导出人脸地标，从而消除了地标定义中的模糊性。本文主要探讨并回答了三个问题：1.为什么使用边界？2.如何使用边界？3.边界估计和地标定位之间的关系是什么？我们的边界感知人脸对齐算法在300-W Fullset上实现了3.49%的平均误差，大大优于最先进的方法。我们的方法也可以很容易地整合来自其他数据集的信息。通过利用300-W数据集的边界信息，我们的方法在COFW数据集上实现了3.92%的平均误差，失败率为0.39%，在AFLW-Full数据集上实现了1.25%的平均误差。此外，我们提出了一个新的数据集WFLW，以统一不同因素的训练和测试，包括姿势，表情，照明，化妆，遮挡和模糊。数据集和模型将在https://wywu.github.io/projects/LAB/LAB.html上公开提供
2018-05-26 cs.CV
Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification
Beijing Orion Star Technology Co., Ltd.（北京猎户星空科技有限公司）
知识蒸馏是解决模型压缩问题的一种潜在方法。其思想是使一个小的学生网络模仿一个大的教师网络的目标，然后学生网络可以竞争的教师之一。大多数以前的研究集中在分类任务中的模型蒸馏，他们为学生网络提出了不同的架构师和初始化。然而，只有分类任务是不够的，其他相关的任务，如回归和检索几乎没有考虑。针对这一问题，本文以人脸识别为切入点，提出了从人脸分类到比对和验证的模型蒸馏和知识转移。通过选择合适的初始化和目标的知识转移，蒸馏可以更容易在非分类任务。在CelebA和CASIA-WebFace数据集上的实验表明，学生网络在对齐和验证方面可以与教师网络竞争，甚至在特定压缩率下超过教师网络。此外，为了实现更强的知识传递，我们还使用了一个常见的初始化技巧来提高分类的蒸馏性能。在CASIA-Webface和大规模MS-Celeb-1 M数据集上的评估显示了这个简单技巧的有效性。
2017-10-23 cs.CV
Dual Teacher Knowledge Distillation with Domain Alignment for Face Anti-spoofing
Sun Yat-sen University（中山大学）；Tencent YouTu Lab（腾讯优图实验室）；Nanjing University（南京大学）；Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）
针对人脸反欺骗泛化与训练不稳定问题，提出域对抗攻击实现域对齐，并利用感知与生成预训练模型构建双教师知识蒸馏框架，显著提升模型泛化能力。
2024-01-02 cs.CV
Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning
University of Technology Sydney（悉尼科技大学）；Southern University of Technology and Science（南方科技大学）；CalmCar（天瞳威视）
近年来，热图回归方法在人脸配准领域占据主导地位，但它们忽略了不同特征点之间的内在联系。在本文中，我们提出了一个稀疏局部补丁Transformer（SLPT）的学习的内在关系。SLPT从局部块中生成每个单个地标的表示，并基于注意力机制通过自适应的内在关系聚合它们。基于聚合特征独立地预测每个地标的子像素坐标。此外，还引入了一个由粗到细的框架与SLPT相结合，这使得初始地标逐渐收敛到目标面部地标使用细粒度的功能，从动态调整大小的局部补丁。实验结果表明，该方法通过学习人脸特征点之间的内在联系，以较低的计算复杂性达到了最新水平。该代码可在项目网站上获得。
2022-03-26 cs.CV
VidFace: A Full-Transformer Solver for Video FaceHallucination with Unaligned Tiny Snapshots
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在本文中，我们研究了从多个低分辨率（LR）视频快照中产生真实高分辨率（HR）人脸的任务。我们提出了一个纯粹的基于transformer的模型，称为VidFace，充分利用多个缩略图之间的全方位时空信息和面部结构线索。具体来说，VidFace一次处理多个快照，并综合利用空间和时间信息来探索所有帧中的人脸对齐，从而避免累积对齐错误。此外，我们还设计了一个递归位置嵌入模块，为我们的Transformer提供面部先验知识，这不仅有效地规范了对齐机制，而且还取代了臭名昭著的预训练。最后，我们从公共Voxceleb2基准中策划了一个新的大规模视频人脸幻觉数据集，该数据集挑战了处理未对齐和微小人脸快照的现有技术。据我们所知，我们是第一次尝试开发一个统一的基于变压器的解决方案，为基于视频的脸幻觉量身定制。在公共视频人脸基准上的大量实验表明，该方法的性能明显优于现有技术。
2021-05-31 cs.CV
How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
The University of Nottingham（诺丁汉大学）
本文研究了一个非常深的神经网络在现有的2D和3D人脸对齐数据集上达到接近饱和性能的距离。为此，我们做出了以下5个贡献：（a）我们首次通过将最先进的地标定位架构与最先进的残留块相结合来构建非常强大的基线，在非常大但综合扩展的2D面部地标数据集上对其进行训练，并最终在所有其他2D面部地标数据集上对其进行评估。(b)我们创建了一个由2D地标网络引导的网络，该网络将2D地标注释转换为3D，并统一了所有现有的数据集，从而创建了LS 3D-W，这是迄今为止最大和最具挑战性的3D面部地标数据集~ 230，000张图像。(c)在此之后，我们训练了一个用于3D人脸对齐的神经网络，并在新引入的LS 3D-W上对其进行了评估。(d)我们进一步研究了影响人脸对齐性能的所有“传统”因素的影响，如大姿态，初始化和分辨率，并引入了一个“新”因素，即网络的大小。(e)我们表明，2D和3D人脸对齐网络实现了显着的准确性，这可能是接近饱和所使用的数据集的性能。训练和测试代码以及数据集可以从https://www.adrianbulat.com/face-alignment/下载
2017-09-07 cs.CV cs.LG
A Bridge from Audio to Video: Phoneme-Viseme Alignment Allows Every Face to Speak Multiple Languages
Xidian University（西安电子科技大学）
该研究提出MuEx框架，通过PG-MoE架构和PV-Align机制，结合含12种语言的MTFD数据集，实现多语言语音驱动说话人脸合成，在MTFD全语言表现优异且可零样本泛化到未见语言。
2026-08-07 cs.CV
ASMNet: a Lightweight Deep Neural Network for Face Alignment and Pose Estimation
University of Denver（丹佛大学）
主动形状模型（ASM）是表示目标结构的对象形状的统计模型。ASM可以引导机器学习算法来拟合表示对象的一组点（例如，脸）到图像上。本文提出了一种轻量级的卷积神经网络（CNN）架构，损失函数辅助ASM的人脸对齐和估计头部姿态在野外。我们使用ASM首先引导网络学习面部标志点的更平滑分布。受迁移学习的启发，在训练过程中，我们逐渐强化回归问题，并引导网络学习原始标志点分布。我们在损失函数中定义了多个任务，这些任务负责检测面部标志点以及估计面部姿势。同时学习多个相关的任务可以建立协同效应，提高单个任务的性能。我们比较了我们提出的模型ASMNet与MobileNetV2（大约是ASMNet的2倍）在人脸对齐和姿态估计任务中的性能。在挑战性数据集上的实验结果表明，通过使用所提出的ASM辅助损失函数，ASMNet的性能与MobileNetV2在人脸对齐任务。此外，对于人脸姿态估计，ASMNet的性能远远优于MobileNetV2。ASMNet在面部标志点检测和姿态估计方面实现了可接受的性能，同时与许多基于CNN的模型相比，参数和浮点运算的数量明显较少。
2021-05-07 cs.CV cs.LG
XM-ALIGN: Unified Cross-Modal Embedding Alignment for Face-Voice Association
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Xinjiang Multimodal Information Technology Engineering Research Center（新疆多模态信息处理工程技术研究中心）；Urumqi Branch, China Mobile Group Xinjiang Co., Ltd（中国移动新疆乌鲁木齐分公司）；School of Intelligence Science and Technology, Xinjiang University（新疆大学智能科学与技术学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文提出XM-ALIGN框架，通过显式与隐式对齐机制提升跨模态验证性能，采用共享分类器联合优化人脸与语音嵌入，并通过数据增强提升泛化能力。
2025-12-07 cs.CV cs.SD
PAEFF: Precise Alignment and Enhanced Gated Feature Fusion for Face-Voice Association
University of TrentoItaly（特伦托大学）；Mohamed bin Zayed University of Artificial IntelligenceU.A.E.（穆罕默德·本·扎耶德人工智能大学）；Johannes Kepler UniversityAustria（约翰·凯撒大学）；IMT LuccaItaly（利卡大学）；Linz Institute of Technology, AI LabAustria（林茨技术研究所）
针对人脸与语音关联中负样本挖掘复杂及依赖距离间隔参数的问题，提出PAEFF方法，通过精确对齐嵌入空间并结合增强门控融合技术，有效提升了人脸-语音关联性能。
2025-05-28 cs.AI cs.CV
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research（印度科学教育与研究学院）
提出统一知识蒸馏框架，通过实例级嵌入蒸馏和关系成对相似性蒸馏，实现细粒度对齐与几何关系保持，在多基准上超越现有方法，学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
3D Dense Face Alignment via Graph Convolution Networks
Megvii Technology（旷视科技）；Tongji University（同济大学）
最近，三维人脸重建和人脸对齐任务逐渐合并为一个任务：三维密集人脸对齐。其目标是利用人脸的姿态信息重建人脸的三维几何结构。在本文中，我们提出了一个图卷积网络回归三维人脸坐标。我们的方法直接在3D人脸网格上进行特征学习，其中几何结构和细节得到了很好的保留。大量的实验表明，我们的方法在几个具有挑战性的数据集上获得了优于最先进方法的性能。
2019-04-11 cs.CV
Impact of Face Alignment on Face Image Quality
Istanbul Technical University（伊斯坦布尔理工大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）
本研究探究人脸对齐对人脸图像质量评估的影响，在LFW、IJB-B和SCFace数据集上使用MTCNN和RetinaFace进行检测对齐，并用SER-FIQ等方法评估，发现质量评估对对齐敏感且在现实条件下更显著。
2024-12-16 cs.CV
A survey and classification of face alignment methods based on face models
National Cheng Kung University（国立成功大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Pontificia Universidad Católica de Valparaíso（智利天主教大学瓦尔帕莱索校区）
该研究针对人脸对齐领域缺乏人脸模型相关综述的问题，面向三类读者全面分析不同人脸模型的解读、训练与拟合方法，明确3D模型和深度学习方法的适用场景，并展望未来方向。
2023-11-06 cs.CV
FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF
HKUST（香港科技大学）；Dartmouth College（达特茅斯学院）
本文提出FED-NeRF，一种基于动态人脸GAN-NeRF的新型人脸视频编辑架构，通过恢复潜在编码和3D人脸几何实现多视角一致性，并利用稳定器保持连续帧表情平滑变化以解决抖动问题，实现时间连贯性。
2024-01-05 cs.CV
Face Shape-Guided Deep Feature Alignment for Face Recognition Robust to Face Misalignment
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在过去的几十年里，人脸识别（FR）一直是计算机视觉和模式识别领域的研究热点。最近，由于深度学习的进步，FR技术对大多数基准数据集表现出高性能。然而，当FR算法被应用于现实世界的情况下，性能已经被称为仍然是不令人满意的。这主要是由于训练集和测试集之间的不匹配。在这些不匹配中，训练和测试人脸之间的人脸错位是阻碍成功FR的因素之一。为了解决这个限制，我们提出了一个人脸形状引导的深度特征对齐框架，用于对人脸错位具有鲁棒性的FR。基于面部形状先验（例如，面关键点），我们通过引入对准过程来训练所提出的深度网络，即，像素和特征对准，在对准好的和未对准的面部图像之间。通过像素对齐过程，解码从人脸图像和人脸形状先验提取的聚合特征，我们添加了辅助任务来重建对齐良好的人脸图像。由于聚合的特征通过特征对齐过程链接到面部特征提取网络作为指导，因此我们针对面部未对齐来训练鲁棒的面部特征。即使在训练阶段中需要面部形状估计，在测试阶段中也不一定需要通常并入常规FR流水线中的额外面部对准过程。通过对比实验，我们验证了该方法的有效性人脸错位与FR数据集。
2022-09-15 cs.CV
FoxNet: A Multi-face Alignment Method
Hunan Agriculture University（湖南农业大学）
多人脸对齐的目的是识别图像中多个人脸的几何结构，其性能对于人脸识别、人脸跟踪、人脸动画等实际任务至关重要。在这项工作中，我们提出了一种快速的自底向上的多人脸对齐方法，它可以同时定位多人的面部特征点，具有高精度。更详细地说，我们的自底向上的架构映射到高维空间中的所有人脸的特征点表示。通过对同一人脸的特征进行聚类，实现了多人人脸特征点的同步对齐，实验结果表明，该方法在多人脸特征点对齐任务中具有较高的性能，同时该模型的速度也非常快。此外，我们提出了一个新的多人脸数据集，比较自底向上的人脸对齐方法和自顶向下的方法的速度和精度。我们的数据集可在https://github.com/AISAResearch/FoxNet上公开获取
2019-05-15 cs.CV
Exploring Temporal Coherence for More General Video Face Forgery Detection
Xiamen University（厦门大学）；Microsoft Research Asia（微软亚洲研究院）
虽然目前的人脸操作技术在质量和可控性方面取得了令人印象深刻的性能，但它们正在努力生成时间连贯的人脸视频。在这项工作中，我们探索充分利用时间相干性的视频人脸伪造检测。为了实现这一点，我们提出了一个新的端到端的框架，其中包括两个主要阶段。第一级是全时间卷积网络（FTCN）。FTCN的关键见解是将空间卷积核大小减少到1，同时保持时间卷积核大小不变。我们惊讶地发现，这种特殊的设计，可以有利于模型提取的时间特征，以及提高泛化能力。第二阶段是一个时间Transformer网络，旨在探索长期的时间相干性。该框架具有通用性和灵活性，可以直接从头开始训练，无需任何预训练模型或外部数据集。大量的实验表明，我们的框架优于现有的方法，并保持有效的应用时，检测新类型的人脸伪造视频。
2021-08-15 cs.CV
Arbitrary Talking Face Generation via Attentional Audio-Visual Coherence Learning
Anhui University（安徽大学）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
说话人脸生成的目标是通过给定的语音片段和面部图像合成具有精确的嘴唇同步以及在整个视频上的面部运动的平滑过渡的面部视频。大多数现有的方法主要集中在解开在一个单一的图像信息或学习帧之间的时间信息。然而，音频和视频信息之间的跨模态相干性在合成过程中没有得到很好的解决。在本文中，我们提出了一种新的任意说话人脸生成框架，通过发现视听一致性，通过建议的非对称互信息估计（AMIE）。此外，我们提出了一个动态注意力（DA）块，通过选择性地聚焦输入图像的嘴唇区域在训练阶段，以进一步提高嘴唇同步。在基准LRW数据集和GRID数据集上的实验结果超越了流行度量的最先进方法，具有鲁棒的高分辨率合成性别和姿态变化。
2020-05-13 cs.CV
Deep Alignment Network: A convolutional neural network for robust face alignment
Warsaw University of Technology（华沙理工大学）
在本文中，我们提出了深度对齐网络（DAN），这是一种基于深度神经网络架构的鲁棒人脸对齐方法。DAN由多个阶段组成，其中每个阶段改进由前一阶段估计的面部标志的位置。我们的方法在所有阶段使用整个面部图像，与最近提出的依赖于局部补丁的面部对齐方法相反。这是可能的，这要归功于地标热图的使用，该热图提供了关于在算法的先前阶段估计的地标位置的视觉信息。使用整个面部图像而不是补丁允许DAN处理头部姿势变化大且初始化困难的面部图像。对两个公开数据集的广泛评估表明，DAN将最先进的故障率降低了70%。我们的方法也已提交评估的一部分，门波挑战。
2017-08-10 cs.CV
Balanced Alignment for Face Recognition: A Joint Learning Approach
Megvii Technology（旷视科技）；Fudan University（复旦大学）
人脸对齐是人脸识别的关键技术之一，已被广泛采用。然而，目前的做法过于简单，探索不足。缺乏对人脸对齐的重要性以及如何进行识别的理解。本文对这些问题进行了研究，并做出了两个贡献。首先，它提供了一个深入的和定量的研究对齐强度如何影响识别精度。我们的研究结果表明，过度对齐是有害的，需要一个最佳的平衡点对齐。为了达到平衡，我们的第二个贡献是一种新的联合学习方法，其中对齐学习在其强度方面是可控的，并由识别驱动。我们所提出的方法是通过综合实验几个基准，特别是具有挑战性的大姿势。
2020-03-23 cs.CV
FacePoseNet: Making a Case for Landmark-Free Face Alignment
Institute for Robotics and Intelligent Systems, USC（南加州大学机器人与智能系统研究所）；Information Sciences Institute, USC（南加州大学信息科学研究所）；The Open University of Israel（以色列开放大学）
我们展示了如何训练简单的卷积神经网络（CNN），以直接根据图像强度准确且鲁棒地回归6个自由度（6 DoF）3D头部姿势。我们进一步解释了这个FacePoseNet（FPN）如何用于在2D和3D中对齐面部，作为这些任务的显式面部地标检测的替代方案。我们声称，在许多情况下，测量地标检测器精度的标准方法在比较不同的人脸对齐时可能会产生误导。相反，我们通过评估它们如何影响IJB-A和IJB-B基准的人脸识别准确性来比较我们的FPN与现有方法：使用相同的识别管道，但改变人脸对齐方法。我们的研究结果表明，（a）在300 W基准测试中测量的更好的地标检测准确性并不一定意味着更好的人脸识别准确性。(b)我们的FPN在两个基准上都提供了出色的2D和3D人脸对齐。最后，（c），FPN以非常精确的地标检测器的一小部分计算成本对齐人脸。对于许多目的，FPN因此是比使用面部标志检测器快得多且准确得多的面部对准方法。
2017-08-31 cs.CV
Face Alignment In-the-Wild: A Survey
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术及产业化协同创新中心）
在过去的二十年里，人脸对齐或基准点定位由于其在自动人脸分析中的广泛应用而受到越来越多的关注。然而，这样的任务已被证明是非常具有挑战性的，在不受约束的环境中，由于许多混杂因素，如姿势，遮挡，表情和照明。虽然已经开发了许多技术来解决这些挑战，但这个问题仍然远远没有得到解决。在这项调查中，我们提出了一个最新的批判性审查现有的文献中的人脸对齐，重点是那些方法解决整体困难和挑战，这一主题在不受控制的条件下。具体来说，我们对现有的人脸对齐技术进行了分类，详细描述了每个类别中的主要算法，并讨论了它们的优点和缺点。此外，我们组织了专门的讨论，在野外的人脸对齐的实际方面，对一个强大的人脸对齐系统的发展。此外，我们展示了最先进的性能统计数据，并总结了本文未来研究的几个有前途的方向。
2016-08-15 cs.CV
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney（悉尼科技大学）
虽然卷积神经网络（CNN）显著提高了人脸相关算法的性能，但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能，这使得它对于移动应用不太实用，因为更多的参数和更高的计算复杂性。因此，我们提出了一个有效的多任务神经网络，对准跟踪和姿态网络（ATPN）的人脸对准，人脸跟踪和头部姿态估计。具体来说，为了用更少的层实现更好的性能，我们在浅层和深层特征之间引入了一个快捷连接。我们发现，浅层特征与人脸边界高度对应，可以提供人脸的结构信息，对人脸对齐至关重要。此外，我们根据人脸对齐结果生成一个廉价的热图，并将其与特征融合，以提高其他两个任务的性能。基于热图，网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程，这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN，WFLW，300 VW，WIDER Face和300 W-LP。实验结果表明，与其他光照模型相比，该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
Joint Face Alignment and 3D Face Reconstruction with Application to Face Recognition
Sichuan University（四川大学）；Michigan State University（密歇根州立大学）
人脸对齐和3D人脸重建传统上是作为单独的任务来完成的。通过探索2D地标和3D形状之间的强相关性，相比之下，我们提出了一个联合人脸对齐和3D人脸重建方法，同时解决这两个问题的任意姿态和表情的2D人脸图像。该方法基于3D人脸的求和模型和2D和3D形状空间中的级联回归，迭代地和交替地应用两个级联回归器，一个用于更新2D地标，另一个用于3D形状。3D形状和标志通过3D到2D映射矩阵进行关联，该映射矩阵在每次迭代中更新以细化2D标志的位置和可见性。与现有的方法不同，该方法可以完全自动生成姿态和表情归一化（PEN）和表达的3D人脸，并定位可见和不可见的2D地标。基于PEN 3D人脸，我们设计了一种方法，以提高人脸识别的准确率跨姿态和表情。线性和非线性实现所提出的方法，本文提出和评估。实验结果表明，该方法在人脸对齐和三维人脸重建方面均达到了最高的精度，重建出的PEN三维人脸有利于人脸识别。
2018-12-22 cs.CV
Face Alignment Assisted by Head Pose Estimation
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）；Harvard University（哈佛大学）
在本文中，我们提出了一个监督的初始化方案级联人脸对齐的基础上显式头部姿态估计。我们首先研究了大多数最先进的人脸对齐方法的失败案例，并观察到这些失败通常具有一个共同的全局属性，即头部姿态变化通常很大。受此启发，我们提出了一种深度卷积网络模型，用于可靠和准确的头部姿势估计。而不是使用一个平均的脸的形状，或随机选择的形状级联的脸对齐初始化，我们提出了两个方案，用于生成初始化：第一个依赖于预测的平均3D脸的形状（表示由3D面部地标）到2D图像估计的头部姿势;第二个搜索最近的邻居形状从训练集根据头部姿势距离。通过这样做，初始化更接近实际形状，这提高了收敛的可能性，进而提高了面部对齐性能。我们在基准300 W数据集上展示了所提出的方法，并在头部姿态估计和面部对齐方面表现出非常有竞争力的性能。
2015-07-18 cs.CV
Dual Attention MobDenseNet(DAMDNet) for Robust 3D Face Alignment
Jiangnan University（江南大学）；University of Surry（萨里大学）
单目图像的三维人脸配准是伪装人脸识别的关键过程，通过配准进行三维人脸重建可以恢复人脸结构，有助于检测伪装干扰。本文提出了一种双注意力机制和一种高效的端到端三维人脸配准框架，通过依赖可分离卷积建立稳定的网络模型，密集连接卷积和轻量级通道注意力机制。为了增强网络模型提取人脸区域空间特征的能力，采用空间分组特征增强模块提高网络的表示能力。联合应用不同的损失函数来约束3D可变形模型（3DMM）及其3D顶点的3D参数。我们使用多种数据增强方法，生成大的虚拟姿态人脸数据集，以解决数据不平衡的问题。在具有挑战性的AFLW、AFLW 2000 -3D数据集上的实验表明，该算法显著提高了3D人脸对齐的准确性。实验结果表明，DAMDNet在具有挑战性的伪装人脸的3D对齐和重建方面表现出了优异的性能，并且所提出的方法的模型参数和复杂度也显著降低。github.com/LeiJiangJNU/DAMDNet
2019-08-30 cs.CV
Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment
Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）
人脸动作单元（AU）检测和人脸对齐是两个高度相关的任务，因为面部界标可以提供精确的AU位置，以便于提取有意义的局部特征用于AU检测。现有的AU检测方法通常将人脸对齐作为一个预处理过程，独立处理这两个任务。在本文中，我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架，这是以前没有探索过的。特别地，首先学习多尺度共享特征，并将人脸对齐的高级特征输入AU检测。此外，为了提取精确的局部特征，我们提出了一个自适应注意力学习模块，以自适应地细化每个AU的注意力图。最后，组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。在BP4D和DISFA基准测试上的实验表明，我们的框架显着优于最先进的AU检测方法。
2018-07-24 cs.CV
Dense Face Alignment
Michigan State University（密歇根州立大学）；Monta Vista High School（蒙塔维斯塔高中）
人脸配准是计算机视觉领域的经典问题。以前的工作主要集中在稀疏对齐与有限数量的面部标志点，即，面部标志点检测在本文中，第一次，我们的目标是提供一个非常密集的3D对齐大姿态的人脸图像。为了实现这一点，我们训练了一个CNN来估计3D人脸形状，它不仅对齐有限的面部标志，而且还适合面部轮廓和SIFT特征点。此外，我们还解决了使用多个数据集训练CNN的瓶颈，因为不同数据集上的地标标记不同，例如5，34，68。实验结果表明，我们的方法不仅提供了高质量，密集的3D人脸拟合，但也优于国家的最先进的面部标志检测方法的挑战性数据集。我们的模型可以在测试过程中实时的运行。
2017-09-05 cs.CV
Face Alignment by Local Deep Descriptor Regression
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）
我们提出了一种使用深度卷积神经网络（CNN）提取关键点描述符的算法。与许多现有的深度CNN不同，我们的模型计算图像中给定点周围的局部特征。我们还提出了一个基于回归的人脸对齐算法，使用这些局部描述符。所提出的方法称为局部深度描述符回归（LDDR）能够定位不同大小，姿态和遮挡的面部标志，具有高精度。本文提出的深度描述符能够唯一有效地描述图像中的每个像素，因此有可能取代传统的描述符，如SIFT和HOG。对五个公开的无约束人脸对齐数据集的广泛评估表明，我们的深度描述符网络能够捕获给定地标周围的强大局部特征，并且比许多竞争对手和最先进的人脸对齐算法表现得更好。
2016-01-29 cs.CV
Pose-Invariant 3D Face Alignment
Michigan State University（密歇根州立大学）
面部对齐的目的是估计给定图像的一组地标的位置。这个问题已经得到了很大的关注，证明了最近的进步，在方法和性能。然而，大多数现有的工作既没有明确地处理人脸图像与任意姿态，也没有进行大规模的实验上的非正面和侧面的人脸图像。为了解决这些局限性，本文提出了一种新的人脸对齐算法，估计二维和三维地标和他们的2D vibrium的人脸图像与任意姿态。通过整合一个三维可变形模型，级联耦合回归方法被设计来估计摄像机投影矩阵和三维地标。此外，3D模型还允许我们通过表面法线自动估计2D地标vibration。我们收集了大量的全姿态人脸图像来评估我们的算法，并展示了比最先进的方法更优越的性能。
2015-06-11 cs.CV
DeCaFA: Deep Convolutional Cascade for Face Alignment In The Wild
Sorbonne Université（索邦大学）；Datakalab；ISIR, Sorbonne Université（索邦大学智能与机器人系统研究所）
人脸对齐是一个活跃的计算机视觉领域，它包括定位许多在数据集上变化的人脸标志。最先进的面部对齐方法包括端到端回归，或者从初始猜测开始以级联方式细化形状。在本文中，我们介绍了DeCaFA，这是一种用于人脸对齐的端到端深度卷积级联架构。DeCaFA使用全卷积级来保持整个级联的完整空间分辨率。在每个级联阶段之间，DeCaFA使用具有空间softmax的多个链式传输层来为多个地标对齐任务中的每一个生成地标式注意力图。加权中间监督以及阶段之间的有效特征融合允许学习以端到端的方式逐步细化注意力地图。我们的实验表明，DeCaFA显着优于现有的方法在300W，CelebA和WFLW数据库。此外，我们还证明了DeCaFA可以使用粗略注释的数据从非常少的图像中以合理的精度学习精细对齐。
2019-04-04 cs.CV
3D Dense Face Alignment with Fused Features by Aggregating CNNs and GCNs
University of Liverpool（利物浦大学）；Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；China Science IntelliCloud Technology Co., Ltd.（中国科学智能云科技有限公司）；Remark AI UK Limited（Remark AI英国有限公司）
在本文中，我们提出了一种新的多级聚合网络，以端到端的方式从单个2D图像中回归3D人脸的顶点坐标。这是通过将标准卷积神经网络（CNN）与图卷积网络（GCN）无缝结合来实现的。通过迭代和分层融合CNN和GCN的不同层和阶段的特征，我们的方法可以同时提供密集的人脸对齐和3D人脸重建，以利于3D人脸网格的直接特征学习。在几个具有挑战性的数据集上的实验表明，我们的方法在2D和3D人脸对齐任务上的性能优于最先进的方法。
2022-03-09 cs.CV
Face Alignment Across Large Poses: A 3D Solution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Michigan State University（密歇根州立大学）
人脸对齐是将人脸模型与图像进行匹配，并提取人脸像素的语义信息的一个重要研究课题。然而，大多数算法都是针对小到中等姿态（低于45度）的人脸设计的，缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面：首先，通常使用的基于地标的人脸模型假设所有地标都是可见的，因此不适合轮廓视图。其次，面部外观在大的姿势中变化更大，从正面视图到侧面视图。第三，标记大姿势中的地标是非常具有挑战性的，因为不可见的地标必须被猜测。在本文中，我们提出了一个新的对齐框架，称为3D密集人脸对齐（3DDFA），其中一个密集的3D人脸模型拟合图像通过卷积神经网络（CNN）中的三个问题的解决方案。我们还提出了一种方法来合成大规模的训练样本的轮廓视图，以解决第三个问题的数据标记。在具有挑战性的AFLW数据库上的实验表明，我们的方法比最先进的方法有了显着的改进。
2015-11-23 cs.CV
Robust Face Alignment Using a Mixture of Invariant Experts
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；Intel Corporation（英特尔公司）
人脸对齐是在人脸图像中找到一组人脸标志点的位置的任务，在广泛的应用领域中是有用的。当姿态（平面内和平面外旋转）和面部表情存在较大变化时，面部对齐尤其具有挑战性。为了解决这个问题，我们提出了一个级联，其中每个阶段由回归专家的混合物。每个专家学习一个定制的回归模型，该模型专用于姿势和表情的联合空间的不同子集。该系统对于预定义的变换类是不变的（例如，仿射），因为在应用回归之前，输入被变换以匹配每个专家的原型形状。我们还提出了一种方法，包括变形的歧视性对齐框架内的约束，这使得我们的算法更强大。我们的算法显着优于以前的方法公开可用的人脸对齐数据集。
2016-10-23 cs.CV
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
由于各种姿态、光照和遮挡的存在，无约束环境中的人脸检测和对齐具有挑战性。最近的研究表明，深度学习方法可以在这两项任务上取得令人印象深刻的性能。在本文中，我们提出了一个深度级联的多任务框架，利用它们之间的内在相关性，以提高它们的性能。特别是，我们的框架采用了一种级联结构，具有三个精心设计的深度卷积网络阶段，以粗到细的方式预测人脸和地标位置。此外，在学习过程中，我们提出了一种新的在线硬样本挖掘策略，可以自动提高性能，而无需手动样本选择。我们的方法在具有挑战性的FDDB和WIDER FACE人脸检测基准和AFLW人脸对齐基准上实现了优于最先进技术的准确性，同时保持实时的性能。
2016-04-11 cs.CV
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver（丹佛大学）
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度，但这仍然是一项具有挑战性的任务，特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归（Heatmap-based Regression，HBR）和基于坐标的回归（Coordinate-based Regression，CBR）是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存，但其性能低于HBR方法。在本文中，我们提出了一个自适应的基于坐标的回归（ACR）损失，以提高人脸对齐的CBR的准确性。受主动形状模型（ASM）的启发，我们生成平滑面部对象，这是一组与地面真实地标点相比变化较少的面部地标点。然后，我们介绍了一种方法，通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此，ACR损失引导网络朝向挑战点而不是更容易的点，这提高了面部对准任务的准确性。我们的广泛的评估表明，建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
Deep Regression for Face Alignment
Microsoft Research（微软研究院）
在本文中，我们提出了一种深度回归方法的人脸对齐。深层体系结构由全局层和多级局部层组成。我们应用反向传播算法与dropout策略，共同优化回归参数。我们发现，由此产生的深回归逐步和均匀的方法，真正的面部标志逐步阶段，避免了倾向于产生过强的早期阶段回归，而过于薄弱的后期回归。实验结果表明，该方法达到了最先进的水平
2014-09-18 cs.CV
Efficient Face Alignment via Locality-constrained Representation for Robust Recognition
South China University of Technology（华南理工大学）；Peking University（北京大学）；Shenzhen University（深圳大学）；Chinese Academy of Sciences（中国科学院）
在过去的几十年里，人们一直在研究实用的人脸识别，但仍然是一个开放的挑战。目前流行的方法已经在识别精度方面取得了实质性的突破。然而，如果人脸样本严重错位，它们的性能通常会急剧下降。为了解决这个问题，我们提出了一个高效的误识鲁棒局部约束表示（MRLR）算法，用于实际的实时人脸识别。具体地说，局部约束，激活最相关的原子和抑制不相关的，被应用于构建字典的人脸对齐。然后，我们同时对齐扭曲的脸，并更新局部约束字典，最终获得最终的对齐。此外，我们利用块结构来加速导出的解析解。在公共数据集上的实验结果表明，MRLR在效率和可扩展性方面明显优于几种最先进的方法，具有更好的性能。
2015-10-31 cs.CV
Face Alignment Using K-Cluster Regression Forests With Weighted Splitting
Warsaw University of Technology（华沙理工大学）
在这项工作中，我们提出了一个基于两种新方法的人脸对齐管道：加权分裂的K-聚类回归森林和三维仿射姿态回归人脸形状初始化。我们的人脸对齐方法是基于局部二值特征框架，其中不是原始方法中使用的标准回归森林和像素差异特征，而是使用我们的加权分裂K聚类回归森林（KRFWS）和金字塔HOG特征。我们还使用KRFWS执行仿射姿态回归（APR）和3D-Affine姿态回归（3D-APR），旨在改善人脸形状的初始化。APR将刚性2D变换应用于初始面部形状，以补偿初始面部位置、大小和平面内旋转的不准确性。3D-APR估计另外补偿平面外旋转的3D变换的参数。由此产生的管道，包括APR和3D-APR，然后是面部对齐，在具有挑战性的IBUG数据集上显示出比标准LBF提高了20%，并且在整个300-W数据集上显示出最先进的准确性。
2017-06-06 cs.CV
img2pose: Face Alignment and Detection via 6DoF, Face Pose Estimation
University of Notre Dame（圣母大学）；Facebook AI（脸书人工智能研究院）
我们提出了实时的，六个自由度（6DoF），三维人脸姿态估计没有人脸检测或地标定位。我们观察到，估计面部的6DoF刚性变换是一个比面部地标检测更简单的问题，通常用于3D面部对齐。此外，6自由度提供了比面限界框标签更多的信息。我们利用这些观察结果做出多方面的贡献：（a）我们描述了一个易于训练，高效，基于Faster R-CNN的模型，该模型可以为照片中的所有人脸回归6DoF姿势，而无需进行初步的人脸检测。(b)我们解释了如何转换姿势，并在训练和评估模型时在输入照片和创建的任意作物之间保持一致。(c)最后，我们展示了人脸姿势如何取代检测限界框训练标签。AFLW 2000 -3D和BIWI上的测试表明，我们的方法运行在实时性和优于最先进的（SotA）的人脸姿态估计。值得注意的是，我们的方法也超过了SotA模型的类似复杂性的更广泛的人脸检测基准，尽管没有优化的限界框标签。
2021-05-18 cs.CV
J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）；Monash University（莫纳什大学）；East China Normal University（华东师范大学）
面部动作单元（AU）检测和面部对齐是两个高度相关的任务，因为面部界标可以提供精确的AU位置，以便于提取有意义的局部特征用于AU检测。然而，大多数现有的AU检测工作通过将人脸对齐作为预处理来独立地处理这两个任务，并且通常使用地标来标记每个AU的固定区域或注意力。在本文中，我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架，这是以前没有探索过的。特别地，首先学习多尺度共享特征，并将人脸对齐的高层特征输入AU检测。此外，为了提取精确的局部特征，我们提出了一个自适应注意力学习模块，以自适应地细化每个AU的注意力图。最后，组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。大量的实验表明，我们的框架（i）在具有挑战性的BP 4D，DISFA，GFT和BP 4D+基准测试中显着优于最先进的AU检测方法，（ii）可以自适应地捕获每个AU的不规则区域，（iii）在人脸对齐方面实现了有竞争力的性能，（iv）在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可以在https://github.com/ZhiwenShao/PyTorch-JAANet上找到。
2020-09-24 cs.CV
Face Alignment Using Active Shape Model And Support Vector Machine
University of Science（理科大学）
主动形状模型（ASM）是最流行的局部纹理模型的人脸对齐。它应用于许多领域，如定位图像中的人脸特征，人脸合成等，但是，实验结果表明，经典的ASM的准确性对于某些应用程序不高。本文提出了一些改进的经典ASM，以提高模型的性能在应用中：人脸对齐。本文的主要改进包括：（1）建立Sobel滤波器与二维轮廓相结合的人脸图像搜索模型;（2）应用Canny算法增强图像边缘;（3）利用支持向量机（SVM）对人脸特征点进行分类，以确定支持ASM的特征点的准确位置; iv）基于输入图像的尺寸自动调整多级模型中的2-D轮廓。在加州理工学院人脸数据库和丹麦技术大学人脸数据库（imm_face）上的实验结果表明，本文提出的改进方法具有更好的性能。
2012-09-27 cs.CV
Occlusion Coherence: Detecting and Localizing Occluded Faces
University of California at Irvine（加州大学尔湾分校）
遮挡物的存在显著影响对象识别的准确性。然而，遮挡通常被视为非结构化的噪声源，并且遮挡物的显式模型已经落后于对象外观和形状的模型。在本文中，我们描述了一个层次的可变形部分模型的人脸检测和地标定位，明确模型的一部分遮挡。所提出的模型结构使得有可能用大量的合成遮挡实例来增强正训练数据。这使我们能够轻松地将遮挡模式的统计数据纳入到有区别的训练模型中。我们在几个基准上测试了该模型，用于地标定位和检测，包括具有显著遮挡特征的具有挑战性的新数据集。我们发现，除了一个明确的遮挡模型产生一个检测系统，优于现有的方法，遮挡的情况下，同时保持竞争力的准确性检测和地标定位未遮挡的情况下。
2016-08-25 cs.CV
LDDMM-Face: Large Deformation Diffeomorphic Metric Learning for Flexible and Consistent Face Alignment
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；The University of Queensland（昆士兰大学）
我们创新性地提出了一个灵活和一致的人脸对齐框架，LDDMM-Face，其主要贡献是一个变形层，自然地嵌入人脸几何形状在一个同构的方式。而不是通过热图或坐标回归预测面部标志，我们制定了这个任务，在一个同构注册的方式和预测动量，唯一参数化的初始边界和真实边界之间的变形，然后执行大变形同构度量映射（LDDMM）的曲线和地标同时本地化的面部标志。由于LDDMM嵌入到深度网络中，LDDMM-Face可以一致地注释面部标志而不会产生歧义，并灵活地处理各种注释方案，甚至可以从稀疏注释中预测密集注释。我们的方法可以很容易地集成到各种人脸对齐网络中。我们在四个基准数据集上广泛评估了LDDMM-Face：300 W，WFLW，HELEN和COFW-68。LDDMM-Face与传统的数据集内和相同注释设置的最先进方法相当或更好，但在处理弱监督学习（部分到完全），具有挑战性的情况（例如，被遮挡的面部）以及不同的训练和预测数据集。此外，LDDMM-Face在最具挑战性的跨数据集预测任务上显示出了有希望的结果。
2021-08-02 cs.CV
Pixel-Level Alignment of Facial Images for High Accuracy Recognition Using Ensemble of Patches
Sharif University of Technology（谢里夫理工大学）
人脸的姿态、光照和表情的变化使得人脸识别仍然是一个具有挑战性的问题。作为整体方法中的预处理，人脸通常由眼睛对齐。所提出的方法试图执行像素对齐，而不是眼睛对齐，通过映射到一个参考面的面的几何形状，同时保持自己的纹理。所提出的几何对齐不仅在所有人脸的每个像素之间创建有意义的对应关系，而且有效地消除了表情和姿态变化。几何对齐是逐像素执行的，即，人脸的每个像素对应于参考人脸的一个像素。该方法将人脸的灰度信息和几何信息适当分离，分别用不同的分类器进行训练，最后融合在一起进行人脸识别。实验结果表明，使用该方法相比，眼睛对齐的识别有很大的改善。例如，在错误接受率为0.001时，Yale和AT&T数据集的识别率分别提高了24%和33%。在LFW数据集中，这是一个具有挑战性的大数据集，在FAR为0.1时，改进为20%。
2018-02-07 cs.CV
Tree-gated Deep Regressor Ensemble For Face Alignment In The Wild
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Datakalab
面部对齐包括在图像中的面部上对齐形状模型。它是计算机视觉中的一个活跃领域，因为它是面部表情识别、面部识别和跟踪、面部动画等应用的预处理。当前最先进的方法已经在“简单”数据集上表现良好，即那些在头部姿势、表情、照明或部分遮挡方面存在适度变化的数据集，但对“野外”数据可能不鲁棒。在本文中，我们解决这个问题，使用一个合奏的深度回归，而不是一个单一的大型回归。此外，而不是平均每个回归的输出，我们提出了一个自适应加权方案，使用树结构的门。在几个具有挑战性的人脸数据集上的实验表明，我们的方法优于最先进的方法。
2019-07-10 cs.CV
Face Alignment Robust to Pose, Expressions and Occlusions
Michigan State University（密歇根州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个强大的约束局部模型的包围对齐的脸在存在显着的闭塞和任何未知的姿势和表达。为了解释部分遮挡，我们引入了鲁棒约束局部模型，该模型包括可变形形状和局部地标外观模型以及二进制遮挡标签的原因。我们的遮挡推理过程中的假设和测试搜索遮挡标签。假设产生的约束局部模型基于形状拟合随机采样的子集的地标检测器的响应，并进行评估的面部对齐的质量。为了跨越整个范围内的面部姿态和表情的变化，我们采用了一个独立的鲁棒约束局部模型的合奏搜索的姿态和表情的离散化表示。我们对大量的人脸图像进行了广泛的评价，包括遮挡和未遮挡的。我们发现，我们的人脸对齐系统完全在“实验室”捕获的面部图像上训练，表现出高度的泛化能力。我们的结果是准确和稳定的广泛的闭塞，姿态和表情的变化，从而在许多现实世界的人脸数据集上表现出色。
2017-07-19 cs.CV
Face Alignment in Full Pose Range: A 3D Total Solution
Center for Biometrics and Security Research & National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所生物识别与安全技术研究中心&模式识别国家重点实验室）；Michigan State University（密歇根州立大学）
人脸配准是将人脸模型与图像进行匹配，并提取人脸像素的语义信息，是计算机视觉领域的一个重要研究课题。然而，大多数算法都是针对小到中等姿态（偏航角小于45度）的人脸设计的，这缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面。首先，常用的地标人脸模型假设所有地标都是可见的，因此不适合大姿态。其次，从正面到侧面，大姿势的面部外观变化更大。第三，标记大姿势中的地标是非常具有挑战性的，因为不可见的地标必须被猜测。在本文中，我们提出了一个新的对齐框架，称为3D密集人脸对齐（3DDFA），其中一个密集的3D变形模型（3DMM）通过级联卷积神经网络适合图像来解决这三个挑战。我们还利用三维信息合成人脸图像的侧面视图，提供丰富的样本训练。在具有挑战性的AFLW数据库上的实验表明，所提出的方法实现了显着的改进，国家的最先进的方法。
2018-04-02 cs.CV
