Impact of Face Alignment on Face Image Quality
Istanbul Technical University（伊斯坦布尔理工大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）
本研究探究人脸对齐对人脸图像质量评估的影响，在LFW、IJB-B和SCFace数据集上使用MTCNN和RetinaFace进行检测对齐，并用SER-FIQ等方法评估，发现质量评估对对齐敏感且在现实条件下更显著。
2024-12-16 cs.CV
Face Shape-Guided Deep Feature Alignment for Face Recognition Robust to Face Misalignment
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在过去的几十年里，人脸识别（FR）一直是计算机视觉和模式识别领域的研究热点。最近，由于深度学习的进步，FR技术对大多数基准数据集表现出高性能。然而，当FR算法被应用于现实世界的情况下，性能已经被称为仍然是不令人满意的。这主要是由于训练集和测试集之间的不匹配。在这些不匹配中，训练和测试人脸之间的人脸错位是阻碍成功FR的因素之一。为了解决这个限制，我们提出了一个人脸形状引导的深度特征对齐框架，用于对人脸错位具有鲁棒性的FR。基于面部形状先验（例如，面关键点），我们通过引入对准过程来训练所提出的深度网络，即，像素和特征对准，在对准好的和未对准的面部图像之间。通过像素对齐过程，解码从人脸图像和人脸形状先验提取的聚合特征，我们添加了辅助任务来重建对齐良好的人脸图像。由于聚合的特征通过特征对齐过程链接到面部特征提取网络作为指导，因此我们针对面部未对齐来训练鲁棒的面部特征。即使在训练阶段中需要面部形状估计，在测试阶段中也不一定需要通常并入常规FR流水线中的额外面部对准过程。通过对比实验，我们验证了该方法的有效性人脸错位与FR数据集。
2022-09-15 cs.CV
FoxNet: A Multi-face Alignment Method
Hunan Agriculture University（湖南农业大学）
多人脸对齐的目的是识别图像中多个人脸的几何结构，其性能对于人脸识别、人脸跟踪、人脸动画等实际任务至关重要。在这项工作中，我们提出了一种快速的自底向上的多人脸对齐方法，它可以同时定位多人的面部特征点，具有高精度。更详细地说，我们的自底向上的架构映射到高维空间中的所有人脸的特征点表示。通过对同一人脸的特征进行聚类，实现了多人人脸特征点的同步对齐，实验结果表明，该方法在多人脸特征点对齐任务中具有较高的性能，同时该模型的速度也非常快。此外，我们提出了一个新的多人脸数据集，比较自底向上的人脸对齐方法和自顶向下的方法的速度和精度。我们的数据集可在https://github.com/AISAResearch/FoxNet上公开获取
2019-05-15 cs.CV
Balanced Alignment for Face Recognition: A Joint Learning Approach
Megvii Technology（旷视科技）；Fudan University（复旦大学）
人脸对齐是人脸识别的关键技术之一，已被广泛采用。然而，目前的做法过于简单，探索不足。缺乏对人脸对齐的重要性以及如何进行识别的理解。本文对这些问题进行了研究，并做出了两个贡献。首先，它提供了一个深入的和定量的研究对齐强度如何影响识别精度。我们的研究结果表明，过度对齐是有害的，需要一个最佳的平衡点对齐。为了达到平衡，我们的第二个贡献是一种新的联合学习方法，其中对齐学习在其强度方面是可控的，并由识别驱动。我们所提出的方法是通过综合实验几个基准，特别是具有挑战性的大姿势。
2020-03-23 cs.CV
FacePoseNet: Making a Case for Landmark-Free Face Alignment
Institute for Robotics and Intelligent Systems, USC（南加州大学机器人与智能系统研究所）；Information Sciences Institute, USC（南加州大学信息科学研究所）；The Open University of Israel（以色列开放大学）
我们展示了如何训练简单的卷积神经网络（CNN），以直接根据图像强度准确且鲁棒地回归6个自由度（6 DoF）3D头部姿势。我们进一步解释了这个FacePoseNet（FPN）如何用于在2D和3D中对齐面部，作为这些任务的显式面部地标检测的替代方案。我们声称，在许多情况下，测量地标检测器精度的标准方法在比较不同的人脸对齐时可能会产生误导。相反，我们通过评估它们如何影响IJB-A和IJB-B基准的人脸识别准确性来比较我们的FPN与现有方法：使用相同的识别管道，但改变人脸对齐方法。我们的研究结果表明，（a）在300 W基准测试中测量的更好的地标检测准确性并不一定意味着更好的人脸识别准确性。(b)我们的FPN在两个基准上都提供了出色的2D和3D人脸对齐。最后，（c），FPN以非常精确的地标检测器的一小部分计算成本对齐人脸。对于许多目的，FPN因此是比使用面部标志检测器快得多且准确得多的面部对准方法。
2017-08-31 cs.CV
Joint Face Alignment and 3D Face Reconstruction with Application to Face Recognition
Sichuan University（四川大学）；Michigan State University（密歇根州立大学）
人脸对齐和3D人脸重建传统上是作为单独的任务来完成的。通过探索2D地标和3D形状之间的强相关性，相比之下，我们提出了一个联合人脸对齐和3D人脸重建方法，同时解决这两个问题的任意姿态和表情的2D人脸图像。该方法基于3D人脸的求和模型和2D和3D形状空间中的级联回归，迭代地和交替地应用两个级联回归器，一个用于更新2D地标，另一个用于3D形状。3D形状和标志通过3D到2D映射矩阵进行关联，该映射矩阵在每次迭代中更新以细化2D标志的位置和可见性。与现有的方法不同，该方法可以完全自动生成姿态和表情归一化（PEN）和表达的3D人脸，并定位可见和不可见的2D地标。基于PEN 3D人脸，我们设计了一种方法，以提高人脸识别的准确率跨姿态和表情。线性和非线性实现所提出的方法，本文提出和评估。实验结果表明，该方法在人脸对齐和三维人脸重建方面均达到了最高的精度，重建出的PEN三维人脸有利于人脸识别。
2018-12-22 cs.CV
Pixel-Level Alignment of Facial Images for High Accuracy Recognition Using Ensemble of Patches
Sharif University of Technology（谢里夫理工大学）
人脸的姿态、光照和表情的变化使得人脸识别仍然是一个具有挑战性的问题。作为整体方法中的预处理，人脸通常由眼睛对齐。所提出的方法试图执行像素对齐，而不是眼睛对齐，通过映射到一个参考面的面的几何形状，同时保持自己的纹理。所提出的几何对齐不仅在所有人脸的每个像素之间创建有意义的对应关系，而且有效地消除了表情和姿态变化。几何对齐是逐像素执行的，即，人脸的每个像素对应于参考人脸的一个像素。该方法将人脸的灰度信息和几何信息适当分离，分别用不同的分类器进行训练，最后融合在一起进行人脸识别。实验结果表明，使用该方法相比，眼睛对齐的识别有很大的改善。例如，在错误接受率为0.001时，Yale和AT&T数据集的识别率分别提高了24%和33%。在LFW数据集中，这是一个具有挑战性的大数据集，在FAR为0.1时，改进为20%。
2018-02-07 cs.CV
Tree-gated Deep Regressor Ensemble For Face Alignment In The Wild
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Datakalab
面部对齐包括在图像中的面部上对齐形状模型。它是计算机视觉中的一个活跃领域，因为它是面部表情识别、面部识别和跟踪、面部动画等应用的预处理。当前最先进的方法已经在“简单”数据集上表现良好，即那些在头部姿势、表情、照明或部分遮挡方面存在适度变化的数据集，但对“野外”数据可能不鲁棒。在本文中，我们解决这个问题，使用一个合奏的深度回归，而不是一个单一的大型回归。此外，而不是平均每个回归的输出，我们提出了一个自适应加权方案，使用树结构的门。在几个具有挑战性的人脸数据集上的实验表明，我们的方法优于最先进的方法。
2019-07-10 cs.CV
Towards End-to-End Face Recognition through Alignment Learning
Tsinghua University（清华大学）
在过去的十年中，人们提出了许多有效的人脸识别方法。虽然这些方法在许多方面有本质的不同，但它们的共同做法是在特征提取之前基于人脸结构的先验知识来具体地对准面部区域。在大多数系统中，人脸对齐模块是独立实现的。这实际上给端到端人脸识别模型的设计和训练带来了困难。在本文中，我们研究了端到端人脸识别中对齐学习的可能性，其中既不需要面部标志的先验知识，也不需要人工定义的几何变换。具体地，空间Transformer层被插入到卷积神经网络（CNN）中的特征提取层之前以用于面部识别。只有人类身份线索用于驱动神经网络自动学习最合适的几何变换和最合适的面部区域的识别任务。为了确保可重复性，我们的模型完全在公开可用的CASIA-WebFace数据集上进行训练，并在Labeled Face in the Wild（LFW）数据集上进行测试。我们已经实现了99.08%的验证准确度，这是最先进的基于单一模型的方法相媲美。
2017-01-25 cs.CV
Face frontalization for Alignment and Recognition
Imperial College London（帝国理工学院）；University of Twente（特文特大学）
最近，它被证明可以在人脸地标定位和姿态不变的人脸识别取得优异的成绩。这些突破归功于社区在许多不同姿势下手动注释面部图像和收集3D面部数据的努力。在本文中，我们提出了一种新的方法，联合人脸地标定位和正面人脸重建（姿态校正），只使用一小部分正面图像。通过观察，正面的面部图像是一个最小的排名从所有不同的姿势，我们制定了一个适当的模型，能够共同恢复面部地标，以及frontalized版本的脸。为此，解决了一个合适的优化问题，涉及核范数和矩阵$\ell_1$范数的最小化。通过在$6$人脸图像数据库上进行实验，对所提出的方法在正面人脸重建（姿态校正）、人脸标志点定位和姿态不变人脸识别与验证方面进行了评估。实验结果证明了该方法的有效性。
2015-02-03 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace；Imperial College London（帝国理工学院）
在野外拍摄的图像中，面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络（DCNN），如堆叠U网和沙漏网络。在这项工作中，我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块，在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失，我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后，我们表明，准确的三维人脸对齐可以帮助姿态不变的人脸识别，我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
Can a biologically-plausible hierarchy effectively replace face detection, alignment, and recognition pipelines?
MIT（麻省理工学院）；McGovern Institute for Brain Research（麦戈文脑科学研究所）
在自然照片中进行无约束人脸识别的标准方法是通过检测、对齐和识别管道。虽然这种方法取得了令人印象深刻的结果，但有几个原因令人不满意，其中之一是缺乏生物相容性。最近的一个前馈分层网络（如HMAX，其他卷积网络，或可能的腹侧流）的不变识别理论意味着无约束人脸识别的另一种方法。这种方法通过存储训练图像的变换（称为模板）来隐式地完成检测和对齐，而不是在测试时显式地检测和对齐人脸。在这里，我们提出了一个特定的位置敏感的哈希为基础的投票计划，我们称之为“共识的冲突”，并表明它可以用来近似的理论所隐含的完整的3层层次结构。所得到的用于无约束人脸识别的端到端系统对在自然条件下拍摄的人脸照片进行操作，例如，标签的脸在野外（LFW），没有对齐或裁剪他们，因为通常这样做。它在端到端任务上实现了最先进的技术水平的大幅改进，达到了与在对齐的、紧密裁剪的图像（没有外部训练数据）上运行的最佳系统相同的性能水平。它在两个较新的数据集上也表现良好，类似于LFW，但更困难：LFW-jittered（新的）和SUFR-W。
2014-03-26 cs.CV
Real-time Memory Efficient Large-pose Face Alignment via Deep Evolutionary Network
Northeastern University（东北大学）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Southeast University（东南大学）
由于最近人脸识别应用的爆炸式增长，迫切需要以存储高效和实时的【形】的方式应用人脸对齐。然而，影响因素，如大的姿态变化和计算效率低下，仍然阻碍其广泛的实施。为此，我们提出了一个计算效率高的深度进化模型与3D扩散堆映射（DHM）集成。首先，我们引入了一个稀疏的三维DHM，以协助在极端的姿势条件下的初始建模过程。然后，提取一个简单有效的CNN特征，并将其输入递归神经网络（RNN）进行进化学习。为了加速模型，我们提出了一个有效的网络结构，通过因子分解策略来加速进化学习过程。在三个流行的比对数据库上进行的大量实验表明，所提出的模型优于现有技术，特别是在大姿态条件下。值得注意的是，我们模型的计算速度比CPU上的最新技术快6倍，比GPU上的最新技术快14倍。我们还讨论和分析了我们的模型和未来的研究工作的局限性。
2019-11-01 cs.CV
Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression
Megvii Inc.（旷视科技有限公司）
人脸标志点定位在人脸识别和分析应用中具有重要的作用。在本文中，我们简要介绍了一个由粗到细的流水线与神经网络和序列回归。首先，将全局卷积网络应用于整体面部图像以给出初始地标预测。然后裁剪多尺度局部图像块的金字塔，以馈送到每个地标的新网络，以改进预测。由于细化网络输出比输入更准确的位置估计，因此可以重复这种过程若干次，直到估计收敛。我们在300-W数据集上评估了我们的系统[11]，它的性能优于最近的最新技术。
2015-11-16 cs.CV
Robust Face Recognition with Structural Binary Gradient Patterns
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The University of Manchester（曼彻斯特大学）
本文提出了一个计算效率高，但功能强大的二进制框架，鲁棒的人脸表示的基础上图像梯度。这种模式被称为结构二元梯度模式（SBGP）。为了发现梯度域中的潜在局部结构，我们从多个方向计算图像梯度，并将其简化为一组二进制字符串。SBGP是从某些类型的这些二进制字符串，有意义的本地结构，并能够类似的基本纹理信息。它们检测微取向边缘，并具有很强的方向性和局部性能力，从而实现很大的歧视。SBGP还受益于梯度域的优点，并对光照变化表现出深刻的鲁棒性。该算法通过小邻域内的像素相关性实现二值化，大大简化了计算复杂性，在Matlab中对一幅典型人脸图像的处理时间仅为0.0032 s，实现了非常高效的处理。此外，SBGP的辨别能力可以在一组定义的取向图像梯度幅度上增强，进一步加强局部性和取向。在各种基准数据库上进行的大量实验结果表明，基于SBGP的表示在歧视性、鲁棒性和复杂性方面比现有的最先进的局部描述符有显著的改进。SBGP方法的代码将在http://www.eee.manchester.ac.uk/research/groups/sisp/software/上提供。
2015-06-01 cs.CV
ARoFace: Alignment Robustness to Improve Low-Quality Face Recognition
West Virginia University（西弗吉尼亚大学）
针对低质量人脸识别中模型对对齐误差敏感的问题，提出将人脸对齐误差作为FR特定质量因素，通过可微空间变换与对抗性数据增强提升模型鲁棒性，在多个基准上显著提升性能。
2024-07-20 cs.CV
Searching for Alignment in Face Recognition
AIBEE（爱笔（北京）科技有限公司）；Northwestern Polytechnical University（西北工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Mininglamp Technology（明略科技集团）
当前人脸识别框架的标准流程包括四个单独的步骤：使用粗略的限界框和几个基准地标定位人脸，使用预定义的模板对齐人脸图像，提取表示并进行比较。其中，人脸检测、地标检测和表示学习是人们长期以来研究的问题，并提出了大量的工作。作为一个重要的步骤，识别性能的显着影响，对齐步骤吸引了很少的关注。在本文中，我们首先探讨和突出不同的对齐模板对人脸识别的影响。然后，第一次，我们尝试自动搜索最佳模板。通过将模板搜索分解为裁剪尺寸和垂直位移，构造了一个定义良好的搜索空间，并提出了一种有效的人脸对齐策略搜索（FAPS）。此外，提出了一个设计良好的基准来评估搜索策略。在我们提出的基准上的实验验证了我们的方法，以提高人脸识别性能的有效性。
2021-03-17 cs.AI cs.CV
Impact of Image Context for Single Deep Learning Face Morphing Attack Detection
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
本研究探讨输入图像对齐设置对深度学习人脸变形检测性能的影响，分析人脸轮廓与图像上下文联系，提出最佳对齐条件。
2023-09-01 cs.CV
Robust Face Recognition by Constrained Part-based Alignment
Zhejiang University（浙江大学）；University of Macau（澳门大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
开发可靠、实用的人脸识别系统是计算机视觉研究的一个长期目标。现有的文献表明，像素级的人脸对齐是实现高精度人脸识别的关键。通过假设一个人的脸作为分段平面表面，其中每个表面对应于一个面部的一部分，我们在本文中开发了一个约束部分为基础的对齐（CPA）算法的人脸识别跨姿态和/或表情。我们提出的算法是基于一个可训练的CPA模型，它学习各个部分的外观证据和不同部分之间的树形结构的形状配置。给定一个探头面，CPA同时对齐所有的部分，通过拟合它们的外观证据与考虑约束的树结构的形状配置。这个目标被制定为一个规范的最小化问题，正则化的图形似然。CPA可以很容易地与许多现有的分类器集成，以执行基于部分的人脸识别。在基准人脸数据集上的大量实验表明，CPA优于或等同于现有的方法，用于在姿态、表情和/或光照变化下进行鲁棒的人脸识别。
2015-01-20 cs.CV cs.LG
Inter-class Discrepancy Alignment for Face Recognition
SenseTime Group Limited（商汤集团有限公司）
随着深度学习的兴起，人脸识别领域取得了长足的进步。现有的方法主要集中在提取区分性特征上，直接通过点到点的方式计算余弦或L2距离，而不考虑上下文信息。在这项研究中，我们做了一个关键的观察，本地cont-text代表的相似性之间的实例和它的类间neighbors 1起着重要的作用FR。具体地说，我们尝试将特征空间中的局部信息纳入度量中，并提出了一个统一的框架，称为类间差异对齐（IDA），包括两个专用模块，差异对齐算子（IDA-DAO）和支持集估计（IDA-SSE）。IDA-DAO算法利用超球面上的自适应支持集定义图像与相邻图像之间的差异，对相似度进行匹配。对于实际推理，在线推理过程中很难获得支持集。IDA-SSE通过引入由GAN生成的虚拟候选图像，可以提供令人信服的类间邻居。此外，我们提出了可学习IDA-SSE，它可以隐式地给出估计，而不需要任何其他图像在评估过程中。建议IDA可以无缝地和有效地纳入现有的FR系统。大量的实验表明，该框架可以1）显着提高准确性，2）使模型对各种分布的人脸图像具有鲁棒性。没有花里胡哨的，我们的方法在多个标准FR基准上达到了最先进的性能。
2021-03-02 cs.CV
HoloFace: Augmenting Human-to-Human Interactions on HoloLens
Warsaw University of Technology（华沙理工大学）
我们提出了HoloFace，这是一个用于Microsoft HoloLens的面部对齐，头部姿态估计和面部属性检索的开源框架。HoloFace实现了两种最先进的面部对齐方法，可以互换使用：一种在本地运行，另一种在远程后端运行。头部姿态估计是通过将可变形的3D模型拟合到使用面部对准定位的地标来完成的。头部姿势提供头部的旋转和在世界空间中的位置。拟合的3D面部模型的参数提供面部属性的估计，例如张嘴或微笑。上述信息可以一起用于增强HoloLens用户看到的人的面部，从而增强他们的交互。潜在的使用场景包括面部识别、情感识别、眼睛注视跟踪等。我们通过用各种对象和动画增强通过HoloLens看到的人的面孔来展示我们框架的功能。
2018-02-01 cs.CV
Sparse Illumination Learning and Transfer for Single-Sample Face Recognition with Image Corruption and Misalignment
University of Science and Technology of China（中国科学技术大学）；Advanced Digital Sciences Center（先进数字科学中心）；University of California, Berkeley（加州大学伯克利分校）；ShanghaiTech University（上海科技大学）
单样本人脸识别是人脸识别中最具挑战性的问题之一。我们提出了一种新的算法来解决这个问题的基础上稀疏表示为基础的分类（SRC）框架。新算法对图像错位和像素损坏具有鲁棒性，并且能够将所需的图库图像减少到每类一个样本。为了补偿传统上由多幅图库图像提供的缺失的照明信息，引入了稀疏照明学习和传递（SILT）技术。SILT中的照明是通过用稀疏使用的照明字典拟合来自一个或多个附加主体的辅助面部图像的照明示例来学习的。通过在照明字典中强制执行查询图像的稀疏表示，SILT可以有效地恢复并将照明和姿态信息从对准阶段转移到识别阶段。我们广泛的实验表明，新的算法显着优于最先进的单样本制度和较少的限制。特别地，单样本面部对准精度与每个类使用多个图库图像的众所周知的可变形SRC算法的精度相当。此外，人脸识别的准确性超过了SRC和扩展SRC算法使用手标记对齐初始化。
2014-02-08 cs.CV
Joint Feature Distribution Alignment Learning for NIR-VIS and VIS-VIS Face Recognition
NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）
由于深度学习的最新发展，可见光（VIS）图像的人脸识别实现了高准确性。然而，异构人脸识别（HFR），这是一个在不同领域的人脸匹配，仍然是一个困难的任务，由于领域的差异和缺乏大的HFR数据集。有几种方法试图通过微调来减少域差异，这导致VIS域中的性能显著下降，因为它失去了高度区分的VIS表示。为了克服这个问题，我们提出了联合特征分布对齐学习（JFDAL），这是一种利用知识蒸馏的联合学习方法。它使我们能够实现高HFR性能，同时保留VIS域的原始性能。大量的实验表明，我们提出的方法提供了统计上显着更好的性能相比，传统的微调方法在公共HFR数据集Oulu-CASIA NIR&VIS和流行的验证数据集在VIS域，如FLW，CFP，CFDB。此外，与现有的国家的最先进的HFR方法的比较实验表明，我们的方法实现了可比的HFR性能的Oulu-CASIA NIR和VIS数据集的VIS性能下降较少。
2022-04-25 cs.CV cs.LG
Locality Alignment Improves Vision-Language Models
Stanford University（斯坦福大学）
针对视觉语言模型（VLMs）因预训练视觉主干网络缺乏局部语义而导致空间推理错误的问题，提出高效后训练阶段局部对齐及微调方法MaskEmbed，通过掩码重建损失学习图像块语义贡献，显著提升模型在空间理解等基准上的性能。
2025-03-04 cs.CV
TopoFR: A Closer Look at Topology Alignment on Face Recognition
Zhejiang University（浙江大学）；FaceChain Community（FaceChain社区）；King’s College London（伦敦国王学院）；Imperial College London（伦敦帝国学院）；Alibaba Group（阿里巴巴集团）
针对人脸识别中直接对齐输入与潜在空间结构导致的过拟合和结构坍塌问题，提出TopoFR模型，采用基于持续同调的PTSA策略和基于结构损伤分数的SDE难样本挖掘策略，在主流基准上超越现有方法。
2025-10-24 cs.CV cs.LG
Context-Patch Face Hallucination Based on Thresholding Locality-constrained Representation and Reproducing Learning
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）
人脸超分辨率是一种利用从低分辨率人脸对中学习到的先验知识，从低分辨率人脸中重建高分辨率人脸的技术。大多数国家的最先进的杠杆位置补丁的人脸先验知识来估计每个图像补丁的最佳表示系数。然而，它们只关注图像块的位置信息，通常忽略了图像块的上下文信息。此外，当它们面临未对准或小样本大小（SSS）问题时，幻觉性能非常差。为此，本研究结合图像块的上下文信息，并提出了一个强大的和有效的基于上下文块的人脸超分辨率方法，即保持局部约束表示和再现学习（TLcR-RL）。在基于上下文补丁的框架下，我们提出了一种基于阈值的表示方法，以提高重建精度和降低计算复杂性。为了进一步提高该算法的性能，我们提出了一种称为再生学习的提升策略。通过将估计的HR面部添加到训练集中，这可以模拟输入LR面部的HR版本存在于训练集中的情况，从而迭代地增强最终的超分辨率结果。实验表明，所提出的TLcR-RL方法实现了显着增加的幻觉的结果，主观和客观。此外，该框架对人脸错位和SSS问题具有更强的鲁棒性，当LR测试人脸来自真实世界时，其幻觉HR人脸仍然非常好。MATLAB源代码可在https://github.com/junjun-jiang/TLcR-RL上获得
2018-09-15 cs.CV
Unifying Locality of KANs and Feature Drift Compensation Projection for Data-free Replay based Continual Face Forgery Detection
针对持续人脸伪造检测中的灾难性遗忘问题，提出基于 KAN 的 KAN-CFD 框架，通过 DG-KD 保留局部性以拟合高维图像，并利用 FS-KDCP 在无数据重放下避免输入空间重叠，显著提升检测性能并减少遗忘。
2025-08-14 cs.CV
PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）；Meituan, Beijing（美团，北京）
PromptHub通过局部感知融合、集中和对齐方法提升多提示视觉上下文学习性能，验证了其在多种视觉任务中的优越性及泛化能力。
2026-03-19 cs.CV cs.LG
3D Dense Face Alignment via Graph Convolution Networks
Megvii Technology（旷视科技）；Tongji University（同济大学）
最近，三维人脸重建和人脸对齐任务逐渐合并为一个任务：三维密集人脸对齐。其目标是利用人脸的姿态信息重建人脸的三维几何结构。在本文中，我们提出了一个图卷积网络回归三维人脸坐标。我们的方法直接在3D人脸网格上进行特征学习，其中几何结构和细节得到了很好的保留。大量的实验表明，我们的方法在几个具有挑战性的数据集上获得了优于最先进方法的性能。
2019-04-11 cs.CV
A survey and classification of face alignment methods based on face models
National Cheng Kung University（国立成功大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Pontificia Universidad Católica de Valparaíso（智利天主教大学瓦尔帕莱索校区）
该研究针对人脸对齐领域缺乏人脸模型相关综述的问题，面向三类读者全面分析不同人脸模型的解读、训练与拟合方法，明确3D模型和深度学习方法的适用场景，并展望未来方向。
2023-11-06 cs.CV
Nautilus: Locality-aware Autoencoder for Scalable Mesh Generation
Nanyang Technological University（南洋理工大学）；Tencent Hunyuan（腾讯 Hunyuan）；South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Hong Kong University of Science and Technology（香港科技大学）
提出Nautilus局部感知自编码器，通过保留面邻近关系的分词算法和双流点条件器，实现高达5000面的高质量、可扩展网格生成。
2025-08-14 cs.CV
Deep Face Feature for Face Alignment
University of Science and Technology of China（中国科学技术大学）；Cardiff University（卡迪夫大学）
在本文中，我们提出了一种基于深度学习的图像特征提取方法，专门针对人脸图像设计。为了训练特征提取模型，我们构建了一个大规模的照片级真实感人脸图像数据集，该数据集具有多视角人脸图像之间的真实对应关系，这些图像是通过逆绘制过程从真实照片合成的。使用从不同视图渲染的面部图像之间的对应关系来训练深度面部特征（DFF）。使用经过训练的DFF模型，我们可以为人脸图像的每个像素提取一个特征向量，该特征向量可以区分不同的面部区域，并且在匹配和对齐等面部相关任务中比通用特征描述符更有效。基于DFF，我们开发了一种鲁棒的人脸对齐方法，该方法迭代更新地标，姿态和3D形状。大量的实验表明，我们的方法可以实现国家的最先进的结果，在高度无约束的人脸图像的人脸对齐。
2018-03-12 cs.CV
Deep Alignment Network: A convolutional neural network for robust face alignment
Warsaw University of Technology（华沙理工大学）
在本文中，我们提出了深度对齐网络（DAN），这是一种基于深度神经网络架构的鲁棒人脸对齐方法。DAN由多个阶段组成，其中每个阶段改进由前一阶段估计的面部标志的位置。我们的方法在所有阶段使用整个面部图像，与最近提出的依赖于局部补丁的面部对齐方法相反。这是可能的，这要归功于地标热图的使用，该热图提供了关于在算法的先前阶段估计的地标位置的视觉信息。使用整个面部图像而不是补丁允许DAN处理头部姿势变化大且初始化困难的面部图像。对两个公开数据集的广泛评估表明，DAN将最先进的故障率降低了70%。我们的方法也已提交评估的一部分，门波挑战。
2017-08-10 cs.CV
Face Alignment In-the-Wild: A Survey
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术及产业化协同创新中心）
在过去的二十年里，人脸对齐或基准点定位由于其在自动人脸分析中的广泛应用而受到越来越多的关注。然而，这样的任务已被证明是非常具有挑战性的，在不受约束的环境中，由于许多混杂因素，如姿势，遮挡，表情和照明。虽然已经开发了许多技术来解决这些挑战，但这个问题仍然远远没有得到解决。在这项调查中，我们提出了一个最新的批判性审查现有的文献中的人脸对齐，重点是那些方法解决整体困难和挑战，这一主题在不受控制的条件下。具体来说，我们对现有的人脸对齐技术进行了分类，详细描述了每个类别中的主要算法，并讨论了它们的优点和缺点。此外，我们组织了专门的讨论，在野外的人脸对齐的实际方面，对一个强大的人脸对齐系统的发展。此外，我们展示了最先进的性能统计数据，并总结了本文未来研究的几个有前途的方向。
2016-08-15 cs.CV
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney（悉尼科技大学）
虽然卷积神经网络（CNN）显著提高了人脸相关算法的性能，但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能，这使得它对于移动应用不太实用，因为更多的参数和更高的计算复杂性。因此，我们提出了一个有效的多任务神经网络，对准跟踪和姿态网络（ATPN）的人脸对准，人脸跟踪和头部姿态估计。具体来说，为了用更少的层实现更好的性能，我们在浅层和深层特征之间引入了一个快捷连接。我们发现，浅层特征与人脸边界高度对应，可以提供人脸的结构信息，对人脸对齐至关重要。此外，我们根据人脸对齐结果生成一个廉价的热图，并将其与特征融合，以提高其他两个任务的性能。基于热图，网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程，这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN，WFLW，300 VW，WIDER Face和300 W-LP。实验结果表明，与其他光照模型相比，该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
Face Alignment Assisted by Head Pose Estimation
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）；Harvard University（哈佛大学）
在本文中，我们提出了一个监督的初始化方案级联人脸对齐的基础上显式头部姿态估计。我们首先研究了大多数最先进的人脸对齐方法的失败案例，并观察到这些失败通常具有一个共同的全局属性，即头部姿态变化通常很大。受此启发，我们提出了一种深度卷积网络模型，用于可靠和准确的头部姿势估计。而不是使用一个平均的脸的形状，或随机选择的形状级联的脸对齐初始化，我们提出了两个方案，用于生成初始化：第一个依赖于预测的平均3D脸的形状（表示由3D面部地标）到2D图像估计的头部姿势;第二个搜索最近的邻居形状从训练集根据头部姿势距离。通过这样做，初始化更接近实际形状，这提高了收敛的可能性，进而提高了面部对齐性能。我们在基准300 W数据集上展示了所提出的方法，并在头部姿态估计和面部对齐方面表现出非常有竞争力的性能。
2015-07-18 cs.CV
Dual Attention MobDenseNet(DAMDNet) for Robust 3D Face Alignment
Jiangnan University（江南大学）；University of Surry（萨里大学）
单目图像的三维人脸配准是伪装人脸识别的关键过程，通过配准进行三维人脸重建可以恢复人脸结构，有助于检测伪装干扰。本文提出了一种双注意力机制和一种高效的端到端三维人脸配准框架，通过依赖可分离卷积建立稳定的网络模型，密集连接卷积和轻量级通道注意力机制。为了增强网络模型提取人脸区域空间特征的能力，采用空间分组特征增强模块提高网络的表示能力。联合应用不同的损失函数来约束3D可变形模型（3DMM）及其3D顶点的3D参数。我们使用多种数据增强方法，生成大的虚拟姿态人脸数据集，以解决数据不平衡的问题。在具有挑战性的AFLW、AFLW 2000 -3D数据集上的实验表明，该算法显著提高了3D人脸对齐的准确性。实验结果表明，DAMDNet在具有挑战性的伪装人脸的3D对齐和重建方面表现出了优异的性能，并且所提出的方法的模型参数和复杂度也显著降低。github.com/LeiJiangJNU/DAMDNet
2019-08-30 cs.CV
Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment
Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）
人脸动作单元（AU）检测和人脸对齐是两个高度相关的任务，因为面部界标可以提供精确的AU位置，以便于提取有意义的局部特征用于AU检测。现有的AU检测方法通常将人脸对齐作为一个预处理过程，独立处理这两个任务。在本文中，我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架，这是以前没有探索过的。特别地，首先学习多尺度共享特征，并将人脸对齐的高级特征输入AU检测。此外，为了提取精确的局部特征，我们提出了一个自适应注意力学习模块，以自适应地细化每个AU的注意力图。最后，组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。在BP4D和DISFA基准测试上的实验表明，我们的框架显着优于最先进的AU检测方法。
2018-07-24 cs.CV
Dense Face Alignment
Michigan State University（密歇根州立大学）；Monta Vista High School（蒙塔维斯塔高中）
人脸配准是计算机视觉领域的经典问题。以前的工作主要集中在稀疏对齐与有限数量的面部标志点，即，面部标志点检测在本文中，第一次，我们的目标是提供一个非常密集的3D对齐大姿态的人脸图像。为了实现这一点，我们训练了一个CNN来估计3D人脸形状，它不仅对齐有限的面部标志，而且还适合面部轮廓和SIFT特征点。此外，我们还解决了使用多个数据集训练CNN的瓶颈，因为不同数据集上的地标标记不同，例如5，34，68。实验结果表明，我们的方法不仅提供了高质量，密集的3D人脸拟合，但也优于国家的最先进的面部标志检测方法的挑战性数据集。我们的模型可以在测试过程中实时的运行。
2017-09-05 cs.CV
Robust 3D Face Alignment with Multi-Path Neural Architecture Search
Institute of Deep Learning (IDL)（深度学习研究所（IDL））；Southeast University（东南大学）；Computer Vision Technology Institution（计算机视觉技术研究所）；Baidu（百度）；Baidu Research（百度研究院）
针对三维人脸对齐中网络依赖人工设计且跨姿态结果不稳定的问题，提出MONAS多路径单样本NAS框架，利用多尺度与上下文信息并结合无偏采样训练及模拟退火搜索，在三个基准上提升稀疏与稠密对齐性能。
2024-06-12 cs.CV
Transferring Landmark Annotations for Cross-Dataset Face Alignment
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
数据集偏差是目标识别领域的一个常见问题。然而，这个问题在人脸对齐研究中很少被探讨。在这项研究中，我们表明，数据集的人脸对齐性能的一个组成部分。具体来说，由于人脸对齐数据集偏差，在一个数据库上训练并在另一个或看不见的域上测试将导致性能低下。然而，通过组合各种现有数据库创建无偏数据集并非易事，因为必须彻底重新标记地标以进行标准化。在这项工作中，我们提出了一种简单而有效的方法来桥接数据库之间的不同注释空间，使数据集融合成为可能。我们展示了结合各种流行数据库（LFW，AFLW，LFPW，HELEN）以改进跨数据集和看不见的数据对齐的广泛结果。
2014-09-02 cs.CV
SADRNet: Self-Aligned Dual Face Regression Networks for Robust 3D Dense Face Alignment and Reconstruction
Nanjing University（南京大学）；Sun Yat-sen University（中山大学）；Samsung Electronics (China) R&D Centre（三星电子（中国）研发中心）
由于遮挡和大姿态的人脸图像往往会丢失部分人脸信息，因此在野外进行三维人脸密集对齐和重建是一个具有挑战性的问题。大的头部姿势变化也增加了解决方案空间，使建模更加困难。我们的主要思想是建模遮挡和姿势，将这个具有挑战性的任务分解为几个相对更易于管理的子任务。为此，我们提出了一个端到端的框架，称为自对准双脸回归网络（SADRNet），它预测一个姿态相关的脸，一个姿态独立的脸。它们通过遮挡感知的自对准来组合以生成最终的3D面部。两个流行的基准测试，AFLW 2000 -3D和佛罗伦萨，广泛的实验表明，该方法实现了显着优于现有的国家的最先进的方法的性能。
2021-06-06 cs.CV
Face Alignment by Local Deep Descriptor Regression
University of Maryland（马里兰大学）；Rutgers University（罗格斯大学）
我们提出了一种使用深度卷积神经网络（CNN）提取关键点描述符的算法。与许多现有的深度CNN不同，我们的模型计算图像中给定点周围的局部特征。我们还提出了一个基于回归的人脸对齐算法，使用这些局部描述符。所提出的方法称为局部深度描述符回归（LDDR）能够定位不同大小，姿态和遮挡的面部标志，具有高精度。本文提出的深度描述符能够唯一有效地描述图像中的每个像素，因此有可能取代传统的描述符，如SIFT和HOG。对五个公开的无约束人脸对齐数据集的广泛评估表明，我们的深度描述符网络能够捕获给定地标周围的强大局部特征，并且比许多竞争对手和最先进的人脸对齐算法表现得更好。
2016-01-29 cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University（崇实大学）
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法，结合双维度多维度特征网络与知识蒸馏训练策略，在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
Pose-Invariant 3D Face Alignment
Michigan State University（密歇根州立大学）
面部对齐的目的是估计给定图像的一组地标的位置。这个问题已经得到了很大的关注，证明了最近的进步，在方法和性能。然而，大多数现有的工作既没有明确地处理人脸图像与任意姿态，也没有进行大规模的实验上的非正面和侧面的人脸图像。为了解决这些局限性，本文提出了一种新的人脸对齐算法，估计二维和三维地标和他们的2D vibrium的人脸图像与任意姿态。通过整合一个三维可变形模型，级联耦合回归方法被设计来估计摄像机投影矩阵和三维地标。此外，3D模型还允许我们通过表面法线自动估计2D地标vibration。我们收集了大量的全姿态人脸图像来评估我们的算法，并展示了比最先进的方法更优越的性能。
2015-06-11 cs.CV
An Empirical Study of Recent Face Alignment Methods
University of Cambridge（剑桥大学）；University of Hong Kong（香港大学）；Chinese University of Hong Kong（香港中文大学）
人脸对齐问题在过去的几年中得到了广泛的研究。已经提出了大量的新方法，并且在基准数据集（如300 W）上报告了非常好的性能。然而，在实验设置和评价指标的差异，在描述的方法，缺失的细节，很难重现报告的结果和评价的相对优点。例如，最新的人脸对齐方法是建立在人脸检测之上，但来自不同的人脸检测器。在本文中，我们进行了严格的评估，这些方法作出了以下贡献：1）我们提出了一个新的评价指标的人脸对齐的一组图像，即，阈值内的误差分布曲线下的面积AUC $_α$，这是因为传统的评估测量（平均误差）对大的对准误差非常敏感。2)我们扩展了300W数据库，增加了更实用的人脸检测，使公平的比较成为可能。3)我们进行面部对准灵敏度分析w.r.t.使用现成的和重新训练的模型，在合成和真实数据上进行人脸检测。4)我们研究对实现良好性能特别重要的因素，并为实际应用提供建议。从我们的比较分析中得出的大多数结论不能从原始出版物中推断出来。
2015-11-16 cs.CV
DeCaFA: Deep Convolutional Cascade for Face Alignment In The Wild
Sorbonne Université（索邦大学）；Datakalab；ISIR, Sorbonne Université（索邦大学智能与机器人系统研究所）
人脸对齐是一个活跃的计算机视觉领域，它包括定位许多在数据集上变化的人脸标志。最先进的面部对齐方法包括端到端回归，或者从初始猜测开始以级联方式细化形状。在本文中，我们介绍了DeCaFA，这是一种用于人脸对齐的端到端深度卷积级联架构。DeCaFA使用全卷积级来保持整个级联的完整空间分辨率。在每个级联阶段之间，DeCaFA使用具有空间softmax的多个链式传输层来为多个地标对齐任务中的每一个生成地标式注意力图。加权中间监督以及阶段之间的有效特征融合允许学习以端到端的方式逐步细化注意力地图。我们的实验表明，DeCaFA显着优于现有的方法在300W，CelebA和WFLW数据库。此外，我们还证明了DeCaFA可以使用粗略注释的数据从非常少的图像中以合理的精度学习精细对齐。
2019-04-04 cs.CV
3D Dense Face Alignment with Fused Features by Aggregating CNNs and GCNs
University of Liverpool（利物浦大学）；Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所）；China Science IntelliCloud Technology Co., Ltd.（中国科学智能云科技有限公司）；Remark AI UK Limited（Remark AI英国有限公司）
在本文中，我们提出了一种新的多级聚合网络，以端到端的方式从单个2D图像中回归3D人脸的顶点坐标。这是通过将标准卷积神经网络（CNN）与图卷积网络（GCN）无缝结合来实现的。通过迭代和分层融合CNN和GCN的不同层和阶段的特征，我们的方法可以同时提供密集的人脸对齐和3D人脸重建，以利于3D人脸网格的直接特征学习。在几个具有挑战性的数据集上的实验表明，我们的方法在2D和3D人脸对齐任务上的性能优于最先进的方法。
2022-03-09 cs.CV
Face Alignment Across Large Poses: A 3D Solution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Michigan State University（密歇根州立大学）
人脸对齐是将人脸模型与图像进行匹配，并提取人脸像素的语义信息的一个重要研究课题。然而，大多数算法都是针对小到中等姿态（低于45度）的人脸设计的，缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面：首先，通常使用的基于地标的人脸模型假设所有地标都是可见的，因此不适合轮廓视图。其次，面部外观在大的姿势中变化更大，从正面视图到侧面视图。第三，标记大姿势中的地标是非常具有挑战性的，因为不可见的地标必须被猜测。在本文中，我们提出了一个新的对齐框架，称为3D密集人脸对齐（3DDFA），其中一个密集的3D人脸模型拟合图像通过卷积神经网络（CNN）中的三个问题的解决方案。我们还提出了一种方法来合成大规模的训练样本的轮廓视图，以解决第三个问题的数据标记。在具有挑战性的AFLW数据库上的实验表明，我们的方法比最先进的方法有了显着的改进。
2015-11-23 cs.CV
Robust Face Alignment Using a Mixture of Invariant Experts
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；Intel Corporation（英特尔公司）
人脸对齐是在人脸图像中找到一组人脸标志点的位置的任务，在广泛的应用领域中是有用的。当姿态（平面内和平面外旋转）和面部表情存在较大变化时，面部对齐尤其具有挑战性。为了解决这个问题，我们提出了一个级联，其中每个阶段由回归专家的混合物。每个专家学习一个定制的回归模型，该模型专用于姿势和表情的联合空间的不同子集。该系统对于预定义的变换类是不变的（例如，仿射），因为在应用回归之前，输入被变换以匹配每个专家的原型形状。我们还提出了一种方法，包括变形的歧视性对齐框架内的约束，这使得我们的算法更强大。我们的算法显着优于以前的方法公开可用的人脸对齐数据集。
2016-10-23 cs.CV
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
由于各种姿态、光照和遮挡的存在，无约束环境中的人脸检测和对齐具有挑战性。最近的研究表明，深度学习方法可以在这两项任务上取得令人印象深刻的性能。在本文中，我们提出了一个深度级联的多任务框架，利用它们之间的内在相关性，以提高它们的性能。特别是，我们的框架采用了一种级联结构，具有三个精心设计的深度卷积网络阶段，以粗到细的方式预测人脸和地标位置。此外，在学习过程中，我们提出了一种新的在线硬样本挖掘策略，可以自动提高性能，而无需手动样本选择。我们的方法在具有挑战性的FDDB和WIDER FACE人脸检测基准和AFLW人脸对齐基准上实现了优于最先进技术的准确性，同时保持实时的性能。
2016-04-11 cs.CV
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver（丹佛大学）
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度，但这仍然是一项具有挑战性的任务，特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归（Heatmap-based Regression，HBR）和基于坐标的回归（Coordinate-based Regression，CBR）是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存，但其性能低于HBR方法。在本文中，我们提出了一个自适应的基于坐标的回归（ACR）损失，以提高人脸对齐的CBR的准确性。受主动形状模型（ASM）的启发，我们生成平滑面部对象，这是一组与地面真实地标点相比变化较少的面部地标点。然后，我们介绍了一种方法，通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此，ACR损失引导网络朝向挑战点而不是更容易的点，这提高了面部对准任务的准确性。我们的广泛的评估表明，建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
Deep Regression for Face Alignment
Microsoft Research（微软研究院）
在本文中，我们提出了一种深度回归方法的人脸对齐。深层体系结构由全局层和多级局部层组成。我们应用反向传播算法与dropout策略，共同优化回归参数。我们发现，由此产生的深回归逐步和均匀的方法，真正的面部标志逐步阶段，避免了倾向于产生过强的早期阶段回归，而过于薄弱的后期回归。实验结果表明，该方法达到了最先进的水平
2014-09-18 cs.CV
Face Alignment Using K-Cluster Regression Forests With Weighted Splitting
Warsaw University of Technology（华沙理工大学）
在这项工作中，我们提出了一个基于两种新方法的人脸对齐管道：加权分裂的K-聚类回归森林和三维仿射姿态回归人脸形状初始化。我们的人脸对齐方法是基于局部二值特征框架，其中不是原始方法中使用的标准回归森林和像素差异特征，而是使用我们的加权分裂K聚类回归森林（KRFWS）和金字塔HOG特征。我们还使用KRFWS执行仿射姿态回归（APR）和3D-Affine姿态回归（3D-APR），旨在改善人脸形状的初始化。APR将刚性2D变换应用于初始面部形状，以补偿初始面部位置、大小和平面内旋转的不准确性。3D-APR估计另外补偿平面外旋转的3D变换的参数。由此产生的管道，包括APR和3D-APR，然后是面部对齐，在具有挑战性的IBUG数据集上显示出比标准LBF提高了20%，并且在整个300-W数据集上显示出最先进的准确性。
2017-06-06 cs.CV
