Deep Alignment Network: A convolutional neural network for robust face alignment
Warsaw University of Technology(华沙理工大学)
在本文中,我们提出了深度对齐网络(DAN),这是一种基于深度神经网络架构的鲁棒人脸对齐方法。DAN由多个阶段组成,其中每个阶段改进由前一阶段估计的面部标志的位置。我们的方法在所有阶段使用整个面部图像,与最近提出的依赖于局部补丁的面部对齐方法相反。这是可能的,这要归功于地标热图的使用,该热图提供了关于在算法的先前阶段估计的地标位置的视觉信息。使用整个面部图像而不是补丁允许DAN处理头部姿势变化大且初始化困难的面部图像。对两个公开数据集的广泛评估表明,DAN将最先进的故障率降低了70%。我们的方法也已提交评估的一部分,门波挑战。
2017-08-10 cs.CV
Balanced Alignment for Face Recognition: A Joint Learning Approach
Megvii Technology(旷视科技);Fudan University(复旦大学)
人脸对齐是人脸识别的关键技术之一,已被广泛采用。然而,目前的做法过于简单,探索不足。缺乏对人脸对齐的重要性以及如何进行识别的理解。本文对这些问题进行了研究,并做出了两个贡献。首先,它提供了一个深入的和定量的研究对齐强度如何影响识别精度。我们的研究结果表明,过度对齐是有害的,需要一个最佳的平衡点对齐。为了达到平衡,我们的第二个贡献是一种新的联合学习方法,其中对齐学习在其强度方面是可控的,并由识别驱动。我们所提出的方法是通过综合实验几个基准,特别是具有挑战性的大姿势。
2020-03-23 cs.CV
FacePoseNet: Making a Case for Landmark-Free Face Alignment
Institute for Robotics and Intelligent Systems, USC(南加州大学机器人与智能系统研究所);Information Sciences Institute, USC(南加州大学信息科学研究所);The Open University of Israel(以色列开放大学)
我们展示了如何训练简单的卷积神经网络(CNN),以直接根据图像强度准确且鲁棒地回归6个自由度(6 DoF)3D头部姿势。我们进一步解释了这个FacePoseNet(FPN)如何用于在2D和3D中对齐面部,作为这些任务的显式面部地标检测的替代方案。我们声称,在许多情况下,测量地标检测器精度的标准方法在比较不同的人脸对齐时可能会产生误导。相反,我们通过评估它们如何影响IJB-A和IJB-B基准的人脸识别准确性来比较我们的FPN与现有方法:使用相同的识别管道,但改变人脸对齐方法。我们的研究结果表明,(a)在300 W基准测试中测量的更好的地标检测准确性并不一定意味着更好的人脸识别准确性。(b)我们的FPN在两个基准上都提供了出色的2D和3D人脸对齐。最后,(c),FPN以非常精确的地标检测器的一小部分计算成本对齐人脸。对于许多目的,FPN因此是比使用面部标志检测器快得多且准确得多的面部对准方法。
2017-08-31 cs.CV
Face Alignment In-the-Wild: A Survey
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术及产业化协同创新中心)
在过去的二十年里,人脸对齐或基准点定位由于其在自动人脸分析中的广泛应用而受到越来越多的关注。然而,这样的任务已被证明是非常具有挑战性的,在不受约束的环境中,由于许多混杂因素,如姿势,遮挡,表情和照明。虽然已经开发了许多技术来解决这些挑战,但这个问题仍然远远没有得到解决。在这项调查中,我们提出了一个最新的批判性审查现有的文献中的人脸对齐,重点是那些方法解决整体困难和挑战,这一主题在不受控制的条件下。具体来说,我们对现有的人脸对齐技术进行了分类,详细描述了每个类别中的主要算法,并讨论了它们的优点和缺点。此外,我们组织了专门的讨论,在野外的人脸对齐的实际方面,对一个强大的人脸对齐系统的发展。此外,我们展示了最先进的性能统计数据,并总结了本文未来研究的几个有前途的方向。
2016-08-15 cs.CV
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney(悉尼科技大学)
虽然卷积神经网络(CNN)显著提高了人脸相关算法的性能,但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能,这使得它对于移动应用不太实用,因为更多的参数和更高的计算复杂性。因此,我们提出了一个有效的多任务神经网络,对准跟踪和姿态网络(ATPN)的人脸对准,人脸跟踪和头部姿态估计。具体来说,为了用更少的层实现更好的性能,我们在浅层和深层特征之间引入了一个快捷连接。我们发现,浅层特征与人脸边界高度对应,可以提供人脸的结构信息,对人脸对齐至关重要。此外,我们根据人脸对齐结果生成一个廉价的热图,并将其与特征融合,以提高其他两个任务的性能。基于热图,网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程,这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN,WFLW,300 VW,WIDER Face和300 W-LP。实验结果表明,与其他光照模型相比,该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
Joint Face Alignment and 3D Face Reconstruction with Application to Face Recognition
Sichuan University(四川大学);Michigan State University(密歇根州立大学)
人脸对齐和3D人脸重建传统上是作为单独的任务来完成的。通过探索2D地标和3D形状之间的强相关性,相比之下,我们提出了一个联合人脸对齐和3D人脸重建方法,同时解决这两个问题的任意姿态和表情的2D人脸图像。该方法基于3D人脸的求和模型和2D和3D形状空间中的级联回归,迭代地和交替地应用两个级联回归器,一个用于更新2D地标,另一个用于3D形状。3D形状和标志通过3D到2D映射矩阵进行关联,该映射矩阵在每次迭代中更新以细化2D标志的位置和可见性。与现有的方法不同,该方法可以完全自动生成姿态和表情归一化(PEN)和表达的3D人脸,并定位可见和不可见的2D地标。基于PEN 3D人脸,我们设计了一种方法,以提高人脸识别的准确率跨姿态和表情。线性和非线性实现所提出的方法,本文提出和评估。实验结果表明,该方法在人脸对齐和三维人脸重建方面均达到了最高的精度,重建出的PEN三维人脸有利于人脸识别。
2018-12-22 cs.CV
Face Alignment Assisted by Head Pose Estimation
University of Cambridge(剑桥大学);Queen Mary University of London(伦敦玛丽女王大学);Harvard University(哈佛大学)
在本文中,我们提出了一个监督的初始化方案级联人脸对齐的基础上显式头部姿态估计。我们首先研究了大多数最先进的人脸对齐方法的失败案例,并观察到这些失败通常具有一个共同的全局属性,即头部姿态变化通常很大。受此启发,我们提出了一种深度卷积网络模型,用于可靠和准确的头部姿势估计。而不是使用一个平均的脸的形状,或随机选择的形状级联的脸对齐初始化,我们提出了两个方案,用于生成初始化:第一个依赖于预测的平均3D脸的形状(表示由3D面部地标)到2D图像估计的头部姿势;第二个搜索最近的邻居形状从训练集根据头部姿势距离。通过这样做,初始化更接近实际形状,这提高了收敛的可能性,进而提高了面部对齐性能。我们在基准300 W数据集上展示了所提出的方法,并在头部姿态估计和面部对齐方面表现出非常有竞争力的性能。
2015-07-18 cs.CV
Dual Attention MobDenseNet(DAMDNet) for Robust 3D Face Alignment
Jiangnan University(江南大学);University of Surry(萨里大学)
单目图像的三维人脸配准是伪装人脸识别的关键过程,通过配准进行三维人脸重建可以恢复人脸结构,有助于检测伪装干扰。本文提出了一种双注意力机制和一种高效的端到端三维人脸配准框架,通过依赖可分离卷积建立稳定的网络模型,密集连接卷积和轻量级通道注意力机制。为了增强网络模型提取人脸区域空间特征的能力,采用空间分组特征增强模块提高网络的表示能力。联合应用不同的损失函数来约束3D可变形模型(3DMM)及其3D顶点的3D参数。我们使用多种数据增强方法,生成大的虚拟姿态人脸数据集,以解决数据不平衡的问题。在具有挑战性的AFLW、AFLW 2000 -3D数据集上的实验表明,该算法显著提高了3D人脸对齐的准确性。实验结果表明,DAMDNet在具有挑战性的伪装人脸的3D对齐和重建方面表现出了优异的性能,并且所提出的方法的模型参数和复杂度也显著降低。github.com/LeiJiangJNU/DAMDNet
2019-08-30 cs.CV
Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment
Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学)
人脸动作单元(AU)检测和人脸对齐是两个高度相关的任务,因为面部界标可以提供精确的AU位置,以便于提取有意义的局部特征用于AU检测。现有的AU检测方法通常将人脸对齐作为一个预处理过程,独立处理这两个任务。在本文中,我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架,这是以前没有探索过的。特别地,首先学习多尺度共享特征,并将人脸对齐的高级特征输入AU检测。此外,为了提取精确的局部特征,我们提出了一个自适应注意力学习模块,以自适应地细化每个AU的注意力图。最后,组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。在BP4D和DISFA基准测试上的实验表明,我们的框架显着优于最先进的AU检测方法。
2018-07-24 cs.CV
Dense Face Alignment
Michigan State University(密歇根州立大学);Monta Vista High School(蒙塔维斯塔高中)
人脸配准是计算机视觉领域的经典问题。以前的工作主要集中在稀疏对齐与有限数量的面部标志点,即,面部标志点检测在本文中,第一次,我们的目标是提供一个非常密集的3D对齐大姿态的人脸图像。为了实现这一点,我们训练了一个CNN来估计3D人脸形状,它不仅对齐有限的面部标志,而且还适合面部轮廓和SIFT特征点。此外,我们还解决了使用多个数据集训练CNN的瓶颈,因为不同数据集上的地标标记不同,例如5,34,68。实验结果表明,我们的方法不仅提供了高质量,密集的3D人脸拟合,但也优于国家的最先进的面部标志检测方法的挑战性数据集。我们的模型可以在测试过程中实时的运行。
2017-09-05 cs.CV
Robust 3D Face Alignment with Multi-Path Neural Architecture Search
Institute of Deep Learning (IDL)(深度学习研究所(IDL));Southeast University(东南大学);Computer Vision Technology Institution(计算机视觉技术研究所);Baidu(百度);Baidu Research(百度研究院)
针对三维人脸对齐中网络依赖人工设计且跨姿态结果不稳定的问题,提出MONAS多路径单样本NAS框架,利用多尺度与上下文信息并结合无偏采样训练及模拟退火搜索,在三个基准上提升稀疏与稠密对齐性能。
2024-06-12 cs.CV
Transferring Landmark Annotations for Cross-Dataset Face Alignment
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
数据集偏差是目标识别领域的一个常见问题。然而,这个问题在人脸对齐研究中很少被探讨。在这项研究中,我们表明,数据集的人脸对齐性能的一个组成部分。具体来说,由于人脸对齐数据集偏差,在一个数据库上训练并在另一个或看不见的域上测试将导致性能低下。然而,通过组合各种现有数据库创建无偏数据集并非易事,因为必须彻底重新标记地标以进行标准化。在这项工作中,我们提出了一种简单而有效的方法来桥接数据库之间的不同注释空间,使数据集融合成为可能。我们展示了结合各种流行数据库(LFW,AFLW,LFPW,HELEN)以改进跨数据集和看不见的数据对齐的广泛结果。
2014-09-02 cs.CV
SADRNet: Self-Aligned Dual Face Regression Networks for Robust 3D Dense Face Alignment and Reconstruction
Nanjing University(南京大学);Sun Yat-sen University(中山大学);Samsung Electronics (China) R&D Centre(三星电子(中国)研发中心)
由于遮挡和大姿态的人脸图像往往会丢失部分人脸信息,因此在野外进行三维人脸密集对齐和重建是一个具有挑战性的问题。大的头部姿势变化也增加了解决方案空间,使建模更加困难。我们的主要思想是建模遮挡和姿势,将这个具有挑战性的任务分解为几个相对更易于管理的子任务。为此,我们提出了一个端到端的框架,称为自对准双脸回归网络(SADRNet),它预测一个姿态相关的脸,一个姿态独立的脸。它们通过遮挡感知的自对准来组合以生成最终的3D面部。两个流行的基准测试,AFLW 2000 -3D和佛罗伦萨,广泛的实验表明,该方法实现了显着优于现有的国家的最先进的方法的性能。
2021-06-06 cs.CV
Face Alignment by Local Deep Descriptor Regression
University of Maryland(马里兰大学);Rutgers University(罗格斯大学)
我们提出了一种使用深度卷积神经网络(CNN)提取关键点描述符的算法。与许多现有的深度CNN不同,我们的模型计算图像中给定点周围的局部特征。我们还提出了一个基于回归的人脸对齐算法,使用这些局部描述符。所提出的方法称为局部深度描述符回归(LDDR)能够定位不同大小,姿态和遮挡的面部标志,具有高精度。本文提出的深度描述符能够唯一有效地描述图像中的每个像素,因此有可能取代传统的描述符,如SIFT和HOG。对五个公开的无约束人脸对齐数据集的广泛评估表明,我们的深度描述符网络能够捕获给定地标周围的强大局部特征,并且比许多竞争对手和最先进的人脸对齐算法表现得更好。
2016-01-29 cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University(崇实大学)
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法,结合双维度多维度特征网络与知识蒸馏训练策略,在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
Pose-Invariant 3D Face Alignment
Michigan State University(密歇根州立大学)
面部对齐的目的是估计给定图像的一组地标的位置。这个问题已经得到了很大的关注,证明了最近的进步,在方法和性能。然而,大多数现有的工作既没有明确地处理人脸图像与任意姿态,也没有进行大规模的实验上的非正面和侧面的人脸图像。为了解决这些局限性,本文提出了一种新的人脸对齐算法,估计二维和三维地标和他们的2D vibrium的人脸图像与任意姿态。通过整合一个三维可变形模型,级联耦合回归方法被设计来估计摄像机投影矩阵和三维地标。此外,3D模型还允许我们通过表面法线自动估计2D地标vibration。我们收集了大量的全姿态人脸图像来评估我们的算法,并展示了比最先进的方法更优越的性能。
2015-06-11 cs.CV
Bit-Planes: Dense Subpixel Alignment of Binary Descriptors
Carnegie Mellon University(卡内基梅隆大学)
二进制描述符已经在最近的计算效率的稀疏图像对齐算法的演变。然而,视觉界越来越对密集图像对准方法感兴趣,密集图像对准方法更适合于估计来自高帧速率相机的对应性,因为它们不依赖于穷举搜索。然而,经典的密集对齐方法对照明变化敏感。在本文中,我们提出了一个易于实现和低复杂度的密集二进制描述符,我们称之为位平面,可以无缝集成在一个多通道卢卡斯和Kanade框架。这种新方法结合了二进制描述符的鲁棒性和密集对齐方法的速度和准确性。该方法在模板跟踪问题上进行了演示,实现了最先进的鲁棒性,并且在消费类笔记本电脑(单核Intel i7上为400+ fps)和手持移动设备(iPad Air 2上为100+ fps)上的实时性能更快。
2016-01-31 cs.CV
An Empirical Study of Recent Face Alignment Methods
University of Cambridge(剑桥大学);University of Hong Kong(香港大学);Chinese University of Hong Kong(香港中文大学)
人脸对齐问题在过去的几年中得到了广泛的研究。已经提出了大量的新方法,并且在基准数据集(如300 W)上报告了非常好的性能。然而,在实验设置和评价指标的差异,在描述的方法,缺失的细节,很难重现报告的结果和评价的相对优点。例如,最新的人脸对齐方法是建立在人脸检测之上,但来自不同的人脸检测器。在本文中,我们进行了严格的评估,这些方法作出了以下贡献:1)我们提出了一个新的评价指标的人脸对齐的一组图像,即,阈值内的误差分布曲线下的面积AUC $_α$,这是因为传统的评估测量(平均误差)对大的对准误差非常敏感。2)我们扩展了300W数据库,增加了更实用的人脸检测,使公平的比较成为可能。3)我们进行面部对准灵敏度分析w.r.t.使用现成的和重新训练的模型,在合成和真实数据上进行人脸检测。4)我们研究对实现良好性能特别重要的因素,并为实际应用提供建议。从我们的比较分析中得出的大多数结论不能从原始出版物中推断出来。
2015-11-16 cs.CV
DeCaFA: Deep Convolutional Cascade for Face Alignment In The Wild
Sorbonne Université(索邦大学);Datakalab;ISIR, Sorbonne Université(索邦大学智能与机器人系统研究所)
人脸对齐是一个活跃的计算机视觉领域,它包括定位许多在数据集上变化的人脸标志。最先进的面部对齐方法包括端到端回归,或者从初始猜测开始以级联方式细化形状。在本文中,我们介绍了DeCaFA,这是一种用于人脸对齐的端到端深度卷积级联架构。DeCaFA使用全卷积级来保持整个级联的完整空间分辨率。在每个级联阶段之间,DeCaFA使用具有空间softmax的多个链式传输层来为多个地标对齐任务中的每一个生成地标式注意力图。加权中间监督以及阶段之间的有效特征融合允许学习以端到端的方式逐步细化注意力地图。我们的实验表明,DeCaFA显着优于现有的方法在300W,CelebA和WFLW数据库。此外,我们还证明了DeCaFA可以使用粗略注释的数据从非常少的图像中以合理的精度学习精细对齐。
2019-04-04 cs.CV
3D Dense Face Alignment with Fused Features by Aggregating CNNs and GCNs
University of Liverpool(利物浦大学);Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所);China Science IntelliCloud Technology Co., Ltd.(中国科学智能云科技有限公司);Remark AI UK Limited(Remark AI英国有限公司)
在本文中,我们提出了一种新的多级聚合网络,以端到端的方式从单个2D图像中回归3D人脸的顶点坐标。这是通过将标准卷积神经网络(CNN)与图卷积网络(GCN)无缝结合来实现的。通过迭代和分层融合CNN和GCN的不同层和阶段的特征,我们的方法可以同时提供密集的人脸对齐和3D人脸重建,以利于3D人脸网格的直接特征学习。在几个具有挑战性的数据集上的实验表明,我们的方法在2D和3D人脸对齐任务上的性能优于最先进的方法。
2022-03-09 cs.CV
Densely tracking sequences of 3D face scans
Ecole Centrale de Lyon(里昂中央理工学院)
3D人脸密集跟踪的目的是在一系列3D人脸扫描中找到密集的帧间对应关系,并构成了许多人脸分析任务的强大工具,例如,3D动态面部表情分析。现有的大多数方法只是将3D人脸表面或模型拟合到3D目标表面,而没有考虑帧之间的时间信息。在本文中,我们提出了一种新的方法,密集跟踪序列的三维人脸扫描,它扩展了非刚性ICP算法,增加了一个新的具体标准的时间信息。提出了一种新的拟合框架,用于自动跟踪完整的3D人脸扫描序列。BU 4D-FE数据库上进行的实验结果是有希望的,表明该算法优于国家的最先进的算法的三维人脸密集跟踪。
2017-09-13 cs.CV
Face Alignment Across Large Poses: A 3D Solution
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Michigan State University(密歇根州立大学)
人脸对齐是将人脸模型与图像进行匹配,并提取人脸像素的语义信息的一个重要研究课题。然而,大多数算法都是针对小到中等姿态(低于45度)的人脸设计的,缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面:首先,通常使用的基于地标的人脸模型假设所有地标都是可见的,因此不适合轮廓视图。其次,面部外观在大的姿势中变化更大,从正面视图到侧面视图。第三,标记大姿势中的地标是非常具有挑战性的,因为不可见的地标必须被猜测。在本文中,我们提出了一个新的对齐框架,称为3D密集人脸对齐(3DDFA),其中一个密集的3D人脸模型拟合图像通过卷积神经网络(CNN)中的三个问题的解决方案。我们还提出了一种方法来合成大规模的训练样本的轮廓视图,以解决第三个问题的数据标记。在具有挑战性的AFLW数据库上的实验表明,我们的方法比最先进的方法有了显着的改进。
2015-11-23 cs.CV
Robust Face Alignment Using a Mixture of Invariant Experts
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL));Intel Corporation(英特尔公司)
人脸对齐是在人脸图像中找到一组人脸标志点的位置的任务,在广泛的应用领域中是有用的。当姿态(平面内和平面外旋转)和面部表情存在较大变化时,面部对齐尤其具有挑战性。为了解决这个问题,我们提出了一个级联,其中每个阶段由回归专家的混合物。每个专家学习一个定制的回归模型,该模型专用于姿势和表情的联合空间的不同子集。该系统对于预定义的变换类是不变的(例如,仿射),因为在应用回归之前,输入被变换以匹配每个专家的原型形状。我们还提出了一种方法,包括变形的歧视性对齐框架内的约束,这使得我们的算法更强大。我们的算法显着优于以前的方法公开可用的人脸对齐数据集。
2016-10-23 cs.CV
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
由于各种姿态、光照和遮挡的存在,无约束环境中的人脸检测和对齐具有挑战性。最近的研究表明,深度学习方法可以在这两项任务上取得令人印象深刻的性能。在本文中,我们提出了一个深度级联的多任务框架,利用它们之间的内在相关性,以提高它们的性能。特别是,我们的框架采用了一种级联结构,具有三个精心设计的深度卷积网络阶段,以粗到细的方式预测人脸和地标位置。此外,在学习过程中,我们提出了一种新的在线硬样本挖掘策略,可以自动提高性能,而无需手动样本选择。我们的方法在具有挑战性的FDDB和WIDER FACE人脸检测基准和AFLW人脸对齐基准上实现了优于最先进技术的准确性,同时保持实时的性能。
2016-04-11 cs.CV
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver(丹佛大学)
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度,但这仍然是一项具有挑战性的任务,特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归(Heatmap-based Regression,HBR)和基于坐标的回归(Coordinate-based Regression,CBR)是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存,但其性能低于HBR方法。在本文中,我们提出了一个自适应的基于坐标的回归(ACR)损失,以提高人脸对齐的CBR的准确性。受主动形状模型(ASM)的启发,我们生成平滑面部对象,这是一组与地面真实地标点相比变化较少的面部地标点。然后,我们介绍了一种方法,通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此,ACR损失引导网络朝向挑战点而不是更容易的点,这提高了面部对准任务的准确性。我们的广泛的评估表明,建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
Deep Regression for Face Alignment
Microsoft Research(微软研究院)
在本文中,我们提出了一种深度回归方法的人脸对齐。深层体系结构由全局层和多级局部层组成。我们应用反向传播算法与dropout策略,共同优化回归参数。我们发现,由此产生的深回归逐步和均匀的方法,真正的面部标志逐步阶段,避免了倾向于产生过强的早期阶段回归,而过于薄弱的后期回归。实验结果表明,该方法达到了最先进的水平
2014-09-18 cs.CV
Efficient Face Alignment via Locality-constrained Representation for Robust Recognition
South China University of Technology(华南理工大学);Peking University(北京大学);Shenzhen University(深圳大学);Chinese Academy of Sciences(中国科学院)
在过去的几十年里,人们一直在研究实用的人脸识别,但仍然是一个开放的挑战。目前流行的方法已经在识别精度方面取得了实质性的突破。然而,如果人脸样本严重错位,它们的性能通常会急剧下降。为了解决这个问题,我们提出了一个高效的误识鲁棒局部约束表示(MRLR)算法,用于实际的实时人脸识别。具体地说,局部约束,激活最相关的原子和抑制不相关的,被应用于构建字典的人脸对齐。然后,我们同时对齐扭曲的脸,并更新局部约束字典,最终获得最终的对齐。此外,我们利用块结构来加速导出的解析解。在公共数据集上的实验结果表明,MRLR在效率和可扩展性方面明显优于几种最先进的方法,具有更好的性能。
2015-10-31 cs.CV
Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations
KAIST(韩国科学技术院);Naver AI(Naver人工智能)
最近,与实例级对比学习相比,密集对比学习在密集预测任务上表现出更好的性能。尽管其至高无上的,密集对比表示的性质还没有被仔细研究。因此,我们使用标准的CNN和简单的特征匹配方案来分析密集对比学习的理论思想,而不是提出一种新的复杂方法。受实例级对比表示通过超球面上的对齐和均匀性透镜的性质分析的启发,我们采用并扩展了用于稠密对比表示的相同透镜来分析其未被探索的性质。我们发现了构造正稠密特征对的核心原则,并实证证明了其有效性。此外,我们引入了一个新的标量度量,总结了相关性和均匀性和下游性能。使用这个指标,我们研究了密集学习的对比表示的各个方面,例如相关性如何在单对象和多对象数据集或线性评估和密集预测任务中变化。源代码可在https://github.com/SuperSupermoon/DenseCL-analysis上公开获取
2022-10-17 cs.CV
Face Alignment Using K-Cluster Regression Forests With Weighted Splitting
Warsaw University of Technology(华沙理工大学)
在这项工作中,我们提出了一个基于两种新方法的人脸对齐管道:加权分裂的K-聚类回归森林和三维仿射姿态回归人脸形状初始化。我们的人脸对齐方法是基于局部二值特征框架,其中不是原始方法中使用的标准回归森林和像素差异特征,而是使用我们的加权分裂K聚类回归森林(KRFWS)和金字塔HOG特征。我们还使用KRFWS执行仿射姿态回归(APR)和3D-Affine姿态回归(3D-APR),旨在改善人脸形状的初始化。APR将刚性2D变换应用于初始面部形状,以补偿初始面部位置、大小和平面内旋转的不准确性。3D-APR估计另外补偿平面外旋转的3D变换的参数。由此产生的管道,包括APR和3D-APR,然后是面部对齐,在具有挑战性的IBUG数据集上显示出比标准LBF提高了20%,并且在整个300-W数据集上显示出最先进的准确性。
2017-06-06 cs.CV
img2pose: Face Alignment and Detection via 6DoF, Face Pose Estimation
University of Notre Dame(圣母大学);Facebook AI(脸书人工智能研究院)
我们提出了实时的,六个自由度(6DoF),三维人脸姿态估计没有人脸检测或地标定位。我们观察到,估计面部的6DoF刚性变换是一个比面部地标检测更简单的问题,通常用于3D面部对齐。此外,6自由度提供了比面限界框标签更多的信息。我们利用这些观察结果做出多方面的贡献:(a)我们描述了一个易于训练,高效,基于Faster R-CNN的模型,该模型可以为照片中的所有人脸回归6DoF姿势,而无需进行初步的人脸检测。(b)我们解释了如何转换姿势,并在训练和评估模型时在输入照片和创建的任意作物之间保持一致。(c)最后,我们展示了人脸姿势如何取代检测限界框训练标签。AFLW 2000 -3D和BIWI上的测试表明,我们的方法运行在实时性和优于最先进的(SotA)的人脸姿态估计。值得注意的是,我们的方法也超过了SotA模型的类似复杂性的更广泛的人脸检测基准,尽管没有优化的限界框标签。
2021-05-18 cs.CV
J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学);Monash University(莫纳什大学);East China Normal University(华东师范大学)
面部动作单元(AU)检测和面部对齐是两个高度相关的任务,因为面部界标可以提供精确的AU位置,以便于提取有意义的局部特征用于AU检测。然而,大多数现有的AU检测工作通过将人脸对齐作为预处理来独立地处理这两个任务,并且通常使用地标来标记每个AU的固定区域或注意力。在本文中,我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架,这是以前没有探索过的。特别地,首先学习多尺度共享特征,并将人脸对齐的高层特征输入AU检测。此外,为了提取精确的局部特征,我们提出了一个自适应注意力学习模块,以自适应地细化每个AU的注意力图。最后,组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。大量的实验表明,我们的框架(i)在具有挑战性的BP 4D,DISFA,GFT和BP 4D+基准测试中显着优于最先进的AU检测方法,(ii)可以自适应地捕获每个AU的不规则区域,(iii)在人脸对齐方面实现了有竞争力的性能,(iv)在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可以在https://github.com/ZhiwenShao/PyTorch-JAANet上找到。
2020-09-24 cs.CV
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University(密歇根州立大学);University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文提出Dense-Face模型,通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注,在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
Face Alignment Using Active Shape Model And Support Vector Machine
University of Science(理科大学)
主动形状模型(ASM)是最流行的局部纹理模型的人脸对齐。它应用于许多领域,如定位图像中的人脸特征,人脸合成等,但是,实验结果表明,经典的ASM的准确性对于某些应用程序不高。本文提出了一些改进的经典ASM,以提高模型的性能在应用中:人脸对齐。本文的主要改进包括:(1)建立Sobel滤波器与二维轮廓相结合的人脸图像搜索模型;(2)应用Canny算法增强图像边缘;(3)利用支持向量机(SVM)对人脸特征点进行分类,以确定支持ASM的特征点的准确位置; iv)基于输入图像的尺寸自动调整多级模型中的2-D轮廓。在加州理工学院人脸数据库和丹麦技术大学人脸数据库(imm_face)上的实验结果表明,本文提出的改进方法具有更好的性能。
2012-09-27 cs.CV
LDDMM-Face: Large Deformation Diffeomorphic Metric Learning for Flexible and Consistent Face Alignment
Southern University of Science and Technology(南方科技大学);The University of British Columbia(不列颠哥伦比亚大学);The University of Queensland(昆士兰大学)
我们创新性地提出了一个灵活和一致的人脸对齐框架,LDDMM-Face,其主要贡献是一个变形层,自然地嵌入人脸几何形状在一个同构的方式。而不是通过热图或坐标回归预测面部标志,我们制定了这个任务,在一个同构注册的方式和预测动量,唯一参数化的初始边界和真实边界之间的变形,然后执行大变形同构度量映射(LDDMM)的曲线和地标同时本地化的面部标志。由于LDDMM嵌入到深度网络中,LDDMM-Face可以一致地注释面部标志而不会产生歧义,并灵活地处理各种注释方案,甚至可以从稀疏注释中预测密集注释。我们的方法可以很容易地集成到各种人脸对齐网络中。我们在四个基准数据集上广泛评估了LDDMM-Face:300 W,WFLW,HELEN和COFW-68。LDDMM-Face与传统的数据集内和相同注释设置的最先进方法相当或更好,但在处理弱监督学习(部分到完全),具有挑战性的情况(例如,被遮挡的面部)以及不同的训练和预测数据集。此外,LDDMM-Face在最具挑战性的跨数据集预测任务上显示出了有希望的结果。
2021-08-02 cs.CV
Pixel-Level Alignment of Facial Images for High Accuracy Recognition Using Ensemble of Patches
Sharif University of Technology(谢里夫理工大学)
人脸的姿态、光照和表情的变化使得人脸识别仍然是一个具有挑战性的问题。作为整体方法中的预处理,人脸通常由眼睛对齐。所提出的方法试图执行像素对齐,而不是眼睛对齐,通过映射到一个参考面的面的几何形状,同时保持自己的纹理。所提出的几何对齐不仅在所有人脸的每个像素之间创建有意义的对应关系,而且有效地消除了表情和姿态变化。几何对齐是逐像素执行的,即,人脸的每个像素对应于参考人脸的一个像素。该方法将人脸的灰度信息和几何信息适当分离,分别用不同的分类器进行训练,最后融合在一起进行人脸识别。实验结果表明,使用该方法相比,眼睛对齐的识别有很大的改善。例如,在错误接受率为0.001时,Yale和AT&T数据集的识别率分别提高了24%和33%。在LFW数据集中,这是一个具有挑战性的大数据集,在FAR为0.1时,改进为20%。
2018-02-07 cs.CV
Tree-gated Deep Regressor Ensemble For Face Alignment In The Wild
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所);Datakalab
面部对齐包括在图像中的面部上对齐形状模型。它是计算机视觉中的一个活跃领域,因为它是面部表情识别、面部识别和跟踪、面部动画等应用的预处理。当前最先进的方法已经在“简单”数据集上表现良好,即那些在头部姿势、表情、照明或部分遮挡方面存在适度变化的数据集,但对“野外”数据可能不鲁棒。在本文中,我们解决这个问题,使用一个合奏的深度回归,而不是一个单一的大型回归。此外,而不是平均每个回归的输出,我们提出了一个自适应加权方案,使用树结构的门。在几个具有挑战性的人脸数据集上的实验表明,我们的方法优于最先进的方法。
2019-07-10 cs.CV
Face Alignment Robust to Pose, Expressions and Occlusions
Michigan State University(密歇根州立大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个强大的约束局部模型的包围对齐的脸在存在显着的闭塞和任何未知的姿势和表达。为了解释部分遮挡,我们引入了鲁棒约束局部模型,该模型包括可变形形状和局部地标外观模型以及二进制遮挡标签的原因。我们的遮挡推理过程中的假设和测试搜索遮挡标签。假设产生的约束局部模型基于形状拟合随机采样的子集的地标检测器的响应,并进行评估的面部对齐的质量。为了跨越整个范围内的面部姿态和表情的变化,我们采用了一个独立的鲁棒约束局部模型的合奏搜索的姿态和表情的离散化表示。我们对大量的人脸图像进行了广泛的评价,包括遮挡和未遮挡的。我们发现,我们的人脸对齐系统完全在“实验室”捕获的面部图像上训练,表现出高度的泛化能力。我们的结果是准确和稳定的广泛的闭塞,姿态和表情的变化,从而在许多现实世界的人脸数据集上表现出色。
2017-07-19 cs.CV
Face Alignment in Full Pose Range: A 3D Total Solution
Center for Biometrics and Security Research & National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所生物识别与安全技术研究中心&模式识别国家重点实验室);Michigan State University(密歇根州立大学)
人脸配准是将人脸模型与图像进行匹配,并提取人脸像素的语义信息,是计算机视觉领域的一个重要研究课题。然而,大多数算法都是针对小到中等姿态(偏航角小于45度)的人脸设计的,这缺乏对齐高达90度的大姿态人脸的能力。挑战有三个方面。首先,常用的地标人脸模型假设所有地标都是可见的,因此不适合大姿态。其次,从正面到侧面,大姿势的面部外观变化更大。第三,标记大姿势中的地标是非常具有挑战性的,因为不可见的地标必须被猜测。在本文中,我们提出了一个新的对齐框架,称为3D密集人脸对齐(3DDFA),其中一个密集的3D变形模型(3DMM)通过级联卷积神经网络适合图像来解决这三个挑战。我们还利用三维信息合成人脸图像的侧面视图,提供丰富的样本训练。在具有挑战性的AFLW数据库上的实验表明,所提出的方法实现了显着的改进,国家的最先进的方法。
2018-04-02 cs.CV
Shuffle Transformer with Feature Alignment for Video Face Parsing
Tencent(腾讯)
这是一个简短的技术报告,介绍了TCParser团队在CVPR 2021的第三人称上下文(PIC)研讨会和挑战赛中的短视频人脸解析跟踪解决方案。在本文中,我们介绍了一个强大的骨干,这是基于交叉窗口的Shuffle Transformer,以提供准确的人脸解析表示。为了进一步获得更精细的分割结果,特别是在边缘上,我们引入了特征对齐聚合(FAA)模块。该方法可以有效地缓解多分辨率特征聚合所带来的特征错位问题。得益于更强的主干和更好的特征聚合,该方法在第三人称上下文(PIC)研讨会和挑战赛的短视频人脸解析赛道中获得了86.9519%的分数,排名第一。
2021-06-16 cs.CV
Towards End-to-End Face Recognition through Alignment Learning
Tsinghua University(清华大学)
在过去的十年中,人们提出了许多有效的人脸识别方法。虽然这些方法在许多方面有本质的不同,但它们的共同做法是在特征提取之前基于人脸结构的先验知识来具体地对准面部区域。在大多数系统中,人脸对齐模块是独立实现的。这实际上给端到端人脸识别模型的设计和训练带来了困难。在本文中,我们研究了端到端人脸识别中对齐学习的可能性,其中既不需要面部标志的先验知识,也不需要人工定义的几何变换。具体地,空间Transformer层被插入到卷积神经网络(CNN)中的特征提取层之前以用于面部识别。只有人类身份线索用于驱动神经网络自动学习最合适的几何变换和最合适的面部区域的识别任务。为了确保可重复性,我们的模型完全在公开可用的CASIA-WebFace数据集上进行训练,并在Labeled Face in the Wild(LFW)数据集上进行测试。我们已经实现了99.08%的验证准确度,这是最先进的基于单一模型的方法相媲美。
2017-01-25 cs.CV
Dense Cross-Scale Image Alignment With Fully Spatial Correlation and Just Noticeable Difference Guidance
针对现有无监督图像对齐精度有限、计算复杂的问题,提出考虑跨尺度特征相关性、支持精度效率权衡、含全空间相关性模块及恰可察觉差异引导的模型,实验证明其优于现有最优方法。
2025-11-12 cs.CV
Towards Arbitrary-View Face Alignment by Recommendation Trees
The Chinese University of Hong Kong(香港中文大学);SenseTime Group(商汤集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
学习同时处理任意视图的面部对齐,例如正面和侧面视图,似乎比我们想象的更具挑战性。困难在于i)适应不同视图中表现出的复杂外观-形状关系,以及ii)包含由于自遮挡和不同界标协议而变化的界标点集。大多数现有的研究通过训练多个视点特定的模型来解决这个问题,并进行头部姿势估计以进行模型选择。该解决方案是直观的,但是性能非常容易受到不准确的头部姿势估计的影响。在这项研究中,我们通过学习模型推荐树(EMRT),这是能够选择最佳的模型配置,而无需事先头部姿势估计的包围来解决这个缺点。统一框架无缝处理不同的视点和地标协议,并通过直接优化地标位置进行训练,从而在任意视图人脸对齐方面产生卓越的结果。这是第一个研究,执行人脸对齐的完整AFLW数据集与不同的意见,包括个人资料视图的脸。国家的最先进的性能也报告了MultiPIE和AFW数据集包含frontaland轮廓视图的面孔。
2015-11-20 cs.CV
CenterFace: Joint Face Detection and Alignment Using Face as Point
Huaqiao University(华侨大学);StarClouds(星云科技);Xiamen University(厦门大学);Shanghai Jiaotong University(上海交通大学)
无约束环境下的人脸检测和对齐通常部署在内存有限、计算能力较低的边缘设备上。本文提出一种单阶段的方法CenterFace,同时预测人脸框和地标位置,具有实时速度和高精度。所提出的方法也属于无锚范畴。这是通过以下方式实现的:(a)通过语义图学习人脸存在的可能性,(b)学习潜在地包含人脸的每个位置的限界框、偏移和五个界标。具体而言,该方法可以在单个CPU核心上实时运行,使用NVIDIA 2080 TI进行VGA分辨率图像的200 FPS,并且可以同时实现卓越的精度(WIDER FACE Val/Test-Easy:0.935/0.932,Medium:0.924/0.921,Hard:0.875/0.873和FDDB不连续:0.980,连续:0.732)。CenterFace的演示可以在https://github.com/Star-Clouds/CenterFace上获得。
2019-11-09 cs.CV
Two-stage Convolutional Part Heatmap Regression for the 1st 3D Face Alignment in the Wild (3DFAW) Challenge
University of Nottingham(诺丁汉大学)
本文介绍了我们提交的第一个3D人脸对齐在野生(3DFAW)的挑战。我们的方法建立在卷积部分热图回归的思想上[1],将其扩展到3D人脸对齐。我们的方法将问题分解为两个部分:(a)X,Y(2D)估计和(b)Z(深度)估计。在第一阶段,我们的方法通过使用卷积部分热图回归生成一组2D热图来估计面部地标的X,Y坐标,每个地标一个。然后,这些热图与输入的RGB图像一起被用作通过残差学习训练的非常深的子网络的输入,用于回归Z坐标。我们的方法在3DFAW挑战赛中排名第一,比第二好的结果高出22%以上。
2016-09-29 cs.CV
Learning Channel Inter-dependencies at Multiple Scales on Dense Networks for Face Recognition
West Virginia University(西弗吉尼亚大学)
我们提出了一种新的无约束人脸识别深度网络结构。该网络将几个关键组件集成在一起,以表征复杂的数据分布,例如无约束的人脸图像。受深度网络最新进展的启发,我们考虑了一些重要的概念,包括多尺度特征学习,网络层的密集连接,以及对不同网络流进行加权,以构建我们的深度网络结构。在无约束人脸匹配中对所开发的网络进行了评估,显示出学习各种质量的人脸图像所引起的复杂数据分布的能力。
2019-03-18 cs.CV
Mitigating Knowledge Discrepancies among Multiple Datasets for Task-agnostic Unified Face Alignment
本文提出TUFA框架,通过计算平均人脸形状并引入语义对齐嵌入构建可解释平面,统一多数据集学习目标,有效缓解知识差异,提升泛化、少样本及零样本人脸对齐性能。
2025-06-30 cs.CV
AI-KD: Towards Alignment Invariant Face Image Quality Assessment Using Knowledge Distillation
University of Ljubljana(卢布尔雅那大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所IGD);TU Darmstadt(达姆施塔特工业大学)
针对现有FIQA技术对人脸对齐敏感的问题,提出可适配任意FIQA方法的AI-KD知识蒸馏方案,经多数据集多模型验证,其能提升对齐鲁棒性并刷新SOTA性能,代码已开源。
2024-04-15 cs.CV
Face Alignment with Cascaded Semi-Parametric Deep Greedy Neural Forests
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(皮埃尔和玛丽·居里大学(巴黎第六大学));CNRS(法国国家科学研究中心)
人脸对齐是计算机视觉中的一个活跃的话题,包括在人脸上对齐形状模型。为此,大多数现代方法从最初的猜测开始,以级联的方式细化形状。这些形状更新可以应用于特征点空间(\textit{i.e.}显式更新)或低维参数空间。在本文中,我们提出了一个半参数级联,首先对齐参数形状,然后捕捉更细粒度的变形的显式形状。为了在每个级联阶段学习形状更新,我们引入了深度贪婪神经森林(GNF)模型,这是深度神经森林(NF)的改进版本。GNF似乎是人脸对齐的理想回归因子,因为它结合了可区分性,高表达性和快速评估运行时间。所提出的框架是非常快的,并在多个具有挑战性的基准测试,包括小型,中型和大型姿势实验,实现了高精度。
2017-03-05 cs.CV
Face Alignment using a 3D Deeply-initialized Ensemble of Regression Trees
Universidad Politécnica de Madrid(马德里理工大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);Universidad Complutense de Madrid(马德里康普顿斯大学)
本文提出3DDE面部对齐算法,通过3D模型初始化回归树集成级联,有效应对遮挡、大旋转和变形,在多个基准数据集上取得领先性能,并揭示了数据集偏差问题。
2019-12-13 cs.CV
ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation
SRI International(斯坦福国际研究院)
我们提出了一种新的面部轮廓和轮廓估计框架,ACE网,精细的人脸对齐任务。ACE-Net预测的面部锚点和轮廓比传统的面部标志更丰富,同时克服了其定义中的模糊性和不一致性。我们引入了弱监督损失,使ACE-Net能够从现有的面部标志数据集学习,而无需重新注释。相反,合成数据,从GT轮廓可以很容易地获得,在训练过程中使用,以弥合地标和真实的面部轮廓之间的密度差距。我们评估了ACE-Net相对于HELEN数据集的面部对齐准确性,HELEN数据集有194个注释的面部标志,而它只使用来自300-W数据集的68或36个标志进行训练。我们表明,ACE-Net生成的轮廓优于直接从68个GT地标插值的轮廓,ACE-Net也优于仅在基于GT地标的轮廓的全面监督下训练的模型。
2022-01-09 cs.CV
Tree-gated Deep Mixture-of-Experts For Pose-robust Face Alignment
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Datakalab
人脸对齐包括在人脸图像上对齐形状模型。它是计算机视觉中的一个活跃领域,因为它是许多人脸分析和合成应用的预处理。目前最先进的方法已经在“简单”数据集上表现良好,具有适度的头部姿势变化,但对于姿势高达90°的“野外”数据可能不鲁棒。为了增加对变化因素(例如,头部姿势或遮挡)的集合的鲁棒性,给定层(例如,回归器或上游CNN层)可以由使用专家集合而不是单个专家的混合专家模型(MoE)层代替。该混合物的权重可以作为门控函数来学习,以联合学习专家和相应的权重。在本文中,我们建议使用树结构的门,允许分层加权的专家(树-MoE)。我们研究了使用树-MoE层在不同的上下文中的框架中的人脸对齐级联回归,首先强调相关的,更专业的特征提取器取决于高层次的语义信息,如头部姿势(姿势树-MoE),其次作为一个整体更强大的回归层。我们在几个具有挑战性的人脸对齐数据集上进行了大量的实验,证明了我们的方法优于最先进的方法。
2019-10-21 cs.CV
Cascaded Face Alignment via Intimacy Definition Feature
The Hong Kong Polytechnic University(香港理工大学);Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司)
在本文中,我们提出了一个基于随机森林的快速级联回归模型的人脸对齐,通过一个新的局部特征。我们提出的局部轻量级特征,即亲密度定义特征(IDF),比地标姿态索引特征更具鉴别力,比梯度直方图(HOG)特征和尺度不变特征变换(SIFT)特征更有效,比局部二进制特征(LBF)更紧凑。实验结果表明,我们的方法在最具挑战性的数据集上进行测试时,达到了最先进的性能。与基于LBF的算法相比,该方法在对准精度测量方面可以实现约2倍的加速和20%以上的提高,并节省了一个数量级的内存需求。
2017-04-12 cs.CV
MobileFAN: Transferring Deep Hidden Representation for Face Alignment
Griffith University(格里菲斯大学);The University of Adelaide(阿德莱德大学);Wuhan University of Technology(武汉理工大学)
人脸特征点检测是人脸分析应用的重要前提。基于深度学习的方法目前主导着解决面部特征点检测的方法。然而,这样的作品通常引入大量的参数,导致高存储器成本。在本文中,我们的目标是一个轻量级的,以及有效的解决方案,面部标志检测。为此,我们提出了一个有效的轻量级模型,即移动人脸对齐网络(MobileFAN),使用一个简单的骨干MobileNetV2作为编码器和三个解卷积层作为解码器。所提出的MobileFAN,只有8%的模型大小和较低的计算成本,实现了优越的或等效的性能相比,国家的最先进的模型。此外,通过特征对齐蒸馏和特征相似性蒸馏,将人脸图的几何结构信息从大型复杂模型转移到我们提出的MobileFAN中,进一步提高了MobileFAN在人脸对齐方面的有效性和效率。在三个具有挑战性的面部标志点估计基准测试(包括COFW,300W和WFLW)上的大量实验结果显示了我们提出的MobileFAN对最先进方法的优越性。
2019-11-20 cs.CV
Towards Omni-Supervised Face Alignment for Large Scale Unlabeled Videos
Ningxia University(宁夏大学);Shanghai University(上海大学)
在本文中,我们提出了一个时空关系推理网络(STRRN)的方法来研究全监督的视频人脸对齐问题。与现有的完全监督的方法依赖于手工的大量注释不同,我们的学习器利用大规模未标记的视频加上可用的标记数据来生成辅助的合理训练注释。由于相邻的面部标志通常在连续帧中是相关和连贯的,因此我们的方法自动推理出地标之间的区别性时空关系,以实现稳定的面部跟踪。具体来说,我们仔细开发了一个可解释的和高效的网络模块,它解开每个静态帧的面部几何关系,同时强制执行跨相邻帧的双向循环一致性,从而允许从原始面部序列的内在时空关系的建模。大量的实验结果表明,我们的方法超越了最完全监督的最先进的性能。
2019-12-16 cs.CV