Facial Action Unit Detection using 3D Facial Landmarks
University of South Florida(南佛罗里达大学)
在本文中,我们提出了检测面部动作单位(AU)使用3D面部地标。具体来说,我们训练一个二维卷积神经网络(CNN)的三维面部标志,跟踪使用基于形状指数的统计形状模型,二进制和多类AU检测。我们表明,所提出的方法是能够准确地模拟AU发生,因为面部标志的运动直接对应于AU的运动。通过在3D地标上训练CNN,我们可以在两个最先进的情感数据集上实现准确的AU检测,即BP4D和BP4D+。使用所提出的方法,我们在超过330,000帧上检测到多个AU,报告了比最先进方法更好的结果。
2020-05-17 cs.CV
Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation
Zhejiang University(浙江大学)
针对姿态引导角色动画中面部身份难以保持的问题,提出基于三维可变形模型的FLT关键点变换对齐方法,显著提升生成视频的身份一致性。
2025-03-18 cs.CV cs.LG
Atypical Facial Landmark Localisation with Stacked Hourglass Networks: A Study on 3D Facial Modelling for Medical Diagnosis
Northumbria University(诺森比亚大学);Lancaster University(兰卡斯特大学);Deakin University(迪肯大学)
虽然面部生物识别技术已被广泛用于身份识别目的,但它最近已被研究为一系列疾病的医疗生物识别技术。在这一章中,我们研究了面部标志检测的非典型的3D面部建模面瘫的情况下,而潜在的这种建模可以帮助使用非典型的面部特征的医疗诊断。在我们的工作中,地标定位方法,如堆叠沙漏网络的研究进行和评估,以确定其准确性时,与看不见的非典型面孔。评估强调,最先进的堆叠沙漏架构优于其他传统方法。
2019-09-05 cs.CV cs.LG eess.IV
ArtFacePoints: High-resolution Facial Landmark Detection in Paintings and Prints
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
人脸标志点检测是艺术作品相似性分析的重要环节,可以对同一或相似艺术家的肖像进行比较。通过面部标志,不同类型的肖像,如绘画和印刷品,可以使用基于控制点的图像配准自动对齐。我们提出了一种基于深度学习的方法,用于绘画和印刷品的高分辨率图像中的面部标志检测。它将任务划分为用于粗略地标预测的全局网络和用于基于预测的全局地标坐标自动确定的眼睛、鼻子和嘴巴区域中的精确地标细化的多个区域网络。我们创建了一个合成增强的面部地标艺术数据集,包括艺术风格转移和几何地标移位。我们的方法证明了我们的高分辨率艺术品数据集的内部面部标志的准确检测,同时与竞争方法相比,与公共低分辨率艺术品数据集相当。
2022-10-17 cs.CV
Constrained Joint Cascade Regression Framework for Simultaneous Facial Action Unit Recognition and Facial Landmark Detection
Rensselaer Polytechnic Institute(伦斯勒理工学院)
级联回归框架已被证明是有效的面部特征点检测。它从初始人脸形状开始,并逐渐从局部外观特征预测人脸形状更新,以在下一次迭代中生成人脸标志点位置,直到收敛。在本文中,我们改进的级联回归框架,并提出了约束联合级联回归框架(CJCRF)的同时面部动作单元识别和面部地标检测,这是两个相关的人脸分析任务,但很少一起开发。特别地,我们首先学习面部动作单元和面部形状之间的关系作为约束。然后,在所提出的约束联合级联回归框架中,在约束的帮助下,我们迭代地更新面部标志位置和动作单元激活概率,直到收敛。实验结果表明,面部动作单元和人脸形状的相互交织的关系,提高了面部动作单元识别和面部标志点检测的性能。实验结果也证明了所提出的方法的有效性相比,国家的最先进的作品。
2017-09-23 cs.CV
Facial Landmark Correlation Analysis
Université Clermont Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心);SIGMA(SIGMA工程师学院);Institut Pascal(帕斯卡研究所);Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);LIRIS(里昂图像与信息系统实验室)
提出了一种人脸标志点位置相关性分析方法及其应用。虽然在文献中已经提出了许多面部标志点检测方法,但很少有明确考虑到标志点之间的内在关系。为了揭示和解释这种关系,我们提出用典型相关分析(CCA)来分析地标相关性。我们的实验表明,在当前的基准密集的面部地标注释是强相关的。我们提出了两个应用程序基于这种分析。首先,通过分析地标的相关性,我们得到了一些有趣的见解不同的地标检测模型(包括随机森林模型和CNN模型)的预测。我们还演示了CNN如何逐步学习预测面部标志。其次,我们提出了一种少样本学习方法,可以大大减少密集地标注释的手动工作。
2020-04-27 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位(FLL)的方法越来越准确地表征面部区域,一个问题仍然没有答案:这些方法对后续相关任务的影响是什么?在本文中,重点放在面部表情识别(FER),面部标志用于人脸注册,这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难(例如,姿势、表情、照明、遮挡、运动模糊),我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后,这些方法对FER的影响进行了研究。我们表明,迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题,我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Detecting facial landmarks in the video based on a hybrid framework
Guangdong University of Technology(广东工业大学)
为了动态检测视频中的面部标志,我们提出了一种新的混合框架,称为检测跟踪检测(DTD)。首先,基于传统的人脸检测方法,从视频序列的第一帧中提取人脸限界框。然后,界标检测器检测面部界标,其基于级联深度卷积神经网络(DCNN)。接着,在基于中值流跟踪前一帧中的面部标志之后,估计并验证当前帧中的面部限界框。最后,通过特征点检测器从验证过的人脸限界框中准确地检测出当前帧中的人脸特征点。实验结果表明,与基于DCNN的逐帧人脸特征点检测方法相比,该方法能更有效地检测出人脸特征点,且耗时更少。
2016-09-21 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University(东国大学)
野外面部表情识别(FER-W)的关键问题之一是,由于面部图像固有的复杂性和模糊性,策划大规模标记的面部图像是具有挑战性的。因此,在本文中,我们提出了一种自监督的简单面部标志编码(SimFLE)方法,可以学习有效的面部标志编码,这是提高FER-W性能的重要特征,而无需昂贵的标签。具体来说,我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同,语义掩蔽是基于在主干中处理的信道信息进行的,因此可以探索信道的丰富语义。此外,语义掩蔽过程是完全可训练的,使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明,与监督基线和其他自监督方法相比,该方法在人脸标志点定位方面具有明显的优势,并且性能有明显的提高。
2023-03-14 cs.CV
1DFormer: a Transformer Architecture Learning 1D Landmark Representations for Facial Landmark Tracking
iFLYTEK Research(讯飞研究院);University of Science and Technology of China(中国科学技术大学)
针对现有方法未充分挖掘1D关键点表征时序与结构建模潜力的问题,提出1DFormer架构,通过时序与空间维度的令牌交互学习表征,在人脸关键点跟踪任务上达到SOTA性能。
2024-02-01 cs.CV
Facial Landmark Machines: A Backbone-Branches Architecture with Progressive Representation Learning
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学)
人脸标志点定位在人脸识别和分析中起着至关重要的作用。在本文中,我们提出了一种新的级联骨干分支完全卷积神经网络~(BB-FCN)的快速,准确地定位在无约束和混乱的设置面部标志。我们提出的BB-FCN直接从原始图像生成面部标志响应图,无需任何预处理。BB-FCN遵循从粗到细的级联管道,该管道由用于粗略检测所有面部地标的位置的骨干网络和用于进一步细化其位置的每种类型的检测到的地标的分支网络组成。此外,为了方便在无约束设置下的面部标志定位,我们提出了一个大规模的基准命名为SYSU 16 K,其中包含16000张面孔的姿态,表情,照明和分辨率的变化很大。广泛的实验评估表明,我们提出的BB-FCN可以显着优于国家的最先进的约束下(即,仅在检测到的面部区域内)和不受约束的设置。我们进一步证实,我们提出的网络定位的高质量面部标志也可以提高面部检测的精度和召回率。
2018-12-10 cs.CV
RePFormer: Refinement Pyramid Transformer for Robust Facial Landmark Detection
Inception Institute of Artificial Intelligence(起始人工智能研究院);Terminus Group(特斯联科技集团);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出了一种改进的金字塔Transformer(RePFormer)的鲁棒性人脸标志检测。大多数面部界标检测器专注于学习代表性的图像特征。然而,由于忽略了地标的内部结构以及地标与上下文之间的关系,这些基于CNN的特征表示不足以处理复杂的现实世界场景。在这项工作中,我们制定了面部地标检测任务,沿着金字塔记忆细化地标查询。具体而言,金字塔Transformer头(PTH)被引入到建立地标之间的同源关系和地标和跨尺度上下文之间的异源关系。此外,一个动态地标细化(DLR)模块的设计,分解的地标回归到一个端到端的细化过程中,动态聚合查询转换为残差坐标预测。在四个人脸标志点检测基准及其各个子集上的大量实验结果表明,我们的框架具有优越的性能和高鲁棒性。
2022-07-08 cs.CV
Failure Detection for Facial Landmark Detectors
ETH Zurich(苏黎世联邦理工学院)
大多数人脸应用在很大程度上依赖于人脸和人脸标志检测器的准确性。当由于不准确的面部标志检测而导致面部对齐不良时,诸如性别、年龄和身份等属性的预测通常完全失败。尽管最近在面部和面部标志点检测方面取得了令人印象深刻的进展,但很少有研究是关于故障或不准确预测的恢复和检测。在这项工作中,我们研究了两个顶级最近的面部标志检测器,并为他们的输出设计置信模型。我们验证了我们的故障检测方法的标准基准(AFLW,HELEN),并正确识别超过40%的故障的地标检测器的输出。此外,通过我们的故障检测,我们可以在计算量略有增加的情况下,在性别估计应用程序上实现12%的错误减少。
2016-08-23 cs.CV
Multi-spectral Facial Landmark Detection
Monash University Malaysia(莫纳什大学马来西亚校区);EURECOM(欧洲通信研究院)
热面图像分析在某些情况下是有利的。例如,照明敏感的应用,如夜间监控;和隐私保护要求访问控制。然而,在响应行业需求方面,热面图像分析的研究不足,需要引起重视。人脸标志点的检测对于人脸识别、三维人脸重建、人脸表情识别等人脸分析任务具有重要意义。在本文中,我们提出了一个强大的神经网络启用面部标志检测,即深度多光谱学习(DMSL)。简单地说,DMSL由两个子模型组成,即人脸边界检测和地标坐标检测。这种架构展示了在可见光图像和热图像上检测面部标志的能力。特别地,所提出的DMSL模型在面部特征点检测中是鲁棒的,其中面部被部分遮挡,或面向不同方向。在Eurecom的可见光和热配对数据库上进行的实验表明,DMSL在热面部标志检测方面的性能优于最先进的技术。除此之外,为了实验的目的,我们还用它们各自的面部标志注释了一个热人脸数据集。
2020-06-09 cs.CV
Automated Detection of Cat Facial Landmarks
University of Haifa(海法大学)
针对动物情感计算领域缺乏高质量面部分析数据集的问题,本文构建了标注48个关键点的猫面部图像数据集,并提出基于放大集成的卷积神经网络关键点检测模型,在猫脸检测上表现优异且可迁移至人脸检测。
2024-03-05 cs.CV
Towards Accurate Facial Landmark Detection via Cascaded Transformers
Samsung R&D Institute China Xi’an (SRCX)(三星中国西安研发中心(SRCX));Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT))
准确的面部标志是许多与人脸相关的任务的必要先决条件。本文提出了一种基于级联Transformers的人脸特征点检测算法。我们将面部标志点检测制定为坐标回归任务,以便可以端到端地训练模型。通过Transformers中的自我注意,我们的模型可以固有地利用地标之间的结构化关系,这将有利于在具有挑战性的条件下(如大姿态和遮挡)进行地标检测。在级联细化过程中,基于可变形注意力机制,我们的模型能够提取目标地标周围最相关的图像特征进行坐标预测,从而带来更准确的对齐。此外,我们提出了一种新的解码器,同时细化图像特征和地标位置。在参数增加较少的情况下,检测性能进一步提高。我们的模型在几个标准的人脸标志检测基准上取得了新的最先进的性能,并在跨数据集评估中表现出良好的泛化能力。
2022-08-23 cs.CV
Facial Landmark Points Detection Using Knowledge Distillation-Based Neural Networks
University of Denver(丹佛大学)
人脸特征点检测是人脸图像分析中的一个重要环节。虽然一些基于深度学习的方法在这项任务中取得了不错的表现,但它们往往不适合在移动设备上运行。这些方法依赖于具有许多参数的网络,这使得训练和推理非常耗时。训练轻量级神经网络(如MobileNets)通常具有挑战性,并且模型的准确性可能较低。受知识蒸馏(KD)的启发,本文提出了一种新的损失函数来训练轻量级学生网络(例如,MobileNetV 2)用于面部标志检测。我们使用两个教师网络,一个宽容的教师和一个强硬的教师与学生网络。Tolerant-Teacher使用由活动形状模型创建的软地标进行训练,而Tough-Teacher使用地面实况(又名硬地标)地标点进行训练。为了利用教师网络预测的面部标志点,我们为每个教师网络定义了一个辅助损失(ALoss)。此外,我们定义了一个称为KD损失的损失函数,它利用两个预先训练的教师网络(EfficientNet-b3)预测的面部标志点来指导轻量级学生网络预测硬地标。我们在三个具有挑战性的面部数据集上的实验结果表明,所提出的架构将产生一个训练更好的学生网络,可以高精度地提取面部标志点。
2021-11-13 cs.CV
LandmarkGAN: Synthesizing Faces from Landmarks
University of Chinese Academy of Sciences(中国科学院大学);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
人脸合成是计算机视觉中的一个重要问题,有着广泛的应用。在这项工作中,我们描述了一种新的方法,即LandmarkGAN,基于面部地标作为输入来合成人脸。面部标志是面部表情和方向的自然、直观和有效的表示,独立于目标的纹理或颜色以及背景场景。我们的方法能够将一组面部标志转换为不同主题的新面孔,同时保持相同的面部表情和方向。人脸合成和再现的实验结果证明了该方法的有效性。
2021-02-06 cs.CV
The Blessing and the Curse of the Noise behind Facial Landmark Annotations
Purdue University(普渡大学);HP Labs(惠普实验室)
不断发展的二维人脸标志点检测算法使人们能够识别人脸,分析面部表情等,但是,现有的方法仍然遇到的问题时,不稳定的人脸标志点应用于视频。由于以往的研究表明,人脸标志点的不稳定性是由公共数据集之间的标签质量的不一致性,我们希望有一个更好的理解注释噪声的影响。在本文中,我们做了以下贡献:1)我们提出了两个度量,定量测量检测到的面部标志的稳定性,2)我们在现有的公共数据集的注释噪声建模,3)我们调查了不同类型的噪声在训练人脸对齐神经网络的影响,并提出了相应的解决方案。我们的研究结果表明,检测到的面部标志的准确性和稳定性的改善。
2020-07-30 cs.CV cs.MM
Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks
National Institute of Technology Karnataka(卡纳塔克国立理工学院)
本文提出的框架的主要目标是对人的面部表情进行分类。这些可分类的表情可以是六种普遍情绪中的任何一种,以及中性情绪。在执行初始面部定位之后,应用面部界标检测和特征提取,其中界标被确定为基准特征:眉毛、眼睛、鼻子和嘴唇。这主要是使用最先进的面部标志检测算法以及分别使用Sobel滤波器和Shi Tomasi角点检测方法的传统边缘和角点检测方法来完成的。这导致生成使用欧几里德距离公式化的输入特征向量,并将其训练到多层感知器(MLP)神经网络中,以便对正在显示的表情进行分类。所取得的成果进一步处理了某些情绪的高度一致性和表达的固有主观性。
2020-07-15 cs.CV
Deepfake Detection using ImageNet models and Temporal Images of 468 Facial Landmarks
Vellore Institute of Technology(韦洛尔理工学院)
本文介绍了我们关于使用时间图像进行深度伪造检测的结果和发现。我们通过使用这些面部标志处的像素值构建图像(称为时间图像),将存在于给定视频的帧之间的468个面部标志的运动中的时间关系建模为空间关系。CNN能够识别给定图像的像素之间存在的空间关系。研究中考虑了10种不同的ImageNet模型。
2022-08-15 cs.CV
Real-Time Facial Expression Recognition using Facial Landmarks and Neural Networks
提出了一种轻量级的基于人脸静态图像的特征提取、七种不同情绪分类和实时的【形】表情识别算法。在这方面,基于前述算法训练多层感知器(MLP)神经网络。为了对人脸进行分类,首先对输入图像进行预处理,对人脸进行定位和裁剪,然后使用人脸特征点检测库对人脸特征点进行检测。然后,人脸被分割成上脸和下脸,这使得能够从每个部分提取所需的特征。在所提出的模型中,同时考虑到基于几何和纹理的特征类型。在特征提取阶段之后,创建特征的归一化向量。使用这些特征向量训练3层MLP,在测试集上达到96%的准确率。
2022-01-31 cs.AI cs.CV cs.LG
Grand Challenge of 106-Point Facial Landmark Localization
JD AI(京东人工智能);Institute of Automation, Chinese Academic of Sciences(中国科学院自动化研究所);Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学);Vision and Image Center of Meituan(美团视觉与图像中心)
人脸标志定位在人脸识别、人脸姿态估计、人脸图像合成等众多人脸相关应用中是非常关键的一步。300-W、300-VW和Menpo挑战)的目标是预测68点界标,其不能描绘面部部件的结构。为了克服这个问题,我们构建了一个具有挑战性的数据集,命名为JD地标。每个图像都用106点标志手动注释。该数据集涵盖了姿势和表情的大量变化,这给预测准确的地标带来了很多困难。我们在此数据集上举办了一场106点面部地标定位竞赛1,并与IEEE国际多媒体会议和博览会(ICME)2019联合举办。本次比赛的目的是发现有效和强大的面部标志定位方法。
2019-07-24 cs.CV
Facial Landmark Visualization and Emotion Recognition Through Neural Networks
Unidad Profesional Interdisciplinaria de Ingeniería Campus Tlaxcala IPN(工程院tlaxcala校区ippn)
针对面部情绪识别中数据集分析不足的问题,提出面部关键点箱线图以识别异常值,并比较绝对位置与位移特征,发现神经网络优于随机森林。
2025-06-20 cs.AI cs.CV
Benchmarking Shadow Removal for Facial Landmark Detection and Beyond
University of South Carolina(南卡罗来纳大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Cleveland State University(克利夫兰州立大学);Tianjin University(天津大学)
人脸标志点检测是一项非常基础和重要的视觉任务,具有许多重要的应用。在实践中,人脸标志点检测可能会受到许多自然退化的影响。最常见和最重要的退化之一是由光源阻挡引起的阴影。虽然近年来提出了许多先进的阴影去除方法来恢复图像质量,但它们对人脸标志点检测的影响还没有得到很好的研究。例如,目前还不清楚阴影去除是否可以增强面部特征点检测对不同阴影模式的鲁棒性。在这项工作中,作为第一次尝试,我们构建了一个新的基准来链接两个独立但相关的任务(即,阴影去除和面部界标检测)。特别是,建议的基准涵盖了不同的强度,大小,形状和位置的各种面部阴影。此外,为了针对面部地标检测挖掘硬阴影模式,我们提出了一种新的方法(即,对抗阴影攻击),这使我们能够构建一个具有挑战性的基准子集进行全面的分析。利用构建的基准,我们对三种最先进的阴影去除方法和三种地标检测器进行了广泛的分析。这项工作的观察促使我们设计一种新的检测感知阴影去除框架,该框架使阴影去除能够实现更高的恢复质量,并增强部署的面部标志检测器的阴影鲁棒性。
2021-11-27 cs.CV
How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
The University of Nottingham(诺丁汉大学)
本文研究了一个非常深的神经网络在现有的2D和3D人脸对齐数据集上达到接近饱和性能的距离。为此,我们做出了以下5个贡献:(a)我们首次通过将最先进的地标定位架构与最先进的残留块相结合来构建非常强大的基线,在非常大但综合扩展的2D面部地标数据集上对其进行训练,并最终在所有其他2D面部地标数据集上对其进行评估。(b)我们创建了一个由2D地标网络引导的网络,该网络将2D地标注释转换为3D,并统一了所有现有的数据集,从而创建了LS 3D-W,这是迄今为止最大和最具挑战性的3D面部地标数据集~ 230,000张图像。(c)在此之后,我们训练了一个用于3D人脸对齐的神经网络,并在新引入的LS 3D-W上对其进行了评估。(d)我们进一步研究了影响人脸对齐性能的所有“传统”因素的影响,如大姿态,初始化和分辨率,并引入了一个“新”因素,即网络的大小。(e)我们表明,2D和3D人脸对齐网络实现了显着的准确性,这可能是接近饱和所使用的数据集的性能。训练和测试代码以及数据集可以从https://www.adrianbulat.com/face-alignment/下载
2017-09-07 cs.CV cs.LG
Real-Time Shape Tracking of Facial Landmarks
本文提出结合SegNet语义分割与KLT点跟踪器的方法,通过定期执行SegNet解决点丢失问题并降低计算开销,实现面部标志点精确形状的实时跟踪。
2018-07-14 cs.CV
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York(约克大学)
在本文中,我们描述了第三届情感识别在野生挑战赛中的一个条目,2015年。我们详细介绍了相关的实验,并表明,通过更准确地定位面部标志,只考虑它们之间的距离,我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确,而且更简单。
2016-03-30 cs.CV
A Detailed Look At CNN-based Approaches In Facial Landmark Detection
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Taiwan University(台湾大学);Halicioǧlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利乔奥卢数据科学研究所)
人脸标志点检测已经研究了几十年。已经提出了许多基于神经网络(NN)的方法用于检测地标,特别是基于卷积神经网络(CNN)的方法。一般来说,基于CNN的方法可以分为回归和热图方法。然而,没有研究系统地研究不同方法的特点。在本文中,我们研究了这两种基于CNN的方法,概括了它们的优缺点,并介绍了热图方法的一种变体,即逐像素分类(PWC)模型。据我们所知,使用PWC模型来检测面部标志还没有得到全面的研究。我们进一步设计了一个混合损失函数和一个判别网络来加强PWC模型中隐含的地标之间的相互关系,以提高检测精度,而不修改原始模型的结构。六个常见的面部标志数据集,AFW,海伦,LFPW,300-W,IBUG,和COFW被用来训练或评估我们的模型。综合评价结果表明,该模型在所有测试数据集上的性能优于其他模型。
2020-05-08 cs.CV cs.LG stat.ML
Facial Landmark Detection with Tweaked Convolutional Neural Networks
Information Sciences Institute, USC(南加州大学信息科学研究所);The Open University of Israel(以色列开放大学);Institute for Robotics and Intelligent Systems, USC(南加州大学机器人与智能系统研究所)
我们提出了一种新的卷积神经网络(CNN)设计的面部地标坐标回归。我们检查了标准CNN的中间特征,并显示了从后面提取的特征,更专业的层捕获粗略的地标位置。这提供了一种自然的方法,可以在网络中途应用差异化处理,根据面部对齐调整处理。由此产生的调整后的CNN模型(TCNN)以外观敏感的方式利用CNN的鲁棒性进行地标检测,而无需训练多部分或多尺度模型。我们在标准人脸地标检测和人脸验证基准测试上的结果显示,TCNN的性能远远超过了以前发表的性能。
2016-03-21 cs.CV
Facial Landmark Detection Evaluation on MOBIO Database
West Virginia University(西弗吉尼亚大学)
本文首次在MOBIO移动人脸数据库上评估人脸关键点检测,标注约20,600张图像的22个关键点,验证该数据库具有较高挑战性。
2023-07-06 cs.CV
Boosting Facial Action Unit Detection Through Jointly Learning Facial Landmark Detection and Domain Separation and Reconstruction
School of Electronic and Information Communications, Huazhong University of Science and Technology(华中科技大学电子与信息通信学院)
本文提出一种新的AU检测框架,通过多任务学习联合优化AU域分离与重构及面部关键点检测,并引入基于对比学习的特征对齐方案,在两个基准上优于现有最先进方法。
2024-03-04 cs.AI cs.CV cs.LG
Facial Landmark Detection: a Literature Survey
Rensselaer Polytechnic Institute(伦斯勒理工学院)
基准面部标志点在面部组件和面部轮廓周围的位置捕获由于头部运动和面部表情引起的刚性和非刚性面部变形。因此,它们对于各种面部分析任务很重要。多年来,已经开发了许多面部标志点检测算法来自动检测这些关键点,在本文中,我们对它们进行了广泛的回顾。我们将人脸标志点检测算法分为三大类:整体方法、约束局部模型(CLM)方法和基于回归的方法。它们在利用面部外观和形状信息的方式上有所不同。整体方法显式地建立模型来表示全局面部外观和形状信息。CLM显式地利用全局形状模型,但构建局部外观模型。基于回归的方法隐式地捕获面部形状和外观信息。对于每个类别中的算法,我们讨论了它们的基本理论以及它们的差异。我们还比较了它们在不同面部表情、头部姿势和遮挡情况下在受控和野生基准数据集上的表现。在评价的基础上,我们指出了它们各自的优势和劣势。还有一个单独的部分来回顾最新的基于深度学习的算法。调查还包括基准数据库和现有软件的清单。最后,我们确定了未来的研究方向,包括结合不同类别的方法,利用各自的优势,解决地标检测“在野外”。
2018-05-15 cs.CV
Less is More: Facial Landmarks can Recognize a Spontaneous Smile
North South University(北南大学);The Australian National University(澳大利亚国立大学);Biological Data Science Institute(生物数据科学研究所);CSIRO Agriculture & Food(联邦科学与工业研究组织农业与食品研究所);Amazon Web Services(亚马逊云科技)
微笑真实性分类是一项解释社会交往的任务。从广义上讲,它区分了自发的微笑和假装的微笑。以前的方法使用来自面部标志的手工设计的特征或以端到端的方式考虑原始微笑视频来执行微笑分类任务。基于特征的方法需要人类专家对特征工程和繁重的预处理步骤进行干预。相反,原始的微笑视频输入到端到端模型中,为这个过程带来了更多的自动化,代价是考虑了许多冗余的面部特征(除了地标位置之外),这些特征主要与微笑的准确性分类无关。目前尚不清楚如何以端到端的方式从地标中建立区分特征。我们提出了一个MeshSmileNet框架,一个Transformer架构,以解决上述限制。为了消除冗余的面部特征,我们的地标输入是从Attention Mesh中提取的,Attention Mesh是一种预先训练的地标检测器。同样,为了发现区别特征,我们考虑地标的相关性和轨迹。对于相对性,我们聚集面部地标,概念上在每帧上形成曲线,以建立局部空间特征。对于轨迹,我们通过自注意力机制估计地标组成特征随时间的运动,该机制捕获对同一地标的轨迹的成对依赖性。这个想法使我们能够在UVA-NEMO,BBC,MMI面部表情和SPOS数据集上实现最先进的性能。
2022-10-09 cs.CV
Combining Data-driven and Model-driven Methods for Robust Facial Landmark Detection
University of Chinese Academy of Sciences(中国科学院大学)
人脸标志点检测是计算机视觉应用中一项重要而又具有挑战性的任务。本文提出了一种有效的和强大的方法相结合的数据和模型驱动的方法来检测人脸标志。首先,训练全卷积网络(FCN)来计算所有面部标志点的响应图。这种数据驱动的方法可以充分利用人脸图像中的整体信息进行人脸特征点的全局估计。然后,用预先训练的点分布模型(PDM)拟合响应图中的最大点,以生成初始面部形状。该模型驱动的方法能够通过考虑形状先验信息来校正离群点的不准确位置。最后,一个加权版本的正则化地标均值漂移(RLMS)迭代微调的面部形状。该估计-校正-调整过程完美地结合了数据驱动方法(FCN)的全局鲁棒性、模型驱动方法(PDM)的异常值校正能力和RLMS的非参数优化的优点。大量的实验结果表明,我们的方法在具有挑战性的数据集,包括300 W,AFLW,AFW和COFW上实现了最先进的性能。所提出的方法是能够产生令人满意的检测结果的面部图像与夸张的表情,大的头部姿态,和部分遮挡。
2018-02-12 cs.CV
Facial Expression Translation using Landmark Guided GANs
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
我们提出了一个简单而强大的地标引导生成对抗网络(LandmarkGAN)的面部表情到表情的翻译使用一个单一的图像,这是一个重要的和具有挑战性的任务,在计算机视觉,因为表情到表情的翻译是一个非线性和非对齐的问题。此外,它需要输入和输出图像之间的高级语义理解,因为图像中的对象可以具有任意的姿势、大小、位置、背景和自遮挡。为了解决这个问题,我们建议显式利用面部地标信息。由于这是一个具有挑战性的问题,我们将其分为两个子任务:(i)类别引导的地标生成,以及(ii)地标引导的表达式到表达式的翻译。两个子任务以端到端的方式进行训练,旨在从生成的地标和表达式中享受相互改进的好处。与目前的关键点引导方法相比,所提出的LandmarkGAN只需要一个单一的面部图像来生成各种表情。在四个公共数据集上的大量实验结果表明,与仅使用单个图像的最新方法相比,所提出的LandmarkGAN实现了更好的结果。该代码可在https://github.com/Ha0Tang/LandmarkGAN上获得。
2022-09-05 cs.AI cs.CV
Super-realtime facial landmark detection and shape fitting by deep regression of shape model parameters
RWTH Aachen University(亚琛工业大学)
我们提出了一种高效的地标检测方法,该方法将深度卷积神经网络与基于模型的拟合算法相结合。受已建立的基于模型的拟合方法(如活动形状)的启发,我们使用地标位置的PCA来生成面部地标的建模。代替使用迭代优化来计算模型参数,PCA被包括在使用新的层类型的深度神经网络中。该网络在单次向前传递中预测模型参数,从而允许每秒数百帧的面部标志检测。我们的架构允许基于模型的地标检测方法的直接端到端训练,并表明深度神经网络可用于直接可靠地预测模型参数,而无需迭代优化。该方法在不同的数据集上进行评估,用于面部标志检测和医学图像分割。PyTorch代码可在https://github.com/justusschock/shapenet免费获得
2019-02-09 cs.CV eess.IV
Robust Facial Landmark Detection by Cross-order Cross-semantic Deep Network
Shenzhen University(深圳大学);Hanshan Normal University(韩山师范学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院)
近年来,基于卷积神经网络(CNN)的人脸标志点检测方法取得了巨大的成功。然而,现有的基于CNN的人脸标志点检测方法大多没有尝试激活多个相关的人脸部位并从中学习不同的语义特征,无法准确地建模局部细节之间的关系,无法充分挖掘更具区分力和精细的语义特征,从而存在局部遮挡和大的姿态变化。为了解决这些问题,我们提出了一个跨顺序跨语义深度网络(CCDN)来增强语义特征学习,以实现鲁棒的面部地标检测。具体而言,提出了一种跨阶双挤压多激励(CTM)模块,以引入跨阶通道相关性,用于更具区分性的表征学习和多个注意特定部分激活。此外,一个新的跨顺序跨语义(COCS)正则化器的设计,以驱动网络学习跨顺序跨语义特征,从不同的激活人脸标志检测。有趣的是,通过集成CTM模块和COCS正则化器,所提出的CCDN可以有效地激活和学习更多精细和互补的跨顺序跨语义特征,以提高在极具挑战性的场景下面部标志点检测的准确性。在具有挑战性的基准数据集上的实验结果表明,我们的CCDN优于最先进的面部标志检测方法。
2020-11-16 cs.CV
Accurate 3D Facial Geometry Prediction by Multi-Task, Multi-Modal, and Multi-Representation Landmark Refinement Network
University of Southern California(南加州大学)
这项工作的重点是完整的三维面部几何预测,包括三维面部对齐通过三维面部建模和面部方向估计使用建议的多任务,多模态,多代表性的地标细化网络(M $^3$-LRN)。我们的重点是重要的面部属性,3D地标,我们充分利用其嵌入的信息来指导3D面部几何学习。首先,我们提出了一个多模态和多代表性的特征聚合地标细化。接下来,我们首次研究了稀疏3D地标的3DMM回归,并利用多表示优势来获得更好的几何预测。我们从学习3D面部几何的所有任务的广泛实验中获得了最先进的技术。我们密切验证每个模态和表示的贡献。我们的结果是强大的裁剪的脸,水下场景,和极端的姿势。特别是在M $^3$-LRN中,我们只采用了简单而广泛使用的网络操作,在人脸方向估计上比目前最好的性能提高了近20%.在这里查看我们的项目页面。
2021-04-16 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架,结合ResNet50与带空间注意力的EfficientNetV2B0分支,改造CPLFW数据集后验证,实现姿态不变人脸识别与面部关键点定位,获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Automatic Quantification of Facial Asymmetry using Facial Landmarks
Rochester Institute of Technology(罗切斯特理工学院);University of Rochester Medical Center(罗切斯特大学医学中心)
单侧面瘫会导致面部两侧的面部肌肉运动不均匀。目前,医生基于他们的临床经验以主观方式评估面部不对称性。本文提出了一种新的方法来提供一个客观的和定量的不对称分数正面的面孔。我们的指标有可能帮助医生诊断以及监测单侧面瘫患者的康复。基于深度学习的界标检测技术用于估计风格不变的面部界标点,并且密集光流用于从短帧序列生成运动图。六个面部区域被认为对应于前额、眼睛和嘴的左右部分。计算运动并在每个感兴趣区域的左右部分之间进行比较以估计对称性分数。为了测试,从面部表情数据集合成生成不对称序列。一个分数方程来量化对称和不对称的脸序列中的对称性。
2021-03-20 cs.CV
DogFLW: Dog Facial Landmarks in the Wild Dataset
University of Haifa(海法大学);Dogs and Science;University of Parma(帕尔马大学)
针对动物面部表情自动分析数据不足的问题,本文借鉴猫脸关键点数据集,构建含3,274张图像、46个解剖关键点标注的 DogFLW 犬脸数据集。
2024-05-19 cs.CV
Semantic Style Transfer for Enhancing Animal Facial Landmark Detection
University of Haifa(海法大学)
本文提出将语义风格迁移用于动物面部关键点检测训练,通过在裁剪面部图像上应用监督式风格迁移和数据增强,在猫面部关键点检测任务中保留98%基线精度并提升鲁棒性,且方法可推广至其他物种。
2025-05-08 cs.CV
Facial Image Deformation Based on Landmark Detection
Shanghai Jiao Tong University(上海交通大学)
在这项工作中,我们使用面部标志,使面部图像的变形更真实。变形包括眼睛的扩大和鼻子、嘴巴和脸颊的缩小。先进的106点面部标志检测器被用来提供变形的控制点。膨胀采用双线性插值,收缩采用移动最小二乘法,包括仿射变形、相似变形和刚性变形。我们比较了运行时间以及使用不同的MLS方法的变形图像的质量。实验结果表明,刚性变形,可以保持图像的其他部分不变,即使它需要最长的时间表现得更好。
2021-06-06 cs.CV eess.IV
FaceDig: Automated tool for placing landmarks on facial portraits for geometric morphometrics users
Charles University(查理大学)
针对几何形态计量学中人工面部标志点标注耗时、易出错的问题,研究团队推出开源AI工具FaceDig,基于大规模多样本人脸数据集训练,可实现与专家精度相当的2D正面人脸标志点自动标注,兼容主流分析工具,提升研究可复现性。
2024-11-03 cs.AI cs.CV cs.LG
FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields
The Hong Kong University of Science and Technology(香港科技大学)
该研究提出FLNeRF模型,首次实现直接在神经辐射场上预测3D人脸关键点,通过表情增强训练提升精度,经实验验证有效性,可支撑高质量人脸编辑等下游任务。
2023-06-16 cs.CV cs.GR
Facial Landmarks Localization using Cascaded Neural Networks
Bar-Ilan University(巴伊兰大学);Roma Tre University(罗马第三大学)
面部标志的准确定位是面部分析任务的核心,例如面部识别和面部表情分析等。在这项工作中,我们提出了一种基于深度学习架构的新型定位方法,该架构利用具有卷积神经网络单元的级联子网络。第一子网络的级联单元估计地标位置的基于热图的编码,而第二子网络的级联单元接收对应热图估计单元的输出作为输入,并且通过回归来细化它们。实验结果表明,该方案与当代最先进的方案相比,尤其是当应用于描绘具有挑战性的定位条件的图像时。
2021-07-19 cs.CV
Unconstrained Facial Landmark Localization with Backbone-Branches Fully-Convolutional Networks
本文研究了如何在无约束、杂乱的环境中而不是在分割好的人脸图像中快速准确地定位人脸标志点。我们提出了一种新的骨干-分支全卷积神经网络(BB-FCN),它直接从原始图像产生面部标志响应图,而不依赖于预处理或滑动窗口的方法。BB-FCN包含一个主干和多个网络分支,每个分支对应一个地标类型,并以渐进的方式运行。具体而言,主干通过将整个图像作为输入来粗略地检测面部标志的位置,并且分支基于来自主干的中间特征图的局部观察来进一步细化定位。此外,我们的主干分支架构不包含用于位置回归的全连接层,从而实现有效的学习和推理。我们广泛的实验表明,我们的模型在约束(即人脸区域)和“野外”场景下都取得了优于其他国家的最先进的性能。
2016-04-14 cs.CV
CatFLW: Cat Facial Landmarks in the Wild Dataset
University of Haifa(海法大学)
本文提出CatFLW数据集,包含2016张猫脸图像和48个关键点标注,并介绍了一种半监督标注方法,显著减少标注时间,推动动物面部分析自动化。
2023-05-07 cs.CV
FLNet: Landmark Driven Fetching and Learning Network for Faithful Talking Facial Animation Synthesis
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
说话人脸合成在基于外观或基于变形的方法中得到了广泛的研究。以往的作品大多是利用单一的人脸图像作为源,并通过合并其他人的面部特征来生成新颖的面部动画。然而,一些面部区域,如眼睛或牙齿,这可能是隐藏在源图像中,不能忠实和稳定的合成。本文提出了一种地标驱动的双流网络来生成真实的说话人面部动画,在该网络中,从多个源图像而不是单个源图像中创建、保存和传输更多的面部细节。具体来说,我们提出了一个由学习和获取流组成的网络。提取子网络直接学习从五个具有显著特征的源图像中集中地扭曲和合并面部区域,而学习管道从训练面部空间中渲染面部器官以进行补偿。实验结果表明,与基线算法相比,该方法在定量和定性上都有更高的性能。代码位于https://github.com/kgu3/FLNet_AAAI2020。
2019-11-21 cs.CV
Predicting Personal Traits from Facial Images using Convolutional Neural Networks Augmented with Facial Landmark Information
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Microsoft Research(微软研究院);Cambridge University(剑桥大学)
我们考虑的任务是根据一个人的面部图像来预测他的各种特征。我们既评估了客观特征,如性别、种族和头发颜色;也评估了主观特征,如一个人表达的情感,或者他是否幽默或有吸引力。为了进行大规模的实验,我们贡献了一个新的面部属性数据集(FAD),其中包含超过10,000张面部图像的上述特征的大约200,000个属性标签。由于最近对深度卷积神经网络(CNN)的研究激增,我们首先使用CNN架构来估计面部属性,并证明它们确实提供了令人印象深刻的基线性能。为了进一步提高性能,我们提出了一种新的方法,该方法将输入图像的面部地标信息作为额外的通道,帮助CNN学习更好的属性特定特征,以便各种训练图像中的地标保持对应关系。我们实证分析了我们的方法的性能,显示出跨特征的基线一致的改善。
2016-05-29 cs.CV
InfAnFace: Bridging the infant-adult domain gap in facial landmark estimation in the wild
Roux Institute(鲁克斯研究所);Northeastern University(东北大学);University of Maine(缅因大学)
我们为婴儿面部的算法理解研究奠定了基础,预期从医疗保健到心理学的应用,特别是在发育障碍的早期预测方面。具体来说,我们介绍了有史以来第一次的数据集的婴儿面部标注的面部标志坐标和姿态属性,展示了现有的面部标志估计算法在婴儿领域的不足之处,和训练新的国家的最先进的模型,显着改善后,这些算法使用领域自适应技术。我们触及了与婴儿面部检测密切相关的任务,以及我们实验室收集的红外婴儿监视器图像的一个具有挑战性的案例研究,作为对上述发展问题的现场研究的一部分。
2022-05-27 cs.CV
Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry
University of Southern California(南加州大学)
本文提出3DMM与三维关键点之间的表示循环协同过程,仅用简单网络操作即可实现快速、鲁棒且精确的完整三维面部几何预测。
2024-01-17 cs.CV cs.GR
Robust Facial Landmark Detection by Multi-order Multi-constraint Deep Networks
Hanshan Normal University(韩山师范学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Wuhan University(武汉大学)
最近,热图回归在人脸标志点检测中得到了广泛的研究,并取得了显著的效果。然而,现有的基于热图回归的人脸标志点检测方法大多忽略了对高阶特征相关性的探索,而高阶特征相关性对于学习更多代表性特征和增强形状约束非常重要。此外,没有明确的全局形状约束已被添加到最终预测的地标,这导致准确性降低。为了解决这些问题,在本文中,我们提出了一种多阶多约束深度网络(MMDN),用于更强大的特征相关性和形状约束学习。具体而言,隐式多阶相关几何感知(IMCG)模型,提出了引入多阶空间相关性和多阶信道相关性的更具鉴别力的表示。此外,显式概率为基础的边界自适应回归(EPBR)方法的发展,以加强全球的形状约束,并进一步搜索语义一致的地标预测边界鲁棒的面部标志检测。有趣的是,所提出的MMDN可以生成更准确的边界自适应地标热图,并有效地增强对具有大姿态变化和严重遮挡的面部的预测地标的形状约束。具有挑战性的基准数据集上的实验结果表明,我们的MMDN国家的最先进的面部标志检测方法的优越性。该准则已在https://github.com/junwan2014/MMDN-master上公开发布。
2020-12-10 cs.CV