A Facial Expression Classification System Integrating Canny, Principal Component Analysis and Artificial Neural Network
University of Science（科学大学）；University of Pedagogy（教育大学）
人脸表情分类是近年来的一个研究热点。有很多方法可以解决这个问题。在本研究中，我们提出了一种新的方法，使用Canny，主成分分析（PCA）和人工神经网络。首先，在预处理阶段，我们使用Canny算法对人脸图像进行局部区域检测。然后，每个局部区域的特征将被提出的基础上的主成分分析（PCA）。最后，利用人工神经网络（ANN）对人脸表情进行分类。我们应用我们的建议方法（Canny_PCA_ANN）识别JAFFE数据库上的6个基本的面部表情，由10名日本女性模特构成的213幅图像。实验结果表明了该方法的可行性。
2011-11-17 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt（达姆施塔特应用技术大学）
在过去的几年中，人脸识别技术已经显示出令人印象深刻的识别性能，这主要是由于深度卷积神经网络的最新发展。尽管有这些改进，仍然存在影响人脸识别系统性能的几个挑战。在这项工作中，我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此，我们首先收集了一个适当的数据库，其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测，质量估计，以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明，面部纹身和绘画影响所有的测试模块，特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究，并表明需要设计算法，这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
Facial Surface Analysis using Iso-Geodesic Curves in Three Dimensional Face Recognition System
Sultan Moulay Slimane University（苏丹穆莱·斯利马内大学）
在本文中，我们提出了一个自动三维人脸识别系统。该系统基于三维快速推进算法，将人脸表面表示为等测地线（IGC）的集合。为了比较两个面部表面，我们使用黎曼几何计算一对面部曲线之间的测地线距离。在分类步骤中，我们使用了用途：神经网络（NN），K-最近邻（KNN）和支持向量机（SVM）。为了测试该方法并评估其性能，在3D Shape Retrieval Contest 2008数据库（SHREC 2008）上进行了一系列仿真实验。
2016-08-31 cs.CV
Face Beneath the Ink: Synthetic Data and Tattoo Removal with Application to Face Recognition
Hochschule Darmstadt（达姆施塔特应用技术大学）
分析人脸的系统近年来有了显著的改进，目前已用于许多应用场景。然而，这些系统已被发现受到面部改变如纹身的负面影响。为了更好地理解和减轻面部分析系统中面部纹身的影响，需要有纹身和没有纹身的个人的图像的大型数据集。为此，我们提出了一个自动添加逼真的纹身到面部图像的生成器。此外，我们通过使用基于深度学习的模型从面部图像中去除纹身来证明生成的可行性。实验结果表明，它是可能的，从真实图像中删除的面部纹身，而不降低图像的质量。此外，我们表明，在提取和比较面部特征之前，使用所提出的基于深度学习的纹身去除可以提高面部识别的准确性。
2022-05-06 cs.CV
Diversity in Faces
IBM Research（IBM研究院）
人脸识别是人工智能（AI）领域的一个长期挑战。目标是创建准确检测、识别、验证和理解人脸的系统。在使这些系统准确方面存在显著的技术障碍，特别是在不受约束的设置中，这是由于与姿势、分辨率、照明、遮挡和视点相关的混杂因素。然而，随着神经网络的最新进展，人脸识别已经达到了前所未有的准确性，这在很大程度上是建立在数据驱动的深度学习方法之上的。虽然这令人鼓舞，但限制面部识别准确性和公平性的一个关键方面是固有的面部多样性。每张脸都不一样。每一张脸都反映了我们的独特之处。我们的遗产的各个方面--包括种族、民族、文化、地理--以及我们的个人身份--年龄、性别和其他明显的自我表达表现，都反映在我们的脸上。我们希望人脸识别对每一张脸都同样准确。人脸识别需要公平。当我们依靠数据驱动的方法来创建人脸识别技术时，我们需要确保训练数据的必要平衡和覆盖。然而，仍然存在关于如何表示和提取相关面部特征以及定量测量面部多样性的科学问题。为了实现这一目标，人脸多样性（DiF）提供了一个100万张带注释的人脸图像数据集，用于推进人脸多样性的研究。这些注释是使用科学文献中十种成熟的面部编码方案生成的。面部编码方案提供了人类可解释的面部特征的定量测量。我们相信，通过将提取的编码方案应用于大量人脸，我们可以加速研究和开发，以创建更公平、更准确的人脸识别系统。
2019-04-08 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
FaceTopoNet: Facial Expression Recognition using Face Topology Learning
Ingenuity Labs Research Institute（英格纽蒂实验室研究所）；Irdeto Canada Corporation（加拿大爱迪德公司）
先前的工作已经表明，使用顺序学习器学习面部的不同组成部分的顺序可以在面部表情识别系统的性能中发挥重要作用。我们提出了FaceTopoNet，这是一个用于面部表情识别的端到端深度模型，它能够学习面部的有效树拓扑。然后，我们的模型遍历学习过的树以生成一个序列，然后将其用于形成一个嵌入来为顺序学习器提供信息。所设计的模型采用一个流学习结构和一个流学习纹理。结构流关注面部标志的位置，而纹理流的主要关注点是标志周围的补丁，以学习纹理信息。然后，我们利用一个有效的基于注意力的融合策略融合两个流的输出。我们在四个大规模的野生面部表情数据集上进行了广泛的实验-即AffectNet，FER 2013，ExpW和RAF-DB -以及一个实验室控制的数据集（CK+）来评估我们的方法。FaceTopoNet在五个数据集中的三个数据集上实现了最先进的性能，并在其他两个数据集上获得了有竞争力的结果。我们还进行了严格的消融和敏感性实验，以评估模型中不同组件和参数的影响。最后，我们进行了鲁棒性实验，并证明了FaceTopoNet与该领域的其他领先方法相比，对遮挡更鲁棒。
2022-09-13 cs.CV
FaceXFormer: A Unified Transformer for Facial Analysis
FaceXFormer提出统一Transformer框架，通过可学习任务token和双向交叉注意力解码器FaceX，在单一模型中实时完成十项面部分析任务并达到领先性能。
2025-03-10 cs.CV
Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
针对人脸表情识别中标签模糊、细粒度特征监督不足的问题，提出PF-ViT模型，通过生成扑克脸实现情感解耦与识别，在四个主流数据集上达到最优性能。
2024-10-10 cs.CV
Face Hallucination via Split-Attention in Split-Attention Network
Wuhan Institute of Technology（武汉工程大学）；Wuhan University（武汉大学）；Harbin Institute of Technology（哈尔滨工业大学）
最近，由于卷积神经网络（CNN）能够从大量样本中预测高频细节，因此已被广泛用于促进面部幻觉。然而，它们中的大多数未能同时考虑到整体面部轮廓和精细纹理细节，导致重建面部的自然度和保真度降低，并进一步损害下游任务的性能（例如，面部检测、面部识别）。为了解决这个问题，我们提出了一种新的外部-内部分裂注意力组（ESAG），它包括两个路径，分别负责面部结构信息和面部纹理细节。通过融合这两条路径的特征，同时增强了人脸结构的一致性和人脸细节的逼真度。然后，我们提出了一个分裂注意力在分裂注意力网络（SISN）重建逼真的高分辨率人脸图像级联多个ESAG。仿真实验结果表明，该方法不仅显著提高了幻觉人脸的清晰度，而且对后续的人脸识别性能也有很大的促进作用。代码已在https://github.com/mdswyz/SISN-Face-Hallucination上发布。
2021-07-07 cs.CV
Facial Landmark Detection Evaluation on MOBIO Database
West Virginia University（西弗吉尼亚大学）
本文首次在MOBIO移动人脸数据库上评估人脸关键点检测，标注约20,600张图像的22个关键点，验证该数据库具有较高挑战性。
2023-07-06 cs.CV
Exploring Large-scale Unlabeled Faces to Enhance Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是计算机视觉领域的一项重要研究内容，在人机交互、智能安防、情感分析等领域有着广泛的应用。然而，有限大小的FER数据集限制了表情识别模型的泛化能力，导致模型性能低下。为了解决这个问题，我们提出了一个半监督学习框架，利用未标记的人脸数据训练表情识别模型有效。我们的方法使用了一个动态阈值模块（\textbf{DTM}），可以自适应地调整置信度阈值，以充分利用人脸识别（FR）数据来生成伪标签，从而提高了模型的能力，面部表情建模。在ABAW5 EXPR任务中，我们的方法在官方验证集上取得了优异的结果。
2023-03-19 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Facial Expressions recognition Based on Principal Component Analysis (PCA)
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Alneelain University（尼罗大学）
人脸表情识别是一项视觉任务，可以在没有人类不适的情况下执行，是计算机研究领域中一个快速发展的领域。有许多应用程序和程序使用面部表情来评估人的性格，判断，感情和观点。人脸表情的识别是一项艰巨的任务，由于多种情况下，如面部遮挡，面部形状，光照，面部颜色等。本文提出了一种PCA的方法来区分不同情况下的面部表情和识别。依赖于本征人脸技术，使用标准的数据库图像。从而克服计算机难以识别人的特征和表情的问题。
2014-12-23 cs.CV
Robust Facial Landmark Detection via Aggregation on Geometrically Manipulated Faces
West Virginia University（西弗吉尼亚大学）
在这项工作中，我们提出了一个实用的方法来解决面部标志点检测的问题。该方法可以处理大的形状和外观变化下丰富的形状变形。为了处理形状的变化，我们配备了我们的方法与操纵的人脸图像的聚合。所提出的框架生成不同的操纵面只使用一个给定的人脸图像。该方法利用了这样一个事实，即输入域中小而精心制作的几何操作可以欺骗深度人脸识别模型。我们提出了三种不同的方法来生成操纵的脸，其中两个通过对抗攻击和其他一个使用已知的转换执行的操作。聚合被操纵的面部提供了更鲁棒的地标检测方法，其能够捕获面部形状的更重要的变形和变化。我们的方法被证明其优越性相比，国家的最先进的方法在基准数据集AFLW，300-W，和COFW。
2020-01-07 cs.CV
Deep Sketch-Photo Face Recognition Assisted by Facial Attributes
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度耦合的框架，以解决匹配素描图像对画廊的mugshots的问题。人脸草图具有关于人脸的空间拓扑和几何细节的基本信息，但缺少一些重要的面部属性，如种族、头发、眼睛和肤色。我们提出了一个耦合的深度神经网络架构，利用面部属性，以提高素描照片识别性能。所提出的属性辅助深度卷积神经网络（AADCNN）方法利用面部属性并利用来自面部属性识别和面部验证任务的损失函数，以便在公共嵌入子空间中学习丰富的鉴别特征。面部属性识别任务通过将从具有不同面部属性的个体提取的嵌入特征分开来增加人与人之间的差异，而验证任务通过将与一个人相关的所有特征拉在一起来减少人与人之间的差异。学习的区分特征可以很好地推广到在训练数据中看不到的新身份。与传统的草图-照片识别方法相比，该体系结构能够充分利用草图和补充的人脸属性信息来训练深度模型。在复合（E-PRIP）和半法医（IIIT-D半法医）数据集上进行了广泛的实验。实验结果表明，与现有的草图照片识别算法相比，该方法具有一定的优越性
2018-07-31 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
A Comprehensive Evaluation Framework for the Study of the Effects of Facial Filters on Face Recognition Accuracy
University of Notre Dame（北德克萨斯大学）
提出一个涵盖受控数据集、原则化滤镜选择与实验评估的综合框架，以大规模研究跨文化社交媒体面部滤镜对人脸识别的影响，并检测和恢复人脸嵌入空间中的滤镜效应。
2025-07-23 cs.CV
Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning
Shandong University of Science and Technology（山东科技大学）
本文提出细粒度面部深度生成网络与改进的多模态互补特征学习网络，在Lock3DFace和IIIT-D数据集上提升RGB-D人脸识别准确率，达到最先进性能。
2023-05-08 cs.CV
Robustness of Facial Recognition to GAN-based Face-morphing Attacks
IDEMIA（IDEMIA公司）；Ecole Centrale de Lyon（里昂中央理工学院）
多年来，面部变形攻击一直是令人担忧的原因。为了保持领先攻击者一步，研究人员提出了许多创建和检测变形图像的方法。然而，这些检测方法通常被证明是不够的。在这项工作中，我们确定了两种新的基于GAN的方法，攻击者可能已经在他的武器库中。每种方法进行评估，对国家的最先进的面部识别（FR）算法，我们证明，改善FR算法的保真度确实会导致攻击的成功率降低提供变形图像时，考虑设置操作接受阈值。
2020-12-18 cs.CV
Detection of Digital Facial Retouching utilizing Face Beauty Information
Hochschule Darmstadt, University of Applied Sciences（达姆施塔特应用技术大学）
本文提出利用面部美感信息提升面部修饰检测率，在未知攻击算法情况下实现1.1%的D-EER检测性能。
2025-12-09 cs.CV
SymFace: Additional Facial Symmetry Loss for Deep Face Recognition
Central Research Laboratory（中央研究实验室）；Bharat Electronics Limited（巴拉特电子有限公司）；IIT Kanpur（坎普尔印度理工学院）
本文提出SymFace附加对称性损失，通过垂直分割人脸并约束两半嵌入接近，以增强深度人脸识别，提升类间方差，使各类网络超越基线并达到最先进水平。
2024-09-18 cs.CV
LBFTI: Layer-Based Facial Template Inversion for Identity-Preserving Fine-Grained Face Reconstruction
College of Cyber Security, Jinan University（济南大学网络安全学院）
本文提出LBFTI方法，通过分解面部为前景、中景和背景三层，利用专用生成器和三阶段训练策略实现身份保持的细粒度面部重建，实验表明其在机器认证和人类感知相似性上均优于现有方法。
2026-04-20 cs.CV
Towards a Deep Learning Framework for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持人脸表情分析、人脸地标、人脸识别、姿态估计、三维人脸模型构建等的最重要的预处理步骤之一。虽然这个主题已经被深入研究了几十年，但由于现实世界中人脸图像的众多变体，它仍然具有挑战性。本文提出了一种基于多尺度快速区域的卷积神经网络（MS-FRCNN）从在各种具有挑战性的条件下收集的图像中鲁棒地检测人类面部区域，所述条件例如大遮挡、极低分辨率、面部表情、强照明变化等。所提出的方法在两个具有挑战性的面部检测数据库上进行基准测试，即更宽的人脸数据库和人脸检测数据集和基准（FDDB），并与最近的其他人脸检测方法进行比较，例如两阶段CNN，多尺度级联CNN，Faceness，聚合通道特征，HeadHunter，多视图人脸检测，级联CNN，实验结果表明，我们提出的方法始终取得了高度竞争力的结果与国家的最先进的性能对其他最近的人脸检测方法。
2017-01-02 cs.CV
FaceFilterSense: A Filter-Resistant Face Recognition and Facial Attribute Analysis Framework
Netaji Subhas University of Technology (NSUT)（纳塔吉·苏巴斯·技术大学（NSUT））
针对社交媒体滤镜干扰人脸识别的问题，提出FaceFilterSense框架，构建最新滤镜数据集，并引入FaceFilterNet模型，实现抗滤镜识别与属性分析，准确率达87.25%。
2024-04-18 cs.CV
Privacy-preserving Adversarial Facial Features
ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；Alibaba Group（阿里巴巴集团）；College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与电子工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）；School of Cyber Science and Technology, Zhejiang University（浙江大学网络空间安全学院）
本文提出AdvFace方法，通过影子模型生成对抗性特征以破坏特征到图像的映射，抵御重建攻击，无需修改识别网络，且保持识别精度。
2023-05-08 cs.CV
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
Finding your Lookalike: Measuring Face Similarity Rather than Face Identity
Lafayette College（拉斐特学院）；Google Research（谷歌研究院）
人脸图像是计算机视觉的主要研究领域之一，可以处理各种各样的任务。虽然人脸识别可能是最广泛的研究，许多其他的任务，如亲属关系检测，面部表情分类和面部衰老已经检查。在这项工作中，我们提出了新的，主观的任务，量化一对面孔之间的相似性。也就是说，我们预测面部图像之间的感知相似性，因为它们不是同一个人。虽然这项任务显然与面部识别相关，但它是不同的，因此有理由进行单独的调查。人们经常会说两个人长得很像，即使这两个人实际上并没有相互混淆。此外，由于人脸相似性不同于传统的图像相似性，因此在数据汇集和标记以及处理人类标记者之间的分歧主观意见方面存在挑战。我们提出的证据表明，寻找面部相似和识别面孔是两个不同的任务。我们提出了一个新的面部相似性数据集，并介绍了Lookalike网络，针对类似的面部分类，它优于针对同一任务的面部识别网络的临时使用。
2018-06-13 cs.CV
Improving Makeup Face Verification by Exploring Part-Based Representations
Institute of Computing, University of Campinas (Unicamp)（坎皮纳斯大学计算研究所（Unicamp））；Samsung R&D Institute Brazil（巴西三星研发研究院）
最近，我们看到全球面部识别市场规模的增长。尽管随着卷积神经网络的采用，面部识别技术取得了重大进展，但仍然存在开放的挑战，例如当面部化妆时。为了应对这一挑战，我们提出并评估采用面部部位融合当前的整体表示。我们提出了两种策略的面部部分：一个有四个区域（左眼周，右眼周，鼻子和嘴），另一个有三个面部三分之一（上，中，下）。在四个公开的化妆人脸数据集和具有挑战性的跨数据集协议中获得的实验结果表明，从面部部分提取的深度特征与整体表示的融合提高了人脸验证系统的准确性并降低了出错率，即使没有对CNN模型进行任何重新训练。我们提出的管道在四个数据集（EMFD，FAM，M501和YMU）上取得了有竞争力的结果。
2021-10-16 cs.CV
Occlusion-guided compact template learning for ensemble deep network-based pose-invariant face recognition
University of Houston（休斯顿大学）
从不同的面部块提取的深度网络表示的级联有助于提高面部识别性能。然而，连接的面部模板的大小增加，并包含冗余信息。以前的解决方案旨在减少面部模板的维数，而不考虑面部补丁的遮挡模式。在本文中，我们提出了一种遮挡引导的紧凑模板学习（OGCTL）的方法，只使用可见的补丁的信息来构建紧凑的模板。紧凑的人脸表示是不敏感的用于构建面部模板的补丁的数量，更适合于将来自不同视角的信息，基于图像集的人脸识别。代替在面部匹配中使用遮挡掩模（例如，DPRFS [38]），所提出的方法在模板构建中使用遮挡掩模，并在模板大小比DPRFS小一个数量级的具有挑战性的数据库上实现了显着更好的基于图像集的人脸验证性能。
2019-04-15 cs.CV
Dynamic Model of Facial Expression Recognition based on Eigen-face Approach
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
情感是传达信息的最好方式;有时它比语言承载更多的信息。近年来，由于人类情感的自动识别在安全、监控、市场营销、广告和人机交互等领域的广泛应用，人们对人类情感的自动识别产生了极大的兴趣。为了以自然的方式与计算机通信，将期望使用基于语音、手势和面部表情的更自然的人类通信模式。本文提出了一种整体的面部表情识别方法，该方法在时域上捕捉面部特征的变化，并对不同情绪下的图像序列进行分类。该方法使用Haar类特征来检测图像中的人脸。使用主成分分析（PCA）降低特征空间的维数。通过将后续的人脸图像投影到主特征方向上，对所获得的权重向量的变化模式进行建模，以将其分类为不同的情感。由于不同人的表情及其强度的差异，遵循特定于人的情感识别方法。使用正面人脸的灰度图像，该系统能够分类四种基本情绪，如快乐，悲伤，惊讶和愤怒。
2013-11-23 cs.CV
Using Augmented Face Images to Improve Facial Recognition Tasks
ByteDance Inc（字节跳动公司）
我们提出了一个框架，它使用GAN增强图像来补充某些特定属性，这些属性通常被低估，用于机器学习模型训练。这使我们能够提高面部识别任务的这些属性的推理质量。
2022-05-13 cs.CV cs.GR
Recognizing Facial Expressions of Occluded Faces using Convolutional Neural Networks
University of Bucharest（布加勒斯特大学）；Novustech Services（诺武斯特科技服务公司）
在本文中，我们提出了一种基于卷积神经网络（CNN）的面部表情识别方法，在一个困难的设置与严重的遮挡。更具体地说，我们的任务是识别戴着虚拟现实（VR）耳机的人的面部表情，该耳机基本上遮挡了面部的上部。为了准确地训练神经网络，在这种设置中，面部被严重遮挡，我们通过故意遮挡面部的上半部分来修改训练样本。这迫使神经网络专注于面部的下半部分，并获得比在整个面部上训练的模型更好的准确率。我们在FER+和AffectNet两个基准数据集上的实证结果表明，我们的CNN模型对下半脸的预测比在整个面部上训练的基线CNN模型高出13%，证明了它们适用于VR设置。此外，我们的模型对下半部分面部的预测不超过基线模型对完整面部预测的10%，证明面部下半部分有足够的线索来准确预测面部表情。
2019-11-12 cs.CV cs.LG
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
针对无标签人脸识别，提出基于 landmarks 的自监督方法 LAFS，利用人脸关键点补丁和特定增强学习关键表示，在多个基准上显著提升性能，尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Synthesizing Normalized Faces from Facial Identity Features
Google, Inc.（谷歌公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一种方法，用于合成一个人的脸的正面，中性表情图像给定的输入面部照片。这是通过学习从面部识别网络中提取的特征生成面部标志和纹理来实现的。与以前的方法不同，我们的编码特征向量在很大程度上是不变的照明，姿势和面部表情。利用这种不变性，我们训练我们的解码器网络只使用正面，中性表情的照片。由于这些照片对齐良好，我们可以将它们分解为稀疏的地标点和对齐的纹理贴图。然后，解码器独立地预测地标和纹理，并使用可微分的图像扭曲操作将它们组合起来。生成的图像可以用于许多应用，例如分析面部属性、曝光和白平衡调整或创建3D化身。
2017-10-17 cs.CV stat.ML
Real-Time Facial Expression Recognition using Facial Landmarks and Neural Networks
提出了一种轻量级的基于人脸静态图像的特征提取、七种不同情绪分类和实时的【形】表情识别算法。在这方面，基于前述算法训练多层感知器（MLP）神经网络。为了对人脸进行分类，首先对输入图像进行预处理，对人脸进行定位和裁剪，然后使用人脸特征点检测库对人脸特征点进行检测。然后，人脸被分割成上脸和下脸，这使得能够从每个部分提取所需的特征。在所提出的模型中，同时考虑到基于几何和纹理的特征类型。在特征提取阶段之后，创建特征的归一化向量。使用这些特征向量训练3层MLP，在测试集上达到96%的准确率。
2022-01-31 cs.AI cs.CV cs.LG
FACE-AUDITOR: Data Auditing in Facial Recognition Systems
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Stanford University（斯坦福大学）；University of Virginia（弗吉尼亚大学）
本文提出FACE-AUDITOR工具包，将人脸识别数据审计表述为用户级成员推断问题，通过选择探测集查询模型并利用图像相似度作为参考，判断用户人脸图像是否被用于训练，在多个数据集上准确率高达99%且具备鲁棒性。
2023-04-05 cs.CR cs.CV
About Face: A Survey of Facial Recognition Evaluation
我们调查了1976年至2019年间构建的100多个人脸数据集，其中包括来自各种来源、人口统计数据和条件的1700多万名受试者的1.45亿张图像。我们的历史调查显示，这些数据集是根据上下文信息，由政治动机，技术能力和当前规范的变化所塑造的。我们讨论了这些影响如何掩盖具体的做法（其中一些实际上可能是有害的或有问题的），并提出了明确的沟通这些细节的情况下，以建立一个更接地的理解技术在现实世界中的功能。
2021-02-01 cs.AI cs.CV
Face-LLaVA: Facial Expression and Attribute Understanding through Instruction Tuning
Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所）
本文提出 Face-LLaVA 多模态大语言模型，通过构建 FaceInstruct-1M 指令微调数据集和人脸区域引导交叉注意力视觉编码器，在面部表情识别、动作单元检测、属性检测、年龄估计和深度伪造检测等任务上取得优于开源模型的性能。
2025-04-09 cs.AI cs.CV cs.HC
The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition
Cognitive Architecture for Collaborative Technologies Unit, Istituto Italiano di Tecnologia（意大利技术研究院协作技术认知架构单元）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
当前用于自动面部表情识别（FER）的最先进的模型基于非常深的神经网络，这些神经网络是有效的，但是训练相当昂贵。由于情感识别的动态性，这一特点阻碍了情感识别模型的广泛应用。在本文中，我们通过形式化FaceChannel来解决这个问题，FaceChannel是一种轻量级的神经网络，其参数比常见的深度神经网络少得多。我们引入了一个抑制层，它有助于在网络的最后一层塑造面部特征的学习，从而提高性能，同时减少可训练参数的数量。为了评估我们的模型，我们在不同的基准数据集上进行了一系列实验，并演示了FaceChannel如何实现与当前FER最先进的性能相当的性能。我们的实验包括跨数据集分析，以估计我们的模型在不同的情感识别条件下的行为。最后，我们分析了FaceChannel如何学习和适应不同数据集的面部特征。
2020-09-15 cs.CV cs.LG eess.IV
Spontaneous Emotion Recognition from Facial Thermal Images
Indian Institute of Technology（印度理工学院）
计算机视觉中的一个关键研究领域是处理和理解包含人脸的图像。最常见的任务包括人脸检测，面部标志定位，人脸识别和面部表情分析。其他更专业的任务，如情感计算，从视频中提取生命体征或分析社交互动，通常需要执行上述任务中的一项或多项。在我们的工作中，我们分析了大量的热红外图像中的面部图像处理任务，这些任务目前使用基于规则的方法解决或根本没有解决，可以用现代的基于学习的方法来解决。我们已经使用USTC-NVIE数据库进行训练的一些机器学习算法的面部标志定位。
2020-12-13 cs.CV cs.HC eess.IV
Is Facial Recognition Biased at Near-Infrared Spectrum As Well?
Wichita State University（威奇托州立大学）
已发表的学术研究和媒体文章表明，人脸识别在人口统计学上存在偏见。具体而言，女性、深色皮肤的人和老年人的表现不平等。然而，这些已发表的研究已经检查了可见光谱（VIS）中面部识别的偏差。面部化妆、面部毛发、肤色和照明变化等因素已被归因于VIS处该技术的偏差。近红外（NIR）光谱在对照明变化、面部化妆和肤色等因素的鲁棒性方面优于VIS。因此，研究人脸识别在近红外光谱（NIR）上的偏差是值得的。第一项研究调查了人脸识别系统在近红外光谱上的偏差。为此，两个流行的近红外人脸图像数据集，即CASIA-Face-Africa和Notre-Dame-NIVL，分别由非洲人和白人受试者组成，用于研究面部识别技术在性别和种族上的偏见。有趣的是，实验结果表明，在近红外光谱下，性别和种族之间的人脸识别性能是平等的。
2022-10-31 cs.CV cs.CY cs.HC
Robustness Disparities in Face Detection
University of Maryland（马里兰大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在过去的十年里，面部分析系统已经被大公司部署，并受到学者和活动家的批评。许多现有的算法审计检查这些系统在面部分析系统的后期元素上的性能，如面部识别和年龄，情感或感知性别预测;然而，从公平的角度来看，这些系统的核心组件：面部检测，有时称为面部定位。由于人脸检测是人脸分析系统中的先决条件，因此我们在人脸检测中观察到的偏见将流向下游的其他组件，如面部识别和情感预测。此外，没有先前的工作集中在这些系统在各种扰动和腐败下的鲁棒性上，这就留下了各种人如何受到这些现象影响的问题。我们提出了第一个详细的人脸检测系统的基准，特别是研究商业和学术模型的噪声鲁棒性。我们使用标准和最近发布的学术面部数据集来定量分析面部检测鲁棒性的趋势。在所有的数据集和系统中，我们通常发现，个人照片谁是$\textit{masculine presenting}$，$\textit{older}$，$\textit{darker skin type}$，或有$\textit{dim lighting}$更容易受到错误比他们的同行在其他身份。
2022-11-29 cs.AI cs.CV cs.CY
Facial Feature Tracking under Varying Facial Expressions and Face Poses based on Restricted Boltzmann Machines
Rensselaer Polytechnic Institute（伦斯勒理工学院）
人脸特征跟踪是计算机视觉中的一个活跃领域，因为它与许多应用相关。这是一项重要的任务，因为人脸可能具有不同的面部表情、姿势或遮挡。在本文中，我们解决这个问题，提出了一个人脸形状先验模型，构造基于限制玻尔兹曼机（RBM）及其变种。具体来说，我们首先构建了一个基于深度信念网络的模型，以捕捉由于近正面视图的面部表情变化而导致的面部形状变化。为了处理姿态变化，正面人脸形状先验模型被并入到3路RBM模型中，该模型可以捕获正面人脸形状和非正面人脸形状之间的关系。最后，我们介绍的方法，系统地结合面部形状先验模型与图像测量的面部特征点。在基准数据库上的实验表明，该方法能够鲁棒、准确地跟踪人脸特征点，即使人脸具有明显的表情和姿态。
2017-09-18 cs.CV
Learning Facial Representations from the Cycle-consistency of Face
National Yang Ming Chiao Tung University（国立阳明交通大学）
面孔在许多方面表现出很大的差异，如身份，表情，姿势和面部造型。因此，从人脸图像中分离和提取这些特征是一个很大的挑战，特别是在无监督的方式。在这项工作中，我们引入了周期一致性的面部特征作为自由监督信号，学习面部表示从未标记的面部图像。通过叠加人脸运动周期一致性和身份周期一致性约束来实现学习。人脸运动周期一致性的主要思想是，给定一张有表情的人脸，我们可以通过去除人脸运动来对中性人脸进行去表情，并进一步进行重新表情以重建回原始人脸。身份循环一致性的主要思想是通过特征重规范化来剥夺给定的中性面孔的身份，从而实现去身份化为中性面孔，以及通过向中性面孔添加个人属性来实现重新身份化为中性面孔。在训练时，我们的模型学习解开两个不同的面部表示，以用于执行周期一致的面部重建。在测试时，我们使用线性协议计划评估面部表征的各种任务，包括面部表情识别和头部姿态回归。我们还可以直接将学习的面部表示应用于人识别，额化和图像到图像的翻译。我们的实验表明，我们的方法的结果是有竞争力的与现有的方法，展示了丰富和独特的信息嵌入在解开表示。代码可在https://github.com/JiaRenChang/FaceCycle上获得。
2021-08-07 cs.CV
A Generalist FaceX via Learning Unified Facial Representation
本文提出 FaceX 框架，通过宏观与微观分解面部表示并结合预训练 StableDiffusion 先验，实现单一模型同时处理多种面部编辑任务，性能媲美任务特定模型。
2023-12-31 cs.CV
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University（南京大学）；Megvii Technology（旷视科技）
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作，同时保持人脸的身份，以产生一个更有吸引力的脸。在本文中，我们提出了第一个生成对抗网络（GANs），用于在几何和外观方面增强面部吸引力，我们称之为“FA-GANs”。FA-GAN包含两个分支，从两个角度增强面部吸引力：面部几何形状和面部外观。每个分支由单独的GANs组成，其中外观分支调整面部图像，几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同，在增强同一个人之前和之后收集是不可行的，我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸，几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知，我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明，我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果，并且优于当前最先进的方法。
2020-06-06 cs.CV
FACEGAN: Facial Attribute Controllable rEenactment GAN
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
人脸再现是一种流行的人脸动画方法，其中人的身份是从源图像和面部运动的驱动图像。最近的工作已经通过将基于面部标志的运动表示与生成对抗网络相结合来展示高质量的结果。如果源图像和驱动图像描绘的是同一个人，或者面部结构非常相似，则这些模型的性能最好。然而，如果身份不同，则驱动面部结构泄漏到输出，从而使再现结果失真。我们提出了一种新的面部属性可控再现GAN（FACEGAN），它通过动作单元（AU）表示从驾驶面部传输面部运动。与面部标志不同，AU独立于面部结构，防止身份泄露。此外，AU提供了一种人类可解释的方式来控制重演。FACEGAN分别处理背景和人脸区域，以优化输出质量。广泛的定量和定性比较表明，在一个单一的源重现任务的最先进的一个明显的改善。补充材料中提供的重演录像最好地说明了这些结果。源代码将在论文发表后提供。
2020-11-09 cs.CV
Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations
Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Wenzhou University（温州大学）
本文提出DIRFA方法，通过基于Transformer的概率映射网络和时间偏置掩码，从同一音频生成多样且时间平滑的真实面部动画序列，解决了现有方法仅生成唇部运动而忽略表情的问题。
2023-04-18 cs.CV
Faceness-Net: Face Detection through Deep Facial Part Responses
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种深度卷积神经网络（CNN），用于利用基于面部属性的监督进行面部检测。我们观察到一个现象，即部分检测器出现在CNN训练分类属性从未裁剪的人脸图像，没有任何明确的部分监督。这一观察结果激发了一种新的方法，通过对面部部位的空间结构和排列进行评分来发现人脸。评分机制是数据驱动的，并且考虑到面部仅部分可见的挑战性情况而精心制定。这种考虑使我们的网络能够在严重遮挡和不受约束的姿态变化下检测人脸。我们的方法在流行的基准测试，包括FDDB，PASCAL Faces，AFW和WIDER FACE上取得了良好的性能。
2017-08-25 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild
Fudan University（复旦大学）
真实世界场景中的人脸属性分析是非常具有挑战性的，主要是因为复杂的人脸变化。现有的人脸属性分析工作大多是基于裁剪和对齐的人脸图像。然而，这导致属性预测的能力严重依赖于人脸检测器的预处理。为了解决这个问题，我们提出了一种新的联合学习的深度架构，用于面部属性分析和面部检测。我们的框架可以处理野外的自然图像，我们在CelebA和LFWA数据集上的实验清楚地表明，获得了最先进的性能。
2017-07-27 cs.CV
FD-GAN: Face-demorphing generative adversarial network for restoring accomplice's facial image
Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
人脸变形攻击是对现有人脸识别系统的严重威胁。虽然已经提出了一些人脸变形检测方法，但人脸变形共犯的人脸恢复仍然是一个具有挑战性的问题。本文提出了一种基于人脸去变形的生成对抗网络（FD-GAN）来恢复共犯的人脸图像。该算法利用对称的双网络结构和两级恢复损失来分离变形共犯的身份特征。通过利用从人脸识别系统捕获的面部图像（包含罪犯的身份）和存储在电子护照系统中的变形图像（包含罪犯和共犯的身份），FD-GAN可以有效地恢复共犯的面部图像。实验结果和分析证明了该方案的有效性。该算法在真实身份验证场景中具有很好的应用前景。
2019-03-22 cs.CV
A Deep Face Identification Network Enhanced by Facial Attributes Prediction
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个新的深度框架，预测面部属性，并利用它作为一个软模态，以提高人脸识别性能。我们的模型是一个端到端的框架，它由一个卷积神经网络（CNN）组成，其输出被分成两个独立的分支;第一个分支预测面部属性，而第二个分支识别面部图像。与现有的多任务方法只使用共享的CNN特征空间来联合训练这两个任务相反，我们将预测属性与来自人脸模态的特征相融合，以提高人脸识别性能。实验结果表明，我们的模型带来的好处，人脸识别以及面部属性的预测性能，特别是在身份的面部属性，如性别预测的情况下。我们在两个由身份和面部属性注释的标准数据集上测试了我们的模型。实验结果表明，该模型优于目前大多数现有的人脸识别和属性预测方法。
2018-04-20 cs.CV
