Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
本文提出利用基于 FACS 的面部动作单元（AUs）识别技术来扩展情感识别能力，并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Complex Facial Expression Recognition Using Deep Knowledge Distillation of Basic Features
School of Information Technology, Deakin University（德克萨斯大学信息学院）
本文提出了一种基于持续学习的方法，通过知识蒸馏和新颖的预测排序记忆重放，实现了复杂面部表情识别的最新状态，能够在少量样本下准确识别新复合表情类别。
2023-11-05 cs.AI cs.CV cs.LG
Facial Emotion Recognition: State of the Art Performance on FER2013
Boston University（波士顿大学）
人脸情感识别对于临床实践、行为描述等人机交互具有重要意义。由于人脸的异质性和图像的变化，如不同的面部姿势和照明，计算机模型的准确和鲁棒的FER仍然具有挑战性。在用于FER的所有技术中，深度学习模型，特别是卷积神经网络（CNN），由于其强大的自动特征提取和计算效率而显示出巨大的潜力。在这项工作中，我们在FER2013数据集上实现了最高的单网络分类精度。我们采用VGGNet架构，严格微调其超参数，并尝试各种优化方法。据我们所知，我们的模型在FER2013上实现了73.28%的最先进的单网络准确度，而无需使用额外的训练数据。
2021-05-08 cs.AI cs.CV cs.LG
Semantic Data Augmentation for Long-tailed Facial Expression Recognition
针对现实场景中面部表情识别因数据集长尾分布导致的挑战，本文提出一种基于VAE-GAN潜在空间的语义增强方法，通过为源数据编码引入随机性生成新样本，在RAF-DB数据集上实现长尾分布平衡，可扩展至多种数据密集型场景。
2024-11-26 cs.AI cs.CV
Deep Multi-Facial Patches Aggregation Network For Facial Expression Recognition
Université Paris Saclay（巴黎萨克雷大学）；Sorbonne Université（索邦大学）；Emlyon（里昂商学院）；Univ Paris Est Creteil（巴黎东部克雷泰伊大学）
在本文中，我们提出了一种基于深度多人脸补丁聚合网络的人脸表情识别（FER）方法。使用深度子网络从面部补丁学习深度特征，并将其聚合在一个深度架构中用于表情分类。几个问题可能影响基于深度学习的FER方法的性能，特别是现有FER数据集的小尺寸，其可能不足以训练大型深度学习网络。此外，收集和注释大量的面部图像是非常耗时的。为了解释这一点，我们提出了两种用于面部表情生成的数据增强技术来扩展FER标记的训练数据集。我们评估了三个FER数据集的建议框架。结果表明，当模型在来自同一数据集的图像上进行训练和测试时，所提出的方法实现了最先进的FER深度学习方法性能。此外，所提出的数据增强技术提高了表情识别率，因此可以成为使用小数据集训练深度学习FER模型的解决方案。当测试数据集偏倚时，准确性显著降低。
2020-02-20 cs.AI cs.CV cs.LG
Facial Action Unit Recognition Based on Transfer Learning
University of Science and Technology of China（中国科学技术大学）
人脸动作单元识别是人脸分析中的一项重要任务。由于采集环境的复杂性，野外人脸动作单元识别仍然具有挑战性。第三届野外情感行为分析竞赛（ABAW）提供了大量带有面部动作单元注释的面部图像。本文介绍了一种基于迁移学习的人脸动作单元识别方法。我们首先使用带有表情标签的可用面部图像来训练特征提取网络。然后，我们微调网络用于面部动作单元识别。
2022-03-25 cs.CV
Facial Expression Recognition with Swin Transformer
Dongguk University（东国大学）
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用，包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性，面部表情识别研究已经足够成熟，可以在具有视听数据集的真实场景中使用。在本文中，我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说，我们采用了三流网络（即，视频流、时间流和音频流），将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
Facial Expression Recognition Based on Complexity Perception Classification Algorithm
South China University of Technology（华南理工大学）
人脸表情识别一直是计算机视觉领域的一个具有挑战性的课题。不同的表情和不受控制的环境因素导致FER的复杂性和表情类别之间的可变性不一致，这在大多数面部表情识别系统中经常被忽视。为了有效地解决这一问题，本文提出了一种简单高效的CNN模型来提取人脸特征，并提出了一种复杂度感知分类（CPC）算法。CPC算法通过评估适合分类的面部特征的复杂度，将数据集分为容易分类的样本子空间和复杂分类的样本子空间。在Fer 2013和CK-plus数据集上的实验结果证明了该算法的有效性和优越性。
2018-03-01 cs.AI cs.CV
Domain Generalisation for Apparent Emotional Facial Expression Recognition across Age-Groups
Facebook AI Applied Research（Facebook人工智能应用研究）；University of Bristol（布里斯托大学）；Imperial College London（帝国理工学院）
近年来，基于表情的表情识别技术引起了人们的广泛关注.然而，大多数方法忽略了年龄差异，并且训练针对所有年龄的通用模型。在这项工作中，我们研究了使用不同的年龄组训练明显的情绪面部表情识别模型的效果。为此，我们研究领域泛化的背景下，明显的情绪面部表情识别不同年龄组的面部图像。我们首先比较了几个领域的泛化算法的基础上的域外泛化，并观察到类条件域对抗神经网络（CDANN）算法具有最好的性能。然后，我们研究了训练过程中使用的年龄组的种类和数量对泛化到看不见的年龄组的影响，并观察到训练年龄组数量的增加往往会增加看不见的年龄组的明显情绪面部表情识别性能。我们还表明，排除在训练过程中的一个年龄组往往会影响更多的表现相邻的年龄组。
2021-10-18 cs.CV cs.LG
An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition
该研究在三个面部表情数据集上比较HOG、LBP与轻量级CNN用于表情识别，结果显示CNN总体性能最佳，HOG在受控环境表现好，LBP较差，强调数据集复杂性影响性能，稳健特征学习对现实面部表情识别很关键。
2026-07-20 cs.CV cs.LG
Do Deep Neural Networks Forget Facial Action Units? -- Exploring the Effects of Transfer Learning in Health Related Facial Expression Recognition
Augsburg University（奥格斯堡大学）
在本文中，我们提出了一个过程，以调查的效果迁移学习的自动面部表情识别从情绪到痛苦。为此，我们首先训练一个VGG 16卷积神经网络来自动识别八种分类情绪。然后，我们连续微调该网络的较大部分，以学习自动疼痛识别任务的合适表示。随后，我们再次将这些微调的表示应用于情感识别的原始任务，以进一步研究模型之间的性能差异。在第二步中，我们使用逐层相关传播来分析模型的预测，这些预测以前被正确预测，但现在被错误分类。基于这种分析，我们依靠人类观察者的视觉检查来生成关于模型忘记了什么的假设。最后，我们利用概念嵌入分析方法对这些假设进行了定量检验。我们的研究结果表明，对于疼痛识别进行了充分微调的网络，确实对与表情识别相关但与疼痛识别无关的两个动作单位关注较少。
2022-03-16 cs.CV cs.LG
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Convolutional Experts Constrained Local Model for Facial Landmark Detection
Carnegie Mellon University（卡内基梅隆大学）
约束局部模型（CLM）是一个完善的家庭的方法，面部标志检测。然而，他们最近已经失宠级联回归为基础的方法。这部分是由于现有的CLM本地检测器无法对受表情、照明、面部毛发、化妆和配饰影响的非常复杂的个体地标外观进行建模。在我们的工作中，我们提出了一种新的本地检测器-卷积专家网络（CEN）-它汇集了神经架构和专家混合在一个端到端的框架的优势。我们进一步提出了一个卷积专家约束局部模型（CE-CLM）算法，使用CEN作为本地检测器。我们证明了我们提出的CE-CLM算法在四个公开数据集上的面部标志检测性能优于竞争对手的最先进基线。我们的方法在具有挑战性的轮廓图像上特别准确和强大。
2017-07-26 cs.AI cs.CV
I Know How You Feel: Emotion Recognition with Facial Landmarks
Tooploox（Tooploox公司）；Polish-Japanese Academy of Information Technology（波日信息技术学院）；Warsaw University of Technology（华沙理工大学）
人类情感的分类对于许多计算机视觉算法来说仍然是一项重要且具有挑战性的任务，特别是在日常生活中与人类共存的人形机器人时代。目前提出的情感识别方法使用多层卷积网络解决了这一任务，这些网络在分类阶段不会显式推断任何面部特征。在这项工作中，我们假设一个根本不同的方法来解决情感识别任务，依赖于将面部标志作为分类损失函数的一部分。为此，我们扩展了最近提出的深度对齐网络（DAN），该网络在最近的面部地标识别挑战中取得了最先进的结果，其中一个术语与面部特征相关。由于这个简单的修改，我们的模型称为AsymtionalDAN能够在两个具有挑战性的基准数据集上超过最先进的情感分类方法高达5%。
2018-10-23 cs.AI cs.CV
Explainable AI for Analyzing Person-Specific Patterns in Facial Recognition Tasks
University of Luxembourg（卢森堡大学）
本文提出可解释性方法 LEAM，通过分析 1000 名个体在 9 个人脸识别模型中的激活模式，揭示个体特定识别区域，为个性化隐私保护提供基础。
2025-09-22 cs.AI cs.CV
Emotion Recognition with Facial Attention and Objective Activation Functions
School of Computing, University of Leeds（利兹大学计算机学院）
本文研究在VGGNet、ResNet等CNN模型中引入SEN-Net、ECA-Net和CBAM注意力机制，并证明注意力结合不同激活函数可进一步提升面部情感识别性能。
2024-10-23 cs.AI cs.CV
PuFace: Defending against Facial Cloaking Attacks for Facial Recognition Models
The University of Hong Kong（香港大学）
本文提出 PuFace 图像净化系统，利用神经网络的泛化能力在训练前将伪装图像推向自然图像流形，有效防御面部伪装攻击，将攻击成功率降至 7.61%，且不降低模型正常准确率。
2024-06-04 cs.AI cs.CR cs.CV
ARPGNet: Appearance- and Relation-aware Parallel Graph Attention Fusion Network for Facial Expression Recognition
School of Computer Science, Northwestern Polytechnical University（计算机科学学院，西北工业大学）；Pengcheng Laboratory（鹏城实验室）；Zhejiang Lab（浙江实验室）
ARPGNet通过结合面部区域关系图和图注意力机制，提升面部表情识别的时空表示学习能力。
2025-11-27 cs.AI cs.CV
Towards a General Deep Feature Extractor for Facial Expression Recognition
Powder AI Research（Powder AI 研究院）；Université Paris-Est（巴黎东大学）
人脸传达了大量的信息。通过面部表情，面部能够传达许多情感，而不需要言语。视觉情感识别已经被广泛研究。最近，已经提出了几种端到端训练的深度神经网络用于此任务。然而，这样的模型往往缺乏跨数据集的泛化能力。在本文中，我们提出了深度面部表情向量提取（DeepFEVER），这是一种新的基于深度学习的方法，它可以学习一个足够通用的视觉特征提取器，可以应用于任何其他面部表情识别任务或数据集。DeepFEVER在AffectNet和Google Facial Expression Comparison数据集上的表现优于最先进的结果。DeepFEVER提取的特征也可以很好地推广到其他数据集，即使是那些在训练过程中看不见的数据集，即真实世界情感面孔（RAF）数据集。
2022-01-19 cs.CV cs.LG
A Survey of the Trends in Facial and Expression Recognition Databases and Methods
University of Washington, Bothell（华盛顿大学博塞尔分校）
自动面部识别和面部表情识别在过去几十年中一直是活跃的研究主题。面部和表情识别在人机界面、主题跟踪、实时安全监控系统和社交网络中找到应用。已经开发了几种整体和几何方法来使用公共和本地面部图像数据库识别面部和表情。在这项工作中，我们提出了面部图像数据集的演变和面部识别和识别的表情，如愤怒，悲伤，快乐，厌恶，恐惧和惊讶的方法。我们观察到，大多数用于面部和表情识别的早期方法旨在提高使用静态图像的基于面部特征的方法的识别率。然而，最近的方法已经将焦点转移到从随空间（从互联网收集）和时间（视频记录）而变化的大型图像数据库中鲁棒地实现面部/表情识别。面部和表情识别的数据库和方法的演变趋势可以用于评估下一代主题，这些主题可能在涉及“定量面部”评估的安全系统或个人识别系统中具有应用。
2015-12-05 cs.CV
Is Facial Recognition Biased at Near-Infrared Spectrum As Well?
Wichita State University（威奇托州立大学）
已发表的学术研究和媒体文章表明，人脸识别在人口统计学上存在偏见。具体而言，女性、深色皮肤的人和老年人的表现不平等。然而，这些已发表的研究已经检查了可见光谱（VIS）中面部识别的偏差。面部化妆、面部毛发、肤色和照明变化等因素已被归因于VIS处该技术的偏差。近红外（NIR）光谱在对照明变化、面部化妆和肤色等因素的鲁棒性方面优于VIS。因此，研究人脸识别在近红外光谱（NIR）上的偏差是值得的。第一项研究调查了人脸识别系统在近红外光谱上的偏差。为此，两个流行的近红外人脸图像数据集，即CASIA-Face-Africa和Notre-Dame-NIVL，分别由非洲人和白人受试者组成，用于研究面部识别技术在性别和种族上的偏见。有趣的是，实验结果表明，在近红外光谱下，性别和种族之间的人脸识别性能是平等的。
2022-10-31 cs.CV cs.CY cs.HC
Facial Expression Restoration Based on Improved Graph Convolutional Networks
Tianjin University（天津大学）
当人脸图像分辨率较低或部分遮挡时，野外人脸表情分析具有挑战性。针对不同表情下人脸局部区域间的相关性，提出一种基于改进图卷积网络（IGCN）和区域关系建模块（RRMB）的生成对抗网络的表情恢复方法。与传统的图卷积网络将向量作为输入特征不同，IGCN可以使用人脸块的张量作为输入。更好地保留了人脸面片的结构信息。拟议的RRMB旨在解决面部生成任务，包括修复和超分辨率与面部动作单元检测，其目的是恢复面部表情作为地面真相。在BP4D和DISFA基准上进行的大量实验通过定量和定性评价证明了我们所提出的方法的有效性。
2019-10-23 cs.CV
FaceHack: Triggering backdoored facial recognition systems using facial characteristics
Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Center for Cyber Security, New York University Abu Dhabi（纽约大学阿布扎比分校网络安全中心）
机器学习（ML）的最新进展为其在现实世界中的广泛应用开辟了新的途径。具体来说，面部识别从社交媒体平台中的简单朋友建议到机场自动移民中的生物识别验证的关键安全应用。考虑到这些情况，这些ML算法的安全漏洞会带来严重的威胁和严重的后果。最近的研究表明，通常用于面部识别系统的深度神经网络（DNN）容易受到后门攻击的影响;换句话说，DNN在存在唯一触发器的情况下会变得恶意。遵循不引人注意的共同特征，理想的触发是小的、局部的，并且通常不是主图像的一部分。因此，检测机制集中于统计地或通过其重构来检测这些不同的基于标记的离群值。在这项工作中，我们证明了面部特征的特定变化也可以用于触发ML模型中的恶意行为。面部属性的变化可能是使用社交媒体过滤器人工嵌入的，也可能是使用面部肌肉运动自然引入的。通过构造，我们的触发器很大，可以适应输入，并分布在整个图像上。我们评估攻击的成功，并验证它不会干扰模型的性能标准。我们还通过最先进的防御系统对触发器进行了详尽的测试，以证实其不可检测性。
2020-06-20 cs.CV cs.LG
Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Enhancing Facial Classification and Recognition using 3D Facial Models and Deep Learning
本文提出融合3D面部模型与ResNet深度学习的面部识别方法，提取多任务有效特征，在个体、性别和表情分类上分别达到100%、95.4%和83.5%的准确率。
2025-06-11 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China（中国科学技术大学）
目前的工作制定面部动作单元（AU）识别作为一个监督学习的问题，在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的，如果不是不可能的话。幸运的是，AU出现在所有面部图像上，无论是否手动标记，都满足潜在的解剖机制和人类行为习惯。在本文中，我们提出了一个深度半监督框架，用于从部分AU标记的面部图像中识别面部动作单元。具体来说，所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示，并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失，忠实地表示标记和未标记面部图像的固有AU分布，并混淆图像。在训练过程中，深度识别网络R和BND交替优化。因此，在训练期间，利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明，该方法通过对抗学习成功地捕获了AU分布，并优于最先进的AU识别工作。
2021-06-04 cs.CV
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwestern University of Finance and Economics（西南财经大学）
针对卷积神经网络在人脸表情识别过程中的局限性，提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成，包括胶囊编码器，胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息，并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明，本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
Facial Key Points Detection using Deep Convolutional Neural Network - NaimishNet
University of Paderborn（帕德博恩大学）；IIIT-Allahabad（印度信息技术学院阿拉哈巴德分校）
人脸关键点检测是计算机视觉和机器学习领域的一个重要而又具有挑战性的问题。它涉及预测给定面部的FKP的坐标，例如鼻尖、眼睛中心等。在本文中，我们提出了一个适应LeNet的深度CNN模型- NaimishNet，用于对面部关键点数据进行操作，并将我们的模型的性能与现有的最先进的方法进行比较。
2017-10-03 cs.CV cs.LG stat.ML
Responsible Facial Recognition and Beyond
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Research Center for AI Ethics and Safety, Beijing Academy of Artificial Intelligence（北京人工智能研究院人工智能伦理与安全研究中心）；Berggruen Research Center, Peking University（北京大学贝格伦研究中心）
面部识别正在改变我们生活和与社会互动的方式。在这里，我们讨论了面部识别的两个方面，总结了潜在的风险和当前的担忧。我们介绍不同国家的现行政策和法规。非常重要的是，我们指出，风险和担忧不仅来自面部识别，现实上也非常类似于其他生物识别技术，包括但不限于步态识别、虹膜识别、指纹识别、话音识别等，为了创造一个负责任的未来，我们讨论了可能的技术举措和努力，应该作出保持面部识别（和生物识别一般）的发展，为社会利益。
2019-09-19 cs.CV cs.CY
Using Positive Matching Contrastive Loss with Facial Action Units to mitigate bias in Facial Expression Recognition
National University of Singapore（新加坡国立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
机器学习模型会自动从数据中学习有区别的特征，因此很容易学习到强相关的偏见，比如使用性别和种族等受保护的属性。大多数现有的偏差缓解方法旨在明确减少模型对这些受保护功能的关注。在这项工作中，我们建议通过使用领域知识明确地引导模型的焦点朝向任务相关特征来减轻偏差，并且我们假设这可以间接地减少模型对它从数据中学习到的虚假相关性的依赖。我们探索偏见缓解面部表情识别系统使用面部动作单位（AU）的任务相关功能。为此，我们引入了基于模糊度的正匹配对比损失，它根据样本对应的AU嵌入之间的相似性来学习样本的阳性之间的距离。我们将我们的方法与代表性的基线进行比较，并表明通过我们的方法结合任务相关的特征可以以最小的分类性能成本提高模型的公平性。
2023-03-08 cs.AI cs.CV
Attention Based Relation Network for Facial Action Units Recognition
South China University of Technology（华南理工大学）
面部动作单元识别是面部表情分析的基础。由于AU之间存在高度正相关或负相关，一些现有的AU识别工作集中在AU关系的建模上。然而，以前的基于关系的方法通常嵌入预定义的规则到他们的模型，忽略了不同的AU关系在不同人群的影响。在本文中，我们提出了一种新的基于注意力的关系网络（ABRNet）的AU识别，它可以自动捕获AU关系，而不需要甚至干扰预定义的规则。ABRNet使用几个关系学习层来自动捕获不同的AU关系。然后将学习到的AU关系特征馈送到自注意融合模块，该模块旨在使用注意权重来细化单个AU特征，以增强特征鲁棒性。此外，我们提出了一个AU关系丢弃策略和AU关系损失（AUR-Loss），以更好地模型AU关系，这可以进一步提高AU识别。大量的实验表明，我们的方法在DISFA和DISFA+数据集上实现了最先进的性能。
2022-10-23 cs.AI cs.CV
Semi-Supervised Facial Expression Recognition based on Dynamic Threshold and Negative Learning
University of Science and Technology of China（中国科学技术大学）；Jianghuai Advance Technology Center（江淮前沿技术协同创新中心）；Unisound AI Technology Co., Ltd（云知声智能科技股份有限公司）
本文提出基于动态阈值和负学习的半监督面部表情识别方法，通过增强局部特征和利用未标记样本提升性能，在RAF-DB和AffectNet数据集上取得优异效果。
2026-01-09 cs.AI cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架，表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁，根据面部标志的位置，提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块，从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外，已经提出了一种自动化的免学习的面部标志检测技术，该技术实现了与其他最先进的标志检测方法类似的性能，但需要的执行时间显著减少。该方法在不同分辨率下表现良好，为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Learning Diversified Feature Representations for Facial Expression Recognition in the Wild
Aarhus University（奥胡斯大学）
由深度神经网络提取的特征的多样性对于增强模型泛化能力以及相应地其在不同学习任务中的性能是重要的。近年来，由于在现实世界场景中从遮挡图像中提取区分性和信息性特征的挑战，野外面部表情识别引起了人们的兴趣。在本文中，我们提出了一种机制，以多样化的特征提取的CNN层的国家的最先进的面部表情识别架构，以提高模型的能力，在学习判别功能。为了评估所提出的方法的有效性，我们将这种机制在两个国家的最先进的模型（i）多样化的本地/全球功能的注意力为基础的模型和（ii）多样化的功能提取不同的学习者在一个基于集合的模型。在三个著名的人脸表情识别数据集AffectNet、FER+和RAF-DB上的实验结果表明了该方法的有效性，在RAF-DB上达到了89.99%的最佳性能，在FER+上达到了89.34%，在AffectNet数据集上达到了60.02%的竞争准确率。
2023-02-19 cs.CV cs.LG
Performance analysis of facial recognition: A critical review through glass factor
University of Illinois, Urbana Champaign（伊利诺伊大学香槟分校）
COVID-19大流行和社交距离促使人们在不同的异常情况下使用可靠的人脸识别系统。然而，目前还没有研究玻璃因素对人脸识别系统的影响。本文对玻璃因子进行了全面的综述。研究分为两个步骤：数据汇集和准确性检验。数据汇集包括通过不同情况采集人脸图像，如透明玻璃、有水的玻璃和有雾的玻璃。基于收集到的数据，对基于MTCNN和Inception V1深度网络构建的现有最先进的人脸检测和识别系统进行测试，以进行进一步分析。实验数据表明：1）在比较实时图像时，该系统具有较强的分类鲁棒性; 2）在通过比较受干扰的实时图像与正面图像来确定两幅图像是否为同一人时，该系统失败。
2021-04-04 cs.CV cs.LG
EmoNeXt: an Adapted ConvNeXt for Facial Emotion Recognition
CESI LINEACT Laboratory（CESI LINEACT实验室）
本研究针对面部情绪识别任务，提出基于改进ConvNeXt的EmoNeXt框架，融合STN、SE模块及自注意力正则化，在FER2013数据集上准确率超越现有SOTA模型。
2025-01-14 cs.AI cs.CV
Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing
The Hong Kong Polytechnic University（香港理工大学）
多任务学习是基于深度学习的人脸表情识别任务的有效学习策略。然而，大多数现有方法在任务间传递信息时，对特征选择的考虑有限，这可能导致训练多任务网络时的任务干扰。为了解决这个问题，我们提出了一种新的选择性特征共享方法，并建立了一个多任务网络的面部表情识别和面部表情合成。该方法可以有效地在不同任务之间传递有益的特征，同时过滤掉无用和有害的信息。此外，我们采用面部表情合成任务来扩大和平衡训练数据集，以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在常用的人脸表情识别基准测试中取得了较好的性能，是解决现实人脸表情识别问题的一种有效方法。
2021-11-28 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
SoK: Anti-Facial Recognition Technology
University of Chicago（芝加哥大学）
近年来，政府和商业实体迅速采用面部识别（FR）技术，引发了对公民自由和隐私的担忧。作为回应，开发了一系列所谓的“反面部识别”（AFR）工具，以帮助用户避免不必要的面部识别。在过去几年中提出的AFR工具集范围广泛且发展迅速，因此有必要后退一步，考虑AFR系统更广泛的设计空间和长期挑战。本文旨在填补这一空白，并提供了第一个全面分析的AFR研究景观。使用FR系统的操作阶段作为起点，我们创建了一个系统的框架，分析不同的AFR方法的好处和权衡。然后，我们考虑AFR工具所面临的技术和社会挑战，并提出了这一领域未来研究的方向。
2023-02-15 cs.CR cs.CV cs.LG
Constrained Joint Cascade Regression Framework for Simultaneous Facial Action Unit Recognition and Facial Landmark Detection
Rensselaer Polytechnic Institute（伦斯勒理工学院）
级联回归框架已被证明是有效的面部特征点检测。它从初始人脸形状开始，并逐渐从局部外观特征预测人脸形状更新，以在下一次迭代中生成人脸标志点位置，直到收敛。在本文中，我们改进的级联回归框架，并提出了约束联合级联回归框架（CJCRF）的同时面部动作单元识别和面部地标检测，这是两个相关的人脸分析任务，但很少一起开发。特别地，我们首先学习面部动作单元和面部形状之间的关系作为约束。然后，在所提出的约束联合级联回归框架中，在约束的帮助下，我们迭代地更新面部标志位置和动作单元激活概率，直到收敛。实验结果表明，面部动作单元和人脸形状的相互交织的关系，提高了面部动作单元识别和面部标志点检测的性能。实验结果也证明了所提出的方法的有效性相比，国家的最先进的作品。
2017-09-23 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
A Novel Enhanced Convolution Neural Network with Extreme Learning Machine: Facial Emotional Recognition in Psychology Practices
Charles Sturt University（查尔斯特大学）；Western Sydney University（西悉尼大学）；Kent Institute Australia（澳大利亚肯特学院）；Asia Pacific International College（亚太国际学院）；University of Kurdistan Hewler（库尔德斯坦休勒大学）；Al Iraqia University（伊拉克大学）
面部情绪识别是识别心理学用于诊断患者的重要工具之一。面部和面部情绪识别是机器学习擅长的领域。无约束环境下的人脸情感识别是数字图像处理面临的一个挑战，因为环境的不同，如光照条件，姿态变化，偏航运动和遮挡。深度学习方法在图像识别方面已经显示出显著的改进。然而，准确性和时间仍然需要改进。本研究的目的是提高面部表情识别的准确性，在训练过程中，减少处理时间，使用改进的卷积神经网络增强与极端学习机（CNNEELM）。该系统需要（CNNEELM）在训练过程中提高图像配准的准确性。此外，该系统识别六个面部情绪快乐，悲伤，厌恶，恐惧，惊讶，和中性与建议的CNNEELM模型。研究表明，整体面部表情识别的准确性提高了2%，比最先进的解决方案与修改后的随机梯度下降（SGD）技术。使用极限学习机（ELM）分类器，处理时间从113 ms降至65 ms，可以从20 fps的视频剪辑中平滑分类每帧。使用预训练的InceptionV3模型，使用JAFFE，CK+和FER2013表达数据集训练所提出的CNNEELM模型。仿真结果表明，在准确性和处理时间显着改善，使该模型适用于视频分析过程。此外，该研究还解决了处理人脸图像所需的大量处理时间的问题。
2022-08-05 cs.CV cs.LG cs.NE
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology（意大利理工学院）
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征，而不是执行典型的迁移学习方法，可能有助于这些系统在不同的任务中保持高性能，但减少了训练工作。在本文中，我们提出了对比抑制自适应（CIAO），这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进，这些数据集具有非常独特的情感表示，特别是与最先进的模型相比。在我们的讨论中，我们深入分析了学习的高级面部特征是如何表示的，以及它们如何对每个数据集的特征做出贡献。最后，我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己，以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching（古晋理工学院）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1，AU4，AU6，AU12，AU15，AU17和AU25，它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核，而使用NN的结果是为每个训练，验证和测试阶段。
2017-12-01 cs.CV
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland（马里兰大学）；US Naval Academy（美国海军学院）
面部识别系统越来越多地被私营公司、政府机构和承包商部署，用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而，现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器，它占了整个图像处理管道，并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外，我们还发布了一个易于使用的Web工具，可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性，将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG
Facial Motion Prior Networks for Facial Expression Recognition
Nanyang Technological University（南洋理工大学）；Lenovo Research（联想研究院）；Southeast University（东南大学）；Monash University（莫纳什大学）
基于深度学习的面部表情识别（FER）在过去几年中受到了很多关注。现有的大多数基于深度学习的FER方法没有很好地考虑领域知识，从而无法提取代表性特征。在这项工作中，我们提出了一种新的FER框架，命名为面部运动先验网络（FMPN）。特别地，我们引入了一个加法分支来生成一个面部面具，以便专注于面部肌肉运动区域。为了指导面具学习，我们建议通过使用中性面孔和相应的表情面孔之间的平均差异作为训练指导来结合先验领域知识。在三个人脸表情基准数据集上的实验结果表明，与现有的方法相比，该方法是有效的.
2019-12-02 cs.CV
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida（中佛罗里达大学）；Hacettepe University（哈塞特佩大学）
人脸表情识别是一项具有挑战性的任务，由于两个主要问题：在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中，我们提出了一种新型的人到动画条件生成对抗网络（HA-GAN），通过使用多个（人脸）到一个（动画人脸）映射来克服这两个问题。具体来说，对于任何给定的输入人类表情图像，我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库（FERGDB）的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数，可以减少面部表情识别（FER）中主体间变化的影响。我们还认为，在生成的动画图像中的表情是纯表情，因为FER是在这些生成的图像上进行，面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明，使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络，并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Facial expression recognition based on local region specific features and support vector machines
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（全北国立大学）
面部表情是人类表达情感和意图的最有力、最自然、最直接的手段之一。人脸表情识别在人机交互、认知科学、人类情感分析、个性发展等领域有着广泛的应用。本文提出了一种基于支持向量机分类的单帧人脸表情识别方法。通常，用于识别面部表情的外观特征通过将面部区域划分为规则网格（整体表示）来计算。但是，在本文中，我们提取区域特定的外观特征，通过将整个人脸区域划分为特定领域的局部区域。还从对应的域特定区域提取几何特征。此外，采用增量搜索的方法确定重要的局部区域，降低了特征维数，提高了识别精度。使用域特定区域的特征的面部表情识别的结果也与使用整体表示所获得的结果进行了比较。所提出的面部表情识别系统的性能已在公开的扩展Cohn-Kanade（CK+）面部表情数据集上进行了验证。
2016-04-15 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University（纳扎尔巴耶夫大学）
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而，使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展，但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中，我们提出了一个有效的和简单的面部表情识别算法，以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序，以消除强度偏移，随后与最小最大度量的最近邻分类器，能够抑制特征离群值。实验结果表明，在JAFFE数据库上测试时，所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
