Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本文提出利用基于 FACS 的面部动作单元(AUs)识别技术来扩展情感识别能力,并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Real-Time Facial Expression Recognition using Facial Landmarks and Neural Networks
提出了一种轻量级的基于人脸静态图像的特征提取、七种不同情绪分类和实时的【形】表情识别算法。在这方面,基于前述算法训练多层感知器(MLP)神经网络。为了对人脸进行分类,首先对输入图像进行预处理,对人脸进行定位和裁剪,然后使用人脸特征点检测库对人脸特征点进行检测。然后,人脸被分割成上脸和下脸,这使得能够从每个部分提取所需的特征。在所提出的模型中,同时考虑到基于几何和纹理的特征类型。在特征提取阶段之后,创建特征的归一化向量。使用这些特征向量训练3层MLP,在测试集上达到96%的准确率。
2022-01-31 cs.AI cs.CV cs.LG
Complex Facial Expression Recognition Using Deep Knowledge Distillation of Basic Features
School of Information Technology, Deakin University(德克萨斯大学信息学院)
本文提出了一种基于持续学习的方法,通过知识蒸馏和新颖的预测排序记忆重放,实现了复杂面部表情识别的最新状态,能够在少量样本下准确识别新复合表情类别。
2023-11-05 cs.AI cs.CV cs.LG
Facial Expressions Recognition with Convolutional Neural Networks
几个世纪以来,人类已经发展并获得了许多沟通方式。但几乎没有一个能像面部表情那样自然和本能。另一方面,神经网络已经席卷全球。毫不奇怪,计算机视觉领域和面部表情识别问题并没有保持不变。虽然广泛的技术已被应用,实现极高的精度和准备高度鲁棒的FER系统仍然是一个挑战,由于在人脸的异质细节。在本文中,我们将深入研究如何利用神经网络(更具体地说,卷积神经网络(CNN))来实现面部表情识别系统(FER)。我们采用深度学习和计算机视觉的基本概念,采用各种架构,微调其超参数并使用各种优化方法进行实验,并在不使用任何额外训练数据的情况下,在FER2013数据集上展示了70.10%的最先进的单网络准确度。
2021-07-19 cs.AI cs.CV cs.LG
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology(华中科技大学);Anyang Institute of Technology(安阳工学院)
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据,普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据,以人脸图像、图像方向梯度直方图和人脸特征点为输入,建立CNN、LNN和HNN三个子神经网络进行数据特征提取,利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明,得益于多模态数据的互补性,该算法与传统的人脸表情识别算法相比,在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下,该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
Fiducial Focus Augmentation for Facial Landmark Detection
Sony Research India(索尼印度研究院);Indian Institute of Technology(印度理工学院)
本文针对人脸关键点检测在姿态、表情和光照变化下样本不足的问题,提出一种基准聚焦图像增强方法,并结合Siamese架构、DCCA损失及Transformer+CNN骨干网络,在多个基准数据集上取得优于现有方法的性能。
2024-02-23 cs.CV cs.LG
Facial Emotion Recognition: State of the Art Performance on FER2013
Boston University(波士顿大学)
人脸情感识别对于临床实践、行为描述等人机交互具有重要意义。由于人脸的异质性和图像的变化,如不同的面部姿势和照明,计算机模型的准确和鲁棒的FER仍然具有挑战性。在用于FER的所有技术中,深度学习模型,特别是卷积神经网络(CNN),由于其强大的自动特征提取和计算效率而显示出巨大的潜力。在这项工作中,我们在FER2013数据集上实现了最高的单网络分类精度。我们采用VGGNet架构,严格微调其超参数,并尝试各种优化方法。据我们所知,我们的模型在FER2013上实现了73.28%的最先进的单网络准确度,而无需使用额外的训练数据。
2021-05-08 cs.AI cs.CV cs.LG
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University(女王大学);Ingenuity Labs Research Institute(英格纽蒂实验室研究院)
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案,除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取:(1)纯随机采样,(2)均匀采样和(3)顺序采样。随后是最多三个标准空间增强的组合。然后,我们使用一个深度R(2+1)D网络的FER,我们训练在一个自我监督的方式的基础上增强,随后微调。在Oulu-CASIA数据集上进行了实验,并将其性能与FER中的其他作品进行了比较。结果表明,我们的方法达到了89.4%的准确率,设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献,拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
Deep Multi-Facial Patches Aggregation Network For Facial Expression Recognition
Université Paris Saclay(巴黎萨克雷大学);Sorbonne Université(索邦大学);Emlyon(里昂商学院);Univ Paris Est Creteil(巴黎东部克雷泰伊大学)
在本文中,我们提出了一种基于深度多人脸补丁聚合网络的人脸表情识别(FER)方法。使用深度子网络从面部补丁学习深度特征,并将其聚合在一个深度架构中用于表情分类。几个问题可能影响基于深度学习的FER方法的性能,特别是现有FER数据集的小尺寸,其可能不足以训练大型深度学习网络。此外,收集和注释大量的面部图像是非常耗时的。为了解释这一点,我们提出了两种用于面部表情生成的数据增强技术来扩展FER标记的训练数据集。我们评估了三个FER数据集的建议框架。结果表明,当模型在来自同一数据集的图像上进行训练和测试时,所提出的方法实现了最先进的FER深度学习方法性能。此外,所提出的数据增强技术提高了表情识别率,因此可以成为使用小数据集训练深度学习FER模型的解决方案。当测试数据集偏倚时,准确性显著降低。
2020-02-20 cs.AI cs.CV cs.LG
MixAugment & Mixup: Augmentation Methods for Facial Expression Recognition
National Technical University of Athens(雅典国立技术大学);Queen Mary University of London(伦敦玛丽女王大学)
由于面部表情在人类交流中扮演着重要的角色,近20年来,面部表情自动识别技术受到了越来越多的关注。大多数FER方法利用深度神经网络(DNN),这是数据分析的强大工具。然而,尽管这些网络很强大,但它们容易过拟合,因为它们往往倾向于记住训练数据。更重要的是,目前没有很多野生(即在无约束环境中)的FER大型数据库。为了缓解这个问题,已经提出了许多数据增强技术。数据增强是一种通过对原始数据应用约束转换来增加可用数据多样性的方法。其中一种对各种分类任务有积极贡献的技术是Mixup。根据这一点,DNN在成对的示例及其相应标签的凸组合上进行训练。在本文中,我们研究了混合的有效性,在野生FER中,数据有很大的变化,头部姿势,照明条件,背景和上下文。然后,我们提出了一个新的数据增强策略,这是基于Mixup,称为MixAugment。根据这一点,网络的训练同时结合虚拟的例子和真实的例子,所有这些例子有助于整体损失函数。我们进行了广泛的实验研究,证明了MixAugment对Mixup和各种最先进方法的有效性。我们进一步研究了dropout与Mixup和MixAugment的组合,以及其他数据增强技术与MixAugment的组合。
2022-05-09 cs.CV cs.LG
Facial Expression Recognition with Swin Transformer
Dongguk University(东国大学)
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用,包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性,面部表情识别研究已经足够成熟,可以在具有视听数据集的真实场景中使用。在本文中,我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说,我们采用了三流网络(即,视频流、时间流和音频流),将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
Facial Action Unit Recognition Based on Transfer Learning
University of Science and Technology of China(中国科学技术大学)
人脸动作单元识别是人脸分析中的一项重要任务。由于采集环境的复杂性,野外人脸动作单元识别仍然具有挑战性。第三届野外情感行为分析竞赛(ABAW)提供了大量带有面部动作单元注释的面部图像。本文介绍了一种基于迁移学习的人脸动作单元识别方法。我们首先使用带有表情标签的可用面部图像来训练特征提取网络。然后,我们微调网络用于面部动作单元识别。
2022-03-25 cs.CV
Facial Expression Recognition Based on Complexity Perception Classification Algorithm
South China University of Technology(华南理工大学)
人脸表情识别一直是计算机视觉领域的一个具有挑战性的课题。不同的表情和不受控制的环境因素导致FER的复杂性和表情类别之间的可变性不一致,这在大多数面部表情识别系统中经常被忽视。为了有效地解决这一问题,本文提出了一种简单高效的CNN模型来提取人脸特征,并提出了一种复杂度感知分类(CPC)算法。CPC算法通过评估适合分类的面部特征的复杂度,将数据集分为容易分类的样本子空间和复杂分类的样本子空间。在Fer 2013和CK-plus数据集上的实验结果证明了该算法的有效性和优越性。
2018-03-01 cs.AI cs.CV
Generation of artificial facial drug abuse images using Deep De-identified anonymous Dataset augmentation through Genetics Algorithm (3DG-GA)
LISSI Laboratory(LISSI实验室);Université Paris-Est Créteil(巴黎东克雷泰伊大学);Faculty of Science and Technology(科学与技术学院)
本文提出3DG-GA方法,结合GAN与遗传算法,将120张真实药物滥用面部图像增强为3000张合成图像,在保护隐私的同时为相关研究提供开放数据集。
2023-04-12 cs.AI cs.CV
Domain Generalisation for Apparent Emotional Facial Expression Recognition across Age-Groups
Facebook AI Applied Research(Facebook人工智能应用研究);University of Bristol(布里斯托大学);Imperial College London(帝国理工学院)
近年来,基于表情的表情识别技术引起了人们的广泛关注.然而,大多数方法忽略了年龄差异,并且训练针对所有年龄的通用模型。在这项工作中,我们研究了使用不同的年龄组训练明显的情绪面部表情识别模型的效果。为此,我们研究领域泛化的背景下,明显的情绪面部表情识别不同年龄组的面部图像。我们首先比较了几个领域的泛化算法的基础上的域外泛化,并观察到类条件域对抗神经网络(CDANN)算法具有最好的性能。然后,我们研究了训练过程中使用的年龄组的种类和数量对泛化到看不见的年龄组的影响,并观察到训练年龄组数量的增加往往会增加看不见的年龄组的明显情绪面部表情识别性能。我们还表明,排除在训练过程中的一个年龄组往往会影响更多的表现相邻的年龄组。
2021-10-18 cs.CV cs.LG
An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition
该研究在三个面部表情数据集上比较HOG、LBP与轻量级CNN用于表情识别,结果显示CNN总体性能最佳,HOG在受控环境表现好,LBP较差,强调数据集复杂性影响性能,稳健特征学习对现实面部表情识别很关键。
2026-07-20 cs.CV cs.LG
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University(考文垂大学);American University of Beirut(贝鲁特美国大学)
在这项工作中,我们提出了一种新的生成对抗堆叠自动编码器,它可以学习将面部表情(最多正负60度)映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点,该卷积层利用了局部和全局空间信息,并且卷积层具有减少的参数,利用了面部对称性。此外,我们引入了一个生成对抗逐步贪婪逐层学习算法,旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库,包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Facial Landmark Visualization and Emotion Recognition Through Neural Networks
Unidad Profesional Interdisciplinaria de Ingeniería Campus Tlaxcala IPN(工程院tlaxcala校区ippn)
针对面部情绪识别中数据集分析不足的问题,提出面部关键点箱线图以识别异常值,并比较绝对位置与位移特征,发现神经网络优于随机森林。
2025-06-20 cs.AI cs.CV
I Know How You Feel: Emotion Recognition with Facial Landmarks
Tooploox(Tooploox公司);Polish-Japanese Academy of Information Technology(波日信息技术学院);Warsaw University of Technology(华沙理工大学)
人类情感的分类对于许多计算机视觉算法来说仍然是一项重要且具有挑战性的任务,特别是在日常生活中与人类共存的人形机器人时代。目前提出的情感识别方法使用多层卷积网络解决了这一任务,这些网络在分类阶段不会显式推断任何面部特征。在这项工作中,我们假设一个根本不同的方法来解决情感识别任务,依赖于将面部标志作为分类损失函数的一部分。为此,我们扩展了最近提出的深度对齐网络(DAN),该网络在最近的面部地标识别挑战中取得了最先进的结果,其中一个术语与面部特征相关。由于这个简单的修改,我们的模型称为AsymtionalDAN能够在两个具有挑战性的基准数据集上超过最先进的情感分类方法高达5%。
2018-10-23 cs.AI cs.CV
Explainable AI for Analyzing Person-Specific Patterns in Facial Recognition Tasks
University of Luxembourg(卢森堡大学)
本文提出可解释性方法 LEAM,通过分析 1000 名个体在 9 个人脸识别模型中的激活模式,揭示个体特定识别区域,为个性化隐私保护提供基础。
2025-09-22 cs.AI cs.CV
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London(伦敦玛丽女王大学)
针对无标签人脸识别,提出基于 landmarks 的自监督方法 LAFS,利用人脸关键点补丁和特定增强学习关键表示,在多个基准上显著提升性能,尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Emotion Recognition with Facial Attention and Objective Activation Functions
School of Computing, University of Leeds(利兹大学计算机学院)
本文研究在VGGNet、ResNet等CNN模型中引入SEN-Net、ECA-Net和CBAM注意力机制,并证明注意力结合不同激活函数可进一步提升面部情感识别性能。
2024-10-23 cs.AI cs.CV
ARPGNet: Appearance- and Relation-aware Parallel Graph Attention Fusion Network for Facial Expression Recognition
School of Computer Science, Northwestern Polytechnical University(计算机科学学院,西北工业大学);Pengcheng Laboratory(鹏城实验室);Zhejiang Lab(浙江实验室)
ARPGNet通过结合面部区域关系图和图注意力机制,提升面部表情识别的时空表示学习能力。
2025-11-27 cs.AI cs.CV
Towards a General Deep Feature Extractor for Facial Expression Recognition
Powder AI Research(Powder AI 研究院);Université Paris-Est(巴黎东大学)
人脸传达了大量的信息。通过面部表情,面部能够传达许多情感,而不需要言语。视觉情感识别已经被广泛研究。最近,已经提出了几种端到端训练的深度神经网络用于此任务。然而,这样的模型往往缺乏跨数据集的泛化能力。在本文中,我们提出了深度面部表情向量提取(DeepFEVER),这是一种新的基于深度学习的方法,它可以学习一个足够通用的视觉特征提取器,可以应用于任何其他面部表情识别任务或数据集。DeepFEVER在AffectNet和Google Facial Expression Comparison数据集上的表现优于最先进的结果。DeepFEVER提取的特征也可以很好地推广到其他数据集,即使是那些在训练过程中看不见的数据集,即真实世界情感面孔(RAF)数据集。
2022-01-19 cs.CV cs.LG
PuFace: Defending against Facial Cloaking Attacks for Facial Recognition Models
The University of Hong Kong(香港大学)
本文提出 PuFace 图像净化系统,利用神经网络的泛化能力在训练前将伪装图像推向自然图像流形,有效防御面部伪装攻击,将攻击成功率降至 7.61%,且不降低模型正常准确率。
2024-06-04 cs.AI cs.CR cs.CV
Is Facial Recognition Biased at Near-Infrared Spectrum As Well?
Wichita State University(威奇托州立大学)
已发表的学术研究和媒体文章表明,人脸识别在人口统计学上存在偏见。具体而言,女性、深色皮肤的人和老年人的表现不平等。然而,这些已发表的研究已经检查了可见光谱(VIS)中面部识别的偏差。面部化妆、面部毛发、肤色和照明变化等因素已被归因于VIS处该技术的偏差。近红外(NIR)光谱在对照明变化、面部化妆和肤色等因素的鲁棒性方面优于VIS。因此,研究人脸识别在近红外光谱(NIR)上的偏差是值得的。第一项研究调查了人脸识别系统在近红外光谱上的偏差。为此,两个流行的近红外人脸图像数据集,即CASIA-Face-Africa和Notre-Dame-NIVL,分别由非洲人和白人受试者组成,用于研究面部识别技术在性别和种族上的偏见。有趣的是,实验结果表明,在近红外光谱下,性别和种族之间的人脸识别性能是平等的。
2022-10-31 cs.CV cs.CY cs.HC
A Survey of the Trends in Facial and Expression Recognition Databases and Methods
University of Washington, Bothell(华盛顿大学博塞尔分校)
自动面部识别和面部表情识别在过去几十年中一直是活跃的研究主题。面部和表情识别在人机界面、主题跟踪、实时安全监控系统和社交网络中找到应用。已经开发了几种整体和几何方法来使用公共和本地面部图像数据库识别面部和表情。在这项工作中,我们提出了面部图像数据集的演变和面部识别和识别的表情,如愤怒,悲伤,快乐,厌恶,恐惧和惊讶的方法。我们观察到,大多数用于面部和表情识别的早期方法旨在提高使用静态图像的基于面部特征的方法的识别率。然而,最近的方法已经将焦点转移到从随空间(从互联网收集)和时间(视频记录)而变化的大型图像数据库中鲁棒地实现面部/表情识别。面部和表情识别的数据库和方法的演变趋势可以用于评估下一代主题,这些主题可能在涉及“定量面部”评估的安全系统或个人识别系统中具有应用。
2015-12-05 cs.CV
FaceHack: Triggering backdoored facial recognition systems using facial characteristics
Tandon School of Engineering, New York University(纽约大学坦登工程学院);Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎比分校网络安全中心)
机器学习(ML)的最新进展为其在现实世界中的广泛应用开辟了新的途径。具体来说,面部识别从社交媒体平台中的简单朋友建议到机场自动移民中的生物识别验证的关键安全应用。考虑到这些情况,这些ML算法的安全漏洞会带来严重的威胁和严重的后果。最近的研究表明,通常用于面部识别系统的深度神经网络(DNN)容易受到后门攻击的影响;换句话说,DNN在存在唯一触发器的情况下会变得恶意。遵循不引人注意的共同特征,理想的触发是小的、局部的,并且通常不是主图像的一部分。因此,检测机制集中于统计地或通过其重构来检测这些不同的基于标记的离群值。在这项工作中,我们证明了面部特征的特定变化也可以用于触发ML模型中的恶意行为。面部属性的变化可能是使用社交媒体过滤器人工嵌入的,也可能是使用面部肌肉运动自然引入的。通过构造,我们的触发器很大,可以适应输入,并分布在整个图像上。我们评估攻击的成功,并验证它不会干扰模型的性能标准。我们还通过最先进的防御系统对触发器进行了详尽的测试,以证实其不可检测性。
2020-06-20 cs.CV cs.LG
Enhancing Face Recognition with Latent Space Data Augmentation and Facial Posture Reconstruction
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院);Technical and Engineering Faculty, South Tehran Branch, Islamic Azad University(伊斯兰阿扎德大学南德黑兰分校技术与工程学院);Faculty of Engineering, University of Birjand(比尔詹德大学工程学院);Faculty of Computer Engineering & Information Technology, Shahrood University of Technology(沙赫鲁德工业大学计算机工程与信息技术学院)
提出FRA方法,通过操纵人脸嵌入生成姿态改变的新表示,在KDEF数据集上显著提升MagFace、ArcFace和CosFace的身份分类准确率。
2023-10-11 cs.AI cs.CV
Human Emotional Facial Expression Recognition
Southeast University(东南大学)
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Enhancing Facial Classification and Recognition using 3D Facial Models and Deep Learning
本文提出融合3D面部模型与ResNet深度学习的面部识别方法,提取多任务有效特征,在个体、性别和表情分类上分别达到100%、95.4%和83.5%的准确率。
2025-06-11 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China(中国科学技术大学)
目前的工作制定面部动作单元(AU)识别作为一个监督学习的问题,在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的,如果不是不可能的话。幸运的是,AU出现在所有面部图像上,无论是否手动标记,都满足潜在的解剖机制和人类行为习惯。在本文中,我们提出了一个深度半监督框架,用于从部分AU标记的面部图像中识别面部动作单元。具体来说,所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示,并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失,忠实地表示标记和未标记面部图像的固有AU分布,并混淆图像。在训练过程中,深度识别网络R和BND交替优化。因此,在训练期间,利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明,该方法通过对抗学习成功地捕获了AU分布,并优于最先进的AU识别工作。
2021-06-04 cs.CV
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications(重庆邮电大学);Southwestern University of Finance and Economics(西南财经大学)
针对卷积神经网络在人脸表情识别过程中的局限性,提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成,包括胶囊编码器,胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息,并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明,本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
Using Positive Matching Contrastive Loss with Facial Action Units to mitigate bias in Facial Expression Recognition
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
机器学习模型会自动从数据中学习有区别的特征,因此很容易学习到强相关的偏见,比如使用性别和种族等受保护的属性。大多数现有的偏差缓解方法旨在明确减少模型对这些受保护功能的关注。在这项工作中,我们建议通过使用领域知识明确地引导模型的焦点朝向任务相关特征来减轻偏差,并且我们假设这可以间接地减少模型对它从数据中学习到的虚假相关性的依赖。我们探索偏见缓解面部表情识别系统使用面部动作单位(AU)的任务相关功能。为此,我们引入了基于模糊度的正匹配对比损失,它根据样本对应的AU嵌入之间的相似性来学习样本的阳性之间的距离。我们将我们的方法与代表性的基线进行比较,并表明通过我们的方法结合任务相关的特征可以以最小的分类性能成本提高模型的公平性。
2023-03-08 cs.AI cs.CV
Responsible Facial Recognition and Beyond
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Research Center for AI Ethics and Safety, Beijing Academy of Artificial Intelligence(北京人工智能研究院人工智能伦理与安全研究中心);Berggruen Research Center, Peking University(北京大学贝格伦研究中心)
面部识别正在改变我们生活和与社会互动的方式。在这里,我们讨论了面部识别的两个方面,总结了潜在的风险和当前的担忧。我们介绍不同国家的现行政策和法规。非常重要的是,我们指出,风险和担忧不仅来自面部识别,现实上也非常类似于其他生物识别技术,包括但不限于步态识别、虹膜识别、指纹识别、话音识别等,为了创造一个负责任的未来,我们讨论了可能的技术举措和努力,应该作出保持面部识别(和生物识别一般)的发展,为社会利益。
2019-09-19 cs.CV cs.CY
Attention Based Relation Network for Facial Action Units Recognition
South China University of Technology(华南理工大学)
面部动作单元识别是面部表情分析的基础。由于AU之间存在高度正相关或负相关,一些现有的AU识别工作集中在AU关系的建模上。然而,以前的基于关系的方法通常嵌入预定义的规则到他们的模型,忽略了不同的AU关系在不同人群的影响。在本文中,我们提出了一种新的基于注意力的关系网络(ABRNet)的AU识别,它可以自动捕获AU关系,而不需要甚至干扰预定义的规则。ABRNet使用几个关系学习层来自动捕获不同的AU关系。然后将学习到的AU关系特征馈送到自注意融合模块,该模块旨在使用注意权重来细化单个AU特征,以增强特征鲁棒性。此外,我们提出了一个AU关系丢弃策略和AU关系损失(AUR-Loss),以更好地模型AU关系,这可以进一步提高AU识别。大量的实验表明,我们的方法在DISFA和DISFA+数据集上实现了最先进的性能。
2022-10-23 cs.AI cs.CV
Enhancing Ambiguous Dynamic Facial Expression Recognition with Soft Label-based Data Augmentation
Converging Lab, Fujitsu Research of America, Inc.(富士通美国研究有限公司融合实验室);D3 Center, the University of Osaka(大阪大学D3中心);Graduate School of Computer Science and Systems Engineering, Kyushu Institute of Technology(九州理工大学计算机科学与系统工程研究生院)
本文提出数据增强方法MIDAS,通过凸组合视频帧及软标签扩展mixup处理模糊数据,在DFEW和FERV39k-Plus数据集上表现优于现有方法。
2025-06-25 cs.CV
Semi-Supervised Facial Expression Recognition based on Dynamic Threshold and Negative Learning
University of Science and Technology of China(中国科学技术大学);Jianghuai Advance Technology Center(江淮前沿技术协同创新中心);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
本文提出基于动态阈值和负学习的半监督面部表情识别方法,通过增强局部特征和利用未标记样本提升性能,在RAF-DB和AffectNet数据集上取得优异效果。
2026-01-09 cs.AI cs.CV
Adults as Augmentations for Children in Facial Emotion Recognition with Contrastive Learning
Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究中心);University of Trieste(的里雅斯特大学);Leiden University Medical Center(莱顿大学医学中心);Delft University of Technology(代尔夫特理工大学)
儿童的情绪识别可以帮助早期识别和干预在癌症治疗等压力情况下出现的心理并发症。尽管深度学习模型越来越多地被采用,但数据稀缺往往是儿科医学的一个问题,包括儿童的面部情绪识别。本文研究了基于数据增强的对比学习在儿童面部情绪识别中克服数据匮乏的应用。我们探索忽略代沟的想法,通过将大量可用的成人数据添加到儿科数据中,以学习更好的表示。我们调查不同的方式,成人面部表情图像可以一起使用的儿童。特别是,我们建议明确纳入每个小批量成人图像作为儿童的增强。在学习方法和训练集大小的$84$组合中,我们发现使用所提出的训练方案的监督对比学习表现最好,达到了通常超过第二最佳方法2%至3%的测试准确度。我们的研究结果表明,成人数据可以被认为是一个有意义的增强儿科数据的识别儿童的情绪面部表情,并开辟了其他应用的对比学习,以改善儿科护理的可能性,通过补充儿童与成人的数据。
2022-02-10 cs.CV cs.NE
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid(马德里自治大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能,但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析:i)最流行的面部识别数据库中的面部表情偏差;以及ii)面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器,三个人脸识别模型,和三个不同的数据库。我们的研究结果表明,在最广泛使用的数据库中存在巨大的面部表情偏差,以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架,表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁,根据面部标志的位置,提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块,从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外,已经提出了一种自动化的免学习的面部标志检测技术,该技术实现了与其他最先进的标志检测方法类似的性能,但需要的执行时间显著减少。该方法在不同分辨率下表现良好,为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Learning Diversified Feature Representations for Facial Expression Recognition in the Wild
Aarhus University(奥胡斯大学)
由深度神经网络提取的特征的多样性对于增强模型泛化能力以及相应地其在不同学习任务中的性能是重要的。近年来,由于在现实世界场景中从遮挡图像中提取区分性和信息性特征的挑战,野外面部表情识别引起了人们的兴趣。在本文中,我们提出了一种机制,以多样化的特征提取的CNN层的国家的最先进的面部表情识别架构,以提高模型的能力,在学习判别功能。为了评估所提出的方法的有效性,我们将这种机制在两个国家的最先进的模型(i)多样化的本地/全球功能的注意力为基础的模型和(ii)多样化的功能提取不同的学习者在一个基于集合的模型。在三个著名的人脸表情识别数据集AffectNet、FER+和RAF-DB上的实验结果表明了该方法的有效性,在RAF-DB上达到了89.99%的最佳性能,在FER+上达到了89.34%,在AffectNet数据集上达到了60.02%的竞争准确率。
2023-02-19 cs.CV cs.LG
Performance analysis of facial recognition: A critical review through glass factor
University of Illinois, Urbana Champaign(伊利诺伊大学香槟分校)
COVID-19大流行和社交距离促使人们在不同的异常情况下使用可靠的人脸识别系统。然而,目前还没有研究玻璃因素对人脸识别系统的影响。本文对玻璃因子进行了全面的综述。研究分为两个步骤:数据汇集和准确性检验。数据汇集包括通过不同情况采集人脸图像,如透明玻璃、有水的玻璃和有雾的玻璃。基于收集到的数据,对基于MTCNN和Inception V1深度网络构建的现有最先进的人脸检测和识别系统进行测试,以进行进一步分析。实验数据表明:1)在比较实时图像时,该系统具有较强的分类鲁棒性; 2)在通过比较受干扰的实时图像与正面图像来确定两幅图像是否为同一人时,该系统失败。
2021-04-04 cs.CV cs.LG
EmoNeXt: an Adapted ConvNeXt for Facial Emotion Recognition
CESI LINEACT Laboratory(CESI LINEACT实验室)
本研究针对面部情绪识别任务,提出基于改进ConvNeXt的EmoNeXt框架,融合STN、SE模块及自注意力正则化,在FER2013数据集上准确率超越现有SOTA模型。
2025-01-14 cs.AI cs.CV
Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing
The Hong Kong Polytechnic University(香港理工大学)
多任务学习是基于深度学习的人脸表情识别任务的有效学习策略。然而,大多数现有方法在任务间传递信息时,对特征选择的考虑有限,这可能导致训练多任务网络时的任务干扰。为了解决这个问题,我们提出了一种新的选择性特征共享方法,并建立了一个多任务网络的面部表情识别和面部表情合成。该方法可以有效地在不同任务之间传递有益的特征,同时过滤掉无用和有害的信息。此外,我们采用面部表情合成任务来扩大和平衡训练数据集,以进一步提高所提出的方法的泛化能力。实验结果表明,该方法在常用的人脸表情识别基准测试中取得了较好的性能,是解决现实人脸表情识别问题的一种有效方法。
2021-11-28 cs.CV
MixCut:A Data Augmentation Method for Facial Expression Recognition
College of Electronics Engineering, Heilongjiang University(黑龙江大学电子工程学院)
针对面部表情识别训练样本少导致分类准确率低的问题,提出结合像素插值与随机正方形区域像素移除的MixCut数据增强方法,在Fer2013Plus和RAF-DB数据集上准确率优于多种现有增强方法。
2024-05-17 cs.CV
SoK: Anti-Facial Recognition Technology
University of Chicago(芝加哥大学)
近年来,政府和商业实体迅速采用面部识别(FR)技术,引发了对公民自由和隐私的担忧。作为回应,开发了一系列所谓的“反面部识别”(AFR)工具,以帮助用户避免不必要的面部识别。在过去几年中提出的AFR工具集范围广泛且发展迅速,因此有必要后退一步,考虑AFR系统更广泛的设计空间和长期挑战。本文旨在填补这一空白,并提供了第一个全面分析的AFR研究景观。使用FR系统的操作阶段作为起点,我们创建了一个系统的框架,分析不同的AFR方法的好处和权衡。然后,我们考虑AFR工具所面临的技术和社会挑战,并提出了这一领域未来研究的方向。
2023-02-15 cs.CR cs.CV cs.LG
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame(圣母大学)
我们引入了一种深度卷积神经网络(CNN)架构,通过共享学习范式同时对面部属性进行分类和识别面部图像,以提高面部属性预测和面部识别性能的准确性。在该方法中,我们使用人脸属性作为辅助信息源,以辅助从人脸图像中提取的CNN特征,以提高人脸识别性能。具体来说,我们使用一个共享的CNN架构,通过一个共享的学习参数,同时联合预测人脸属性和识别人脸图像,然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征,以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明,该模型提高了人脸识别和人脸属性预测的性能,特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估,结果表明,所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Constrained Joint Cascade Regression Framework for Simultaneous Facial Action Unit Recognition and Facial Landmark Detection
Rensselaer Polytechnic Institute(伦斯勒理工学院)
级联回归框架已被证明是有效的面部特征点检测。它从初始人脸形状开始,并逐渐从局部外观特征预测人脸形状更新,以在下一次迭代中生成人脸标志点位置,直到收敛。在本文中,我们改进的级联回归框架,并提出了约束联合级联回归框架(CJCRF)的同时面部动作单元识别和面部地标检测,这是两个相关的人脸分析任务,但很少一起开发。特别地,我们首先学习面部动作单元和面部形状之间的关系作为约束。然后,在所提出的约束联合级联回归框架中,在约束的帮助下,我们迭代地更新面部标志位置和动作单元激活概率,直到收敛。实验结果表明,面部动作单元和人脸形状的相互交织的关系,提高了面部动作单元识别和面部标志点检测的性能。实验结果也证明了所提出的方法的有效性相比,国家的最先进的作品。
2017-09-23 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
A Novel Enhanced Convolution Neural Network with Extreme Learning Machine: Facial Emotional Recognition in Psychology Practices
Charles Sturt University(查尔斯特大学);Western Sydney University(西悉尼大学);Kent Institute Australia(澳大利亚肯特学院);Asia Pacific International College(亚太国际学院);University of Kurdistan Hewler(库尔德斯坦休勒大学);Al Iraqia University(伊拉克大学)
面部情绪识别是识别心理学用于诊断患者的重要工具之一。面部和面部情绪识别是机器学习擅长的领域。无约束环境下的人脸情感识别是数字图像处理面临的一个挑战,因为环境的不同,如光照条件,姿态变化,偏航运动和遮挡。深度学习方法在图像识别方面已经显示出显著的改进。然而,准确性和时间仍然需要改进。本研究的目的是提高面部表情识别的准确性,在训练过程中,减少处理时间,使用改进的卷积神经网络增强与极端学习机(CNNEELM)。该系统需要(CNNEELM)在训练过程中提高图像配准的准确性。此外,该系统识别六个面部情绪快乐,悲伤,厌恶,恐惧,惊讶,和中性与建议的CNNEELM模型。研究表明,整体面部表情识别的准确性提高了2%,比最先进的解决方案与修改后的随机梯度下降(SGD)技术。使用极限学习机(ELM)分类器,处理时间从113 ms降至65 ms,可以从20 fps的视频剪辑中平滑分类每帧。使用预训练的InceptionV3模型,使用JAFFE,CK+和FER2013表达数据集训练所提出的CNNEELM模型。仿真结果表明,在准确性和处理时间显着改善,使该模型适用于视频分析过程。此外,该研究还解决了处理人脸图像所需的大量处理时间的问题。
2022-08-05 cs.CV cs.LG cs.NE
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology(意大利理工学院)
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征,而不是执行典型的迁移学习方法,可能有助于这些系统在不同的任务中保持高性能,但减少了训练工作。在本文中,我们提出了对比抑制自适应(CIAO),这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进,这些数据集具有非常独特的情感表示,特别是与最先进的模型相比。在我们的讨论中,我们深入分析了学习的高级面部特征是如何表示的,以及它们如何对每个数据集的特征做出贡献。最后,我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己,以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching(古晋理工学院);Universiti Malaysia Sarawak(马来西亚砂拉越大学)
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1,AU4,AU6,AU12,AU15,AU17和AU25,它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核,而使用NN的结果是为每个训练,验证和测试阶段。
2017-12-01 cs.CV
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland(马里兰大学);US Naval Academy(美国海军学院)
面部识别系统越来越多地被私营公司、政府机构和承包商部署,用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而,现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器,它占了整个图像处理管道,并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外,我们还发布了一个易于使用的Web工具,可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性,将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG