ABAW : Facial Expression Recognition in the wild
SSSIHL（斯里·萨提亚·赛高等研究院）
第五届野外情感行为分析（ABAW）竞赛设有多项挑战，如效价-唤醒估计挑战、表情分类挑战、动作单元检测挑战、情绪反应强度估计挑战。在本文中，我们只处理表达分类的挑战，使用多种方法，如全监督，半监督和噪声标签的方法。我们的方法使用噪声感知模型比基线模型的性能好10.46%，半监督模型比基线模型的性能好9.38%，全监督模型比基线模型的性能好9.34%
2023-03-17 cs.CV
Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild
University of Science and Technology of China（中国科学技术大学）
与基于图像的静态人脸表情识别（SFER）任务相比，基于视频序列的动态人脸表情识别（DFER）任务更接近自然表情识别场景。然而，DFER往往更具挑战性。其中一个主要原因是视频序列通常包含具有不同表情强度的帧，特别是对于真实世界场景中的面部表情，而SFER中的图像经常呈现均匀且高的表情强度。然而，如果对不同强度的表达式进行同等对待，则网络学习的特征将具有较大的类内差异和较小的类间差异，这对DFER是有害的。为了解决这个问题，我们提出了全局卷积注意块（GCA）来重新缩放特征图的通道。此外，我们在训练过程中引入了强度感知损失（IAL），以帮助网络区分表达强度相对较低的样本。在两个野外动态面部表情数据集上的实验（即，DFEW和FERV39k）表明，我们的方法优于最先进的DFER方法。源代码将公开提供。
2022-08-19 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China（中国科学技术大学）
野外人脸表情识别是计算机视觉中一项极具挑战性的任务，这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外，网络可以很容易地被上述因素分布，并执行错误的决策。近年来，视觉Transformer（ViT）和数据高效图像Transformers（DeiT）在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野，大大增强了特征提取能力。在这项工作中，我们首先提出了一种新的纯transformer为基础的面具视觉Transformer（MVT）在野外的FER，它由两个模块组成：一个transformer为基础的面具生成网络（MGN），以产生一个面具，可以过滤掉复杂的背景和遮挡的人脸图像，和一个动态的重新标记模块，纠正错误的标签在野外FER数据集。大量的实验结果表明，我们的MVT优于国家的最先进的方法在RAF-DB与88.62%，FERPlus与89.22%，和AffectNet-7与64.57%，分别，并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
Facial Expression Recognition from World Wild Web
University of Denver（丹佛大学）
在计算机视觉中，识别野生环境中的面部表情一直是一项具有挑战性的任务。万维网是一个很好的面部图像来源，其中大多数是在不受控制的条件下捕获的。事实上，互联网是一个由带有表情的面部图像组成的单词野生网络。本文介绍了一项新的研究结果收集，注释和分析野生面部表情从网络。三个搜索引擎查询使用1250情感相关的关键字在六种不同的语言和检索到的图像被映射到六个基本的表达式和中性的两个注释器。在三种不同的训练场景中使用深度神经网络和噪声建模，以确定在使用查询术语（例如，快乐的脸，笑的人等）从网络收集的噪声图像上训练时，面部表情的识别准确度如何？我们的实验结果表明，深度神经网络可以识别野生面部表情，准确率为82.12%。
2017-01-05 cs.CV cs.NE
CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是理解人类行为的一项重要任务。作为人类最具信息量的行为之一，面部表情往往是复合的和可变的，这表现为不同的人可能以非常不同的方式表达相同的表情。然而，大多数FER方法仍然使用独热或软标签作为监督，这缺乏足够的语义描述的面部表情和较少的可解释性。最近，对比视觉语言预训练（VLP）模型（例如，CLIP）以文本为监督，得益于文本中丰富的语义，为各种计算机视觉任务注入了新的活力。因此，在这项工作中，我们提出了CLIPER，一个统一的框架，静态和动态的面部表情识别的基础上CLIP。此外，我们引入了多表达式文本描述符（METD）来学习细粒度的表达式表示，使CLIPER更具可解释性。我们在几个流行的FER基准上进行了大量的实验，并达到了最先进的性能，这证明了CLIPER的有效性。
2023-03-01 cs.CV
Quaternion Orthogonal Transformer for Facial Expression Recognition in the Wild
人脸表情识别是人工智能中一个具有挑战性的课题。最近，许多研究人员试图将视觉Transformer（ViT）引入FER任务。然而，ViT不能充分利用从原始图像中提取的情感特征，并且需要大量的计算资源。为了克服这些问题，我们提出了一个四元数正交Transformer（QOT）的FER。首先，为了减少从预训练的ResNet-50中提取的特征之间的冗余，我们使用正交损失将这些特征分解并压缩为三组正交子特征。其次，三个正交的子特征被集成到一个四元数矩阵，它保持不同的正交分量之间的相关性。最后，我们开发了一个四元数视觉Transformer（Q-ViT）的特征分类。Q-ViT采用四元数运算代替ViT中的原始运算，从而以较少的参数提高了最终精度。在三个真实FER数据集上的实验结果表明，该算法的性能优于现有的几种模型，并减少了计算量。
2023-03-14 cs.CV
GoDP: Globally optimized dual pathway system for facial landmark localization in-the-wild
University of Houston（休斯顿大学）
人脸特征点定位是姿态不变人脸识别的一个基本模块。最常用的人脸标志点检测方法是级联回归，它由两个步骤组成：特征提取和人脸形状回归。最近的方法使用深度卷积网络来提取每个步骤的鲁棒特征，而整个系统可以被视为深度级联回归架构。在这项工作中，不是采用深度回归网络，而是提出了一种全局优化的双路径（GoDP）深度架构，通过解决级联像素标记问题来识别目标像素，而无需诉诸高级推理模型或复杂的堆栈架构。所提出的端到端系统依赖于距离感知的softmax函数和双通道提案细化架构。结果表明，它优于国家的最先进的级联回归为基础的方法在多个野外人脸对齐数据库。该模型在AFLW数据库上实现了1.84的归一化平均误差（NME），比3DDFA高61.8%。人脸识别实验表明，GoDP，加上DPM-headhunter，能够提高44.2%的rank-1识别率相比，Dlib工具箱在一个具有挑战性的数据库。
2017-12-19 cs.CV
Benchmarking Deep Facial Expression Recognition: An Extensive Protocol with Balanced Dataset in the Wild
本研究构建了新的野外面部表情数据集，通过统一协议评测23种网络架构及多种训练设置的性能，给出真实场景部署深度FER方法的建议，并探讨相关伦理与隐私问题。
2023-11-06 cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Recognizing Facial Expressions in the Wild using Multi-Architectural Representations based Ensemble Learning with Distillation
SZABIST（巴基斯坦真纳科技大学）；Technische Universität Dresden (TU Dresden)（德累斯顿工业大学）
面部表情是肢体语言中最常见的普遍形式。在过去的几年里，自动面部表情识别（FER）一直是一个活跃的研究领域。然而，由于各种不确定性和复杂性，这仍然是一项具有挑战性的任务。然而，效率和性能仍然是建立强大系统的重要方面。我们提出了两种模型，一种是用于学习卷积面部表示的集成学习技术，另一种是用于将知识从集成模型转移到高效深度神经网络的蒸馏技术，该技术使用标签平滑软标签，能够实时有效地检测表情。这两种技术都表现得很好，其中集成模型（SEMXNet）有助于在FER+注释的FER 2013上实现85.07%的测试准确度，在RAF-DB上实现86.25%的测试准确度。此外，蒸馏模型（XNUMX NetLite）在FER 2013上显示82.07%的测试准确度，并带有FER+注释，在RAF-DB上显示81.78%的测试准确度。结果表明，我们的模型似乎很好地概括了新的数据，并学会了专注于相关的面部表情识别。
2021-08-20 cs.CV
In-the-wild Facial Expression Recognition in Extreme Poses
International Doctoral Innovation Centre, University of Nottingham Ningbo China（宁波诺丁汉大学国际博士创新中心）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；Institute of Microscopy Science and Technology, Ningbo Yongxin Optics Co. LTD.（宁波永新光学股份有限公司显微科学与技术研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在计算机研究领域，人脸表情识别是一个热门的研究课题。近年来，研究已经从实验室环境转移到野外环境。这是具有挑战性的，特别是在极端的姿势下。但目前的表情检测系统都在努力避免姿态效应，以获得通用性。在这项工作中，我们以相反的方式解决问题。我们认为，头部姿势和特殊的头部姿势内检测的表情。我们的工作包括两部分：检测头部姿势并将其分组到一个预定义的头部姿势类中;在每个姿势类中进行面部表情识别。实验结果表明，与不考虑姿态的直接识别相比，采用姿态类分组的方法识别效果更好。我们将手工特征、SIFT、LBP和几何特征与深度学习特征相结合，作为表达式的表示。手工制作的功能与高级深度学习功能一起添加到深度学习框架中。作为比较，我们实现了SVM和随机森林作为预测模型。为了训练和测试我们的方法，我们用6种基本表情标记了人脸数据集。
2018-11-06 cs.CV
DFEW: A Large-Scale Database for Recognizing Dynamic Facial Expressions in the Wild
Southeast University（东南大学）
近年来，野外人脸表情识别（FER）得到了很多研究者的关注，因为如何使FER技术从实验室走向实际应用是一个很有价值的课题。在本文中，我们专注于这一具有挑战性的，但有趣的话题，并从三个方面作出贡献。首先，我们提出了一个新的大规模的“在野外”的动态面部表情数据库，DFEW（动态面部表情在野外），包括超过16,000个视频剪辑从数千部电影。这些视频剪辑包含各种具有挑战性的干扰，在实际情况下，如极端照明，闭塞，和反复无常的姿态变化。其次，我们提出了一种新的方法，称为表达的时空特征学习（EC-STFL）框架来处理动态FER在野外。第三，我们使用许多时空深度特征学习方法以及我们提出的EC-STFL对DFEW进行了广泛的基准测试实验。实验结果表明，DFEW是一个设计良好且具有挑战性的数据库，所提出的EC-STFL可以有效提高现有时空深度神经网络在处理野外动态FER问题时的性能.我们的DFEW数据库是公开的，可以从https://dfew-dataset.github.io/免费下载。
2020-08-13 cs.CV cs.MM
Learning from Synthetic Data: Facial Expression Classification based on Ensemble of Multi-task Networks
Seoul National University of Science and Technology（首尔科学技术大学）；Kumoh National Institute of Technology（锦湖国立理工学院）
在野外的面部表情是必不可少的各种交互式计算领域。特别是，“从合成数据中学习“（LSD）是面部表情识别任务中的一个重要课题。在本文中，我们提出了一种基于多任务学习的面部表情识别方法，其中包括情感和外观学习分支，可以共享所有的面部信息，并提出了初步的结果，LSD的挑战，介绍了在第四届情感行为分析在野外（ABAW）比赛。我们的方法实现了0.71的平均F1得分。
2022-07-21 cs.CV
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
Imponderous Net for Facial Expression Recognition in the Wild
SSSIHL（斯里萨蒂亚赛人类卓越研究所）
自深度学习（DL）复兴以来，面部表情识别（FER）受到了极大的关注，其性能不断提高。与业绩携手，新的挑战也随之而来。现代FER系统处理在不受控制的条件下（也称为野外场景）捕获的面部图像，包括遮挡和姿态变化。他们使用深度网络成功地处理了这些情况，这些网络具有各种组件，如迁移学习，注意力机制和局部-全局上下文提取器。然而，这些深度网络非常复杂，具有大量参数，使其不适合在实际场景中部署。是否有可能构建一个轻量级网络，在野外场景下仍然可以在FER上显示出显着的良好性能？在这项工作中，我们有条不紊地构建了这样一个网络，并将其称为ImponetransNet。我们利用FER的深度网络的上述组件，并分析，仔细选择和调整它们以达到Imponetrant Net。我们的Imponetrable Net是一个低卡路里的网络，只有145万个参数，比最先进的（SOTA）架构少了近50倍。此外，在推理过程中，它可以在intel-i7 cpu中以每秒40帧（fps）的实时的速率进行处理。虽然它是低热量的，但它的性能仍然强大，压倒了其他轻量级架构，甚至是少数高容量架构。具体来说，ImponnestNet在野外数据集RAFDB，FERPlus和AffectNet上的准确率分别为87.09%，88.17%和62.06%。与文献中的其他轻量级架构相比，它在遮挡和姿态变化下也具有出色的鲁棒性。
2021-03-28 cs.CV
Facial Soft Biometrics for Recognition in the Wild: Recent Works, Annotation, and COTS Evaluation
Nokia Bell-Labs（诺基亚贝尔实验室）；Escuela Politecnica Superior, Universidad Autonoma de Madrid（马德里自治大学高等理工学院）
软生物特征识别在无约束场景中增强个人识别系统的作用尚未得到广泛研究。在这里，我们探讨了以下模式的效用：性别，种族，年龄，眼镜，胡子和胡子。我们考虑两个假设：1）人工估计的软生物特征和2）自动估计从两个商业现成的系统（COTS）。所有的实验报告使用野生（LFW）数据库中的标记的面孔。首先，我们研究了独立的软生物特征识别能力。然后，进行实验融合软生物特征识别与两个国家的最先进的人脸识别系统的基础上深度学习。我们观察到，软生物特征是一个有价值的补充，在不受约束的情况下，人脸模态，相对提高40%/15%的验证性能时，使用手动/自动软生物特征估计。结果是可重复的，因为我们公开了我们的手动注释和COTS输出的软生物识别LFW，以及面部识别分数。
2022-10-24 cs.CV
Spatial and Temporal Networks for Facial Expression Recognition in the Wild Videos
Shenzhen Technology University（深圳技术大学）；City University of Hong Kong（香港城市大学）
本文描述了我们为2021年野外情感行为分析（ABAW）竞赛的七个基本表情分类轨道提出的方法。在这项任务中，面部表情识别（FER）方法的目标是从不同的背景中分类正确的表情类别，但有几个挑战。首先，为了使模型适应野外场景，我们使用来自预训练的大规模人脸识别数据的知识。其次，我们提出了一个集成模型，卷积神经网络（CNN），CNN递归神经网络（CNN-RNN），和CNN变压器（CNN-Transformer），将空间和时间信息。我们的集成模型在验证集上实现了F1为0.4133，准确度为0.6216，最终度量为0.4821。
2021-07-12 cs.CV eess.IV
THIN: THrowable Information Networks and Application for Facial Expression Recognition In The Wild
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Datakalab
对于许多机器学习问题，可以识别外生变量，使得它严重影响不同类的外观，并且理想的分类器应该对该变量不变。如果考虑面部表情识别（FER），则这种外源变量的示例是身份。在本文中，我们提出了一个双重外生/内生表示。前者捕捉外生变量，而第二个模型的任务在手（例如面部表情）。我们设计了一个预测层，它使用由外源表示条件的树门控深度集成。我们还提出了一个外生消除损失，以消除内源性表征的外生信息。因此，外生信息以可抛出的方式被使用两次，第一次作为目标任务的条件变量，第二次在内生表示中创建不变性。我们称这种方法为THIN，代表可抛出的信息网络。我们实验验证THIN在几种情况下，可以确定一个外源信息，如数字识别下大旋转和形状识别在多个尺度。我们也将其应用到FER与身份作为外生变量。我们证明了THIN在几个具有挑战性的数据集上的表现明显优于最先进的方法。
2022-01-14 cs.CV
Learning Diversified Feature Representations for Facial Expression Recognition in the Wild
Aarhus University（奥胡斯大学）
由深度神经网络提取的特征的多样性对于增强模型泛化能力以及相应地其在不同学习任务中的性能是重要的。近年来，由于在现实世界场景中从遮挡图像中提取区分性和信息性特征的挑战，野外面部表情识别引起了人们的兴趣。在本文中，我们提出了一种机制，以多样化的特征提取的CNN层的国家的最先进的面部表情识别架构，以提高模型的能力，在学习判别功能。为了评估所提出的方法的有效性，我们将这种机制在两个国家的最先进的模型（i）多样化的本地/全球功能的注意力为基础的模型和（ii）多样化的功能提取不同的学习者在一个基于集合的模型。在三个著名的人脸表情识别数据集AffectNet、FER+和RAF-DB上的实验结果表明了该方法的有效性，在RAF-DB上达到了89.99%的最佳性能，在FER+上达到了89.34%，在AffectNet数据集上达到了60.02%的竞争准确率。
2023-02-19 cs.CV cs.LG
Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
以往的动态人脸表情识别方法主要基于卷积神经网络（CNN），其局部操作忽略了视频中的长程依赖关系。为了解决这个问题，我们提出了时空Transformer（STT）捕捉每帧内的歧视性特征和模型帧之间的上下文关系。我们的统一的Transformer捕获并集成了时空依赖关系。具体来说，给定由多个帧组成的图像序列作为输入，我们利用CNN主干将每个帧转换为视觉特征序列。随后，每个块内的空间注意力和时间注意力被联合应用于在序列级学习时空表示。此外，我们提出了紧凑的softmax交叉熵损失，以进一步鼓励学习的特征具有最小的类内距离和最大的类间距离。在两个野外动态面部表情数据集上的实验（即，DFEW和AFEW）表明，我们的方法提供了一种有效的方法，利用空间和时间的依赖性的动态面部表情识别。源代码和培训日志将公开提供。
2022-05-10 cs.CV cs.MM
A Supervised Learning Methodology for Real-Time Disguised Face Recognition in the Wild
Indian Institute of Science（印度科学学院）；National Institute of Technology（国家技术学院）
人脸识别一直是计算机视觉科学家和专家的一项艰巨任务。尽管由于摄像机参数、照明和面部方向的变化而产生了复杂性，但该领域已经取得了重大进展，深度学习算法现在正在与人类水平的准确性竞争。但与人脸识别技术的最新进展相比，伪装人脸识别仍然是计算机视觉领域的一个更严峻的挑战。在现代的场景中，安全性是首要关注的问题，当面部被伪装时，常规的面部识别技术不能按要求执行，这需要一种不同的方法来处理入侵者面部被掩盖的情况。沿着同样的思路，我们提出了一个用于伪装面部识别（DFR）的深度学习架构。本文提出的算法在第一阶段使用14层卷积神经网络（CNN）检测20个面部关键点。这些面部关键点随后由支持向量机（SVM）利用，用于基于不同面部关键点之间的欧几里得距离比和角度对伪装的面部进行分类。这种整体架构赋予我们的系统基本的智能。我们的关键点特征预测准确率为65%，而分类率为72.4%。此外，该架构以19 FPS的速度工作，因此几乎可以实时的【形】执行。我们的方法的效率也比较与国家的最先进的伪装面部识别方法。
2018-09-08 cs.CV
EmotiEffNet Facial Features in Uni-task Emotion Recognition in Video at ABAW-5 competition
Sber AI Lab（Sber人工智能实验室）；HSE University（高等经济大学）
在这篇文章中，我们的团队的第五届情感行为分析在野外（ABAW）比赛的结果。研究了将来自于卷积神经网络家族的预训练卷积网络用于帧级特征提取。特别是，我们提出了一个集成的多层感知器和基于LightAutoML的分类器。通过平滑连续帧的结果来实现后处理。大规模的Aff-Wild 2数据库的实验结果表明，我们的模型实现了更大的宏观平均F1分数的面部表情识别和动作单元检测和一致性相关系数的效价/唤醒估计相比，基线。
2023-03-16 cs.CV
ASM: Adaptive Sample Mining for In-The-Wild Facial Expression Recognition
Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对人脸表情识别数据集中的标签歧义与噪声问题，提出自适应样本挖掘方法ASM，通过类别自适应阈值划分样本并结合三正则化策略优化，在多数据集上性能超越现有最优方法。
2023-10-09 cs.CV
Facial Expression Recognition with Swin Transformer
Dongguk University（东国大学）
识别人类面部表情的任务在各种与人类相关的系统中起着至关重要的作用，包括医疗保健和医疗领域。随着最近深度学习的成功和大量注释数据的可访问性，面部表情识别研究已经足够成熟，可以在具有视听数据集的真实场景中使用。在本文中，我们介绍了基于Swin变换的面部表情方法在野生视听数据集的Aff-Wild 2表达式数据集。具体来说，我们采用了三流网络（即，视频流、时间流和音频流），将多模态信息融合到人脸表情识别中。在Aff-Wild 2数据集上的实验结果表明了我们提出的多模态方法的有效性。
2022-03-25 cs.AI cs.CV
Frame-level Prediction of Facial Expressions, Valence, Arousal and Action Units for Mobile Devices
HSE University（高等经济学院）
在本文中，我们考虑的问题，实时视频为基础的面部情绪分析，即面部表情识别，预测的效价和唤醒和检测的动作单元点。我们提出了一种新的帧级情感识别算法，该算法通过使用在AffectNet上预训练的单个EfficientNet模型来提取面部特征。因此，我们的方法甚至可以用于移动设备上的视频分析。来自第三届情感行为分析野外（ABAW）竞赛的大规模Aff-Wild 2数据库的实验结果表明，与VggFace基线相比，我们的简单模型明显更好。特别是，我们的方法的特点是0.15-0.2更高的性能措施验证集在单任务的表达分类，价唤醒估计和表达分类。由于简单，我们的方法可以被认为是所有四个子挑战的新基线。
2022-05-24 cs.CV
BReG-NeXt: Facial Affect Computing Using Adaptive Residual Networks With Bounded Gradient
University of Denver（丹佛大学）
本文介绍了BReG-NeXt，一种基于残差的网络架构，使用具有有界导数的函数代替简单的捷径路径（a.k.a.身份映射）的剩余单元的自动识别的面部表情的基础上的分类和维度模型的影响。与ResNet相比，我们提出的自适应复杂映射可以产生更浅的网络，具有更少的训练参数和每秒浮点运算（FLOPs）。将可训练参数添加到旁路函数进一步改善了网络的拟合和训练，从而以更高的准确度识别诸如蔑视的细微面部表情。我们在具有挑战性的野外数据库AffectNet，FER 2013和Affect-in-Wild上对影响的分类和维度模型进行了全面的实验。我们的实验结果表明，我们的自适应复杂映射方法优于由简单身份映射组成的原始ResNet以及其他最先进的面部表情识别（FER）方法。在两个影响模型中报告了各种指标，以提供对我们方法的全面评估。在分类模型中，只有3.1M训练参数和15个MFLOP的BReG-NeXt-50在AffectNet和FER 2013数据库上分别达到68.50%和71.53%的准确率。在维度模型中，BReG-NeXt在AffectNet和Affect-in-Wild数据库上分别达到0.2577和0.2882的RMSE值。
2020-04-18 cs.CV
Navigating Label Ambiguity for Facial Expression Recognition in the Wild
Korea Institute of Science and Technology（韩国科学技术研究院）；University of Science and Technology（科学技术大学）；Yonsei University（延世大学）
针对面部表情识别中的标签模糊性和类别不平衡问题，提出NLA框架，通过噪声感知自适应加权和一致性正则化动态处理模糊样本，显著提升识别鲁棒性。
2025-02-14 cs.CV
MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild
School of Computer Science, CUG University of Geosciences (Wuhan)（中国地质大学（武汉）计算机学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文构建含10,045个音视频片段的大规模多模态复合情感数据库MAFW，并提出基于Transformer的表情片段特征学习方法，在单/多模态FER上均优于现有方法。
2023-08-14 cs.CV
Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity
College of Engineering, Mathematics and Physical Sciences, University of Exeter（埃克塞特大学工程、数学与物理科学学院）；Institute of Computer Science (ICS), Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会计算机科学研究所）
人类情绪分析一直是许多研究的焦点，特别是在情感计算领域，并且对于许多应用都很重要，例如人机智能交互、压力分析、交互式游戏、动画等。自动情绪分析的解决方案也受益于深度学习方法的发展和互联网上大量视觉面部数据的可用性。本文提出了一种新的方法，从单一的RGB图像的人类情感识别。我们构建了一个大规模的人脸视频数据集（\textbf{FaceVid}），包含丰富的面部动态，身份，表情，外观和3D姿态变化。我们使用该数据集来训练深度卷积神经网络，以估计3D Morphable Model的表情参数，并将其与有效的后端情感分类器相结合。我们提出的框架以每秒50帧的速度运行，能够鲁棒地估计3D表情变化的参数，并从野外图像中准确地识别面部表情。我们提出了广泛的实验评估表明，所提出的方法在估计3D表情参数方面优于比较技术，并在识别面部图像的基本情绪以及识别面部视频中的压力方面实现了最先进的性能。%相比，目前的艺术状态的情绪识别从面部图像。
2020-05-12 cs.CV cs.LG eess.IV
Facial Expression Recognition with Visual Transformers and Attentional Selective Fusion
Hunan University（湖南大学）
由于在无约束条件下的遮挡、头部姿态变化、面部变形和运动模糊，野外的面部表情识别（FER）极具挑战性。虽然在过去的几十年里，自动FER已经取得了很大的进展，以前的研究主要是针对实验室控制的FER。由于这些信息缺失的区域和复杂的背景，真实世界中的遮挡、头部姿态的变化等问题无疑增加了FER的难度。与以前的纯CNN方法不同，我们认为将面部图像转换为视觉单词序列并从全局角度进行表情识别是可行和实用的。因此，我们提出了视觉Transformers与特征融合（VTFF），以解决FER在野外的两个主要步骤。首先，我们提出了注意力选择性融合（ASF），用于利用两种由两个分支CNN生成的特征图。ASF通过融合多个特征与全局-局部注意力来捕获区分性信息。融合后的特征图然后被展平并投影成视觉单词序列。第二，受Transformers在自然语言处理中的成功启发，我们提出用全局自我注意来建模这些视觉词之间的关系。该方法在三个公开的野生面部表情数据集（RAF-DB，FERPlus和AffectNet）上进行了评估。在相同的设置下，大量的实验表明，我们的方法显示出优于其他方法的性能，在RAF-DB上设置了新的最先进的88.14%，FERPlus为88.81%，AffectNet为61.85%。CK+上的跨数据集评估显示了所提出的方法有前途的泛化能力。
2022-02-22 cs.CV
Disentangling Identity and Pose for Facial Expression Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸表情识别是一个具有挑战性的问题，因为表情成分总是与其他无关因素（如身份和头部姿势）纠缠在一起。在这项工作中，我们提出了一个身份和姿态解开面部表情识别（IPD-FER）模型，学习更多的歧视性特征表示。我们认为整体面部表征是身份、姿态和表情的结合。这三个分量使用不同的编码器进行编码。在身份编码器中，利用预先训练好的人脸识别模型，并在训练过程中将其固定下来，克服了以往对特定表情训练数据的限制，使解纠缠在野外数据集上切实可行。同时，使用相应的标签优化姿势和表情编码器。结合身份特征和姿态特征，解码器生成输入个体的中性人脸。当添加表情特征时，需要对输入图像进行重构。通过比较合成的中性图像和表情图像之间的差异，表情成分进一步从身份和姿态中解脱出来。实验结果验证了我们的方法在实验室控制和野生数据库的有效性，我们实现了最先进的识别性能。
2022-08-17 cs.CV
Facial Expression Recognition based on Multi-head Cross Attention Network
Seoul National University of Science and Technology（首尔科技大学）；Kumoh National Institute of Technology（金乌国立工科大学）
在野外的面部表情是必不可少的各种交互式计算领域。在本文中，我们提出了一个扩展版本的DAN模型，以解决ABAW 2022中引入的VA估计和面部表情挑战。我们的方法产生了初步的结果，0.44的平均CCC值的VA估计任务，和0.33的平均F1得分的表达分类任务。
2022-03-24 cs.CV
Human Reaction Intensity Estimation with Ensemble of Multi-task Networks
Seoul National University of Science and Technology（首尔国立科技大学）
在野外的面部表情是必不可少的各种交互式计算领域。特别是，“情绪反应强度”（ERI）是面部表情识别任务中的一个重要课题。在本文中，我们提出了一个多情感任务学习为基础的方法，并提出了初步的结果，在第五届情感行为分析在野外（ABAW）比赛中引入的ERI挑战。我们的方法实现了平均PCC得分为0.3254。
2023-03-16 cs.CV
Lifting Scheme-Based Implicit Disentanglement of Emotion-Related Facial Dynamics in the Wild
Zhejiang University（浙江大学）
本文提出隐式面部动态解耦框架IFDD，通过将小波提升方案扩展为可学习框架，利用两阶段模块从全局上下文中隐式解耦情感相关动态信息，在野外数据集上实现更高识别精度与可比效率。
2024-12-18 cs.AI cs.CV
Coarse-to-Fine Cascaded Networks with Smooth Predicting for Video Facial Expression Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Deep Learning, Baidu Research（百度研究院深度学习研究所）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
人脸表情识别在人机交互中起着重要的作用。在本文中，我们提出了粗到细级联网络与平滑预测（CFC-SP），以提高人脸表情识别的性能。CFC-SP包含两个核心组件，即粗到细级联网络（CFC）和平滑预测（SP）。对于CFC，它首先将几种相似的情绪组合成一个粗略的类别，然后使用网络进行粗略但准确的分类。随后，针对这些分组情绪的附加网络被进一步用于获得细粒度的预测。对于SP，它通过捕获通用和唯一的表情特征来提高模型的识别能力。具体来说，共性特征是指面部表情在一定时期内的一般特征，个性特征是指面部表情在这一时刻的具体特征。在Aff-Wild 2上的实验表明了该CFSP的有效性。我们在第三届野外情感行为分析比赛的表情分类挑战赛中获得第三名。该代码将在https://github.com/BR-IDL/PaddleViT上发布。
2022-04-20 cs.CV
A Comprehensive Performance Evaluation of Deformable Face Tracking "In-the-Wild"
Imperial College London（帝国理工学院）；Seeing Machines Ltd.（Seeing Machines 有限公司）
最近，诸如面部检测、面部地标定位以及面部识别和验证等技术已经足够成熟，可以为在任意条件下（称为“野外”）捕获的图像提供有效和高效的解决方案。这部分归因于已经为人脸检测、地标定位和识别/验证开发了全面的“野外”基准。一个非常重要的技术，还没有得到彻底的评估是可变形的人脸跟踪“在野外”。到目前为止，性能主要是通过在短视频上视觉评估可变形人脸跟踪技术的结果来定性评估的。在本文中，我们进行了第一次，尽我们所知，彻底评估国家的最先进的可变形人脸跟踪管道使用最近推出的300 VW基准。我们评估了许多不同的体系结构，主要集中在在线可变形人脸跟踪的任务。特别是，我们比较了以下一般策略：（a）通用人脸检测加上通用面部地标定位，（b）通用模型免费跟踪加上通用面部地标定位，以及（c）混合方法使用国家的最先进的人脸检测，模型免费跟踪和面部地标定位技术。我们的评估揭示了未来的途径，进一步研究的主题。
2017-02-28 cs.AI cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
针对多模态动态面部表情识别任务，提出通过适配SSL预训练的独立单模态编码器的MMA-DFER方法，解决模态内适配等三大挑战，在DFEW和MFAW基准上取得SOTA性能。
2024-04-13 cs.CV cs.LG
Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition
National Technical University of Athens（雅典国立技术大学）
本文提出基于 GCN 的多任务学习框架，联合类别与维度情绪模型并显式建模分类器和效价-唤醒度回归器依赖，在 AffectNet 与 Aff-Wild2 上提升跨骨干性能并达到新 SOTA。
2021-08-27 cs.CV
Low-resolution Face Recognition in the Wild via Selective Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）
通常，在野外部署人脸识别模型需要以极低的计算成本识别低分辨率人脸。为了解决这个问题，一个可行的解决方案是压缩一个复杂的人脸模型，以达到更高的速度和更低的内存，以最小的性能下降的代价。受此启发，本文提出了一种基于选择性知识蒸馏的低分辨率人脸识别方法。在该方法中，首先初始化双流卷积神经网络（CNN）以分别利用教师流和学生流来识别高分辨率人脸和分辨率降级人脸。教师流由复杂的CNN表示，用于高精度识别，而学生流由简单得多的CNN表示，用于低复杂度识别。为了避免学生流的显著性能下降，我们然后通过解决稀疏图优化问题来选择性地从教师流中提取信息量最大的面部特征，然后将其用于正则化学生流的微调过程。通过这种方式，学生流实际上是通过同时处理两个具有有限计算资源的任务来训练的：通过特征回归来近似最具信息量的面部线索，以及通过低分辨率面部分类来恢复丢失的面部线索。实验结果表明，学生流在识别低分辨率人脸方面表现出色，仅占用0.15MB内存，在CPU上每秒运行418张人脸，在GPU上每秒运行9，433张人脸。
2019-03-13 cs.CV
Expression Empowered ResiDen Network for Facial Action Unit Detection
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
本文探讨的主题面部动作单元（FAU）检测在野外。特别是，我们有兴趣回答以下问题：（1）如何有用的剩余连接密集块的脸分析？(2)对于FAU检测任务，来自分类面部表情识别（FER）训练的网络的信息有多大用处？所提出的网络（ResidDen）利用密集块以及剩余连接，并使用来自FER网络的辅助信息。实验是在discriminationnet和DISFA数据集上进行的。实验结果表明，人脸表情信息的AU检测的有用性。该网络在两个数据库上实现了最先进的结果。对跨数据库协议的分析结果表明了该网络的有效性。
2018-06-13 cs.CV
Unsupervised Eyeglasses Removal in the Wild
眼镜移除在移除不同种类的眼镜时是具有挑战性的，例如，无框眼镜、全框眼镜和太阳镜，以及恢复合适的眼睛。由于大的视觉变量，传统的方法缺乏可扩展性。现有的研究大多集中在实验室等受控环境下的正面人脸图像，需要针对不同的人脸类型设计特定的系统。为了解决这个问题，我们提出了一个统一的眼镜去除模型，称为眼镜去除生成对抗网络（ERGAN），它可以处理不同类型的眼镜在野外。该方法不依赖于眼镜位置的密集注释，但受益于大规模的人脸图像与弱注释。具体来说，我们同时研究两个相关的任务，即，戴上眼镜和摘下眼镜。给定两张戴眼镜和不戴眼镜的人脸图像，该模型学习交换两张人脸的眼睛区域。生成机制集中在眼睛区域，并入侵的困难，产生一个新的脸。在实验中，我们表明，该方法实现了竞争力的去除质量方面的现实主义和多样性。此外，我们评估ERGAN的几个后续任务，如人脸验证和面部表情识别。实验表明，我们的方法可以作为这些任务的预处理方法。
2020-05-15 cs.CV
Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition
Ho Chi Minh City University of Education（胡志明市师范大学）；University of Economics Ho Chi Minh City-UEH（胡志明市经济大学）；Vietnamese-German University（越南德国大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对FER数据集有限导致模型泛化不足的问题，提出融合MAE-Face自监督学习与多视图融合注意力的方法，并通过Aff-wild2数据集验证性能提升。
2024-05-12 cs.CV
Causal affect prediction model using a facial image sequence
Kookmin University（国民大学）
在人类情感行为研究中，随着深度学习的发展，面部表情识别研究的性能也在不断提高。然而，为了提高性能，不仅过去的图像，而且未来的图像应与相应的面部图像一起使用，但这种技术的应用到实时环境中存在障碍。在本文中，我们提出了因果情感预测网络（CAPNet），它只使用过去的面部图像来预测相应的情感效价和唤醒。我们训练CAPNet通过监督学习，通过使用Aff-Wild 2数据集将过去图像序列与当前标签配对，来学习过去图像与相应的情感效价和唤醒之间的因果推理。我们通过实验表明，经过良好训练的CAPNet通过仅用三分之一秒前的过去面部图像预测情感效价和唤醒，优于野外情感行为分析（ABAW 2）比赛第二次挑战的基线。因此，在实时应用中，CAPNet可以可靠地预测情感效价和唤醒只有过去的数据。
2021-07-08 cs.CV cs.HC
V-NAW: Video-based Noise-aware Adaptive Weighting for Facial Expression Recognition
Korea Institute of Science and Technology（韩国科学技术院）；AI-Robotics, KIST School, University of Science and Technology（AI机器人，KIST学院，科学技术大学）
针对 ABAW 挑战赛基于视频的 EXPR 识别任务，提出 V-NAW 自适应帧加权方法并结合帧间冗余削减增强策略，以缓解标签模糊、类别不平衡和过拟合，显著提升视频 FER 性能。
2025-05-12 cs.CV
Expression Recognition Analysis in the Wild
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）
人脸表情识别（FER）是人机交互（HCI）中的一个重要研究课题。在这项工作中，我们报告的细节和实验结果的面部表情识别方法的基础上，国家的最先进的方法。我们对在著名的VGGFace2数据集上预先训练的SeNet深度学习架构进行了微调，该架构是在AffWild2面部表情识别数据集上进行的。这项工作的主要目标是为我们即将提出的新方法定义一个基线。这篇论文也被要求在野外情感行为分析（ABAW）的竞争，以评估测试集上的这种方法。这里报告的结果是在验证集上，并与比赛的表情挑战部分（七种基本情绪识别）有关。我们将尽快更新他们的测试集上的实际结果将在排行榜上公布。
2021-01-22 cs.CV cs.HC cs.LG
A Multi-resolution Approach to Expression Recognition in the Wild
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
面部表情在人类交流中起着重要作用。事实上，它们通常揭示了人们在口语之外的真实情感状态。此外，基于视觉模式对人类情感的理解是任何人机交互系统的关键因素，因此，面部表情识别（FER）的任务引起了科学和工业界的兴趣。近年来，深度学习技术通过利用不同的架构和学习范式在FER上达到了非常高的性能。在这样的背景下，我们提出了一个多分辨率的方法来解决FER任务。我们的直觉是基于这样一种观察，即人脸图像通常是以不同的分辨率获得的。因此，在训练模型时直接考虑这样的属性可以帮助在识别面部表情时实现更高的性能。为了实现我们的目标，我们使用了一个类似ResNet的架构，配备了挤压和激励模块，在Affect-in-the-Wild 2数据集上训练。没有可用的测试集，我们进行测试和模型选择，只采用验证集上，我们实现了超过90%的准确率分类的七个表达式，数据集包括。
2021-03-09 cs.AI cs.CV
Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher
Beijing University of Posts and Telecommunications（北京邮电大学）
在本文中，我们的目标是提高在野外人脸表情识别（FER）的性能，通过利用半监督学习。大规模标记数据和深度学习方法极大地提高了图像识别的性能。然而，由于缺乏训练数据和不正确的注释（例如，标签噪声）。在现有的野外FER数据集中，可靠的数据集包含的数据不足以训练鲁棒的深度模型，而大规模的数据集则以较低的质量进行注释。为了解决这个问题，我们提出了一个半监督学习算法名为渐进式教师（PT），利用可靠的FER数据集以及大规模的未标记的表情图像进行有效的训练。一方面，PT引入了半监督学习的方法来缓解FER中数据不足的问题。另一方面，它自动和渐进地选择有用的标记训练样本，以减轻标签噪声。PT使用选定的干净标记数据来计算监督分类损失，使用未标记数据来计算无监督一致性损失。在广泛使用的数据库RAF-DB和FERPlus上的实验验证了该方法的有效性，在RAF-DB上取得了89.57%的准确率。此外，当合成噪声率甚至达到30%时，我们的PT算法的性能仅下降了4.37%。
2022-05-28 cs.CV
Advanced local motion patterns for macro and micro facial expression recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
在本文中，我们开发了一种新的方法，识别面部表情，创新的局部运动模式功能的基础上，有三个主要贡献。第一个是面部皮肤的时间弹性和面部变形的分析表达。第二种是宏观和微观表情识别的统一方法。第三个是朝着野外表达识别迈出的一步，处理各种强度和各种表达激活模式，照明变化和小头部姿势变化等挑战。我们的方法优于国家的最先进的方法，微观表情识别和位置本身的顶级国家的最先进的方法，宏观表情识别。
2018-05-04 cs.CV
Facial Expression Classification using Fusion of Deep Neural Network in Video for the 3rd ABAW3 Competition
Chonnam National University（全南国立大学）
对于计算机识别人类情感，表情分类是人机交互领域中同样重要的问题。在第三届情感行为分析野外比赛中，表情分类的任务包括八个类别，其中包括来自视频的人脸的六种基本表情。在本文中，我们采用了一个Transformer机制，从骨干编码的鲁棒表示。鲁棒表示的融合在表情分类任务中发挥着重要作用。我们的方法在验证集和测试集上的$F_1$得分分别达到30.35%和28.60%。该结果显示了基于Aff-Wild 2数据集的所提出的架构的有效性。
2022-04-08 cs.CV eess.IV
FusiformNet: Extracting Discriminative Facial Features on Different Levels
在过去的几年里，基于深度神经网络的面部识别研究已经发展了特定于任务的损失函数，图像归一化和增强，网络架构等方法。假设人与人之间的差异被发现一般和局部的人脸，我提出FusiformNet，一个新的框架，利用的性质，歧视性的面部特征的特征提取。在Wild基准测试中对Labeled Faces的Image-Unrestricted设置进行测试，该方法在没有标记外部数据，图像增强，归一化或特殊损失函数的情况下实现了96.67%的最新准确率。同样，当在CASIA-WebFace数据集上进行预训练时，该方法的性能也与以前的最先进技术相当。考虑到其提取一般和局部面部特征的能力，FusiformNet的实用性可能不仅限于面部识别，还可以扩展到其他基于DNN的任务。
2020-11-26 cs.CV
Vision Transformer with Attentive Pooling for Robust Facial Expression Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；West Virginia University（西弗吉尼亚大学）；Baidu Research（百度研究院）
在野外进行面部表情识别（FER）是一项极具挑战性的任务。最近，一些视觉Transformer（ViT）已经被探索用于FER，但与卷积神经网络（CNN）相比，它们中的大多数表现不佳。这主要是因为新提出的模块由于缺乏归纳偏差而难以从头开始很好地收敛，并且容易集中在遮挡和噪声区域。基于transformer的FER方法的代表性算法transFER通过多分支注意力丢弃来解决这一问题，但计算量过大。相反，我们提出了两个专注池（AP）模块池噪声功能直接。AP模块包括Attentive Patch Pooling（APP）和Attentive Token Pooling（ATP）。它们旨在引导模型强调最具区别性的特征，同时减少不太相关的特征的影响。所提出的APP被用来选择CNN特征上信息量最大的补丁，ATP丢弃ViT中不重要的令牌。APP和ATP易于实现，并且没有可学习的参数，直观地降低了计算成本，同时通过只追求最具鉴别力的特征来提高性能。定性结果证明了我们用心汇集的动机和有效性。此外，六个野外数据集的定量结果优于其他最先进的方法。
2022-12-11 cs.CV
Temporal Non-Volume Preserving Approach to Facial Age-Progression and Age-Invariant Face Recognition
Concordia University（康考迪亚大学）；Carnegie Mellon University（卡内基梅隆大学）
由于面部发育阶段存在较大的非线性变化，因此对长期面部老化过程进行建模极具挑战性。为了有效地解决这个问题，这项工作首先将衰老过程分解为多个短期阶段。然后，提出了一种新的生成概率模型，称为时间非体积保持（TNVP）变换，在每个阶段的面部老化过程建模。与需要经验平衡阈值的生成对抗网络（GANs）和难以处理的模型受限玻尔兹曼机（RBM）不同，我们提出的TNVP方法保证了易于处理的密度函数，精确的推理和评估，用于在连续阶段中嵌入人脸之间的特征变换。我们的模型不仅在捕捉每个阶段的非线性年龄相关的方差，但也产生了一个平滑的合成，在年龄进程中的面孔显示其优势。我们的方法可以模拟任何面临的野生提供只有四个基本的标志点。此外，该结构可以转换为深度卷积网络，同时保持概率模型的优点，具有易于处理的对数似然密度估计。我们的方法在合成年龄进展的脸和跨年龄的脸验证方面进行了评估，并一致显示了各种人脸老化数据库，即FG-NET，MORPH，AginG Faces in the Wild（AGFW）和跨年龄名人数据集（CACD）中的最新结果。一个大规模的人脸验证Megaface挑战1也进行了进一步显示我们所提出的方法的优点。
2017-03-24 cs.CV
Towards End-to-End Neural Face Authentication in the Wild -- Quantifying and Compensating for Directional Lighting Effects
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
最近可用的低功耗神经加速器硬件，结合端到端神经面部识别算法的改进，使设备上的面部认证技术成为可能。目前的研究工作探讨定向照明的影响，国家的最先进的（SoA）神经人脸识别。由于缺乏具有足够的定向照明变化的公共数据集，合成重新照明技术被用于增加数据样本。顶部照明及其变体（左上角，右上角）被发现对准确性的影响最小，而左下角或右下角的定向照明具有最明显的效果。在对网络权重进行微调之后，人脸识别模型在所有照明条件下都接近于原始的受试者工作特征曲线（ROC）性能，并展示了超越微调数据集中使用的照明增强的泛化能力。这项工作表明，可以调整SoA神经人脸识别模型以补偿定向照明效果，从而在应用人脸识别之前无需预处理步骤。
2021-04-08 cs.AI cs.CV
