Facial Affect Estimation in the Wild Using Deep Residual and Convolutional Networks
University of Denver（丹佛大学）
在自然环境中进行自动情感计算是计算机视觉领域的一项具有挑战性的任务。本文提出了三种基于神经网络的方法，提出了面部情感估计的任务提交的第一个影响在野外的挑战。这些方法基于专门为面部情感估计任务重新设计的Inception-ResNet模块。这些方法是：Shallow Inception-ResNet，Deep Inception-ResNet和Inception-ResNet with LSTM。这些网络以不同的尺度提取面部特征，并同时估计每帧中的效价和唤醒。使用Deep Inception-ResNet方法，效价和唤醒的均方根误差（RMSE）率分别为0.4和0.3，相应的一致性相关系数（CCC）率分别为0.04和0.29。
2017-05-22 cs.CV
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation
University of Exeter（埃克塞特大学）；Imperial College London（伦敦帝国学院）；Foundation for Research and Technology-Hellas（希腊研究与技术基金会）
仅从单目RGB图像对中捕获密集的3D面部运动对于从面部表情识别到面部再现的许多应用来说是一个极具挑战性的问题。在这项工作中，我们提出了DeepFaceFlow，这是一个强大，快速，高精度的框架，用于对单目图像之间的3D非刚性面部流进行密集估计。我们的DeepFaceFlow框架在两个非常大规模的面部视频数据集上进行了训练和测试，其中一个是我们自己的集合和注释，并借助基于遮挡感知和3D的损失函数。我们进行了全面的实验，探索我们的方法的不同方面，并证明其对最先进的流和3D重建方法的性能改善。此外，我们将我们的框架在一个完整的头部国家的最先进的面部视频合成方法，并证明我们的方法在更好地表示和捕捉面部动态的能力，从而在一个高度逼真的面部视频合成。给定注册的图像对，我们的框架以约60 fps的速度生成3D流图。
2020-05-14 cs.CV
DogFLW: Dog Facial Landmarks in the Wild Dataset
University of Haifa（海法大学）；Dogs and Science；University of Parma（帕尔马大学）
针对动物面部表情自动分析数据不足的问题，本文借鉴猫脸关键点数据集，构建含3,274张图像、46个解剖关键点标注的 DogFLW 犬脸数据集。
2024-05-19 cs.CV
Multi-modal Transfer Learning for Dynamic Facial Emotion Recognition in the Wild
Georgia Institute of Technology（佐治亚理工学院）
本文研究多模态迁移学习以提升自然场景动态视频面部表情识别准确率，结合预训练ResNets、OpenPose和OmniVec提取跨时间多模态特征，适度提升了基于transformer的分类模型性能。
2025-04-30 cs.CV
3D Face Morphable Models "In-the-Wild"
Imperial College London（帝国理工学院）
三维变形模型（3DMM）是一种强大的三维面部形状和纹理的统计模型，也是从单幅图像重建面部形状的最先进方法之一。随着新的3D传感器的出现，许多3D面部数据集已被收集包含中性以及表情的面孔。然而，所有数据集都是在受控条件下捕获的。因此，尽管可以从此类数据中学习强大的3D面部形状模型，但很难构建足以重建在无约束条件（“野外”）下捕获的面部的统计纹理模型。在本文中，我们提出了第一个，据我们所知，“在野外”3DMM相结合的强大的统计模型的面部形状，它描述了身份和表达，与“在野外”的纹理模型。我们表明，这种“在野生”纹理模型的就业大大简化了拟合过程，因为没有必要优化的照明参数。此外，我们提出了一种新的快速算法，适合在任意图像的3DMM。最后，我们捕获了第一个具有相对无约束条件的3D面部数据库，并报告了具有最先进性能的定量评估。互补的定性重建结果证明标准的“在野外”的面部数据库。我们的技术的开源实现作为Menpo项目的一部分发布。
2017-01-19 cs.CV
Multi-modal Facial Action Unit Detection with Large Pre-trained Models for the 5th Competition on Affective Behavior Analysis in-the-wild
University of Southern California（南加州大学）
本文针对ABAW 2023竞赛中的面部动作单元检测任务，提出融合大型预训练模型提取的视觉、声学和词汇特征的多模态方法，并结合超分辨率与人脸对齐，在官方验证集上取得52.3%的F1分数。
2023-04-17 cs.CV
ABAW : Facial Expression Recognition in the wild
SSSIHL（斯里·萨提亚·赛高等研究院）
第五届野外情感行为分析（ABAW）竞赛设有多项挑战，如效价-唤醒估计挑战、表情分类挑战、动作单元检测挑战、情绪反应强度估计挑战。在本文中，我们只处理表达分类的挑战，使用多种方法，如全监督，半监督和噪声标签的方法。我们的方法使用噪声感知模型比基线模型的性能好10.46%，半监督模型比基线模型的性能好9.38%，全监督模型比基线模型的性能好9.34%
2023-03-17 cs.CV
Synthesising 3D Facial Motion from "In-the-Wild" Speech
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；University of Augsburg（奥格斯堡大学）；University of Oulu（奥卢大学）
从语音合成3D面部运动是一个关键的问题，表现在众多的应用程序，如计算机游戏和电影。最近提出的方法解决了这个问题，在受控条件下的讲话。在本文中，我们介绍了第一种方法，从捕获的语音在任意记录条件（“在野外”）和独立的扬声器的三维面部运动合成。出于我们的目的，我们捕获了人们说出500个单词的4D序列，这些单词包含在唇读单词（LRW）中，这是一个公开的大规模野外数据集，并构建了一组适合语音的3D融合形状。我们通过一种新的时间规整技术，名为深度典型注意力规整（DCAW），可以同时学习分层非线性表示和翘曲路径中的端到端的方式，将语音blendshape的3D形状参数与LRW音频样本相关。我们彻底评估了我们提出的方法，并展示了深度学习模型在不受控制的条件下处理不同扬声器和连续语音信号时合成3D面部运动的能力。
2019-04-15 cs.CV
Cross-Cultural and Cultural-Specific Production and Perception of Facial Expressions of Emotion in the Wild
The Ohio State University（俄亥俄州立大学）
从面部表情中自动识别情感是一个激烈的研究领域，具有潜在的重要应用。然而，研究情绪需要知道哪些面部表情是在野外的文化中使用的，而不是在受控的实验室条件下;但这样的研究并不存在。人们通常使用哪些跨文化和文化特定的面部表情？那么，每个表情都向观察者传达了哪些影响变量？如果我们要设计能够理解用户情感的技术，我们需要回答这两个基本问题。在本文中，我们提出了第一个大规模的研究生产和视觉感知的面部表情的情绪在野外。我们发现，在人们理论上可以产生的16，384种可能的面部结构中，只有35种被成功地用于跨文化传递情感信息，而在少数文化中只有8种。至关重要的是，我们发现，跨文化表达的视觉分析产生一致的感知情感类别和效价，但不是唤醒。与此相反，视觉分析的文化特定的表达产生一致的感知价和唤醒，但不是情绪类别。此外，我们发现，用于传达每种情绪的表情数量也是不同的，例如，17个表情传递快乐，但只有1个用于表达厌恶。
2018-08-13 cs.CV
InfAnFace: Bridging the infant-adult domain gap in facial landmark estimation in the wild
Roux Institute（鲁克斯研究所）；Northeastern University（东北大学）；University of Maine（缅因大学）
我们为婴儿面部的算法理解研究奠定了基础，预期从医疗保健到心理学的应用，特别是在发育障碍的早期预测方面。具体来说，我们介绍了有史以来第一次的数据集的婴儿面部标注的面部标志坐标和姿态属性，展示了现有的面部标志估计算法在婴儿领域的不足之处，和训练新的国家的最先进的模型，显着改善后，这些算法使用领域自适应技术。我们触及了与婴儿面部检测密切相关的任务，以及我们实验室收集的红外婴儿监视器图像的一个具有挑战性的案例研究，作为对上述发展问题的现场研究的一部分。
2022-05-27 cs.CV
GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images
UCAS（中国科学院大学）；CASIA（中国科学院自动化研究所）；ByteDance Ltd（字节跳动有限公司）；Nanjing University（南京大学）
本文提出GaFET框架，基于参数化3D面部表示稳定解耦表情，结合多层级特征对齐Transformer和StyleGAN去表情模型，在无配对自然图像上实现高质量、可泛化的面部表情迁移。
2023-08-07 cs.CV
CatFLW: Cat Facial Landmarks in the Wild Dataset
University of Haifa（海法大学）
本文提出CatFLW数据集，包含2016张猫脸图像和48个关键点标注，并介绍了一种半监督标注方法，显著减少标注时间，推动动物面部分析自动化。
2023-05-07 cs.CV
Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild
University of Science and Technology of China（中国科学技术大学）
与基于图像的静态人脸表情识别（SFER）任务相比，基于视频序列的动态人脸表情识别（DFER）任务更接近自然表情识别场景。然而，DFER往往更具挑战性。其中一个主要原因是视频序列通常包含具有不同表情强度的帧，特别是对于真实世界场景中的面部表情，而SFER中的图像经常呈现均匀且高的表情强度。然而，如果对不同强度的表达式进行同等对待，则网络学习的特征将具有较大的类内差异和较小的类间差异，这对DFER是有害的。为了解决这个问题，我们提出了全局卷积注意块（GCA）来重新缩放特征图的通道。此外，我们在训练过程中引入了强度感知损失（IAL），以帮助网络区分表达强度相对较低的样本。在两个野外动态面部表情数据集上的实验（即，DFEW和FERV39k）表明，我们的方法优于最先进的DFER方法。源代码将公开提供。
2022-08-19 cs.CV
Audio-Driven 3D Facial Animation from In-the-Wild Videos
Tsinghua University（清华大学）；The University of Tokyo（东京大学）
本文提出利用野外二维说话头视频训练三维面部动画模型，结合三维重建方法，实现高保真唇同步并捕捉个人说话风格，显著提升泛化能力。
2023-06-20 cs.CV
Facial Action Unit Recognition Based on Transfer Learning
University of Science and Technology of China（中国科学技术大学）
人脸动作单元识别是人脸分析中的一项重要任务。由于采集环境的复杂性，野外人脸动作单元识别仍然具有挑战性。第三届野外情感行为分析竞赛（ABAW）提供了大量带有面部动作单元注释的面部图像。本文介绍了一种基于迁移学习的人脸动作单元识别方法。我们首先使用带有表情标签的可用面部图像来训练特征提取网络。然后，我们微调网络用于面部动作单元识别。
2022-03-25 cs.CV
Behaviour4All: in-the-wild Facial Behaviour Analysis Toolkit
Queen Mary University of London（伦敦玛丽女王大学）；London School of Economics（伦敦政治经济学院）
本文提出开源面部行为分析工具包Behavior4All，通过分布匹配和标签联合标注解决非重叠标注任务，在性能、公平性和泛化能力上均超越现有方法且速度更快。
2024-09-26 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China（中国科学技术大学）
野外人脸表情识别是计算机视觉中一项极具挑战性的任务，这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外，网络可以很容易地被上述因素分布，并执行错误的决策。近年来，视觉Transformer（ViT）和数据高效图像Transformers（DeiT）在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野，大大增强了特征提取能力。在这项工作中，我们首先提出了一种新的纯transformer为基础的面具视觉Transformer（MVT）在野外的FER，它由两个模块组成：一个transformer为基础的面具生成网络（MGN），以产生一个面具，可以过滤掉复杂的背景和遮挡的人脸图像，和一个动态的重新标记模块，纠正错误的标签在野外FER数据集。大量的实验结果表明，我们的MVT优于国家的最先进的方法在RAF-DB与88.62%，FERPlus与89.22%，和AffectNet-7与64.57%，分别，并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
Neural Emotion Director: Speech-preserving semantic control of facial expressions in "in-the-wild" videos
National Technical University of Athens（雅典国立技术大学）；Foundation for Research & Technology - Hellas (FORTH)（希腊研究与技术基金会）；University of Exeter（埃克塞特大学）
在本文中，我们介绍了一种新颖的深度学习方法，用于对“野外”视频中演员的情绪状态进行照片般逼真的操作。所提出的方法是基于一个参数化的3D人脸表示的演员在输入场景中，提供了一个可靠的解纠缠的面部身份从头部姿势和面部表情。然后，它使用一种新的深域翻译框架，以一致和合理的方式改变面部表情，考虑到它们的动态。最后，改变的面部表情被用于基于专门设计的神经面部渲染器在输入场景中照片逼真地操纵面部区域。据我们所知，我们的方法是第一个能够控制演员的面部表情，甚至使用作为唯一的输入的语义标签的操纵的情绪，而在同一时间保留语音相关的嘴唇运动。我们进行了广泛的定性和定量的评价和比较，这表明我们的方法的有效性和特别有前途的结果，我们获得。我们的方法为神经渲染技术的有用应用开辟了大量新的可能性，从电影后期制作和视频游戏到照片般逼真的情感化身。
2022-03-30 cs.CV
Facial Expression Recognition from World Wild Web
University of Denver（丹佛大学）
在计算机视觉中，识别野生环境中的面部表情一直是一项具有挑战性的任务。万维网是一个很好的面部图像来源，其中大多数是在不受控制的条件下捕获的。事实上，互联网是一个由带有表情的面部图像组成的单词野生网络。本文介绍了一项新的研究结果收集，注释和分析野生面部表情从网络。三个搜索引擎查询使用1250情感相关的关键字在六种不同的语言和检索到的图像被映射到六个基本的表达式和中性的两个注释器。在三种不同的训练场景中使用深度神经网络和噪声建模，以确定在使用查询术语（例如，快乐的脸，笑的人等）从网络收集的噪声图像上训练时，面部表情的识别准确度如何？我们的实验结果表明，深度神经网络可以识别野生面部表情，准确率为82.12%。
2017-01-05 cs.CV cs.NE
CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是理解人类行为的一项重要任务。作为人类最具信息量的行为之一，面部表情往往是复合的和可变的，这表现为不同的人可能以非常不同的方式表达相同的表情。然而，大多数FER方法仍然使用独热或软标签作为监督，这缺乏足够的语义描述的面部表情和较少的可解释性。最近，对比视觉语言预训练（VLP）模型（例如，CLIP）以文本为监督，得益于文本中丰富的语义，为各种计算机视觉任务注入了新的活力。因此，在这项工作中，我们提出了CLIPER，一个统一的框架，静态和动态的面部表情识别的基础上CLIP。此外，我们引入了多表达式文本描述符（METD）来学习细粒度的表达式表示，使CLIPER更具可解释性。我们在几个流行的FER基准上进行了大量的实验，并达到了最先进的性能，这证明了CLIPER的有效性。
2023-03-01 cs.CV
FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild
Imperial College London（帝国理工学院）
基于图像的年龄估计旨在从面部图像中预测人的年龄。它被用于各种实际应用中。尽管端到端深度模型在基准数据集上的年龄估计方面取得了令人印象深刻的结果，但由于头部姿势、面部表情和遮挡的巨大变化所带来的挑战，它们在野外的性能仍有很大的改进空间。为了解决这个问题，我们提出了一种简单而有效的方法来明确地将面部语义纳入年龄估计，以便模型能够正确地关注未对齐面部图像中信息量最大的面部组件，而不管头部姿势和非刚性变形。为此，我们设计了一个基于人脸解析的网络来学习不同尺度的语义信息，并设计了一个新的人脸解析注意力模块来利用这些语义特征进行年龄估计。为了在野外数据上评估我们的方法，我们还引入了一个新的具有挑战性的大规模基准测试，称为IMDB-Clean。该数据集是通过使用约束聚类方法半自动清理嘈杂的IMDB-WIKI数据集创建的。通过在IMDB-Clean和其他基准数据集上的综合实验，在数据集内和跨数据集评估协议下，我们表明我们的方法始终优于所有现有的年龄估计方法，并实现了新的最先进的性能。据我们所知，我们的工作提出了第一次尝试利用人脸解析注意力来实现语义感知的年龄估计，这可能会启发其他高层次的面部分析任务。代码和数据可在\url{https://github.com/ibug-group/fpage}上获得。
2022-03-04 cs.CV
Interpretable Temporal Facial-Region Motion Analysis for In-the-Wild Parkinson's Disease Video Classification
Department of Computer Science and Information, College of Science, Majmaah University（计算机科学与信息系，科学学院，麦杰玛大学）
提出基于面部区域关键点的时序运动描述符，在YouTubePD基准上实现轻量级且可解释的PD视频分类，平衡准确率达0.826。
2026-06-08 cs.CV
Quaternion Orthogonal Transformer for Facial Expression Recognition in the Wild
人脸表情识别是人工智能中一个具有挑战性的课题。最近，许多研究人员试图将视觉Transformer（ViT）引入FER任务。然而，ViT不能充分利用从原始图像中提取的情感特征，并且需要大量的计算资源。为了克服这些问题，我们提出了一个四元数正交Transformer（QOT）的FER。首先，为了减少从预训练的ResNet-50中提取的特征之间的冗余，我们使用正交损失将这些特征分解并压缩为三组正交子特征。其次，三个正交的子特征被集成到一个四元数矩阵，它保持不同的正交分量之间的相关性。最后，我们开发了一个四元数视觉Transformer（Q-ViT）的特征分类。Q-ViT采用四元数运算代替ViT中的原始运算，从而以较少的参数提高了最终精度。在三个真实FER数据集上的实验结果表明，该算法的性能优于现有的几种模型，并减少了计算量。
2023-03-14 cs.CV
GoDP: Globally optimized dual pathway system for facial landmark localization in-the-wild
University of Houston（休斯顿大学）
人脸特征点定位是姿态不变人脸识别的一个基本模块。最常用的人脸标志点检测方法是级联回归，它由两个步骤组成：特征提取和人脸形状回归。最近的方法使用深度卷积网络来提取每个步骤的鲁棒特征，而整个系统可以被视为深度级联回归架构。在这项工作中，不是采用深度回归网络，而是提出了一种全局优化的双路径（GoDP）深度架构，通过解决级联像素标记问题来识别目标像素，而无需诉诸高级推理模型或复杂的堆栈架构。所提出的端到端系统依赖于距离感知的softmax函数和双通道提案细化架构。结果表明，它优于国家的最先进的级联回归为基础的方法在多个野外人脸对齐数据库。该模型在AFLW数据库上实现了1.84的归一化平均误差（NME），比3DDFA高61.8%。人脸识别实验表明，GoDP，加上DPM-headhunter，能够提高44.2%的rank-1识别率相比，Dlib工具箱在一个具有挑战性的数据库。
2017-12-19 cs.CV
Face Detection, Bounding Box Aggregation and Pose Estimation for Robust Facial Landmark Localisation in the Wild
University of Surrey（萨里大学）；Jiangnan University（江南大学）
我们提出了一个框架，强大的人脸检测和地标定位的脸在野外，这已被评估为“第二届面部地标定位比赛”的一部分。该框架有四个阶段：人脸检测，限界框聚合，姿态估计和地标定位。为了实现高检测率，我们使用了两个公开的基于CNN的人脸检测器和两个专有检测器。我们聚合每个输入图像的检测到的人脸边界框，以减少误报，提高人脸检测的准确性。级联形状回归，训练使用各种姿态变化的脸，然后用于姿态估计和图像预处理。最后，我们训练最终的级联形状回归细粒度的地标定位，使用大量的训练样本有限的姿态变化。在300W和Menpo基准测试上获得的实验结果表明，我们的框架优于最先进的方法。
2017-06-01 cs.CV
Benchmarking Deep Facial Expression Recognition: An Extensive Protocol with Balanced Dataset in the Wild
本研究构建了新的野外面部表情数据集，通过统一协议评测23种网络架构及多种训练设置的性能，给出真实场景部署深度FER方法的建议，并探讨相关伦理与隐私问题。
2023-11-06 cs.CV
EmotioNet Challenge: Recognition of facial expressions of emotion in the wild
The Ohio State University（俄亥俄州立大学）
本文详细介绍的方法和结果的挑战。这一挑战是第一次测试计算机视觉算法在自动分析大量野生动物面部表情图像的能力。挑战分为两个轨道。第一条赛道测试了当前计算机视觉算法在自动检测动作单元（AU）方面的能力。具体来说，我们测试了11个AU的检测。第二个轨道测试了算法识别面部表情图像中情感类别的能力。具体来说，我们测试了16个基本和复合情感类别的识别。挑战的结果表明，目前的计算机视觉和机器学习算法无法可靠地解决这两项任务。当试图识别情感时，当前算法的局限性更加明显。我们还表明，目前的算法不受轻微的分辨率变化，小遮挡，性别或年龄的影响，但3D姿态是性能的一个主要限制因素。我们提供了一个深入的讨论点，需要特别注意前进。
2017-03-03 cs.CV
YinYang-Net: Complementing Face and Body Information for Wild Gender Recognition
University of Beira Interior（贝拉内陆大学）
监控场景中的软生物特征推断是各种应用，特别是在安全相关领域中感兴趣的主题。然而，软生物特征分析在野生条件下没有广泛报道。特别是，以前的性别识别工作报告了他们在人脸数据集中的结果，具有相对较好的图像质量和正面姿势。鉴于在野生条件下的面部区域的可用性的不确定性，我们认为这些方法是不足够的监视设置。为了克服这些局限性，我们：1）提出了三个著名的监控数据集的正面和野生人脸版本; 2）提出了阴阳网（YY-Net），这是一种有效和动态补充面部和身体信息的模型，这使得它适合在野生条件下进行性别识别。正面和野生人脸数据集来自广泛使用的行人属性识别（PAR）集（PETA，PA-100K和RAP），使用基于姿势的方法来过滤正面样本和面部区域。这种方法检索图像的面部区域与不同的图像/主体条件，其中国家的最先进的人脸检测器往往失败。YY-Net通过一个可学习的融合矩阵和一个通道注意力子网络将面部和身体信息结合起来，根据特定的图像/主体特征聚焦于最有影响力的身体部位。我们将其与五种PAR方法进行比较，始终获得最先进的性别识别结果，并将正面样本的预测误差降低了24%。公布的PAR数据集版本和YY-Net作为野生软生物特征分类的基础，可在www.example.com上获得。
2021-09-20 cs.CV
Event-Level Emotion Recognition in the Wild Using Deep Facial Expression Analysis
Kazakh-British Technical University（哈萨克-英国技术大学）
针对野外事件级情绪识别难题，提出端到端流水线，结合人脸检测、深度CNN分类及概率聚合，经真实数据集验证，有效估计公共事件整体情绪分布。
2026-09-15 cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Recognizing Facial Expressions in the Wild using Multi-Architectural Representations based Ensemble Learning with Distillation
SZABIST（巴基斯坦真纳科技大学）；Technische Universität Dresden (TU Dresden)（德累斯顿工业大学）
面部表情是肢体语言中最常见的普遍形式。在过去的几年里，自动面部表情识别（FER）一直是一个活跃的研究领域。然而，由于各种不确定性和复杂性，这仍然是一项具有挑战性的任务。然而，效率和性能仍然是建立强大系统的重要方面。我们提出了两种模型，一种是用于学习卷积面部表示的集成学习技术，另一种是用于将知识从集成模型转移到高效深度神经网络的蒸馏技术，该技术使用标签平滑软标签，能够实时有效地检测表情。这两种技术都表现得很好，其中集成模型（SEMXNet）有助于在FER+注释的FER 2013上实现85.07%的测试准确度，在RAF-DB上实现86.25%的测试准确度。此外，蒸馏模型（XNUMX NetLite）在FER 2013上显示82.07%的测试准确度，并带有FER+注释，在RAF-DB上显示81.78%的测试准确度。结果表明，我们的模型似乎很好地概括了新的数据，并学会了专注于相关的面部表情识别。
2021-08-20 cs.CV
VGGTFace: Topologically Consistent Facial Geometry Reconstruction in the Wild
Xin Ming, Yuxuan Han, Tianyu Huang, Feng Xu（作者）
VGGTFace通过引入VGGT和Pixel3DMM实现高效拓扑一致的面部几何重建，适用于真实世界多视角图像。
2025-11-26 cs.CV
In-the-wild Facial Expression Recognition in Extreme Poses
International Doctoral Innovation Centre, University of Nottingham Ningbo China（宁波诺丁汉大学国际博士创新中心）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；Institute of Microscopy Science and Technology, Ningbo Yongxin Optics Co. LTD.（宁波永新光学股份有限公司显微科学与技术研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在计算机研究领域，人脸表情识别是一个热门的研究课题。近年来，研究已经从实验室环境转移到野外环境。这是具有挑战性的，特别是在极端的姿势下。但目前的表情检测系统都在努力避免姿态效应，以获得通用性。在这项工作中，我们以相反的方式解决问题。我们认为，头部姿势和特殊的头部姿势内检测的表情。我们的工作包括两部分：检测头部姿势并将其分组到一个预定义的头部姿势类中;在每个姿势类中进行面部表情识别。实验结果表明，与不考虑姿态的直接识别相比，采用姿态类分组的方法识别效果更好。我们将手工特征、SIFT、LBP和几何特征与深度学习特征相结合，作为表达式的表示。手工制作的功能与高级深度学习功能一起添加到深度学习框架中。作为比较，我们实现了SVM和随机森林作为预测模型。为了训练和测试我们的方法，我们用6种基本表情标记了人脸数据集。
2018-11-06 cs.CV
A Survey of Deep Facial Attribute Analysis
Dalian University of Technology（大连理工大学）；CASIA Center for Research on Intelligent Perception and Computing（中国科学院自动化研究所智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
在过去几年中，当深度学习技术在该领域取得显著突破时，面部属性分析受到了相当大的关注。基于深度学习的面部属性分析由两个基本子问题组成：面部属性估计（FAE），其识别给定图像中是否存在面部属性;以及面部属性操作（FAM），其合成或移除所需的面部属性。在本文中，我们提供了一个全面的调查深面部属性分析的角度估计和操纵。首先，我们总结了深度面部属性分析的一般流程，包括两个阶段：数据预处理和模型构建。此外，我们还介绍了FAE和FAM两个阶段管道的基本理论。其次，介绍了人脸属性分析中常用的数据集和性能指标。第三，我们创建了一个最先进的方法的分类，并详细回顾了深FAE和FAM算法。此外，几个额外的面部属性相关的问题，以及相关的现实世界中的应用。最后，我们讨论了可能的挑战和有前途的未来研究方向。
2019-10-27 cs.CV
DFEW: A Large-Scale Database for Recognizing Dynamic Facial Expressions in the Wild
Southeast University（东南大学）
近年来，野外人脸表情识别（FER）得到了很多研究者的关注，因为如何使FER技术从实验室走向实际应用是一个很有价值的课题。在本文中，我们专注于这一具有挑战性的，但有趣的话题，并从三个方面作出贡献。首先，我们提出了一个新的大规模的“在野外”的动态面部表情数据库，DFEW（动态面部表情在野外），包括超过16,000个视频剪辑从数千部电影。这些视频剪辑包含各种具有挑战性的干扰，在实际情况下，如极端照明，闭塞，和反复无常的姿态变化。其次，我们提出了一种新的方法，称为表达的时空特征学习（EC-STFL）框架来处理动态FER在野外。第三，我们使用许多时空深度特征学习方法以及我们提出的EC-STFL对DFEW进行了广泛的基准测试实验。实验结果表明，DFEW是一个设计良好且具有挑战性的数据库，所提出的EC-STFL可以有效提高现有时空深度神经网络在处理野外动态FER问题时的性能.我们的DFEW数据库是公开的，可以从https://dfew-dataset.github.io/免费下载。
2020-08-13 cs.CV cs.MM
Learning from Synthetic Data: Facial Expression Classification based on Ensemble of Multi-task Networks
Seoul National University of Science and Technology（首尔科学技术大学）；Kumoh National Institute of Technology（锦湖国立理工学院）
在野外的面部表情是必不可少的各种交互式计算领域。特别是，“从合成数据中学习“（LSD）是面部表情识别任务中的一个重要课题。在本文中，我们提出了一种基于多任务学习的面部表情识别方法，其中包括情感和外观学习分支，可以共享所有的面部信息，并提出了初步的结果，LSD的挑战，介绍了在第四届情感行为分析在野外（ABAW）比赛。我们的方法实现了0.71的平均F1得分。
2022-07-21 cs.CV
PERI: Part Aware Emotion Recognition In The Wild
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
情感识别旨在基于包括音频、视觉和文本线索在内的各种输入来解释人的情感状态。本文主要研究基于视觉特征的情感识别。为了利用面部表情和人的情绪状态之间的相关性，开创性的方法主要依赖于面部特征。然而，面部特征在自然的无约束场景中通常是不可靠的，例如在拥挤的场景中，因为面部缺乏像素分辨率并且由于遮挡和模糊而包含伪影。为了解决这个问题，在野生情绪识别利用全身人作物以及周围的场景上下文。为了使用身体姿势进行情感识别，这些方法未能实现面部表情（当可用时）提供的潜力。因此，本文的目的是双重的。首先，我们展示了我们的方法，PERI，利用身体姿势和面部标志。我们创建部分感知空间（PAS）图像提取关键区域从输入图像使用从身体姿势和面部标志生成的掩模。这使我们能够利用身体姿势，除了面部上下文，只要可用。其次，原因从PAS图像，我们引入上下文注入（Cont-In）块。这些模块处理特定于部分的信息，并将其传递到情感识别网络的中间特征。我们的方法在概念上是简单的，可以应用到任何现有的情感识别方法。我们提供了我们的结果公开可用的野生EMOTIC数据集。与现有方法相比，PERI实现了卓越的性能，并导致情绪类别的mAP的显着改善，同时减少效价，唤醒和优势错误。重要的是，我们观察到，我们的方法提高了在完全可见的人脸图像以及在被遮挡或模糊的人脸图像中的性能。
2022-10-18 cs.CV
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
Imponderous Net for Facial Expression Recognition in the Wild
SSSIHL（斯里萨蒂亚赛人类卓越研究所）
自深度学习（DL）复兴以来，面部表情识别（FER）受到了极大的关注，其性能不断提高。与业绩携手，新的挑战也随之而来。现代FER系统处理在不受控制的条件下（也称为野外场景）捕获的面部图像，包括遮挡和姿态变化。他们使用深度网络成功地处理了这些情况，这些网络具有各种组件，如迁移学习，注意力机制和局部-全局上下文提取器。然而，这些深度网络非常复杂，具有大量参数，使其不适合在实际场景中部署。是否有可能构建一个轻量级网络，在野外场景下仍然可以在FER上显示出显着的良好性能？在这项工作中，我们有条不紊地构建了这样一个网络，并将其称为ImponetransNet。我们利用FER的深度网络的上述组件，并分析，仔细选择和调整它们以达到Imponetrant Net。我们的Imponetrable Net是一个低卡路里的网络，只有145万个参数，比最先进的（SOTA）架构少了近50倍。此外，在推理过程中，它可以在intel-i7 cpu中以每秒40帧（fps）的实时的速率进行处理。虽然它是低热量的，但它的性能仍然强大，压倒了其他轻量级架构，甚至是少数高容量架构。具体来说，ImponnestNet在野外数据集RAFDB，FERPlus和AffectNet上的准确率分别为87.09%，88.17%和62.06%。与文献中的其他轻量级架构相比，它在遮挡和姿态变化下也具有出色的鲁棒性。
2021-03-28 cs.CV
Facial Soft Biometrics for Recognition in the Wild: Recent Works, Annotation, and COTS Evaluation
Nokia Bell-Labs（诺基亚贝尔实验室）；Escuela Politecnica Superior, Universidad Autonoma de Madrid（马德里自治大学高等理工学院）
软生物特征识别在无约束场景中增强个人识别系统的作用尚未得到广泛研究。在这里，我们探讨了以下模式的效用：性别，种族，年龄，眼镜，胡子和胡子。我们考虑两个假设：1）人工估计的软生物特征和2）自动估计从两个商业现成的系统（COTS）。所有的实验报告使用野生（LFW）数据库中的标记的面孔。首先，我们研究了独立的软生物特征识别能力。然后，进行实验融合软生物特征识别与两个国家的最先进的人脸识别系统的基础上深度学习。我们观察到，软生物特征是一个有价值的补充，在不受约束的情况下，人脸模态，相对提高40%/15%的验证性能时，使用手动/自动软生物特征估计。结果是可重复的，因为我们公开了我们的手动注释和COTS输出的软生物识别LFW，以及面部识别分数。
2022-10-24 cs.CV
Multi-modal Affect Analysis using standardized data within subjects in the Wild
Advanced Converging Technologies Laboratories, Fujitsu Ltd.（富士通有限公司先进融合技术实验室）；Fujitsu R&D Center Co.,LTD（富士通研发中心有限公司）
人类情感识别是人机交互中的一个重要因素。然而，在野外数据的方法开发还不够准确，实际使用。在本文中，我们介绍了提交给2021年野外情感行为分析（ABAW）竞赛的专注于面部表情（EXP）和效价唤醒计算的情感识别方法。当从视频中注释面部表情时，我们认为不仅要根据所有人的共同特征来判断，还要根据个体时间序列的相对变化来判断。因此，在学习每个帧的共同特征之后，我们在结合每个视频的共同特征和标准化特征之后，使用时间序列数据构建面部表情估计模型和效价唤醒模型。此外，使用多模态数据（如图像特征、AU、头部姿势和凝视）学习上述特征。在验证集中，我们的模型获得了0.546的面部表情得分。这些验证结果表明，我们提出的框架可以有效地提高估计精度和鲁棒性。
2021-07-10 cs.CV
Spatial and Temporal Networks for Facial Expression Recognition in the Wild Videos
Shenzhen Technology University（深圳技术大学）；City University of Hong Kong（香港城市大学）
本文描述了我们为2021年野外情感行为分析（ABAW）竞赛的七个基本表情分类轨道提出的方法。在这项任务中，面部表情识别（FER）方法的目标是从不同的背景中分类正确的表情类别，但有几个挑战。首先，为了使模型适应野外场景，我们使用来自预训练的大规模人脸识别数据的知识。其次，我们提出了一个集成模型，卷积神经网络（CNN），CNN递归神经网络（CNN-RNN），和CNN变压器（CNN-Transformer），将空间和时间信息。我们的集成模型在验证集上实现了F1为0.4133，准确度为0.6216，最终度量为0.4821。
2021-07-12 cs.CV eess.IV
CAT: Controllable Attribute Translation for Fair Facial Attribute Classification
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气工程与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
随着视觉识别的社会影响受到审查，出现了几个保护属性平衡数据集，以解决不平衡数据集中的数据集偏差。然而，在人脸属性分类中，数据集的偏见源于保护属性水平和人脸属性水平，这使得它具有挑战性，以构建一个多属性水平平衡的真实数据集。为了弥补这一差距，我们提出了一个有效的管道来生成具有所需面部属性的高质量和足够的面部图像，并补充原始数据集，使其在两个级别上都是平衡的数据集，理论上满足几个公平标准。我们的方法的有效性验证性别分类和面部属性分类产生可比的任务性能作为原始数据集，并进一步提高公平性，在一个全面的公平性评价与广泛的指标。此外，我们的方法在解决数据集偏差和去偏置模型的任务偏差方面都优于恢复和平衡数据集构建。
2022-09-14 cs.CV
Facial Action Unit Recognition With Multi-models Ensembling
Beijing Seek Truth Data Technology Co.,Ltd.（北京求真数据科技有限公司）
情感行为分析（ABAW）2022竞赛给情感计算带来了很大的推动。在本文中，我们提出了我们的方法，AU的挑战，在这次比赛。我们使用改进的IResnet 100作为主干。然后，我们在Aff-Wild 2中训练AU数据集，分别在我们的私人au和expression数据集以及Glint 360 K预训练的三个相关模型上训练AU数据集。最后，我们集成我们的模型的结果。我们在AU验证集上实现了F1评分（宏观）0.731。
2022-03-24 cs.CV
THIN: THrowable Information Networks and Application for Facial Expression Recognition In The Wild
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Datakalab
对于许多机器学习问题，可以识别外生变量，使得它严重影响不同类的外观，并且理想的分类器应该对该变量不变。如果考虑面部表情识别（FER），则这种外源变量的示例是身份。在本文中，我们提出了一个双重外生/内生表示。前者捕捉外生变量，而第二个模型的任务在手（例如面部表情）。我们设计了一个预测层，它使用由外源表示条件的树门控深度集成。我们还提出了一个外生消除损失，以消除内源性表征的外生信息。因此，外生信息以可抛出的方式被使用两次，第一次作为目标任务的条件变量，第二次在内生表示中创建不变性。我们称这种方法为THIN，代表可抛出的信息网络。我们实验验证THIN在几种情况下，可以确定一个外源信息，如数字识别下大旋转和形状识别在多个尺度。我们也将其应用到FER与身份作为外生变量。我们证明了THIN在几个具有挑战性的数据集上的表现明显优于最先进的方法。
2022-01-14 cs.CV
Monocular Facial Appearance Capture in the Wild
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（迪士尼研究与工作室）
本研究提出一种野外单目人脸外观重建新方法，无需简化光照假设且考虑遮挡，仅靠含头部转动的单目视频即可恢复多类人脸属性，效果接近影棚多视图采集但更简便低成本。
2025-09-01 cs.CV cs.GR
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
Facial Affect Recognition in the Wild Using Multi-Task Learning Convolutional Network
Nuctech
本文提出了一种基于神经网络的方法--多任务情感网络（MTANet），提交给FG 2020的情感行为分析野外挑战赛。该方法是基于SE-ResNet模块的多任务网络。通过多任务学习，该网络可以同时估计和识别三种量化的情感模型：效价和唤醒，动作单元和七种基本情感。MTANet的一致性相关系数（CCC）率为0.28和0.34的效价和唤醒，F1得分为0.427和0.32的AU检测和分类情绪分类。
2020-02-03 cs.CV cs.LG
Learning Diversified Feature Representations for Facial Expression Recognition in the Wild
Aarhus University（奥胡斯大学）
由深度神经网络提取的特征的多样性对于增强模型泛化能力以及相应地其在不同学习任务中的性能是重要的。近年来，由于在现实世界场景中从遮挡图像中提取区分性和信息性特征的挑战，野外面部表情识别引起了人们的兴趣。在本文中，我们提出了一种机制，以多样化的特征提取的CNN层的国家的最先进的面部表情识别架构，以提高模型的能力，在学习判别功能。为了评估所提出的方法的有效性，我们将这种机制在两个国家的最先进的模型（i）多样化的本地/全球功能的注意力为基础的模型和（ii）多样化的功能提取不同的学习者在一个基于集合的模型。在三个著名的人脸表情识别数据集AffectNet、FER+和RAF-DB上的实验结果表明了该方法的有效性，在RAF-DB上达到了89.99%的最佳性能，在FER+上达到了89.34%，在AffectNet数据集上达到了60.02%的竞争准确率。
2023-02-19 cs.CV cs.LG
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks
NetEase Fuxi AI Lab（网易伏羲AI实验室）；Zhejiang University（浙江大学）
基于3D变形模型（3DMM）的方法在从单视图图像恢复3D人脸形状方面取得了很大的成功。然而，通过这样的方法恢复的面部纹理缺乏在输入图像中表现出的保真度。最近的工作证明了高质量的面部纹理恢复与生成网络训练的大规模数据库的高分辨率UV地图的面部纹理，这是很难准备和不公开。在本文中，我们介绍了一种方法来重建三维人脸形状与高保真纹理从单视图图像在野外，而不需要捕获一个大规模的人脸纹理数据库。其主要思想是从输入图像中细化由基于3DMM的方法与面部细节生成的初始纹理。为此，我们建议使用图卷积网络来重建网格顶点的详细颜色，而不是重建UV贴图。实验表明，我们的方法可以产生高质量的结果，并优于国家的最先进的方法在定性和定量比较。
2020-07-13 cs.CV
Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
以往的动态人脸表情识别方法主要基于卷积神经网络（CNN），其局部操作忽略了视频中的长程依赖关系。为了解决这个问题，我们提出了时空Transformer（STT）捕捉每帧内的歧视性特征和模型帧之间的上下文关系。我们的统一的Transformer捕获并集成了时空依赖关系。具体来说，给定由多个帧组成的图像序列作为输入，我们利用CNN主干将每个帧转换为视觉特征序列。随后，每个块内的空间注意力和时间注意力被联合应用于在序列级学习时空表示。此外，我们提出了紧凑的softmax交叉熵损失，以进一步鼓励学习的特征具有最小的类内距离和最大的类间距离。在两个野外动态面部表情数据集上的实验（即，DFEW和AFEW）表明，我们的方法提供了一种有效的方法，利用空间和时间的依赖性的动态面部表情识别。源代码和培训日志将公开提供。
2022-05-10 cs.CV cs.MM
WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering
School of Software and BNRist, Tsinghua University（软件学院和BNRist，清华大学）；ShanghaiTech University（上海科技大学）；Deemos Technology（德摩斯技术）
本文提出WildCap，一种通过混合反向渲染在野外从手机视频中实现高质量面部铝含量捕获的方法，解决了复杂光照下的铝含量分离问题。
2026-03-17 cs.CV cs.GR
ASD: Towards Attribute Spatial Decomposition for Prior-Free Facial Attribute Recognition
University of Shanghai for Science and Technology（上海理工大学）；Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）
人脸属性的空间特征表示是人脸属性识别的一个重要挑战。最新的进展已经取得了可靠的性能，FAR受益于通过额外的先验信息的空间属性的描述。然而，额外的先验信息可能并不总是可用的，导致基于先验的方法的应用场景受到限制。同时，忽略了由于面部各部分固有的空间差异而导致的面部属性的空间模糊性。为了解决这些问题，我们提出了一种无先验的属性空间分解（ASD）方法，在没有任何额外的先验信息的情况下减轻了面部属性的空间模糊性。具体地说，分配嵌入模块（AEM）被提出来实现ASD的过程，该过程包括两个操作：属性到位置分配和位置到属性嵌入。属性到位置分配首先基于潜在因素分解特征图，分配每个空间位置上的属性分量的大小。然后，从所有位置分配属性组件来表示全局级属性嵌入。此外，相关矩阵最小化（CMM）被引入到扩大的属性嵌入的区分度。实验结果表明，与现有方法相比，该方法具有明显的优越性，同时也进一步验证了该方法在训练数据有限的情况下的可靠性能.
2022-10-25 cs.CV
