Zero-shot Emotion Annotation in Facial Images Using Large Multimodal Models: Benchmarking and Prospects for Multi-Class, Multi-Frame Approaches
Pennsylvania State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）
本研究探讨了使用GPT-4o-mini模型在FERV39k数据集上进行零样本面部情感标注的可行性，发现三元分类准确率（约64%）优于七类分类（约50%），且多帧整合策略可略微提升标注准确率并降低成本。
2025-08-12 cs.AI cs.CV cs.HC
A Dataset and Application for Facial Recognition of Individual Gorillas in Zoo Environments
University of Bristol（布里斯托尔大学）
我们提出了一个视频数据集与5k+面部限界框注释在布里斯托尔动物园花园的7个西部低地大猩猩的部队。在这个数据集上进行训练，我们实现并评估了一个标准的深度学习管道，用于在动物园环境中面部识别单个大猩猩的任务。我们表明，一个基本的YOLOv3供电的应用程序是能够执行识别在92%mAP时，只利用单帧。通过检测关联跟踪和跨短tracklet的身份投票产生了97%mAP的改进的鲁棒性能。为了便于利用，以丰富动物园环境的研究能力，我们在data.bris.ac.uk上发布了代码，视频数据集，权重和地面实况注释。
2021-03-26 cs.AI cs.CV
Mitigating the Impact of Attribute Editing on Face Recognition
New York University（纽约大学）
本研究发现现代生成式AI的人脸属性编辑会损害人脸识别性能，提出局部与全局属性编辑新技术，在多数据集上验证其优于现有方法且显著提升身份保留效果。
2024-04-09 cs.CV
Prior-based Objective Inference Mining Potential Uncertainty for Facial Expression Recognition
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Frontiers Science Center for Intelligent Autonomous Systems, Tongji University（同济大学智能自主系统前沿科学中心）
本文提出基于先验的客观推断（POI）网络，通过先验推断网络与目标识别网络协同及不确定性估计模块，缓解面部表情识别中的主观标注歧义，并在多个数据集上取得有竞争力的性能。
2024-11-20 cs.CV
Resurrecting Trust in Facial Recognition: Mitigating Backdoor Attacks in Face Recognition to Prevent Potential Privacy Breaches
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
诸如面部图像的生物特征数据通常与敏感信息（例如，医疗、财务、个人政府记录）相关联。因此，存储此类信息的系统中的数据泄露可能会产生破坏性后果。深度学习被广泛用于人脸识别（FR）;然而，这种模型容易受到恶意方执行的后门攻击的攻击。后门攻击导致模型在识别期间将特定类错误分类为目标类。此漏洞允许攻击者访问受生物特征验证措施保护的高度敏感数据，或允许恶意方伪装成具有更高系统权限的个人。这些违规行为构成了严重的隐私威胁。先前的方法将噪声添加机制集成到人脸识别模型中以缓解此问题并提高分类对后门攻击的鲁棒性。然而，这会严重影响模型的准确性。我们提出了一种新的和可推广的方法（名为BA-BAM：生物特征认证-后门攻击缓解），旨在通过迁移学习和选择性图像扰动来防止对人脸认证深度学习模型的后门攻击。实验结果表明，BA-BAM具有很强的鲁棒性，最大准确率下降了2.4%，而攻击成功率最大降低了20%。与现有方法的比较表明，BA-BAM提供了一个更实用的后门缓解方法的人脸识别。
2022-02-18 cs.CR cs.CV cs.LG
Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition
Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
由于人脸表情标注的主观性和其内在的类间相似性，人脸表情识别的关键问题之一是标注歧义。在本文中，我们提出了一个解决方案，命名为DMUE，从两个角度来解决标注歧义的问题：潜在的分布挖掘和成对的不确定性估计。对于前者，引入了辅助的多分支学习框架，以更好地挖掘和描述标签空间中的潜在分布。对于后者，充分利用实例间语义特征的成对关系来估计实例空间中的歧义程度。该方法不依赖于主干网络结构，不增加推理的负担.实验在流行的真实世界基准测试和合成噪声数据集上进行。无论哪种方式，所提出的DMUE稳定地实现领先的性能。
2021-04-01 cs.CV
Class adaptive threshold and negative class guided noisy annotation robust Facial Expression Recognition
SSSIHL（斯里萨提亚赛高等研究院（SSSIHL））
针对人脸表情识别数据集中的噪声标注问题，提出结合动态类自适应阈值样本筛选与负类一致性约束的鲁棒框架，在多噪声水平下较基线实现显著性能提升。
2023-05-03 cs.CV
Gradient Attention Balance Network: Mitigating Face Recognition Racial Bias via Gradient Attention
Inspur Electronic Information Industry Co., Ltd（浪潮电子信息产业股份有限公司）；Shandong Massive Information Technology Research Institute（山东海量信息技术研究院）
针对人脸识别中的种族偏见问题，提出梯度注意力平衡网络（GABN），通过对抗学习对齐不同种族的梯度注意力图，并利用掩码擦除Top-N敏感区域以扩大深肤色人群的关注范围，有效提升跨种族识别的均衡性。
2023-04-05 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而，它提出了很大的挑战，在获得干净和一致的面部表情数据集的注释。另一方面，自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及，该策略可以潜在地规避注释问题。然而，实例级鉴别仍然存在固有的缺点，当面对复杂的面部表示时，这甚至更具挑战性。在本文中，我们重新审视了自我监督对比学习的使用，并探讨了三个核心策略，以执行特定的表达，并尽量减少其他面部属性，如身份和面部造型的干扰。实验结果表明，我们提出的方法优于当前国家的最先进的自监督学习方法，在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Facial Soft Biometrics for Recognition in the Wild: Recent Works, Annotation, and COTS Evaluation
Nokia Bell-Labs（诺基亚贝尔实验室）；Escuela Politecnica Superior, Universidad Autonoma de Madrid（马德里自治大学高等理工学院）
软生物特征识别在无约束场景中增强个人识别系统的作用尚未得到广泛研究。在这里，我们探讨了以下模式的效用：性别，种族，年龄，眼镜，胡子和胡子。我们考虑两个假设：1）人工估计的软生物特征和2）自动估计从两个商业现成的系统（COTS）。所有的实验报告使用野生（LFW）数据库中的标记的面孔。首先，我们研究了独立的软生物特征识别能力。然后，进行实验融合软生物特征识别与两个国家的最先进的人脸识别系统的基础上深度学习。我们观察到，软生物特征是一个有价值的补充，在不受约束的情况下，人脸模态，相对提高40%/15%的验证性能时，使用手动/自动软生物特征估计。结果是可重复的，因为我们公开了我们的手动注释和COTS输出的软生物识别LFW，以及面部识别分数。
2022-10-24 cs.CV
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent（腾讯）；Harbin Institute of Technology（哈尔滨工业大学）
自然语言推理（NLI）旨在预测给定前提和假设对之间的关系。然而，一些工作已经发现，在NLI数据集中广泛存在一种称为注释伪影的偏差模式，使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估，影响了模型的泛化能力。在本文中，我们考虑一个更值得信赖的设置，即，跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外，我们提出了一个培训框架，以减轻偏见模式的影响。实验结果表明，该方法能有效地消除伪影对模型的负面影响，提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Nonlinear Dynamical Systems for Automatic Face Annotation in Head Tracking and Pose Estimation
School of Mathematical and Statistical Sciences, The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校数学与统计科学学院）；MS2Discovery Interdisciplinary Research Institute, Wilfrid Laurier University（劳里埃大学MS2Discovery跨学科研究所）
该研究对比EKF与UKF在确定性及随机场景下的3D人脸跟踪性能，发现无噪声时UKF精度更高，含随机噪声时EKF鲁棒性更强，为相关应用的滤波技术选型提供参考。
2025-02-21 cs.CV
Recognizing Facial Expressions in the Wild using Multi-Architectural Representations based Ensemble Learning with Distillation
SZABIST（巴基斯坦真纳科技大学）；Technische Universität Dresden (TU Dresden)（德累斯顿工业大学）
面部表情是肢体语言中最常见的普遍形式。在过去的几年里，自动面部表情识别（FER）一直是一个活跃的研究领域。然而，由于各种不确定性和复杂性，这仍然是一项具有挑战性的任务。然而，效率和性能仍然是建立强大系统的重要方面。我们提出了两种模型，一种是用于学习卷积面部表示的集成学习技术，另一种是用于将知识从集成模型转移到高效深度神经网络的蒸馏技术，该技术使用标签平滑软标签，能够实时有效地检测表情。这两种技术都表现得很好，其中集成模型（SEMXNet）有助于在FER+注释的FER 2013上实现85.07%的测试准确度，在RAF-DB上实现86.25%的测试准确度。此外，蒸馏模型（XNUMX NetLite）在FER 2013上显示82.07%的测试准确度，并带有FER+注释，在RAF-DB上显示81.78%的测试准确度。结果表明，我们的模型似乎很好地概括了新的数据，并学会了专注于相关的面部表情识别。
2021-08-20 cs.CV
AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition
Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter AI研究院）
自动识别人类的情感/表情是智能机器人的一种预期能力，因为它可以促进与人类更好的沟通和合作。目前基于深度学习的算法可能在一些实验室控制的环境中取得令人印象深刻的性能，但它们总是无法准确识别不受控制的野外情况下的表情。幸运的是，面部动作单元（AU）描述了微妙的面部行为，它们可以帮助区分不确定和模糊的表情。在这项工作中，我们探讨了动作单元和面部表情之间的相关性，并设计了一个AU表达式知识约束的表示学习（AUE-CRL）框架来学习AU表示没有AU注释和自适应地使用表示，以促进面部表情识别。具体来说，它利用AU-表达式相关性来指导AU分类器的学习，因此它可以在不引起任何AU注释的情况下获得AU表示。然后，它介绍了一个知识引导的注意力机制，挖掘有用的AU表达式的约束下的AU表达式的相关性。通过这种方式，该框架可以捕获局部判别和互补特征，以增强面部表情识别的面部表示。我们在具有挑战性的非受控数据集上进行实验，以证明所提出的框架优于当前最先进的方法。代码和训练模型可在https://github.com/HCPLab-SYSU/AUE-CRL上获得。
2021-04-02 cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Beard Segmentation and Recognition Bias
University of Notre Dame（圣母大学）
针对面部毛发影响人脸识别准确率的问题，提出细粒度胡须分割模型及基于面部发型相似度的自适应阈值方法，显著降低不同胡须类别间的错误匹配率偏差。
2023-08-30 cs.CV
AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition
Shenzhen Technology University（深圳技术大学）；Fudan University（复旦大学）
不同的人脸表情识别数据集之间不可避免地存在着标注不一致和图像采集条件不一致等领域差异，这对在不同数据集上训练的人脸表情识别模型的适应性提出了明显的挑战。最近的工作主要集中在具有对抗学习机制的域不变深度特征学习，忽略了已经取得很大进展的兄弟面部动作单元（AU）检测任务。考虑到AU客观地决定了面部表情，本文提出了一种AU引导的无监督域自适应FER（AdaFER）框架，以缓解不同FER数据集之间的标注偏差。在AdaFER中，我们首先利用一个高级模型在源域和目标域上进行AU检测。然后，我们比较AU结果以执行AU引导的注释，即，拥有与源面相同AU的目标面将从源域继承标签。同时，为了实现域不变的紧凑特征，我们利用了一个AU引导的三元组训练，该训练随机收集两个域上具有AU的锚点正负三元组。我们在几个流行的基准上进行了广泛的实验，并表明AdaFER在所有这些基准上都取得了最先进的结果。
2021-03-18 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Are Face Detection Models Biased?
IIT Jodhpur（印度理工学院焦特布尔分校）；IIIT Delhi（德里印度信息技术学院）
深度模型中存在的偏见会导致某些人口统计学亚组的不公平结果。偏见的研究主要集中在面部识别和属性预测，很少强调面部检测。现有的研究认为，人脸检测的二元分类成“脸”和“非脸”类。在这项工作中，我们调查可能的偏见，通过面部区域定位，这是目前尚未探索的人脸检测领域。由于面部区域定位是所有面部识别管道的基本任务，因此必须分析流行的深度模型中是否存在这种偏见。大多数现有的人脸检测数据集缺乏合适的注释，这样的分析。因此，我们对Fair Face Localization with Attributes（F2LA）数据集进行了网络策划，并手动注释了每张脸的10多个属性，包括面部定位信息。利用F2LA的大量注释，设计了一个实验装置来研究四个预训练的人脸检测器的性能。我们观察到（i）性别和肤色之间的检测准确性存在很大差异，以及（ii）人口统计学之外的混杂因素的相互作用。F2LA数据和相关注释可在http://iab-rubric.org/index.php/F2LA上访问。
2022-11-07 cs.CV
A Compact Embedding for Facial Expression Similarity
Google AI（谷歌人工智能（Google AI））
现有的人脸表情自动分析的研究主要集中在离散情感识别或面部动作单元检测上。然而，面部表情并不总是整齐地落入预定义的语义类别。此外，在动作单元空间中测量的表情之间的相似性不需要对应于人类如何感知表情相似性。与以前的工作不同，我们的目标是使用一个紧凑的嵌入空间，模仿人类的视觉偏好，以连续的方式来描述面部表情。为了实现这一目标，我们收集了一个大规模的野外人脸数据集，其中包含人类注释，其形式为：与表达式C相比，表达式A和B在视觉上更相似，并使用该数据集训练一个神经网络，以产生紧凑的（16维）表达式嵌入。我们的实验表明，学习嵌入可以成功地用于各种应用，如表情检索，相册摘要，情感识别。我们还表明，使用建议的数据集学习的嵌入比使用现有的情感或动作单元数据集学习的其他几个嵌入更好。
2019-01-09 cs.AI cs.CV
Breaking the Global North Stereotype: A Global South-centric Benchmark Dataset for Auditing and Mitigating Biases in Facial Recognition Systems
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
提出一个以全球南方为中心的多样化面部数据集，用于审计商业和开源面部识别系统的性别预测偏差，并利用少样本和对比学习技术设计低资源偏差缓解方案，显著降低了性别间的性能差异。
2024-07-26 cs.CV cs.CY
Photo Dating by Facial Age Aggregation
Czech Technical University in Prague（捷克技术大学）
本文提出基于多人脸信息聚合的概率框架，结合人脸识别、年龄估计与职业时间先验推断照片拍摄年份，并发布含160万张标注人脸的CSFD-1.6M数据集，性能显著优于场景基线。
2025-11-07 cs.CV
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
针对无标签人脸识别，提出基于 landmarks 的自监督方法 LAFS，利用人脸关键点补丁和特定增强学习关键表示，在多个基准上显著提升性能，尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Emotion Knowledge Enhancement for Vision Large Language Models: A Self-Verification Approach for High-Quality Emotion Instruction Data Generation
Southeast University（东南大学）；Nanjing Research Center, Huawei Technologies Ltd（南京华为技术有限公司研究中心）；Beijing Research Center, Huawei Technologies Ltd（北京华为技术有限公司研究中心）；Waseda University（早稻田大学）
针对VLLM面部情绪感知缺乏高质量指令数据的问题，提出SEKE方法，利用闭源VLLM生成多粒度标注，并引入自验证策略提升可靠性，在三个下游任务上显著优于现有方法。
2025-05-14 cs.GR cs.LG
Evaluating Facial Expression Recognition Datasets for Deep Learning: A Benchmark Study with Novel Similarity Metrics
Universitat de les Illes Balears（巴利阿里群岛大学）
本研究分析24个FER数据集，提出局部、全局和配对相似性三个新度量，评估其难度、泛化与迁移性，发现大规模自动数据集泛化更佳但存在噪声，为数据集选择提供建议。
2025-03-26 cs.AI cs.CV
Predicting Human Disagreement for Calibrated Dynamic Facial Expression Recognition
Durham University（杜伦大学）
提出分歧感知的DFER框架，用Dirichlet-Multinomial似然直接训练标注计数，结合模糊性头与拒绝规则，在DFEW上降ECE 30%、AURC 15%，并迁移至FERV39k。
2026-09-16 cs.CV
Parameter-Efficient Subspace Decoupling ViT for Mitigating Multi-Task Negative Transfer in Histological Scoring
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing University of Chemical Technology（北京化工大学）；Capital Medical University（首都医科大学）
提出子空间解耦多任务Vision Transformer，通过轻量级任务特定适配器和正交性约束构建独立特征子空间，减少任务干扰并保留共享表示，有效缓解多任务负迁移。
2026-05-29 cs.CV cs.LG cs.MM
Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出VividTalker框架，通过将头部姿态与嘴部运动解耦并分别编码到离散潜在空间，结合窗口Transformer自回归生成和精细3D数据集，实现具有自然头部姿态和面部细节的语音驱动3D面部动画。
2023-10-31 cs.AI cs.CV
Investigating Bias and Fairness in Facial Expression Recognition
University of Cambridge（剑桥大学）；Middle East Technical University（中东技术大学）
从人脸图像中识别情感和情感的表达是情感计算和计算机视觉领域中的一个研究问题，具有大量可用的包含人脸图像和相应的表情标签的数据集。然而，几乎没有一个数据集是在考虑人口公平分配的情况下获得的。因此，在这项工作中，我们通过比较三种不同的方法，即基线，属性感知和解缠方法，在两个著名的数据集，RAF-DB和CelebA上，对面部表情识别中的偏见和公平性进行了系统的调查。我们的研究结果表明：（i）数据增强提高了基线模型的准确性，但仅凭这一点无法减轻偏倚效应;（ii）在准确性和公平性方面，通过数据增强强化的属性感知方法和解开方法都优于基线方法;（iii）解开方法是减轻人口统计学偏倚的最佳方法;在属性分布不均匀或子组数据数量不均衡的情况下，偏差缓解策略更适用。
2020-08-21 cs.CV
Mitigating Bias with Words: Inducing Demographic Ambiguity in Face Recognition Templates by Text Encoding
Fraunhofer IGD（弗劳恩霍夫研究所（IGD））；TU Darmstadt（德累斯顿技术大学）
通过引入文本编码，UTIE在人脸识别模板中诱导人口统计学模糊性，以减少偏见并提升验证性能。
2025-12-05 cs.AI cs.CV
Attributes in Multiple Facial Images
West Virginia University（西弗吉尼亚大学）
面部属性识别通常是从单个图像计算的。在实践中，每个主体可以具有多个面部图像。以眼睛大小为例，它不应该改变，但它可能在多个图像中具有不同的估计，这将对人脸识别产生负面影响。因此，如何计算这些属性对应于每个主题，而不是每一个单一的图像是一个深刻的工作。为了解决这个问题，我们部署了深度训练来进行面部属性预测，并探索了从每张图像计算的属性之间的不一致问题。然后，我们开发了两种方法来解决不一致的问题。实验结果表明，该方法可以处理多个静态图像或视频帧上的人脸属性估计，并可以纠正错误的注释标签。实验是在两个大型的公共数据库上进行的，带有人脸属性的注释。
2018-05-23 cs.CV
Bridging the Gaps: Utilizing Unlabeled Face Recognition Datasets to Boost Semi-Supervised Facial Expression Recognition
West China Hospital, Sichuan University（四川大学华西医院）；Institutes for Systems Genetics（系统遗传学研究所）；Frontiers Science Center for Disease-related Molecular Network（疾病相关分子网络前沿科学中心）
本文提出利用大规模无标注人脸识别数据集进行人脸重建预训练，并结合两阶段微调和基于IoU的Mixup数据增强策略，显著提升半监督面部表情识别性能，在多个基准上达到新最先进水平。
2024-10-23 cs.CV
Ada-DF: An Adaptive Label Distribution Fusion Network For Facial Expression Recognition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
针对面部表情识别中数据集标注模糊的问题，提出双分支自适应分布融合框架Ada-DF，通过辅助分支获取标签分布并计算类别分布，利用注意力权重自适应融合分布以训练目标分支，在三个真实数据集上表现优于现有方法。
2024-04-24 cs.AI cs.CV
FineFACE: Fair Facial Attribute Classification Leveraging Fine-grained Features
University of North Texas（北得克萨斯大学）
FineFACE将公平人脸属性分类建模为细粒度分类问题，通过跨层互注意力学习融合局部与语义特征，在无需人口统计学标注的情况下实现准确性与公平性的帕累托有效平衡。
2024-08-29 cs.CV
Balancing the Scales: Enhancing Fairness in Facial Expression Recognition with Latent Alignment
Birla Institute of Technology and Science, Pilani（比拉理工科学与 Pilani 学院）
针对真实FER数据集因人工标注和群体表征不均导致的人口统计偏见与类别不平衡问题，本文提出基于隐空间的表征学习方法，以提升面部表情识别模型的公平性和整体准确率。
2024-10-25 cs.CV cs.LG
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation
University of Exeter（埃克塞特大学）；Imperial College London（伦敦帝国学院）；Foundation for Research and Technology-Hellas（希腊研究与技术基金会）
仅从单目RGB图像对中捕获密集的3D面部运动对于从面部表情识别到面部再现的许多应用来说是一个极具挑战性的问题。在这项工作中，我们提出了DeepFaceFlow，这是一个强大，快速，高精度的框架，用于对单目图像之间的3D非刚性面部流进行密集估计。我们的DeepFaceFlow框架在两个非常大规模的面部视频数据集上进行了训练和测试，其中一个是我们自己的集合和注释，并借助基于遮挡感知和3D的损失函数。我们进行了全面的实验，探索我们的方法的不同方面，并证明其对最先进的流和3D重建方法的性能改善。此外，我们将我们的框架在一个完整的头部国家的最先进的面部视频合成方法，并证明我们的方法在更好地表示和捕捉面部动态的能力，从而在一个高度逼真的面部视频合成。给定注册的图像对，我们的框架以约60 fps的速度生成3D流图。
2020-05-14 cs.CV
Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition
École de technologie supérieure（高等技术学院）；Concordia University（康考迪亚大学）
训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因，3D卷积神经网络（3D CNN）通常使用从视频中随机提取的相对较短的剪辑进行训练。然而，这样的均匀采样通常是次优的，因为相等的重要性被分配给每个时间剪辑。在本文中，我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点：由于有效的剪辑采样而降低了计算复杂性，并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是，我们的方法提高了性能和计算成本，减少不准确的修剪和粗略的视频注释的影响，以及视觉信息在不同时间的异构分布。
2020-11-10 cs.CV cs.LG
Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification
Massachusetts Institute of Technology（麻省理工学院）
本文提出三种技术缓解概念瓶颈模型中的偏见，以提升图像分类的公平性和可解释性。
2026-03-06 cs.CV cs.LG
Adaptive Calibration for Fair and Performant Facial Recognition
University of Oxford（牛津大学）
提出自适应校准（AC）方法，通过将归一化嵌入的余弦相似度映射为校准概率，并融入局部上下文校正区域差异，从而在无需人口统计元数据的情况下提升面部识别的整体性能和公平性。
2026-09-09 cs.AI cs.CV
Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition
Technische Universität Berlin（柏林工业大学）；Science of Intelligence, Research Cluster of Excellence（科学智慧卓越研究集群）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出多任务多模态自监督学习方法ConCluGen，结合对比学习、聚类和重建三种损失，在CMU-MOSEI等基准上显著提升面部表情识别性能并减少标注需求。
2024-09-04 cs.CV
Robust Dynamic Facial Expression Recognition
School of Psychology, Shanghai Jiao Tong University（上海交通大学心理学院）；Midea Group Inc.（美的集团）；Baidu Inc.（百度公司）
针对动态面部表情识别中困难样本与噪声样本共存的问题，提出基于预测一致性区分两类样本、结合关键表情重采样与双流层次网络的RDFER方法，在基准数据集上性能超越现有最优水平。
2025-02-22 cs.AI cs.CV
Gender Classification and Bias Mitigation in Facial Images
Visa Inc.（Visa公司）；Harvard John A. Paulson School Of Engineering And Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；FM: Systems（FM: Systems公司）；Autodesk（Autodesk公司）
性别分类算法在人口统计学研究、法律实施以及人机交互等领域有着重要的应用。最近的研究表明，在有偏差的基准数据库上训练的算法可能会导致算法偏见。然而，到目前为止，很少有关于性别分类算法对性别少数群体的偏见的研究，例如LGBTQ和非二元人口，他们在性别表达方面具有独特的特征。在本文中，我们首先对现有的面部识别和性别分类任务基准数据库进行了调查。我们发现，目前的基准数据库缺乏代表性的性别少数群体。我们致力于扩展当前的二元性别分类器，以包括非二元性别类。我们通过组装两个新的面部图像数据库来做到这一点：1）一个种族平衡的包容性数据库，其中包含LGBTQ人群的子集2）一个包容性性别数据库，由非二元性别的人组成。我们努力提高分类准确性，并减轻在增强的基准数据库上训练的基线模型的算法偏差。我们的集成模型实现了90.39%的总体准确率，比在Adience上训练的基线二元性别分类器提高了38.72%。虽然这是减轻性别分类偏见的初步尝试，但需要通过收集更具包容性的数据库，将性别建模为一个连续统一体。
2020-07-13 cs.CV cs.LG
Uncertain Label Correction via Auxiliary Action Unit Graphs for Facial Expression Recognition
South China University of Technology（华南理工大学）；University of Oulu（奥卢大学）；Haaga-Helia University of Applied Sciences（哈格-赫利尔应用科学大学）
高质量的标注图像对于深度面部表情识别（FER）方法具有重要意义。然而，不确定的标签，大多存在于大规模的公共数据集，往往误导训练过程。在本文中，我们实现了不确定的标签校正的面部表情使用辅助动作单元（AU）图，称为ULC-AG。具体地说，引入加权正则化模块来突出有效样本，并抑制每批样本中的类别不平衡。基于情感和AU之间的潜在依赖关系，使用图卷积层添加辅助分支，以从图拓扑结构中提取语义信息。最后，一个重新标注策略纠正歧义注释通过比较其特征相似性与语义模板。实验表明，我们的ULC-AG在RAF-DB和AffectNet数据集上分别达到了89.31%和61.57%的准确率，优于基线和最先进的方法。
2022-12-14 cs.CV
SocialDF: Benchmark Dataset and Detection Model for Mitigating Harmful Deepfake Content on Social Media Platforms
Indraprastha Institute of Information Technology（印度普拉斯塔信息技术学院）
本文提出SocialDF数据集和基于LLM的多因素检测方法，通过融合人脸识别、语音转录和多智能体交叉验证来识别社交媒体上的有害深度伪造内容。
2025-06-05 cs.LG cs.MM
FEAFA: A Well-Annotated Dataset for Facial Expression Analysis and 3D Facial Animation
University of Chinese Academy of Sciences（中国科学院大学）；Capital Normal University（首都师范大学）
基于机器学习的人脸表情分析需要大量标注良好的数据来反映人脸运动的不同变化。公开可用的数据集通过提供基准资源确实有助于加速这一领域的研究，但据我们所知，所有这些数据集都仅限于对动作单元的粗略注释，仅包括它们的存在，存在或根据面部动作编码系统的五级强度。为了满足对视频标记非常详细的需求，我们提出了一个名为FEAFA的面部表情分析和3D面部动画的注释数据集。122名参与者，包括儿童，年轻人和老年人，在真实世界的条件下进行了记录。此外，使用我们开发的Expression Quantitative Tool手动标记99，356帧，以量化9个对称的FACS动作单元、10个不对称（单侧）FACS动作单元、2个对称的FACS动作描述符和2个不对称的FACS动作描述符，并且每个动作单元或动作描述符都用0和1之间的浮点数进行了良好注释。为了提供一个基线，在未来的研究中使用，基准的动作单元值的回归的基础上卷积神经网络。我们还展示了我们的FEAFA数据集的3D面部动画的潜力。几乎所有的人脸动画算法都是基于三维人脸重建实现的。因此，我们提出了一种新的方法，驱动虚拟角色的基础上的动作单元值回归的2D视频帧的源演员。
2019-04-02 cs.CV cs.GR cs.LG
Multi-Instance Dynamic Ordinal Random Fields for Weakly-supervised Facial Behavior Analysis
Pompeu Fabra University（庞培法布拉大学）；MIT Media Lab（麻省理工学院媒体实验室）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）
针对弱监督学习问题，提出了一种多实例学习（MIL）方法，训练集由袋（特征向量或实例集）组成，只提供袋级的标签。具体来说，我们考虑多实例动态有序回归（MI-DOR）设置，其中实例标签自然表示为有序变量，袋子结构为时间序列。为此，我们提出了多实例动态有序随机场（MI-DORF）。在这个框架中，我们将实例标签视为无向图模型中的时间依赖潜变量。不同的MIL假设建模通过新引入的高阶潜力相关的袋和实例标签内的能量函数的模型。我们还扩展了我们的框架，以解决部分观测MI-DOR问题，其中在训练过程中可以使用实例标签的子集。我们在弱监督面部行为分析，面部动作单元（DISFA数据集）和疼痛（UNBC数据集）强度估计的任务上表明，所提出的框架优于其他学习方法。此外，我们表明，MIDORF可以用来减少大规模的数据注释工作在这种情况下。
2018-03-01 cs.AI cs.CV
How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
The University of Nottingham（诺丁汉大学）
本文研究了一个非常深的神经网络在现有的2D和3D人脸对齐数据集上达到接近饱和性能的距离。为此，我们做出了以下5个贡献：（a）我们首次通过将最先进的地标定位架构与最先进的残留块相结合来构建非常强大的基线，在非常大但综合扩展的2D面部地标数据集上对其进行训练，并最终在所有其他2D面部地标数据集上对其进行评估。(b)我们创建了一个由2D地标网络引导的网络，该网络将2D地标注释转换为3D，并统一了所有现有的数据集，从而创建了LS 3D-W，这是迄今为止最大和最具挑战性的3D面部地标数据集~ 230，000张图像。(c)在此之后，我们训练了一个用于3D人脸对齐的神经网络，并在新引入的LS 3D-W上对其进行了评估。(d)我们进一步研究了影响人脸对齐性能的所有“传统”因素的影响，如大姿态，初始化和分辨率，并引入了一个“新”因素，即网络的大小。(e)我们表明，2D和3D人脸对齐网络实现了显着的准确性，这可能是接近饱和所使用的数据集的性能。训练和测试代码以及数据集可以从https://www.adrianbulat.com/face-alignment/下载
2017-09-07 cs.CV cs.LG
Logical Consistency and Greater Descriptive Power for Facial Hair Attribute Learning
University of Notre Dame（圣母大学）
本文提出FH37K面部毛发属性数据集及逻辑一致性损失LCPLoss和标签补偿策略，以解决属性分类中的逻辑矛盾问题，并揭示面部毛发对人脸识别分数分布的重要影响。
2023-04-16 cs.CV
AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
针对面部表情识别中类内差异、类间相似及复合表情识别难题，提出软标签标注方法构建新一代数据集AffectNet+，含多类元数据与复杂度子集，将公开助力更真实的表情识别研究。
2024-10-29 cs.CV
Unsupervised Facial Expression Representation Learning with Contrastive Local Warping
University of Technology Sydney（悉尼科技大学）；Baidu Inc.（百度公司）；Zhejiang University（浙江大学）
本文研究了用于面部表情分析的无监督表示学习。我们认为无监督面部表情表示（UFER）值得探索，并有可能解决面部表情分析中的一些关键挑战，例如缩放，注释偏差，离散标签和连续情感之间的差异以及模型预训练。出于这种动机，我们提出了一种具有对比局部变形（ContraWarping）的UFER方法，该方法利用了情感表达对当前全局变换（仿射变换，颜色抖动等）具有鲁棒性的见解。但是可以通过随机局部翘曲容易地改变。因此，对于给定的人脸图像，ContraWarping通过全局变换和局部变形来产生正负样本，建立了一个新的对比学习框架。我们的深入研究表明：1）来自全局变换的正对可以用一般的自监督学习（例如，BYOL）并且已经带来了一些信息特征，以及2）来自局部翘曲的负对明确地引入了表达相关的变化并且进一步带来实质性的改进。基于ContraWarping，我们证明了UFER的好处下两个面部表情分析场景：面部表情识别和图像检索。例如，直接使用ContraWarping特征进行线性探测在RAF-DB上实现了79.14%的准确率，大大减少了与完全监督对应物的差距（88.92% / 84.81%，有/没有预训练）。
2023-03-16 cs.CV
VAD-Net: Multidimensional Facial Expression Recognition in Intelligent Education System
Teachers’ College, Beijing Union University（北京联合大学师范学院）；University of Chinese Academy of Social Sciences（中国社会科学院大学）
VAD-Net通过引入正交卷积提升VAD多维情绪预测，提供新的标注数据集和基线网络
2025-12-06 cs.CV
MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild
School of Computer Science, CUG University of Geosciences (Wuhan)（中国地质大学（武汉）计算机学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文构建含10,045个音视频片段的大规模多模态复合情感数据库MAFW，并提出基于Transformer的表情片段特征学习方法，在单/多模态FER上均优于现有方法。
2023-08-14 cs.CV
Mitigating Bias in Facial Analysis Systems by Incorporating Label Diversity
Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
人脸分析模型越来越多地应用于现实世界的应用，对人们的生活产生重大影响。然而，正如文献所示，自动分类面部属性的模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，开发能够减轻面部分类器中的意外偏差的技术至关重要。因此，在这项工作中，我们引入了一种新的学习方法，该方法结合了主观的基于人类的标签和基于面部特征的数学定义的客观注释。具体来说，我们从两个大规模的人类注释数据集生成新的客观注释，每个数据集都捕获了所分析的面部特征的不同视角。然后，我们提出了一种集成学习方法，它结合了在不同类型的注释上训练的各个模型。我们提供了一个深入的分析注释过程以及数据集分布。此外，我们的经验表明，通过结合标签多样性，我们的方法成功地减轻了意外的偏见，同时保持了下游任务的显着准确性。
2022-06-14 cs.AI cs.CV
Mitigating Face Recognition Bias via Group Adaptive Classifier
Michigan State University（密歇根州立大学）
人脸识别是已知的表现出偏见-在一定的人口统计组的主题可以更好地识别比其他群体。这项工作的目的是学习一个公平的脸表示，每个群体的脸可以更平等地代表。我们提出的组自适应分类器通过使用自适应卷积核和基于人口统计属性的人脸注意力机制来减轻偏见。自适应模块包括每个人口统计组的内核掩码和通道注意力图，以便激活不同的面部区域进行识别，从而产生与其人口统计相关的更具区别性的特征。我们引入的自动适应策略通过迭代计算人口统计自适应参数之间的差异来确定是否将自适应应用于某个层。提出了一种新的去偏损失函数，以减小人口统计组之间平均类内距离的差距。在人脸基准测试（RFW，LFW，IJB-A和IJB-C）上的实验表明，我们的工作能够减轻人口统计学群体之间的人脸识别偏差，同时保持竞争力的准确性。
2020-12-01 cs.CV
