Facial Expressions Analysis Under Occlusions Based on Specificities of Facial Motion Propagation
Centre de Recherche en Informatique Signal et Automatique de Lille(里尔信息、信号与自动化研究中心);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Lille Douai(里尔-杜埃国立高等矿业电信学校);ISEN Lille(里尔高等电子与数字学院);Yncrea Hauts-de-France(上法兰西Yncrea工程师院校联盟)
虽然面部表情分析领域已经取得了很大的进展,但面部遮挡仍然具有挑战性。这一贡献所带来的主要创新在于利用面部运动传播的特殊性来识别存在重要遮挡的表情。由表情引起的运动延伸到运动中心之外。因此,在被遮挡区域中发生的移动朝向相邻的可见区域传播。在存在遮挡的情况下,每个表情,我们计算每个未被遮挡的面部区域的重要性,并构建适应的面部框架,以提高每个表情二元分类器的性能。每个表情依赖的二元分类器的输出,然后聚合和馈送到一个融合过程,目的是构建,每个遮挡,一个独特的模型,识别所有的面部表情考虑。评估强调了这种方法在存在显著面部遮挡的情况下的鲁棒性。
2019-04-30 cs.CV
A Boost in Revealing Subtle Facial Expressions: A Consolidated Eulerian Framework
University of Oulu(奥卢大学)
面部微表情识别(MER)是一种识别面部表情的方法。自动的面部肌肉运动具有挑战性,因为1)面部肌肉细微运动的强度非常低,2)面部肌肉运动的持续时间是短暂的,最近的工作采用运动放大或时间插值来解决这些问题。然而,现有的工作划分成两个独立的模块,由于其非线性。这种操作虽然减轻了实现的难度,但忽略了它们之间的内在联系,从而在精度和速度上都不可避免地造成损失。相反,在本文中,我们探索了它们潜在的联合公式,并提出了一个统一的欧拉框架来揭示微妙的面部运动,它扩展了时间的持续时间,同时放大了微表情中的肌肉运动。与现有方法相比,该方法不仅可以更有效地处理ME剪辑,而且可以使细微的ME运动更容易区分。在两个公共MER数据库上的实验表明,该模型在速度和准确性上都优于现有的模型。
2019-01-23 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University(东国大学)
野外面部表情识别(FER-W)的关键问题之一是,由于面部图像固有的复杂性和模糊性,策划大规模标记的面部图像是具有挑战性的。因此,在本文中,我们提出了一种自监督的简单面部标志编码(SimFLE)方法,可以学习有效的面部标志编码,这是提高FER-W性能的重要特征,而无需昂贵的标签。具体来说,我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同,语义掩蔽是基于在主干中处理的信道信息进行的,因此可以探索信道的丰富语义。此外,语义掩蔽过程是完全可训练的,使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明,与监督基线和其他自监督方法相比,该方法在人脸标志点定位方面具有明显的优势,并且性能有明显的提高。
2023-03-14 cs.CV
Facial Action Unit Detection using 3D Facial Landmarks
University of South Florida(南佛罗里达大学)
在本文中,我们提出了检测面部动作单位(AU)使用3D面部地标。具体来说,我们训练一个二维卷积神经网络(CNN)的三维面部标志,跟踪使用基于形状指数的统计形状模型,二进制和多类AU检测。我们表明,所提出的方法是能够准确地模拟AU发生,因为面部标志的运动直接对应于AU的运动。通过在3D地标上训练CNN,我们可以在两个最先进的情感数据集上实现准确的AU检测,即BP4D和BP4D+。使用所提出的方法,我们在超过330,000帧上检测到多个AU,报告了比最先进方法更好的结果。
2020-05-17 cs.CV
Facial Movement Dynamics Reveal Workload During Complex Multitasking
研究通过面部关键点追踪,发现面部运动动态能有效反映多任务负荷,提出基于姿态动力学的低成本监测方法,但个体差异限制了跨参与者的泛化能力。
2026-03-18 cs.CV cs.HC
Facial Keypoint Sequence Generation from Audio
Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校);Department of Electronics and Electrical Engineering(电子与电气工程系)
当我们说话时,我们的声音伴随着面部动作和表情。最近的几个作品已经显示了高度照片逼真的视频说话的脸的合成,但他们要么需要一个源视频来驱动目标脸或只生成具有固定的头部姿势的视频。这种面部运动的缺乏是因为这些作品中的大多数关注于与音频同步的嘴唇运动,同时假设剩余的面部关键点的固定性质。为了解决这个问题,引入了一个独特的音频关键点数据集,其中包含超过150,000个224p和25fps的视频,它与给定音频的面部关键点移动有关。然后,该数据集进一步用于训练模型Audio2Keypoint,这是一种用于合成面部关键点运动以与音频一起进行的新方法。给定目标人物的单个图像和音频序列(任何语言),Audio2Keypoint会根据输入图像生成与输入音频同步的看似合理的关键点移动序列,以保留目标人物的面部特征。据我们所知,这是第一个提出音频关键点数据集并学习模型来输出合理的关键点序列以与任意长度的音频一起使用的工作。Audio2Keypoint可以概括具有不同面部结构的看不见的人,使我们能够使用任何来源的声音甚至合成声音生成序列。这项工作的目的不是学习从音频到视频域的直接映射,而是学习允许平面内和平面外头部旋转的音频关键点映射,同时使用姿势不变(PIV)编码器保留人的身份。
2020-11-02 cs.CV cs.MM
Self-Supervised Facial Representation Learning with Facial Region Awareness
Queen Mary University of London(伦敦玛丽女王大学)
本文提出自监督框架 FRA,通过可学习热力图与深度聚类联合建模全局及眼鼻等局部面部表示,在多类面部分类和回归任务上达到或超过 SOTA。
2024-03-04 cs.CV
Facial movement synergies and Action Unit detection from distal wearable Electromyography and Computer Vision
NTT Communication Science Laboratories(NTT通信科学实验室);University of Tsukuba(筑波大学);University of Hiroshima(广岛大学)
远端面部肌电图(EMG)可以用于检测微笑和皱眉,具有合理的准确性。它利用容量传导来检测相关的肌肉活动,即使电极没有直接放置在源肌肉上。这种方法的主要优点是防止面部表情产生的遮挡和阻碍,同时允许EMG测量。然而,远端测量EMG需要面部运动的确切来源是未知的。提出了一种基于远端面部肌电信号和计算机视觉的面部动作单位估计方法。该方法基于独立分量分析(ICA)、非负矩阵分解(NNMF)和对所得分量的排序,以确定哪个最有可能对应于每个CV标记的动作单元(AU)。通过计算与人类编码器的一致性,估计检测AU 06(眼轮匝肌)和AU 12(大颧肌)的性能。我们提出的算法的结果显示,AU 6的准确率为81%,Cohen's Kappa为0.49; AU 12的准确率为82%,Cohen's Kappa为0.53。这证明了远端EMG检测个体面部运动的潜力。使用这种多模式方法,确定了几个AU协同作用。我们使用人类编码的标签量化了AU 6和AU 12在摆姿势和自发微笑中的共同出现和时间,并使用连续CV标签进行比较。共现分析也进行了基于EMG的标签,以揭示肌肉协同作用和可见的面部运动的运动学之间的关系。
2020-08-20 cs.CV cs.HC eess.IV
AuthNet: A Deep Learning based Authentication Mechanism using Temporal Facial Feature Movements
National Institute of Technology Karnataka(卡纳塔克邦国家理工学院)
基于机器学习和深度学习的生物识别系统正被广泛用作智能手机和其他小型计算设备等资源受限环境中的认证机制。近年来,这些人工智能驱动的面部识别机制因其透明、非接触和非侵入性而受到广泛欢迎。虽然他们是有效的,在很大程度上,有办法获得未经授权的访问,使用照片,面具,眼镜等,在本文中,我们提出了一种替代的认证机制,使用面部识别和独特的运动,特定的脸,同时说出一个密码,即时间的面部特征运动。该模型不受语言障碍的限制,因为用户可以用任何语言设置密码。在标准MIRACL-VC 1数据集上进行评估时,该模型的准确率达到了98.1%,强调了其作为一个有效和强大的系统的有效性。所提出的方法也是数据高效的,因为即使在仅使用10个正视频样本进行训练时,该模型也给出了良好的结果。该网络的训练能力也证明了对各种复合的面部识别和唇读模型的基准测试所提出的系统。
2020-12-19 cs.CV cs.LG eess.IV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而,它提出了很大的挑战,在获得干净和一致的面部表情数据集的注释。另一方面,自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及,该策略可以潜在地规避注释问题。然而,实例级鉴别仍然存在固有的缺点,当面对复杂的面部表示时,这甚至更具挑战性。在本文中,我们重新审视了自我监督对比学习的使用,并探讨了三个核心策略,以执行特定的表达,并尽量减少其他面部属性,如身份和面部造型的干扰。实验结果表明,我们提出的方法优于当前国家的最先进的自监督学习方法,在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape
Hunan University(湖南大学);Microsoft Research Asia(微软亚洲研究院)
本文提出VividTalker框架,通过将头部姿态与嘴部运动解耦并分别编码到离散潜在空间,结合窗口Transformer自回归生成和精细3D数据集,实现具有自然头部姿态和面部细节的语音驱动3D面部动画。
2023-10-31 cs.AI cs.CV
Self-supervised learning of a facial attribute embedding from video
University of Oxford(牛津大学)
我们提出了一个自我监督的框架,通过简单地观看人脸说话,大笑和移动的视频来学习面部属性。为了执行这项任务,我们引入了一个网络,面部属性网(FAb-Net),它被训练成将来自同一视频面部跟踪的多个帧嵌入到一个公共的低维空间中。通过这种方法,我们做出了三个贡献:首先,我们表明网络可以通过预测每个帧的置信度/注意力掩码来利用来自多个源帧的信息;其次,我们证明使用课程学习制度可以提高学习的嵌入;最后,我们证明了网络学习一个有意义的人脸嵌入,编码有关头部姿势,面部标志和面部表情的信息,即面部属性,而没有用任何标记的数据进行监督。在这些任务上,我们与最先进的自监督方法相当或优于自监督方法,并接近监督方法的性能。
2018-08-21 cs.CV
Expression Snippet Transformer for Robust Video-based Facial Expression Recognition
China University of Geosciences (Wuhan)(中国地质大学(武汉));The University of Sydney(悉尼大学);Jingdong(京东)
最近Transformer的成功为各种视觉理解任务提供了新的方向,包括基于视频的面部表情识别(FER)。通过有效地建模视觉关系,Transformer已经显示出其描述复杂模式的能力。然而,Transformer在注意细微面部表情运动方面的表现仍然不令人满意,因为许多视频的表情运动可能太小,无法提取有意义的时空关系并实现鲁棒性能。为此,我们建议将每个视频分解成一系列的表情片段,其中每一个包含少量的面部运动,并试图增加Transformer的能力,分别为建模片段内和片段间的视觉关系,获得表达式片段Transformer(EST)。特别是,对于片段内建模,我们设计了一个注意力增强片段特征提取器(AA-SFE),通过逐渐关注更突出的信息来增强每个片段的细微面部运动的编码。此外,对于片段间建模,我们引入了混洗片段顺序预测(SSOP)头部和相应的损失,以通过训练Transformer来识别混洗片段顺序,从而改善对后续片段中细微运动变化的建模。在四个具有挑战性的数据集上进行了广泛的实验(即,BU-3DFE,MMI,AFEW和DFEW)表明,我们的EST优于其他基于CNN的方法,获得最先进的性能。
2021-09-17 cs.CV
HTNet for micro-expression recognition
Australian National University(澳大利亚国立大学);Sun Yat-sen University(中山大学)
针对微表情识别中肌肉运动微妙且现有方法忽略面部空间关系的问题,提出分层Transformer网络(HTNet),通过划分面部区域并利用局部自注意力与聚合层捕捉局部及全局特征,在四个数据集上取得显著优于以往方法的性能。
2023-07-27 cs.CV
A Generative Framework for Self-Supervised Facial Representation Learning
Fudan University(复旦大学)
本文提出LatentFace生成框架,利用3D感知潜在扩散模型解耦面部身份与表情,在自监督面部表示学习中实现FER和人脸验证的最优性能。
2024-05-23 cs.CV
JeFaPaTo -- A joint toolbox for blinking analysis and facial features extraction
Friedrich Schiller University Jena(弗里德里希席勒耶拿大学);Jena University Hospital(耶拿大学医院)
JeFaPaTo是一个用于眨眼分析和面部特征提取的联合工具箱,利用前沿计算机视觉算法和友好界面,帮助无编程技能的医学专业人员便捷地进行高级面部分析并整合到工作流程中。
2024-04-29 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China(中国科学技术大学)
目前的工作制定面部动作单元(AU)识别作为一个监督学习的问题,在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的,如果不是不可能的话。幸运的是,AU出现在所有面部图像上,无论是否手动标记,都满足潜在的解剖机制和人类行为习惯。在本文中,我们提出了一个深度半监督框架,用于从部分AU标记的面部图像中识别面部动作单元。具体来说,所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示,并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失,忠实地表示标记和未标记面部图像的固有AU分布,并混淆图像。在训练过程中,深度识别网络R和BND交替优化。因此,在训练期间,利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明,该方法通过对抗学习成功地捕获了AU分布,并优于最先进的AU识别工作。
2021-06-04 cs.CV
Soft-tissue Driven Craniomaxillofacial Surgical Planning
Rensselaer Polytechnic Institute(伦斯勒理工学院);Houston Methodist Research Institute(休斯顿卫理公会研究所);Baylor College of Medicine(贝勒医学院)
针对颅颌面手术传统骨驱动规划依赖经验、效果不佳的问题,提出结合骨规划网络与面部模拟网络的软组织驱动框架,可自动生成验证手术方案,经临床数据集验证其准确性与有效性显著优于传统方法。
2023-07-20 cs.CV cs.RO
Beyond FACS: Data-driven Facial Expression Dictionaries, with Application to Predicting Autism
Center for Autism Research, The Children’s Hospital of Philadelphia(儿童医院费城医院自闭症研究中心);Department of Psychiatry, University of Pennsylvania(宾夕法尼亚大学精神病学系);Deliberate AI
针对FACS编码成本高且AU检测准确率不足的问题,提出无监督的数据驱动编码系统Facial Basis,通过可加的局部3D面部运动单元全面重建可观测运动,在预测自闭症诊断上优于常用AU检测器。
2025-05-30 cs.CV
Stuttering Speech Disfluency Prediction using Explainable Attribution Vectors of Facial Muscle Movements
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Texas State University(德克萨斯州立大学);Secure AI and Autonomy Laboratory(安全人工智能与自主实验室);Department of Information Systems and Cyber Security(信息系统与网络安全系);Department of Psychology(心理学系);Department of Communication Disorders(语言障碍系);Cognitive Neuroscience Laboratory(认知神经科学实验室)
口吃等言语障碍通过无意识的重复、重复和阻塞声音和音节来破坏正常的言语流畅性。除了这些对语言流畅性的干扰外,大多数口吃的成年人(AWS)在口吃之前,期间和之后还经历了许多可观察到的次要行为,通常涉及面部肌肉。最近的研究已经探索了使用基于人工智能(AI)的算法从语音发声期间的呼吸率、音频等自动检测口吃。然而,大多数方法需要受控的环境和/或侵入性可穿戴传感器,并且无法解释为什么做出决定(流利vs口吃)。我们假设AWS中的语音前面部活动可以非侵入性地捕获,包含足够的信息来准确地将即将到来的话语分类为流利或口吃。为此,本文提出了一种新的可解释AI(XAI)辅助卷积神经网络(CNN)分类器,通过学习AWS的时间面部肌肉运动模式来预测不久的将来的口吃,并解释了所涉及的重要面部肌肉和动作。统计分析显示,颊肌(p<0.005)和唇肌(p<0.005)预测口吃的患病率显着较高,并显示出有助于唤醒和期待说话的行为。对这些上面部肌肉和下面部肌肉的时间研究可以促进口吃的早期检测,促进口吃的自动评估,并通过提供实时的自动非侵入性反馈而在行为治疗中具有应用。
2020-10-02 cs.CV q-bio.NC
Self-supervised Deformation Modeling for Facial Expression Editing
Stony Brook University(石溪大学)
深度生成模型的最新进展在照片级逼真的面部图像合成和编辑方面取得了令人印象深刻的结果。面部表情本质上是肌肉运动的结果。然而,现有的基于神经网络的方法通常只依赖于纹理生成来编辑表情,而在很大程度上忽略了运动信息。在这项工作中,我们提出了一种新的端到端网络,将面部编辑任务分解为两个步骤:“运动编辑”步骤和“纹理编辑”步骤。在“运动编辑”步骤中,我们通过图像变形明确地对面部运动建模,将图像扭曲成所需的表情。在“纹理编辑”步骤中,我们生成必要的纹理,如牙齿和阴影效果,以获得照片般逼真的效果。我们基于物理的任务分解系统设计允许每一步学习一个集中的任务,消除了生成纹理以产生幻觉运动的需要。我们的系统以自我监督的方式进行训练,不需要地面真实变形注释。使用动作单元[8]作为面部表情的表示,我们的方法在定性和定量评估方面提高了最先进的面部表情编辑性能。
2019-11-05 cs.CV
Expressive Speech-driven Facial Animation with controllable emotions
Tsinghua University(清华大学);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出一种基于深度学习并引入情感控制器模块的语音驱动面部动画方法,实现情感类型与强度的连续可控,在保持唇形同步的同时生成表情丰富、优于现有方法的动画。
2024-01-04 cs.CV
Facial Micro-Expression Spotting and Recognition using Time Contrasted Feature with Visual Memory
Kalyani Government Engineering College(卡利亚尼政府工程学院);Nanyang Technological University(南洋理工大学);Cognizant Technology Solutions(高知特科技解决方案公司);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
面部微表情是突然的、无意识的微小肌肉运动,它揭示了人们试图隐藏的真实情绪。由于微表情持续时间短,强度大,因此发现并识别它是一项重大挑战。许多作品追求传统的和基于深度学习的方法来解决这个问题,但由于数据集的不可用,在学习低级特征和更高的准确性上妥协。这促使我们提出了一种新的时空网络联合架构,该架构从特征图中提取时间对比特征,以对比快速肌肉运动中的微表情。时间对比特征的使用大大提高了从不明显的面部运动中发现微表情的能力。此外,我们还包括一个记忆模块来预测跨微表情剪辑的时间帧的微表情的类别和强度。我们的方法实现了优越的性能相比,其他传统的方法在CASMEII数据集。
2019-04-19 cs.CV
Self-supervised Facial Action Unit Detection with Region and Relation Learning
Tianjin University(天津大学)
由于人工标注的缺乏,面部动作单元(AU)检测是一项具有挑战性的任务。最近的工作AU检测自监督学习已经出现,以解决这个问题,旨在学习有意义的AU表示从众多的未标记的数据。然而,大多数现有的AU检测与自监督学习只利用全局面部特征,而AU相关的属性,如局部性和相关性没有得到充分的探讨。在本文中,我们提出了一种新的自监督框架AU检测与区域和关系学习。特别地,AU相关的注意力地图被用来引导模型更多地关注AU特定的区域,以增强AU局部特征的完整性。同时,一个改进的最优传输(OT)算法被引入到利用AU之间的相关特性。此外,Swin Transformer被用来在特征学习过程中对每个AU区域内的长距离依赖关系进行建模。在BP4D和DISFA上的实验结果表明,该方法与现有的自监督学习方法和有监督AU检测方法相比,具有相当的性能,甚至优于后者.
2023-03-10 cs.CV
Facial Expression and Peripheral Physiology Fusion to Decode Individualized Affective Experience
Northeastern University(东北大学)
在本文中,我们提出了一个多模态的方法,同时分析面部运动和几个外围生理信号解码个性化的情感体验下积极和消极的情绪背景下,同时考虑他们的个性化休息动态。我们提出了一个特定于个人的递归网络来量化人的面部运动和生理数据中存在的动态。面部运动表示使用一个强大的头部与3D面部地标定位和跟踪方法,和生理数据进行处理,通过提取相关的基本情感体验的已知属性。然后通过提取几个复杂的经常性网络度量来评估不同输入模态之间的动态耦合。然后使用这些指标作为特征来训练推理模型,以预测个体在给定背景下的情感体验,之后将其静息动态从其响应中排除。我们使用多模态数据集验证了我们的方法,该数据集包括(i)面部视频和(ii)几个外周生理信号,这些信号是在观看4个基于视频的情感刺激时从12名参与者同步记录的。情感体验的预测结果表明,我们的多模态融合方法提高了预测精度高达19%相比,仅使用一个或一个子集的输入模态的预测。此外,我们得到的预测改善情感体验,考虑到个性化的休息动力学的影响。
2018-11-18 cs.CV
Application of Self-Supervised Learning to MICA Model for Reconstructing Imperfect 3D Facial Structures
CIRTECH Institute(CIRTECH研究所);HUTECH University(胡志明市技术大学(HUTECH));Quy Nhon University(归仁大学);HCMVNU-University of Science(胡志明市国家大学科学大学)
本研究采用自监督学习方法,将预训练MICA模型与不完美面部数据集结合,提出再生有缺陷面部结构的方法,仅需几小时补充训练即可生成3D可打印输出,有效辅助医生治疗并实现无痕面部重建。
2023-04-08 cs.CV
Weakly Supervised Pretraining and Multi-Annotator Supervised Finetuning for Facial Wrinkle Detection
Asan Medical Center(峨山医院);University of Ulsan College of Medicine(蔚山大学医学院);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学)
本研究针对面部皱纹检测需求,提出结合弱监督预训练与多标注者监督微调的CNN方法,验证了迁移学习的性能提升作用,可实现自动化皱纹分割以辅助皮肤诊疗。
2024-08-19 cs.AI cs.CV cs.LG
Self-supervised Contrastive Learning of Multi-view Facial Expressions
Ingenuity Labs Research Institute(Ingenuity Labs 研究所)
人脸表情识别是人机交互系统的重要组成部分。尽管FER最近取得了进展,但非正面面部图像的性能通常会显着下降。我们提出了多视角面部表情的对比学习(CL-MEx),以利用从不同角度同时捕获的面部图像对FER。CL-MEx是一个两步培训框架。在第一步中,编码器网络使用所提出的自监督对比度损失进行预训练,其中它学习为主题的不同视图生成视图不变嵌入。然后在监督设置中使用标记数据对模型进行微调。我们证明了所提出的方法在两个多视图FER数据集,KDEF和DDCF,其中最先进的性能实现的性能。进一步的实验表明,我们的方法在处理具有挑战性的角度和减少标记的数据量的鲁棒性。
2021-08-15 cs.CV cs.LG
Aggregation via Separation: Boosting Facial Landmark Detector with Semi-Supervised Style Translation
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);YouTu Lab, Tencent(腾讯优图实验室)
人脸标志点检测,或人脸对齐,是一个基本的任务,已被广泛研究。在本文中,我们研究了一个新的角度的人脸标志点检测,并证明它会导致进一步显着的改善。考虑到任何人脸图像都可以被分解为捕获光照,纹理和图像环境的风格空间以及风格不变的结构空间,我们的关键思想是利用每个人的分离风格和形状空间来通过风格转换来增强现有结构。有了这些增强的合成样本,我们的半监督模型令人惊讶地大大优于全监督模型。大量的实验验证了我们的想法的有效性与国家的最先进的结果在WFLW,300W,COFW,和AFLW数据集。我们提出的结构是通用的,可以组装成任何人脸对齐框架。该守则可在https://github.com/thesouthfrog/stylealign上公开查阅。
2019-08-18 cs.CV
Weakly-Supervised Text-driven Contrastive Learning for Facial Behavior Understanding
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);Rice University(莱斯大学)
针对面部行为对比学习中正负对构建受身份干扰的问题,提出两阶段文本嵌入对比学习框架CLEF,利用粗粒度活动描述构建正负对并结合文本标签训练,在多类基准数据集上取得SOTA性能。
2023-08-25 cs.CV
Pose-disentangled Contrastive Learning for Self-supervised Facial Representation
China University of Geosciences(中国地质大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
针对现有对比学习难以学习面部姿态细节的问题,提出姿态解耦对比学习(PCL),通过姿态解耦解码器和正交化正则化分离姿态特征,并在多个下游任务上显著优于现有自监督方法。
2023-05-08 cs.CV
Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition
Technische Universität Berlin(柏林工业大学);Science of Intelligence, Research Cluster of Excellence(科学智慧卓越研究集群);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室);Humboldt-Universität zu Berlin(柏林洪堡大学)
本文提出多任务多模态自监督学习方法ConCluGen,结合对比学习、聚类和重建三种损失,在CMU-MOSEI等基准上显著提升面部表情识别性能并减少标注需求。
2024-09-04 cs.CV
Read My Ears! Horse Ear Movement Detection for Equine Affective State Assessment
Visual Analysis and Perception Lab, Aalborg University(奥尔堡大学视觉分析与感知实验室);Department of Veterinary Clinical Sciences, University of Copenhagen(哥本哈根大学兽医临床科学系)
本文研究从马匹视频中自动检测和定位耳部动作单元,结合深度学习视频特征提取、循环神经网络和光流方法,在公开数据集上实现87.5%的耳部运动分类准确率,以推动马匹情感状态自动评估和福利诊断应用。
2025-05-06 cs.CV
Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Wenzhou University(温州大学)
本文提出DIRFA方法,通过基于Transformer的概率映射网络和时间偏置掩码,从同一音频生成多样且时间平滑的真实面部动画序列,解决了现有方法仅生成唇部运动而忽略表情的问题。
2023-04-18 cs.CV
Analysis of Semi-Supervised Methods for Facial Expression Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(Ingenuity Labs研究院)
训练用于图像识别的深度神经网络通常需要大规模的人类注释数据。为了减少深度神经解决方案对标记数据的依赖,文献中已经提出了最先进的半监督方法。尽管如此,这种半监督方法的使用在面部表情识别(FER)领域中还是相当罕见的。在本文中,我们提出了一个全面的研究,最近提出的国家的最先进的半监督学习方法的背景下,FER。我们对八种半监督学习方法进行了比较研究,即Pi模型,伪标签,平均教师,增值税,混合匹配,ReMixMatch,UDA和FixMatch,在三个FER数据集(FER 13,RAF-DB和AffectNet)上,当使用不同数量的标记样本时。我们还比较了这些方法与完全监督训练的性能。我们的研究表明,当训练现有的半监督方法时,每个类只有250个标记样本,可以产生与在完整标记数据集上训练的全监督方法相当的性能。为了方便在这一领域的进一步研究,我们将我们的代码公开在:https://github.com/ShuvenduRoy/SSL_FER
2022-07-31 cs.CV
Exploring Talking Head Models With Adjacent Frame Prior for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology(广东工业大学);Peking University(北京大学);Sun Yat-sen University(中山大学)
本文提出THFEM框架,结合AD-THG模型与SPFEM,通过相邻帧学习策略提升语音保留的面部表情操纵效果。
2026-01-19 cs.CV
Event-based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning
本文提出基于跨模态融合注意力和自监督多事件表征学习的事件面部关键点对齐框架,解决事件数据中空间信息有限和标注数据不足的问题,通过实验验证其在多个评估指标上优于现有方法。
2026-03-27 cs.CV
Bridging the Gaps: Utilizing Unlabeled Face Recognition Datasets to Boost Semi-Supervised Facial Expression Recognition
West China Hospital, Sichuan University(四川大学华西医院);Institutes for Systems Genetics(系统遗传学研究所);Frontiers Science Center for Disease-related Molecular Network(疾病相关分子网络前沿科学中心)
本文提出利用大规模无标注人脸识别数据集进行人脸重建预训练,并结合两阶段微调和基于IoU的Mixup数据增强策略,显著提升半监督面部表情识别性能,在多个基准上达到新最先进水平。
2024-10-23 cs.CV
SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis
Renmin University of China(中国人民大学);Beijing University of Posts and Telecommunications(北京邮电大学);Psyche AI Inc.(Psyche AI公司);Chinese Academy of Sciences(中国科学院);Tsinghua University(清华大学)
在合成逼真的、语音驱动的说话头部视频中实现高同步提出了重大挑战。传统的生成对抗网络(GAN)难以保持一致的面部身份,而神经辐射场(NeRF)方法虽然可以解决这个问题,但通常会产生不匹配的嘴唇运动,不适当的面部表情和不稳定的头部姿势。一个逼真的会说话的头部需要主体身份、嘴唇运动、面部表情和头部姿势的同步协调。缺乏这些同步是一个根本性的缺陷,导致不现实和人为的结果。为了解决同步的关键问题,确定为“魔鬼”在创建现实的说话头,我们介绍SyncTalk。这种基于NeRF的方法有效地保持了主体身份,增强了说话头部合成的同步性和真实感。SyncTalk采用Face-Sync Controller将嘴唇运动与语音对齐,并创新地使用3D面部融合模型来捕捉准确的面部表情。我们的头部同步稳定器优化头部姿势,实现更自然的头部运动。肖像同步发生器恢复头发的细节,并融合生成的头部与躯干的无缝视觉体验。大量的实验和用户研究表明,SyncTalk在同步和真实感方面优于最先进的方法。我们建议观看补充视频:https://ziqiaopeng.github.io/synctalk
2024-04-28 cs.CV
AU-Supervised Convolutional Vision Transformers for Synthetic Facial Expression Recognition
Shenzhen Technology University(深圳技术大学)
本文描述了我们为2022年野外情感行为分析(ABAW)竞赛的六个基本表情分类轨道提出的方法。在从合成数据学习(LSD)任务中,面部表情识别(FER)方法旨在从人工生成的数据中学习表情的表示并推广到真实数据。由于合成数据的模糊性和面部动作单元(AU)的客观性,我们求助于AU信息来提高性能,并做出如下贡献。首先,为了使模型适应合成场景,我们使用来自预训练的大规模人脸识别数据的知识。其次,我们提出了一个概念上的新框架,称为AU监督卷积视觉Transformer(AU-CVT),它通过联合训练具有AU或伪AU标签的辅助数据集,明显提高了FER的性能。我们的AU-CVT在验证集上达到F1评分为$0.6863$,准确度为$0.7433$。我们工作的源代码可以在网上公开获得:https://github.com/msy1412/ABAW4
2022-07-22 cs.CV
Semi-Supervised Facial Expression Recognition based on Dynamic Threshold and Negative Learning
University of Science and Technology of China(中国科学技术大学);Jianghuai Advance Technology Center(江淮前沿技术协同创新中心);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
本文提出基于动态阈值和负学习的半监督面部表情识别方法,通过增强局部特征和利用未标记样本提升性能,在RAF-DB和AffectNet数据集上取得优异效果。
2026-01-09 cs.AI cs.CV
Self-Supervised Multi-View Representation Learning using Vision-Language Model for 3D/4D Facial Expression Recognition
King Fahd University of Petroleum and Minerals(国王法赫德石油矿物大学)
本文提出自监督视觉-语言模型SMILE-VLM,通过多视图去相关、视觉-语言对比对齐和跨模态冗余最小化实现3D/4D面部表情及微表情识别,在多个基准上达到或超过有监督方法。
2025-06-01 cs.CV
ABAW : Facial Expression Recognition in the wild
SSSIHL(斯里·萨提亚·赛高等研究院)
第五届野外情感行为分析(ABAW)竞赛设有多项挑战,如效价-唤醒估计挑战、表情分类挑战、动作单元检测挑战、情绪反应强度估计挑战。在本文中,我们只处理表达分类的挑战,使用多种方法,如全监督,半监督和噪声标签的方法。我们的方法使用噪声感知模型比基线模型的性能好10.46%,半监督模型比基线模型的性能好9.38%,全监督模型比基线模型的性能好9.34%
2023-03-17 cs.CV
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin
Xidian University(西安电子科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Chongqing University of Posts and Telecommunications(重庆邮电大学)
对于大多数半监督学习方法,仅选择未标记数据的部分来训练模型,其置信度分数通常高于预定义阈值(即,置信度)。我们认为,识别性能应进一步提高,充分利用所有未标记的数据。在本文中,我们学习了自适应置信度(Ada-CM),以充分利用所有未标记的数据进行半监督深度面部表情识别。通过在每个训练时期将所有未标记的样本的置信度分数与自适应学习的置信度裕度进行比较,将所有未标记的样本划分为两个子集:(1)子集I,包括置信度分数不低于裕度的样本;(2)子集II,包括置信度分数低于裕度的样本。对于子集I中的样本,我们约束它们的预测以匹配伪标签。同时,子集II中的样本参与特征级对比目标,以学习有效的面部表情特征。我们在四个具有挑战性的数据集上对Ada-CM进行了广泛的评估,结果表明我们的方法达到了最先进的性能,特别是以半监督的方式超过了完全监督的基线。消融实验进一步证明了该方法的有效性。源代码可在https://github.com/hangyu94/Ada-CM上获得。
2022-03-24 cs.CV
SVFAP: Self-supervised Video Facial Affect Perceiver
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文提出自监督视频面部情感感知器SVFAP,通过掩码面部视频自编码与时间金字塔、空间瓶颈Transformer在大规模无标注视频上预训练,在九个数据集上显著超越以往方法。
2024-10-01 cs.CV cs.HC cs.MM
Self-Paced Neutral Expression-Disentangled Learning for Facial Expression Recognition
University of Electronic Science and Technology of China(电子科技大学)
人脸表情识别的准确性通常受到以下因素的影响:不同表情之间的高度相似性,干扰因素以及快速而微妙变化的微面部运动。解决这些障碍的一个潜在可行的解决方案是利用隐藏在中性表情图像中的中性信息。为此,在本文中,我们提出了一个自步调中性表达分离学习(SPNDL)模型。SPNDL从面部表情中分离出中性信息,使其更容易提取关键和偏差特征。具体而言,它允许捕获相似表情之间的区别信息并感知微面部运动。为了更好地学习这些中性表达式-解纠缠特征(NDF)并缓解非凸优化问题,在训练阶段提出了一种基于NDF的自步调学习(SPL)策略。SPL通过增加选择到训练过程中的样本数量来从简单到复杂地学习样本,从而能够有效地抑制低质量样本和不一致分布的NDF带来的负面影响。在三个流行数据库上的实验(即,CK+、Oulu-CASIA和RAF-DB)的实验结果表明了该方法的有效性。
2023-03-21 cs.CV
Weakly Supervised Regional and Temporal Learning for Facial Action Unit Recognition
Hikvision Research Institute(海康威视研究院)
由于人工标注的缺乏,自动面部动作单元(AU)识别是一项具有挑战性的任务。为了缓解这个问题,大量的努力一直致力于利用各种弱监督的方法,利用大量的未标记的数据。然而,许多方面的一些独特的属性,如区域和关系的特点,AU,没有充分探讨在以前的工作。受此启发,我们考虑了AU属性,并提出了两个辅助AU相关任务,以通过未标记数据以自监督方式弥合有限注释和模型性能之间的差距。具体来说,为了增强AU关系嵌入区域特征的区分度,我们设计了一个ROI修复任务来恢复随机裁剪的AU补丁。同时,提出了一种基于单幅图像的光流估计任务,利用面部肌肉的动态变化,并将运动信息编码到全局特征表示中。基于这两个自我监督的辅助任务,本地功能,相互关系和运动线索的AU更好地捕捉到骨干网络。此外,通过结合半监督学习,我们提出了一个端到端的可训练的框架命名为弱监督区域和时间学习(WSRTL)的AU识别。在BP 4D和DISFA上进行的大量实验证明了我们方法的优越性,并取得了新的最先进的性能。
2022-04-01 cs.CV
Classification in Japanese Sign Language Based on Dynamic Facial Expressions
School of FSE, Waseda University Tokyo, Japan(FSE学院,早稻田大学东京,日本);Graduate School of FSE, Waseda University Tokyo, Japan(FSE研究生院,早稻田大学东京,日本)
针对日本手语(JSL)数据集匮乏及句子类型依赖面部表情区分的问题,本文提出一种基于神经网络分析动态面部特征以分类JSL句子类型的方法,实现了96.05%的准确率。
2025-06-24 cs.CV
Supervision-by-Hallucination-and-Transfer: A Weakly-Supervised Approach for Robust and Precise Facial Landmark Detection
School of Information Engineering, Zhongnan University of Economics(经济法律大学信息工程学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院)
本文提出通过幻觉与迁移的弱监督方法,提升面部地标检测的鲁棒性和精度。
2026-01-19 cs.CV
SS-MFAR : Semi-supervised Multi-task Facial Affect Recognition
SSSIHL(斯里沙迪亚赛高等研究所)
自动情感识别在教育、游戏、软件开发、汽车、医疗保健等许多领域都有应用,但在野外数据集上实现可观的性能是一项不平凡的任务。尽管野外数据集比合成数据集更能代表真实世界的场景,但前者存在标签不完整的问题。受半监督学习的启发,在本文中,我们介绍了我们在2022年第四届野外情感行为分析(ABAW)竞赛中提交的多任务学习挑战赛。在这个挑战中考虑的三个任务是效价唤醒(VA)估计,将表情分类为6个基本(愤怒、厌恶、恐惧、快乐、悲伤、惊讶)、中性和“其他”类别以及编号为AU-{1,2,4,6,7,10,12,15,23,24,25,26}的12个动作单元(AU)。我们的方法半监督多任务面部情感识别名为SS-MFAR使用深度残差网络与任务特定的分类器为每个任务以及自适应阈值为每个表情类和半监督学习不完整的标签。源代码可在https://github.com/1980x/ABAW2022DMACS上获得。
2022-08-05 cs.CV
A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition
Indian Statistical Institute(印度统计研究所);Department of Biological Sciences, Bose Institute(生物科学系, Bose 院);Ramakrishna Mission Vivekananda Centenary College(拉马克里希纳使命 Vivekananda 百年学院);Maheshtala College(Maheshtala 学院);West Bengal State University(西孟加拉州大学)
提出一种结合监督对比学习的多尺度深度学习网络,用于实时视频中面部表情变化的情感识别,在标准数据集上取得满意效果。
2026-05-31 cs.CV
SIT-FER: Integration of Semantic-, Instance-, Text-level Information for Semi-supervised Facial Expression Recognition
College of Computer Science, Sichuan University(四川大学计算机学院)
针对半监督深度面部表情识别中语义级伪标签不可靠的问题,提出融合语义、实例、文本三层信息生成高质量伪标签的SIT-FER框架,性能超越现有半监督方法及全监督基线。
2025-03-24 cs.CV
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London(伦敦玛丽女王大学)
针对无标签人脸识别,提出基于 landmarks 的自监督方法 LAFS,利用人脸关键点补丁和特定增强学习关键表示,在多个基准上显著提升性能,尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher
Beijing University of Posts and Telecommunications(北京邮电大学)
在本文中,我们的目标是提高在野外人脸表情识别(FER)的性能,通过利用半监督学习。大规模标记数据和深度学习方法极大地提高了图像识别的性能。然而,由于缺乏训练数据和不正确的注释(例如,标签噪声)。在现有的野外FER数据集中,可靠的数据集包含的数据不足以训练鲁棒的深度模型,而大规模的数据集则以较低的质量进行注释。为了解决这个问题,我们提出了一个半监督学习算法名为渐进式教师(PT),利用可靠的FER数据集以及大规模的未标记的表情图像进行有效的训练。一方面,PT引入了半监督学习的方法来缓解FER中数据不足的问题。另一方面,它自动和渐进地选择有用的标记训练样本,以减轻标签噪声。PT使用选定的干净标记数据来计算监督分类损失,使用未标记数据来计算无监督一致性损失。在广泛使用的数据库RAF-DB和FERPlus上的实验验证了该方法的有效性,在RAF-DB上取得了89.57%的准确率。此外,当合成噪声率甚至达到30%时,我们的PT算法的性能仅下降了4.37%。
2022-05-28 cs.CV