Deep Covariance Descriptors for Facial Expression Recognition
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
本文利用协方差矩阵对深度卷积神经网络（DCNN）特征进行编码，用于人脸表情识别。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用高斯核对面部表情进行分类，我们证明了在DCNN特征上计算的协方差描述符比使用全连接层和softmax的标准分类更有效。通过使用VGG-face和ExpNet架构在Oulu-CASIA和SFEW数据集上进行广泛的实验，我们证明了所提出的方法在面部表情识别方面达到了最先进的性能。
2018-05-10 cs.CV
Facial Descriptors for Human Interaction Recognition In Still Images
Hacettepe University（哈塞特佩大学）
针对计算机视觉的一个研究较少的领域：静止图像中的人机交互识别，提出了一种新的方法。我们探讨是否面部区域及其空间配置有助于识别的相互作用。在这方面，我们的方法涉及提取的几个视觉特征的面部区域，以及结合场景特征和深层特征的识别。提取的多个特征被用于区分性学习框架内，以识别人与人之间的交互。我们设计的面部描述符是基于观察到的相对位置，大小和位置的脸可能是重要的特征人类的互动。由于在这个相对较新的领域中没有可用的数据集，因此收集了包括人类交互的几个图像的全面的新数据集。我们的实验结果表明，人脸和场景特征包含重要的信息，以识别人与人之间的互动。
2015-09-17 cs.CV
Learning Semantic Facial Descriptors for Accurate Face Animation
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
针对人脸动画中基于模型方法难保身份和无模型方法难精确传递运动的问题，提出在可学习解耦向量空间中学习语义面部描述子，通过学习正交基向量解耦身份与运动子空间，实现优于SOTA的身份保留与运动传递。
2025-01-29 cs.CV
Facial Recognition with Encoded Local Projections
University of Waterloo（滑铁卢大学）
编码局部投影（Encoded Local Projections，ELP）是最近提出的一种密集采样图像描述符，它利用小邻域内的投影来构造整个图像的直方图/描述符。ELP在搜索医学图像方面与其他最先进的功能一样准确，同时具有时间和资源效率。本文首次尝试将ELP描述子作为人脸识别的主要特征，并在Wild数据集的Labeled Faces上与LBP直方图进行了比较。我们通过比较每个图像描述符与所有其他描述符的卡方距离以及使用每个特征向量训练支持向量机（SVM）来评估描述符。在两种情况下，在相同的子图像配置下，ELP的结果优于LBP。
2018-09-11 cs.CV
Multiple Emotion Descriptors Estimation at the ABAW3 Challenge
Hong Kong University of Science and Technology（香港科技大学）
为了描述复杂的情绪状态，心理学家提出了多种情绪描述符：稀疏描述符如面部动作单元;连续描述符如效价和唤醒;离散类描述符如快乐和愤怒。根据Ekman和Friesen（1969）的观点，面部动作单元是传达情感信息的符号载体，而离散或连续的情感描述符是人类感知和表达的信息。在本文中，我们设计了一个架构，多个情绪描述符估计参与ABAW 3挑战。基于Ekman和Friesen，1969的理论，我们设计了不同的架构来测量标志车辆（即，面部动作单元）和消息（即，离散的情绪、效价和唤醒），因为它们具有不同的性质。在ABAW 3挑战数据集上的定量实验表明，我们的方法优于两个基线模型。
2022-03-29 cs.CV
Pore-scale Image Patch Dataset and A Comparative Evaluation of Pore-scale Facial Features
本文提出PorePatch数据集及DMCE框架，通过训练SOTA模型在面部弱纹理匹配任务中取得1.91%的FPR95，但3D重建任务中表现不显著优于传统方法。
2025-11-29 cs.CV
Interpretable Temporal Facial-Region Motion Analysis for In-the-Wild Parkinson's Disease Video Classification
Department of Computer Science and Information, College of Science, Majmaah University（计算机科学与信息系，科学学院，麦杰玛大学）
提出基于面部区域关键点的时序运动描述符，在YouTubePD基准上实现轻量级且可解释的PD视频分类，平衡准确率达0.826。
2026-06-08 cs.CV
Noise Sensitivity of Local Descriptors vs ConvNets: An application to Facial Recognition
Durban University of Technology（德班理工大学）
局部二值模式（LBP）是Ojala等人提出的一种用于纹理识别的局部描述符。然而，LBP对噪声和光照变化敏感。因此，已经提出了对LBP的若干扩展（诸如中值二进制模式（MBP））和方法（诸如局部方向模式（LDP））来解决其缺点。尽管Zhou等人的研究表明，LDP在随机噪声存在下表现出较差的性能。最近，卷积神经网络（ConvNets）被引入，由于其辨别能力，卷积神经网络对于特征提取越来越流行。这项研究旨在评估ResNet50，ConvNet预训练模型和局部描述符（LBP和LDP）对噪声的敏感性，使用扩展的Yale B人脸数据集，在数据集中添加了5种不同的噪声水平。在我们的研究结果中，观察到尽管向数据集添加了不同程度的噪声，但ResNet50被证明比局部描述符（LBP和LDP）更鲁棒。
2018-10-26 cs.CV
Cross-Centroid Ripple Pattern for Facial Expression Recognition
本文提出了一种新的用于面部表情识别的特征描述符跨中心波纹模式（CRIP）。CRIP通过将分别位于半径r1和r2处的两个波纹之间的交叉质心关系编码面部表情的过渡模式。这些涟漪是通过将局部邻域区域划分为子区域而生成的。因此，CRIP有能力保持宏观和微观结构的变化在一个广泛的区域，这使它能够处理侧视图和自发的表达。此外，交叉质心波纹之间的梯度信息提供了强度，以捕获活动补丁中的突出边缘特征：眼睛，鼻子和嘴巴，这些特征定义了不同面部表情之间的差异。交叉质心信息还提供对不规则照明的鲁棒性。此外，CRIP利用子区域的像素的平均行为，产生鲁棒性来处理噪声条件。建议的描述符的性能进行评估，包括具有挑战性的条件，如年龄，姿势，种族和光照变化的七个全面的表达数据集。实验结果表明，我们的描述符始终实现更好的准确率相比，现有的最先进的方法。
2022-01-16 cs.CV
Region Based Extensive Response Index Pattern for Facial Expression Recognition
Malviya National Institute of Technology（马尔维亚国家理工学院）
提出了一种新的基于区域的广泛反应指数模式（RETRaIN）描述子用于人脸表情识别。RETRaIN对面部活动区域的参考像素和相邻像素之间的关系进行编码。这些关系是通过在输入图像上使用方向罗盘掩模来计算的，并且提取最前面方向上的高边缘响应。进一步的极端边缘索引位置被选择并编码成六位压缩码，以减少特征维数并区分面部特征中的均匀和非均匀图案。所提出的描述符的性能进行了测试和评估的三个基准数据集扩展Cohn Kanade，JAFFE和MUG。与最先进的技术相比，RETRaIN实现了卓越的识别准确性。
2018-11-26 cs.CV
Automatic Analysis of Facial Expressions Based on Deep Covariance Trajectories
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；University of Luxembourg（卢森堡大学）；IMT Lille-Douai（法国里尔-杜埃国立高等矿业电信学校）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
在本文中，我们提出了一种新的方法，面部表情识别使用深协方差描述符。该解决方案基于将从静态图像中提取的局部和全局深度卷积神经网络（DCNN）特征编码在紧凑的局部和全局协方差描述符中的思想。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用具有有效高斯核的支持向量机（SVM）对静态面部表情进行分类，我们证明了深度协方差描述符比具有全连接层和softmax的标准分类更有效。此外，我们提出了一个全新的和原始的解决方案来模拟的时间动态的面部表情的深轨迹上的SPD流形。作为协方差描述符的分类管道的扩展，我们应用具有从全局对齐导出的有效正定核的SVM进行深度协方差轨迹分类。通过在Oulu-CASIA、CK+和SFEW数据集上进行广泛的实验，我们表明，所提出的静态和动态方法在面部表情识别方面的性能优于许多最近的方法。
2019-12-04 cs.CV
Few-Shot Meta Learning for Recognizing Facial Phenotypes of Genetic Disorders
University of Augsburg（奥格斯堡大学）；University of Bonn（波恩大学）
本研究利用预训练人脸识别模型迁移至面部表型识别，并构建少样本元学习基线，在 GestaltMatcher Database 上超越了以往方法，提升了常见与罕见遗传疾病类别的检索性能。
2023-05-24 cs.CV cs.MM
Multi-Task Learning for Emotion Descriptors Estimation at the fourth ABAW Challenge
University of Science and Technology of China（中国科学技术大学）
面孔情绪分析中的面孔效价/唤醒、表情和动作单位是相互关联的任务。然而，由于各种收集条件，任务在野外的性能有限。第四届野外情感行为分析竞赛（ABAW）提供了具有效价/唤醒、表达和动作单元标签的图像。在本文中，我们引入多任务学习框架，以提高在野外的三个相关任务的性能。特征共享和标签融合是利用它们之间的关系。我们对提供的训练和验证数据进行实验。
2022-07-20 cs.CV
Expressing Facial Structure and Appearance Information in Frequency Domain for Face Recognition
Baze University（贝兹大学）
在人脸图像不确定的原始视觉特征之下，是表征样本人脸区分属性所必需的原始内在结构模式（PISP）。在此基础上，本文提出了一种简单而有效的人脸描述器形成的高斯和Gabor小波的导数。新的描述子被称为局部边缘梯度Gabor幅度（LEGGM）模式。LEGGM首先通过使用高斯导数确定像素相对于其相邻像素的梯度来揭示锁定在每个像素中的PISP。然后，将得到的输出嵌入到人脸的全局外观中，并使用Gabor小波对其进行进一步处理，以表达其频率特性。此外，我们采用了各种子空间模型进行降维，以确定最适合的模型报告更有效的代表性的LEGGM模式。所提出的基于人脸识别的方法进行评估的三个数据库：整形外科，LFW，GT人脸数据库。通过实验，使用一个基本分类器，所提出的方法的有效性证明，特别是在整形外科数据库的情况下。异构数据库，我们创建了代表现实世界的情况下，表明所提出的方法是在一定程度上不敏感的图像形成因素与令人印象深刻的识别性能。
2017-04-28 cs.CV
QUEST: Quadriletral Senary bit Pattern for Facial Expression Recognition
Malaviya national Institute of Technology（马拉维亚国家理工学院）
面部表情在分析人类认知状态中具有重要作用。获得准确的面部外观表示是自动面部表情识别应用的关键任务。本文提出了一种新的用于表情识别的特征描述子--四边形六比特模式。QUEST模式通过将相邻像素和参考像素划分为局部邻域中的两个四边形来强调相邻像素和参考像素之间的关系，从而对强度变化进行编码。因此，所得到的梯度边缘揭示了过渡变化信息，这通过区分表情类来提高分类率。此外，它还增强了描述符处理视点变化和光照变化的能力。四边形结构中的三角关系有助于提取表达性边缘并抑制噪声元素以增强对噪声条件的鲁棒性。QUEST模式生成六位紧凑码，这提高了FER系统的效率，具有更多的可区分性。通过在MMI、GEMEP-FERA、OULU-CASIA和ISED四个基准数据集上进行实验，验证了该方法的有效性。实验结果表明，所提出的方法相比，现有的国家艺术的方法更好的性能。
2018-07-24 cs.CV
Extended Local Binary Patterns for Efficient and Robust Spontaneous Facial Micro-Expression Recognition
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；The University of Sydney（悉尼大学）
面部微表情（Facial Micro-Expressions，ME）是一种自发的、无意识的面部运动，当一个人经历一种情绪时，但有意或无意地试图隐藏他或她的真实情绪。近年来，由于ME识别在临床诊断、商务谈判、审讯和安全等方面的潜在应用，ME识别引起了越来越多的关注。然而，建立大规模ME数据集是昂贵的，主要是由于难以诱导自发ME。这限制了需要大量训练数据的深度学习技术的应用。在本文中，我们提出了一个简单的，有效的，但强大的描述符称为扩展本地二进制模式的三个正交平面（ELBPTOP）ME识别。ELBPTOP由三个互补的二进制描述符组成：LBPTOP和两个新的径向差异LBPTOP（RDLBPTOP）和角度差异LBPTOP（ADLBPTOP），它们探索了ME视频序列中包含的径向和角度方向上的局部二阶信息。ELBPTOP是一种新颖的ME描述符，灵感来自独特而微妙的面部运动。它在计算上是高效的，并且仅略微增加计算LBPTOP的成本，但对于ME识别是非常有效的。此外，首次将白化主成分分析（WPCA）引入到运动估计识别中，可以进一步获得更紧凑、更有鉴别力的特征表示，从而显著节省计算量。在三个流行的自发ME数据集SMIC、CASME II和SAMM上进行的大量实验评估表明，我们提出的ELBPTOP方法在所有三个单一评估数据集上的性能都明显优于先前的最先进水平，并在跨数据库识别方面取得了令人满意的结果。
2019-09-17 cs.CV
SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition
Technical University of Munich（慕尼黑工业大学）；Beijing Institute of Technology（北京理工大学）
我们解决了从点云数据中识别位置的问题，并引入了一个自我关注和方向编码网络（SOE-Net），该网络充分探索了点之间的关系，并将长程上下文结合到逐点局部描述符中。从八个方向的每个点的本地信息被捕获在PointOE模块中，而本地描述符之间的远程特征依赖性被捕获与自我关注单元。此外，我们提出了一种新的损失函数称为硬正硬负四重损失（HPHN四重），实现更好的性能比常用的度量学习损失。在各种基准数据集上的实验表明，该网络的性能优于当前最先进的方法。我们的代码在https://github.com/Yan-Xia/SOE-Net上公开发布。
2021-05-23 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition
Badji Mokhtar Annaba University（巴吉·穆赫塔尔·安纳巴大学）；Delhi Technological University（德里技术大学）
近年来，3D人脸扫描的面部表情识别（FER）受到了极大的关注。大多数面部表情识别方法主要是使用2D图像提出的。这些方法遭受几个问题，如照明变化和姿态变化。此外，从3D图像的2D映射可能缺乏面部的一些几何和拓扑特征。因此，为了克服这个问题，提出了一种基于多模态2D + 3D特征的方法。我们从3D图像中提取浅层特征，并使用卷积神经网络（CNN）从变换后的2D图像中提取深层特征。将这些特征组合成紧凑的表示使用协方差矩阵作为两个特征的描述符，而不是单独的描述符。协方差矩阵学习被用作流形层，以减少深度协方差矩阵的大小，并在保持其流形结构的同时增强其辨别能力。然后，我们使用Bag-of-Features（BoF）范式来处理平坦化后的协方差矩阵。因此，我们使用浅层和深层特征获得了两个码本。然后，全局码本用于馈送SVM分类器。与最先进的方法相比，BU-3DFE和Bosphorus数据集实现了高分类性能。
2021-05-12 cs.CV
Using Hankel Matrices for Dynamics-based Facial Emotion Recognition and Pain Detection
University of Palermo（巴勒莫大学）
本文提出了一种新的方法来建模的面部表情序列的时间动态。为此，一个序列的人脸图像描述符（FID）被视为一个线性时不变（LTI）系统的输出。这种序列的描述符的时间动态表示通过一个汉克尔矩阵。本文提出了不同的策略来计算基于动态表示的FID序列，并报告了不同的标准分类框架内的建议表示的分类精度值。这些表示已经在两个非常具有挑战性的应用领域中得到了验证：情感识别和疼痛检测。两个公开的基准和比较与国家的最先进的方法的实验表明，基于动态的FID表示达到有竞争力的性能时，现成的分类工具被采用。
2015-06-16 cs.AI cs.CV cs.RO
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是理解人类行为的一项重要任务。作为人类最具信息量的行为之一，面部表情往往是复合的和可变的，这表现为不同的人可能以非常不同的方式表达相同的表情。然而，大多数FER方法仍然使用独热或软标签作为监督，这缺乏足够的语义描述的面部表情和较少的可解释性。最近，对比视觉语言预训练（VLP）模型（例如，CLIP）以文本为监督，得益于文本中丰富的语义，为各种计算机视觉任务注入了新的活力。因此，在这项工作中，我们提出了CLIPER，一个统一的框架，静态和动态的面部表情识别的基础上CLIP。此外，我们引入了多表达式文本描述符（METD）来学习细粒度的表达式表示，使CLIPER更具可解释性。我们在几个流行的FER基准上进行了大量的实验，并达到了最先进的性能，这证明了CLIPER的有效性。
2023-03-01 cs.CV
Effects of Image Compression on Face Image Manipulation Detection: A Case Study on Facial Retouching
Hochschule Darmstadt（达姆施塔特应用科学大学）
在过去的几年中，已经引入了许多方法来可靠地检测数字人脸图像操纵。最近，这些计划的普遍性受到质疑，特别是在图像后处理方面。图像压缩是一种后处理技术，广泛应用于生物识别领域。严重的压缩可能会消除面部图像操纵的数字痕迹，从而妨碍对其的可靠检测。在这项工作中，图像压缩的人脸图像篡改检测的影响进行了分析。特别是，一个案例研究的影响下的图像压缩的面部修饰检测。为此，两个公共人脸数据库的ICAO兼容子集用于自动创建一个包含9，000多个修饰参考图像以及无约束探针图像的数据库。随后，以推荐用于电子旅行文档中的面部图像存储的压缩级别，应用JPEG和JPEG 2000来压缩参考图像。新的检测算法，利用纹理描述符和深层人脸表示提出和评估在一个单一的图像和差分场景。从具有挑战性的跨数据库实验中获得的结果，其中所分析的修饰技术在训练期间是未知的，产生了有趣的发现：（1）对于采用深度人脸表示的差分场景，实现了最有竞争力的检测性能;（二）图像压缩严重影响了基于纹理描述符的人脸图像操作检测方案的性能，非常健壮;（3）在某些情况下，图像压缩的应用也可以提高检测性能。
2021-03-05 cs.CV
Spatio-Temporal Covariance Descriptors for Action and Gesture Recognition
NICTA；University of Queensland（昆士兰大学）
我们提出了一种新的动作和手势识别方法的基础上的时空协方差描述符和加权黎曼局部保持投影方法，考虑到弯曲的空间形成的描述符。然后在提升期间利用加权投影来创建采用最有用的时空区域的最终多类分类算法。我们还展示了如何通过使用积分视频表示的描述符可以快速计算。UCF运动，CK+面部表情和剑桥手势数据集上的实验表明，与最近几种最先进的技术相比，所提出的方法具有更好的性能。所提出的方法是鲁棒的，并且不需要额外的处理的视频，如前景检测，兴趣点检测或跟踪。
2013-03-25 cs.CV cs.HC
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition
该研究在三个面部表情数据集上比较HOG、LBP与轻量级CNN用于表情识别，结果显示CNN总体性能最佳，HOG在受控环境表现好，LBP较差，强调数据集复杂性影响性能，稳健特征学习对现实面部表情识别很关键。
2026-07-20 cs.CV cs.LG
Spontaneous Facial Expression Recognition using Sparse Representation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-Lab（GIPSA实验室）；CNRS（法国国家科学研究中心）
面部表情是人类表达情感最自然的方式。大多数面部表情分析研究都考虑了表演表情的情况。自发的面部表情识别明显更具挑战性，因为每个人都有不同的方式来对给定的情绪做出反应。我们考虑通过学习稀疏表示的判别字典来识别自发面部表情的问题。通过正交匹配追踪算法将人脸图像表示为原型原子的稀疏线性组合。然后使用稀疏码来训练专用于识别任务的SVM分类器。稀疏化面部图像的字典（具有相同类别标签的特征点应该具有相似的稀疏代码）对于鲁棒分类至关重要。学习稀疏化字典在很大程度上依赖于字典的初始化过程。为了提高字典的性能，一个随机的人脸特征描述符的基础上随机投影的概念。在自发人脸表情DynEmo数据库上进行了实验，验证了该方法的有效性。它还估计著名的表演面部表情JAFFE数据库的目的与国家的最先进的方法进行比较。
2018-09-30 cs.CV
Hy-Facial: Hybrid Feature Extraction by Dimensionality Reduction Methods for Enhanced Facial Expression Classification
针对面部表情分类的高维数据挑战，提出融合VGG19深度特征与SIFT、ORB手工特征的Hy-Facial框架，经评估选用UMAP降维，在FER数据集上达83.3%准确率，证明降维对提升分类性能的关键作用。
2025-09-30 cs.CV
Objective Classes for Micro-Facial Expression Recognition
University of Manchester（曼彻斯特大学）；Sudan University of Science and Technology（苏丹科技大学）；Manchester Metropolitan University（曼彻斯特城市大学）
微表情是当一个人隐藏一种情绪时出现在脸上的短暂自发的面部表情，使它们在微妙和持续时间上不同于正常的面部表情。目前，CASME II数据集中的情感类是基于动作单元和自我报告的，这在机器学习训练过程中产生了冲突。我们将证明，使用动作单位而不是预测的情感对表情进行分类，消除了人类报告的潜在偏见。使用LBP-TOP，HOOF和HOG 3D特征描述符对所提出的类进行测试。在两个基准FACS编码数据集：CASME II和SAMM上评估实验。最好的结果达到86.35%的准确率分类时，建议的5类CASME II使用HOG 3D，优于国家的最先进的5类情绪为基础的分类在CASME II的结果。结果表明，基于动作单元的分类方法为提高微表情识别率提供了一种客观的方法。
2017-12-03 cs.CV
Face Attribute Prediction Using Off-the-Shelf CNN Features
KTH Royal Institute of Technology（KTH皇家理工学院）
从野外人脸图像中预测属性是一个具有挑战性的计算机视觉问题。为了从包含人脸的图像中自动描述人脸属性，传统上需要级联三个技术模块-人脸定位，人脸描述符构造和属性分类-在一个管道中。作为一个典型的分类问题，人脸属性预测已经使用深度学习来解决。目前最先进的性能是通过使用两个级联的卷积神经网络（CNN）来实现的，CNN是专门训练来学习人脸定位和属性描述的。在本文中，我们尝试了一种利用CNN深度表示能力的替代方法。结合传统的人脸定位技术，我们使用现成的架构训练的人脸识别来建立面部描述符。认识到可描述的人脸属性是多种多样的，我们的人脸描述符是从不同属性的CNN的不同级别构建的，以最好地促进人脸属性预测。在两个大型数据集LFWA和CelebA上的实验表明，我们的方法完全可以与最先进的方法相媲美。我们的研究结果不仅证明了一种有效的人脸属性预测方法，而且还提出了一个重要的问题：如何利用现成的CNN表示的能力来完成新的任务。
2016-06-21 cs.CV
HSEmotion Team at ABAW-8 Competition: Audiovisual Ambivalence/Hesitancy, Emotional Mimicry Intensity and Facial Expression Recognition
HSE University（高等经济大学）；Sber AI Lab（Sber AI实验室）
本文提出 HSEmotion 团队在 ABAW-8 中的方案，融合 EmotiEffLib 面部描述符、声学与语音文本特征，利用帧选择和 MLP 完成三类情感识别任务并显著优于基线。
2025-03-13 cs.CV
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary；VGG, University of Oxford（牛津大学VGG）；University of Edinburgh（爱丁堡大学）
随机图像变换的等方差是一种有效的方法来学习对象类别的地标，例如面部中的眼睛和鼻子，而无需人工监督。然而，这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化（例如不同的面部身份）一致。在本文中，我们开发了一个新的视角的等方差的方法，注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后，我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做，交换描述符向量之间的图像不同的对象实例之前，匹配它们的几何。以这种方式，相同的向量必须工作，而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量，结合两者的优点。在标准基准上的实验表明，这种方法可以匹配，在某些情况下，超过了现有的方法，学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Video-Based Facial Expression Recognition Using Local Directional Binary Pattern
人脸表情自动分析是一个具有挑战性的课题，影响了人机交互等许多领域。由于光照强度和光照方向的不确定性，人脸灰度不均匀，简单局部二值模式下的表情识别率并不理想。在本文中，我们提出了两个国家的最先进的描述符的人无关的面部表情识别。首先，在视频序列中的整个图像的人脸区域建模与体积局部方向二进制模式（VLDBP），这是一个扩展版本的LDBP算子，将运动和外观在一起。为了使调查计算简单，易于扩展，只有三个正交平面（LDBP-TOP）上的局部方向二进制模式的同现进行了辩论。在提取特征向量后，采用K-近邻分类器进行表情识别。所提出的方法被应用到扩展的Cohn-Kanade数据库（CK+）的视频和实验结果表明，所提供的技术实现了更高的准确性与经典和传统的算法相比。
2015-03-05 cs.CV
Photorealistic Facial Synthesis in the Dimensional Affect Space
Imperial College London（伦敦帝国理工学院）；University of Oulu（奥卢大学）
本文提出了一种新的方法来合成面部情感，这是基于我们的4DFAB数据库中的60万帧的效价和唤醒方面的注释。这种方法的输入是一对这些情绪状态描述符和一个中性的2D图像的人，相应的影响将被合成。给定该目标对，选择一组3D面部网格，其用于构建融合变形模型并生成新的面部效果。为了合成对2D中性图像的影响，执行3DMM拟合，并对重建的面部进行变形以生成目标面部表情。最后，将新的人脸渲染到原始图像中。定性和定量的实验研究都说明了真实感图像的生成，当中性图像是从各种知名的数据库，如Aff-Wild，AFEW，Multi-PIE，AFEW-VA，BU-3DFE，博斯普鲁斯海峡。
2018-11-11 cs.CV cs.GR cs.LG
Learned 3D Shape Representations Using Fused Geometrically Augmented Images: Application to Facial Expression and Action Unit Detection
本文提出了一种方法来学习通用的多模态网格表面表示使用一种新的计划融合纹理和几何数据。我们的方法定义了在网格表面或其下采样版本上计算的不同几何描述符之间的逆映射，以及网格的相应2D纹理图像，允许构建融合几何增强图像（FGAI）。这种新的融合模式使我们能够通过简单地采用标准的卷积神经网络在转移学习模式中以高效的方式从3D数据中学习特征表示。与现有的方法相比，该方法是计算和内存效率，保留固有的几何信息，并学习高度区分的特征表示，有效地融合形状和纹理信息在数据级。我们的方法的有效性证明了面部动作单元检测和表情分类的任务。在博斯普鲁斯海峡和BU-4DFE数据集上进行的大量实验表明，与最先进的解决方案相比，我们的方法在性能上有显著提高
2019-04-08 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
针对面部表情识别中类内差异、类间相似及复合表情识别难题，提出软标签标注方法构建新一代数据集AffectNet+，含多类元数据与复杂度子集，将公开助力更真实的表情识别研究。
2024-10-29 cs.CV
Global-to-local Expression-aware Embeddings for Facial Action Unit Detection
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University of Houston（休斯顿大学）
表情和面部动作单元是两个层次的面部行为描述符。表达式辅助信息被广泛用于提高AU检测性能。然而，大多数现有的表达表示只能描述预定的离散类别（例如，愤怒、厌恶、快乐、悲伤等）并且不能捕获像AU这样的微妙的表达式变换。在本文中，我们提出了一种新的细粒度的\textsl{Global Expression representation Encoder}捕捉微妙的和连续的面部运动，促进AU检测。为了获得这样一个全局表达式表示，我们提出了训练一个表达式嵌入模型在一个大规模的表情数据集，根据全局表达式相似性。此外，考虑到AU的局部定义，提取局部AU特征是必要的。因此，我们设计了一个\textsl{Local AU Features Module}来为每个AU生成局部面部特征。具体地，它由AU特征图提取器和对应的AU掩码提取器组成。首先，两个提取器分别将全局表达式表示转换为AU特征图和掩码。然后，AU特征图和它们对应的AU掩模相乘以生成聚焦于局部面部区域的AU掩模特征。最后，AU掩模特征被馈送到AU分类器用于判断AU出现。大量的实验结果证明了我们提出的方法的优越性。我们的方法有效地优于以前的作品，并在广泛使用的人脸数据集上实现了最先进的性能，包括BP4D，DISFA和BP4D+。
2022-10-28 cs.AI cs.CV
xTrace: A Facial Expressive Behaviour Analysis Tool for Continuous Affect Recognition
Blueskeye AI；Queen’s University Belfast（女王学院贝尔法斯特）
本文提出xTrace，一种用于非受限环境下面部表情行为分析及连续情感（效价和唤醒度）预测的鲁棒工具，通过在大规模数据集上训练并采用可解释且计算高效的面部情感描述符，在多个基准测试中超越现有SOTA。
2025-10-12 cs.CV
Learning Transformation-Aware Embeddings for Image Forensics
University of Notre Dame（圣母大学）；University of Campinas（坎皮纳斯大学）
互联网上被操纵的图像内容的流动急剧增加，导致了媒体取证研究界的积极反应。新的努力已经结合了越来越多地使用来自计算机视觉和机器学习的技术来检测和剖析图像操纵的空间。本文论述了图像出处分析，其目的是发现不同的操纵图像共享内容的版本之间的关系。来源分析的主要子问题之一尚未直接解决的是共享完整内容或接近重复的图像的编辑排序。现有的大型网络为对象识别等任务生成图像描述符，可能不会对这些图像协变量之间的细微差异进行编码。本文介绍了一种新的基于深度学习的方法，为通过变换从单个图像生成的图像提供合理的排序。我们的方法通过复合变换和基于秩的四元组损失使用弱监督来学习变换感知描述符。为了确定所提出的方法的有效性，与最先进的手工制作和基于深度学习的描述符以及图像匹配方法进行了比较。进一步的实验验证了所提出的方法在图像来源分析的背景下。
2020-01-13 cs.CV
OFF-ApexNet on Micro-expression Recognition System
Feng Chia University（逢甲大学）；Xiamen University Malaysia（厦门大学马来西亚分校）；Xinyang Normal University（信阳师范学院）；University Teknologi Malaysia Kuala Lumpur（马来西亚理工大学吉隆坡分校）
当一个人试图隐藏一种情绪时，真正的情绪表现为一种微表情。自动人脸微表情识别系统的研究在计算机视觉领域中是相对较新的。这是由于难以实现最佳特征提取方法来处理表情的微妙和简短的运动特征。大多数现有的方法提取的微妙的面部运动的基础上手工制作的功能。在本文中，我们使用卷积神经网络（CNN）架构来解决微表情识别任务，该架构很好地集成了从每个视频中提取的特征。介绍了一种新的特征描述子--顶点帧网络的光流特征（OFF-ApexNet）。该特征描述符将光学流引导上下文与CNN组合。首先，我们从每个视频序列中获得顶点帧的位置，因为它描绘了所有帧中面部运动的最高强度。然后，从顶点坐标系和参考坐标系（即，起始帧）。最后，光流特征被馈送到预先设计的CNN模型中，用于进一步的特征增强以及执行表情分类。为了评估OFF-ApexNet的有效性，对三个公共自发微表达数据集（即，SMIC、CASME II和SAMM）。实验结果表明，该方法能够有效地描述表情中的重要细节。特别是，我们报告说，在一个多数据库与留一个主题的交叉验证实验协议，识别性能达到74.60%的识别准确率和F-措施的71.04%。我们还注意到，这是第一个在该领域的三个数据库上执行跨数据集验证的工作。
2018-05-10 cs.CV cs.LG
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；Université Laval（拉瓦尔大学）
尽管深度人脸识别（DFR）系统取得了重大进展，但在特定约束条件下引入新的DFR（如姿态变化）仍然是一个巨大的挑战。最特别地，由于人类头部的3D性质，当被投影到相机图像平面时，相同对象的面部外观引入了高的类内可变性。在本文中，我们提出了一种新的多视图深度人脸识别（MVDFR）系统来解决上述挑战。在这种情况下，每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中，该深度神经网络具有独特的设计，以在单个和更紧凑的面部描述符中重新表达面部特征，这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像，我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明，我们提出的方法产生了99.8%的准确率，而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学（IUST）的人脸数据库，其中包含504名受试者的6552张图像，以完成我们的实验。
2020-01-22 cs.CV
A Sparse Representation of Complete Local Binary Pattern Histogram for Human Face Recognition
University of Batna（巴特纳大学）
人脸识别一直是计算机视觉和模式识别领域的一个长期存在的问题。面部分析可以被看作是一个双重问题，即（i）面部表示和（ii）分类。到目前为止，已经提出了许多人脸表示方法，其中一个著名的方法是局部二值模式（LBP），它已经见证了越来越多的兴趣。在这方面，我们对待在本文中的问题，面对的代表性，以及在一个新的方式分类。一方面，我们使用LBP的变体，即所谓的完全局部二进制模式（CLBP），它与基本LBP不同，使用给定的中心像素和Sing_ Magnitude差对给定的局部区域进行编码。随后，大多数基于LBP的描述符使用固定网格来编码给定的面部图像，在大多数情况下，该技术对姿势变化和未对准不鲁棒。为了解决这一问题，我们采用了一种具有代表性的多分辨率直方图（MH）分解。另一方面，考虑图像的直方图提取，我们利用它们的稀疏性构建一个所谓的稀疏表示分类器（SRC）进一步的人脸分类。在ORL人脸数据库上进行了实验，并指出了我们的方案比其他流行的最先进的技术的优越性。
2016-05-31 cs.CV
Facial Expression Recognition in the Deep Learning Era: A Systematic Multi-Criteria Review of Methods, Models, Datasets, Performance, Challenges, and Future Research Directions
International Hellenic University（国际希腊大学）；University of Thessaly（色萨利大学）；Democritus University of Thrace（德谟克利特大学）；University of Peloponnese（伯罗奔尼撒大学）；Harokopio University of Athens（哈罗科皮奥大学）
本文系统综述了深度学习面部表情识别的最新进展，提出五阶段演化框架和多准则分类法，分析了七维度的优缺点，并总结了数据集、性能比较及未来挑战。
2026-06-07 cs.CV
Expression Recognition Using the Periocular Region: A Feasibility Study
Halmstad University（哈尔姆斯塔德大学）；RISE Viktoria（瑞典研究与创新机构维多利亚分院）
本文研究了利用眼周区域进行表情识别的可行性。大多数作品都试图通过分析整个面部来解决这个问题。眼周是紧邻眼睛的面部区域。它的优点是可在很宽的距离范围内和部分人脸遮挡下使用，因此适用于无约束或不合作的场景。我们在来自118个受试者的1，574张图像的数据集上评估了五种不同的图像描述符。实验结果表明，通过多个描述符的融合，平均/总体准确率为67.0%/78.0%。虽然这种准确性仍然落后于用全脸方法获得的准确性，但值得一提的是，我们的初始方法仅采用一个帧来预测表情，与现有技术相反，利用包括通常不可用的时空数据的多个阶的数据。
2018-10-23 cs.CV
SARS: A Novel Face and Body Shape and Appearance Aware 3D Reconstruction System extends Morphable Models
Centre of Excellence for Data Science, Artificial Intelligence and Modelling (DAIM), University of Hull, UK（数据科学、人工智能与建模卓越中心（DAIM）、赫尔大学）
SARS提出了一种新型的3D重建系统，通过单张图像提取身体和面部信息，实现对全身体3D模型的精确重建，扩展了可变形模型的应用范围。
2026-02-10 cs.AI cs.CV
CP-mtML: Coupled Projection multi-task Metric Learning for Large Scale Face Retrieval
University of Caen（卡昂大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；IIT Kanpur（印度理工学院坎普尔分校）
提出了一种新的耦合投影多任务度量学习（CP-mtML）方法用于大规模人脸检索。与以前仅限于低维特征和小数据集的工作相比，所提出的方法可以扩展到具有高维人脸描述符的大数据集。它利用成对（不）相似性约束作为监督，因此不需要对每个训练图像进行详尽的类注释。虽然传统上，多任务学习方法已经在相同的数据集上进行了验证，但不同的任务，我们在异构数据集和不同任务的更具挑战性的环境中工作。我们在不同面部特征的多个面部图像数据集上进行了实证验证，例如身份，年龄和表情。我们使用经典的局部二进制模式（LBP）描述符以及最近的深度卷积神经网络（CNN）功能。实验清楚地表明，所提出的方法的可扩展性和改进的性能的任务的身份和年龄为基础的人脸图像检索相比，现有的竞争力的方法，在标准的数据集和存在的一百万分心的人脸图像。
2016-04-11 cs.CV
Unconstrained Face Recognition using ASURF and Cloud-Forest Classifier optimized with VLAD
Center for Pattern Recognition and Machine Intelligence, PES University（PES大学模式识别与机器智能中心）
本文提出了一种计算效率高的多类人脸图像分类算法，其中图像受到平移、旋转、尺度、颜色、光照和仿射失真的约束。该方法分为五个主要模块：用于人脸检测的Haar-Cascade、用于去除图像噪声的双边滤波器、用于关键点检测和描述的仿射加速鲁棒特征（ASURF）、用于特征量化的局部聚集描述符矢量（VLAD）和用于图像分类的云雾森林。所提出的方法旨在提高人脸识别系统的准确性和所需的时间。使用Cloud Forest算法作为分类器对三个基准数据集（即FACES 95，FACES 96和ORL面部数据集）进行分类，显示出良好的结果。所提出的方法，使用云森林算法成功地提高了识别模型2-12\%时，区别于其他集成技术，如随机森林分类器取决于所使用的数据集。
2021-04-02 cs.CV cs.LG
FMANet: A Novel Dual-Phase Optical Flow Approach with Fusion Motion Attention Network for Robust Micro-expression Recognition
Faculty of Information Technology, VNU University of Engineering and Technology（信息技术学院，越南工程大学）
针对现有光流方法忽略顶点到偏移阶段运动信息的问题，提出MM-COF表示和端到端FMANet网络，融合双阶段运动线索，在四个标准基准上超越现有方法。
2025-10-15 cs.CV
Skin feature point tracking using deep feature encodings
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
面部特征跟踪是成像心冲击描记术（BCG）的关键组成部分，其中需要面部关键点的位移的准确量化以用于良好的心率估计。皮肤特征跟踪使基于视频的帕金森病运动退化的量化成为可能。传统的计算机视觉算法包括尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）和卢卡斯-卡纳德方法（LK）。这些方法在效率和准确性方面一直代表着最先进的水平，但当存在常见的变形（如仿射局部变换或照明变化）时就会失败。在过去的五年中，深度卷积神经网络在大多数计算机视觉任务中的表现优于传统方法。我们提出了一个用于特征跟踪的管道，该管道应用卷积堆栈自动编码器来识别图像中与包含感兴趣特征的参考作物最相似的作物。自动编码器学习将图像裁剪表示为特定于其训练对象类别的深度特征编码。我们在面部图像上训练自动编码器，并使用手动标记的面部和手部视频验证其跟踪皮肤特征的能力。独特皮肤特征（痣）的跟踪误差非常小，因此我们不能排除它们源于基于$χ^2$测试的手动标记。平均误差为0.6-4.2像素，我们的方法在所有情况下，但一个优于其他方法。更重要的是，我们的方法是唯一没有分歧的方法。我们的结论是，我们的方法创建更好的特征描述符的特征跟踪，特征匹配和图像配准比传统的算法。
2022-12-04 cs.AI cs.CV cs.LG
Unsupervised Skin Feature Tracking with Deep Neural Networks
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
本文提出卷积堆叠自编码器的无监督皮肤特征跟踪方法DFE，通过高斯加权残差损失降低边缘效应与标注需求，并在面部和手部视频上以0.6至3.3像素平均误差超越多种传统及监督方法。
2024-05-08 cs.CV
Emotion Detection through Body Gesture and Face
本研究针对传统情绪识别依赖面部、忽略肢体信息的问题，结合OpenPose姿态特征与ResNet等模型，实现多情绪分类与效价唤醒回归，推动情感计算及多领域应用。
2024-07-13 cs.CV
Deep Neural Network Augmentation: Generating Faces for Affect Analysis
Imperial College London（帝国理工学院）；Middlesex University of London（伦敦密德萨斯大学）
本文提出了一种新的方法来合成面部情感;无论是在六个基本的表情（即，愤怒、厌恶、恐惧、喜悦、悲伤和惊讶），或者根据效价（即，情绪的积极或消极程度）和唤醒（即，情感激活的力量）。所提出的方法接受以下输入：i）人的中性2D图像; ii）要生成的基本面部表情或一对效价唤醒（VA）情绪状态描述符，或要生成为图像序列的2D VA空间中的影响路径。为了根据VA合成情感，对于这个人，注释了来自4DFAB数据库的$600,000$帧。情感合成是通过在中性图像上拟合一个3D Morphable Model，然后对重建的人脸进行变形并添加输入的情感，最后将具有给定情感的新人脸融合到原始图像中。定性实验说明了真实感图像的生成，当中性图像从13个著名的实验室控制的或在野外的数据库，包括Aff-Wild，AffectNet，RAF-DB采样;与生成对抗网络（GANs）的比较表明，所提出的方法实现了更高的质量。然后，进行定量实验，其中合成的图像用于训练深度神经网络的数据增强，以在所有数据库上执行情感识别;与最先进的方法相比，在所有情况下，都实现了性能的极大改善，以及基于GAN的数据增强。
2019-07-16 cs.AI cs.CV cs.LG
Group Emotion Recognition Using Machine Learning
The University of Manchester（曼彻斯特大学）
自动面部情绪识别是一项具有挑战性的任务，在过去几年中获得了重大的科学兴趣，但对一组人的情绪识别问题的研究较少。然而，由于社交网站上包含参与各种社交活动的人群图像的大量数据，它正在慢慢普及。群体情感识别是一个具有挑战性的问题，由于障碍，如头部和身体姿势的变化，遮挡，可变的照明条件，演员的变化，不同的室内和室外设置和图像质量。这个任务的目的是将一个群体的感知情绪分为积极，中性或消极。在本报告中，我们描述了我们的解决方案，该解决方案是一个混合机器学习系统，融合了深度神经网络和贝叶斯分类器。深度卷积神经网络（CNN）从下到上工作，分析从图像中提取的各个面部所表达的面部表情。贝叶斯网络自上而下地工作，通过整合通过场景描述符获得的图像内容的视觉特征来推断图像的全局情感。在最后的管道中，由自下而上模块中的CNN集合预测的群体情感类别作为输入传递到自上而下模块中的贝叶斯网络，并获得图像的整体预测。实验结果表明，该系统在验证集上达到了65.27%的准确率，这与最先进的结果是一致的。作为该项目的一个成果，一个渐进式的Web应用程序和一个附带的Android应用程序与一个简单而直观的用户界面，允许用户测试出自己的图片系统。
2019-05-03 cs.CV cs.LG
