Facial Emotion Recognition using Convolutional Neural Networks
Sri Venkateswara College of Engineering（斯里文卡特斯瓦拉工程学院）；Anna University（安娜大学）
本文研究基于卷积神经网络的人脸图像七种基本情绪分类问题，提出包含六层卷积、两层最大池化和两层全连接的网络模型，最终取得0.60的准确率。
2019-10-12 cs.CV
AU-Supervised Convolutional Vision Transformers for Synthetic Facial Expression Recognition
Shenzhen Technology University（深圳技术大学）
本文描述了我们为2022年野外情感行为分析（ABAW）竞赛的六个基本表情分类轨道提出的方法。在从合成数据学习（LSD）任务中，面部表情识别（FER）方法旨在从人工生成的数据中学习表情的表示并推广到真实数据。由于合成数据的模糊性和面部动作单元（AU）的客观性，我们求助于AU信息来提高性能，并做出如下贡献。首先，为了使模型适应合成场景，我们使用来自预训练的大规模人脸识别数据的知识。其次，我们提出了一个概念上的新框架，称为AU监督卷积视觉Transformer（AU-CVT），它通过联合训练具有AU或伪AU标签的辅助数据集，明显提高了FER的性能。我们的AU-CVT在验证集上达到F1评分为$0.6863$，准确度为$0.7433$。我们工作的源代码可以在网上公开获得：https://github.com/msy1412/ABAW4
2022-07-22 cs.CV
Video-based Facial Expression Recognition using Graph Convolutional Networks
Huazhong University of Science and Technology（华中科技大学）
人脸表情识别（Facial Expression Recognition，FER）是人工智能和多媒体领域的一个研究热点，其目的是对人脸图像或视频中的表情进行分类。在基于视频的FER任务方面，捕捉帧之间的动态表情变化来识别面部表情是明智的。然而，现有的方法直接利用CNN-RNN或3D CNN来从不同的面部单元提取时空特征，而不是在表情变化捕获期间集中于某个区域，这导致FER的性能有限。在我们的论文中，我们引入了一个图卷积网络（GCN）层到一个共同的CNN-RNN为基础的模型，基于视频的FER。首先，GCN层被用来学习更重要的面部表情特征，集中在某些区域后，节点之间的提取的CNN特征共享信息。然后，应用LSTM层来学习GCN学习特征之间的长期依赖关系，以对变化进行建模。此外，还设计了一种权重分配机制，通过表征每帧中的表达强度来对不同节点的输出进行加权以用于最终分类。据我们所知，这是第一次在FER任务中使用GCN。在CK+、Oulu-CASIA和MMI三个常用数据集以及AFEW 8. 0一个具有挑战性的野生数据集上对该方法进行了实验，实验结果表明，该方法具有优于现有方法的性能.
2020-10-26 cs.CV
Spatio-Temporal Facial Expression Recognition Using Convolutional Neural Networks and Conditional Random Fields
University of Denver（丹佛大学）
几十年来，自动面部表情识别（FER）一直是一项具有挑战性的任务。许多现有的作品使用手工制作的功能，如LBP，HOG，LPQ和光流直方图（HOF）结合分类器，如支持向量机的表情识别。这些方法通常需要严格的超参数调整，以达到良好的效果。最近，深度神经网络（DNN）在视觉对象识别方面表现优于传统方法。在本文中，我们提出了一个由两部分组成的网络，该网络由基于DNN的架构和用于视频中面部表情识别的条件随机场（CRF）模块组成。第一部分使用卷积层捕获面部图像中的空间关系，然后是三个Inception-ResNet模块和两个全连接层。为了捕捉图像帧之间的时间关系，我们在网络的第二部分使用线性链CRF。我们评估我们提出的网络上三个公开可用的数据库，即CK+，MMI和FERA。实验是在独立的主题和跨数据库的方式进行。我们的实验结果表明，将深度网络架构与CRF模块级联，大大提高了对视频中面部表情的识别，特别是在跨数据库实验中，它的性能优于最先进的方法，并在与受试者无关的实验中产生了相当的结果。
2017-04-24 cs.CV
Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network
Expedia Group（Expedia集团）；University of California, Riverside（加州大学河滨分校）
人脸表情识别在过去的几十年里一直是一个活跃的研究领域，但由于类内差异很大，它仍然具有挑战性。解决这个问题的传统方法依赖于手工制作的特征，如SIFT，HOG和LBP，然后是在图像或视频数据库上训练的分类器。这些作品中的大多数在受控条件下捕获的图像数据集上表现得相当好，但在具有更多图像变化和部分面部的更具挑战性的数据集上表现不佳。近年来，一些作品提出了一个端到端的框架，面部表情识别，使用深度学习模型。尽管这些作品表现较好，但似乎仍有很大的改进空间。在这项工作中，我们提出了一种基于注意力卷积网络的深度学习方法，该方法能够专注于面部的重要部分，并在多个数据集上实现了对先前模型的显着改进，包括FER-2013，CK+，FERG和JAFFE。我们还使用了一种可视化技术，它能够找到重要的面部区域，用于检测不同的情绪，基于分类器的输出。通过实验结果，我们表明，不同的情绪似乎是敏感的不同部位的脸。
2019-02-04 cs.CV
Backdooring Convolutional Neural Networks via Targeted Weight Perturbations
University of Notre Dame（圣母大学）
我们提出了一种新型的后门攻击，利用以前未研究过的卷积神经网络（CNN）的漏洞。特别是，我们研究了面部识别的应用。深度学习技术在面部识别领域处于领先地位，这意味着它们现在已经在许多生产级系统中实现。令人担忧的是，与操作系统和网络设备等其他商业技术不同，基于深度学习的面部识别算法目前没有设计安全要求，也没有在部署前对安全漏洞进行审计。考虑到这项技术是多么年轻，以及这些算法的许多内部工作是多么抽象，基于神经网络的面部识别系统是安全漏洞的主要目标。随着越来越多的个人信息开始通过面部识别来保护（例如，iPhone X），从渗透测试的角度探索这些系统的安全漏洞至关重要。沿着这些思路，我们描述了一种通过目标权重扰动来后门CNN的一般方法。使用五层CNN和ResNet-50作为案例研究，我们表明攻击者能够显着增加他们提供的输入被CNN错误接受的机会，同时保留合法注册类的出错率。
2018-12-07 cs.CV
An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition
该研究在三个面部表情数据集上比较HOG、LBP与轻量级CNN用于表情识别，结果显示CNN总体性能最佳，HOG在受控环境表现好，LBP较差，强调数据集复杂性影响性能，稳健特征学习对现实面部表情识别很关键。
2026-07-20 cs.CV cs.LG
Multi-Region Ensemble Convolutional Neural Network for Facial Expression Recognition
The University of Hong Kong（香港大学）
面部表情在传达人类的情感状态方面起着重要的作用。最近，由于卷积神经网络（CNN）的辨别能力，深度学习方法已经被应用于图像识别领域。在本文中，我们首先提出了一种新的多区域包围CNN（MRE-CNN）框架的面部表情识别，其目的是提高CNN模型的学习能力，从多个人脸子区域捕获全局和局部特征。其次，来自每个子网络的加权预测分数被聚合以产生高精度的最终预测。第三，我们研究了整个面部的不同子区域对面部表情识别的影响。我们提出的方法进行评估的基础上两个著名的公开可用的面部表情数据库：AFEW 7.0和RAF-DB，并已被证明达到国家的最先进的识别精度。
2018-07-12 cs.CV cs.HC
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering（L. D. 工程学院）
我们开发了一个卷积神经网络，用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调，该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练，以适应两个广泛使用的面部表情数据集- CFEE和RaFD，当独立训练和测试时，测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试，结果的泛化是显而易见的。此外，使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积，并将其馈送到面部表情识别CNN。在最一般化的实验中，我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
GCF: Graph Convolutional Networks for Facial Expression Recognition
MSA University（MSA大学）
提出 GCF 框架，将 CNN 提取的表情特征构建为图并经图卷积融合全局信息，在 CK+、JAFFE 和 FERG 上显著提升 ResNet18 与 VGG16 的识别准确率和鲁棒性。
2024-07-02 cs.CV
Probabilistic Attribute Tree in Convolutional Neural Networks for Facial Expression Recognition
University of South Carolina（南卡罗来纳大学）；Innopeak Technology Inc.（Innopeak科技公司）
在本文中，我们提出了一种新的概率属性树CNN（PAT-CNN）来显式处理由身份相关属性引起的大的类内变化，例如，年龄种族和性别具体地说，提出了一种新的PAT模块与相关的PAT损失学习功能的层次树结构组织根据属性，其中最终的功能是受属性的影响较小。然后，从叶节点中提取与表情相关的特征。样本被概率性地分配到不同级别的树节点，使得可以从按概率加权的所有样本中学习与表达相关的特征。我们进一步提出了一种半监督策略，从有限的属性注释样本中学习PAT-CNN，以充分利用可用数据。在五个人脸表情数据集上的实验结果表明，所提出的PAT-CNN通过显式地建模属性，性能优于基线模型。更令人印象深刻的是，与使用数百个CNN的集成的最先进方法相比，使用单个模型的PAT-CNN在SFEW数据集上实现了野外人脸的最佳性能。
2018-12-17 cs.CV
I Only Have Eyes for You: The Impact of Masks On Convolutional-Based Facial Expression Recognition
Istituto Italiano di Tecnologia（意大利理工学院）
当前的COVID-19疫情向我们表明，我们的社会仍面临不可预测的挑战。对社交互动的必要限制严重影响了我们对社交机器人和人工智能未来的设想和准备。基于面部感知和情感理解之间的硬分离，使当前的情感感知模型适应于受限感知，将有助于我们提供鲁棒的系统。在本文中，我们进行了深入的分析，如何识别的影响，从人的面具不同于一般的面部表情知觉。我们评估最近提出的FaceChannel如何适应识别面具人的面部表情。在我们的分析中，我们评估了不同的训练和微调方案，以更好地理解蒙面面部表情的影响。我们还执行特定的功能级别的可视化，以展示如何的FaceChannel的固有功能，学习和结合面部特征的变化时，在一个受约束的社交互动场景。
2021-04-16 cs.CV cs.NE
EmotionNet Nano: An Efficient Deep Convolutional Neural Network Design for Real-time Facial Expression Recognition
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
虽然深度学习的最新进展已经导致面部表情分类（FEC）的显著改进，但仍然是此类系统广泛部署的瓶颈的主要挑战是其高架构和计算复杂性。考虑到各种FEC应用的操作要求，例如安全、营销、学习和辅助生活，这是特别具有挑战性的，其中期望对低成本嵌入式设备的实时的【形】要求。出于对能够在低成本嵌入式设备上执行实时的【形】FEC的紧凑、低延迟、但准确的系统的需求，本研究提出了一种通过人机协作设计策略创建的高效深度卷积神经网络，其中将人类经验与机器的敏捷性和速度相结合，以制作一种适合实时的【形】嵌入式使用的深度神经网络设计。提出了两种不同的变体的网络纳米，每一个都有一个不同的架构和计算复杂性和准确性之间的权衡。使用CK+面部表情基准数据集的实验结果表明，所提出的ApritionNet Nano网络表现出与FEC网络中的最新技术相当的准确性，同时需要显著更少的参数（例如，在更高的精度下少了$\times$ 23个）。此外，我们还证明了所提出的AprictionNet Nano网络在ARM嵌入式处理器上实现了实时的【形】推理速度（例如，分别为15 W和30 W的$>25$ FPS和$>70$ FPS）和高能效（例如，15 W时的$>1.7$图像/秒/瓦），从而进一步说明了AprictionNet Nano在嵌入式设备上部署的有效性。
2020-06-29 cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition
National Technical University of Athens（雅典国立技术大学）
本文提出基于 GCN 的多任务学习框架，联合类别与维度情绪模型并显式建模分类器和效价-唤醒度回归器依赖，在 AffectNet 与 Aff-Wild2 上提升跨骨干性能并达到新 SOTA。
2021-08-27 cs.CV
Covariance Pooling For Facial Expression Recognition
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
将面部表情分类为不同类别需要捕获面部标志的区域失真。我们认为，二阶统计量，如协方差，是更好地捕捉这种扭曲的区域面部特征。在这项工作中，我们探讨了使用一个人的网络结构的协方差池，以提高面部表情识别的好处。特别地，我们首先将这种流形网络与传统的卷积网络结合使用，以端到端的深度学习方式在单独的图像特征图内进行空间池化。通过这样做，我们能够实现58.14%的静态面部表情在野生（SFEW 2.0）的验证集和87.0%的真实世界情感人脸（RAF）数据库的验证集的识别准确率。这两个结果都是我们所知道的最好的结果。此外，我们利用协方差池来捕获基于视频的面部表情识别的每帧特征的时间演变。我们报告的结果证明了通过在卷积网络层上堆叠设计的协方差池的流形网络来暂时池化图像集特征的优势。
2018-05-13 cs.CV
Where Is My Puppy? Retrieving Lost Dogs by Facial Features
University of Campinas (Unicamp)（坎皮纳斯大学）
宠物失踪是许多人最担心的事情之一：一个分心的时刻足以让狗或猫从家里走失。一些措施有助于将丢失的动物与它们的主人相匹配;但自动视觉识别是一个-尽管方便，高度可用且成本低-令人惊讶地被忽视。在本文中，我们开辟了这条充满希望的途径，追求狗的面部识别。我们将四种现成的人类面部识别器（EigenFaces，FisherFaces，LBPH和Sparse方法）与基于卷积神经网络的两种原始解决方案进行了对比：BARK（灵感来自用于人类面部识别的架构优化网络）和WOOF（基于现成的OverFeat功能）。人类面部识别器在狗身上的表现很差（准确率高达60.5%），这表明狗的面部识别不是人类面部识别的一个微不足道的扩展。卷积网络解决方案的效果要好得多，BARK的准确率高达81.1%，WOOF为89.4%。测试在两个数据集中进行：Flickr狗，有两个品种的42只狗（哈巴狗和哈士奇）;和Snoopy书，有18只杂种狗。
2016-08-01 cs.CV
Recognizing Facial Expressions of Occluded Faces using Convolutional Neural Networks
University of Bucharest（布加勒斯特大学）；Novustech Services（诺武斯特科技服务公司）
在本文中，我们提出了一种基于卷积神经网络（CNN）的面部表情识别方法，在一个困难的设置与严重的遮挡。更具体地说，我们的任务是识别戴着虚拟现实（VR）耳机的人的面部表情，该耳机基本上遮挡了面部的上部。为了准确地训练神经网络，在这种设置中，面部被严重遮挡，我们通过故意遮挡面部的上半部分来修改训练样本。这迫使神经网络专注于面部的下半部分，并获得比在整个面部上训练的模型更好的准确率。我们在FER+和AffectNet两个基准数据集上的实证结果表明，我们的CNN模型对下半脸的预测比在整个面部上训练的基线CNN模型高出13%，证明了它们适用于VR设置。此外，我们的模型对下半部分面部的预测不超过基线模型对完整面部预测的10%，证明面部下半部分有足够的线索来准确预测面部表情。
2019-11-12 cs.CV cs.LG
Baseline CNN structure analysis for facial expression recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
我们提出了一个基线卷积神经网络（CNN）的结构和图像预处理方法，以提高面部表情识别算法使用CNN。为了分析最有效的网络结构，我们研究了四种已知在面部表情识别中表现出良好性能的网络结构。此外，我们还研究了输入图像预处理方法的效果。对原始数据、直方图均衡化数据、各向同性平滑数据、基于扩散的归一化数据、高斯差分数据等五种数据输入方式进行了测试，并对精度进行了比较。我们训练了20个不同的CNN模型（4个网络x 5种数据输入类型），并使用来自5个不同数据库的测试图像验证了每个网络的性能。实验结果表明，由简单卷积层和最大池化层组成的三层结构与直方图均衡图像输入是最有效的。我们描述了详细的训练过程，并根据大量的观察分析了测试精度的结果。
2016-11-14 cs.CV
E2-Capsule Neural Networks for Facial Expression Recognition Using AU-Aware Attention
胶囊神经网络是深度学习中的一种新的流行技术。然而，传统的胶囊神经网络没有充分提取特征之前，胶囊之间的动态路由。本文提出了一种双增强型胶囊神经网络（E2-Capsnet），它利用AU感知的注意力进行人脸表情识别。E2-Capsnet利用了胶囊之间的动态路由，并具有两个增强模块，这对FER是有益的。第一个增强模块是具有AU感知注意力的卷积神经网络，它可以帮助关注表情的活跃区域。第二个增强模块是具有多个卷积层的胶囊神经网络，增强了特征表示的能力。最后利用压缩函数对人脸表情进行分类。我们证明了E2-Capsnet在两个公共基准数据集RAF-DB和CAP 2 tioNet上的有效性。实验结果表明，我们的E2-Capsnet是优于国家的最先进的方法。我们的实施将在网上公开。
2019-12-05 cs.CV
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
TimeConvNets: A Deep Time Windowed Convolution Neural Network Design for Real-time Video Facial Expression Recognition
Department of Systems Design Engineering（系统设计工程系）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；University of Waterloo（滑铁卢大学）
大多数自闭症谱系障碍（ASD）患者面临的一个核心挑战是根据面部表情推断他人情绪的能力受损。随着机器学习的重大最新进展，利用技术来帮助这些个体更好地识别面部表情并降低由于社会隔离而可能的孤独和抑郁的风险的一种潜在方法是设计计算机视觉驱动的面部表情识别系统。出于这种社会需求以及此类系统的低延迟要求，本研究探索了一种新的深度时间窗卷积神经网络设计（TimeConvNets），用于实时的【形】视频面部表情识别。更具体地说，我们探索了一种高效的卷积深度神经网络设计，用于时间窗口视频帧子序列的时空编码，并研究了速度和准确性之间的相应平衡。此外，为了评估所提出的TimeConvNet设计，我们引入了一个更困难的数据集，称为BigFaceX，由扩展的Cohn-Kanade（CK+），BAUM-1和eNTERFACE公共数据集的修改聚合组成。使用BigFaceX以及其他用于捕获时空信息的网络设计来评估具有不同骨干网络架构的所提出的TimeConvNet设计的不同变体，实验结果表明，TimeConvNets可以更好地捕获面部表情的瞬态细微差别，并在保持低推理时间的同时提高分类精度。
2020-03-03 cs.CV
Efficient Facial Feature Learning with Wide Ensemble-based Convolutional Neural Networks
University of Hamburg（汉堡大学）
传统上用独立训练的去相关模型构建的包络方法已被证明是用于减少剩余的泛化误差的有效方法，这导致用于现实世界应用的鲁棒且准确的方法。然而，在深度学习的背景下，训练深度网络的集合是昂贵的，并且产生效率低下的高冗余。在本文中，我们提出了基于卷积网络的具有共享表示的集成（ESRs）的实验，以定量和定性地证明其数据处理效率和对大规模面部表情数据集的可扩展性。我们表明，冗余和计算负载可以显着减少，通过改变分支水平的ESR没有损失的多样性和泛化能力，这两者都是重要的集成性能。在大规模数据集上的实验表明，ESR减少了AffectNet和FER+数据集上剩余的泛化误差，达到了人类水平的性能，并且在使用情感和情感概念的野外面部表情识别方面优于最先进的方法。
2020-01-17 cs.CV cs.LG stat.ML
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
M^2 Deep-ID: A Novel Model for Multi-View Face Identification Using Convolutional Deep Neural Networks
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；Université Laval（拉瓦尔大学）
尽管深度人脸识别（DFR）系统取得了重大进展，但在特定约束条件下引入新的DFR（如姿态变化）仍然是一个巨大的挑战。最特别地，由于人类头部的3D性质，当被投影到相机图像平面时，相同对象的面部外观引入了高的类内可变性。在本文中，我们提出了一种新的多视图深度人脸识别（MVDFR）系统来解决上述挑战。在这种情况下，每个受试者在不同视图下的多个2D图像被馈送到所提出的深度神经网络中，该深度神经网络具有独特的设计，以在单个和更紧凑的面部描述符中重新表达面部特征，这反过来又产生了使用卷积神经网络进行面部识别的更信息化和抽象的方式。为了将我们提出的系统的功能扩展到多视图面部图像，我们在我们提出的模型中修改了黄金标准Deep-ID模型。实验结果表明，我们提出的方法产生了99.8%的准确率，而最先进的方法达到了97%的准确率。我们还收集了伊朗科学技术大学（IUST）的人脸数据库，其中包含504名受试者的6552张图像，以完成我们的实验。
2020-01-22 cs.CV
AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild
University of Denver（丹佛大学）
自动情感计算是计算机视觉中的一个具有挑战性的问题。现有的野生面部表情注释数据库很小，大多涵盖离散情感（即分类模型）。在连续维度模型中存在非常有限的用于情感计算的注释面部数据库（例如，效价和唤醒）。为了满足这一需求，我们收集、注释并准备了一个新的野外面部情绪数据库（称为AffectNet）。AffectNet包含来自互联网的1，000，000多张面部图像，通过使用六种不同语言的1250个情感相关关键字查询三大搜索引擎。大约一半的检索图像手动注释的存在下，七个离散的面部表情和强度的效价和唤醒。AffectNet是迄今为止最大的面部表情、效价和唤醒数据库，可以在两种不同的情感模型中进行自动面部表情识别的研究。两个基线深度神经网络用于对分类模型中的图像进行分类并预测效价和唤醒的强度。各种评估指标表明，我们的深度神经网络基线可以比传统的机器学习方法和现成的面部表情识别系统表现得更好。
2017-10-09 cs.CV
Deep Covariance Descriptors for Facial Expression Recognition
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
本文利用协方差矩阵对深度卷积神经网络（DCNN）特征进行编码，用于人脸表情识别。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用高斯核对面部表情进行分类，我们证明了在DCNN特征上计算的协方差描述符比使用全连接层和softmax的标准分类更有效。通过使用VGG-face和ExpNet架构在Oulu-CASIA和SFEW数据集上进行广泛的实验，我们证明了所提出的方法在面部表情识别方面达到了最先进的性能。
2018-05-10 cs.CV
Facial Landmarks Localization using Cascaded Neural Networks
Bar-Ilan University（巴伊兰大学）；Roma Tre University（罗马第三大学）
面部标志的准确定位是面部分析任务的核心，例如面部识别和面部表情分析等。在这项工作中，我们提出了一种基于深度学习架构的新型定位方法，该架构利用具有卷积神经网络单元的级联子网络。第一子网络的级联单元估计地标位置的基于热图的编码，而第二子网络的级联单元接收对应热图估计单元的输出作为输入，并且通过回归来细化它们。实验结果表明，该方案与当代最先进的方案相比，尤其是当应用于描绘具有挑战性的定位条件的图像时。
2021-07-19 cs.CV
Spontaneous Facial Micro-Expression Recognition using 3D Spatiotemporal Convolutional Neural Networks
Indian Institute of Information Technology（印度信息技术学院）
视频中的面部表情识别是计算机视觉的一个活跃的研究领域。然而，虚假的面部表情即使是人类也很难识别。另一方面，面部微表情通常代表一个人的实际情绪，因为它是通过人脸表达的自发反应。尽管为识别微表情进行了一些尝试，但该问题仍然远未得到解决，这是由现有技术方法所示的准确率差所描述的。在文献中发现了一些基于CNN的方法来从静止图像中识别微面部表情。然而，自发的微表情视频包含必须一起处理以编码空间和时间信息的多个帧。本文提出了两种三维CNN方法：MicroExpST CNN和MicroExpFuseNet，利用CNN框架中的时空信息进行自发的人脸微表情识别。MicroExpSTCNN考虑了完整的空间信息，而MicroExpFuseNet基于眼睛和嘴巴区域的3D-CNN特征融合。实验在CAS（ME）^2和SMIC微表达数据库上进行。所提出的MicroExpSTCNN模型优于最先进的方法。
2019-03-27 cs.AI cs.CV cs.LG
A Sub-Layered Hierarchical Pyramidal Neural Architecture for Facial Expression Recognition
University of Hamburg（汉堡大学）
在计算资源和标记数据有限的领域，例如机器人领域，具有数百万权重的深度网络可能不是最佳解决方案。在本文中，我们介绍了一个金字塔架构的连接方案，以增加其学习功能的能力。对未见过的人的面部表情识别的实验表明，我们的方法是一个潜在的候选人的应用资源有限，由于良好的泛化性能和低计算成本。我们表明，我们的方法在这项任务中推广了卷积架构，但使用了更少的可训练参数，并且对低分辨率人脸更鲁棒。
2021-03-23 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
Facial Age Estimation using Convolutional Neural Networks
本文是挪威科技大学机器学习的学生项目的一部分。提出了一种基于图像的深度卷积神经网络，该网络具有5个卷积层和3个全连接层，用于估计个体的年龄。该模型完全是从头开始训练的，其中三个不同数据集的组合用作训练数据。这些数据集是APPA数据集、UTK数据集和IMDB数据集。这些图像是使用专有的面部识别软件进行预处理的。我们的模型在一个测试集和Adience基准上进行了评估。在测试集上，我们的模型实现了52%的分类准确率。在Adience基准测试中，我们的模型与其他领先的模型相比表现较差，准确率为30%，一次性准确率为46%。此外，还创建了一个脚本，允许用户使用网络摄像头直接估计自己的年龄。该脚本与所有其他代码一起位于我们的GitHub存储库：GitNet。
2021-05-14 cs.AI cs.CV cs.LG
Cross-Centroid Ripple Pattern for Facial Expression Recognition
本文提出了一种新的用于面部表情识别的特征描述符跨中心波纹模式（CRIP）。CRIP通过将分别位于半径r1和r2处的两个波纹之间的交叉质心关系编码面部表情的过渡模式。这些涟漪是通过将局部邻域区域划分为子区域而生成的。因此，CRIP有能力保持宏观和微观结构的变化在一个广泛的区域，这使它能够处理侧视图和自发的表达。此外，交叉质心波纹之间的梯度信息提供了强度，以捕获活动补丁中的突出边缘特征：眼睛，鼻子和嘴巴，这些特征定义了不同面部表情之间的差异。交叉质心信息还提供对不规则照明的鲁棒性。此外，CRIP利用子区域的像素的平均行为，产生鲁棒性来处理噪声条件。建议的描述符的性能进行评估，包括具有挑战性的条件，如年龄，姿势，种族和光照变化的七个全面的表达数据集。实验结果表明，我们的描述符始终实现更好的准确率相比，现有的最先进的方法。
2022-01-16 cs.CV
Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition
Brunel University London（布鲁内尔大学伦敦分校）；Ecole Centrale de Lyon（里昂中央理工学院）；Xi’an Jiaotong University（西安交通大学）
有意义的面部部分可以传达面部动作单元检测和表情预测的关键线索。纹理化的三维人脸扫描可以同时提供人脸的三维几何形状和二维纹理外观线索，这对人脸表情识别（FER）是有益的。然而，准确的面部部位提取以及他们的融合是具有挑战性的任务。本文提出了一种基于精确面部提取和面部深层特征融合的三维人脸识别系统。特别地，每个纹理化的3D面部扫描首先被表示为具有一对一密集对应关系的2D纹理图和深度图。然后，使用一种新的4阶段过程，包括面部标志定位，面部旋转校正，面部缩放，面部部分限界框提取和后处理程序的纹理图和深度图的面部部分提取。最后，分别从纹理图和深度图学习所有面部部分的深度融合卷积神经网络（CNN）特征，并使用非线性SVM进行表情预测。在BU-3DFE数据库上进行了实验，证明了结合不同面部部位、纹理和深度线索的有效性，并在相同设置下与所有现有方法进行比较，报告了最先进的结果。
2018-03-04 cs.CV
Generating Dataset For Large-scale 3D Facial Emotion Recognition
International Institute Of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
深度学习的巨大发展使得面部表情识别（FER）在过去几年中受到了广泛关注。虽然3D FER相对于2D FER具有固有的优势，但2D图像的工作已经主导了该领域。3D FER发展缓慢的主要原因是无法获得大型训练和大型测试数据集。由于现有的3D情感识别数据集的图库尺寸较小，因此其识别精度已经饱和。与2D照片不同，3D面部扫描不容易收集，这导致了深度3D FER网络和数据集的发展瓶颈。在这项工作中，我们提出了一种方法来生成一个大的数据集的3D人脸标记的情绪。我们还开发了一个深度卷积神经网络（CNN），用于在624，000个3D面部扫描上训练的3D FER。测试数据包括208，000个3D面部扫描。
2021-09-16 cs.CV
Island Loss for Learning Discriminative Features in Facial Expression Recognition
University of South Carolina（南卡罗来纳大学）
在过去的几年里，卷积神经网络（CNN）在面部表情识别方面显示出了希望。然而，由于细微的面部外观变化、头部姿势变化、照明变化和遮挡所引入的变化，在真实世界设置下性能显著降低。在本文中，提出了一种新的岛屿损失，以提高深入学习的功能的区分能力。具体地说，IL的目的是减少类内的变化，同时扩大类间的差异。在四个基准表情数据库上的实验结果表明，具有所提出的岛损失的CNN（IL-CNN）优于具有传统softmax损失或中心损失的基线CNN模型，并且与用于面部表情识别的最新方法相比，实现了相当或更好的性能。
2017-10-23 cs.CV
FERAtt: Facial Expression Recognition with Attention Net
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Center for Advanced Methods in Biological Image Analysis（生物图像分析高级方法中心）；California Institute of Technology（加州理工学院）
我们提出了一个新的端到端的网络架构的面部表情识别与注意力模型。它将注意力集中在人脸上，并使用高斯空间表示进行表情识别。我们基于两个基本的互补组件设计了这个架构：（1）面部图像校正和注意力以及（2）面部表情表示和分类。第一个组件使用编码器-解码器风格的网络和卷积特征提取器，将其逐像素相乘以获得特征注意力图。第二个组件负责获得面部表情的嵌入式表示和分类。我们提出了一个损失函数，创建一个高斯结构的表示空间。为了演示所提出的方法，我们使用传统的BU 3DFE和CK+面部数据集创建了两个更大，更全面的合成数据集。我们将结果与PreActResNet 18基线进行了比较。我们在这些数据集上的实验表明，我们的方法在识别面部表情的优越性。
2019-02-08 cs.CV
Memory Integrity of CNNs for Cross-Dataset Facial Expression Recognition
École de Technologie Supérieure, University of Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
人脸表情识别是人工智能领域的一个重要课题。解决这个问题的最佳方法之一是使用卷积神经网络（CNN）。然而，需要大量的数据来适当地训练这些网络，但是大多数可用于面部表情识别的数据集相对较小。避免数据缺乏的一种常见方法是使用在不同领域的大型数据集上训练的CNN，并将此类网络的层微调到目标领域。然而，微调过程并不能保持记忆的完整性，因为CNN往往会忘记它们所学习的模式。在本文中，我们评估了微调CNN的不同策略，目的是评估这些策略在跨数据集场景中的内存完整性。使用在源数据集上预训练的CNN作为基线，并评估了四种适应策略：微调其全连接层;微调其最后一个卷积层及其全连接层;在目标数据集上重新训练CNN;以及源和目标数据集的融合和重新训练CNN。四个数据集上的实验结果表明，源和目标数据集的融合提供了准确性和内存完整性之间的最佳权衡。
2019-05-28 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
面部表情是描述人类行为的特定模式和描述人类情绪状态的最有力的方式之一。尽管情感计算在过去十年中取得了令人印象深刻的进步，但用于面部表情识别的自动基于视频的系统仍然不能正确处理个体之间以及跨文化和人口统计方面的面部表情变化。然而，即使对于人类来说，识别面部表情也是一项艰巨的任务。在本文中，我们研究了基于卷积神经网络（CNN）的最先进深度学习架构对于使用野外捕获的长视频序列进行连续情感识别的适用性。这项研究的重点是深度学习模型，允许编码时空关系的视频考虑一个复杂的和多维的情感空间，其中的价值观和唤醒必须预测。我们开发并评估了卷积递归神经网络，它结合了2D-CNN和长短期记忆单元，以及膨胀的3D-CNN模型，这些模型是通过使用特定于应用的视频在微调期间膨胀预训练的2D-CNN模型的权重来构建的。在具有挑战性的SEWA-DB数据集上的实验结果表明，这些架构可以有效地进行微调，以编码来自连续原始像素图像的时空信息，并在这样的数据集上实现最先进的结果。
2021-01-15 cs.CV cs.LG
EmotiEffNet Facial Features in Uni-task Emotion Recognition in Video at ABAW-5 competition
Sber AI Lab（Sber人工智能实验室）；HSE University（高等经济大学）
在这篇文章中，我们的团队的第五届情感行为分析在野外（ABAW）比赛的结果。研究了将来自于卷积神经网络家族的预训练卷积网络用于帧级特征提取。特别是，我们提出了一个集成的多层感知器和基于LightAutoML的分类器。通过平滑连续帧的结果来实现后处理。大规模的Aff-Wild 2数据库的实验结果表明，我们的模型实现了更大的宏观平均F1分数的面部表情识别和动作单元检测和一致性相关系数的效价/唤醒估计相比，基线。
2023-03-16 cs.CV
Facial Landmark Machines: A Backbone-Branches Architecture with Progressive Representation Learning
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
人脸标志点定位在人脸识别和分析中起着至关重要的作用。在本文中，我们提出了一种新的级联骨干分支完全卷积神经网络~（BB-FCN）的快速，准确地定位在无约束和混乱的设置面部标志。我们提出的BB-FCN直接从原始图像生成面部标志响应图，无需任何预处理。BB-FCN遵循从粗到细的级联管道，该管道由用于粗略检测所有面部地标的位置的骨干网络和用于进一步细化其位置的每种类型的检测到的地标的分支网络组成。此外，为了方便在无约束设置下的面部标志定位，我们提出了一个大规模的基准命名为SYSU 16 K，其中包含16000张面孔的姿态，表情，照明和分辨率的变化很大。广泛的实验评估表明，我们提出的BB-FCN可以显着优于国家的最先进的约束下（即，仅在检测到的面部区域内）和不受约束的设置。我们进一步证实，我们提出的网络定位的高质量面部标志也可以提高面部检测的精度和召回率。
2018-12-10 cs.CV
FaceLiveNet+: A Holistic Networks For Face Authentication Based On Dynamic Multi-task Convolutional Neural Networks
University of La Rochelle（拉罗谢尔大学）；RIKEN（理化学研究所）；University of Toulouse（图卢兹大学）
本文提出了一个整体的多任务卷积神经网络（CNN）与任务的动态权重，即FaceLiveNet+，人脸认证。FaceLiveNet+可以同时使用人脸验证和面部表情识别作为活性控制的解决方案。与单任务学习相比，所提出的多任务学习可以更好地捕获所有任务的特征表示。实验结果表明，无论是人脸验证任务还是表情识别任务，多任务学习都优于单任务学习。而不是使用传统的多任务学习与固定权重的任务，这项工作提出了一个所谓的动态权重单元自动学习的任务的权重。实验结果表明了动态权值对网络训练的有效性。最后，对基于该协议的人脸认证进行了整体评估，验证了将FaceLiveNet+应用于人脸认证的可行性。
2019-02-28 cs.CV
FER-YOLO-Mamba: Facial Expression Detection and Classification Based on Selective State Space
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；School of Electrical and Information Engineering, University of the Witwatersrand（金山大学电气与信息工程学院）
针对传统FER流程复杂、CNN长程依赖建模不足及Transformer二次复杂度问题，提出融合Mamba与YOLO的FER-YOLO-Mamba及双分支FER-YOLO-VSS模块，在RAF-DB和SFEW上取得更优检测分类性能。
2024-05-10 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt（达姆施塔特应用技术大学）
在过去的几年中，人脸识别技术已经显示出令人印象深刻的识别性能，这主要是由于深度卷积神经网络的最新发展。尽管有这些改进，仍然存在影响人脸识别系统性能的几个挑战。在这项工作中，我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此，我们首先收集了一个适当的数据库，其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测，质量估计，以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明，面部纹身和绘画影响所有的测试模块，特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究，并表明需要设计算法，这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
Micro-Facial Expression Recognition in Video Based on Optimal Convolutional Neural Network (MFEOCNN) Algorithm
R.M.K Engineering College（RMK工程学院）；R.M.D Engineering College（RMD工程学院）
面部表情是人类情感识别中最重要的特征之一。人们利用面部表情来表达情感状态。在任何情况下，面部表情的识别一直是PC视觉的一个测试和有趣的问题。识别视频序列中的微表情是该方法的主要目标。为了有效地识别，所提出的方法利用最佳卷积神经网络。这里所提出的方法考虑的输入数据集是CK+数据集。首先，利用自适应中值滤波对输入图像进行预处理。从预处理后的输出中，提取的特征有几何特征、方向直方图特征和局部二值模式特征。该方法的新颖之处在于，借助改进的狮子优化（MLO）算法，从提取的特征中选择最优特征。在较短的计算时间内，它具有快速聚焦和有效认知的优点，目的是获得整体安排或想法。最后，利用卷积神经网络（CNN）进行识别。然后，所提出的MFEOCNN方法的性能进行了分析，在虚假措施和识别精度。这种情感识别主要应用于医学、营销、网络学习、娱乐、法律和监控等领域。从仿真结果中，我们知道，所提出的方法实现了最大的识别准确率为99.2%，最小的平均绝对误差（MAE）值。这些结果与现有的基于微表情的深根学习（MFEDRL），卷积神经网络与狮子优化（CNN+LO）和卷积神经网络（CNN）没有优化。在MATLAB工作平台上对所提方法进行了仿真。
2020-09-29 cs.AI cs.CV cs.LG
Diagnosis of Pediatric Obstructive Sleep Apnea via Face Classification with Persistent Homology and Convolutional Neural Networks
University of Alberta（阿尔伯塔大学）
阻塞性睡眠呼吸暂停是一种严重的疾病，会引起一系列的健康问题，尤其是在儿科人群中。然而，如果诊断是可能的，这种慢性疾病可以治疗。诊断的金标准是过夜睡眠研究，这通常是许多潜在患有这种疾病的人无法获得的。因此，我们试图开发一种快速的非侵入性诊断工具，通过训练一个分类器的2D和3D面部图像的患者，以识别与阻塞性睡眠呼吸暂停相关的面部特征。在这项比较研究中，我们考虑了计算拓扑领域的持久同源性和几何形状分析以及卷积神经网络，这是一种来自深度学习的强大方法，其在图像，特别是面部识别方面的成功已经被计算机科学家证明。
2019-10-26 cs.CV cs.LG stat.ML
Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution
Microsoft Research（微软研究院）
众包已成为广泛采用的收集地面真相标签的方案。然而，这是一个众所周知的问题，这些标签可以是非常嘈杂的。在本文中，我们以面部表情识别为例，演示了如何从噪声标签中学习深度卷积神经网络（DCNN）。更具体地说，我们有10个标签来标记每个输入图像，并比较了四种不同的方法来利用多个标签：多数投票，多标签学习，概率标签绘制和交叉熵损失。我们表明，传统的多数表决方案不执行以及最后两种方法，充分利用标签分布。一个增强的FER+数据集，每个人脸图像都有多个标签，也将与研究界分享。
2016-09-24 cs.CV
Kernelized dense layers for facial expression recognition
Mustapha Stambouli University of Mascara（穆斯塔法·斯坦布利马斯卡拉大学）；University of Orleans（奥尔良大学）；University of Paris-Saclay（巴黎萨克雷大学）
全连接层是卷积神经网络（CNN）的重要组成部分，在计算机视觉任务中显示了其高效性。CNN过程通常从卷积和池化层开始，首先将输入图像分解为特征，然后独立分析它们。该过程的结果馈送到驱动最终分类决策的完全连接的神经网络结构中。在本文中，我们提出了一个内核化的密集层（KDL），捕捉高阶特征的相互作用，而不是传统的线性关系。我们将此方法应用于面部表情识别（FER），并在RAF，FER2013和ExpW数据集上评估其性能。实验结果证明了这样的层的好处，并表明我们的模型实现了竞争力的结果相对于国家的最先进的方法。
2020-09-22 cs.CV
SAF- BAGE: Salient Approach for Facial Soft-Biometric Classification - Age, Gender, and Facial Expression
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；L. D. College of Engineering（L. D.工程学院）；Ahmedabad University（艾哈迈达巴德大学）；Dosepack LLC（Dosepack有限责任公司）；Meditab Software Inc.（Meditab软件公司）
我们如何在人类视觉系统的帮助下改进面部软生物特征分类？本文探讨了使用显著性，这是相当于人类视觉系统的分类年龄，性别和面部表情的软生物特征的人脸图像。使用深度多级网络（ML-Net）[1]和现成的人脸检测器[2]，我们提出了我们的方法- SAF-BAGE，它首先检测测试图像中的人脸，将限界框（B-Box）边缘增加30%，使用ML-Net找到显着图，显着图的重新加权率为30%，它与输入的裁剪的面部相乘，并在相乘的重新加权的显著面部上提取卷积神经网络（CNN）预测。我们的CNN使用模型AlexNet [3]，该模型在ImageNet上进行了预训练。所提出的方法超过了其他方法的性能，在广泛使用的Adience [28]数据集上将最先进的年龄和性别分类提高了约0.8%，在最近的AffectNet [36]数据集上将最先进的面部表情分类提高了近3%。我们希望我们的简单，可重复和有效的方法将有助于简化未来的研究在面部软生物特征分类使用显着性。
2018-11-21 cs.CV
Uncertain Label Correction via Auxiliary Action Unit Graphs for Facial Expression Recognition
South China University of Technology（华南理工大学）；University of Oulu（奥卢大学）；Haaga-Helia University of Applied Sciences（哈格-赫利尔应用科学大学）
高质量的标注图像对于深度面部表情识别（FER）方法具有重要意义。然而，不确定的标签，大多存在于大规模的公共数据集，往往误导训练过程。在本文中，我们实现了不确定的标签校正的面部表情使用辅助动作单元（AU）图，称为ULC-AG。具体地说，引入加权正则化模块来突出有效样本，并抑制每批样本中的类别不平衡。基于情感和AU之间的潜在依赖关系，使用图卷积层添加辅助分支，以从图拓扑结构中提取语义信息。最后，一个重新标注策略纠正歧义注释通过比较其特征相似性与语义模板。实验表明，我们的ULC-AG在RAF-DB和AffectNet数据集上分别达到了89.31%和61.57%的准确率，优于基线和最先进的方法。
2022-12-14 cs.CV
Application of Facial Recognition using Convolutional Neural Networks for Entry Access Control
本文的目的是设计一种解决人脸识别问题的方法，使用卷积神经网络，并打算将该方法应用于基于摄像头的家庭门禁系统。更具体地说，本文着重于解决监督分类问题，即将人的图像作为输入，并将图像中的人分类为作者之一或不。提出了两种办法：（1）从头开始构建和训练一个名为WoodNet的神经网络;（2）利用在ImageNet数据库上预先训练的网络，利用迁移学习，并使其适应本项目的数据和类。为了训练模型来识别作者，已经创建了包含超过15万张图像的数据集，在作者和其他人之间进行了平衡。从视频中提取图像和图像增强技术有助于数据集的创建。结果是两个模型以高精度对数据集中的个体进行分类，在保留的测试数据上达到99%以上的准确率。预训练模型的拟合速度明显快于WoodNet，并且似乎更好地泛化。然而，这些结果带来了一些警告。由于数据集的编制方式以及高准确性，人们有理由相信模型在某种程度上过度拟合数据。数据编译方法的另一个后果是测试数据集可能与训练数据没有足够的不同，从而限制了其验证模型泛化的能力。然而，在基于网络摄像头的系统中利用这些模型，对人脸进行实时分类，显示出有希望的结果，并表明这些模型至少对某些类别的推广相当不错（见随附的视频）。
2020-11-23 cs.CV cs.LG
DeXpression: Deep Convolutional Neural Network for Expression Recognition
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern（凯泽斯劳滕大学）
我们提出了一种用于面部表情识别的卷积神经网络（CNN）架构。所提出的架构是独立于任何手工制作的特征提取，并执行优于早期提出的基于卷积神经网络的方法。我们将网络学习的自动提取的特征可视化，以便更好地理解。标准数据集，即扩展的科恩-卡纳德（CKP）和MMI面部表情数据库用于定量评价。在CKP集上，使用CNN的当前最先进的方法实现了99.2%的准确率。对于MMI数据集，目前情感识别的最佳准确率为93.33%。所提出的架构实现了CKP的99.6%和MMI的98.63%，因此比使用CNN的最新技术表现更好。自动面部表情识别具有广泛的应用，例如人机交互和安全系统。这是因为非语言线索是重要的交际形式，在人际交往中起着举足轻重的作用。所提出的架构的性能认可的功效和可靠的使用所提出的工作，为现实世界的应用程序。
2016-08-17 cs.CV cs.LG
3D Facial Matching by Spiral Convolutional Metric Learning and a Biometric Fusion-Net of Demographic Properties
KU Leuven（天主教鲁汶大学）；Imperial College London（伦敦帝国学院）；USI Lugano（卢加诺大学）；Indiana University-Purdue University-Indianapolis（印第安纳大学-普渡大学印第安纳波利斯联合分校）；Penn State University（宾夕法尼亚州立大学）；Twitter（推特）
人脸识别是一种被广泛接受的生物特征验证工具，因为人脸包含了大量关于人的身份的信息。在这项研究中，提出了一种基于神经的两步管道，用于将3D面部形状与多个DNA相关属性（性别，年龄，BMI和基因组背景）进行匹配。第一步由基于三重损失的度量学习器组成，该学习器将面部形状压缩到较低维度的嵌入中，同时保留关于感兴趣的属性的信息。度量学习领域的大多数研究都只关注2D欧几里得数据。在这项工作中，几何深度学习被用来直接从3D面部网格中学习。为此，螺旋卷积与一种新的网格采样方案一起使用，该方案以不同的分辨率水平保留均匀采样的3D点。第二步是通过完全连接的神经网络进行多生物特征融合。该网络将嵌入和属性标签的集合作为输入，并返回真实和冒名顶替者的分数。由于嵌入被接受为输入，因此不需要针对不同属性训练分类器，并且可以更有效地使用可用数据。生物识别验证的10倍交叉验证所获得的结果表明，结合多种属性会导致更强大的生物识别系统。此外，所提出的基于神经的管道优于线性基线，线性基线由主成分分析，然后用线性支持向量机和基于朴素贝叶斯的分数融合器进行分类组成。
2020-10-16 cs.CV cs.LG eess.IV
