CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset
dept. of Computer Science（计算机科学系）；New York Institute of Technology（纽约理工学院）
CREMD数据集通过众包方式探索不同多模态呈现模式对狗情绪识别的影响，揭示了情境、音频及标注者特征对情绪识别一致性的作用。
2026-02-17 cs.CV
Real-time Emotion and Gender Classification using Ensemble CNN
Indian Institute Of Information Technology ,Allahabad Prayagraj , Uttar Pradesh , India
分析人的面部表情在识别人的情绪和行为方面起着非常重要的作用。自动识别这些表达式会产生自然人机界面的关键组成部分。因此，该领域的研究在生物计量认证、监控系统、各种社交媒体平台中的情感到表情符号等方面具有广泛的应用。另一个应用包括进行客户满意度调查。正如我们所知，大公司投入巨资获得反馈和调查，但未能得到公平的反应。通过面部手势进行情感和性别识别是一种技术，旨在通过他们的评价来监控客户对特定产品或服务人员的行为，从而提高产品和服务性能。在过去的几年里，在特征提取机制、人脸检测和表情分类技术方面取得了广泛的进展。本文是一个嵌入式CNN的实现，用于构建一个实时的【形】系统，可以检测人的情感和性别。实验结果表明，在FER-2013数据集上，情绪分类为7类（愤怒，恐惧，悲伤，快乐，惊讶，中性，厌恶）的准确率为68%，在IMDB数据集上，性别分类（男性或女性）的准确率为95%。我们的工作可以预测情绪和性别的单人脸图像以及多个人脸图像。此外，当通过网络摄像头输入时，我们的实时的【形】系统的完整管道可以在不到0.5秒的时间内生成结果。
2021-11-15 cs.CV
Towards Inclusive HRI: Using Sim2Real to Address Underrepresentation in Emotion Expression Recognition
Simon Fraser University（西蒙菲莎大学）
与人类互动的机器人和人工智能应该能够在没有偏见和不公平的情况下做到这一点，但众所周知，面部感知系统对某些人群的效果比其他人群差。在我们的工作中，我们的目标是建立一个能够以更透明和包容的方式感知人类的系统。具体来说，我们专注于人脸上的动态表情，由于隐私问题和人脸本质上是可识别的这一事实，很难为广泛的人群收集这些表情。此外，从互联网上收集的数据集不一定代表一般人口。我们通过提供一种Sim 2 Real方法来解决这个问题，在这种方法中，我们使用一套3D模拟人类模型，使我们能够创建一个可审计的合成数据集，涵盖1）代表性不足的面部表情，除了六种基本情绪，如困惑; 2）种族或性别少数群体; 3）机器人在现实世界中可能遇到人类的各种视角。通过使用包含4536个样本的合成数据集来增强包含123个样本的小型动态情感表达数据集，与没有合成训练数据的相同模型架构的性能相比，我们在自己的数据集上实现了15%的准确性提高，在外部基准数据集上实现了11%的准确性提高。我们还表明，这一额外的步骤提高了准确性，特别是对少数民族时，架构的特征提取权重从头开始训练。
2022-08-15 cs.CV
Responsible AI: Gender bias assessment in emotion recognition
Microsoft Inc.（微软公司）；PwC Advisory（普华永道咨询）；iVCV OÜ
人工智能（AI）系统的快速发展放大了社会上的许多问题。这些人工智能算法由于神秘的操作流程而继承了人类的不同偏见，因此它在使用中变得不利。因此，研究人员已经开始通过深入研究负责任和可解释的人工智能来解决这个问题。在人工智能的各种应用中，面部表情识别可能不是最重要的一个，但被认为是人与人工智能交互的一个有价值的部分。面部表情识别从基于特征的方法到深度学习的演变大大提高了此类算法的质量。这项研究工作旨在通过调查六个不同的神经网络来研究面部表情识别深度学习方法中的性别偏见，训练它们，并根据公平性的三个定义进一步分析偏见的存在。主要结果显示哪些模型存在性别偏见，哪些模型不存在性别偏见，以及被试的性别如何影响其情绪识别。偏向性越强的神经网络在男女情感识别中的准确率差距越大。此外，这一趋势也适用于真阳性和假阳性率。此外，由于研究的性质，我们可以观察到哪些类型的情绪更适合男性，哪些更适合女性。由于面部表情识别中的偏见这一主题尚未得到很好的研究，因此这项研究的继续范围确实很广，可能包括对最先进方法的详细分析，以及针对其他偏见的研究。
2021-03-21 cs.CV
Exploring Vision Language Models for Facial Attribute Recognition: Emotion, Race, Gender, and Age
该研究探索视觉语言模型在面部属性识别中的应用，提出微调模型FaceScanPaliGemma与多人物识别模型FaceScanGPT，在多数据集上取得优于传统方法与现有最优方案的性能。
2024-10-31 cs.CV
Real-time Convolutional Neural Networks for Emotion and Gender Classification
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；Heriot-Watt University（赫瑞瓦特大学）
在本文中，我们提出了一个实现一个通用的卷积神经网络（CNN）的建设框架，设计实时的【形】CNN。我们通过创建一个实时的【形】视觉系统来验证我们的模型，该系统使用我们提出的CNN架构在一个混合步骤中同时完成人脸检测，性别分类和情感分类的任务。在介绍了训练过程设置的细节之后，我们继续在标准基准集上进行评估。我们在IMDB性别数据集中报告了96%的准确率，在FER-2013情感数据集中报告了66%的准确率。与此同时，我们还介绍了最近的实时的【形】启用引导反向传播可视化技术。引导反向传播揭示权重变化的动态并评估学习到的特征。我们认为，现代CNN架构的仔细实施，使用当前的正则化方法和以前隐藏的功能的可视化是必要的，以减少缓慢的性能和实时的【形】架构之间的差距。我们的系统已通过部署在Care-O-bot 3机器人上进行了验证，该机器人在RoboCup@Home比赛中使用。我们所有的代码、演示和预先训练的架构都是在我们的公共存储库中以开源许可证发布的。
2017-10-20 cs.CV cs.RO
End-to-end Multimodal Emotion and Gender Recognition with Dynamic Joint Loss Weights
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NOTA Incorporated（NOTA公司）
多任务学习是一种提高多任务概括能力的方法。为了用一个神经网络模型执行多个分类任务，应该将每个任务的损失合并。以前的研究主要集中在多个预测任务上，使用联合损失和静态权重来训练模型，选择任务之间的权重，而没有通过统一或经验地设置它们来充分考虑。在这项研究中，我们提出了一种方法来计算联合损失使用动态权重，以提高整体性能，而不是个人的性能，任务。我们应用这种方法来设计一个端到端的多模态情感和性别识别模型，使用音频和视频数据。这种方法为训练过程结束时每个任务的损失提供了适当的权重。在我们的实验中，情感和性别识别与所提出的方法产生了较低的联合损失，这是计算为负对数似然，比使用静态权重的联合损失。此外，我们提出的模型具有更好的泛化能力比其他模型。据我们所知，这项研究是第一个证明使用动态权重的联合损失的力量，以最大限度地提高整体性能的情绪和性别识别任务。
2018-10-02 cs.CV cs.LG cs.SD
MFCC based Enlargement of the Training Set for Emotion Recognition in Speech
University of Alcala（阿尔卡拉大学）
基于语音的情感状态识别是当前一个非常有趣的研究课题。使用潜意识信息的讲话，命名为韵律，有可能认识到的情绪状态的人。自动情感识别系统设计中的主要问题之一是可用模式的数量很少。由于在这些条件下出现的泛化问题，这一事实使得学习过程更加困难。在这项工作中，我们提出了一个解决这个问题的方法，包括通过创建新的虚拟模式来扩大训练集。在情感语音的情况下，大部分情感信息包含在速度和音高变化中。因此，平均音高的变化既不改变速度也不改变音高变化，也不影响所表达的情感。因此，我们使用该先验信息，以便在分类系统的特征提取过程中应用性别相关的音高偏移修改来创建新的模式。为此，我们提出了一个频率缩放修改梅尔频率倒谱系数，用于分类的情绪。为此，我们提出了一个性别依赖的频率缩放修改。这个过程允许我们综合地增加训练集中可用模式的数量，从而提高系统的泛化能力，减少测试误差。两个不同的分类器具有不同程度的泛化能力进行的结果证明了该建议的适用性。
2014-03-19 cs.CV
Music Recommendation System based on Emotion, Age and Ethnicity
Yildiz Technical University（耶尔德兹技术大学）
本研究使用FER-2013和“年龄、性别和种族（人脸数据）CSV”数据集开发了一个基于情感、年龄和种族的音乐推荐系统。CNN结构，这是广泛用于这种目的已被应用到模型的训练。在项目的训练端添加了几个适当的层后，项目的深度学习端总共训练了3个独立的模型：情感、种族和年龄。在这些模型的训练步骤之后，它们被用作Web应用程序侧的分类器。通过界面拍摄的用户快照被发送到模型，以预测他们的情绪、年龄和种族血统。根据这些分类器，从Spotify API中提取的各种播放列表被推荐给用户，以便为音乐选择建立功能和用户友好的氛围。之后，用户可以选择他们想要的播放列表，并通过给定的链接收听。
2022-12-09 cs.AI cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Bias and Fairness on Multimodal Emotion Detection Algorithms
University of Southern California（南加州大学）
许多研究表明，机器学习算法可以锁定受保护的属性，如种族和性别，并生成系统地歧视一个或多个群体的预测。迄今为止，大多数的偏见和公平性的研究一直是单峰模型。在这项工作中，我们探讨了情感识别系统中存在的偏见与所使用的模态的关系，并研究多模态方法如何影响系统的偏见和公平性。我们考虑音频，文本和视频模态，以及所有可能的多模态组合，并发现文本本身具有最小的偏见，并占大多数模型的性能，提出了怀疑的价值多模态情感识别系统时，偏见和公平的期望模型性能。
2022-05-11 cs.AI cs.CL cs.CV
EmotioNet Challenge: Recognition of facial expressions of emotion in the wild
The Ohio State University（俄亥俄州立大学）
本文详细介绍的方法和结果的挑战。这一挑战是第一次测试计算机视觉算法在自动分析大量野生动物面部表情图像的能力。挑战分为两个轨道。第一条赛道测试了当前计算机视觉算法在自动检测动作单元（AU）方面的能力。具体来说，我们测试了11个AU的检测。第二个轨道测试了算法识别面部表情图像中情感类别的能力。具体来说，我们测试了16个基本和复合情感类别的识别。挑战的结果表明，目前的计算机视觉和机器学习算法无法可靠地解决这两项任务。当试图识别情感时，当前算法的局限性更加明显。我们还表明，目前的算法不受轻微的分辨率变化，小遮挡，性别或年龄的影响，但3D姿态是性能的一个主要限制因素。我们提供了一个深入的讨论点，需要特别注意前进。
2017-03-03 cs.CV
Gender Stereotyping Impact in Facial Expression Recognition
Institute of Smart Cities (ISC)（智能城市研究所）；Public University of Navarre (UPNA)（纳瓦拉公立大学）
本研究探讨面部表情识别中的性别刻板印象偏差，通过修改FER+数据集标签的性别比例生成偏差数据集，发现最坏条件下性别间情绪识别差异达29%，并指出需对公开数据集进行深入偏差分析。
2022-10-11 cs.CV
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced（加州大学默塞德分校）
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息，可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架，该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息，这些信息由实时磁共振成像（rtMRI）捕获，并将其转换为文本。所提出的框架包括时空卷积，循环网络和连接主义时间分类损失，完全端到端训练。在USC-TIMIT语料库上，该模型在句子水平上取得了40.6%的PER，与现有的模型相比有很大的提高。据我们所知，这是第一项研究，证明了识别整个口语句子的基础上，一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析（即，咽、软腭和背侧、硬腭、唇收缩区）。结果表明，每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
Survey on Emotional Body Gesture Recognition
University of Tartu（塔尔图大学）；Lodz University of Technology（罗兹理工大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Hasan Kalyoncu University（哈桑·卡利永丘大学）
在过去的十年中，自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是，但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查，希望能促进该领域的研究。我们首先介绍情感肢体动作，作为通常所说的“肢体语言”的一个组成部分，并评论性别差异和文化依赖等一般方面。然后，我们定义了一个完整的框架，自动情感身体姿态识别。本文介绍了人体检测技术，评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后，我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法，结合语音或面部与身体姿势，以提高情感识别。虽然预处理方法（如人体检测和姿态估计）是目前成熟的技术，充分发展强大的大规模分析，我们表明，情感识别的标记数据的数量是稀缺的，没有明确定义的输出空间和表示是浅，主要是基于天真的几何表示。
2018-01-23 cs.CV
Facial expression and attributes recognition based on multi-task learning of lightweight neural networks
HSE University（俄罗斯高等经济大学）
本文研究了轻量级卷积神经网络的多任务学习，用于人脸识别和人脸属性（年龄，性别，种族）的分类，训练在裁剪的脸没有边缘。强调了微调这些网络以预测面部表情的必要性。提出了基于MobileNet、EfficientNet和RexNet架构的几种模型。实验证明，它们在UTKFace数据集上的年龄，性别和种族识别以及AffectNet数据集上的情感分类方面都取得了接近最先进的结果。此外，它表明，使用训练的模型作为视频帧中的面部区域的特征提取器导致4.5%的准确性比先前已知的最先进的单一模型的AFEW和VGAF数据集从EQUTIW的挑战。模型和源代码可在https://github.com/HSE-asavchenko/face-emotion-recognition上公开获取。
2021-10-04 cs.CV
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
情感识别涉及到几个现实世界的应用。随着可用模式的增加，情绪的自动理解正在更准确地执行。多模态情感识别（MER）的成功主要依赖于监督学习范式。然而，数据注释是昂贵的、耗时的，并且由于情感表达和感知取决于若干因素（例如，年龄、性别、文化）获得具有高可靠性的标签是困难的。受此启发，我们专注于MER的无监督特征学习。我们考虑离散的情感，并作为模态的文本，音频和视觉使用。我们的方法，是基于成对模式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法有几个不同之处（和优点）：i）它是无监督的，因此学习缺乏数据标记成本; ii）它不需要数据空间增强，模态对齐，大量的批量大小或时期; iii）它只在推理时应用数据融合; iv）它不需要在情感识别任务上预先训练的骨干。在基准数据集上的实验表明，该方法的性能优于几种基线方法和无监督学习方法。特别是，它甚至超过了一些监督MER的最先进的。
2022-07-23 cs.AI cs.CV cs.LG
Emotion recognition techniques with rule based and machine learning approaches
The University of New Mexico（新墨西哥大学）；Intel Corporation（英特尔公司）
使用数字图像处理的情感识别是一项繁杂的任务，因为面部情感依赖于扭曲的面部特征以及性别、年龄和文化。此外，还有几个因素，如不同的照明和复杂的设置，增加了面部表情识别的复杂性。在本文中，我们使用了四个显著的面部特征，眉毛，嘴巴开口，嘴角，额头皱纹，以识别情绪从正常，闭塞和部分闭塞的图像。我们采用了基于规则的方法，并开发了新的方法来提取上述面部特征相似的本地位模式，使用新的技术。我们提出了新的方法来检测眼睛的位置，眉毛收缩，嘴角。对于眼睛检测，提出的方法是增强铬红（ECrR）和抑制铬蓝（SCrB），其结果在98%的准确度。此外，对于眉毛收缩检测，我们提出了两种技术：（1）形态梯度图像强度（MGII）和（2）曲率线度（DCL）。此外，我们提出了一种新的嘴角检测方法。为了达到分类的目的，我们使用一个独立的分类器，多数投票（MV）和加权多数投票（WMV）的方法，模仿人类情绪敏感度（HES）。这些方法易于实现，提高了结果的准确性，并且最适合使用部分遮挡图像进行情感识别。从结果可以确定，我们的方法优于以前的方法。总体准确率约为94%。使用处理器内核i5处理一张图像的时间约为0.12秒。
2021-02-28 cs.CV
The Power of Properties: Uncovering the Influential Factors in Emotion Classification
Friedrich Schiller University Jena（弗里德里希·席勒大学耶拿分校）；Jena University Hospital（耶拿大学医院）
针对端到端情绪分类黑盒模型缺乏透明度的问题，该研究基于因果分析探究面部属性对分类决策的影响，证实91.25%的输出变化与年龄等属性显著相关，还提出属性评估工作流以辅助医疗场景的分类器选型应用。
2024-04-11 cs.CV
Deep Architectures for Face Attributes
Flickr, Yahoo（Flickr，雅虎）
我们训练了一个深度卷积神经网络，使用一个新的公众人物数据集进行身份分类，该数据集标注了年龄、性别、种族和情感标签，然后对其进行微调以进行属性分类。通过实验确定了该网络中计算资源的最佳共享模式，仅需要1G触发器来产生所有预测。我们不是在身份网络的倒数第二层之后的一个附加层中重新学习权重来进行微调，而是为每个属性尝试几个不同的深度。我们发现，年龄和情绪的预测是通过从早期的层向前微调，大概是因为更深的层是逐步不变的非身份相关的输入变化。
2016-09-28 cs.CV
Synthetic Data Generation of Body Motion Data by Neural Gas Network for Emotion Recognition
Cyrus Intelligence Research Ltd（赛勒斯智能研究有限公司）
针对人体运动情感识别领域数据集匮乏的问题，本研究创新性地将神经气体网络（NGN）用于合成人体运动数据，在真实感、情感区分度及生成速度上均优于GAN、VAE等现有方法。
2025-03-11 cs.AI cs.CV eess.IV
Explaining Bias in Deep Face Recognition via Image Characteristics
University of Cagliari（卡利亚里大学）
在本文中，我们提出了一种新的解释框架，旨在更好地理解人脸识别模型如何作为底层数据特征（受保护的属性：性别，种族，年龄;非受保护的属性：面部毛发，化妆，配件，面部方向和遮挡，图像失真，情绪）进行测试。在我们的框架中，我们评估了10个最先进的人脸识别模型，比较了它们在两个数据集上的安全性和可用性方面的公平性，涉及基于性别和种族的六个组。然后，我们分析了图像特征对模型性能的影响。我们的研究结果表明，出现在一个单一的属性分析的趋势消失或逆转时，被认为是多属性组，性能差异也与不受保护的属性。源代码：https://cutt.ly/2XwRLiA。
2022-08-23 cs.CV
Training privacy-preserving video analytics pipelines by suppressing features that reveal information about private attributes
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Intelligent Sensing（智能感知中心）
深度神经网络越来越多地用于场景分析，包括评估人们对户外广告的注意力和反应。然而，由被训练成预测特定的、合意的属性（例如情感）的深度神经网络提取的特征也可以编码并因此揭示关于隐私的、受保护的属性（例如年龄或性别）的信息。在这项工作中，我们专注于这种泄漏的私人信息在推理时间。我们考虑一个对手访问的功能提取的层部署的神经网络，并使用这些功能来预测私人属性。为了防止这种攻击的成功，我们使用混淆损失来修改网络的训练，鼓励提取特征，使对手难以准确预测私有属性。我们使用公开的数据集在基于图像的任务上验证了这种训练方法。结果表明，与原始网络相比，所提出的PrivateNet可以将最先进的情感识别分类器的私人信息泄漏减少2.88%（性别）和13.06%（年龄组），对任务准确性的影响最小。
2022-06-01 cs.CR cs.CV cs.LG
