Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Emotion Recognition in Speech using Cross-Modal Transfer in the Wild
University of Oxford（牛津大学）
获得大的、人类标记的语音数据集来训练用于情感识别的模型是一项众所周知的具有挑战性的任务，受到注释成本和标签模糊性的阻碍。在这项工作中，我们考虑学习嵌入语音分类的任务，而无需访问任何形式的标记音频。我们的方法基于一个简单的假设：语音的情感内容与说话者的面部表情相关。通过利用这种关系，我们表明，注释的表达可以从视觉域（面孔）的语音域（声音），通过跨模态蒸馏。我们做出了以下贡献：（i）我们开发了一个强大的面部情感识别教师网络，该网络在标准基准上达到了最先进的水平;（ii）我们使用教师训练学生tabula rasa来学习表征（嵌入）用于语音情感识别，而无需访问标记的音频数据;和（iii）我们表明语音情感嵌入可以用于外部基准数据集上的语音情感识别。代码、模型和数据可用。
2018-08-16 cs.CV
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York（约克大学）
在本文中，我们描述了第三届情感识别在野生挑战赛中的一个条目，2015年。我们详细介绍了相关的实验，并表明，通过更准确地定位面部标志，只考虑它们之间的距离，我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确，而且更简单。
2016-03-30 cs.CV
Survey on Emotional Body Gesture Recognition
University of Tartu（塔尔图大学）；Lodz University of Technology（罗兹理工大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Hasan Kalyoncu University（哈桑·卡利永丘大学）
在过去的十年中，自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是，但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查，希望能促进该领域的研究。我们首先介绍情感肢体动作，作为通常所说的“肢体语言”的一个组成部分，并评论性别差异和文化依赖等一般方面。然后，我们定义了一个完整的框架，自动情感身体姿态识别。本文介绍了人体检测技术，评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后，我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法，结合语音或面部与身体姿势，以提高情感识别。虽然预处理方法（如人体检测和姿态估计）是目前成熟的技术，充分发展强大的大规模分析，我们表明，情感识别的标记数据的数量是稀缺的，没有明确定义的输出空间和表示是浅，主要是基于天真的几何表示。
2018-01-23 cs.CV
Emotion Recognition from the perspective of Activity Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）
本文从动作识别视角处理情感识别问题，提出一种带注意力机制的三流端到端深度学习回归流水线，通过提取关键帧和面部高注意力区域光流捕获时空信息，在AFEW-VA数据集上优于多个标准基线。
2024-03-24 cs.CV
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中，我们描述了我们在2019年的方法，主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征，我们使用语音谱图和Log Mel谱图来探索音频特征，并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面，我们探索了模态内和跨模态融合的方法，如设计注意力机制突出重要的情感特征，探索了跨模态特征融合的特征拼接和因子化双线性池（FBP）。经过仔细评估，我们在AFEW验证集上获得了65.5%，在测试集上获得了62.48%，在挑战中排名第三。
2020-12-27 cs.CV
TiCAL:Typicality-Based Consistency-Aware Learning for Multimodal Emotion Recognition
针对多模态情感识别中模态间情感冲突被忽略的问题，提出TiCAL框架，结合典型性估计评估样本一致性、在双曲空间嵌入特征，在基准数据集上较最优方法提升约2.6%准确率。
2025-11-19 cs.CV
Towards Unbiased Visual Emotion Recognition via Causal Intervention
Monash University（莫纳什大学）；Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）
尽管视觉情感识别已经取得了很大的进展，但研究人员已经意识到，现代深度网络倾向于利用数据集特征来学习输入和目标之间的虚假统计关联。这些数据集特征通常被视为数据集偏差，这损害了这些识别系统的鲁棒性和泛化性能。在这项工作中，我们从因果推理的角度来审视这个问题，其中这种数据集特征被称为混淆因素，它误导系统学习虚假的相关性。为了减轻数据集偏差带来的负面影响，我们提出了一种新的干预性情绪识别网络（IERN）来实现后门调整，这是因果推理中的一种基本的去建立技术。具体来说，IERN首先从实际的情感特征中分离出与文本相关的上下文特征，其中前者形成了混淆因素。然后，情绪特征将被迫在被馈送到分类器之前平等地看到每个混淆层。一系列设计的测试验证了IERN的有效性，三个情感基准的实验表明，IERN优于国家的最先进的方法，无偏见的视觉情感识别。代码可在https://github.com/donydchen/causal_emotion上获得
2022-07-20 cs.CV
FAF: A novel multimodal emotion recognition approach integrating face, body and text
University of Nantong（南通大学）；Nanjing University of Science and Technology（南京理工大学）
多模态情感分析在情感识别中表现更好，依赖于更全面的情感线索和多模态情感数据集。在本文中，我们开发了一个大型的多模态情感数据集，命名为“HED”数据集，以促进情感识别任务，并相应地提出了一种多模态情感识别方法。为了提高识别的准确性，“特征后特征”的框架被用来探索关键的情感信息，从对齐的人脸，身体和文本样本。我们采用各种基准测试来评估“HED”数据集，并与我们的方法进行性能比较。实验结果表明，所提出的多模态融合方法的五类分类准确率达到83.75%，与单模态相比，性能分别提高了1.83%、9.38%和21.62%.有效地利用了各通道之间的互补性，提高了情感识别的性能。我们还建立了多通道在线情绪预测平台，旨在为更多用户提供免费的情绪预测。
2022-11-20 cs.AI cs.CV
Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
Technical University of Munich（慕尼黑工业大学）；University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
情感表达本质上是多模态的--整合了面部行为、语音和凝视--但它们的自动识别通常限于单一模态，例如电话中的语音。虽然以前的工作提出了跨模态的情感嵌入，以提高单模态识别性能，尽管其重要性，明确表示的凝视不包括在内。我们提出了一种新的方法来情感识别，采用了明确的表示凝视的跨模态情感嵌入框架。我们证明了我们的方法在流行的一分钟渐进式情感识别数据集上的音频和视频情感分类方面优于以前的最新技术水平。此外，我们报告了广泛的消融实验，并提供了详细的见解不同的国家的最先进的凝视表示和整合策略的性能。我们的研究结果不仅强调了凝视对情感识别的重要性，而且还展示了一种实用且高效的方法来利用凝视信息完成这项任务。
2022-04-30 cs.CV cs.LG
Salience Adjustment for Context-Based Emotion Recognition
Computer Science, University of Southern California（计算机科学，南加州大学）
本文提出结合贝叶斯线索整合与视觉-语言模型的显著性调整框架，动态加权面部与情境信息，并在囚徒困境场景中验证其可提升情境感知情绪识别性能。
2025-07-17 cs.AI cs.CV
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
Temporal Label Hierachical Network for Compound Emotion Recognition
School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对复合情绪识别难题，本文提出时间金字塔网络与从粗到细的标签层次框架，利用DFEW细粒度标签，在ABAW竞赛中实现有效识别。
2024-07-17 cs.AI cs.CV
HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild
Harbin Engineering University（哈尔滨工程大学）；UCLA（加州大学洛杉矶分校）
情感计算在野外环境中的研究是以数据库为基础的。现有的多模态情感数据库在现实世界中的条件是少，小，有限的主题数量和表达在一种语言。为了满足这一要求，我们收集、注释并准备发布一个新的自然状态视频数据库（称为HEU Emotion）。HEU Emotion共包含19，004个视频片段，根据数据来源分为两部分。第一部分包含从Tumblr，Google和Giphy下载的视频，包括10种情绪和两种形式（面部表情和身体姿势）。第二部分包括从电影、电视剧和综艺节目中手工提取的语料，包括10种情绪和三种模态（面部表情、身体姿势和情绪言语）。HEU Emotion是迄今为止最广泛的多模态情感数据库，拥有9，951个主题。为了提供情感识别的基准，我们使用了许多传统的机器学习和深度学习方法来评估HEU Emotion。我们提出了一个多模态注意力模块来自适应地融合多模态特征。多模态融合后，两部分的识别准确率分别比单模态人脸表情识别提高了2.19%和4.01%。
2020-07-24 cs.CV cs.LG
Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group
Kent State University（肯特州立大学）
本文介绍了如何部署二面角群理论来检测面部关键点（FKP）对称性以识别情绪。该方法可以推广到具有相同数据纹理的其他领域。
2017-04-14 cs.CV cs.HC
Iterative Distillation for Better Uncertainty Estimates in Multitask Emotion Recognition
Hong Kong University of Science and Technology（香港科技大学）
当识别情绪时，情绪表现中的细微差别会产生情绪感知的模糊性或不确定性。情感不确定性以前被解释为多个注释者之间的评分者之间的分歧。在本文中，我们考虑了一个更常见和更具挑战性的场景：当只有单个情感标签可用时，对情感不确定性进行建模。从贝叶斯的角度来看，我们建议使用深度集成来捕获多个情感描述符的不确定性，即，动作单元、离散表达式标签和连续描述符。我们进一步应用迭代自蒸馏。多代迭代蒸馏显著提高了情感识别和不确定性估计的性能。我们的方法生成单个学生模型，该模型为域内样本提供准确的不确定性估计，并且生成可以检测域外样本的学生集合。我们使用Aff-wild 2数据集进行的情感识别和不确定性估计的实验表明，我们的算法比Temperature Scaling和Monte Carol Dropout给出了更可靠的不确定性估计。
2021-10-17 cs.CV cs.LG
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova（热那亚大学）
虽然心理学研究表明，身体表情传达重要的情感信息，但迄今为止，情感识别的研究主要集中在面部表情或语音分析上。在本文中，我们提出了一种方法，实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势，运动学和几何特征，并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统：一个professionalgrade光学运动捕捉系统，和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题，并使用leave-one-subject-out交叉验证策略，达到了61.3%的整体识别率，这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统，开发了两个游戏，其中一个或两个用户必须进行交互，以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战，因为人类通过语言，视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比，我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法，直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能，视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition
Renmin University of China（中国人民大学）；National University of Singapore（新加坡国立大学）
由于标注成本高、标注模糊等原因，标注语料缺乏规模和多样性，阻碍了多模态情感识别研究。在本文中，我们提出了一个预训练模型\textbf{MEmoBERT}的多模态情感识别，学习多模态联合表示通过自监督学习从大规模的未标记的视频数据，在纯粹的体积。此外，与传统的“预训练，微调”范式不同，我们提出了一种基于martext的方法，将下游的情感分类任务重新定义为一个掩码文本预测任务，使下游任务更接近预训练。在IEMOCAP和MSP-IMPROV两个基准数据集上进行的大量实验表明，我们提出的MEmoBERT显著提高了情感识别性能。
2021-10-27 cs.CV eess.IV
A Personalized Affective Memory Neural Model for Improving Emotion Recognition
University of Hamburg（汉堡大学）；Apprente Inc（Apprente公司）
最近的情感识别模型强烈依赖于有监督的深度学习解决方案来区分一般的情感表达。然而，当识别在线和个性化的面部表情时，它们并不可靠，例如，对个人情感的理解。在本文中，我们提出了一个基于条件对抗自动编码器的神经模型，以学习如何表示和编辑一般的情感表达。然后，我们提出Grow-When-Required网络作为个性化的情感记忆来学习情感表达的个性化方面。在\textit{in-the-wild}数据集上进行评估时，我们的模型在情感识别方面达到了最先进的性能。此外，我们的实验包括消融研究和神经可视化，以解释我们的模型的行为。
2020-05-31 cs.AI cs.CV
Augmenting Supervised Emotion Recognition with Rule-Based Decision Model
Louisiana State University（路易斯安那州立大学）
本研究的目的是发展基于规则的情感识别决策模型。这项研究还提出了使用规则，以增强跨语料库识别的准确性，在多模态系统，使用监督学习技术。这种基于学习的识别系统的分类器容易过拟合，并且仅在体内数据上表现良好。为了克服这一局限性，本研究提出使用基于规则的模型作为一个额外的模态。这些规则是使用来自视觉通道的原始特征数据开发的，基于人类注释者协议和将运动和姿势归因于情绪的现有研究。规则评估的结果在情感识别系统的决策阶段被合并。结果表明，基于规则的情感识别提高了基于学习的系统的识别精度，并且还提供了跨语料库情感测试数据的更好的识别率。
2016-07-09 cs.AI cs.CV cs.HC
Temporal aggregation of audio-visual modalities for emotion recognition
University Politehnica of Bucharest（布加勒斯特理工大学）；Xperi Corporation（Xperi公司）
情感识别在情感计算和人机交互中具有举足轻重的作用。当前的技术发展导致收集关于人的情绪状态的数据的可能性增加。一般来说，人类对受试者传递的情绪的感知是基于在与受试者交互的第一秒中收集的声音和视觉信息。因此，言语的整合（即，语音）和非语言（即，图像）信息似乎是大多数当前情感识别方法中的优选选择。在本文中，我们提出了一个多模态融合技术的基础上结合视听模态从一个时间窗口与不同的时间偏移的每一个模态的情感识别。我们表明，我们提出的方法优于其他方法从文献和人类的准确性评级。实验在开放获取的多模态数据集CREMA-D上进行。
2020-07-08 cs.AI cs.CV
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用，而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库，并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明，分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
GPT-4V with Emotion: A Zero-shot Benchmark for Generalized Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Software Engineering Institute, Peking University（北京大学软件工程研究所）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本研究首次对GPT-4V在21个数据集、6项广义情感识别任务上进行零样本定量评估，发现其视觉理解与多模态整合能力强，但无法识别微表情，并开源代码以推动后续研究。
2024-03-18 cs.CV cs.MM
Heterogeneous Knowledge Transfer in Video Emotion Recognition, Attribution and Summarization
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
情感是用户生成视频的关键元素。然而，由于用户生成的内容的复杂性和非结构化性质以及表达情感的视频帧的稀疏性，难以理解在这样的视频中传达的情感。在本文中，我们第一次研究了从异构外部源（包括图像和文本数据）传输知识的问题，以促进理解视频情感的三个相关任务：情感识别，情感归因和面向情感的摘要。具体来说，我们的框架（1）从辅助情感图像数据集学习视频编码，以提高监督视频情感识别，以及（2）从辅助文本语料库中转移知识，用于在训练期间看不到的情感类的zero-shot识别。所提出的知识转移技术促进了情感归因和面向情感的摘要的新应用。在多个数据集上进行的一系列实验证明了该框架的有效性。
2018-02-20 cs.AI cs.CV cs.MM
Investigation of Multimodal Features, Classifiers and Fusion Methods for Emotion Recognition
自动情感识别是一项具有挑战性的任务。在本文中，我们介绍了我们在2018年野外情绪识别（Emotion Recognition in the Wild，EMOTIW）挑战赛中基于音频视频的子挑战赛的努力，该挑战赛要求参与者从六种普遍情绪（愤怒，厌恶，恐惧，快乐，悲伤和惊讶）和中性中为视频片段分配一个单一的情绪标签。所提出的多模态情感识别系统将音频、视频和文本信息考虑在内。除了手工特征，我们还通过迁移学习从深度神经网络（DNN）中提取瓶颈特征。对时间分类器和非时间分类器进行评估，以获得最佳的单峰情感分类结果。然后提取可能性并将其传递到束搜索融合（BS-融合）中。我们在2018年的挑战赛中测试了我们的方法，并获得了令人鼓舞的结果。与基线系统相比，有了明显的改进。我们在测试数据集上实现了60.34%的准确率，仅比获胜者低1.5%。这表明我们的方法非常有竞争力。
2018-09-13 cs.AI cs.CV
A Robust Framework for Deep Learning Approaches to Facial Emotion Recognition and Evaluation
University of Wisconsin – Eau Claire（威斯康星大学欧克莱尔分校）
面部情感识别是计算机视觉领域内的一个巨大而复杂的问题空间，因此需要一个普遍接受的基线方法来评估所提出的模型。虽然测试数据集在学术领域已经达到了这一目的，但现实世界的应用和对这些模型的测试缺乏任何真正的比较。因此，我们提出了一个框架，在这个框架中，为FER开发的模型可以以一种恒定的标准化方式进行比较和对比。一个轻量级的卷积神经网络是在AffectNet数据集上训练的，这是一个用于面部情感识别的大型变量数据集，并开发了一个Web应用程序，并将我们提出的框架作为概念验证。CNN嵌入到我们的应用程序中，能够即时实时的面部表情识别。当在AffectNet测试集上进行测试时，该模型对八种不同情绪的情绪分类具有很高的准确性。使用我们的框架，该模型和其他模型的有效性可以通过评估模型的有效性来进行适当的测试，不仅基于其在样本测试数据集上的准确性，而且还基于在野外实验中的准确性。此外，我们的应用程序能够保存和存储捕获或上传到它的任何图像以进行情感识别，从而可以管理更高质量和更多样化的面部情感识别数据集。
2022-01-30 cs.CR cs.CV
Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
人脸表情自动识别是情感识别和计算机视觉的重要研究领域。应用可以在几个领域中找到，例如医疗，驾驶员疲劳监测，社交机器人和其他几个人机交互系统。因此，机器应该能够高精度地识别用户的情绪状态是至关重要的。近年来，深度神经网络在识别情绪方面取得了巨大成功。在本文中，我们提出了一个新的模型，连续的情感识别的基础上，面部表情识别的无监督学习方法的基础上迁移学习和自动编码器。所提出的方法还包括预处理和后处理技术，有助于提高性能的一致性相关系数的唤醒和效价尺寸的预测。在RECOLA 2016数据集上预测自发和自然情绪的实验结果表明，基于视觉信息的方法可以分别实现0.516和0.264的效价和唤醒的CCC。
2020-01-31 cs.CV cs.LG
I Know How You Feel: Emotion Recognition with Facial Landmarks
Tooploox（Tooploox公司）；Polish-Japanese Academy of Information Technology（波日信息技术学院）；Warsaw University of Technology（华沙理工大学）
人类情感的分类对于许多计算机视觉算法来说仍然是一项重要且具有挑战性的任务，特别是在日常生活中与人类共存的人形机器人时代。目前提出的情感识别方法使用多层卷积网络解决了这一任务，这些网络在分类阶段不会显式推断任何面部特征。在这项工作中，我们假设一个根本不同的方法来解决情感识别任务，依赖于将面部标志作为分类损失函数的一部分。为此，我们扩展了最近提出的深度对齐网络（DAN），该网络在最近的面部地标识别挑战中取得了最先进的结果，其中一个术语与面部特征相关。由于这个简单的修改，我们的模型称为AsymtionalDAN能够在两个具有挑战性的基准数据集上超过最先进的情感分类方法高达5%。
2018-10-23 cs.AI cs.CV
In-Depth Analysis of Emotion Recognition through Knowledge-Based Large Language Models
USC ICT（南加州大学 ICT）；California State Polytechnic Pomona（加州州立理工大学波莫纳分校）；audEERING GmbH（audEERING GmbH（德国音频技术公司））
本文提出结合贝叶斯线索整合与大语言模型情境知识的方法，在囚徒困境社交任务中实现接近人类水平的情感识别，验证了情境信息对自动情感识别的关键作用。
2024-07-17 cs.AI cs.CV cs.HC
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University（斯坦福大学）
人类能够理解来自多个领域的信息，例如语音，文本和视觉。随着深度学习技术的进步，语音识别有了显著的改进。从语音中识别情感是一个重要的方面，随着深度学习技术的发展，情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中，我们试图探索不同的神经网络，以提高情感识别的准确性。通过探索不同的架构，我们发现（CNN+RNN）+3D CNN多模型架构，该架构处理音频频谱图和相应的视频帧，使用IEMOCAP[2]数据集，在4种情绪中的情感预测准确率为54.0%，在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
An adversarial learning framework for preserving users' anonymity in face-based emotion recognition
Computer Science \& Engineering, Texas A\&M University
图像和视频捕捉技术已经渗透到我们的日常生活中。这些技术可以持续监测个人在现实生活中的表情，为我们提供关于他们情绪状态和转变的新见解，从而为新型健康和医疗保健应用铺平道路。然而，由于强烈的隐私问题，这种技术的使用受到强烈的怀疑，因为目前基于面部的情感识别系统依赖于深度学习技术，除了特定于情感的信息之外，倾向于保留与用户身份相关的大量信息。本文提出了一种对抗性学习框架，该框架依赖于通过迭代过程训练的卷积神经网络（CNN）架构，用于最小化特定身份信息和最大化情感相关信息。所提出的方法通过情感分类和面部识别指标进行评估，并与两个CNN进行比较，一个CNN仅用于情感识别，另一个CNN仅用于面部识别。实验使用Yale Face Dataset和Japanese Female Facial Expression Database进行。实验结果表明，该方法可以学习卷积变换，在保持情感识别准确性的同时降低人脸身份识别的质量，为隐私感知的情感识别技术提供了基础。
2020-01-16 cs.CV cs.LG stat.ML
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
本文提出利用基于 FACS 的面部动作单元（AUs）识别技术来扩展情感识别能力，并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Multi-Modal Emotion recognition on IEMOCAP Dataset using Deep Learning
LG Silicon Valley Lab（LG硅谷实验室）；Uber Technologies（优步科技）；Recognition Technologies, Inc.（识别技术公司）
随着对行为各个方面建模技术的不断改进，情感识别已经成为人机交互研究的一个重要领域。随着技术的进步，我们对情感的理解也在不断深入，对自动情感识别系统的需求也越来越大。研究的方向之一是使用神经网络，它擅长于估计依赖于大量和不同来源的输入数据的复杂函数。在本文中，我们试图利用这种有效性的神经网络，使我们能够执行多模式的情绪识别IEMOCAP数据集使用的数据从语音，文本和运动捕捉数据的面部表情，旋转和手部运动。先前的研究集中在IEMOCAP数据集上的语音情感检测上，但我们的方法是第一个使用IEMOCAP提供的多种数据模式进行更强大和准确的情感检测的方法。
2019-11-06 cs.AI cs.CV cs.HC
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California（南加州大学）
在本文中，我们介绍了一个预训练的视听Transformer，它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的，用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息，并应用于情感识别。我们在两个数据集上评估了模型的性能，即CREMAD-D（情感分类）和MSP-IMPROV（连续情感回归）。实验结果表明，与从头开始训练的相同模型相比，微调预训练模型有助于将情感分类准确率提高5-7%，连续情感识别中的一致性相关系数（CCC）提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下，微调预训练模型可以使情感识别准确率提高至少10%，并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Context-Aware Emotion Recognition Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
传统的情感识别技术只关注面部表情分析，因此提供有限的能力来编码全面表示情感反应的上下文。我们提出了用于上下文感知情感识别的深度网络，称为CAER-Net，它不仅利用人类面部表情，还以联合和增强的方式利用上下文信息。其核心思想是在视觉场景中隐藏人脸，并基于注意力机制寻找其他上下文。我们的网络由两个子网络组成，包括分别提取人脸和背景区域特征的二流编码网络，以及以自适应方式融合此类特征的自适应融合网络。我们还介绍了一种新的基准上下文感知的情感识别，称为CAER，这是更适当的比现有的基准定性和定量。在几个基准测试中，CAER-Net证明了上下文对情感识别的影响。我们的数据集可以在http://caer-dataset.github.io上找到。
2019-08-16 cs.CV cs.HC cs.MM
Multi-Cue Adaptive Emotion Recognition Network
Universidade Federal de Pernambuco（伯南布哥联邦大学）；University of Montreal（蒙特利尔大学）；Northwestern University（西北大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
通过面部和身体表情表达和识别情绪是社交互动的重要组成部分。情感识别是计算机视觉中的一项重要任务，因为它的各种应用，主要是为了允许人类和机器之间更自然的交互。常用的情感识别方法主要集中在面部表情分析上，需要对图像中的人脸进行自动定位。虽然这些方法可以正确地对受控场景中的情绪进行分类，但在处理不受约束的日常交互时，这些技术是有限的。我们提出了一种新的深度学习方法，用于基于自适应多线索的情感识别，该方法从人类在社交和交流中常用的上下文和身体姿势中提取信息。我们将所提出的方法与CAER-S数据集中最先进的方法进行比较，评估管道中的不同组件，准确率达到89.30%
2021-12-14 cs.CV cs.HC cs.MM
Developing emotion recognition for video conference software to support people with autism
Ravensburg-Weingarten University（拉芬斯堡-魏恩加腾大学）
本文开发了一款基于面部关键点和神经网络的模块化情绪识别软件，可集成到视频会议系统中，帮助自闭症患者实时识别他人情绪。
2021-01-26 cs.AI cs.CV cs.LG
Real-time emotion recognition for gaming using deep convolutional network features
Université de Montréal（蒙特利尔大学）
本研究的目标是探索深度卷积网络特征在情感识别中的应用。结果表明，它们的表现与其他已发表的模型相似，最佳识别率为94.4%，并且使用单个静止图像而不是视频流。还描述了情感反馈游戏的实现，其中使用这些特征的分类器实时的【形】跟踪玩家的面部表情。
2014-08-16 cs.CV cs.LG cs.NE
A Multi-component CNN-RNN Approach for Dimensional Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
本文介绍了我们的方法，一分钟的渐进式情感识别（OMG情感）的挑战，专注于通过视觉分析所提供的情感视频的维度情感识别。该方法基于卷积和递归（CNN-RNN）深度神经架构，我们为相关的大型AffWild情感数据库开发了该架构。我们扩展并调整了这种架构，让RNN神经网络探索CNN组件中生成的多个特征的组合。我们的目标是在OMG-Emotion视觉验证数据集上获得最佳性能，同时学习相应的视觉训练数据集。扩展的实验已经导致了最好的架构，用于估计这些数据集上的效价和唤醒情绪维度的值。
2019-12-13 cs.AI cs.CV cs.HC
Multimodal Emotion Recognition for One-Minute-Gradual Emotion Challenge
Ping An, Gamma Lab（平安伽马实验室）
以唤醒和效价为模型的连续维度情绪可以刻画复杂的情绪变化。在本文中，我们提出了我们的工作唤醒和效价预测一分钟渐进（OMG）情绪挑战。首先使用各种声学、视频和文本模型从视频中提取多模态表示，然后使用支持向量机（SVM）对多模态信号进行融合以进行最终预测。我们的解决方案实现了一致相关系数（CCC）得分分别为0.397和0.520的唤醒和效价的验证数据集，这优于基线系统的最佳CCC得分为0.15和0.23的唤醒和效价的大幅度。
2018-05-03 cs.AI cs.CL cs.CV
A Peek at Peak Emotion Recognition
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
尽管面部表情识别领域取得了很大的进展，但很少有人关注峰值情感的识别。Aviezer等人[1]表明，人类很难区分积极和消极的高峰情绪。在这项工作中，我们分析了深度学习如何应对这一挑战。我们发现，（i）尽管使用非常小的数据集，但从深度学习模型中提取的特征可以比人类获得更好的结果。(ii)我们发现，深度学习模型，即使只在人类标记的数据集上训练，在这项任务中仍然优于人类。
2022-05-19 cs.CV cs.HC cs.MM
Interpretable Multimodal Emotion Recognition using Hybrid Fusion of Speech and Image Data
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文提出了一种基于混合融合的多模态情感识别系统，该系统将语音和相应图像所描述的情感分为离散类。一种新的可解释性技术已经被开发出来，以识别重要的语音和图像特征，导致特定的情感类的预测。通过深入的消融研究确定了拟议系统的架构。它融合语音和图像特征，然后组合语音，图像和中间融合输出。建议的可解释性技术结合了分而治之的方法来计算形状值表示每个语音和图像特征的重要性。我们还构建了一个大规模的数据集（IIT-R SIER数据集），包括语音话语，相应的图像和类别标签，即，“愤怒”“快乐”“憎恨"和”悲伤“。该系统在情感识别方面的准确率达到了83.29%。所提出的系统的增强性能主张利用互补信息的重要性，从多种形式的情感识别。
2023-01-07 cs.CV cs.SD eess.AS
Emotion Generation and Recognition: A StarGAN Approach
Imperial College London（帝国理工学院）
该ISO的主要思想是使用StarGAN（一种GAN模型）对情感数据集进行训练和测试，从而产生可以由7个基本表情的效价唤醒分数生成的情感识别。我们创建了一个由4K视频组成的全新数据集。这个数据集包括所有基本的7种情绪：快乐，悲伤，愤怒，惊讶，恐惧，厌恶，中性。我们已经执行了面部检测和对齐，然后根据手动情绪将基本效价唤醒值注释到数据集中的帧/图像。然后在我们创建的数据集上训练现有的StarGAN模型，然后选择一些手动主题来测试训练后的StarGAN模型的效率。
2019-10-12 cs.CV cs.LG eess.AS
