PDANet: Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Xidian University（西安电子科技大学）
现有的视觉情感分析方法主要集中在粗粒度的情感分类上，即为图像分配一个占主导地位的离散情感类别。然而，这些方法不能很好地反映情感的复杂性和微妙性。本文研究了基于卷积神经网络（CNN）的视觉情感细粒度回归问题。具体来说，我们开发了一个极性一致的深度注意力网络（PDANet），一种新颖的网络架构，将注意力集成到具有情感极性约束的CNN中。首先，我们建议将空间和通道方面的注意力结合到一个CNN的视觉情感回归，共同考虑沿每个通道的局部空间连接模式和不同通道之间的相互依赖性。其次，我们设计了一种新的回归损失，即极性一致回归（PCR）损失，基于弱监督的情绪极性来指导注意力的产生。通过优化PCR损失，PDANet可以生成极性保持的注意力图，从而提高情感回归性能。在IAPS、NAPS和EMOTIC数据集上进行了大量的实验，结果表明，所提出的PDANet在细粒度视觉情感回归方面明显优于现有的方法。我们的源代码发布在：https://github.com/ZizhouJia/PDANet。
2019-09-11 cs.AI cs.CV cs.MM
Analyzing the Influence of Dataset Composition for Emotion Recognition
University of Hamburg（汉堡大学）
在多模态架构中从文本中识别情感已经取得了可喜的成果，在某些情况下超过了视频和音频模态。然而，多模态数据的收集方法对于识别语言中的情感特征具有重要意义。在本文中，我们解决的影响数据汇集方法对两个多模态情感识别数据集，IEMOCAP数据集和OMG情绪行为数据集，通过分析文本数据集的组成和情感识别精度。完整的IEMOCAP数据集的实验表明，与OMG情感行为数据集相比，组合物对泛化性能产生负面影响。最后，我们讨论这可能对HRI实验的影响。
2021-03-05 cs.LG
FAF: A novel multimodal emotion recognition approach integrating face, body and text
University of Nantong（南通大学）；Nanjing University of Science and Technology（南京理工大学）
多模态情感分析在情感识别中表现更好，依赖于更全面的情感线索和多模态情感数据集。在本文中，我们开发了一个大型的多模态情感数据集，命名为“HED”数据集，以促进情感识别任务，并相应地提出了一种多模态情感识别方法。为了提高识别的准确性，“特征后特征”的框架被用来探索关键的情感信息，从对齐的人脸，身体和文本样本。我们采用各种基准测试来评估“HED”数据集，并与我们的方法进行性能比较。实验结果表明，所提出的多模态融合方法的五类分类准确率达到83.75%，与单模态相比，性能分别提高了1.83%、9.38%和21.62%.有效地利用了各通道之间的互补性，提高了情感识别的性能。我们还建立了多通道在线情绪预测平台，旨在为更多用户提供免费的情绪预测。
2022-11-20 cs.AI cs.CV
MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition
Renmin University of China（中国人民大学）；National University of Singapore（新加坡国立大学）
由于标注成本高、标注模糊等原因，标注语料缺乏规模和多样性，阻碍了多模态情感识别研究。在本文中，我们提出了一个预训练模型\textbf{MEmoBERT}的多模态情感识别，学习多模态联合表示通过自监督学习从大规模的未标记的视频数据，在纯粹的体积。此外，与传统的“预训练，微调”范式不同，我们提出了一种基于martext的方法，将下游的情感分类任务重新定义为一个掩码文本预测任务，使下游任务更接近预训练。在IEMOCAP和MSP-IMPROV两个基准数据集上进行的大量实验表明，我们提出的MEmoBERT显著提高了情感识别性能。
2021-10-27 cs.CV eess.IV
GPT-4V with Emotion: A Zero-shot Benchmark for Generalized Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Software Engineering Institute, Peking University（北京大学软件工程研究所）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本研究首次对GPT-4V在21个数据集、6项广义情感识别任务上进行零样本定量评估，发现其视觉理解与多模态整合能力强，但无法识别微表情，并开源代码以推动后续研究。
2024-03-18 cs.CV cs.MM
Investigation of Multimodal Features, Classifiers and Fusion Methods for Emotion Recognition
自动情感识别是一项具有挑战性的任务。在本文中，我们介绍了我们在2018年野外情绪识别（Emotion Recognition in the Wild，EMOTIW）挑战赛中基于音频视频的子挑战赛的努力，该挑战赛要求参与者从六种普遍情绪（愤怒，厌恶，恐惧，快乐，悲伤和惊讶）和中性中为视频片段分配一个单一的情绪标签。所提出的多模态情感识别系统将音频、视频和文本信息考虑在内。除了手工特征，我们还通过迁移学习从深度神经网络（DNN）中提取瓶颈特征。对时间分类器和非时间分类器进行评估，以获得最佳的单峰情感分类结果。然后提取可能性并将其传递到束搜索融合（BS-融合）中。我们在2018年的挑战赛中测试了我们的方法，并获得了令人鼓舞的结果。与基线系统相比，有了明显的改进。我们在测试数据集上实现了60.34%的准确率，仅比获胜者低1.5%。这表明我们的方法非常有竞争力。
2018-09-13 cs.AI cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Multi-Modal Emotion recognition on IEMOCAP Dataset using Deep Learning
LG Silicon Valley Lab（LG硅谷实验室）；Uber Technologies（优步科技）；Recognition Technologies, Inc.（识别技术公司）
随着对行为各个方面建模技术的不断改进，情感识别已经成为人机交互研究的一个重要领域。随着技术的进步，我们对情感的理解也在不断深入，对自动情感识别系统的需求也越来越大。研究的方向之一是使用神经网络，它擅长于估计依赖于大量和不同来源的输入数据的复杂函数。在本文中，我们试图利用这种有效性的神经网络，使我们能够执行多模式的情绪识别IEMOCAP数据集使用的数据从语音，文本和运动捕捉数据的面部表情，旋转和手部运动。先前的研究集中在IEMOCAP数据集上的语音情感检测上，但我们的方法是第一个使用IEMOCAP提供的多种数据模式进行更强大和准确的情感检测的方法。
2019-11-06 cs.AI cs.CV cs.HC
Context-Aware Emotion Recognition Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
传统的情感识别技术只关注面部表情分析，因此提供有限的能力来编码全面表示情感反应的上下文。我们提出了用于上下文感知情感识别的深度网络，称为CAER-Net，它不仅利用人类面部表情，还以联合和增强的方式利用上下文信息。其核心思想是在视觉场景中隐藏人脸，并基于注意力机制寻找其他上下文。我们的网络由两个子网络组成，包括分别提取人脸和背景区域特征的二流编码网络，以及以自适应方式融合此类特征的自适应融合网络。我们还介绍了一种新的基准上下文感知的情感识别，称为CAER，这是更适当的比现有的基准定性和定量。在几个基准测试中，CAER-Net证明了上下文对情感识别的影响。我们的数据集可以在http://caer-dataset.github.io上找到。
2019-08-16 cs.CV cs.HC cs.MM
Machine learning for the recognition of emotion in the speech of couples in psychotherapy using the Stanford Suppes Brain Lab Psychotherapy Dataset
Stanford University（斯坦福大学）；Converspeech LLC（Converspeech有限责任公司）；A Balanced Approach to Counseling（平衡咨询方法机构）
语音中情感的自动识别可以帮助我们理解语言、情感和大脑。它在人机交互系统中也有实际应用。本文研究了自然发生的语音中的情感识别，其中没有对所说的内容或所表达的情感的限制。这项任务比使用在脚本、实验控制环境中收集的数据更困难，并且发布的结果也更少。我们的数据来自接受心理治疗的夫妇。三对夫妇（A，B，C）在18小时的治疗过程中进行了视频和音频记录。本文描述了用于对愤怒、悲伤、喜悦和紧张四种情绪以及中性情绪的音频记录进行编码的方法，还介绍了我们管理自然发生的情绪语音数据集产生的不平衡样本的方法。在我们的分析中使用了三组声学特征：滤波器组，频率和语音质量特征。随机森林模型对特征进行分类。每个人的识别率都有报告，这是我们建立的说话者相关模型的结果。在每种情况下，最好的识别率是单独使用滤波器组功能实现的。对于夫妇A，女性和男性的识别率分别为90%和87%。对于夫妇B，女性的识别率为84%，男性为78%，识别所有四种情绪加上中性。对于夫妇C，女性对四种情绪加上中性的识别率为88%，男性对三种情绪加上中性的识别率为95%。对于成对识别，三对夫妇的识别率从76%到99%不等。我们的研究结果表明，夫妇治疗是一个丰富的背景下，自然发生的语音情绪的研究。
2019-01-14 cs.HC cs.SD eess.AS
Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition
Ho Chi Minh City University of Education（胡志明市师范大学）；University of Economics Ho Chi Minh City-UEH（胡志明市经济大学）；Vietnamese-German University（越南德国大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对FER数据集有限导致模型泛化不足的问题，提出融合MAE-Face自监督学习与多视图融合注意力的方法，并通过Aff-wild2数据集验证性能提升。
2024-05-12 cs.CV
A Controlled Study of CLIP-Based Body-Scene Fusion for Emotion Recognition in Context
University of Central Punjab（中央旁遮普大学）
研究使用ResNet-18身体流和CLIP场景流的双流模型进行上下文情感识别，发现简化去偏和稀有类训练方法未能提升性能，最佳mAP为34.52%。
2026-06-25 cs.CV
Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer
College of Big Data and Internet, Shenzhen Technology University (SZTU)（深圳技术大学大数据与互联网学院）；The University of Hong Kong (HKU)（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University (NWPU)（西北工业大学人工智能与光学电子学院）；School of Engineering, Southern University of Science and Technology (SUSTech)（南方科技大学工程学院）
针对情感识别两阶段流程训练脱节和交互受限的问题，提出单阶段 Decoupled Subject-Context Transformer (DSCT)，通过联合监督和解耦后融合机制实现主体定位与情感分类，在 CAER-S 和 EMOTIC 数据集上以更少参数超越二阶段方法。
2024-04-29 cs.CV
Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
Technical University of Munich（慕尼黑工业大学）；University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
情感表达本质上是多模态的--整合了面部行为、语音和凝视--但它们的自动识别通常限于单一模态，例如电话中的语音。虽然以前的工作提出了跨模态的情感嵌入，以提高单模态识别性能，尽管其重要性，明确表示的凝视不包括在内。我们提出了一种新的方法来情感识别，采用了明确的表示凝视的跨模态情感嵌入框架。我们证明了我们的方法在流行的一分钟渐进式情感识别数据集上的音频和视频情感分类方面优于以前的最新技术水平。此外，我们报告了广泛的消融实验，并提供了详细的见解不同的国家的最先进的凝视表示和整合策略的性能。我们的研究结果不仅强调了凝视对情感识别的重要性，而且还展示了一种实用且高效的方法来利用凝视信息完成这项任务。
2022-04-30 cs.CV cs.LG
Beyond Vision: How Large Language Models Interpret Facial Expressions from Valence-Arousal Values
Universidade Lusófona（卢索福纳大学）；University of Cambridge（剑桥大学）
本研究针对LLMs依赖文本输入、视觉-语言模型资源密集且依赖语言先验的问题，提出让LLMs基于面部表情的效价-唤醒（VA）数值推断情感意义，发现其在语义描述任务中表现出与人类解释高度一致的能力。
2025-02-08 cs.AI cs.CL cs.CV
Contextual Emotion Recognition using Large Vision Language Models
Simon Fraser University（西蒙菲莎大学）
本文研究基于大型视觉语言模型的上下文情感识别，评估了图像描述结合纯语言模型及视觉语言模型在零样本与微调下的表现，发现微调后的模型显著优于传统基线，有助于未来智能体的情感交互决策。
2025-01-31 cs.CV
High-Level Context Representation for Emotion Recognition in Images
Universidade Federal de Pernambuco（伯南布哥联邦大学）；University of Twente（特文特大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
针对图像情绪识别任务，提出一种基于单线索单编码流的高层上下文表示提取方法，在EMOTIC数据集上达到SOTA相当性能，且推理效率高、易部署。
2023-05-05 cs.CV cs.HC
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战，因为人类通过语言，视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比，我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法，直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能，视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用，而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库，并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明，分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
An adversarial learning framework for preserving users' anonymity in face-based emotion recognition
Computer Science \& Engineering, Texas A\&M University
图像和视频捕捉技术已经渗透到我们的日常生活中。这些技术可以持续监测个人在现实生活中的表情，为我们提供关于他们情绪状态和转变的新见解，从而为新型健康和医疗保健应用铺平道路。然而，由于强烈的隐私问题，这种技术的使用受到强烈的怀疑，因为目前基于面部的情感识别系统依赖于深度学习技术，除了特定于情感的信息之外，倾向于保留与用户身份相关的大量信息。本文提出了一种对抗性学习框架，该框架依赖于通过迭代过程训练的卷积神经网络（CNN）架构，用于最小化特定身份信息和最大化情感相关信息。所提出的方法通过情感分类和面部识别指标进行评估，并与两个CNN进行比较，一个CNN仅用于情感识别，另一个CNN仅用于面部识别。实验使用Yale Face Dataset和Japanese Female Facial Expression Database进行。实验结果表明，该方法可以学习卷积变换，在保持情感识别准确性的同时降低人脸身份识别的质量，为隐私感知的情感识别技术提供了基础。
2020-01-16 cs.CV cs.LG stat.ML
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
本文提出利用基于 FACS 的面部动作单元（AUs）识别技术来扩展情感识别能力，并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Developing emotion recognition for video conference software to support people with autism
Ravensburg-Weingarten University（拉芬斯堡-魏恩加腾大学）
本文开发了一款基于面部关键点和神经网络的模块化情绪识别软件，可集成到视频会议系统中，帮助自闭症患者实时识别他人情绪。
2021-01-26 cs.AI cs.CV cs.LG
Real-time emotion recognition for gaming using deep convolutional network features
Université de Montréal（蒙特利尔大学）
本研究的目标是探索深度卷积网络特征在情感识别中的应用。结果表明，它们的表现与其他已发表的模型相似，最佳识别率为94.4%，并且使用单个静止图像而不是视频流。还描述了情感反馈游戏的实现，其中使用这些特征的分类器实时的【形】跟踪玩家的面部表情。
2014-08-16 cs.CV cs.LG cs.NE
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University（斯坦福大学）
人类能够理解来自多个领域的信息，例如语音，文本和视觉。随着深度学习技术的进步，语音识别有了显著的改进。从语音中识别情感是一个重要的方面，随着深度学习技术的发展，情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中，我们试图探索不同的神经网络，以提高情感识别的准确性。通过探索不同的架构，我们发现（CNN+RNN）+3D CNN多模型架构，该架构处理音频频谱图和相应的视频帧，使用IEMOCAP[2]数据集，在4种情绪中的情感预测准确率为54.0%，在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
Impact of multiple modalities on emotion recognition: investigation into 3d facial landmarks, action units, and physiological data
University of South Florida（南佛罗里达大学）
为了充分理解人类情感的复杂性，来自不同模态的多个物理特征的整合可能是有利的。考虑到这一点，我们提出了一个3D面部数据，动作单元和生理数据的分析，因为它涉及到他们对情感识别的影响。我们独立地分析每种模态，以及每种模态的融合，以识别人类情感。这种分析包括哪些特征对特定情绪（例如快乐）最重要。我们的分析表明，3D面部标志和生理数据是令人鼓舞的表情/情感识别。另一方面，虽然动作单元与其他模态融合时可以积极影响情感识别，但结果表明，很难以单峰方式使用它们来检测情感。
2020-05-17 cs.CV
Multi-Branch Network for Imagery Emotion Prediction
University of Science（科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
针对现有图像情绪预测方法忽略场景上下文、对连续情绪VAD值研究不足的问题，提出融合人脸、身体与场景上下文的多分支网络MBN，在EMOTIC数据集上的表现优于现有最优方法。
2023-12-12 cs.CV
Meta Transfer Learning for Emotion Recognition
Queensland University of Technology（昆士兰科技大学）；Deakin University（迪肯大学）
深度学习已被广泛应用于自动情感识别，并在该领域取得了重大进展。然而，由于标注的情感数据集不足，预训练模型的泛化能力有限，从而导致在新的测试集上表现不佳。为了缓解这一挑战，已经应用了对预训练模型进行微调的迁移学习。然而，微调后的知识可能会覆盖和/或丢弃从预训练模型中学习到的重要知识。在本文中，我们解决这个问题，提出了一个基于PathNet的迁移学习方法，能够转移从一个视觉/音频情感域学习到另一个视觉/音频情感域的情感知识，并将从多个音频情感域学习到的情感知识转移到另一个，以提高整体情感识别的准确性。为了显示我们所提出的系统的鲁棒性，已经进行了三个情感数据集：SAVEE，EMODB和eNTERFACE的面部表情识别和语音情感识别任务的各种实验。实验结果表明，我们提出的系统是能够提高情感识别的性能，使其性能大大优于最近提出的微调/预训练模型的迁移学习方法。
2020-06-23 cs.CV
PERI: Part Aware Emotion Recognition In The Wild
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
情感识别旨在基于包括音频、视觉和文本线索在内的各种输入来解释人的情感状态。本文主要研究基于视觉特征的情感识别。为了利用面部表情和人的情绪状态之间的相关性，开创性的方法主要依赖于面部特征。然而，面部特征在自然的无约束场景中通常是不可靠的，例如在拥挤的场景中，因为面部缺乏像素分辨率并且由于遮挡和模糊而包含伪影。为了解决这个问题，在野生情绪识别利用全身人作物以及周围的场景上下文。为了使用身体姿势进行情感识别，这些方法未能实现面部表情（当可用时）提供的潜力。因此，本文的目的是双重的。首先，我们展示了我们的方法，PERI，利用身体姿势和面部标志。我们创建部分感知空间（PAS）图像提取关键区域从输入图像使用从身体姿势和面部标志生成的掩模。这使我们能够利用身体姿势，除了面部上下文，只要可用。其次，原因从PAS图像，我们引入上下文注入（Cont-In）块。这些模块处理特定于部分的信息，并将其传递到情感识别网络的中间特征。我们的方法在概念上是简单的，可以应用到任何现有的情感识别方法。我们提供了我们的结果公开可用的野生EMOTIC数据集。与现有方法相比，PERI实现了卓越的性能，并导致情绪类别的mAP的显着改善，同时减少效价，唤醒和优势错误。重要的是，我们观察到，我们的方法提高了在完全可见的人脸图像以及在被遮挡或模糊的人脸图像中的性能。
2022-10-18 cs.CV
Video Emotion Open-vocabulary Recognition Based on Multimodal Large Language Model
BOSS ZhiPin（BOSS直聘）
针对传统固定标签忽略复杂场景细微情感变化的问题，提出基于MLLMs生成视频开放词汇情感标签的解决方案，在MER2024挑战赛MER-OV任务中取得显著优势。
2024-08-22 cs.CV
ICANet: A Method of Short Video Emotion Recognition Driven by Multimodal Data
Zhengzhou University（郑州大学）；school of Cyber Science and Engineering（网络与数据科学学院）
针对单模态短视频情感识别准确率低、相似情绪难区分的问题，提出融合音频、视频、光流三模态的ICANet方法，在IEMOCAP基准上准确率达80.77%，超现有SOTA方法15.89%。
2024-12-09 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University（纳扎尔巴耶夫大学）
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而，使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展，但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中，我们提出了一个有效的和简单的面部表情识别算法，以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序，以消除强度偏移，随后与最小最大度量的最近邻分类器，能够抑制特征离群值。实验结果表明，在JAFFE数据库上测试时，所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
Context-aware Cascade Attention-based RNN for Video Emotion Recognition
Emotibot Inc.（Emotibot公司）
在构建人机交互（HCI）系统时，情感识别可以在许多应用中提供关于用户的关键信息。目前视觉情感识别的研究大多集中在人脸特征的探索上。然而，包括周围环境和人体的上下文信息也可以提供额外的线索，以更准确地识别情感。受神经机器翻译的“序列到序列模型”的启发，提出了一种新的递归神经网络结构--“CACA-RNN”。该网络由两个级联结构的RNN组成，用于处理上下文和面部信息，以执行视频情感分类。该模型的结果被提交给多模态情感识别挑战赛（MEC 2017）的视频情感识别子挑战赛。CACA-RNN优于MEC 2017基线（mAP为21.7%）：在仅视频挑战的测试集上，它实现了45.51%的mAP。
2018-05-30 cs.CV
Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Using Scene and Semantic Features for Multi-modal Emotion Recognition
Australian National University（澳大利亚国立大学）
本文提出结合场景、语义和个人特征进行多模态情感识别，并使用修改后的EmbraceNet融合身体和姿态特征提升鲁棒性，在EMOTIC数据集上平均精度达40.39%，较前人提升5%。
2023-08-01 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Emotion Recognition in Speech using Cross-Modal Transfer in the Wild
University of Oxford（牛津大学）
获得大的、人类标记的语音数据集来训练用于情感识别的模型是一项众所周知的具有挑战性的任务，受到注释成本和标签模糊性的阻碍。在这项工作中，我们考虑学习嵌入语音分类的任务，而无需访问任何形式的标记音频。我们的方法基于一个简单的假设：语音的情感内容与说话者的面部表情相关。通过利用这种关系，我们表明，注释的表达可以从视觉域（面孔）的语音域（声音），通过跨模态蒸馏。我们做出了以下贡献：（i）我们开发了一个强大的面部情感识别教师网络，该网络在标准基准上达到了最先进的水平;（ii）我们使用教师训练学生tabula rasa来学习表征（嵌入）用于语音情感识别，而无需访问标记的音频数据;和（iii）我们表明语音情感嵌入可以用于外部基准数据集上的语音情感识别。代码、模型和数据可用。
2018-08-16 cs.CV
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York（约克大学）
在本文中，我们描述了第三届情感识别在野生挑战赛中的一个条目，2015年。我们详细介绍了相关的实验，并表明，通过更准确地定位面部标志，只考虑它们之间的距离，我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确，而且更简单。
2016-03-30 cs.CV
Survey on Emotional Body Gesture Recognition
University of Tartu（塔尔图大学）；Lodz University of Technology（罗兹理工大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Hasan Kalyoncu University（哈桑·卡利永丘大学）
在过去的十年中，自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是，但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查，希望能促进该领域的研究。我们首先介绍情感肢体动作，作为通常所说的“肢体语言”的一个组成部分，并评论性别差异和文化依赖等一般方面。然后，我们定义了一个完整的框架，自动情感身体姿态识别。本文介绍了人体检测技术，评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后，我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法，结合语音或面部与身体姿势，以提高情感识别。虽然预处理方法（如人体检测和姿态估计）是目前成熟的技术，充分发展强大的大规模分析，我们表明，情感识别的标记数据的数量是稀缺的，没有明确定义的输出空间和表示是浅，主要是基于天真的几何表示。
2018-01-23 cs.CV
Emotion Recognition from the perspective of Activity Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）
本文从动作识别视角处理情感识别问题，提出一种带注意力机制的三流端到端深度学习回归流水线，通过提取关键帧和面部高注意力区域光流捕获时空信息，在AFEW-VA数据集上优于多个标准基线。
2024-03-24 cs.CV
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中，我们描述了我们在2019年的方法，主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征，我们使用语音谱图和Log Mel谱图来探索音频特征，并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面，我们探索了模态内和跨模态融合的方法，如设计注意力机制突出重要的情感特征，探索了跨模态特征融合的特征拼接和因子化双线性池（FBP）。经过仔细评估，我们在AFEW验证集上获得了65.5%，在测试集上获得了62.48%，在挑战中排名第三。
2020-12-27 cs.CV
Salience Adjustment for Context-Based Emotion Recognition
Computer Science, University of Southern California（计算机科学，南加州大学）
本文提出结合贝叶斯线索整合与视觉-语言模型的显著性调整框架，动态加权面部与情境信息，并在囚徒困境场景中验证其可提升情境感知情绪识别性能。
2025-07-17 cs.AI cs.CV
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
Temporal Label Hierachical Network for Compound Emotion Recognition
School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对复合情绪识别难题，本文提出时间金字塔网络与从粗到细的标签层次框架，利用DFEW细粒度标签，在ABAW竞赛中实现有效识别。
2024-07-17 cs.AI cs.CV
Augmenting Supervised Emotion Recognition with Rule-Based Decision Model
Louisiana State University（路易斯安那州立大学）
本研究的目的是发展基于规则的情感识别决策模型。这项研究还提出了使用规则，以增强跨语料库识别的准确性，在多模态系统，使用监督学习技术。这种基于学习的识别系统的分类器容易过拟合，并且仅在体内数据上表现良好。为了克服这一局限性，本研究提出使用基于规则的模型作为一个额外的模态。这些规则是使用来自视觉通道的原始特征数据开发的，基于人类注释者协议和将运动和姿势归因于情绪的现有研究。规则评估的结果在情感识别系统的决策阶段被合并。结果表明，基于规则的情感识别提高了基于学习的系统的识别精度，并且还提供了跨语料库情感测试数据的更好的识别率。
2016-07-09 cs.AI cs.CV cs.HC
Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group
Kent State University（肯特州立大学）
本文介绍了如何部署二面角群理论来检测面部关键点（FKP）对称性以识别情绪。该方法可以推广到具有相同数据纹理的其他领域。
2017-04-14 cs.CV cs.HC
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova（热那亚大学）
虽然心理学研究表明，身体表情传达重要的情感信息，但迄今为止，情感识别的研究主要集中在面部表情或语音分析上。在本文中，我们提出了一种方法，实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势，运动学和几何特征，并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统：一个professionalgrade光学运动捕捉系统，和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题，并使用leave-one-subject-out交叉验证策略，达到了61.3%的整体识别率，这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统，开发了两个游戏，其中一个或两个用户必须进行交互，以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
Heterogeneous Knowledge Transfer in Video Emotion Recognition, Attribution and Summarization
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
情感是用户生成视频的关键元素。然而，由于用户生成的内容的复杂性和非结构化性质以及表达情感的视频帧的稀疏性，难以理解在这样的视频中传达的情感。在本文中，我们第一次研究了从异构外部源（包括图像和文本数据）传输知识的问题，以促进理解视频情感的三个相关任务：情感识别，情感归因和面向情感的摘要。具体来说，我们的框架（1）从辅助情感图像数据集学习视频编码，以提高监督视频情感识别，以及（2）从辅助文本语料库中转移知识，用于在训练期间看不到的情感类的zero-shot识别。所提出的知识转移技术促进了情感归因和面向情感的摘要的新应用。在多个数据集上进行的一系列实验证明了该框架的有效性。
2018-02-20 cs.AI cs.CV cs.MM
A Personalized Affective Memory Neural Model for Improving Emotion Recognition
University of Hamburg（汉堡大学）；Apprente Inc（Apprente公司）
最近的情感识别模型强烈依赖于有监督的深度学习解决方案来区分一般的情感表达。然而，当识别在线和个性化的面部表情时，它们并不可靠，例如，对个人情感的理解。在本文中，我们提出了一个基于条件对抗自动编码器的神经模型，以学习如何表示和编辑一般的情感表达。然后，我们提出Grow-When-Required网络作为个性化的情感记忆来学习情感表达的个性化方面。在\textit{in-the-wild}数据集上进行评估时，我们的模型在情感识别方面达到了最先进的性能。此外，我们的实验包括消融研究和神经可视化，以解释我们的模型的行为。
2020-05-31 cs.AI cs.CV
Temporal aggregation of audio-visual modalities for emotion recognition
University Politehnica of Bucharest（布加勒斯特理工大学）；Xperi Corporation（Xperi公司）
情感识别在情感计算和人机交互中具有举足轻重的作用。当前的技术发展导致收集关于人的情绪状态的数据的可能性增加。一般来说，人类对受试者传递的情绪的感知是基于在与受试者交互的第一秒中收集的声音和视觉信息。因此，言语的整合（即，语音）和非语言（即，图像）信息似乎是大多数当前情感识别方法中的优选选择。在本文中，我们提出了一个多模态融合技术的基础上结合视听模态从一个时间窗口与不同的时间偏移的每一个模态的情感识别。我们表明，我们提出的方法优于其他方法从文献和人类的准确性评级。实验在开放获取的多模态数据集CREMA-D上进行。
2020-07-08 cs.AI cs.CV
In-Depth Analysis of Emotion Recognition through Knowledge-Based Large Language Models
USC ICT（南加州大学 ICT）；California State Polytechnic Pomona（加州州立理工大学波莫纳分校）；audEERING GmbH（audEERING GmbH（德国音频技术公司））
本文提出结合贝叶斯线索整合与大语言模型情境知识的方法，在囚徒困境社交任务中实现接近人类水平的情感识别，验证了情境信息对自动情感识别的关键作用。
2024-07-17 cs.AI cs.CV cs.HC
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California（南加州大学）
在本文中，我们介绍了一个预训练的视听Transformer，它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的，用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息，并应用于情感识别。我们在两个数据集上评估了模型的性能，即CREMAD-D（情感分类）和MSP-IMPROV（连续情感回归）。实验结果表明，与从头开始训练的相同模型相比，微调预训练模型有助于将情感分类准确率提高5-7%，连续情感识别中的一致性相关系数（CCC）提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下，微调预训练模型可以使情感识别准确率提高至少10%，并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Multi-Cue Adaptive Emotion Recognition Network
Universidade Federal de Pernambuco（伯南布哥联邦大学）；University of Montreal（蒙特利尔大学）；Northwestern University（西北大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
通过面部和身体表情表达和识别情绪是社交互动的重要组成部分。情感识别是计算机视觉中的一项重要任务，因为它的各种应用，主要是为了允许人类和机器之间更自然的交互。常用的情感识别方法主要集中在面部表情分析上，需要对图像中的人脸进行自动定位。虽然这些方法可以正确地对受控场景中的情绪进行分类，但在处理不受约束的日常交互时，这些技术是有限的。我们提出了一种新的深度学习方法，用于基于自适应多线索的情感识别，该方法从人类在社交和交流中常用的上下文和身体姿势中提取信息。我们将所提出的方法与CAER-S数据集中最先进的方法进行比较，评估管道中的不同组件，准确率达到89.30%
2021-12-14 cs.CV cs.HC cs.MM
