Video Emotion Open-vocabulary Recognition Based on Multimodal Large Language Model
BOSS ZhiPin（BOSS直聘）
针对传统固定标签忽略复杂场景细微情感变化的问题，提出基于MLLMs生成视频开放词汇情感标签的解决方案，在MER2024挑战赛MER-OV任务中取得显著优势。
2024-08-22 cs.CV
ICANet: A Method of Short Video Emotion Recognition Driven by Multimodal Data
Zhengzhou University（郑州大学）；school of Cyber Science and Engineering（网络与数据科学学院）
针对单模态短视频情感识别准确率低、相似情绪难区分的问题，提出融合音频、视频、光流三模态的ICANet方法，在IEMOCAP基准上准确率达80.77%，超现有SOTA方法15.89%。
2024-12-09 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University（纳扎尔巴耶夫大学）
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而，使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展，但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中，我们提出了一个有效的和简单的面部表情识别算法，以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序，以消除强度偏移，随后与最小最大度量的最近邻分类器，能够抑制特征离群值。实验结果表明，在JAFFE数据库上测试时，所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
Context-aware Cascade Attention-based RNN for Video Emotion Recognition
Emotibot Inc.（Emotibot公司）
在构建人机交互（HCI）系统时，情感识别可以在许多应用中提供关于用户的关键信息。目前视觉情感识别的研究大多集中在人脸特征的探索上。然而，包括周围环境和人体的上下文信息也可以提供额外的线索，以更准确地识别情感。受神经机器翻译的“序列到序列模型”的启发，提出了一种新的递归神经网络结构--“CACA-RNN”。该网络由两个级联结构的RNN组成，用于处理上下文和面部信息，以执行视频情感分类。该模型的结果被提交给多模态情感识别挑战赛（MEC 2017）的视频情感识别子挑战赛。CACA-RNN优于MEC 2017基线（mAP为21.7%）：在仅视频挑战的测试集上，它实现了45.51%的mAP。
2018-05-30 cs.CV
Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Emotion Recognition in Speech using Cross-Modal Transfer in the Wild
University of Oxford（牛津大学）
获得大的、人类标记的语音数据集来训练用于情感识别的模型是一项众所周知的具有挑战性的任务，受到注释成本和标签模糊性的阻碍。在这项工作中，我们考虑学习嵌入语音分类的任务，而无需访问任何形式的标记音频。我们的方法基于一个简单的假设：语音的情感内容与说话者的面部表情相关。通过利用这种关系，我们表明，注释的表达可以从视觉域（面孔）的语音域（声音），通过跨模态蒸馏。我们做出了以下贡献：（i）我们开发了一个强大的面部情感识别教师网络，该网络在标准基准上达到了最先进的水平;（ii）我们使用教师训练学生tabula rasa来学习表征（嵌入）用于语音情感识别，而无需访问标记的音频数据;和（iii）我们表明语音情感嵌入可以用于外部基准数据集上的语音情感识别。代码、模型和数据可用。
2018-08-16 cs.CV
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York（约克大学）
在本文中，我们描述了第三届情感识别在野生挑战赛中的一个条目，2015年。我们详细介绍了相关的实验，并表明，通过更准确地定位面部标志，只考虑它们之间的距离，我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确，而且更简单。
2016-03-30 cs.CV
Survey on Emotional Body Gesture Recognition
University of Tartu（塔尔图大学）；Lodz University of Technology（罗兹理工大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Hasan Kalyoncu University（哈桑·卡利永丘大学）
在过去的十年中，自动情感识别已经成为一个热门的研究课题。虽然基于面部表情或语音的作品比比皆是，但从肢体动作中识别情感仍然是一个较少探索的主题。我们提出了一个新的全面调查，希望能促进该领域的研究。我们首先介绍情感肢体动作，作为通常所说的“肢体语言”的一个组成部分，并评论性别差异和文化依赖等一般方面。然后，我们定义了一个完整的框架，自动情感身体姿态识别。本文介绍了人体检测技术，评述了RGB和3D环境下的静态和动态人体姿态估计方法。然后，我们评论了最近的文献相关的表示学习和情绪识别的图像的情绪表达的姿态。我们还讨论了多模态方法，结合语音或面部与身体姿势，以提高情感识别。虽然预处理方法（如人体检测和姿态估计）是目前成熟的技术，充分发展强大的大规模分析，我们表明，情感识别的标记数据的数量是稀缺的，没有明确定义的输出空间和表示是浅，主要是基于天真的几何表示。
2018-01-23 cs.CV
Emotion Recognition from the perspective of Activity Recognition
The Pennsylvania State University（宾夕法尼亚州立大学）
本文从动作识别视角处理情感识别问题，提出一种带注意力机制的三流端到端深度学习回归流水线，通过提取关键帧和面部高注意力区域光流捕获时空信息，在AFEW-VA数据集上优于多个标准基线。
2024-03-24 cs.CV
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中，我们描述了我们在2019年的方法，主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征，我们使用语音谱图和Log Mel谱图来探索音频特征，并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面，我们探索了模态内和跨模态融合的方法，如设计注意力机制突出重要的情感特征，探索了跨模态特征融合的特征拼接和因子化双线性池（FBP）。经过仔细评估，我们在AFEW验证集上获得了65.5%，在测试集上获得了62.48%，在挑战中排名第三。
2020-12-27 cs.CV
Dimensional emotion recognition using visual and textual cues
Faculty of Engineering of University of Porto (FEUP)（波尔图大学工程学院）；INESC TEC（波尔图工程学院科技与高等研究中心）；Faculty of Science of University of Porto (FCUP)（波尔图大学理学院）；UCP-ESB（葡萄牙天主教大学商业经济学院）
本文讨论了一分钟渐进情绪行为挑战（OMG-情绪挑战）范围内的自动情绪识别问题。该挑战的基本目标是在二维情感表示空间（即，唤醒和效价）。所采用的方法是一个加权集成的几个模型，从视频和文本模式。对于基于视频的识别，两种不同类型的视觉提示（即，面部和面部标志）被认为是馈送多输入深度神经网络。关于文本模态，实现了基于简单循环架构的顺序模型。此外，我们还介绍了一个模型的基础上的高层次的功能，以嵌入领域知识的学习过程。在OMG-Emotion验证集上的实验结果证明了所实现的集成模型的有效性，因为它明显优于当前的基线方法。
2018-05-03 cs.AI cs.CL cs.CV
Beyond Words: Enhancing Desire, Emotion, and Sentiment Recognition with Non-Verbal Cues
本文提出SyDES框架，通过双向细粒度模态对齐和非语言线索利用，提升多模态欲望、情感和情感识别性能，实验显示在MSED基准上取得新的SOTA成果。
2026-03-16 cs.CL cs.CV
FAF: A novel multimodal emotion recognition approach integrating face, body and text
University of Nantong（南通大学）；Nanjing University of Science and Technology（南京理工大学）
多模态情感分析在情感识别中表现更好，依赖于更全面的情感线索和多模态情感数据集。在本文中，我们开发了一个大型的多模态情感数据集，命名为“HED”数据集，以促进情感识别任务，并相应地提出了一种多模态情感识别方法。为了提高识别的准确性，“特征后特征”的框架被用来探索关键的情感信息，从对齐的人脸，身体和文本样本。我们采用各种基准测试来评估“HED”数据集，并与我们的方法进行性能比较。实验结果表明，所提出的多模态融合方法的五类分类准确率达到83.75%，与单模态相比，性能分别提高了1.83%、9.38%和21.62%.有效地利用了各通道之间的互补性，提高了情感识别的性能。我们还建立了多通道在线情绪预测平台，旨在为更多用户提供免费的情绪预测。
2022-11-20 cs.AI cs.CV
From Coarse to Nuanced: Cross-Modal Alignment of Fine-Grained Linguistic Cues and Visual Salient Regions for Dynamic Emotion Recognition
Hangzhou Institute for Advanced Study（杭州先进研究院）
提出GRACE方法，通过整合动态运动建模、语义文本细化与token级跨模态对齐，精确定位情绪时空特征，在三个基准数据集上取得SOTA性能。
2025-07-16 cs.AI cs.CV cs.HC
Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种基于学习的方法来检测真实和虚假的deepfake多媒体内容。为了最大限度地提高学习信息，我们从同一视频中提取和分析两种音频和视觉模式之间的相似性。此外，我们提取和比较情感线索对应于感知的情感从两个模态内的视频，以推断输入视频是“真”还是“假”。我们提出了一个深度学习网络，灵感来自暹罗网络架构和三重丢失。为了验证我们的模型，我们报告了两个大规模deepfake检测数据集（DeepFake-TIMIT数据集和DFDC）的AUC度量。我们将我们的方法与几种SOTA deepfake检测方法进行了比较，并报告了DFDC和DF-TIMIT数据集上的每视频AUC分别为84.4%和96.6%。据我们所知，我们的方法是第一种同时利用音频和视频模式以及这两种模式的感知情感进行深度伪造检测的方法。
2020-08-01 cs.CV cs.LG cs.SD
XEmoGPT: An Explainable Multimodal Emotion Recognition Framework with Cue-Level Perception and Reasoning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；th Research Institute, China Electronics Technology Group Corporation（中国电子科技集团第五十四研究所）
XEmoGPT通过专门模块和大规模数据集提升多模态情感识别的可解释性和线索级推理能力。
2026-02-05 cs.AI cs.CV cs.MM
Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
Technical University of Munich（慕尼黑工业大学）；University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
情感表达本质上是多模态的--整合了面部行为、语音和凝视--但它们的自动识别通常限于单一模态，例如电话中的语音。虽然以前的工作提出了跨模态的情感嵌入，以提高单模态识别性能，尽管其重要性，明确表示的凝视不包括在内。我们提出了一种新的方法来情感识别，采用了明确的表示凝视的跨模态情感嵌入框架。我们证明了我们的方法在流行的一分钟渐进式情感识别数据集上的音频和视频情感分类方面优于以前的最新技术水平。此外，我们报告了广泛的消融实验，并提供了详细的见解不同的国家的最先进的凝视表示和整合策略的性能。我们的研究结果不仅强调了凝视对情感识别的重要性，而且还展示了一种实用且高效的方法来利用凝视信息完成这项任务。
2022-04-30 cs.CV cs.LG
Salience Adjustment for Context-Based Emotion Recognition
Computer Science, University of Southern California（计算机科学，南加州大学）
本文提出结合贝叶斯线索整合与视觉-语言模型的显著性调整框架，动态加权面部与情境信息，并在囚徒困境场景中验证其可提升情境感知情绪识别性能。
2025-07-17 cs.AI cs.CV
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
Temporal Label Hierachical Network for Compound Emotion Recognition
School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对复合情绪识别难题，本文提出时间金字塔网络与从粗到细的标签层次框架，利用DFEW细粒度标签，在ABAW竞赛中实现有效识别。
2024-07-17 cs.AI cs.CV
HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild
Harbin Engineering University（哈尔滨工程大学）；UCLA（加州大学洛杉矶分校）
情感计算在野外环境中的研究是以数据库为基础的。现有的多模态情感数据库在现实世界中的条件是少，小，有限的主题数量和表达在一种语言。为了满足这一要求，我们收集、注释并准备发布一个新的自然状态视频数据库（称为HEU Emotion）。HEU Emotion共包含19，004个视频片段，根据数据来源分为两部分。第一部分包含从Tumblr，Google和Giphy下载的视频，包括10种情绪和两种形式（面部表情和身体姿势）。第二部分包括从电影、电视剧和综艺节目中手工提取的语料，包括10种情绪和三种模态（面部表情、身体姿势和情绪言语）。HEU Emotion是迄今为止最广泛的多模态情感数据库，拥有9，951个主题。为了提供情感识别的基准，我们使用了许多传统的机器学习和深度学习方法来评估HEU Emotion。我们提出了一个多模态注意力模块来自适应地融合多模态特征。多模态融合后，两部分的识别准确率分别比单模态人脸表情识别提高了2.19%和4.01%。
2020-07-24 cs.CV cs.LG
Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group
Kent State University（肯特州立大学）
本文介绍了如何部署二面角群理论来检测面部关键点（FKP）对称性以识别情绪。该方法可以推广到具有相同数据纹理的其他领域。
2017-04-14 cs.CV cs.HC
Iterative Distillation for Better Uncertainty Estimates in Multitask Emotion Recognition
Hong Kong University of Science and Technology（香港科技大学）
当识别情绪时，情绪表现中的细微差别会产生情绪感知的模糊性或不确定性。情感不确定性以前被解释为多个注释者之间的评分者之间的分歧。在本文中，我们考虑了一个更常见和更具挑战性的场景：当只有单个情感标签可用时，对情感不确定性进行建模。从贝叶斯的角度来看，我们建议使用深度集成来捕获多个情感描述符的不确定性，即，动作单元、离散表达式标签和连续描述符。我们进一步应用迭代自蒸馏。多代迭代蒸馏显著提高了情感识别和不确定性估计的性能。我们的方法生成单个学生模型，该模型为域内样本提供准确的不确定性估计，并且生成可以检测域外样本的学生集合。我们使用Aff-wild 2数据集进行的情感识别和不确定性估计的实验表明，我们的算法比Temperature Scaling和Monte Carol Dropout给出了更可靠的不确定性估计。
2021-10-17 cs.CV cs.LG
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova（热那亚大学）
虽然心理学研究表明，身体表情传达重要的情感信息，但迄今为止，情感识别的研究主要集中在面部表情或语音分析上。在本文中，我们提出了一种方法，实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势，运动学和几何特征，并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统：一个professionalgrade光学运动捕捉系统，和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题，并使用leave-one-subject-out交叉验证策略，达到了61.3%的整体识别率，这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统，开发了两个游戏，其中一个或两个用户必须进行交互，以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition
Renmin University of China（中国人民大学）；National University of Singapore（新加坡国立大学）
由于标注成本高、标注模糊等原因，标注语料缺乏规模和多样性，阻碍了多模态情感识别研究。在本文中，我们提出了一个预训练模型\textbf{MEmoBERT}的多模态情感识别，学习多模态联合表示通过自监督学习从大规模的未标记的视频数据，在纯粹的体积。此外，与传统的“预训练，微调”范式不同，我们提出了一种基于martext的方法，将下游的情感分类任务重新定义为一个掩码文本预测任务，使下游任务更接近预训练。在IEMOCAP和MSP-IMPROV两个基准数据集上进行的大量实验表明，我们提出的MEmoBERT显著提高了情感识别性能。
2021-10-27 cs.CV eess.IV
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战，因为人类通过语言，视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比，我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法，直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能，视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
A Personalized Affective Memory Neural Model for Improving Emotion Recognition
University of Hamburg（汉堡大学）；Apprente Inc（Apprente公司）
最近的情感识别模型强烈依赖于有监督的深度学习解决方案来区分一般的情感表达。然而，当识别在线和个性化的面部表情时，它们并不可靠，例如，对个人情感的理解。在本文中，我们提出了一个基于条件对抗自动编码器的神经模型，以学习如何表示和编辑一般的情感表达。然后，我们提出Grow-When-Required网络作为个性化的情感记忆来学习情感表达的个性化方面。在\textit{in-the-wild}数据集上进行评估时，我们的模型在情感识别方面达到了最先进的性能。此外，我们的实验包括消融研究和神经可视化，以解释我们的模型的行为。
2020-05-31 cs.AI cs.CV
Temporal aggregation of audio-visual modalities for emotion recognition
University Politehnica of Bucharest（布加勒斯特理工大学）；Xperi Corporation（Xperi公司）
情感识别在情感计算和人机交互中具有举足轻重的作用。当前的技术发展导致收集关于人的情绪状态的数据的可能性增加。一般来说，人类对受试者传递的情绪的感知是基于在与受试者交互的第一秒中收集的声音和视觉信息。因此，言语的整合（即，语音）和非语言（即，图像）信息似乎是大多数当前情感识别方法中的优选选择。在本文中，我们提出了一个多模态融合技术的基础上结合视听模态从一个时间窗口与不同的时间偏移的每一个模态的情感识别。我们表明，我们提出的方法优于其他方法从文献和人类的准确性评级。实验在开放获取的多模态数据集CREMA-D上进行。
2020-07-08 cs.AI cs.CV
GPT-4V with Emotion: A Zero-shot Benchmark for Generalized Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Software Engineering Institute, Peking University（北京大学软件工程研究所）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本研究首次对GPT-4V在21个数据集、6项广义情感识别任务上进行零样本定量评估，发现其视觉理解与多模态整合能力强，但无法识别微表情，并开源代码以推动后续研究。
2024-03-18 cs.CV cs.MM
Augmenting Supervised Emotion Recognition with Rule-Based Decision Model
Louisiana State University（路易斯安那州立大学）
本研究的目的是发展基于规则的情感识别决策模型。这项研究还提出了使用规则，以增强跨语料库识别的准确性，在多模态系统，使用监督学习技术。这种基于学习的识别系统的分类器容易过拟合，并且仅在体内数据上表现良好。为了克服这一局限性，本研究提出使用基于规则的模型作为一个额外的模态。这些规则是使用来自视觉通道的原始特征数据开发的，基于人类注释者协议和将运动和姿势归因于情绪的现有研究。规则评估的结果在情感识别系统的决策阶段被合并。结果表明，基于规则的情感识别提高了基于学习的系统的识别精度，并且还提供了跨语料库情感测试数据的更好的识别率。
2016-07-09 cs.AI cs.CV cs.HC
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用，而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库，并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明，分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
Heterogeneous Knowledge Transfer in Video Emotion Recognition, Attribution and Summarization
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
情感是用户生成视频的关键元素。然而，由于用户生成的内容的复杂性和非结构化性质以及表达情感的视频帧的稀疏性，难以理解在这样的视频中传达的情感。在本文中，我们第一次研究了从异构外部源（包括图像和文本数据）传输知识的问题，以促进理解视频情感的三个相关任务：情感识别，情感归因和面向情感的摘要。具体来说，我们的框架（1）从辅助情感图像数据集学习视频编码，以提高监督视频情感识别，以及（2）从辅助文本语料库中转移知识，用于在训练期间看不到的情感类的zero-shot识别。所提出的知识转移技术促进了情感归因和面向情感的摘要的新应用。在多个数据集上进行的一系列实验证明了该框架的有效性。
2018-02-20 cs.AI cs.CV cs.MM
In-Depth Analysis of Emotion Recognition through Knowledge-Based Large Language Models
USC ICT（南加州大学 ICT）；California State Polytechnic Pomona（加州州立理工大学波莫纳分校）；audEERING GmbH（audEERING GmbH（德国音频技术公司））
本文提出结合贝叶斯线索整合与大语言模型情境知识的方法，在囚徒困境社交任务中实现接近人类水平的情感识别，验证了情境信息对自动情感识别的关键作用。
2024-07-17 cs.AI cs.CV cs.HC
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University（斯坦福大学）
人类能够理解来自多个领域的信息，例如语音，文本和视觉。随着深度学习技术的进步，语音识别有了显著的改进。从语音中识别情感是一个重要的方面，随着深度学习技术的发展，情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中，我们试图探索不同的神经网络，以提高情感识别的准确性。通过探索不同的架构，我们发现（CNN+RNN）+3D CNN多模型架构，该架构处理音频频谱图和相应的视频帧，使用IEMOCAP[2]数据集，在4种情绪中的情感预测准确率为54.0%，在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
An adversarial learning framework for preserving users' anonymity in face-based emotion recognition
Computer Science \& Engineering, Texas A\&M University
图像和视频捕捉技术已经渗透到我们的日常生活中。这些技术可以持续监测个人在现实生活中的表情，为我们提供关于他们情绪状态和转变的新见解，从而为新型健康和医疗保健应用铺平道路。然而，由于强烈的隐私问题，这种技术的使用受到强烈的怀疑，因为目前基于面部的情感识别系统依赖于深度学习技术，除了特定于情感的信息之外，倾向于保留与用户身份相关的大量信息。本文提出了一种对抗性学习框架，该框架依赖于通过迭代过程训练的卷积神经网络（CNN）架构，用于最小化特定身份信息和最大化情感相关信息。所提出的方法通过情感分类和面部识别指标进行评估，并与两个CNN进行比较，一个CNN仅用于情感识别，另一个CNN仅用于面部识别。实验使用Yale Face Dataset和Japanese Female Facial Expression Database进行。实验结果表明，该方法可以学习卷积变换，在保持情感识别准确性的同时降低人脸身份识别的质量，为隐私感知的情感识别技术提供了基础。
2020-01-16 cs.CV cs.LG stat.ML
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
本文提出利用基于 FACS 的面部动作单元（AUs）识别技术来扩展情感识别能力，并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Multi-Modal Emotion recognition on IEMOCAP Dataset using Deep Learning
LG Silicon Valley Lab（LG硅谷实验室）；Uber Technologies（优步科技）；Recognition Technologies, Inc.（识别技术公司）
随着对行为各个方面建模技术的不断改进，情感识别已经成为人机交互研究的一个重要领域。随着技术的进步，我们对情感的理解也在不断深入，对自动情感识别系统的需求也越来越大。研究的方向之一是使用神经网络，它擅长于估计依赖于大量和不同来源的输入数据的复杂函数。在本文中，我们试图利用这种有效性的神经网络，使我们能够执行多模式的情绪识别IEMOCAP数据集使用的数据从语音，文本和运动捕捉数据的面部表情，旋转和手部运动。先前的研究集中在IEMOCAP数据集上的语音情感检测上，但我们的方法是第一个使用IEMOCAP提供的多种数据模式进行更强大和准确的情感检测的方法。
2019-11-06 cs.AI cs.CV cs.HC
Context-Aware Emotion Recognition Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
传统的情感识别技术只关注面部表情分析，因此提供有限的能力来编码全面表示情感反应的上下文。我们提出了用于上下文感知情感识别的深度网络，称为CAER-Net，它不仅利用人类面部表情，还以联合和增强的方式利用上下文信息。其核心思想是在视觉场景中隐藏人脸，并基于注意力机制寻找其他上下文。我们的网络由两个子网络组成，包括分别提取人脸和背景区域特征的二流编码网络，以及以自适应方式融合此类特征的自适应融合网络。我们还介绍了一种新的基准上下文感知的情感识别，称为CAER，这是更适当的比现有的基准定性和定量。在几个基准测试中，CAER-Net证明了上下文对情感识别的影响。我们的数据集可以在http://caer-dataset.github.io上找到。
2019-08-16 cs.CV cs.HC cs.MM
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California（南加州大学）
在本文中，我们介绍了一个预训练的视听Transformer，它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的，用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息，并应用于情感识别。我们在两个数据集上评估了模型的性能，即CREMAD-D（情感分类）和MSP-IMPROV（连续情感回归）。实验结果表明，与从头开始训练的相同模型相比，微调预训练模型有助于将情感分类准确率提高5-7%，连续情感识别中的一致性相关系数（CCC）提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下，微调预训练模型可以使情感识别准确率提高至少10%，并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Multi-Cue Adaptive Emotion Recognition Network
Universidade Federal de Pernambuco（伯南布哥联邦大学）；University of Montreal（蒙特利尔大学）；Northwestern University（西北大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
通过面部和身体表情表达和识别情绪是社交互动的重要组成部分。情感识别是计算机视觉中的一项重要任务，因为它的各种应用，主要是为了允许人类和机器之间更自然的交互。常用的情感识别方法主要集中在面部表情分析上，需要对图像中的人脸进行自动定位。虽然这些方法可以正确地对受控场景中的情绪进行分类，但在处理不受约束的日常交互时，这些技术是有限的。我们提出了一种新的深度学习方法，用于基于自适应多线索的情感识别，该方法从人类在社交和交流中常用的上下文和身体姿势中提取信息。我们将所提出的方法与CAER-S数据集中最先进的方法进行比较，评估管道中的不同组件，准确率达到89.30%
2021-12-14 cs.CV cs.HC cs.MM
Developing emotion recognition for video conference software to support people with autism
Ravensburg-Weingarten University（拉芬斯堡-魏恩加腾大学）
本文开发了一款基于面部关键点和神经网络的模块化情绪识别软件，可集成到视频会议系统中，帮助自闭症患者实时识别他人情绪。
2021-01-26 cs.AI cs.CV cs.LG
Real-time emotion recognition for gaming using deep convolutional network features
Université de Montréal（蒙特利尔大学）
本研究的目标是探索深度卷积网络特征在情感识别中的应用。结果表明，它们的表现与其他已发表的模型相似，最佳识别率为94.4%，并且使用单个静止图像而不是视频流。还描述了情感反馈游戏的实现，其中使用这些特征的分类器实时的【形】跟踪玩家的面部表情。
2014-08-16 cs.CV cs.LG cs.NE
A Multi-component CNN-RNN Approach for Dimensional Emotion Recognition in-the-wild
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
本文介绍了我们的方法，一分钟的渐进式情感识别（OMG情感）的挑战，专注于通过视觉分析所提供的情感视频的维度情感识别。该方法基于卷积和递归（CNN-RNN）深度神经架构，我们为相关的大型AffWild情感数据库开发了该架构。我们扩展并调整了这种架构，让RNN神经网络探索CNN组件中生成的多个特征的组合。我们的目标是在OMG-Emotion视觉验证数据集上获得最佳性能，同时学习相应的视觉训练数据集。扩展的实验已经导致了最好的架构，用于估计这些数据集上的效价和唤醒情绪维度的值。
2019-12-13 cs.AI cs.CV cs.HC
