CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology (HUST)（华中科技大学人工智能与自动化学院）；Institute of Artificial Intelligence, HUST（华中科技大学人工智能研究院）；Hubei Key Laboratory of Brain-inspired Intelligent Systems, HUST（华中科技大学湖北省脑启发智能系统重点实验室）；Key Laboratory of Image Processing and Intelligent Control (HUST), Ministry of Education（华中科技大学图像信息处理与智能控制教育部重点实验室）
针对现有多模态对话情绪识别方法未区分模态情绪信息量、忽略情绪转移信息的问题，提出带情绪转移感知的跨模态融合网络CFN-ESA，通过主次模态融合与情绪转移建模提升识别性能，效果优于现有最优模型。
2024-04-13 cs.CL
Multimodal Emotion Recognition among Couples from Lab Settings to Daily Life using Smartwatches
夫妻通常一起管理慢性病，这种管理会对患者和他们的浪漫伴侣造成情感上的损失。因此，认识到每个合作伙伴在日常生活中的情绪可以提供他们在慢性病管理中的情绪健康的见解。目前，在实验室和日常生活中，使用自我报告来推断伴侣的情绪，这对于连续的情绪评估或观察者报告来说是不实际的，这些报告是手动的，时间密集的，并且成本高昂。目前，还没有关于夫妻情感识别的全面综述。此外，夫妻间情感识别的方法（1）集中在美国讲英语的夫妻，(2)使用从实验室收集的数据，（3）使用观察者评级而不是合作伙伴的自我报告/主观情绪进行识别。在本论文所包含的这部分工作中（8篇论文- 5篇已发表，3篇目前正在各种期刊上发表），我们填补了目前关于夫妻情绪识别的文献空白，使用来自1，051人的161小时数据开发情绪识别系统，并为将夫妻情绪识别从实验室现状带到日常生活做出贡献。这篇论文有助于建立自动情绪识别系统，最终使合作伙伴能够监控他们在日常生活中的情绪，并能够提供干预措施，以改善他们的情绪健康。
2022-12-21 cs.CL cs.HC cs.LG
Climate and Weather: Inspecting Depression Detection via Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）
自动抑郁检测已经吸引了越来越多的关注，但仍然是一个具有挑战性的任务。心理学研究表明，抑郁情绪与情绪的表达和感知密切相关，这激发了人们对情绪识别知识是否可以转移到抑郁检测中的研究。本文将情感识别模型中提取的预训练特征用于抑郁检测，并进一步将情感模态与音频、文本融合，形成多模态抑郁检测。所提出的情感转移提高了DAIC-WOZ的抑郁检测性能，并增加了训练稳定性。分析抑郁个体表达的情绪如何被进一步感知，为进一步理解抑郁与情绪的关系提供了线索。
2022-05-05 cs.CL
Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition
School of computer and Information Engineering, Central South University of Forestry and Technology（中南林业科技大学计算机与信息工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；State University of New York（纽约州立大学）
本文提出AR-IIGCN方法，通过对抗表示消除模态异质性，并利用模态内与模态间图对比学习捕获互补语义和类别边界信息，在IEMOCAP和MELD数据集上显著提升多模态情感识别准确率。
2024-08-31 cs.CL
UniMEEC: Towards Unified Multimodal Emotion Recognition and Emotion Cause
Peking University（北京大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Arizona State University（亚利桑那州立大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Copenhagen（哥本哈根大学）
针对现有研究割裂多模态情感识别与情感原因抽取关联的问题，提出统一框架UniMEEC，通过掩码预测重构任务、多模态因果提示实现跨任务跨模态交互，在四个基准上超越现有最优方法。
2024-10-09 cs.CL
EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in Hindi for Emotion Recognition in Dialogues
Indian Institute of Technology Patna（印度理工学院巴特那分校）
人工智能（AI）的长期目标是创建类似人类的对话系统。这样的系统应该有能力发展与用户的情感联系，因此在对话中的情感识别是一个重要的任务。在对话中的情感检测是一项具有挑战性的任务，因为人类通常在一个单一的话语中传达不同程度的强度的多种情感。此外，对话的话语中的情感可能取决于使任务更复杂的先前话语。情感识别一直都有很大的需求。然而，大多数现有的会话中的多标签情感和强度检测数据集都是英文的。为此，我们在印地语中创建了一个大型会话数据集，名为MindInHindi，用于包含1，814个对话的会话中的多标签情感和强度识别，总共有44，247个话语。我们准备我们的数据集在绿野仙踪的方式为犯罪受害者的心理健康和法律咨询。对话的每个话语都用来自16个情感类别的一个或多个情感类别（包括中性）及其相应的强度值进行注释。我们还提出了强上下文基线，可以检测情感（S）和相应的强度的话语给定的会话上下文。
2022-05-27 cs.CL
Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA
Brazilian Network Information Center (NIC.br)（巴西网络信息中心 (NIC.br)）；Pontifical Catholic University of São Paulo (PUC-SP)（圣保罗天主教大学 (PUC-SP)）
本文研究了如何将自然语言理解（NLU）应用于情感计算中的一个特定任务--情感识别。我们使用细粒度的情感数据集对不同的Transformers语言模型（BERT、DistilBERT、RoBERTa、XLNet和ELECTRA）进行了微调，并根据性能（f1分数）和完成时间对它们进行了评估。
2021-04-05 cs.CL
Reusing Neural Speech Representations for Auditory Emotion Recognition
University of Hamburg（汉堡大学）
声学情感识别的目的是对说话人的情感状态进行分类，对于机器学习模型来说仍然是一个困难的任务。困难来自于训练数据的稀缺性，情感感知中的普遍主观性导致低注释者一致性，以及关于哪些特征是最相关和最鲁棒的分类特征的不确定性。在本文中，我们将解决后一个问题。受最近成功的迁移学习方法的启发，我们提出了一套架构，利用大型语音数据库上的训练推断的声学情感识别任务的神经表示。我们在IEMOCAP数据集上的实验显示，与经过端到端情感识别训练的基线递归神经网络相比，准确度和F1得分相对提高了约10%。
2018-03-30 cs.CL
MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations
National University of Singapore（新加坡国立大学）；Instituto Politécnico Nacional（墨西哥国立理工学院）；Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
会话中的情感识别是一项具有挑战性的任务，最近由于其潜在的应用而受到欢迎。然而，到目前为止，一个大规模的多模式多方情感对话数据库，每个对话包含两个以上的发言人是失踪的。因此，我们提出了多模态的平行线数据集（MELD），平行线的扩展和增强。MELD包含了电视剧《老友记》中1，433段对话中的13，000句话语。每个话语都用情感和情感标签进行注释，并包含音频，视觉和文本模态。我们提出了几个强大的多模态基线，并显示上下文和多模态信息的重要性，在对话中的情感识别。完整的数据集可以在http：//affective-meld.github.io上使用。
2019-06-04 cs.CL
Cross-modal Context Fusion and Adaptive Graph Convolutional Network for Multimodal Conversational Emotion Recognition
School of Astronautics Northwestern Polytechnical University Xi'an, China；School of Software Northwestern Polytechnical University Xi'an, China
本文提出一种多模态对话情感识别方法，通过跨模态上下文融合模块减少模态干扰，并利用自适应图卷积模块提取说话者依赖关系，在基准数据集上取得高准确率。
2025-01-25 cs.CL
ArPanEmo: An Open-Source Dataset for Fine-Grained Emotion Recognition in Arabic Online Content during COVID-19 Pandemic
Taif University（泰夫大学）；College of Computers and Information Technology（计算机与信息技术学院）
本文提出ArPanEmo数据集，包含11,128条阿拉伯语COVID-19相关在线帖子，经半自动筛选与人工细粒度情感标注，成为该领域首个且规模最大的公开数据集。
2023-05-27 cs.CL
EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
我们现在介绍的是贝尔特塔：对话中的说话者感知情感识别与Roberta，解决ERC（会话中的情感识别）任务的简单而富有表现力的方案。通过简单地将说话者姓名前置到话语并在对话中的话语之间插入分离标记，MIBERTa可以学习说话者内和说话者间的状态和上下文，以端到端的方式预测当前说话者的情绪。我们的实验表明，我们达到了一个新的艺术状态的两个流行的ERC数据集使用一个基本的和直接的方法。我们已经在https://github.com/tae898/erc上开源了我们的代码和模型。
2021-08-26 cs.CL
SEOVER: Sentence-level Emotion Orientation Vector based Conversation Emotion Recognition Model
Central South University（中南大学）；Prevision Technology Limited（预视科技有限公司）；Hunan University（湖南大学）
针对会话情感识别中说话人关系建模的不足，本文提出了一种新的表达范式--句子情感倾向向量，用于描述句子向量之间潜在的情感相关性。在此基础上，设计了一个情感识别模型，该模型从语言模型中提取说话人情感倾向向量，并与对话情感分析模型和提取的说话人情感倾向向量联合学习，以识别说话人在会话过程中的情感倾向。我们在两个基准数据集上进行了实验，并将其与五个基线模型进行了比较，实验结果表明，我们的模型在所有数据集上都有更好的性能。
2021-12-22 cs.AI cs.CL
Akan Cinematic Emotions (ACE): A Multimodal Multi-party Dataset for Emotion Recognition in Movie Dialogues
IT University of Copenhagen（丹麦技术大学）；Columbia University（哥伦比亚大学）
本文提出首个面向非洲语言阿坎语的多模态多方电影对话情感数据集 ACE，包含 385 个对话、6,162 条话语及词级韵律标注，并通过实验验证其质量与实用性，为低资源语言情感识别研究奠定基础。
2025-06-02 cs.CL
Multilogue-Net: A Context Aware RNN for Multi-modal Emotion Detection and Sentiment Analysis in Conversation
NVIDIA Graphics（NVIDIA图形公司）
会话中的情感分析和情感检测是几个现实世界应用的关键，可用的模态增加有助于更好地理解潜在的情感。多模态情感检测和情感分析可能特别有用，因为应用程序将能够根据可用数据使用可用模态的特定子集。处理多模态功能的当前系统未能利用和捕获通过所有模态的对话的上下文、收听者和说话者情感状态之间的依赖性以及可用模态之间的相关性和关系。在本文中，我们提出了一个端到端的RNN架构，试图考虑到所有提到的缺点。在撰写本文时，我们提出的模型在各种准确性和回归指标上的基准数据集上的表现优于最先进的模型。
2020-06-22 cs.CL cs.LG cs.SD
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Implicit Design Choices and Their Impact on Emotion Recognition Model Development and Evaluation
Contextual AI
本文研究了情感识别中数据集、标签、建模和评估的挑战，通过构建引入压力源的数据集、利用对抗网络隔离压力因素与剥离敏感人口统计信息，并优化评估指标，推动了鲁棒且实用的情感识别模型的发展。
2023-09-06 cs.CL cs.LG cs.SD
Using Knowledge-Embedded Attention to Augment Pre-trained Language Models for Fine-Grained Emotion Recognition
National University of Singapore（新加坡国立大学）；Agency for Science, Technology and Research（新加坡科技研究局）
现代情绪识别系统被训练成只能识别一小部分情绪，因此无法捕捉人们在日常生活中体验和表达的广泛情绪。为了进行更多的移情互动，未来的人工智能必须执行\textit{fine-grained}情感识别，区分更多不同的情感。在这里，我们专注于通过将外部知识引入预先训练的自我注意力模型来提高细粒度的情感识别。我们提出了知识嵌入注意力（KEA）使用知识的情感词汇，以增加从预先训练的ELECTRA和BERT模型的上下文表示。我们的结果和误差分析在几个数据集上优于以前的模型，并且能够更好地区分容易混淆的情绪，例如害怕和恐惧。
2021-07-31 cs.AI cs.CL
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
The Emotion is Not One-hot Encoding: Learning with Grayscale Label for Emotion Recognition in Conversation
Kakao Enterprise Corp.（Kakao 企业公司）
会话中的情感识别（ERC）通过考虑先前的上下文来预测当前话语的情感，这可以用于许多自然语言处理任务。虽然多种情绪可以共存于一个给定的句子，大多数以前的方法采取的分类任务的角度来预测只有一个给定的标签。然而，给句子的情感贴上自信的标签或多标签，成本高，难度大。在本文中，我们自动构建一个考虑情绪之间的相关性的灰度标签，并将其用于学习。也就是说，我们不是使用给定的标签作为独热编码，而是通过测量不同情绪的分数来构建灰度标签。我们介绍了几种方法来构建灰度标签，并确认每种方法提高了情感识别性能。我们的方法简单，有效，普遍适用于以前的系统。实验表明，基线的性能显着改善。
2022-06-16 cs.AI cs.CL
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Bias in Emotion Recognition with ChatGPT
Microsoft（微软）
本文通过实验评估 ChatGPT 在不同数据集和情绪标签上的文本情绪识别性能，发现其表现受数据集与标签选择影响并存在偏差，同时证明微调可显著提升识别能力。
2023-12-04 cs.CL cs.RO
A benchmark for joint dialogue satisfaction, emotion recognition, and emotion state transition prediction
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（人工智能研究所（TeleAI））；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语种认知计算联合国际实验室）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息处理重点实验室）
本文提出一个中文对话数据集，用于联合预测对话满意度、情绪识别和情绪状态转移。
2026-02-10 cs.AI cs.CL
EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
Fudan University（复旦大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；Beijing Yuandian Technology（北京原点科技）；School of Engineering and Applied Science, University of Pennsylvania（宾夕法尼亚大学工程与应用科学学院）
本文提出EmotionQueen框架，通过四项任务和两项指标评估大型语言模型的情感智能，揭示其共情能力与局限。
2024-09-20 cs.AI cs.CL
Towards Emotion Recognition: A Persistent Entropy Application
University of Seville（塞维利亚大学）
情感识别和分类是一个非常活跃的研究领域。在本文中，我们提出了第一种方法，情感分类使用持久熵和支持向量机。应用基于拓扑的模型从每个原始信号获得单个实数。这些数据被用作支持向量机的输入，以将信号分类为8种不同的情绪（平静、快乐、悲伤、愤怒、恐惧、厌恶和惊讶）。
2018-11-21 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
EmoCaps: Emotion Capsule based Model for Conversational Emotion Recognition
Central South University（中南大学）；Hunan University（湖南大学）
会话中的情感识别（ERC）旨在分析会话中说话者的状态，识别他们的情感。近年来的ERC研究主要关注语境建模，而忽视了语境情感倾向的表征。为了有效地提取多模态信息和话语的情感倾向，本文提出了一种新的情感胶囊结构-此外，我们设计了一个端到端的ERC模型，称为ERC Caps，它提取的情感向量，通过一个上下文分析模型，从上下文结构和获得的情感分类结果。通过两个基准数据集的实验，我们的模型表现出更好的性能比现有的国家的最先进的模型。
2022-03-25 cs.CL cs.SD eess.AS
Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data
情感识别已经成为一个热门的研究课题，特别是在人机交互领域。以前的工作涉及单峰分析的情绪，而最近的努力集中在多模态的情绪识别从视觉和语音。在本文中，我们提出了一种新的方法，使用卷积注意力网络来学习语音和文本数据之间的隐藏表示。与采用简单的特征向量拼接的浅层模型相比，所提出的注意力模型在从CMU-MOSEI数据集中包含的语音和文本数据中分类情感方面表现得更好。
2019-03-08 cs.AI cs.CL cs.HC
Centering Emotion Hotspots: Multimodal Local-Global Fusion and Cross-Modal Alignment for Emotion Recognition in Conversations
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（杭州高等研究 institute，中国科学院大学）
针对对话情感识别中证据稀疏与模态异步问题，提出以情感热点为中心的统一模型，通过热点门控融合与路由混合对齐器实现局部-全局融合及跨模态对齐，在标准基准上超越强基线。
2025-10-07 cs.AI cs.CL
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
An Empirical Study and Improvement for Speech Emotion Recognition
Nanjing University（南京大学）
本文研究多模态语音情感识别中音频与文本的融合策略，提出一种由视角损失改进的模型，在IEMOCAP数据集上达到新的最先进水平。
2023-04-08 cs.CL cs.SD eess.AS
Multimodal Emotion Recognition with High-level Speech and Text Features
Tokyo Institute of Technology（东京工业大学）
自动情感识别是人机交互领域的核心问题之一，因为它可以弥合人类和机器之间的差距。目前的工作是在低级数据表示上训练深度学习模型，以解决情感识别任务。由于情感数据集通常具有有限的数据量，因此这些方法可能会遭受过拟合，并且它们可能基于表面线索进行学习。为了解决这些问题，我们提出了一种新的交叉表示语音模型，灵感来自于解纠缠表示学习，对wav2vec 2.0语音特征进行情感识别。我们还训练了一个基于CNN的模型，以从基于Transformer的模型提取的文本特征中识别情感。我们进一步结合基于语音和基于文本的结果与分数融合的方法。我们的方法在IEMOCAP数据集上进行了4类分类问题的评估，它超越了目前的工作，仅语音，仅文本和多模态情感识别。
2021-09-29 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
ASR-based Features for Emotion Recognition: A Transfer Learning Approach
Numediart Institute（Numediart研究所）；University of Mons（蒙斯大学）
在过去的十年中，深度学习极大地改善了信号处理的应用。然而，影响计算的领域，如情感语音合成或口语情感识别仍然具有挑战性。在本文中，我们研究了使用神经自动语音识别（ASR）作为情感识别的特征提取器。我们表明，这些功能优于eGeMAPS功能集预测的效价和唤醒情绪的尺寸，这意味着音频到文本映射学习的ASR系统包含的信息，在自发语音的情绪尺寸。我们还研究了ASR的第一层（更接近语音）和最后一层（更接近文本）与效价/唤醒之间的关系。
2018-06-01 cs.AI cs.CL cs.SD
Speech Emotion Recognition Considering Local Dynamic Features
Tianjin University（天津大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
近年来，语音情感识别的研究越来越受到重视，其中大多数使用话语的全局声学特征来消除内容差异。然而，言语情感的表达是一个动态的过程，它通过说话时的动态时长、能量等韵律信息来体现。本文提出了一种新的局部动态基音概率分布特征，该特征是通过绘制直方图得到的，用于提高语音情感识别的准确率。与以往大多数使用全局特征的方法相比，该方法利用了情感语音所传达的局部动态信息。在柏林情感语音数据库上的实验验证了该方法的有效性。实验结果表明，该方法获得的局部动态信息比传统的全局特征更有效地用于语音情感识别。
2018-03-21 cs.AI cs.CL cs.HC
Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning
Mercedes-Benz Research & Development, Daimler AG（梅赛德斯-奔驰研发中心，戴姆勒股份公司）；University of Stuttgart（斯图加特大学）
人类对情感的识别是一个复杂的过程，需要考虑多种相互作用的信号，如面部表情和话语的韵律和语义内容。通常，对情绪的自动识别的研究，除了少数例外，仅限于一种模态。我们描述了一个车内实验的情感识别语音交互的三种方式：语音交互的音频信号，驾驶员的脸的视觉信号，和手动转录的内容的话语的驱动程序。我们使用现成的工具，在音频和面部的情感检测和比较，神经迁移学习的方法，从文本中的情感识别，利用现有的资源从其他领域。我们看到，迁移学习使基于域外语料库的模型表现良好。这种方法在F1中贡献了高达10个百分点，在情绪快乐，烦恼和不安全感中有高达76个微平均F1。我们的研究结果还表明，现成的工具分析面部和音频还没有准备好在车内语音交互的情感检测，没有进一步的调整。
2019-09-09 cs.CL cs.HC eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University（武汉大学）；Tianjin University（天津大学）
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同，有效的说话人敏感话语表示是CER的一个主要挑战。在本文中，我们利用说话人辨识（SI）作为一个辅助任务，以提高在会话中的话语表示。通过这种方法，我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明，该架构是非常有效的CER，获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
Emotion-Anchored Contrastive Learning Framework for Emotion Recognition in Conversation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文提出情感锚定对比学习框架EACL，利用标签编码作为锚点并设计辅助损失与适配过程，有效区分相似情感，在对话情感识别中取得最先进性能。
2024-03-29 cs.CL cs.SD eess.AS
Unifying the Discrete and Continuous Emotion labels for Speech Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
传统上，在用于从语音中检测情感的语言学分析中，已经用离散或维度（连续值）标签来识别情感。因此，已经提出的用于情感检测的模型使用这些标签类型中的一个或另一个。然而，像罗素和普鲁奇克这样的心理学家提出了统一这些观点的理论和模型，认为这些表征具有共享和互补的信息。本文试图通过计算来验证这些观点。为此，我们提出了一个模型来联合预测连续和离散的情感属性，并展示了如何利用这些属性之间的关系来提高情感识别任务的鲁棒性和性能。我们的方法包括多任务和分层多任务学习框架，共同建模连续值和离散情感标签之间的关系。在两个广泛使用的基于语音的情感识别数据集（IEMOCAP和MSPPodcast）上的实验结果表明，我们的模型在统计上显著提高了非统一方法的强基线性能。我们还证明了使用一种类型的标签（离散或连续值）进行训练可以提高使用其他类型标签的任务的识别性能。实验结果和推理这种方法（称为不匹配的训练方法）也。
2022-10-29 cs.AI cs.CL cs.SD
Multimodal Emotion Recognition for One-Minute-Gradual Emotion Challenge
Ping An, Gamma Lab（平安伽马实验室）
以唤醒和效价为模型的连续维度情绪可以刻画复杂的情绪变化。在本文中，我们提出了我们的工作唤醒和效价预测一分钟渐进（OMG）情绪挑战。首先使用各种声学、视频和文本模型从视频中提取多模态表示，然后使用支持向量机（SVM）对多模态信号进行融合以进行最终预测。我们的解决方案实现了一致相关系数（CCC）得分分别为0.397和0.520的唤醒和效价的验证数据集，这优于基线系统的最佳CCC得分为0.15和0.23的唤醒和效价的大幅度。
2018-05-03 cs.AI cs.CL cs.CV
Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction
MIT（麻省理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA Research（英伟达研究）
本文系统研究了基于LLM的语音情感识别，提出融合多学科知识的情感特定提示与Revise-Reason-Recognize提示流水线以应对ASR错误，并验证了多种LLM训练方案的有效性，旨在完善LLM在情感识别及相关领域的应用。
2025-04-30 cs.AI cs.CL cs.MM
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题，提出情感惯性引导监督对比学习模块EII-SCL，通过构建受惯性影响样本为对比目标提供信息，利用情感惯性先验，无需额外数据，与现有模型无缝集成，实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM
