Emotion Recognition from Microblog Managing Emoticon with Text and Classifying using 1D CNN
Khulna University of Engineering & Technology(库尔纳工程技术大学);Gunma University(群马大学)
微博是一种基于网络的传播媒介,是人们广泛使用的分享思想和观点的论坛。近年来,微博的情绪识别在各个领域都是一个很有启发性的研究课题。在机器学习领域,从微博中自动识别情感是一项具有挑战性的任务,特别是,考虑到不同的内容,以获得更好的结果。微博文本中的缩略语变得非常普遍,因为它强化了内容的意义。本文提出了一种同时考虑文本和表情符号的微博情感识别方法。图标被认为是用户情感的独特表达,可以通过适当的情感词来改变。该方法保留了微博数据中出现的表情符号的连续性,并采用一维卷积神经网络(CNN)进行情感分类。实验结果表明,所提出的情感识别方案优于其他现有的方法,而测试的Twitter数据。
2023-01-08 cs.LG
Speaker Normalization for Self-supervised Speech Emotion Recognition
IBM Research AI(IBM研究院人工智能部门)
大的语音情感识别数据集很难获得,小的数据集可能包含偏见。而基于深度网络的分类器则倾向于利用这些偏见,并找到说话者特征等捷径。这些捷径通常会损害模型的泛化能力。为了解决这一挑战,我们提出了一个基于梯度的对手学习框架,学习语音情感识别任务,同时规范化扬声器的特征表示。我们证明了我们的方法在独立于说话者和依赖于说话者的设置上的有效性,并在具有挑战性的IEMOCAP数据集上获得了新的最先进的结果。
2022-11-06 cs.LG
Adaptive Progressive Attention Graph Neural Network for EEG Emotion Recognition
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);School of Artificial Intelligence(人工智能学院);Xidian University(西安电子科技大学)
提出自适应渐进式注意力图神经网络(APAGNN),通过三个专门专家逐步分析大脑拓扑结构并结合权重生成器整合输出,在多个数据集上提升了EEG情绪识别性能。
2025-04-29 cs.LG eess.SP
Progressive Graph Convolution Network for EEG Emotion Recognition
Xidian University(西安电子科技大学);Southeast University(东南大学);Beijing Institute of Mechanical Equipment(北京机械设备研究所)
神经科学领域的研究揭示了情绪模式与脑功能区之间的关系,表明不同脑区之间的动态关系是影响通过脑电图(EEG)确定的情绪识别的重要因素。此外,在EEG情感识别中,我们可以观察到,基于相同的EEG数据,粗粒度情感之间的边界比细粒度情感之间的边界更清晰;这表明大的粗粒度和小的细粒度情感变化的同时发生。因此,从粗到细粒度类别的渐进分类过程可能有助于EEG情感识别。因此,在这项研究中,我们提出了一个渐进的图形卷积网络(PGCN)的EEG情感信号中捕捉这一固有特性,并逐步学习的歧视性EEG功能。为了适应不同的EEG模式,我们构建了一个双图模块来表征不同EEG通道之间的内在关系,包含了神经科学研究中大脑区域的动态功能连接和静态空间邻近信息。此外,出于对粗粒度和细粒度情感之间关系的观察,我们采用了双头模块,使PGCN能够逐步学习更多的判别性EEG特征,从粗粒度(容易)到细粒度类别(困难),指的是情感的层次特征。为了验证我们的模型的性能,我们在两个公共数据集上进行了大量的实验:SEED-IV和多模态生理情感数据库(MPED)。
2021-12-14 cs.AI cs.CV cs.HC
Gaze-enhanced Crossmodal Embeddings for Emotion Recognition
Technical University of Munich(慕尼黑工业大学);University of Stuttgart(斯图加特大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
情感表达本质上是多模态的--整合了面部行为、语音和凝视--但它们的自动识别通常限于单一模态,例如电话中的语音。虽然以前的工作提出了跨模态的情感嵌入,以提高单模态识别性能,尽管其重要性,明确表示的凝视不包括在内。我们提出了一种新的方法来情感识别,采用了明确的表示凝视的跨模态情感嵌入框架。我们证明了我们的方法在流行的一分钟渐进式情感识别数据集上的音频和视频情感分类方面优于以前的最新技术水平。此外,我们报告了广泛的消融实验,并提供了详细的见解不同的国家的最先进的凝视表示和整合策略的性能。我们的研究结果不仅强调了凝视对情感识别的重要性,而且还展示了一种实用且高效的方法来利用凝视信息完成这项任务。
2022-04-30 cs.CV cs.LG
Cross Domain Emotion Recognition using Few Shot Knowledge Transfer
Stanford University(斯坦福大学);University of Southern California(南加州大学)
由于情感分类的多样性、缺乏可靠的不同领域的标注数据以及高度主观的标注标准,文本中的情感识别是一项具有挑战性的任务。Few-Shot和zero-shot技术可以通过将文档和情感标签投影到共享的嵌入空间上来概括不可见的情感。在这项工作中,我们探索了Few-Shot情感识别的任务,通过使用不同的情感表示方法,将从GoEmotions Reddit数据集的监督中获得的知识转移到SemEval tweets语料库中。结果表明,使用外部知识库和微调编码器的知识转移执行监督基线,需要来自任务数据集的最小监督。
2021-10-11 cs.CL cs.LG
A Survey on Physiological Signal Based Emotion Recognition
生理信号是情感识别最可靠的信号形式,因为它们不能被受试者故意控制。现有的基于生理信号的情感识别综述文章只调查了情感识别工作流程中涉及的常规步骤,如预处理,特征提取和分类。虽然这些都是重要的步骤,但这些步骤是任何信号处理应用所必需的。情感识别提出了自己的一系列挑战,这些挑战对于一个强大的系统来说非常重要。因此,在现有的文献中,弥合差距,在本文中,我们回顾了受试者间的数据方差对情绪识别的影响,重要的数据注释技术的情绪识别和它们的比较,数据预处理技术的每个生理信号,数据分裂技术,以提高情绪识别模型的泛化和不同的多模态融合技术和它们的比较。最后,我们讨论了这一领域的主要挑战和未来的发展方向。
2022-05-20 cs.AI cs.HC cs.LG
Angry or Climbing Stairs? Towards Physiological Emotion Recognition in the Wild
University of Kassel(卡塞尔大学)
从生理信号推断情绪在过去几年中获得了很大的牵引力。然而,对情绪的生理反应通常会受到身体活动的干扰和重叠,这对野外情绪识别提出了挑战。在本文中,我们通过研究对基于物理的干扰不敏感的情感识别的新特征和机器学习模型来解决这一挑战。我们记录了18名参与者的生理信号,这些参与者在进行身体活动之前和期间暴露于情绪,以评估非敏感情绪识别模型的性能。我们用最少的体力活动(坐着)训练模型,并用剩下的更疲惫的活动进行测试。对于三种不同的情绪类别,我们实现了分类准确率从47.88% - 73.35%的选择功能集和每个参与者。此外,我们还调查了所有参与者和每项活动的表现。在这方面,我们取得了类似的结果,在55.17%和67.41%之间,表明情绪识别模型的可行性不受单一的身体活动的影响。
2018-11-12 cs.HC cs.LG
Study on Feature Subspace of Archetypal Emotions for Speech Emotion Recognition
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室(TNList))
特征子空间选择是语音情感识别中的一个重要环节。大多数的研究都致力于寻找一个代表所有情绪的特征子空间。然而,一些研究表明,与不同情绪相关的特征并不完全相同。因此,传统的方法可能无法区分一些情绪只有一个全局特征子空间。在这项工作中,我们提出了一个新的分而治之的思想来解决这个问题。首先,每两个不同的情感(情感对)的所有组合构造的特征子空间。然后分别在这些特征子空间上训练双分类器。最终的情感识别结果是由投票和竞争的方法。实验结果表明,该方法比传统的多分类方法具有更好的分类效果。
2016-11-17 cs.AI cs.LG
HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild
Harbin Engineering University(哈尔滨工程大学);UCLA(加州大学洛杉矶分校)
情感计算在野外环境中的研究是以数据库为基础的。现有的多模态情感数据库在现实世界中的条件是少,小,有限的主题数量和表达在一种语言。为了满足这一要求,我们收集、注释并准备发布一个新的自然状态视频数据库(称为HEU Emotion)。HEU Emotion共包含19,004个视频片段,根据数据来源分为两部分。第一部分包含从Tumblr,Google和Giphy下载的视频,包括10种情绪和两种形式(面部表情和身体姿势)。第二部分包括从电影、电视剧和综艺节目中手工提取的语料,包括10种情绪和三种模态(面部表情、身体姿势和情绪言语)。HEU Emotion是迄今为止最广泛的多模态情感数据库,拥有9,951个主题。为了提供情感识别的基准,我们使用了许多传统的机器学习和深度学习方法来评估HEU Emotion。我们提出了一个多模态注意力模块来自适应地融合多模态特征。多模态融合后,两部分的识别准确率分别比单模态人脸表情识别提高了2.19%和4.01%。
2020-07-24 cs.CV cs.LG
Iterative Distillation for Better Uncertainty Estimates in Multitask Emotion Recognition
Hong Kong University of Science and Technology(香港科技大学)
当识别情绪时,情绪表现中的细微差别会产生情绪感知的模糊性或不确定性。情感不确定性以前被解释为多个注释者之间的评分者之间的分歧。在本文中,我们考虑了一个更常见和更具挑战性的场景:当只有单个情感标签可用时,对情感不确定性进行建模。从贝叶斯的角度来看,我们建议使用深度集成来捕获多个情感描述符的不确定性,即,动作单元、离散表达式标签和连续描述符。我们进一步应用迭代自蒸馏。多代迭代蒸馏显著提高了情感识别和不确定性估计的性能。我们的方法生成单个学生模型,该模型为域内样本提供准确的不确定性估计,并且生成可以检测域外样本的学生集合。我们使用Aff-wild 2数据集进行的情感识别和不确定性估计的实验表明,我们的算法比Temperature Scaling和Monte Carol Dropout给出了更可靠的不确定性估计。
2021-10-17 cs.CV cs.LG
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University(卡内基梅隆大学)
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战,因为人类通过语言,视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比,我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法,直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能,视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
Convolutional Neural Network Approach for EEG-based Emotion Recognition using Brain Connectivity and its Spatial Information
School of Integrated Technology, Yonsei University(延世大学融合技术学院)
基于脑电的情感识别作为实现以人为中心的服务的一种方式受到关注。然而,仍然有很大的改进空间,特别是在识别精度方面。在本文中,我们提出了一种新的深度学习方法,使用卷积神经网络(CNN)进行基于EEG的情感识别。特别是,我们采用了以前研究中未与深度学习模型一起使用的大脑连接特征,这些特征可以解释不同大脑区域的同步激活。此外,我们开发了一种方法来有效地捕捉不对称的大脑活动模式,情感识别是重要的。实验结果证实了我们的方法的有效性。
2018-09-12 cs.HC cs.LG
Emotion Recognition for Healthcare Surveillance Systems Using Neural Networks: A Survey
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
由于技术进步,使用深度学习技术识别患者的情绪最近引起了极大的关注。自动识别情绪可以帮助建立智能医疗中心,可以检测患者的抑郁和压力,以便尽早开始用药。使用先进的技术来识别情绪是最令人兴奋的话题之一,因为它定义了人类和机器之间的关系。机器通过采用各种方法来学习如何预测情绪。在这篇综述中,我们介绍了在使用神经网络识别情绪领域的最新研究。我们专注于研究从语音,面部表情和视听输入中识别情绪,并展示在现实世界中部署这些算法的不同技术。这三种情绪识别技术可以用作医疗中心的监控系统来监控患者。最后,我们提出的挑战和相关的未来工作的调查,以提供一个深入了解使用情绪识别的应用程序。
2021-07-13 cs.LG cs.NE
CIT-EmotionNet: CNN Interactive Transformer Network for EEG Emotion Recognition
Universiti Sains Malaysia(马来西亚理科大学);Zhengzhou Railway Vocational and Technical College(郑州铁路职业技术学院)
本文提出CIT-EmotionNet,通过并行集成CNN与Transformer并设计交互模块融合EEG全局与局部特征,在SEED和SEED-IV数据集上分别达到98.57%和92.09%的识别准确率,优于现有方法。
2023-05-07 cs.LG eess.SP
Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种利用知识蒸馏与掩码训练技术的新框架,将依赖多模态输入的情感识别模型转化为更实用且资源高效的纯语音情感识别模型。
2024-01-04 cs.AI cs.LG cs.SD
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London(帝国理工学院)
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用,而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库,并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明,分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务,由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文,这转化为在下游任务(如问答)中的性能提高。在这项工作中,我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频,视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明,与基线相比,这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Deep Learning as Feature Encoding for Emotion Recognition
深度学习作为一种端到端的框架很受欢迎,它提取突出的特征并执行分类。在本文中,我们广泛地研究了深度网络作为低级别描述符的特征编码技术的替代方法,用于在基准数据库数据集上进行情感识别。与其他可用的功能,这样获得的编码功能的融合性能也进行了研究。最高的性能,迄今在文献中观察。
2018-11-14 cs.LG stat.ML
Fractal Dimension Pattern Based Multiresolution Analysis for Rough Estimator of Person-Dependent Audio Emotion Recognition
Qingdao University(青岛大学);Macau University of Science and Technology(澳门科技大学)
音频分析与识别作为一种通用的表达方式,在现实生活中有着广泛的应用,因此受到了人们的广泛关注。音频情感识别(AER)试图通过给定的语音信号来理解人的情感状态,并在友好的人机界面上得到了广泛的研究。区别于其他已有的工作,音频情感的人依赖模式进行,并计算分形维数特征的声学特征提取。此外,它能够有效地学习听觉情感的内在特征,而话语特征是从每个子带的分形维数学习。实验结果表明,该方法能够提供音频情感识别的比较性能。
2016-12-02 cs.AI cs.LG cs.SD
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University(女王大学)
我们提出了一个基于心电图(ECG)的情感识别系统,使用自监督学习。我们提出的架构包括两个主要的网络,信号转换识别网络和情感识别网络。首先,未标记的数据被用来成功地训练前网络,以检测特定的预定信号变换的自监督学习步骤。接下来,该网络的卷积层的权重被转移到情感识别网络,并训练两个密集层以分类唤醒和效价分数。我们表明,我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形,其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集,SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势,即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
Multimodal Emotion Recognition among Couples from Lab Settings to Daily Life using Smartwatches
夫妻通常一起管理慢性病,这种管理会对患者和他们的浪漫伴侣造成情感上的损失。因此,认识到每个合作伙伴在日常生活中的情绪可以提供他们在慢性病管理中的情绪健康的见解。目前,在实验室和日常生活中,使用自我报告来推断伴侣的情绪,这对于连续的情绪评估或观察者报告来说是不实际的,这些报告是手动的,时间密集的,并且成本高昂。目前,还没有关于夫妻情感识别的全面综述。此外,夫妻间情感识别的方法(1)集中在美国讲英语的夫妻,(2)使用从实验室收集的数据,(3)使用观察者评级而不是合作伙伴的自我报告/主观情绪进行识别。在本论文所包含的这部分工作中(8篇论文- 5篇已发表,3篇目前正在各种期刊上发表),我们填补了目前关于夫妻情绪识别的文献空白,使用来自1,051人的161小时数据开发情绪识别系统,并为将夫妻情绪识别从实验室现状带到日常生活做出贡献。这篇论文有助于建立自动情绪识别系统,最终使合作伙伴能够监控他们在日常生活中的情绪,并能够提供干预措施,以改善他们的情绪健康。
2022-12-21 cs.CL cs.HC cs.LG
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University(斯坦福大学)
人类能够理解来自多个领域的信息,例如语音,文本和视觉。随着深度学习技术的进步,语音识别有了显著的改进。从语音中识别情感是一个重要的方面,随着深度学习技术的发展,情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中,我们试图探索不同的神经网络,以提高情感识别的准确性。通过探索不同的架构,我们发现(CNN+RNN)+3D CNN多模型架构,该架构处理音频频谱图和相应的视频帧,使用IEMOCAP[2]数据集,在4种情绪中的情感预测准确率为54.0%,在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
An adversarial learning framework for preserving users' anonymity in face-based emotion recognition
Computer Science \& Engineering, Texas A\&M University
图像和视频捕捉技术已经渗透到我们的日常生活中。这些技术可以持续监测个人在现实生活中的表情,为我们提供关于他们情绪状态和转变的新见解,从而为新型健康和医疗保健应用铺平道路。然而,由于强烈的隐私问题,这种技术的使用受到强烈的怀疑,因为目前基于面部的情感识别系统依赖于深度学习技术,除了特定于情感的信息之外,倾向于保留与用户身份相关的大量信息。本文提出了一种对抗性学习框架,该框架依赖于通过迭代过程训练的卷积神经网络(CNN)架构,用于最小化特定身份信息和最大化情感相关信息。所提出的方法通过情感分类和面部识别指标进行评估,并与两个CNN进行比较,一个CNN仅用于情感识别,另一个CNN仅用于面部识别。实验使用Yale Face Dataset和Japanese Female Facial Expression Database进行。实验结果表明,该方法可以学习卷积变换,在保持情感识别准确性的同时降低人脸身份识别的质量,为隐私感知的情感识别技术提供了基础。
2020-01-16 cs.CV cs.LG stat.ML
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本文提出利用基于 FACS 的面部动作单元(AUs)识别技术来扩展情感识别能力,并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts
Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校(IIT-K))
会话中的情感识别是一个重要而活跃的研究领域。最近的工作表明了使用多种模式的好处(例如,文本、音频和视频)。在谈话中,参与者倾向于保持一种特定的情绪状态,除非某些刺激引起改变。谈话中情绪起伏不定。受此观察的启发,我们提出了一个多模态ERC模型,并增加了一个情感转移组件,提高了性能。所提出的情感转移组件是模块化的,可以添加到任何现有的多模态ERC模型(有一些修改)。我们对该模型的不同变体进行了实验,结果表明,包含情感转移信号有助于该模型在MOSEI和IEMOCAP数据集上优于现有的ERC模型。
2022-11-07 cs.AI cs.CL cs.LG
EmoBed: Strengthening Monomodal Emotion Recognition via Training with Crossmodal Emotion Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
尽管在情感识别方面取得了显着的进步,但它们受到所采用的单一模态的本质上有限的属性或所有涉及的多个模态的同步存在的严重限制。出于这一动机,我们提出了一种新的跨模态情感嵌入框架,名为cross-bed,其目的是利用其他辅助模态的知识,以提高性能的情感识别系统在手。该框架一般包括两个主要的学习组成部分,即。例如,联合多式联运培训和多式联运培训。两者都倾向于探索潜在的语义情感信息,但分别具有共享的识别网络或共享的情感嵌入空间。在这样做时,用这种方法训练的增强系统可以有效地利用来自其他模态的补充信息。然而,在推理过程中并不需要这些辅助模态的存在。为了实证研究所提出的框架的有效性和鲁棒性,我们进行了广泛的实验上的两个基准数据库RECOLA和OMG-Emotion的维度情感回归和分类情感分类的任务,分别。所得到的结果表明,所提出的框架显着优于相关基线的单模态推理,也有竞争力或优于最近报道的系统,这强调了建议的跨模态学习的重要性,情感识别。
2019-07-23 cs.HC cs.LG cs.SD
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究揭示了说话人嵌入中存在情感聚类现象,并提出一种基于聚类的对比预训练策略,利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft(微软)
情绪存在于一个广泛的连续体上,将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别,以及如何使模型能够学习这些描述。在这项工作中,我们设计了一种方法来自动创建一个描述(或提示)为给定的音频计算声学特性,如音高,响度,语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后,我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联,从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究,
2022-11-14 cs.LG cs.SD eess.AS
Emotion Recognition with Pre-Trained Transformers Using Multimodal Signals
Orange Labs(奥兰治实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
在本文中,我们解决的问题,多模态情感识别从多个生理信号。我们证明了一个基于transformer的方法是适合这项任务。此外,我们提出了如何在多模态场景中对这些模型进行预训练,以提高情感识别性能。我们评估了使用多模态输入和预训练的好处,并在最先进的数据集上使用我们的方法。
2022-12-22 cs.AI cs.LG eess.SP
Attention-based Region of Interest (ROI) Detection for Speech Emotion Recognition
New York Institute of Technology(纽约理工学院)
自动情感识别在现实生活中的应用是一个具有挑战性的任务。人类的情感表达是微妙的,可以通过几种情感的组合来传达。在大多数现有的情感识别研究中,每个audioutterance/视频剪辑都被整体标记/分类。然而,话语/剪辑级别的标签和分类可能过于粗糙,无法捕捉微妙的话语/剪辑内的时间动态。例如,一段话语/视频片段通常只包含少数情感显著区域和许多无情感区域。在这项研究中,我们提出使用深度递归神经网络中的注意力机制来检测人类情感语音/视频中情感更显著的感兴趣区域(ROI),并通过聚合这些情感显著感兴趣区域来进一步估计时间情感动态。我们对音视频的ROI进行了比较和分析。我们比较了所提出的注意力网络与最先进的LSTM模型在识别六种基本人类情感的多类分类任务上的性能,所提出的注意力模型表现出明显更好的性能。此外,注意力权重分布可以用来解释一个话语如何被表达为可能的情感的混合。
2022-03-03 cs.LG cs.SD eess.AS
Speaker Attentive Speech Emotion Recognition
STMS Lab IRCAM, CNRS, Sorbonne Université(STMS实验室 IRCAM、法国国家科学研究中心、索邦大学)
随着深度神经网络(DNN)的出现,语音情感识别(SER)任务在过去几年中有了显着的改进。然而,即使是最成功的方法,在需要适应特定的扬声器和场景时仍然相当失败,不可避免地导致与人类相比表现较差。在本文中,我们提出了新的工作的基础上的思想,教学的情绪识别网络的发言人身份。我们的系统是两个ACRNN分类器分别致力于扬声器和情感识别的组合。第一个通知后者通过一个自我扬声器注意(SSA)的机制,这是相当大的帮助,专注于语音信号的情感信息。在社会态度数据库Att-HACK和IEMOCAP语料库上的实验表明了该方法的有效性,在未加权平均召回率方面达到了最佳的性能。
2021-04-15 cs.LG cs.SD eess.AS
Emotion Recognition From Gait Analyses: Current Research and Future Directions
Lanzhou University(兰州大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学);Jinan University(暨南大学);Shenzhen University(深圳大学);University of British Columbia(不列颠哥伦比亚大学)
人类步态是指日常运动,不仅代表移动性,但它也可以用来识别步行者由人类观察者或计算机。最近的研究表明,步态甚至传达了有关步行者情绪的信息。处于不同情绪状态的个体可能表现出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的表情、语音、生理参数等情感检测生物特征相比,步态具有远程可观测性、模仿难度大、需要主体配合少等特点。这些优点使得步态成为情感检测的一个很有前途的来源。本文综述了基于步态的情感检测的研究现状,特别是步态参数如何受到不同情感状态的影响,以及如何通过不同的步态模式识别情感状态。重点介绍了情感识别的整个过程中所采用的具体方法和技术:数据汇集、预处理和分类。最后,我们讨论了未来可能的发展,高效和有效的步态为基础的情感识别使用智能计算和大数据的最先进的技术。
2022-07-16 cs.HC cs.LG stat.ML
Developing emotion recognition for video conference software to support people with autism
Ravensburg-Weingarten University(拉芬斯堡-魏恩加腾大学)
本文开发了一款基于面部关键点和神经网络的模块化情绪识别软件,可集成到视频会议系统中,帮助自闭症患者实时识别他人情绪。
2021-01-26 cs.AI cs.CV cs.LG
Real-time emotion recognition for gaming using deep convolutional network features
Université de Montréal(蒙特利尔大学)
本研究的目标是探索深度卷积网络特征在情感识别中的应用。结果表明,它们的表现与其他已发表的模型相似,最佳识别率为94.4%,并且使用单个静止图像而不是视频流。还描述了情感反馈游戏的实现,其中使用这些特征的分类器实时的【形】跟踪玩家的面部表情。
2014-08-16 cs.CV cs.LG cs.NE
Inter Subject Emotion Recognition Using Spatio-Temporal Features From EEG Signal
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
提出一种基于EEGNet架构的跨被试情绪识别模型,结合CNN的常规、深度和可分离卷积层学习EEG时空特征,在DENS数据集上达到73.04%的准确率。
2023-05-27 cs.HC cs.LG eess.SP
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
语音情感识别(SER)面临着许多挑战,但主要挑战之一是每个框架没有统一的标准。在本文中,我们提出了SpeechEQ,一个框架,统一SER任务的基础上,一个多尺度的统一度量。该度量可以通过多任务学习(MTL)来训练,该多任务学习包括情绪状态类别(EIS)和情绪强度量表(EIS)两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此,我们建立了一个普通话SER数据集- SpeechEQ数据集(SEQD)。我们在CASIA和ESD中文数据集上进行了实验,结果表明,我们的方法比基线方法有较大的提高,准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验(即,愤怒、快乐、悲伤和中性)也表明所提出的方法实现了78.16%的加权准确度(WA)和77.47%的未加权准确度(UA)的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Enhancing Speech Emotion Recognition with Graph-Based Multimodal Fusion and Prosodic Features for the Speech Emotion Recognition in Naturalistic Conditions Challenge at Interspeech 2025
Federal University of Goiás(戈亚斯联邦大学);Federal University of Rio Grande do Norte(北里奥格兰德联邦大学);Aeronautics Institute of Technology(航空技术研究所);Federal University of Mato Grosso(马托格罗索联邦大学)
本文面向 INTERSPEECH 2025 自然条件语音情感识别挑战赛,提出结合先进音频模型、韵律与频谱增强文本特征、F0 量化和集成学习的鲁棒系统,并验证图注意力网络融合有效性,测试集 Macro F1 达 39.79%。
2025-06-02 cs.CL cs.LG cs.SD
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon Alexa(亚马逊Alexa)
语音情感识别是实现更自然的人机交流的关键技术。然而,SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题,我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明,对比预测编码(CPC)方法可以学习显着表示从未标记的数据集,这提高了情感识别性能。在我们的实验中,这种方法实现了最先进的一致性相关系数(CCC)的性能,所有的情绪原语(激活,效价,和优势)IEMOCAP。此外,在MSP-Podcast数据集上,与基线相比,我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
EEG-based Emotion Style Transfer Network for Cross-dataset Emotion Recognition
Xidian University(西安电子科技大学);Beijing Institute of Mechanical Equipment(北京机械设备研究所);Southeast University(东南大学)
本文提出基于EEG的情感风格迁移网络E2STN,通过迁移模块、迁移评估模块和判别预测模块融合源域内容与目标域风格信息,生成风格化EEG表示,在跨数据集情感识别中取得最先进性能。
2023-08-09 cs.HC cs.LG eess.SP
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs(橙色实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
为了利用时间序列信号(例如生理信号)的表示,这些表示从整个信号捕获相关信息是必要的。在这项工作中,我们提出了使用基于变换器的模型来处理心电图(ECG)的情感识别。Transformer的注意力机制可用于构建信号的情境化表示,从而赋予相关部分更多重要性。然后,这些表示可以用完全连接的网络进行处理,以预测情绪。为了克服带有情感标签的数据集相对较小的问题,我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型,然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明,我们的方法达到了最先进的性能,使用心电图信号AMIGOS的情感识别。更一般地说,我们的实验表明,Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
Contrastive Learning of Subject-Invariant EEG Representations for Cross-Subject Emotion Recognition
Tsinghua University(清华大学);Sichuan University(四川大学)
近年来,脑电信号被报道用于情感识别是信息丰富和可靠的。然而,情绪相关脑电信号的个体间差异性仍然对基于脑电信号的情绪识别的实际应用提出了很大的挑战。受近年来神经科学对主体间关联研究的启发,本文提出了一种基于对比学习的主体间对齐方法(CLISA)来解决跨主体情感识别问题。采用对比学习,通过最大化受试者之间的EEG信号表征的相似性,当他们接收到相同的情绪刺激时,与不同的情绪刺激相比,最大限度地减少受试者之间的差异。具体而言,卷积神经网络被应用于从对比学习中的EEG时间序列学习受试者间对齐的时空表示。对齐的表示随后用于提取差分熵特征用于情感分类。CLISA在我们的THU-EP数据集(80名受试者)和公开的SEED数据集(15名受试者)上实现了最先进的跨学科情感识别性能。它可以推广到测试中看不见的主题或看不见的情感刺激。此外,CLISA学习的时空表征可以为人类情绪处理的神经机制提供见解。
2022-04-06 cs.HC cs.LG eess.SP
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland(瑞士NVIDIA公司);NVIDIA, UK(英国NVIDIA公司)
本文提出人类反馈驱动的动态语音情感识别方法,利用狄利克雷分布建模情感混合,并通过人类反馈迭代改进模型,实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad(伊斯兰堡科姆萨特大学);University of Poonch Rawalakot(拉瓦拉科特蓬奇大学)
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略,提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集,并将主成分分析应用于子集。最后,特征被水平地融合。使用t-分布的邻居嵌入(t-SNE)的情感识别的特征的应用程序之前,得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集:情绪语音数据集(EMO-DB)和瑞尔森视听数据库的情绪语音和歌曲(RAVDESS)的两种语言,德语和英语,分别。与基线研究相比,我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益,对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Transformer for Emotion Recognition
University of Mons(蒙斯大学)
本文介绍了UMONS解决方案的OMG情感挑战。我们探索一个上下文相关的架构,其中的唤醒和效价的话语预测根据其周围的上下文(即之前和之后的话语的视频)。我们报告的改进时,考虑到上下文的单峰和多峰预测。
2018-05-30 cs.HC cs.LG cs.SD
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research(TCS研究)
本文提出EDRL-MEA两步方法,通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间,显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
A New Multilabel System for Automatic Music Emotion Recognition
University of Rome Tor Vergata(罗马第二大学)
在自动识别音乐所能诱发的情感方面取得进展需要考虑情感的多样性和复杂性。比较不同的机器学习算法执行多标签和多类分类是我们工作的核心。该研究分析了Geneva Emotional Music Scale 9在Quantify音乐数据集中的实施情况,并从机器学习的角度调查了其采用情况。我们的方法的情况下,通过音乐的情感表达/感应作为一个多标签和多类的问题,其中多个情感标签可以通过相同的音乐曲目的每个注释器(多标签),和每个情感可以识别或不音乐(多类)。其目的是通过音乐自动识别诱导的情感。
2021-06-02 cs.LG cs.SD eess.AS
Implicit Design Choices and Their Impact on Emotion Recognition Model Development and Evaluation
Contextual AI
本文研究了情感识别中数据集、标签、建模和评估的挑战,通过构建引入压力源的数据集、利用对抗网络隔离压力因素与剥离敏感人口统计信息,并优化评估指标,推动了鲁棒且实用的情感识别模型的发展。
2023-09-06 cs.CL cs.LG cs.SD
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语音情感识别是一项具有挑战性的任务,也是实现更自然的人机交互的重要一步。我们表明,预先训练的语言模型可以进行微调,用于文本情感识别,在SemEval 2017的任务4A上实现了69.5%的准确率,比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合,当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时,达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中,我们创建了IADNet,这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后,我们讨论了使用情感分类器作为强化学习的奖励的想法,作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Training Deep Neural Networks with Different Datasets In-the-wild: The Emotion Recognition Paradigm
Imperial College London(帝国理工学院);University of Oulu(奥卢大学)
本文提出了一种新的方法,用于训练深度卷积和递归神经网络,同时考虑可用的训练数据集和从使用其他相关数据集训练的类似网络中提取的一些信息。该信息被包括在用于网络训练的扩展的损失函数中,使得网络在应用于其他数据集时可以具有改进的性能,而不会忘记从原始数据集学习的知识。在野外的面部表情和情感识别是用于演示使用所提出的方法实现的改进性能的测试床应用程序。在这个框架中,我们提供了一个实验研究的分类情感识别使用的数据集,从最近的相关情感识别的挑战。
2018-09-12 cs.AI cs.HC cs.LG
Emotion Recognition With Temporarily Localized 'Emotional Events' in Naturalistic Context
Indian Institute of Information Technology Allahabad(印度阿拉哈巴德信息技术学院)
基于脑电信号的情感识别是一个新兴的研究领域,因为它在脑机接口中具有广泛的适用性。在实验室里很难激发情感。情绪不会持续很长时间,但它们需要足够的背景来感知和感受。然而,大多数EEG相关的情感数据库要么遭受情感无关的细节(由于长时间的刺激)或有最小的上下文怀疑使用刺激的任何情感的感觉。我们试图通过设计一个实验来减少这种权衡的影响,在这个实验中,参与者可以自由地报告他们的情绪感受,同时观看情绪刺激。在我们的自然主义刺激情绪数据集(DENS)中,我们将这些报告的情绪感受称为“情绪事件”。我们使用EEG信号对情绪事件进行分类,并将结果与DEAP和SEED的基准数据集进行比较。STFT用于特征提取,并用于由CNN-LSTM混合层组成的分类模型中。与DEEP和SEED数据相比,我们的数据实现了更高的准确性。我们的结论是,有精确的信息,情绪的感觉,提高了分类的准确性相比,长时间的脑电信号,这可能是污染的走神。
2022-10-25 cs.AI cs.HC cs.LG