Emotional EEG Classification using Upscaled Connectivity Matrices
School of Integrated Technology and the BK21 Graduate Program in Intelligent Semiconductor Technology（整合技术学院和智能半导体技术BK21研究生项目）
针对情绪脑电图分类中连接矩阵输入CNN时重要模式易丢失的问题，提出放大连接矩阵强化局部模式的方法，实验证明该方法可显著提升分类性能。
2025-11-17 cs.LG
KPoEM: A Human-Annotated Dataset for Emotion Classification and RAG-Based Poetry Generation in Korean Modern Poetry
The Academy of Korean Studies（韩国学术院）；Graduate School of Korean Studies（韩国研究研究生院）；Cultural Informatics（文化信息学）
本研究构建了KPoEM多标签情感数据集，通过序列微调策略实现F1-micro 0.60的情感分类，并验证了基于RAG的诗歌生成在韩国文学情感与文化表达上的可行性。
2026-01-14 cs.CL cs.CY cs.LG
Emotional regulation improves deep learning-based image classification
Mare Group（Mare集团）；NOVA LINCS（NOVA LINCS实验室）；Institute of Engineering (ISE), University of Algarve（阿尔加维大学工程学院）；Department of Energy Technologies and Renewable Sources, ENEA Casaccia Research Center（ENEA卡萨恰研究中心能源技术与可再生能源部）
提出情绪调节框架，通过人工主观体验在深度学习中建模情绪，在图像分类任务中预训练ResNet和ViT，在CIFAR-10/100上超越现有方法，成为情绪增强深度学习的新标杆。
2026-09-03 cs.AI cs.LG
ShEMO -- A Large-Scale Validated Database for Persian Speech Emotion Detection
Islamic Azad University of Bijar（比贾尔伊斯兰阿扎德大学）；Sharif University of Technology（谢里夫理工大学）
本文介绍了一个大规模的，验证数据库的波斯语谢里夫情感语音数据库（ShEMO）。该数据库包括3000个半自然的话语，相当于从在线广播剧中提取的3小时25分钟的语音数据。ShEMO涵盖了87位波斯语母语者的五种基本情绪的语音样本，包括愤怒，恐惧，快乐，悲伤和惊讶，以及中性状态。12个注释者标记话语的潜在情感状态，并使用多数投票来决定最终的标签。根据kappa测量，注释者间的一致性为64%，这被解释为“实质性一致”。我们还提出了基于语音情感检测任务中常见的分类方法的基准测试结果。实验结果表明，支持向量机对性别无关模型和性别相关模型的识别率分别为58.2%和59.4%、57.6%。ShEMO可免费用于学术目的，为进一步研究波斯语情感语言提供基线。
2019-06-11 cs.CL cs.SD eess.AS
Direct Classification of Emotional Intensity
AiCure
在本文中，我们提出了一个模型，可以直接预测情感强度得分从视频输入，而不是从动作单元。使用一个结合了动态情感信息的3D DNN，我们训练了一个使用不同人微笑的视频的模型，该模型输出的强度分数为0-10。每个视频使用基于归一化动作单元的强度分数逐帧标记。然后，我们的模型采用自适应学习技术来提高处理新主题时的性能。与其他模型相比，我们的模型在不同的人之间的泛化能力，以及提供了一个新的框架，直接分类的情绪强度。
2020-11-15 cs.AI cs.CV cs.LG
EEG-based Emotional Video Classification via Learning Connectivity Structure
School of Integrated Technology, Yonsei University（延世大学综合技术学院）
脑电（EEG）是一种有效的方法，隐式监测用户的感知状态，在多媒体消费。基于EEG的监测的实际使用的主要挑战之一是在EEG分类中实现令人满意的准确度水平。不同脑区之间的连通性是脑电信号分类的重要特征。然而，如何定义给定任务的连接结构仍然是一个悬而未决的问题，因为没有关于连接结构应该如何以最大限度地提高分类性能的基本事实。本文提出了一种端到端的神经网络模型用于基于EEG的情感视频分类，该模型可以直接从一组原始EEG信号中提取适当的多层图结构和信号特征，并使用它们进行分类。实验结果表明，我们的方法相比，现有的方法，手动定义的连接结构和信号特征的使用，产生更好的性能。此外，我们表明，图结构提取过程是可靠的一致性方面，学习的图结构有很大的意义的观点发生在大脑中的情感感知。
2021-12-06 cs.LG eess.SP stat.ML
Decoding Emotional Experience through Physiological Signal Processing
Northeastern University（东北大学）；University of Pittsburgh（匹兹堡大学）
研究人员越来越多地达成共识，使计算机具有情感智能，具有解码人类情感状态的能力，将允许更有意义和更自然的人机交互（HCI）方式。识别人类情感状态的一种非侵入性和非侵入性的方法需要探索生理信号在不同情感体验下如何变化。特别是，本文探讨了多模态身体信号和离散的情绪状态的神经介导的变化之间的相关性。为了充分利用每种模式中的信息，我们提供了一种创新的分类方法，用于三种特定的生理信号，包括肌电图（EMG），血容量压力（BVP）和皮肤电反应（GSR）。这些信号被分析为基于一系列弱学习者的融合的情感识别范例的输入。我们提出的分类方法显示出88.1%的识别准确率，这优于传统的支持向量机（SVM）分类器的17%的准确率提高。此外，为了避免信息冗余和由此产生的过拟合，提出了一种基于相关性分析的特征约简方法，以优化训练和验证每个弱学习器所需的特征数量。结果表明，尽管特征空间维数从27个降到18个特征，我们的方法仍然保持了约85.0%的识别准确率。这种复杂性的降低将使我们更接近于将这种人类情感编码器嵌入无线和可穿戴HCI平台。
2016-06-01 cs.HC cs.LG
Emotion Recognition With Temporarily Localized 'Emotional Events' in Naturalistic Context
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）
基于脑电信号的情感识别是一个新兴的研究领域，因为它在脑机接口中具有广泛的适用性。在实验室里很难激发情感。情绪不会持续很长时间，但它们需要足够的背景来感知和感受。然而，大多数EEG相关的情感数据库要么遭受情感无关的细节（由于长时间的刺激）或有最小的上下文怀疑使用刺激的任何情感的感觉。我们试图通过设计一个实验来减少这种权衡的影响，在这个实验中，参与者可以自由地报告他们的情绪感受，同时观看情绪刺激。在我们的自然主义刺激情绪数据集（DENS）中，我们将这些报告的情绪感受称为“情绪事件”。我们使用EEG信号对情绪事件进行分类，并将结果与DEAP和SEED的基准数据集进行比较。STFT用于特征提取，并用于由CNN-LSTM混合层组成的分类模型中。与DEEP和SEED数据相比，我们的数据实现了更高的准确性。我们的结论是，有精确的信息，情绪的感觉，提高了分类的准确性相比，长时间的脑电信号，这可能是污染的走神。
2022-10-25 cs.AI cs.HC cs.LG
Emotional Expression Classification using Time-Series Kernels
Eötvös Loránd University（罗兰大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
人脸表情的估计，作为时空过程，可以利用核方法，如果一个人考虑面部标志的位置和它们在3D空间中的运动。我们应用支持向量分类与内核来自动态时间规整相似性措施。我们仅使用标记点向量的PCA压缩表示的“运动模式”（即所谓的形状参数）实现了超过99%的准确性（通过ROC曲线下面积测量）。除了完整运动模式的分类之外，在从它们开始的5-6帧（大约200毫秒）内，以超过90%的准确度识别了若干表情。
2013-06-08 cs.CV cs.LG stat.ML
Emotional Brain State Classification on fMRI Data Using Deep Residual and Convolutional Networks
Columbia University（哥伦比亚大学）；New York State Psychiatric Institute（纽约州精神病学研究所）
基于功能磁共振成像（fMRI）数据的情绪脑状态分类的目标是识别实验期间受试者执行的特定情绪任务相关的脑活动模式。使用功能磁共振成像数据区分情绪大脑状态和其他大脑状态已经被证明是具有挑战性的，这是由于两个因素：难以在短时间内生成快速而准确的预测，以及难以提取概括到看不见的主体的情绪特征。为了应对这些挑战，我们进行了一项实验，让22名受试者观看旨在刺激消极、中性或休息情绪反应的图片，同时使用功能磁共振成像测量他们的大脑活动。然后，我们开发了两种不同的基于卷积的方法来解码情感大脑状态，只使用来自单个最小预处理（切片定时和重新排列）fMRI卷的空间信息。在我们的第一种方法中，我们训练了一个1D卷积网络（准确率为84.9%;机会水平为33%），使用单向方差分析（ANOVA）体素选择结合超对齐对3种情绪状况进行分类。在我们的第二种方法中，我们训练了一个3D ResNet-50模型（准确率为78.0%;概率水平为50%），直接从单个3D fMRI体积中分类2种情绪状况。我们的卷积和残差分类器成功地学习了组级别的情感特征，并可以在毫秒内从fMRI卷中解码情感条件。这些方法有可能用于脑机接口和实时功能磁共振成像神经反馈研究。
2022-10-31 cs.CV cs.LG eess.IV
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College（哈维穆德学院）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
对于机器学习算法来说，自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中，我们探索了一个表示学习的方法，自动推导出的情感语音的歧视性表示。特别是，我们研究了两种机器学习策略来提高分类器性能：（1）使用深度卷积生成对抗网络（DCGAN）利用未标记数据，以及（2）多任务学习。在我们广泛的实验中，我们利用多任务注释的情感语料库以及大型未标记的会议语料库（约100小时）。我们的独立于说话人的分类实验表明，特别是在我们的调查中使用未标记的数据提高了分类器的性能，两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类，在离散的5点量表上为43.88%，在3点量表上为49.80%，这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
Pre-Finetuning for Few-Shot Emotional Speech Recognition
Columbia University（哥伦比亚大学）
针对语音模型过拟合说话者导致泛化差的问题，提出在困难任务上预微调Wav2Vec2.0以蒸馏知识，并在多语料库排列及33,600次少样本试验中验证其提升情感语音识别性能。
2024-11-07 cs.CL cs.LG cs.SD
Lotus at SemEval-2025 Task 11: RoBERTa with Llama-3 Generated Explanations for Multi-Label Emotion Classification
Persian Gulf University（波斯湾大学）
针对多标签情感分类中情感表达模糊的问题，提出结合Llama-3生成解释性内容与RoBERTa的方法，提升F1分数（尤其恐惧、喜悦、悲伤情感），解决歧义与情感线索重叠挑战，推动情感检测进展。
2025-04-16 cs.AI cs.LG
Integrating Emotion Distribution Networks and Textual Message Analysis for X User Emotional State Classification
Isfahan University of Technology（伊斯法罕理工大学）；Yazd University（亚兹德大学）
针对X社交网络用户情绪状态分类问题，提出融合文本分析、个人资料/粉丝分析及情绪传播模式的混合方法，相比仅关注文本的传统方法，准确率提升12%-15%。
2025-04-11 cs.AI cs.LG cs.SI
CMHL: Contrastive Multi-Head Learning for Emotionally Consistent Text Classification
本文提出CMHL模型，通过多任务学习、心理基础辅助监督和对比矛盾损失，提升情感一致性，实现优于大模型的F1分数和跨领域泛化能力。
2026-03-14 cs.CL cs.LG
Emotion-robust EEG Classification for Motor Imagery
Technical University of Munich（慕尼黑工业大学）
脑机接口（BCIs）的发展正在通过在辅助系统中的使用来增强那些患有严重身体疾病的人的能力。实现这一目标的常用方法是通过运动想象（MI），它将大脑信号映射到某些命令的代码。脑电图（EEG）由于其非侵入性而优选用于记录脑信号数据。尽管具有潜在的实用性，但MI-BCI系统仍仅限于研究实验室。造成这种情况的一个主要原因是这种系统缺乏鲁棒性。正如两个团队在Cybathlon 2016期间所假设的那样，系统脆弱性的一个特殊来源是受试者情绪唤醒状态的急剧变化。这项工作旨在使MI-BCI系统对这种情绪扰动具有弹性。为此，受试者在记录EEG数据之前暴露于高唤醒和低唤醒诱导的虚拟现实（VR）环境。COVID-19的出现迫使我们修改我们的方法。我们没有训练机器学习算法来对情绪唤醒进行分类，而是选择对作为每个状态代理的对象进行分类。此外，MI模型针对每个受试者而不是每个唤醒状态进行训练。由于培训受试者使用MI-BCI可能是一个艰巨而耗时的过程，因此减少这种可变性并提高鲁棒性可以大大加快BCI支持的辅助技术的接受和采用。
2020-05-23 cs.HC cs.LG eess.SP
Emotion is Not Just a Label: Latent Emotional Factors in LLM Processing
本文研究情绪作为潜在因素对LLM处理的影响，分析情绪如何改变transformer模型的注意力几何结构，并提出AURA-QA数据集和情绪正则化框架以提升阅读理解能力。
2026-03-16 cs.AI cs.CL cs.LG
Functional Graph Contrastive Learning of Hyperscanning EEG Reveals Emotional Contagion Evoked by Stereotype-Based Stressors
Sun Yat-sen University（中山大学）；Army Research Institute for the Behavioral and Social Sciences（陆军行为与社会科学研究所）；Florida Atlantic University（佛罗里达大西洋大学）
本研究提出功能图对比学习（fGCL）方法，结合动态图分类模型分析超扫描脑电，揭示了基于刻板印象压力下女性协作任务中情绪传染的神经机制及其对表现的影响。
2023-09-25 cs.AI cs.LG eess.SP
Automated Parkinson's Disease Detection and Affective Analysis from Emotional EEG Signals
University of Canberra（堪培拉大学）；Kuwait College of Science and Technology（科威特科技学院）
虽然帕金森病（PD）的典型特征是运动障碍，但有证据表明PD患者的情绪感知减弱。本研究探讨了情感脑电图（EEG）信号的效用，以了解PD与健康对照（HC）之间的情感差异，并用于自动PD检测。采用传统的机器学习和深度学习方法，我们探索了（a）维度和类别的情绪识别，以及（b）情绪EEG信号的PD与HC分类。我们的研究结果表明，PD患者理解唤醒比效价，和情绪类别中，\textit{fear}，\textit{disgust}和\textit{surprise}不太准确，和\textit{sadness}最准确。错误标记分析证实了相反效价的情绪与PD数据之间的混淆。情绪EEG反应也实现了近乎完美的PD与HC识别。{累积起来，我们的研究表明，（a）单独检查\textit{implicit}反应能够（i）发现PD患者中的效价相关损伤，以及（ii）区分PD和HC，以及（b）情绪EEG分析是相对于自我报告，专家评估和静息状态分析的PD诊断的生态有效，有效，简便和可持续的工具。}
2022-02-21 cs.AI cs.LG eess.SP
Automatic Analysis of the Emotional Content of Speech in Daylong Child-Centered Recordings from a Neonatal Intensive Care Unit
Unit of Computing Sciences, Tampere University, Finland（图瓦大学计算科学系）；Department of Clinical Medicine, University of Turku, Finland（图尔库大学临床医学系）；Department of Signal Processing and Acoustics, Aalto University, Finland（阿尔托大学信号处理与声学系）
本文研究了如何通过自动语音情感识别系统分析新生儿录音中的情感内容，探讨了跨语料泛化、WGAN域适应和主动学习在新领域部署中的有效性，实现了73.4%的UAR分类性能。
2021-06-14 cs.LG cs.SD eess.AS
Emotion Intensity and its Control for Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Southern Queensland（南昆士兰大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；University of Bremen（不来梅大学）
情感语音转换（EVC）旨在转换话语的情感状态，同时保留语言内容和说话人身份。在EVC中，情感通常被视为离散的类别，忽略了语音也传达了听者可以感知的各种强度水平的情感。在本文中，我们的目标是明确的特征和控制的强度的情绪。我们建议将说话者风格从语言内容中分离出来，并将说话者风格编码成一个风格嵌入在一个连续的空间中，形成情感嵌入的原型。我们进一步学习实际的情感编码器从情感标记的数据库，并研究使用相对属性来表示细粒度的情感强度。为了确保情感的可理解性，我们将情感分类损失和情感嵌入相似性损失纳入EVC网络的训练中。根据需要，所提出的网络控制输出语音中的细粒度情感强度。通过客观和主观的评价，我们验证了所提出的网络的情感表达和情感强度控制的有效性。
2022-07-18 cs.CL cs.LG cs.SD
Combining Deep Transfer Learning with Signal-image Encoding for Multi-Modal Mental Wellbeing Classification
情绪状态的量化是理解幸福的重要一步。来自多种模态的时间序列数据（例如生理和运动传感器数据）已被证明是测量和量化情绪的不可或缺的。在长时间段内监测情绪轨迹继承了与训练数据的大小有关的一些关键限制。这个缺点可能会阻碍可靠和准确的机器学习模型的开发。为了解决这个问题，本文提出了一个框架来解决在多个多模态数据集上执行情绪状态识别的局限性：1）将多变量时间序列数据编码成彩色图像; 2）利用预先训练的对象识别模型来应用迁移学习（TL）方法，使用来自步骤1的图像; 3）利用1D卷积神经网络（CNN）从生理数据执行情绪分类; 4）将预先训练的TL模型与1D CNN连接。此外，通过使用大的身体活动数据集初始训练1D CNN，然后将学习到的知识应用于目标数据集，来探索执行TL以从生理数据推断压力的可能性。我们证明，使用我们的框架可以增强在5点Likert量表上推断现实世界幸福感时的模型性能，从而获得高达98.5%的准确率，比传统的CNN高出4.5%。使用相同方法的受试者独立模型的平均准确度为72.3%（SD 0.038）。提出的基于CNN-TL的方法可以克服小训练数据集的问题，从而提高传统深度学习方法的性能。
2020-11-20 cs.CV cs.LG
BiERU: Bidirectional Emotional Recurrent Unit for Conversational Sentiment Analysis
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；Aalto University（阿尔托大学）
近年来，会话中的情感分析由于其可以服务于越来越多的应用而获得了越来越多的关注，例如，情感分析、推荐系统和人机交互。会话情感分析和单句情感分析之间的主要区别在于存在可能影响对话中话语的情感的上下文信息。然而，如何在对话中有效地编码上下文信息仍然是一个挑战。现有方法采用复杂的深度学习结构来区分对话中的不同方，然后对上下文信息进行建模。在本文中，我们提出了一个快速，紧凑和参数有效的一方无知的框架命名为双向情感递归单元会话情感分析。在我们的系统中，一个广义的神经张量块，其次是一个双通道分类器被设计为执行上下文组合和情感分类，分别。在三个标准数据集上进行的大量实验表明，我们的模型在大多数情况下都优于现有技术。
2021-07-04 cs.CL cs.LG
Temporal Aware Mixed Attention-based Convolution and Transformer Network (MACTN) for EEG Emotion Recognition
Tianjin University（天津大学）
本文提出MACTN模型，通过CNN提取局部情绪特征、Transformer整合全局时序信息，并结合通道注意力机制，在THU-EP和DEAP数据集上取得了优于现有方法的脑电情绪识别性能。
2023-05-18 cs.AI cs.LG eess.SP
Song Emotion Classification of Lyrics with Out-of-Domain Data under Label Scarcity
Stanford University（斯坦福大学）；OHS
针对歌词情感分类域内标注数据稀缺的问题，提出用大规模Reddit评论域外数据集训练CNN模型，实验证明该方案具备良好性能与泛化性，为数据匮乏领域提供了可行思路。
2024-10-08 cs.CL cs.LG
An Interpretability-Guided Framework for Responsible Synthetic Data Generation in Emotional Text
本文提出一种基于SHAP的可解释性引导框架，用于生成情感文本的合成数据，提升少数情绪类别的分类性能，同时揭示合成文本在词汇丰富性和表达复杂性上的局限性。
2025-11-20 cs.LG
A Hormone-inspired Emotion Layer for Transformer language models (HELT)
本文提出HELT，通过生物启发的激素情感模块增强Transformer模型，以模拟人类情感处理。通过六种连续激素值模拟，提升模型对情感上下文的响应能力，实验表明在情感准确性与同理质量上优于基线模型。
2026-04-13 cs.CL cs.LG cs.NE
Sociolinguistically Informed Interpretability: A Case Study on Hinglish Emotion Classification
KU Leuven（鲁汶大学）；Aalborg University（奥尔堡大学）
本研究通过印地英语情感分类数据集，利用LIME和语言识别分析3个预训练语言模型，发现模型能学习语言选择与情感表达的关联，且预训练中的代码混合数据可增强学习，但存在过度泛化风险。
2024-02-05 cs.CL cs.LG
Decoding Naturalistic Emotion Dynamics from the Brain: An LLM-Enhanced Regression Framework
NTNU（挪威科技大学）；Kavli Institute for Systems Neuroscience, NTNU（挪威科技大学卡弗里系统神经科学研究所）；Microsoft（微软）
提出多目标回归框架，利用LLM从自然叙事中提取连续情感特征，结合动态功能连接和机器学习算法，实现从fMRI数据中解码连续情感轨迹，并揭示可解释的情感特异性脑网络拓扑。
2026-06-05 cs.LG
Incorporating Emotions into Health Mention Classification Task on Social Media
Durham University（杜伦大学）；Kwara State University（夸拉州立大学）
健康提及分类（HMC）任务是对文本中与健康相关的概念进行识别和分类的过程。这对于通过社交媒体帖子识别和跟踪疾病传播非常有用。然而，这是一个不平凡的任务。在这里，我们建立在最近的研究表明，使用情绪信息可能会改善这项任务。我们的研究结果在一个框架，健康提及分类，结合情感特征。我们提出了两种方法，一个中间任务微调方法（隐式）和多特征融合方法（显式），将情绪到我们的目标任务的HMC。我们在来自不同社交媒体平台的5个HMC相关数据集上评估了我们的方法，其中三个来自Twitter，一个来自Reddit，另一个来自社交媒体来源的组合。大量的实验表明，我们的方法在统计上显着的性能增益HMC任务。通过使用多特征融合方法，我们在所有数据集上实现了F1分数比BERT基线至少提高3%。我们还表明，只考虑负面情绪不会显着影响性能的HMC任务。此外，我们的研究结果表明，注入情感知识的HMC模型是一种有效的替代方案，特别是当其他HMC数据集无法用于特定领域的微调时。我们模型的源代码可以在https://github.com/tahirlanre/Emotion_PHM上免费获得。
2022-12-09 cs.CL cs.LG
Stock Market Sentiment Classification and Backtesting via Fine-tuned BERT
本文以东方财富股吧评论为数据，微调BERT进行情绪分类，并将情绪标签与Alpha191模型结合用于预测价格变化和指导自动交易，实验显示收益率较基线提升73.8%，验证了情绪因素在量化交易中的价值。
2023-09-21 cs.CL cs.LG q-fin.CP
Multi-view Multi-label Fine-grained Emotion Decoding from Human Brain Activity
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
从人脑活动中解码情感状态在脑机接口中起着重要作用。现有的情感解码方法主要存在两个局限性：一是只能从大脑活动模式中解码出单一的情感类别，解码后的情感类别粒度较粗，与人类复杂的情感表达不一致;二是忽略了人类大脑左右半球情感表达的差异性。在本文中，我们提出了一种新的多视图多标签混合模型，用于细粒度的情感解码（多达80个情感类别），可以学习表达性神经表征并同时预测多种情感状态。具体来说，我们的混合模型的生成组件是参数化的多视图变分自动编码器，其中我们认为大脑活动的左，右半球和他们的差异作为三个不同的视图，并使用专家机制的产品在其推理网络。我们的混合模型的歧视性组件实现了一个多标签分类网络与非对称焦点损失。为了更准确地解码情绪，我们首先采用标签感知模块进行情绪特定的神经表征学习，然后通过掩蔽的自我注意机制对情绪状态的依赖性进行建模。两个视觉诱发的情感数据集上的实验表明，我们的方法的优越性。
2022-10-26 cs.AI cs.HC cs.LG
Lie-Sensor: A Live Emotion Verifier or a Licensor for Chat Applications using Emotional Intelligence
Pandit Deendayal Petroleum University（潘迪特·迪恩达亚尔石油大学）
准确性是研究和开发创新产品的关键。实时情感分析和验证可以消除在实时聊天中对投诉者的欺骗，证实消息应用程序中两端的消息，并促进用户之间的诚实对话。这种情感人工智能验证器背后的主要概念是通过比较通过面部表情和文本预测识别的聊天应用程序用户的各种情绪来许可或拒绝消息问责制。在本文中，提出的情感智能现场检测器作为一个诚实的仲裁者谁分配到标签，即，快乐，悲伤，惊讶，和仇恨的面部情绪。此外，它通过文本分类单独预测消息的标签。最后，它比较两个标签，并宣布该消息为欺诈或善意。对于情感检测，我们使用miniXception模型部署了卷积神经网络（CNN），对于文本预测，我们选择了支持向量机（SVM）自然语言处理概率分类器，因为在应用支持向量机（SVM）、随机森林分类器、朴素贝叶斯分类器和Logistic回归后，在训练数据集上获得了最佳准确度。
2021-02-11 cs.AI cs.CL cs.CV
Machine learning based animal emotion classification using audio signals
Wallee AG（沃利公司）；SoftServe（软服公司）
本研究提出基于音频信号处理识别的机器学习方法实现犬只情绪自动分类，单犬音频测试准确率超70%，为人机界面优化及声学情绪分类工具开发提供支撑。
2025-03-23 cs.LG cs.SD
Is AI Catching Up to Human Expression? Exploring Emotion, Personality, Authorship, and Linguistic Style in English and Arabic with Six Large Language Models
College of Computer and Information Sciences, King Saud University（计算机与信息科学学院，沙特阿拉伯国王沙德大学）
本文研究六种大语言模型在英语和阿拉伯语中模仿情感和个性的能力，发现AI生成文本可被识别，但分类性能下降，揭示了LLM在情感信号编码上的差异。
2026-03-24 cs.CL cs.LG
Emotional Intelligence Through Artificial Intelligence : NLP and Deep Learning in the Analysis of Healthcare Texts
Maulana Azad National Institute of Technology (MANIT)（毛拉纳·阿扎德国家理工学院）；National Institute of Technology, Tiruchirappalli（蒂鲁奇拉帕利国家理工学院）
本研究系统综述了人工智能结合NLP与深度学习分析医疗文本情感的方法，展示了其在情感分类、预后预测和临床决策支持上的进展，并强调AI赋能个性化治疗与早期心理健康识别，同时指出伦理、隐私和偏见挑战，主张AI分析力与人文关怀协同以变革医疗实践。
2024-03-14 cs.AI cs.CL cs.HC
Training speech emotion classifier without categorical annotations
Le Mans University（勒芒大学）；LIUM（勒芒大学计算机实验室）
情感表征有两种范式：范畴标注和连续空间中的维度描述。因此，情绪识别任务可以被视为分类或回归。本研究的主要目的是调查这两种表示之间的关系，并提出了一个分类管道，只使用尺寸标注。所提出的方法包含一个回归模型，该模型被训练来预测给定语音音频的维度表示中的连续值的向量。该模型的输出可以使用映射算法解释为情感类别。我们研究了三个特征提取器，三个神经网络架构和三个映射算法在两个不同语料库上的组合的性能。我们的研究表明，通过回归方法的分类的优点和局限性。
2022-10-14 cs.CL cs.HC cs.LG
Controlling for Confounders in Multimodal Emotion Classification via Adversarial Learning
University of Michigan（密歇根大学）
各种心理因素影响个人如何表达情绪。然而，当我们收集用于构建情感识别系统的数据时，我们经常试图通过创建专注于引发情感行为的范式来实现这一目标。用这些类型的数据训练的算法不太可能在受控环境之外发挥作用，因为我们的情绪会随着这些其他因素的变化而自然变化。在这项工作中，我们研究如何多模态表达的情绪变化时，一个人是在不同程度的压力。我们假设，压力产生的调制可以隐藏个人的真实潜在情绪，我们可以通过控制压力的变化使情绪识别算法更具普遍性。为此，我们使用对抗网络来将压力调制与情绪表征去相关。我们研究了压力如何改变声学和词汇的情感预测，特别注意如何调制由于压力影响跨域的学习情感识别模型的可转移性。我们的研究结果表明，压力确实是编码在训练有素的情绪分类器，这种编码不同层次的情绪和整个词汇和声学模态。我们的研究结果还表明，与在训练过程中不控制压力的模型相比，在训练过程中控制压力的情感识别模型在应用于新领域时具有更好的泛化能力。我们的结论是，在建立和测试情绪识别模型时，有必要考虑外部心理因素的影响。
2019-08-23 cs.CL cs.LG cs.SD
Semi-supervised Bayesian Deep Multi-modal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
在情感识别中，仅使用单一的模态很难识别人的情感状态。此外，生理情感数据的注释特别昂贵。这两个方面使得建立有效的情感识别模型具有挑战性。本文首先建立了一个多视图深度生成模型，模拟多模态情感数据的生成过程。通过对潜在变量的后验近似施加高斯假设的混合，我们的模型可以从多个模态中学习共享的深度表示。为了解决标记数据稀缺的问题，我们进一步扩展我们的多视图模型的半监督学习的情况下，铸造的半监督分类问题作为一个专门的缺失数据填补任务。我们的半监督多视图深度生成框架可以利用来自多个模态的标记和未标记数据，其中可以自动学习每个模态的权重因子。与以往的情感识别方法相比，该方法具有更强的鲁棒性和灵活性。在两个真实的多模态情感数据集上进行的实验表明，我们的框架优于一些竞争对手。
2017-04-25 cs.AI cs.LG stat.ML
A Hybrid End-to-End Spatio-Temporal Attention Neural Network with Graph-Smooth Signals for EEG Emotion Recognition
University of Rochester（罗切斯特大学）；University of Eastern Finland（东芬兰大学）
本文提出一种混合端到端时空注意力神经网络，结合图信号平滑预处理，在DEAP、DREAMER和EEWD数据集上实现了优于现有方法的EEG情绪识别性能，并验证了其跨模态迁移学习能力。
2023-07-06 cs.LG eess.SP
AdCOFE: Advanced Contextual Feature Extraction in Conversations for emotion classification
Lakehead University（湖首大学）
对话中的情感识别是各种虚拟聊天机器人的重要一步，这些机器人需要基于意见的反馈，如社交媒体线程，在线支持和更多应用程序。当前会话模型中的情感识别面临着以下问题：（a）会话的两个对话之间的上下文信息丢失，（b）未能给予每个话语中的重要标记适当的重要性，以及（c）无法传递来自先前话语的情感信息。通过使用自然语言的知识图谱、情感词典和短语在话语的所有级别（词和位置嵌入）执行唯一的特征提取来解决这些问题。在会话数据集上的情感识别实验表明，AdCOFE有利于捕捉会话中的情感。
2021-04-09 cs.CL cs.LG
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning
Inner Mongolia University（内蒙古大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Imperial College London（帝国理工学院）
在情感文本到语音和语音转换等应用中，需要对语音进行情感分类和情感强度评估。提出了基于支持向量机（SVM）的情感属性排序函数，用于情感语音语料的情感强度预测。然而，训练的排序函数不能推广到新的领域，这限制了应用范围，特别是对于域外或看不见的语音。在本文中，我们提出了一个数据驱动的深度学习模型，即StrengthNet，以提高对可见和不可见语音的情感强度评估的泛化能力。这是通过融合来自各个领域的情感数据来实现的。我们遵循一个多任务学习网络架构，其中包括一个声学编码器，一个强度预测器，和一个辅助情感预测器。实验表明，所提出的StrengthNet的预测的情感强度是高度相关的地面真实分数为可见和不可见的语音。我们在https://github.com/ttslr/StrengthNet上发布源代码。
2022-06-15 cs.LG cs.SD eess.AS
A Deep Evolutionary Approach to Bioinspired Classifier Optimisation for Brain-Machine Interaction
School of Engineering and Applied Science, Aston University（阿斯顿大学工程与应用科学学院）
本研究提出了一种新的方法来EEG数据分类探索的想法，使用演化计算，既选择有用的歧视性EEG功能和优化的人工神经网络的拓扑结构。应用进化算法从2550个EEG统计特征的初始集合中选择信息量最大的特征。多层感知器（MLP）的优化是在分类之前使用进化方法来估计网络的最佳超参数。还探索了深度学习和使用长短期记忆（LSTM）的调优，并针对每个问题测试了两种类型模型的自适应提升。提供了三个实验，使用不同的分类器进行比较：一个用于注意力状态分类，一个用于情绪情感分类，第三个实验的目标是猜测受试者正在思考的数字。结果表明，Adaptive Boosted LSTM在注意力、情感和数字数据集上的准确率分别为84.44%、97.06%和9.94%。进化优化的MLP在前两个实验中实现了接近自适应提升LSTM的结果，并且在数字猜测实验中显著更高，自适应提升DEvo MLP达到31.35%，同时训练和分类的速度明显更快。特别是，在相同的基准测试中，非增强DEvo MLP的准确率分别为79.81%、96.11%和27.07%。使用Muse EEG头带收集实验的两个数据集，所述Muse EEG头带具有对应于国际EEG放置标准的TP9、AF7、AF8和TP10位置的四个电极。EEG MindBigData数字数据集从TP9、FP1、FP2和TP10位置收集。
2019-08-13 cs.AI cs.LG cs.NE
VEMOCLAP: A video emotion classification web application
INESC TEC；ISEP（波尔图理工学院工程学院）；Polytechnic of Porto（波尔图理工学院）
本研究推出开源视频情绪分类网络应用VEMOCLAP，通过改进基于视频帧、音频预训练模型与多头交叉注意力特征融合的方法，将Ekman-6数据集上的SOTA分类准确率提升4.3%，并提供可处理本地及YouTube视频的在线试用服务。
2024-10-22 cs.AI cs.CV cs.LG
Speech Emotion Recognition Using Deep Sparse Auto-Encoder Extreme Learning Machine with a New Weighting Scheme and Spectro-Temporal Features Along with Classical Feature Selection and A New Quantum-Inspired Dimension Reduction Method
Razi University（拉齐大学）
情感计算在人机关系中占有重要地位。本文提出了一种基于语音信号的语音情感识别系统。该系统包括三个阶段：特征提取，特征选择，最后特征分类。在第一阶段中，使用诸如韵律、频谱和频谱-时间特征的新的和不同的特征的组合从语音信号和声门波形信号两者中提取长期统计特征的复杂集合。SER系统的挑战之一是区分相关的情绪。这些特征是语音情感的良好鉴别器，并且增加了SER识别相似和不同情感的能力。这种具有大量维度的特征向量自然具有冗余性。在第二阶段，使用经典的特征选择技术以及一个新的量子启发的技术，以减少特征向量的维数，减少了特征向量的维数。在第三阶段中，通过加权深度稀疏极端学习机（ELM）分类器对优化的特征向量进行分类。分类器进行分类在三个步骤：稀疏随机特征学习，正交随机投影使用奇异值分解（SVD）技术，并在最后一步使用广义吉洪诺夫正则化技术的判别分类。此外，许多现有的情感数据集遭受的问题，数据分布不平衡，这反过来又增加了分类错误，降低系统性能。本文还提出了一种新的加权方法来处理类不平衡，这是比现有的加权方法更有效。所提出的方法进行了评估三个标准的情感数据库。
2021-11-13 cs.LG cs.SD eess.AS
