DAGER: Deep Age, Gender and Emotion Recognition Using Convolutional Neural Network
Sighthound Inc.（Sighthound公司）
本文介绍了Sighthound的全自动年龄，性别和情感识别系统的细节。我们系统的主干由几个深度卷积神经网络组成，这些网络不仅计算成本低，而且在几个竞争基准上提供了最先进的结果。为了支持我们的新型深度网络，我们通过半监督管道收集了大型标记数据集，以减少注释工作量/时间。我们在几个公共基准上测试了我们的系统，并报告了出色的结果。我们的年龄、性别和情绪识别模型可通过Sighthound Cloud API提供给开发人员，网址为https://www.sighthound.com/products/cloud
2017-03-04 cs.AI cs.CV
Investigating Emotion-Color Association in Deep Neural Networks
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
已经发现，由深度神经网络（DNN）学习的表征与灵长类动物大脑中测量的神经反应和人类相似性判断所表现出的心理表征非常相关。另一方面，过去的研究表明，特定的颜色可以与人类特定的情绪唤起有关。深度神经网络也会学习这种行为吗？在这项研究中，我们研究了DNN是否可以学习刺激中的内隐关联，特别是图像刺激之间的情感-颜色关联。我们的研究分两部分进行。首先，我们收集了一个被迫选择的决策任务中，受试者被要求选择一个特定的情感诱导图像的颜色人类的反应。接下来，我们使用图像的深度表示（使用在对象分类任务上训练的DNN提取）和任务中使用的颜色图像之间的相似性，在神经网络上对该决策任务进行建模。我们发现，我们的模型表现出两个决策概率之间的模糊线性关系。这导致了两个有趣的发现，1。深度神经网络学习的表征确实可以显示情感-颜色关联2。情绪与颜色的关联并不是随机的，而是涉及到一些认知现象。最后，我们还表明，这种方法可以帮助我们在情感分类任务，特别是当有很少的例子训练模型。这种分析可能与研究情绪-颜色关联的心理学家和人工智能研究人员在机器中建模情商或研究深度神经网络学习的表征有关。
2020-11-22 cs.AI cs.CV cs.NE
Emotion Correlation Mining Through Deep Learning Models on Natural Language Text
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）；Center for Data Science and Big Data Analytics, Oakland University（奥克兰大学数据科学与大数据分析中心）
情绪分析一直是研究者关注的焦点。人工智能领域以前的大多数工作都集中在识别情感上，而不是挖掘情感没有被识别或被错误识别的原因。情绪之间的相关性导致情绪识别的失败。本文试图通过网络新闻中的自然语言文本来填补情感识别和情感关联挖掘之间的空白。情绪之间的相关性主要是由人类的情绪认知偏差引起的，表现为情绪的混乱和演变。为了从文本情感识别中挖掘情感相关性，提出了三种特征和两种深度神经网络模型。通过正交基提取情感混淆规律。从一步转移、有限步转移和最短路径转移三个角度对情感演化规律进行了评价。该方法是使用三个小册子的标题，机构，和评论的新闻文章，涵盖了客观和主观的文本在不同的长度（长和短）进行验证。实验结果表明，在主观评论中，情绪很容易被误认为是愤怒。评论容易引起爱-怒、悲-怒的情绪循环。在客观新闻中，容易将文本情感识别为爱情，造成恐喜循环。也就是说，记者可能会试图用恐惧和喜悦的词语来吸引注意力，但却引起了爱的情感;新闻发布后，网民会产生情感评论来表达他们的强烈情绪，即，愤怒悲伤和爱这些发现可以为情感互动的应用提供见解，如网络舆情，社交媒体沟通，人机交互。
2020-07-28 cs.AI cs.CL cs.LG
A Theory-Based Explainable Deep Learning Architecture for Music Emotion
Columbia Business School（哥伦比亚商学院）；Yale School of Management（耶鲁管理学院）
本研究提出一种基于声学谐波理论的可解释CNN音乐情绪预测模型，性能优异且可解释性强，还验证了其在广告精准插放中提升参与度的应用价值。
2024-08-13 cs.AI cs.HC cs.SD
The Role of Emotions in Informational Support Question-Response Pairs in Online Health Communities: A Multimodal Deep Learning Approach
Augusta University（奥古斯塔大学）；University of Wisconsin Eau-Claire（威斯康星大学欧克莱尔分校）
本研究通过多模态深度学习模型分析在线健康社区中的信息支持问答对，揭示情绪在其中的重要作用，完善社会支持理论并为用户决策辅助工具奠定基础。
2024-05-21 cs.AI cs.SI
Emotion Recognition In Persian Speech Using Deep Neural Networks
Shahid Beheshti University（沙希德·贝赫什提大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
语音情感识别（SER）在人机交互（HCI）中具有重要的意义，因为它提供了对情况的更深入的理解并导致更好的交互。近年来，已经开发了各种机器学习和深度学习（DL）算法来改进SER技术。言语情感的识别取决于不同语言之间不同的表达类型。在本文中，为了进一步研究波斯语中的重要因素，我们研究了2018年发布的波斯语/波斯语数据集谢里夫情感语音数据库（ShEMO）的各种DL技术。使用低层和高层描述中的信号特征以及不同的深度神经网络和机器学习技术，实现了65.20%的未加权准确度（UA）和78.29%的加权准确度（WA）。
2022-11-12 cs.AI cs.SD eess.AS
Emotion-aware Personalized Music Recommendation with a Heterogeneity-aware Deep Bayesian Network
School of Management, Hefei University of Technology（合肥工业大学管理学院）；Rawls College of Business, Texas Tech University（德克萨斯理工大学罗尔斯商学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
针对现有情感感知音乐推荐系统忽略用户情感及音乐情绪偏好异质性的问题，提出四类异质性并构建异质性感知深度贝叶斯网络（HDBN），实验表明其在多指标上显著优于基线，且数据集和代码已开源。
2024-11-29 cs.AI
A Comprehensive Survey on Multi-modal Conversational Emotion Recognition with Deep Learning
Central South University of Forestry and Technology（中部林业科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；State University of New York（纽约州立大学）
本文针对多模态对话情感识别任务，系统梳理基于深度学习的四类建模方法，介绍相关数据集、特征提取方法、应用场景，分析现存挑战并展望未来方向。
2025-11-13 cs.AI
Deep Learning for Speech Emotion Recognition: A CNN Approach Utilizing Mel Spectrograms
Kansas State University（堪萨斯州立大学）
本文提出一种基于梅尔频谱图和CNN的语音情感识别方法，通过将音频转为视觉格式提升分类精度，并集成图形界面支持实时预测，旨在推动深度学习在教育场景中的应用。
2025-03-25 cs.AI cs.SD
Spatiotemporal EEG-Based Emotion Recognition Using SAM Ratings from Serious Games with Hybrid Deep Learning
Department of Computer Science, Electrical Engineering and Mathematical Sciences, Western Norway University of Applied Sciences（计算机科学、电气工程与数学科学系，西挪威应用科学大学）
本文基于GAMEEMO数据集提出统一多粒度EEG情绪分类框架，结合结构化预处理与多种机器学习及混合深度模型，LSTM-GRU在二分类、多分类和多标签任务中取得最优性能。
2025-08-28 cs.AI cs.LG
Hybrid Quantum Deep Learning Model for Emotion Detection using raw EEG Signal Analysis
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工学院电子工程学院）
针对传统基于EEG的情绪识别受噪声和高维数据限制的问题，提出混合量子深度学习模型，结合量子增强特征提取与传统深度学习分类，预处理后捕捉脑波模式及带间相互作用，提升情绪识别准确性，为相关领域应用提供工具。
2024-11-19 cs.AI cs.LG eess.SP
Graph-Regularized Deep Learning for EEG-Based Emotion Recognition with Psychologically-Grounded Label Structure
School of Mathematics (Zhuhai), Sun Yat-sen University（中山大学数学学院（珠海））
研究基于脑电图的情绪识别，提出图正则化学习框架，将情绪视为图中节点，采用三种正则化策略，在三种骨干架构上评估，在SEED-IV和SEED-V数据集上有改进，提升了标准方法的性能上限。
2026-07-10 cs.AI cs.LG
Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach
Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）；Central Washington University（中华盛顿大学）；Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）
本文提出一种基于AI的交互式音乐情绪操控流水线，可在保留旋律的同时反转歌曲情绪并用Circumplex模型可视化，且深度学习评估模型在4Q Emotion数据集上达到现有先进水平。
2024-06-12 cs.AI cs.CY cs.LG
Amplifying Emotional Signals: Data-Efficient Deep Learning for Robust Speech Emotion Recognition
Stanford University（斯坦福大学）
针对语音情感识别中数据有限的难题，本文结合迁移学习与数据增强技术训练多种模型，其中ResNet34在RAVDESS与SAVEE组合数据集上取得新基准，验证了该方案应对数据稀缺的有效性。
2025-08-26 cs.AI cs.CL cs.SD
A Comparative Study of Data Augmentation Techniques for Deep Learning Based Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音中的自动情感识别是一个长期存在的问题。虽然情绪识别的早期工作依赖于手工制作的特征和简单的分类器，但该领域现在已经采用了使用深度神经网络的端到端特征学习和分类。与这些模型并行，研究人员提出了几种数据增强技术，以增加现有标记数据集的大小和可变性。尽管在该领域有许多开创性的贡献，但我们仍然对网络架构和数据增强选择之间的相互作用缺乏了解。此外，只有少数研究证明了特定模型在多个数据集上的可推广性，这是鲁棒的现实世界性能的先决条件。在本文中，我们对流行的情感识别深度学习方法进行了全面评估。为了消除偏差，我们使用VESUS数据集修复模型架构和优化超参数，然后使用重复的5倍交叉验证来评估IEMOCAP和CREMA-D数据集的性能。我们的研究结果表明，语音信号中的长程相关性对于情感识别至关重要，并且速度/速率增强在各个模型中提供了最稳健的性能增益。
2022-11-09 cs.AI cs.SD eess.AS
Emotion-Oriented Behavior Model Using Deep Learning
University of Management and Technology（管理与技术大学）
本文提出一种基于情感的社会认知人工智能体行为模型，利用LSTM、CNN和BERT对推文数据进行情感预测，并通过BML生成面部表情和手势，实验验证其能准确模拟类人行为。
2023-10-28 cs.AI cs.CL cs.IT
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
针对语音情感识别中深度学习嵌入可解释性不足的问题，提出改进探测方法，通过重要维度子集的声学特征预测能力推断关键特征，实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
Music Interpretation and Emotion Perception: A Computational and Neurophysiological Investigation
School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，国家技术大学雅典）；Department of Music Studies, National and Kapodistrian University of Athens（音乐研究系，国家与卡波迪斯特里亚大学雅典）
本研究利用计算和神经生理学方法，探究不同演奏情境（如曲目、调式练习曲和即兴演奏）及表现力水平对表演者情感传达和听众反应的影响，发现表现力和即兴演奏具有独特声学特征并引发更强情感反应，且即兴演奏带来更大的神经生理放松。
2026-08-12 cs.AI cs.HC
Emotion-Agent: Unsupervised Deep Reinforcement Learning with Distribution-Prototype Reward for Continuous Emotional EEG Analysis
Shenzhen University（深圳大学）；Guangdong Provincial Key Laboratory of Biomedical Measurements and Ultrasound Imaging（广东省生物医学测量与超声成像重点实验室）
提出无监督深度强化学习框架Emotion-Agent，结合启发式算法和分布-原型奖励，自动从连续EEG信号中识别相关情绪时刻，提升了下游aBCI任务的准确性和可靠性。
2024-08-22 cs.AI cs.HC
Modeling the Experience of Emotion
Delft University of Technology（代尔夫特理工大学）
情感计算已被证明是一个可行的研究领域，由大量的多学科研究人员组成，其工作被广泛发表。这项工作的大部分内容包括情感识别的计算模型，情感因果因素的计算建模，以及通过渲染和机器人面部的情感表达。一小部分是关于情绪的影响建模，认知评价理论的正式建模和涌现情绪的模型。情感计算作为一个领域的部分动机是通过计算建模更好地理解情感过程。情感计算的四大主题之一是具有情感的计算机（其他主题是识别，表达和理解情感）。情绪的一个关键和被忽视的方面是情绪的体验（巴雷特，梅斯基塔，奥克斯纳和格罗斯，2007）：情绪事件的内容是什么样子的，这些内容如何随着时间的推移而变化，以及我们什么时候称之为情绪事件。很少有建模工作将这些主题作为主要焦点。一本关于合成情绪的杂志的推出应该会激励这一方向的研究举措，这项研究应该会对心理学中的情绪研究产生可衡量的影响。我指出，一个很好的方法是调查什么是情绪的心理核心：一种体验。我提出的想法如何情绪的经验可以建模，并提供证据表明，几个计算模型的情绪已经解决了这个问题。
2009-03-04 cs.AI cs.HC cs.RO
Recognition of Advertisement Emotions with Application to Computational Advertising
Imperial College（帝国理工学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）；National University of Singapore（新加坡国立大学）；Advanced Digital Sciences Center（高级数字科学中心）；A*STAR Singapore（新加坡科技研究局）
广告通常包含强烈的情感内容，以吸引观众的注意力并向观众传达有效的信息。然而，大多数计算的影响识别（AR）的方法检查广告通过文本模态，只有有限的工作一直致力于解码广告的情绪从视听或用户线索。这项工作（1）编译了一个情感广告数据集，能够唤起用户之间的连贯情感;（2）探索了以内容为中心的卷积神经网络（CNN）功能对AR与手工制作的视听描述符的功效;（3）从在广告观看期间获取的脑电图（EEG）响应检查以用户为中心的广告AR，和（4）演示了如何更好地影响预测促进有效的计算广告，由一项涉及18个用户的研究确定。实验表明，（a）CNN特征优于以内容为中心的AR的视听描述符;（b）EEG特征能够比基于内容的特征更好地编码广告诱导的情感;（c）多任务学习在一系列分类算法中表现最好，以实现最佳AR，以及（d）根据（b），EEG特征还能够优化广告插入到流视频中，与基于内容的或手动插入技术相比，在广告可记忆性和总体用户体验方面。
2019-04-03 cs.AI cs.HC
Emotion in Cognitive Architecture: Emergent Properties from Interactions with Human Emotion
Shizuoka University（静冈大学）
本文介绍了在计算认知架构中表示情感的努力。第一部分介绍了研究组织与两个轴的情绪影响：愉快和唤醒。在情感成分的基础上，该文档讨论了情感的涌现特性的一个方面，展示了与人类用户的交互研究。结合作者过去的研究，本文得出结论，认知人-智能体交互方法的优势在于能够代表人类的内部状态和过程。
2022-12-28 cs.AI cs.HC
Computational Emotion Analysis From Images: Recent Advances and Future Directions
PAII Inc.（PAII公司）；Imperial College London（帝国理工学院）；Tsinghua University（清华大学）；Nankai University（南开大学）
人类的情感通常是由图像引起的。最近，广泛的研究工作一直致力于理解图像的情感。在本章中，我们的目标是从计算的角度介绍图像情感分析（IEA），重点是总结最近的进展，并提出未来的发展方向。我们从心理学中常用的情感表征模型开始。然后，我们定义了研究人员一直试图解决的关键计算问题，并提供了通常用于不同IEA任务的监督框架。在介绍了IEA面临的主要挑战之后，我们介绍了情感特征提取、监督分类器学习和领域自适应等几种典型的方法。此外，我们介绍了可用的数据集进行评估，并总结了一些主要结果。最后，我们讨论了一些开放的问题和研究人员可以追求的未来方向。
2021-03-19 cs.AI cs.CV cs.HC
Is GPT a Computational Model of Emotion? Detailed Analysis
Institute for Creative Technologies（创意技术研究所）；University of Southern California（南加州大学）
本文从组件视角评估GPT系列大语言模型的情绪推理能力，发现其预测与人类评估显著一致，但在情绪强度和应对反应预测上存在困难，强调了组件视角评估的重要性。
2023-07-25 cs.AI cs.CL cs.CY
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Decoding Emotion in the Deep: A Systematic Study of How LLMs Represent, Retain, and Express Emotion
本文通过引入约40万条话语的Reddit情感语料库，利用轻量级探针研究Qwen3和LLaMA模型内部情感表征，发现情感几何结构随模型规模增强且优于零样本提示，情感信号早期出现并达峰值，且具可塑性与持久性，贡献了数据集、工具包及情感图谱。
2025-10-12 cs.AI
A Computational Study on Emotions and Temperament in Multi-Agent Systems
Faculty of Engineering of the University of Porto（波尔图大学工程学院）
神经科学和心理学的最新进展提供了证据，证明情感现象渗透于智力的许多层面，与认知-行动回路密不可分。感知、注意力、记忆、学习、决策、适应、沟通和社会互动是受其影响的一些方面。本研究从神经生物学、心理物理学和社会学等领域汲取灵感，探讨了构建自主机器人的问题，这些机器人能够相互交互，并基于气质决策机制构建策略。情感建模是人工智能和认知建模领域相对较新的焦点。这些模型可以理想地为我们理解人类行为提供信息。我们可能会看到情感的计算模型的发展作为一个核心的研究重点，这将促进大量的计算系统，模型，解释或影响人类行为的进步。我们提出了一个模型的基础上，一个可扩展的，灵活的和模块化的方法，情感，允许运行时的情感质量和性能之间的评估。研究结果表明，基于气质决策机制的策略对系统绩效有很大影响，主体的情绪状态与其气质类型之间存在明显的依赖关系，团队绩效与团队成员的气质配置之间也存在明显的依赖关系，这使我们能够得出结论，基于气质理论的情绪编程模块化方法是开发情绪行为多计算心智模型的良好选择。代理系统。
2008-09-27 cs.AI cs.MA cs.RO
Emotion-Inspired Deep Structure (EiDS) for EEG Time Series Forecasting
准确预测脑电图（EEG）时间序列对于正确诊断神经系统疾病（如癫痫发作和癫痫）至关重要。由于脑电时间序列是混沌的，大多数传统的机器学习算法都无法准确预测其下一步。因此，我们提出了一个模型，它已经形成的灵感来自神经结构的感觉（情绪状态），预测EEG时间序列。该模型被称为情绪激发的深层结构（EiDS），可用于预测EEG时间序列的短期和长期。本文还比较了EiDS与长短期记忆（LSTM）网络的其他变体的性能。
2020-08-01 cs.AI eess.SP
Semi-supervised Bayesian Deep Multi-modal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
在情感识别中，仅使用单一的模态很难识别人的情感状态。此外，生理情感数据的注释特别昂贵。这两个方面使得建立有效的情感识别模型具有挑战性。本文首先建立了一个多视图深度生成模型，模拟多模态情感数据的生成过程。通过对潜在变量的后验近似施加高斯假设的混合，我们的模型可以从多个模态中学习共享的深度表示。为了解决标记数据稀缺的问题，我们进一步扩展我们的多视图模型的半监督学习的情况下，铸造的半监督分类问题作为一个专门的缺失数据填补任务。我们的半监督多视图深度生成框架可以利用来自多个模态的标记和未标记数据，其中可以自动学习每个模态的权重因子。与以往的情感识别方法相比，该方法具有更强的鲁棒性和灵活性。在两个真实的多模态情感数据集上进行的实验表明，我们的框架优于一些竞争对手。
2017-04-25 cs.AI cs.LG stat.ML
Interpretable SincNet-based Deep Learning for Emotion Recognition from EEG brain activity
University of Trento（特伦托大学）；Mila - Quebec Artifical Intelligence Institute（Mila -魁北克人工智能研究所）；StonyBrook University（石溪大学）
机器学习方法，如深度学习，在医疗领域显示出有希望的结果。然而，这些算法缺乏可解释性可能会阻碍其适用于医疗决策支持系统。本文研究了一种可解释的深度学习技术，称为SincNet。SincNet是一个卷积神经网络，通过可训练的sinc-function有效地学习定制的带通滤波器。在这项研究中，我们使用SincNet来分析自闭症谱系障碍（ASD）患者的神经活动，他们在神经振荡活动中经历了特征性差异。特别是，我们提出了一种新的SincNet为基础的神经网络检测情感ASD患者使用EEG信号。可以很容易地检查学习的滤波器，以检测EEG频谱的哪一部分用于预测情绪。我们发现，我们的系统自动学习高$α$（9-13 Hz）和$β$（13-30 Hz）频带抑制通常存在于ASD患者中。这一结果与最近关于情绪识别的神经科学研究相一致，该研究发现这些带状supply-and-behavioral deficits与ASD患者的行为缺陷之间存在关联。在不牺牲情感识别性能的情况下，实现了SincNet的可解释性改进。
2021-07-18 cs.AI cs.HC cs.LG
Basic and Depression Specific Emotion Identification in Tweets: Multi-label Classification Experiments
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了实证分析的基本和抑郁症特定的多情感挖掘推文的帮助下，最先进的多标签分类器。我们从一个混合情感模型中选择基本情感，这个模型由四个高度重视的情感心理模型中的共同情感组成。此外，我们增加了新的情绪类别，因为它们在抑郁症的分析中的重要性，情绪模型。这些额外的情绪中的大多数都没有在以前的情绪挖掘研究中使用。我们的实验分析表明，成本敏感的RankSVM算法和深度学习模型都是鲁棒的，通过宏观F度量和微观F度量来衡量。这表明这些算法在解决多标签学习中众所周知的数据不平衡问题方面具有优势。此外，我们对深度学习的应用表现最好，使其在对我们扩展的情感类别的深层语义特征建模方面具有优势。
2021-06-21 cs.AI cs.LG
PDANet: Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Xidian University（西安电子科技大学）
现有的视觉情感分析方法主要集中在粗粒度的情感分类上，即为图像分配一个占主导地位的离散情感类别。然而，这些方法不能很好地反映情感的复杂性和微妙性。本文研究了基于卷积神经网络（CNN）的视觉情感细粒度回归问题。具体来说，我们开发了一个极性一致的深度注意力网络（PDANet），一种新颖的网络架构，将注意力集成到具有情感极性约束的CNN中。首先，我们建议将空间和通道方面的注意力结合到一个CNN的视觉情感回归，共同考虑沿每个通道的局部空间连接模式和不同通道之间的相互依赖性。其次，我们设计了一种新的回归损失，即极性一致回归（PCR）损失，基于弱监督的情绪极性来指导注意力的产生。通过优化PCR损失，PDANet可以生成极性保持的注意力图，从而提高情感回归性能。在IAPS、NAPS和EMOTIC数据集上进行了大量的实验，结果表明，所提出的PDANet在细粒度视觉情感回归方面明显优于现有的方法。我们的源代码发布在：https://github.com/ZizhouJia/PDANet。
2019-09-11 cs.AI cs.CV cs.MM
EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis
School of Science and Technology, Nottingham Trent University（诺丁汉特伦特大学科学与技术学院）
提出一种完全本地的计算智能流水线，结合语音情感识别与生成式推理，实现隐私保护的对话情感分析，在RAVDESS数据集上达到48.8%准确率，零外部调用。
2026-07-28 cs.AI cs.SD
EEGS: A Transparent Model of Emotions
University of Technology Sydney（悉尼科技大学）
本文介绍了我们的情感模型，EEGS的计算细节，并提供了一个概述的三阶段验证方法用于评估我们的模型，这也可以适用于其他计算模型的情绪。现有的情感建模文献中的一个主要差距是缺乏实现模型的计算/技术细节，这不仅使早期研究人员难以理解该领域，而且还阻止了专家研究人员开发模型的基准测试。我们在以前的工作中，通过介绍评估变量计算的技术细节，部分解决了这些问题。在本文中，我们提出了数学公式的基础上的理论前提评价理论的情绪强度的计算。此外，我们将讨论如何使我们的情感模型达到一个调节的情感状态的社会接受的自主智能体。我们希望本文将允许更好的知识透明度，准确的基准和情感建模领域的进一步发展。
2020-11-04 cs.AI cs.MA cs.RO
DeepEmoNet: Building Machine Learning Models for Automatic Emotion Recognition in Human Speeches
Stanford University（斯坦福大学）
针对语音情感识别中情感与声音成分关联不明确的难题，该研究构建SVM、LSTM、CNN等多种机器学习模型，结合迁移学习与数据增强在小数据集上训练，最优ResNet34模型取得66.7%准确率与0.631的F1值。
2025-08-20 cs.AI cs.LG eess.AS
Emotion in Reinforcement Learning Agents and Robots: A Survey
Delft University of Technology（代尔夫特理工大学）
本文首次对强化学习（RL）代理中的情感计算模型进行了调查。该调查侧重于智能体/机器人的情感，而大多忽略了人类用户的情感。情绪被认为是通过影响动机和行动选择来进行决策的功能。因此，计算情感模型通常基于Agent的决策结构，其中RL是一个重要的子类。在基于RL的代理中研究情感对于三个研究领域是有用的。对于机器学习（ML）研究人员来说，情感模型可以提高学习效率。对于交互式ML和人机交互（HRI）社区，情感可以传达状态并增强用户投资。最后，它允许情感建模（AM）研究人员在一个成功的人工智能智能体类中研究他们的情感理论。本调查提供了情绪理论和RL的背景。它系统地解决了1）从什么基本维度（例如，稳态、评价）可以推导出情绪以及如何在RL代理中对这些情绪进行建模，2）从这些维度推导出哪些类型的情绪，以及3）这些情绪如何影响代理的学习效率或作为有用的社交信号。我们还系统地比较了评估标准，并将其与重要的RL子域（如（内在）动机和基于模型的RL）联系起来。简而言之，这项调查为希望在RL代理中实现情感的工程师提供了一个实用的概述，并确定了未来情感RL研究的挑战和方向。
2017-05-15 cs.AI cs.HC cs.LG
Explainable Lightweight Compact Deep Models for Speech Emotion Recognition
针对语音情感识别中现有方法存在的问题，提出基于紧凑卷积神经网络架构的可解释轻量级框架，利用对数梅尔频谱图和注意力统计池化，结合基于梯度的类激活映射，在SAVEE数据集上实验，平衡了识别精度、计算效率和模型透明度。
2026-07-21 cs.AI cs.ET cs.LG
EmotionGIF-IITP-AINLPML: Ensemble-based Automated Deep Neural System for predicting category(ies) of a GIF response
National Institute of Technology, Durgapur（杜尔加布尔国家技术学院）；Indian Institute of Technology Patna（印度理工学院巴特那分校）
在本文中，我们描述了我们的IITP-AINLPML团队在SocialNLP 2020的共享任务中提交的系统，该任务是预测给定未标记推文的GIF响应的类别。对于任务的第一轮阶段，我们提出了一个基于注意力的双向GRU网络，该网络在tweet（文本）及其回复（文本）以及给定的GIF响应类别上进行训练。在第二轮阶段，我们为任务构建了几个基于深度神经的分类器，并通过基于多数投票的集成技术报告最终预测。我们提出的模型在第1轮和第2轮分别获得了52.92%和53.80%的最佳平均召回（MR）分数。
2020-12-23 cs.AI cs.CL
Us vs. Them: A Dataset of Populist Attitudes, News Bias and Emotions
Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Babelscape Srl, Sapienza University of Rome（罗马第一大学Babelscape有限公司）；Department of Psychology, University of Amsterdam（阿姆斯特丹大学心理学系）
政治语篇任务的计算建模已经成为自然语言处理中越来越重要的研究领域。近年来，民粹主义言论在整个政治领域有所上升;然而，由于其复杂性，对其的计算方法一直很稀缺。在本文中，我们提出了新的$\textit{Us vs. Them}$数据集，包括6861条Reddit评论，注释了民粹主义的态度和这种现象的第一个大规模计算模型。我们调查了民粹主义心态和社会群体之间的关系，以及一系列通常与这些相关的情绪。我们设定了一个基线的两个任务相关的民粹主义的态度，并提出了一套多任务的学习模型，利用和展示的重要性，情绪和群体识别作为辅助任务。
2021-02-14 cs.AI cs.CL
EmoAttack: Utilizing Emotional Voice Conversion for Speech Backdoor Attacks on Deep Speech Classification Models
School of Cyberspace Science Xiangtan University Xiangtan, China；School of Cyberspace Science Xiangtan University Beijing, China；School of Software \& Microelectronics Peking University Beijing, China
本文提出 EmoAttack，将情感语音转换作为后门触发器攻击关键词检出与说话人验证模型，实验证明其攻击成功率高且强烈情感更适合作目标。
2024-09-06 cs.AI cs.SD eess.AS
A Simple Attention-Based Mechanism for Bimodal Emotion Classification
University of Sunderland（桑德兰大学）；Sunderland（桑德兰）
本文提出一种引入注意力机制的双模态深度学习架构，融合文本与语音数据进行情感分类，实验表明其性能优于仅用单一模态的模型及多个现有最优系统。
2024-06-28 cs.AI cs.CL cs.LG
