Emotion Detection From Tweets Using a BERT and SVM Ensemble Model
The Military Technical Academy “Ferdinand I” of Bucharest（布加勒斯特“斐迪南一世”军事技术学院）
自动识别Twitter数据中表达的情绪具有广泛的应用。我们通过向由四种情绪组成的基准数据集添加一个中性类来创建一个平衡良好的数据集：恐惧，悲伤，喜悦和愤怒。在这个扩展的数据集上，我们研究了使用支持向量机（SVM）和双向编码器表示从Transformers（BERT）的情感识别。我们提出了一种新的集成模型相结合的BERT和SVM模型。实验结果表明，该模型对推文中的情感识别达到了0.91的最高准确率。
2022-08-09 cs.CL
Modeling Emotional Trajectories in Written Stories Utilizing Transformers and Weakly-Supervised Learning
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；Huawei Technologies（华为技术有限公司）；Imperial College London（伦敦帝国学院）
针对故事情感轨迹建模缺乏基准的问题，本文通过引入连续效价和唤醒度标签构建基准，并基于DeBERTa微调与弱监督学习方法进行预测，取得了优异的实验结果。
2024-06-04 cs.AI cs.CL
Automatic Emotion Modelling in Written Stories
University of Augsburg（奥格斯堡大学）；Huawei Technologies（华为技术有限公司）；Imperial College London（伦敦帝国学院）
针对书面故事缺少情感标注基准的问题，本文构建连续效价与唤醒度标注，并提出基于 ELECTRA 及上下文、LSTM/Transformer 层的预测方法，取得最佳 CCC 分别为 .7338 和 .6302。
2022-12-21 cs.CL
Leveraging Cross-Attention Transformer and Multi-Feature Fusion for Cross-Linguistic Speech Emotion Recognition
Shanghai Maritime University（上海海事大学）；Carleton University（卡尔顿大学）；The University of British Columbia（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）；The University of North Carolina at Pembroke（北卡罗来纳大学彭布罗克分校）
本研究提出HuMP-CAT方法，融合HuBERT、MFCC和韵律特征，利用交叉注意力Transformer和迁移学习，在五种语言的七个数据集上实现78.75%的平均准确率，优于现有跨语言语音情感识别方法。
2025-01-06 cs.CL cs.SD eess.AS
A Weakly Supervised Dataset of Fine-Grained Emotions in Portuguese
Brazilian Network Information Center (NIC.br)（巴西网络信息中心）；Mackenzie Presbyterian University（麦肯齐长老会大学）；Jusbrasil
情感计算是研究计算机如何识别、解释和模拟人类情感的科学。情感分析是NLP中与此主题相关的常见任务，但它只关注情感效价（积极，消极，中性）。NLP中的一种新兴方法是情感识别，它依赖于细粒度分类。本研究描述了一种方法来创建一个基于词汇的弱监督语料库细粒度的情绪在葡萄牙语。我们通过微调基于transformer的语言模型（BERT）并在黄金标准注释的验证集上验证它来评估我们的数据集。我们的研究结果（F1-score=.64）表明，基于词汇的弱监督作为一个适当的策略，在低资源环境中的初始工作。
2021-10-08 cs.CL
A Hybrid BERT and LightGBM based Model for Predicting Emotion GIF Categories on Twitter
Ping An Technology(Shenzhen)（平安科技（深圳））
动画图形交换格式（GIF）图像作为表达情感的直观方式在社交媒体上得到了广泛应用。考虑到它们的表现力，GIF提供了一种更微妙和精确的方式来传达情感。在本文中，我们为SocialNLP 2020的共享任务--PredictionGIF 2020挑战提出了解决方案。为了给未标记的推文推荐GIF类别，我们将该问题视为一种匹配任务，并提出了一种基于Transformer双向编码器表示（BERT）和LightGBM的学习排序框架。我们的团队在第一轮排行榜上以0.5394的平均精度@6（MAP@6）得分获得第四名。
2020-08-14 cs.CL cs.IR
Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA
Brazilian Network Information Center (NIC.br)（巴西网络信息中心 (NIC.br)）；Pontifical Catholic University of São Paulo (PUC-SP)（圣保罗天主教大学 (PUC-SP)）
本文研究了如何将自然语言理解（NLU）应用于情感计算中的一个特定任务--情感识别。我们使用细粒度的情感数据集对不同的Transformers语言模型（BERT、DistilBERT、RoBERTa、XLNet和ELECTRA）进行了微调，并根据性能（f1分数）和完成时间对它们进行了评估。
2021-04-05 cs.CL
Speech Swin-Transformer: Exploring a Hierarchical Transformer with Shifted Windows for Speech Emotion Recognition
Southeast University（东南大学）；Imperial College London（伦敦帝国理工学院）；Pazhou Lab（琶洲实验室）
本文提出Speech Swin-Transformer，通过移位窗口的分层Transformer聚合帧级到段级的多尺度语音情感特征，在语音情感识别任务上取得优于现有方法的性能。
2024-01-19 cs.CL
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection
University of Warwick（华威大学）；Southeast University（东南大学）
对话中的情感检测具有挑战性，因为它通常需要识别对话背后的主题、相关常识知识以及情感状态之间复杂的过渡模式。在本文中，我们提出了一个主题驱动的知识感知Transformer来处理上述挑战。我们首先设计了一个主题增强的语言模型（LM）与一个额外的层专门用于主题检测。主题增强的LM，然后与常识的语句从一个知识库的基础上的对话上下文信息。最后，一个基于转换器的编码器-解码器架构融合的主题和常识信息，并执行情感标签序列预测。该模型已在四个数据集上进行了实验，在对话情感检测，证明了其优越性经验超过现有的国家的最先进的方法。定量和定性的结果表明，该模型可以发现有助于区分情感类别的主题。
2021-06-02 cs.CL
Addressing Data Imbalance in Transformer-Based Multi-Label Emotion Detection with Weighted Loss
Manchester Metropolitan University（曼彻斯特 Metropolitan 大学）
本文提出通过加权损失函数解决基于Transformer的多标签情感检测中的数据不平衡问题，实验表明该方法在提升高频情感类别性能方面有效，但对少数类别影响有限。
2026-02-04 cs.CL
Transformer based ensemble for emotion detection
Pune Institute of Computer Technology（浦那计算机技术学院）；Manipal Institute of Technology（马尼帕尔理工学院）
检测语言中的情感对于实现人与机器之间的完整交互非常重要。本文描述了我们对WASSA 2022共享任务的贡献，该任务处理情感检测这一关键任务。我们必须根据给定的文章文本识别以下情绪：悲伤，惊讶，中性，愤怒，恐惧，厌恶，喜悦。我们正在使用ELECTRA和BERT模型的集成来解决这个问题，实现了$62.76\%$的F1分数。我们的代码库（https：//bit.ly/WASSA_shared_task）和WandB项目（https：//wandb.ai/acl_wassa_pictxmanipal/acl_wassa）是公开的。
2022-04-10 cs.CL
Improving the Generalizability of Text-Based Emotion Detection by Leveraging Transformers with Psycholinguistic Features
RWTH Aachen University（亚琛工业大学）；University of Amsterdam（阿姆斯特丹大学）
近年来，人们对构建预测模型的兴趣越来越大，这些模型利用自然语言处理和机器学习技术来检测来自各种文本源的情绪，包括社交媒体帖子，微博或新闻文章。然而，在现实世界的情感和情绪应用程序中部署这样的模型面临着挑战，特别是差的域外泛化能力。这可能是由于特定领域的差异（例如，主题、交流目标和注释方案），使得在不同的情感识别模型之间的转换变得困难。在这项工作中，我们提出了基于文本的情感检测方法，该方法利用Transformer模型（BERT和RoBERTa）与双向长短期记忆（BiLSTM）网络相结合，该网络在一组全面的心理语言学特征上进行训练。首先，我们在两个基准数据集上评估了我们的模型在域内的性能：GoEmotion和ISBN。其次，我们对来自统一情感数据集的六个数据集进行迁移学习实验，以评估它们的域外鲁棒性。我们发现，所提出的混合模型提高了推广到分布外数据的能力相比，一个标准的基于变压器的方法。此外，我们观察到这些模型在域内数据上表现出竞争力。
2022-12-19 cs.CL
RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction
Nanjing University of Science and Technology（南京理工大学）
情感原因提取（ECE）任务旨在发现文档中特定情感表达背后的潜在原因。已经提出了包括基于规则的方法、传统的机器学习方法和深度神经网络的技术来解决这个任务。然而，大多数以前的工作认为ECE作为一组独立的条款分类问题，忽略了多个条款之间的关系，在一个文件。在这项工作中，我们提出了一个联合的情感原因提取框架，命名为RNN-Transformer分层网络（RTHN），同步编码和分类多个子句。RTHN由一个基于RNN的低层词级编码器和一个基于Transformer的上层子句级编码器组成，前者用于对每个子句中的多个词进行编码，后者用于学习文档中多个子句之间的相关性。此外，我们还提出了将相对位置和全局谓词信息编码到Transformer中的方法，该方法可以捕获子句之间的因果关系，从而使RTHN更有效。在12个比较系统中，我们最终取得了最好的性能，并将最先进的F1分数从72.69%提高到76.77%。
2019-06-04 cs.CL
Discovering Emotion and Reasoning its Flip in Multi-Party Conversations using Masked Memory Network and Transformer
IIIT-Delhi（印度德里信息技术学院）
在多方会话中有效地发现说话人的情感状态对于设计类人会话Agent具有重要意义。在谈话过程中，说话者的认知状态往往会因过去的某些话语而改变，这可能会导致他们情绪状态的翻转。因此，发现说话人在谈话中情感翻转背后的原因（触发器）对于解释个体话语的情感标签至关重要。在本文中，随着解决的会话中的情感识别（ERC）的任务，我们介绍了一种新的任务--翻转推理（EFR），其目的是识别过去的话语，触发了一个人的情绪状态，在一定的时间翻转。我们提出了一个掩蔽的内存网络来解决前者和基于transformer的网络，后者的任务。为此，我们考虑MELD，一个用于ERC任务的多方对话中的基准情感识别数据集，并使用EFR的新地面真实标签对其进行增强。与五个国家的最先进的模型进行了广泛的比较，表明我们的模型在这两项任务中的性能得到了改善。我们进一步提出了轶事证据和定性和定量的误差分析，以支持我们的模型相比，基线的优越性。
2021-12-31 cs.CL
Transformer-based Text Classification on Unified Bangla Multi-class Emotion Corpus
School of Management Science and Engineering, Shandong University of Finance and Economics（山东财经大学管理科学与工程学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）
本研究针对孟加拉语文本情感识别任务，基于transformer模型构建六类情感分类器，采用合并现有数据集与新标注数据构建的UBMEC语料库评估，且公开了数据集与代码。
2023-06-13 cs.CL
WASSA@IITK at WASSA 2021: Multi-task Learning and Transformer Finetuning for Emotion Classification and Empathy Prediction
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
本文描述了我们对WASSA 2021共情预测和情绪分类共享任务的贡献。这项任务的主要目标是建立一个同理心分数，一个痛苦分数和一篇文章的整体情绪水平的模型，这篇文章是为了回应一篇与伤害某人有关的报纸文章。我们已经大量使用了ELECTRA模型，以及先进的深度学习方法，如多任务学习。此外，我们还利用了标准的机器学习技术，如集成。我们的系统实现了皮尔逊相关系数为0.533的子任务I和宏观F1得分为0.5528的子任务II。我们在情绪分类子任务中排名第一，在移情预测子任务中排名第三
2021-04-20 cs.CL
A Hierarchical Transformer with Speaker Modeling for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
会话中的情感识别（ERC）是一个比传统文本情感识别更具挑战性的任务。它可以看作是一个个性化的、交互式的情感识别任务，不仅要考虑文本的语义信息，还要考虑说话人的影响。目前的方法通过在每两个说话者之间建立关系来模拟说话者的交互。然而，这种细粒度但复杂的建模是计算昂贵的，难以扩展，并且只能考虑局部上下文。为了解决这个问题，我们将复杂的建模简化为二进制版本：说话者内和说话者间的依赖关系，而不需要为目标说话者识别每个唯一的说话者。为了更好地实现Transformer中说话人的简化交互建模，使其具有良好的解决长距离依赖的能力，我们设计了三种类型的掩码，并分别在三个独立的Transformer模块中使用。所设计的模板分别对传统的上下文建模、说话人内相关性和说话人间相关性进行建模。此外，不同的说话人感知信息提取的Transformer块差异有助于预测，因此，我们利用注意力机制自动加权。在两个ERC数据集上的实验表明，我们的模型是有效的，以实现更好的性能。
2020-12-29 cs.CL
Detecting Emotion Drift in Mental Health Text Using Pre-Trained Transformers
Author（作者）
本研究利用预训练变换器模型检测心理健康文本中的情绪变化，通过分析句子层面的情感来识别情绪漂移模式。
2025-12-15 cs.AI cs.CL
REDAffectiveLM: Leveraging Affect Enriched Embedding and Transformer-based Neural Language Model for Readers' Emotion Detection
University of Calicut（卡利卡特大学）
本文提出REDAffectiveLM模型，结合Transformer上下文表示与情感增强Bi-LSTM+Attention，并在新数据集REN-20k等上验证其显著提升读者情绪检测性能。
2023-01-21 cs.CL
Leveraging the power of transformers for guilt detection in text
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）
本文研究基于Transformer的语言模型在文本内疚感检测中的应用，提出一种优于BERT和RoBERTa的模型，并分析了相关情绪检测的挑战与效果。
2024-01-15 cs.CL
Emotion Detection with Transformers: A Comparative Study
本研究探讨了基于Transformer的模型在文本情感分类中的应用，分析了微调、层可训练性和文本预处理对模型性能的影响，发现去除标点和停用词等常用技术会因破坏上下文关系而阻碍模型性能。
2024-07-27 cs.CL stat.AP
Fine-Grained Emotion Detection on GoEmotions: Experimental Comparison of Classical Machine Learning, BiLSTM, and Transformer Models
Zaven P. and Sonia Akian College of Science and Engineering（扎文·皮和索尼娅·阿金科学与工程学院）；American University of Armenia（亚美尼亚美国大学）
本文比较了经典机器学习、BiLSTM和Transformer模型在GoEmotions数据集上的细粒度情感识别性能，发现BERT在平衡性上表现最佳，而逻辑回归在Micro-F1指标上表现最优。
2026-01-26 cs.CL
Transformer based neural networks for emotion recognition in conversations
Interdisciplinary School of Doctoral Studies（跨学科博士研究学院）；HLT Research Center（人类语言技术研究中心）；University of Bucharest（布加勒斯特大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
本文介绍 ISDS-NLP 团队在 SemEval 2024 EDiReF 子任务 1 中的情感识别方案，比较 MLM 微调与 Mistral 提示方法，验证 MLM 在句子级分类中更优。
2024-05-18 cs.CL
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Linguistic Signatures for Enhanced Emotion Detection
LIRMM, Université de Montpellier（LIRMM，蒙彼利埃大学）
研究通过提取13个英语数据集的情绪特定语言特征，评估其在Transformer模型中的效果，发现高层面的语言特征可提升GoEmotions基准测试的性能，表明显式词汇线索能增强情绪分类的鲁棒性。
2026-03-04 cs.CL
Leveraging Emotion-specific Features to Improve Transformer Performance for Emotion Classification
PVG’s COET（PVG工程学院）；Savitribai Phule Pune University（萨维特里巴伊·普勒·浦那大学）
本文描述了PVGs AI Club团队在WASSA 2022举行的情绪分类共享任务的方法。此轨道2子任务侧重于构建模型，该模型可以基于新闻文章中的文章预测多类情感标签，其中一个人，一个团体或另一个实体受到影响。基线Transformer模型在序列分类任务上表现出良好的效果，我们的目标是在集成技术的帮助下，并通过利用两种不同的情感表达来提高这种性能。我们观察到比我们的基线模型更好的结果，并在情感分类任务上实现了0.619的准确度和0.520的宏观F1得分。
2022-04-30 cs.AI cs.CL cs.LG
Multilevel Transformer For Multimodal Emotion Recognition
DigiTech（奇虎360数字科技）
多模态情感识别是近年来研究的热点。利用有限的标记数据有效地融合多种模态是一项具有挑战性的任务。考虑到预训练模型的成功和情感表达的细粒度性质，将这两个方面考虑在内是合理的。不同于以往的方法，主要集中在一个方面，我们引入了一种新的多粒度框架，它结合了细粒度表示与预训练的话语级表示。受Transformer TTS的启发，我们提出了一个多级Transformer模型来进行细粒度的多模态情感识别。具体来说，我们探索不同的方法，将音素级嵌入与单词级嵌入。为了执行多粒度学习，我们简单地将多级Transformer模型与Albert相结合。大量的实验结果表明，我们的多级Transformer模型和多粒度模型优于以前的国家的最先进的方法在IEMOCAP数据集与文本抄本和语音信号。
2022-11-16 cs.AI cs.CL cs.LG
A Syntactically Constrained Bidirectional-Asynchronous Approach for Emotional Conversation Generation
Hefei University of Technology（合肥工业大学）
传统的神经语言模型倾向于生成逻辑性差、没有情感的通用回复。本文提出了一种基于句法约束的双向异步情感会话生成方法（E-SCBA）。在我们的模型中，预先生成的情感关键字和主题关键字异步引入到解码过程中。它与大多数现有的从第一个词到最后一个词生成回复的方法有很大不同。实验结果表明，该方法不仅提高了回复的多样性，而且与基线相比，在逻辑和情感上都有了提升。
2018-08-27 cs.CL cs.LG
A Transformer-based joint-encoding for Emotion Recognition and Sentiment Analysis
Information, Signal and Artificial Intelligence Lab（信息、信号与人工智能实验室）；University of Mons（蒙斯大学）
理解所表达的情感和情绪是人类多模态语言的两个关键因素。本文描述了一种基于转换器的联合编码（TBJE）的任务，情感识别和情感分析。除了使用Transformer架构之外，我们的方法还依赖于模块化的共同关注和一瞥层来联合编码一个或多个模态。提出的解决方案也已提交给ACL 20：第二次多模态语言大挑战，将在CMU-MOSEI数据集上进行评估。复制所呈现实验的代码是开源的：https://github.com/jbdel/MOSEI_UMONS。
2020-06-29 cs.CL cs.HC cs.LG
An Efficient End-to-End Transformer with Progressive Tri-modal Attention for Multi-modal Emotion Recognition
Harbin Institute of Technology（哈尔滨工业大学）
最近的多模态情感识别工作转向端到端模型，与两阶段管道相比，它可以提取目标任务监督的特定于任务的特征。然而，以前的方法只建模的特征之间的相互作用的文本和任何声学和视觉模态，忽略了捕获的声学和视觉模态之间的功能交互。在本文中，我们提出了多模态的端到端的Transformer（ME 2 ET），它可以有效地模拟三模态特征之间的相互作用的文本，声学，视觉模态在低级别和高级别。在低层，我们提出了渐进式三模态注意力，它可以通过采用两遍策略来建模三模态特征交互，并可以进一步利用这种交互，通过减少输入令牌长度来显着降低计算和内存复杂度。在高层次上，我们引入了三模态特征融合层来显式地聚合三种模态的语义表示。在CMU-MOSEI和IEMOCAP数据集上的实验结果表明，ME 2 ET算法达到了最佳性能。进一步的深入分析证明了所提出的渐进式三模态注意的有效性、效率和可解释性，这可以帮助我们的模型在显著降低计算和内存成本的同时获得更好的性能。我们的代码将公开。
2022-09-20 cs.CL
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University（德里理工大学）
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系，这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平，其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器，用于捕获用户话语中的情商，以产生类似人类的移情反应。本文的贡献如下：1）在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2）提出了一种新颖的Transformer编码器，其将词嵌入与情感嵌入相加并归一化，从而集成了输入话语的语义和情感方面3）编码器和解码器栈属于Transformer。XL体系结构，这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性，与现有方法相比，生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实，包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-英属哥伦比亚大学联合卓越研究中心（老年人积极生活方向））；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Nanyang Technological University（南洋理工大学）
人类对话中的信息固有地传达情感。文本对话中的情感检测任务导致了广泛的应用，例如社交网络中的意见挖掘。然而，让机器分析对话中的情感是一项挑战，部分原因是人类通常依赖上下文和常识知识来表达情感。在本文中，我们提出了一个知识丰富的Transformer（KET），上下文话语解释使用层次化的自我注意力和外部常识知识是动态利用上下文感知的情感图注意力机制来应对这些挑战。在多个文本会话数据集上的实验表明，上下文和常识知识都有利于情感检测性能。此外，实验结果表明，我们的KET模型优于国家的最先进的模型在大多数测试数据集上的F1得分。
2019-10-01 cs.AI cs.CL cs.LG
Fine-Grained Emotional Paraphrasing along Emotion Gradients
Westview High School（西景高中）
释义生成，又称。释义是自然语言处理中的一项重要任务。情感释义，即在保持文本意义的同时改变文本中所体现的情感，具有许多潜在的应用，例如，主持在线对话和防止网络欺凌。我们引入了一个新的任务，细粒度的情感释义沿情感梯度，即改变情感强度的释义在细粒度以下的情感维度的平滑变化，同时保持原来的意义。我们提出了一个框架，通过多任务训练微调文本到文本的Transformers来解决这个任务。我们增强了几个广泛使用的释义语料库，通过注释的输入和目标文本与他们的细粒度的情感标签。有了这些标签，在这些语料库上微调文本到文本的Transformers需要多任务训练。在单独的测试集上对微调的Transformers的评估表明，在释义任务中包括细粒度的情感标签显著提高了获得所需情感的高质量释义的机会，即，超过一倍的数量的精确匹配所需的情绪，同时实现了一贯更好的分数在释义指标，如蓝色，ROGUE，和METEOR。
2022-10-30 cs.CL cs.LG
Hierarchical Transformer Network for Utterance-level Emotion Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
虽然文本情感识别已经取得了很大的进展，但在话语级情感识别（ULER）领域，仍然有许多问题需要解决。在本文中，我们解决了一些挑战，在ULER的对话系统。(1)同样的话语在不同的语境中或来自不同的说话者时，可以传递不同的情感。(2)长距离的上下文信息很难有效地捕捉。(3)与传统的文本分类问题不同，该任务由有限数量的数据集支持，其中大多数包含不充分的对话或语音。为了解决这些问题，我们提出了一个分层的Transformer框架（除了其他研究的描述，“Transformer”在本文中通常是指编码器部分的Transformer）与较低级别的Transformer模型的单词级输入和较高级别的Transformer捕获的话语级嵌入的上下文。我们使用一个预先训练好的语言模型Transformers的双向编码器表示（BERT）作为底层的Transformer，相当于在模型中引入了外部数据，在一定程度上解决了数据不足的问题。此外，我们首次在模型中加入了说话人嵌入，这使得我们的模型能够捕捉说话人之间的交互。在三个对话情感数据集Friends、QuestionPush和EmoryNLP上的实验表明，我们提出的分层Transformer网络模型在每个数据集上的宏F1方面分别比最先进的方法提高了1.98%、2.83%和3.94%。
2020-02-18 cs.CL cs.LG cs.SD
Modulated Fusion using Transformer for Linguistic-Acoustic Emotion Recognition
Stanford University（斯坦福大学）；University of Mons（蒙斯大学）
本文旨在为情感识别和情感分析的任务带来一个新的轻量级但功能强大的解决方案。我们的动机是提出两个架构的基础上Transformers和调制，结合语言和声学输入从广泛的数据集的挑战，有时超越，国家的最先进的领域。为了证明我们的模型的效率，我们仔细评估了它们在IEMOCAP，MOSI，MOSEI和MELD数据集上的性能。实验可以直接复制，代码完全开放，供未来研究使用。
2020-10-05 cs.CL cs.HC cs.LG
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
由自我注意层（Transformers）组成的大型预训练神经网络最近在几个语音情感识别（SER）数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练，目的是提高自动语音识别性能，从而理解语言信息。在这项工作中，我们调查在SER微调过程中，利用这些信息的程度。使用基于开源工具的可重复方法，我们合成韵律中立的语音话语，同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感，但对强化词或还原词却不敏感，而这些语言特征都不影响唤醒或支配。这些研究结果表明，Transformers可以成功地利用语言信息，以提高他们的效价预测，语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
HausaNLP at SemEval-2025 Task 11: Hausa Text Emotion Detection
HausaNLP；University of the Witwatersrand（沃斯兰大学）；Federal Polytechnic Daura（达乌拉联邦理工学院）；Kaduna State University（卡杜纳州大学）
本文针对低资源豪萨语的多标签情感检测，微调 AfriBERTa 模型，在 SemEval 任务中取得 74.00% 准确率和 73.50% F1 分数，验证了 transformer 模型在低资源语言中的有效性。
2025-06-23 cs.CL
A Hormone-inspired Emotion Layer for Transformer language models (HELT)
本文提出HELT，通过生物启发的激素情感模块增强Transformer模型，以模拟人类情感处理。通过六种连续激素值模拟，提升模型对情感上下文的响应能力，实验表明在情感准确性与同理质量上优于基线模型。
2026-04-13 cs.CL cs.LG cs.NE
A Multibias-mitigated and Sentiment Knowledge Enriched Transformer for Debiasing in Multimodal Conversational Emotion Recognition
Beijing Institute of Technology（北京理工大学）；Zhengzhou University of Light Industry（郑州轻工业大学）；Nanjing University（南京大学）
会话中的多模态情感识别（MultimodalEmotiveRecognitioninConversations，mERC）是自然语言处理（NaturalLanguageProcessing，NLP）领域的一个研究热点，其目的是预测人类在多模态交流中的情感状态，自然语言和面部表情。人类语言和对话中充满了不可否认的隐含偏见和先入之见，这就引出了一个问题：当前数据驱动的mERC方法是否会产生有偏见的错误。例如，这样的方法可以对女性的话语提供比男性更高的情感分数。此外，现有的去偏见模型主要集中在性别或种族，其中多偏见缓解仍然是mERC中未探索的任务。在这项工作中，我们采取了第一步，以解决这些问题，提出了一系列的方法来减轻五种典型的偏见在文本话语（即，性别、年龄、种族、宗教和LGBTQ+）和视觉表示（即，性别和年龄），然后是多偏差缓解和情感知识丰富的双模态Transformer（MMKET）。综合实验结果表明，该模型的有效性，并证明去偏操作有很大的影响mERC的分类性能。我们希望我们的研究将有助于在mERC和相关的情绪研究的偏见缓解的发展。
2022-07-17 cs.CL cs.LG
Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition
Department of Computer Science USTO-MB Oran, Algeria
本文提出基于混合CNN-Transformer架构的阿拉伯语语音情感识别系统，通过卷积层提取频谱特征并利用Transformer捕捉时间依赖性，实验显示在EYASE数据集上达到97.8%的准确率和0.98的宏F1分数。
2026-03-28 cs.AI cs.CL cs.SD
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
DWFormer: Dynamic Window transFormer for Speech Emotion Recognition
South China University of Technology（华南理工大学）；VoiceAI Technologies（声智科技）；Pazhou Laboratory（琶洲实验室）
语音情感识别是人机交互的关键。代表不同情绪的时间区域局部地分散在语音的不同部分中。此外，重要信息的时间尺度可以在语音段内和跨语音段的大范围内变化。虽然基于变换的模型在这一领域取得了进展，现有的模型不能精确地定位在不同的时间尺度上的重要区域。为了解决这个问题，我们提出了动态窗口Transformer（DWFormer），一个新的架构，利用时间的重要性，通过动态分割样本到窗口。自注意力机制应用于窗口中，以细粒度的方式局部捕获时间重要信息。跨窗口的信息交互也被考虑到全球传播。DWFormer在IEMOCAP和MELD数据集上进行评估。实验结果表明，该模型取得了更好的性能比以前的国家的最先进的方法。
2023-03-03 cs.CL cs.SD eess.AS
Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers
Qatar University（卡塔尔大学）
针对跨语言语音情感识别性能受限的问题，提出多模态双注意力 Transformer（MDAT），融合图注意力、协同注意力与 transformer 编码，在少量目标语言数据下提升分类效果。
2023-07-14 cs.CL cs.SD eess.AS
HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition
本文介绍了HeBERT和HebEMO。HeBERT是一个基于transformer的现代希伯来语文本模型，它依赖于BERT（Transformers的双向编码器表示）架构。BERT已被证明在情感分析中优于替代架构，并且被建议特别适合于MRL。分析多个BERT规范，我们发现，虽然模型复杂度与语言任务的高性能相关，旨在理解句子中的术语，更简约的模型更好地捕捉整个句子的情感。无论哪种方式，基于BERT的语言模型在所有公共语言任务上都优于所有现有的希伯来语替代品。HebEMO是一个使用HeBERT检测极性并从希伯来语UGC中提取情感的工具。HebEMO是在我们为这项研究收集和注释的独特的Covid-19相关UGC数据集上训练的。数据汇集和注释遵循旨在最大化可预测性的主动学习程序。我们表明，HebEMO产生了很高的F1分数为0.96极性分类。对于各种目标情绪，情绪检测达到F1-分数0.78-0.97，除了模型未能捕获的惊喜（F1 = 0.41）。这些结果优于最好的报告的性能，即使在英语语言模型的情绪检测。
2021-02-25 cs.CL
Multi-Task Learning of Generation and Classification for Emotion-Aware Dialogue Response Generation
Waseda University（早稻田大学）
要让计算机自然地与人类互动，它需要像人类一样。在本文中，我们提出了一个神经反应生成模型与多任务学习的生成和分类，专注于情感。我们的模型基于BART（Lewis等人，2020），一种预先训练的Transformer编码器-解码器模型，被训练以同时生成响应和识别情绪。此外，我们加权的任务的损失，以控制参数的更新。自动评估和众包手动评估表明，所提出的模型使生成的反应更情绪化。
2021-05-25 cs.CL
Beyond Isolated Utterances: Conversational Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音情感识别是指根据说话人的语音记录来识别说话人的情感状态。虽然目前大多数的方法都集中在从孤立的话语推断情感，我们认为，这是不足以实现会话情感识别（CER），它涉及到在对话中识别情感。在这项工作中，我们提出了几种方法CER治疗它作为一个序列标记任务。我们研究了CER的Transformer架构，并使用IEMOCAP语料库在上下文和无上下文场景下将其与ResNet-34和BiLSTM架构进行了比较。基于自我注意力机制的内部工作原理，我们提出了DiverseCatAugment（DCA），一种增强方案，它将Transformer模型的性能提高了3.3%的绝对微f1，对孤立的话语提高了3.6%。我们通过引入对话者感知的Transformer模型进一步提高了性能，在该模型中，我们学习对话者索引嵌入的字典来利用日记化的对话。
2021-09-13 cs.CL cs.SD eess.AS
Towards More Accurate Prediction of Human Empathy and Emotion in Text and Multi-turn Conversations by Combining Advanced NLP, Transformers-based Networks, and Linguistic Methodologies
基于WASSA共享任务，本文结合前馈神经网络、多种嵌入模型、分层采样、词汇资源及模型集成，预测文本和二元对话中的共情与情感水平。
2024-07-26 cs.CL cs.LG
Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation
Chongqing University of Technology（重庆理工大学）
针对多模态对话情绪识别中跨模态融合噪声和少样本标签预测难题，提出融合混合对比学习的多模态提示Transformer，通过提示增强与分层融合及混合对比优化，在两个基准数据集上取得SOTA表现。
2023-10-04 cs.CL cs.SD eess.AS
LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences
Beijing University of Posts and Telecommunications（北京邮电大学）；East China Normal University（华东师范大学）；Shanghai University of International Business and Economics（上海对外经贸大学）
学习模态融合表示和处理不对齐的多模态序列在多模态情感识别中是有意义和具有挑战性的。现有的方法使用定向成对注意或消息中心来融合语言、视觉和听觉模态。然而，这些方法在融合特征时引入了信息冗余，并且没有考虑模态的互补性而效率低下。在本文中，我们提出了一个有效的神经网络学习模态融合表示与CB-Transformer（LMR-CBT）的多模态情感识别从非对齐的多模态序列。具体来说，我们首先分别对三种模态进行特征提取，得到序列的局部结构。然后，我们设计了一种新的跨模态块的Transformer（CB-Transformer），它可以实现不同模态的互补学习，主要分为局部时间学习，跨模态特征融合和全局自注意表示。此外，我们拼接融合的功能与原始功能的分类序列的情感。最后，我们在三个具有挑战性的数据集IEMOCAP，CMU-MOSI和CMU-MOSEI上进行了单词对齐和未对齐的实验。实验结果表明，我们提出的方法在这两种设置的优越性和效率。与主流方法相比，我们的方法达到了国家的最先进的最少数量的参数。
2021-12-03 cs.CL cs.CV cs.LG
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations
INESC-ID（里斯本系统与计算机工程研究所）；Universidade de Lisboa（里斯本大学）
本文提出结合RoBERTa与模糊指纹分类模块进行对话情感识别，在DailyDialog数据集上以更轻量的模型取得了最先进水平的结果，同时提升了可解释性。
2023-09-08 cs.AI cs.CL
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University（计算机科学与工程学院，维洛雷理工学院（VIT大学））
本文提出AVT-CA模型，通过音频-视频Transformer融合与交叉注意力机制，提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
Understanding of Emotion Perception from Art
University of Southern California（南加州大学）；USC Institute of Creative Technologies（南加州大学创意技术研究所）
由于艺术和情感信号的主观性和细微差别，艺术在人类中引起的情感的计算建模是一个具有挑战性的问题。在本文中，我们考虑了上述问题的理解情绪引起的观众的艺术作品使用文本和视觉形式。具体来说，我们分析图像和伴随的文本字幕从观众表达的情感作为一个多模态分类任务。我们的研究结果表明，单流基于多模态变换器的模型，如MMBT和VisualBERT，与仅图像模型和具有单独的文本和图像模态路径的双流多模态模型相比，表现更好。我们还观察到极端的积极和消极的情绪类的性能的改善，当一个单一的流模型，如MMBT相比，一个纯文本的Transformer模型，如BERT。
2021-10-13 cs.CL cs.CV
Detecting harassment and defamation in cyberbullying with emotion-adaptive training
针对网络欺凌形式多样且数据稀缺的问题，构建名人数据集并提出情感自适应训练框架EAT，将情感检测知识迁移至网络欺凌检测，在低资源下使平均宏F1、精确率和召回率提升20%。
2025-01-28 cs.CL
