arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2405.11222cs.CL
收藏

用于对话中情感识别的基于 Transformer 的神经网络

Transformer based neural networks for emotion recognition in conversations

Interdisciplinary School of Doctoral Studies(跨学科博士研究学院);HLT Research Center(人类语言技术研究中心);University of Bucharest(布加勒斯特大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)

Claudiu Creanga, Liviu P. Dinu

AI总结:

本文介绍 ISDS-NLP 团队在 SemEval 2024 EDiReF 子任务 1 中的情感识别方案,比较 MLM 微调与 Mistral 提示方法,验证 MLM 在句子级分类中更优。

摘要:

本文概述了 ISDS-NLP 团队在 SemEval 2024 任务 10:对话中的情感发现及其翻转推理(EDiReF)中的方法。对于子任务 1,我们获得了 0.43 的加权 F1 分数,并在排行榜上排名第 12。我们研究了两种不同的方法:掩码语言建模(MLM)和因果语言建模(CLM)。对于 MLM,我们在多语言环境中采用预训练的类 BERT 模型,并用分类器对其进行微调以预测情感。使用不同输入长度、分类器架构和微调策略进行的实验证明了该方法的有效性。此外,我们利用最先进的模型 Mistral 7B Instruct V0.2,应用零样本和少样本提示技术。我们的研究结果表明,尽管 Mistral 展现出前景,但目前 MLM 在句子级情感分类方面的表现优于它们。

英文摘要:

This paper outlines the approach of the ISDS-NLP team in the SemEval 2024 Task 10: Emotion Discovery and Reasoning its Flip in Conversation (EDiReF). For Subtask 1 we obtained a weighted F1 score of 0.43 and placed 12 in the leaderboard. We investigate two distinct approaches: Masked Language Modeling (MLM) and Causal Language Modeling (CLM). For MLM, we employ pre-trained BERT-like models in a multilingual setting, fine-tuning them with a classifier to predict emotions. Experiments with varying input lengths, classifier architectures, and fine-tuning strategies demonstrate the effectiveness of this approach. Additionally, we utilize Mistral 7B Instruct V0.2, a state-of-the-art model, applying zero-shot and few-shot prompting techniques. Our findings indicate that while Mistral shows promise, MLMs currently outperform them in sentence-level emotion classification.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑