arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2602.00914cs.CLcs.AIcs.CYcs.SDeess.AS

一种用于对话中情感识别的基线多模态方法

A Baseline Multimodal Approach to Emotion Recognition in Conversations

School of Science, Engineering and Design, Universidad Europea de Valencia(科学、工程与设计学院,欧洲大学 Valencia)

Víctor Yeste, Rodrigo Rivas-Arévalo

AI总结:

本文提出了一种基于Transformer文本分类器和自监督语音模型的多模态基线方法,用于对话中情感识别,并通过实验展示了多模态融合的优势。

摘要:

我们提出了一个轻量级的多模态基线,用于使用由情景喜剧《Friends》构建的SemEval-2024任务3数据集进行对话中的情感识别。本报告的目标不是提出一种新颖的最先进方法,而是记录一个易于访问的参考实现,该实现结合(i)基于Transformer的文本分类器和(ii)自监督语音表示模型,以及一个简单的后期融合集成。我们报告了基线设置和在有限训练协议下获得的实证结果,突显了多模态融合在超过单模态模型时的表现。本文预印本是为了透明度和为未来更严谨的比较提供支持。

英文摘要:

We present a lightweight multimodal baseline for emotion recognition in conversations using the SemEval-2024 Task 3 dataset built from the sitcom Friends. The goal of this report is not to propose a novel state-of-the-art method, but to document an accessible reference implementation that combines (i) a transformer-based text classifier and (ii) a self-supervised speech representation model, with a simple late-fusion ensemble. We report the baseline setup and empirical results obtained under a limited training protocol, highlighting when multimodal fusion improves over unimodal models. This preprint is provided for transparency and to support future, more rigorous comparisons.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑