一种用于对话中情感识别的基线多模态方法
A Baseline Multimodal Approach to Emotion Recognition in Conversations
AI总结:
本文提出了一种基于Transformer文本分类器和自监督语音模型的多模态基线方法,用于对话中情感识别,并通过实验展示了多模态融合的优势。
摘要:
我们提出了一个轻量级的多模态基线,用于使用由情景喜剧《Friends》构建的SemEval-2024任务3数据集进行对话中的情感识别。本报告的目标不是提出一种新颖的最先进方法,而是记录一个易于访问的参考实现,该实现结合(i)基于Transformer的文本分类器和(ii)自监督语音表示模型,以及一个简单的后期融合集成。我们报告了基线设置和在有限训练协议下获得的实证结果,突显了多模态融合在超过单模态模型时的表现。本文预印本是为了透明度和为未来更严谨的比较提供支持。
英文摘要:
We present a lightweight multimodal baseline for emotion recognition in conversations using the SemEval-2024 Task 3 dataset built from the sitcom Friends. The goal of this report is not to propose a novel state-of-the-art method, but to document an accessible reference implementation that combines (i) a transformer-based text classifier and (ii) a self-supervised speech representation model, with a simple late-fusion ensemble. We report the baseline setup and empirical results obtained under a limited training protocol, highlighting when multimodal fusion improves over unimodal models. This preprint is provided for transparency and to support future, more rigorous comparisons.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。