JMI 在 SemEval 2024 任务 3：使用 GPT 上下文学习与指令微调 Llama 模型的两步式多模态 ECAC 方法
JMI at SemEval 2024 Task 3: Two-step approach for multimodal ECAC using in-context learning with GPT and instruction-tuned Llama models
AI总结：
本文针对 SemEval-2024 多模态情绪原因分析任务，提出两步式框架，结合指令微调 Llama 2 与 GPT-4V/GPT 3.5 上下文学习，取得第 4 名并验证了显著性能提升。
摘要：
本文介绍了我们为 SemEval-2024 任务 3“对话中多模态情绪原因分析竞赛”所开发的系统。有效捕捉人类对话中的情绪需要整合文本、音频和视频等多种模态。然而，这些多样模态的复杂性为开发高效的多模态情绪原因分析（ECA）系统带来了挑战。我们提出的方法通过一个两步框架来应对这些挑战。在实现中我们采用了两种不同的方案。在方案 1 中，我们使用两个独立的 Llama 2 模型进行指令微调，分别用于情绪预测和原因预测。在方案 2 中，我们使用 GPT-4V 进行对话级视频描述，并利用 GPT 3.5 对带标注的对话进行上下文学习。我们的系统获得第 4 名，系统消融实验表明我们提出的解决方案取得了显著的性能提升。所有实验代码均已在 Github 上公开。
英文摘要：
This paper presents our system development for SemEval-2024 Task 3: "The Competition of Multimodal Emotion Cause Analysis in Conversations". Effectively capturing emotions in human conversations requires integrating multiple modalities such as text, audio, and video. However, the complexities of these diverse modalities pose challenges for developing an efficient multimodal emotion cause analysis (ECA) system. Our proposed approach addresses these challenges by a two-step framework. We adopt two different approaches in our implementation. In Approach 1, we employ instruction-tuning with two separate Llama 2 models for emotion and cause prediction. In Approach 2, we use GPT-4V for conversation-level video description and employ in-context learning with annotated conversation using GPT 3.5. Our system wins rank 4, and system ablation experiments demonstrate that our proposed solutions achieve significant performance gains. All the experimental codes are available on Github.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
