通过多模态融合增强情感分析：一种BERT-DINOv2方法
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
AI总结：
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
摘要：
多模态情感分析通过融合图像、文本和音频等不同模态的信息，增强了传统仅依赖文本的情感分析。本文提出了一种新颖的多模态情感分析架构，整合文本和图像数据以更全面地理解情感。在文本特征提取方面，我们使用自然语言处理模型BERT；在图像特征提取方面，我们采用基于视觉Transformer的模型DINOv2。文本和视觉潜在特征通过所提出的融合技术进行整合，即基础融合模型、自注意力融合模型和双注意力融合模型。在Memotion 7k数据集、MVSA single数据集和MVSA multi数据集三个数据集上的实验证明了所提出的多模态架构的可行性和实用性。
英文摘要：
Multimodal sentiment analysis enhances conventional sentiment analysis, which traditionally relies solely on text, by incorporating information from different modalities such as images, text, and audio. This paper proposes a novel multimodal sentiment analysis architecture that integrates text and image data to provide a more comprehensive understanding of sentiments. For text feature extraction, we utilize BERT, a natural language processing model. For image feature extraction, we employ DINOv2, a vision-transformer-based model. The textual and visual latent features are integrated using proposed fusion techniques, namely the Basic Fusion Model, Self Attention Fusion Model, and Dual Attention Fusion Model. Experiments on three datasets, Memotion 7k dataset, MVSA single dataset, and MVSA multi dataset, demonstrate the viability and practicality of the proposed multimodal architecture.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
