arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2610.13783cs.AIcs.CLcs.CV

UkrMeme:乌克兰模因中多模态可解释说服检测

UkrMeme: Multimodal Explainable Persuasion Detection in Ukrainian Memes

Ukrainian Catholic University(乌克兰天主教大学);Johannes Gutenberg University Mainz(美因茨约翰内斯·古滕贝格大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心)

Nazar Andrushko, Vera Schmitt, Veronika Solopova

AI总结:

该研究针对乌克兰战时模因,构建标注说服技巧的UkrMeme数据集与保留视觉内容的PTM-UA基准,用VLMs结合分层F1评估零样本性能,对比LRP与模型归因并分析证据语义类别。

摘要:

模因在现代在线交流中发挥核心作用,尤其在政治冲突场景中,视觉与文本线索结合以传递说服性信息。我们使用视觉语言模型(VLMs)研究乌克兰模因中的说服技巧检测。我们推出UkrMeme——包含200个有机生成的乌克兰战时模因的数据集,已标注说服技巧;以及PTM-UA——Propaganda 950基准子集的乌克兰语翻译版本,保留原始视觉内容并翻译模因文本。我们在零样本提示设置下,使用分层F1指标评估VLMs在图像、文本及多模态输入上的表现。最后,我们比较逐层相关性传播(LRP)与模型生成的标记归因,并分析每种解释方法所强调证据的语义类别。

英文摘要:

Memes play a central role in modern online communication, especially in contexts of political conflict where visual and textual cues combine to convey persuasive messages. We study persuasive technique detection in Ukrainian memes using vision-language models (VLMs). We introduce UkrMeme, a dataset of 200 organically produced Ukrainian wartime memes annotated for persuasion techniques, and PTM-UA, a Ukrainian translation of a subset of the Propaganda 950 benchmark that preserves original visual content while translating meme text. We evaluate VLMs in a zero-shot prompting setup across image, text, and multimodal inputs using hierarchical F1 metrics. Finally, we compare Layer-wise Relevance Propagation (LRP) and model-generated token attributions and analyze the semantic categories of evidence emphasized by each explanation method.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑