Sofia University “St. Kliment Ohridski”（圣克莱门特·奥里季斯基索菲亚大学）；King’s College London（伦敦国王学院）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（HBKU））；Sapienza University of Rome（罗马第一大学）；Facebook AI（脸书人工智能研究院）；University of Padova（帕多瓦大学）
Dimitar Dimitrov, Bishr Bin Ali, Shaden Shaar, Firoj Alam, Fabrizio Silvestri, Hamed Firooz, Preslav Nakov, Giovanni Da San Martino
备注：
propaganda, disinformation, fake news, memes, multimodality. arXiv admin note: text overlap with arXiv:2105.09284
Propaganda can be defined as a form of communication that aims to influence the opinions or the actions of people towards a specific goal; this is achieved by means of well-defined rhetorical and psychological devices. Propaganda, in the form we know it today, can be dated back to the beginning of the 17th century. However, it is with the advent of the Internet and the social media that it has started to spread on a much larger scale than before, thus becoming major societal and political issue. Nowadays, a large fraction of propaganda in social media is multimodal, mixing textual with visual content. With this in mind, here we propose a new multi-label multimodal task: detecting the type of propaganda techniques used in memes. We further create and release a new corpus of 950 memes, carefully annotated with 22 propaganda techniques, which can appear in the text, in the image, or in both. Our analysis of the corpus shows that understanding both modalities together is essential for detecting these techniques. This is further confirmed in our experiments with several state-of-the-art multimodal models.
Indraprastha Institute of Information Technology - Delhi（德里英迪拉普拉斯信息技术学院）；Sofia University（索非亚大学）；Wipro AI Labs（威普罗人工智能实验室）；Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））
Overview of the WANLP 2022 Shared Task on Propaganda Detection in Arabic
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；University of Padova（帕多瓦大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MEMEX: Detecting Explanatory Evidence for Memes via Knowledge-Enriched Contextualization
Indian Institute of Technology Delhi（印度理工学院德里分校）；Wipro AI Labs（威普罗人工智能实验室）；Vellore Institute of Technology（韦洛尔理工学院）；Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
本文提出 MEMEX 任务及 MCC 数据集，并设计多模态神经框架 MIME，利用常识增强表示和分层跨模态建模来挖掘模因的解释性语境，较最佳基线 F1 提升约 4%。
Fine-Grained Analysis of Propaganda in News Articles
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Università di Bologna（博洛尼亚大学）；A Data Pro
Distinguishing Right from Wrong in Debates: Attribution Analysis of Chinese Harmful Memes
Key Laboratory of Social Computing and Cognitive Intelligence, Dalian University of Technology（社会计算与认知智能重点实验室，大连理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Data Intelligence Lab, Department of Computer Science, City University of Hong Kong（数据智能实验室，香港城市大学计算机科学系）
Hate-CLIPper: Multimodal Hateful Meme Classification based on Cross-modal Interaction of CLIP Features
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
仇恨模因是社交媒体上日益增长的威胁。虽然模因中的图像及其对应的文本是相关的，但当单独查看时，它们不一定传达相同的含义。因此，检测仇恨模因需要仔细考虑视觉和文本信息。多模态预训练对于这项任务是有益的，因为它通过在相似的特征空间中表示图像和文本来有效地捕捉它们之间的关系。此外，它是必要的，通过中间融合的图像和文本特征之间的相互作用建模。大多数现有的方法要么采用多模式预训练，要么采用中间融合，但不是两者兼而有之。在这项工作中，我们提出了Hate-CLIPper架构，该架构通过一个特征交互矩阵（CLIP）明确地对使用对比图像预训练（CLIP）编码器获得的图像和文本表示之间的跨模态交互进行建模。一个简单的分类器，基于Hateful Memes Challenge（HMC）数据集，能够达到最先进的性能，AUROC为85.8，甚至超过了人类的82.65。在Propaganda Memes和TamilMemes等模因数据集上的实验也证明了该方法的通用性。最后，我们分析的可解释性的跨模态表示，并表明，跨模态的相互作用确实可以促进有意义的概念的学习。这个工作的代码可以在https://github.com/gokulkarthik/hateclipper上找到。
UkrMeme: Multimodal Explainable Persuasion Detection in Ukrainian Memes
Ukrainian Catholic University（乌克兰天主教大学）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge
Bielefeld University（比勒费尔德大学）；University of Bonn（波恩大学）
互联网上的模因通常是无害的，有时很有趣。然而，通过使用某些类型的图像，文本或两者的组合，看似无害的模因变成了一种多模态的仇恨言论-仇恨模因。Hateful Memes Challenge是首个专注于检测多模态模因中的仇恨言论的竞赛，它提出了一个包含10，000多个多模态内容新示例的新数据集。我们利用VisualBERT --这意味着是视觉和语言的BERT--它是在图像和字幕上进行多模态训练的，并应用了包围学习。我们的方法在挑战测试集上达到了0.811 AUROC，准确率为0.765，并在仇恨模因挑战的3，173名参与者中排名第三。
Detecting the Role of an Entity in Harmful Memes: Techniques and Their Limitations
BJIT Limited（BJIT有限公司）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
随着时间的推移，有害或滥用的在线内容不断增加，引起了社交媒体平台，政府机构和政策制定者的关注。这种有害或滥用的内容可能对社会产生重大的负面影响，例如，网络欺凌可能导致自杀，关于COVID-19的谣言可能导致疫苗犹豫，推广COVID-19的假治疗可能导致健康损害和死亡。在线发布和共享的内容可以是文本的、视觉的或两者的组合，例如，in a meme模因.在这里，我们描述了我们在检测有害模因中实体（英雄，恶棍，受害者）角色的实验，这是约束-2022共享任务的一部分，以及我们的任务系统。我们进一步提供了不同实验设置的比较分析（即，单峰、多峰、注意力和增强）。为了可重复性，我们公开了我们的实验代码。\url{https://github.com/robi56/harmful_memes_block_fusion}
DISARM: Detecting the Victims Targeted by Harmful Memes
Indraprastha Institute of Information Technology - Delhi（德里英德拉普拉斯塔信息技术学院）；Wipro AI Labs（威普罗人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
Detecting and Understanding Harmful Memes: A Survey
IIIT-Delhi（德里印度理工学院）；Wipro AI Labs（威普罗人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Sofia University（索非亚大学）；University of Padova（帕多瓦大学）；Facebook AI（脸书人工智能）；Sapienza University of Rome（罗马第一大学）
Detecting and Understanding Hateful Contents in Memes Through Captioning and Visual Question-Answering
The University of Sydney, School of Computer Science（悉尼大学计算机科学学院）；University of Technology Sydney, School of Computer Science（新南威尔士大学技术学院）；University of Technology Sydney, TD School（新南威尔士大学TD学院）；Australian Catholic University, Peter Faber Business School（澳大利亚天主教大学彼得·法伯商学院）
模因被用于通过社交网络传播思想。虽然大多数模因是为了幽默而创造的，但有些模因在图片和文字的结合下变得令人讨厌。自动检测仇恨模因可以帮助减少其有害的社会影响。与传统的视觉和文本信息在语义上一致的多模态任务不同，仇恨模因检测的挑战在于其独特的多模态信息。模因中的图像和文本是弱对齐的，甚至是不相关的，这要求模型理解内容并在多个模态上执行推理。在本文中，我们专注于多模态仇恨模因检测，并提出了一种新的方法，将图像描述过程中的模因检测过程。我们在多模态模因数据集上进行了广泛的实验，并说明了我们的方法的有效性。我们的模型在Hateful Memes Detection Challenge上取得了令人鼓舞的结果。
MEMEWEAVER: Inter-Meme Graph Reasoning for Sexism and Misogyny Detection
Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系）；PRHLT Research Center, Universtitat Politècnica de València（巴塞罗那理工大学PRHLT研究中心）；ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence, Spain（西班牙瓦伦西亚人工智能研究生院与研究网络）
D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning -- A Benchmark Dataset and Method
Indian Institute of Information Technology Dharwad, India（印度达拉瓦德信息科技学院）；Indian Institute of Technology Indore, India（印度印度理工学院）；Malaviya National Institute of Technology Jaipur, India（马拉维亚国家理工学院）
