Memes in the Wild: Assessing the Generalizability of the Hateful Memes Challenge Dataset
Oxford Internet Institute（牛津互联网研究院）；Dept. of Computer Science（计算机科学系）；Oxford Uehiro Centre for Practical Ethics（牛津上广实践伦理中心）；Dept. of Engineering Science（工程科学系）
Hannah Rose Kirk, Yennie Jun, Paulius Rauba, Gal Wachtel, Ruining Li, Xingjian Bai, Noah Broestl, Martin Doff-Sotta, Aleksandar Shtedritski, Yuki M. Asano
Hateful memes pose a unique challenge for current machine learning systems because their message is derived from both text- and visual-modalities. To this effect, Facebook released the Hateful Memes Challenge, a dataset of memes with pre-extracted text captions, but it is unclear whether these synthetic examples generalize to `memes in the wild'. In this paper, we collect hateful and non-hateful memes from Pinterest to evaluate out-of-sample performance on models pre-trained on the Facebook dataset. We find that memes in the wild differ in two key aspects: 1) Captions must be extracted via OCR, injecting noise and diminishing performance of multimodal models, and 2) Memes are more diverse than `traditional memes', including screenshots of conversations or text on a plain background. This paper thus serves as a reality check for the current benchmark of hateful meme detection and its applicability for detecting real world hate.
Hateful Memes Detection via Complementary Visual and Linguistic Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
仇恨模因在社交媒体中广泛传播，并传达负面信息。仇恨模因检测的主要挑战是其表达意义不能被单一模态很好地识别。为了进一步整合模态信息，我们在Hateful Memes Challenge 2020中研究了基于互补视觉和语言网络的候选解决方案。这样，可以详细探讨多模式的更全面的信息。在视觉和语言嵌入中，考虑了上下文级别和敏感对象级别的信息，以制定复杂的多模态场景。具体而言，利用预先训练的分类器和对象检测器从输入中获取上下文特征和感兴趣区域（ROI），然后进行位置表示融合以进行视觉嵌入。而语言嵌入由三个部分组成，即，句子的词嵌入、位置嵌入和相应的Spacy嵌入（Sembedding），Sembedding是用Spacy抽取的词汇表表示的符号。视觉嵌入和语言嵌入都被输入到设计的互补视觉和语言（CVL）网络中，以产生对仇恨模因的预测。在Hateful Memes Challenge数据集上的实验结果表明，CVL提供了一个不错的性能，在AUROC和准确性标准上分别产生78：48%和72：95%。代码可在https://github.com/webYFDT/hateful上获得。
模因被用于通过社交网络传播思想。虽然大多数模因是为了幽默而创造的，但有些模因在图片和文字的结合下变得令人讨厌。自动检测仇恨模因可以帮助减少其有害的社会影响。与传统的视觉和文本信息在语义上一致的多模态任务不同，仇恨模因检测的挑战在于其独特的多模态信息。模因中的图像和文本是弱对齐的，甚至是不相关的，这要求模型理解内容并在多个模态上执行推理。在本文中，我们专注于多模态仇恨模因检测，并提出了一种新的方法，将图像描述过程中的模因检测过程。我们在多模态模因数据集上进行了广泛的实验，并说明了我们的方法的有效性。我们的模型在Hateful Memes Detection Challenge上取得了令人鼓舞的结果。
University of Vienna（维也纳大学）；UniVie Doctoral School Computer Science（维也纳大学计算机科学博士学院）；Boston University（波士顿大学）；Ludwig Maximilians University of Munich（慕尼黑大学）
Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge
Bielefeld University（比勒费尔德大学）；University of Bonn（波恩大学）
互联网上的模因通常是无害的，有时很有趣。然而，通过使用某些类型的图像，文本或两者的组合，看似无害的模因变成了一种多模态的仇恨言论-仇恨模因。Hateful Memes Challenge是首个专注于检测多模态模因中的仇恨言论的竞赛，它提出了一个包含10，000多个多模态内容新示例的新数据集。我们利用VisualBERT --这意味着是视觉和语言的BERT--它是在图像和字幕上进行多模态训练的，并应用了包围学习。我们的方法在挑战测试集上达到了0.811 AUROC，准确率为0.765，并在仇恨模因挑战的3，173名参与者中排名第三。
Rainbow Noise: Stress-Testing Multimodal Harmful-Meme Detectors on LGBTQ Content
Mathematics and Statistics Department University of Texas at Dallas（德克萨斯大学达拉斯分校数学与统计学系）；Computer Science Department University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Naveen Jindal School of Management University of Texas at Dallas（德克萨斯大学达拉斯分校奈文·金达尔管理学院）
Vilio: State-of-the-art Visio-Linguistic Models applied to Hateful Memes
Peking University（北京大学）
这项工作介绍了Vilio，最先进的语言模型的实现及其在仇恨模因数据集上的应用。已实现的模型已被安装到一个统一的代码库，并更改，以产生更好的性能。Vilio的目标是为任何语言问题提供一个用户友好的起点。在Vilio中实现的5种不同V+L模型的集合在3，300名参与者中获得了Hateful Memes Challenge的第二名。该代码可在https://github.com/Muennighoff/vilio上获得。
Detecting and Understanding Hateful Contents in Memes Through Captioning and Visual Question-Answering
The University of Sydney, School of Computer Science（悉尼大学计算机科学学院）；University of Technology Sydney, School of Computer Science（新南威尔士大学技术学院）；University of Technology Sydney, TD School（新南威尔士大学TD学院）；Australian Catholic University, Peter Faber Business School（澳大利亚天主教大学彼得·法伯商学院）
DISARM: Detecting the Victims Targeted by Harmful Memes
Indraprastha Institute of Information Technology - Delhi（德里英德拉普拉斯塔信息技术学院）；Wipro AI Labs（威普罗人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
Hate-CLIPper: Multimodal Hateful Meme Classification based on Cross-modal Interaction of CLIP Features
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
仇恨模因是社交媒体上日益增长的威胁。虽然模因中的图像及其对应的文本是相关的，但当单独查看时，它们不一定传达相同的含义。因此，检测仇恨模因需要仔细考虑视觉和文本信息。多模态预训练对于这项任务是有益的，因为它通过在相似的特征空间中表示图像和文本来有效地捕捉它们之间的关系。此外，它是必要的，通过中间融合的图像和文本特征之间的相互作用建模。大多数现有的方法要么采用多模式预训练，要么采用中间融合，但不是两者兼而有之。在这项工作中，我们提出了Hate-CLIPper架构，该架构通过一个特征交互矩阵（CLIP）明确地对使用对比图像预训练（CLIP）编码器获得的图像和文本表示之间的跨模态交互进行建模。一个简单的分类器，基于Hateful Memes Challenge（HMC）数据集，能够达到最先进的性能，AUROC为85.8，甚至超过了人类的82.65。在Propaganda Memes和TamilMemes等模因数据集上的实验也证明了该方法的通用性。最后，我们分析的可解释性的跨模态表示，并表明，跨模态的相互作用确实可以促进有意义的概念的学习。这个工作的代码可以在https://github.com/gokulkarthik/hateclipper上找到。
