Disentangling Hate in Online Memes
Singapore University of Design and Technology（新加坡设计与科技大学）；Singapore Management University（新加坡管理大学）；University of Electronic Science and Technology of China（电子科技大学）
仇恨和攻击性内容检测已经在诸如文本的单一模态中被广泛探索。然而，这种有毒信息也可以通过多模式内容（如在线模因）进行传播。因此，检测多模态仇恨内容最近在学术界和行业研究界引起了广泛关注。本文旨在通过提出DisMultiHate，这是一个新的框架，进行多模态仇恨内容的分类，以促进这一新兴的研究课题。具体来说，DisMultiHate旨在解开多模态模因中的目标实体，以提高仇恨内容的分类和可解释性。我们在两个公开的仇恨和攻击性模因数据集上进行了广泛的实验。我们的实验结果表明，DisMultiHate能够在仇恨模因分类任务中超越最先进的单峰和多峰基线。还进行了实证案例研究，以证明DisMultiHate的能力，解开目标实体的模因，并最终展示DisMultiHate的多模态仇恨内容分类任务的可解释性。
2021-08-09 cs.CL cs.IR cs.MM
Detecting and Correcting Hate Speech in Multimodal Memes with Large Visual Language Model
本研究利用零样本提示的视觉语言模型（如LLaVA）检测和纠正多模态模因中的仇恨言论，通过实证实验验证了其有效性并分析了优缺点。
2023-11-12 cs.AI cs.CL
Prompting for Multimodal Hateful Meme Classification
Singapore Management University（新加坡管理大学）；Singapore University of Design and Technology（新加坡科技设计大学）
仇恨模因分类是一个具有挑战性的多模态任务，需要复杂的推理和上下文背景知识。理想情况下，我们可以利用明确的外部知识库来补充仇恨模因中的上下文和文化信息。然而，没有已知的明确的外部知识库，可以提供这样的仇恨言论上下文信息。为了解决这个问题，我们提出了一个简单而有效的基于语义的模型，提示预训练的语言模型（PLM）仇恨模因分类。具体来说，我们构造简单的提示，并提供了一些在上下文中的例子，利用预训练的Roberta语言模型仇恨模因分类的隐含知识。我们在两个公开的仇恨和攻击性模因数据集上进行了广泛的实验。我们的实验结果表明，AdvertHate能够达到90.96的高AUC，在仇恨模因分类任务上优于最先进的基线。我们还对各种提示设置进行了细粒度的分析和案例研究，并证明了提示对仇恨模因分类的有效性。
2023-02-08 cs.CL cs.IR cs.MM
Labels or Input? Rethinking Augmentation in Multimodal Hate Detection
本文提出通过提示优化、微调和自动化数据增强改进小型模型，开发多模态增强框架以提升隐含仇恨检测性能。
2026-01-24 cs.AI cs.CL cs.CV
AHA-Memes: A Fine-Grained Multimodal Benchmark for Understanding Hate in Arabic Memes
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Northwestern University in Qatar（卡塔尔西北大学）
该研究推出首个带细粒度多标签标注的阿拉伯语仇恨表情包基准AHA-Memes，构建含5000张人工标注及6.6万张银标的数据集，对多类模型基准测试并发布资源以推动相关研究。
2026-07-31 cs.AI cs.CL
MMBERT: Scaled Mixture-of-Experts Multimodal BERT for Robust Chinese Hate Speech Detection under Cloaking Perturbations
针对中文社交网络仇恨言论隐匿检测难题，提出融合多模态的MMBERT框架，采用渐进式三阶段训练的MoE架构，在多个中文数据集上性能超越现有基线模型。
2025-08-01 cs.AI cs.CL
ARC-NLP at Multimodal Hate Speech Event Detection 2023: Multimodal Methods Boosted by Ensemble Learning, Syntactical and Entity Features
Aselsan Research Center（阿瑟尔桑研究中心）
针对2023多模态仇恨言论事件检测，本文提出由集成学习、语法属性和命名实体特征增强的多模态深度学习方法，在仇恨言论与目标检测两个子任务中均取得第一名。
2023-07-25 cs.CL cs.SI
Detecting and Mitigating Hateful Content in Multimodal Memes with Vision-Language Models
Department of EECS University of Arkanasas Fayetteville（电子工程与科学系阿肯色大学法洛维尔分校）
本文利用视觉-语言模型（VLMs）解决多模态模因中仇恨内容的检测与缓解问题，提出定义引导提示技术和统一框架UnHateMeme，通过替换仇恨组件将其转化为非仇恨形式，并在LLaVA等模型上验证了有效性。
2025-04-30 cs.AI cs.CL cs.CV
Decoding the Underlying Meaning of Multimodal Hateful Memes
Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）
本文提出HatReD数据集及条件生成任务，自动生成仇恨梗图的深层原因解释，并建立基线性能，助力内容审核。
2023-06-19 cs.AI cs.CL cs.CV
MasonPerplexity at Multimodal Hate Speech Event Detection 2024: Hate Speech and Target Detection Using Transformer Ensembles
George Mason University（乔治梅森大学）
本文提出MasonPerplexity系统，使用XLM-roBERTa-large及多模型集成方法处理多模态仇恨言论及目标检测任务，在CASE 2024两项子任务中均取得第3名。
2024-02-18 cs.CL
Exploring Hate Speech Detection in Multimodal Publications
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心 Eurecat）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
在这项工作中，我们的目标是在由文本和图像形成的多模态出版物的仇恨言论检测的问题。我们从Twitter，MMHS 150K收集并注释了一个大规模的数据集，并提出了不同的模型，联合分析文本和视觉信息的仇恨言论检测，比较它们与单峰检测。我们提供定量和定性的结果，并分析所提出的任务的挑战。我们发现，即使图像是有用的仇恨言论检测任务，目前的多模态模型不能优于模型分析只有文本。我们讨论了原因，并打开了进一步研究的领域和数据集。
2019-10-09 cs.CL cs.CV
Hate-CLIPper: Multimodal Hateful Meme Classification based on Cross-modal Interaction of CLIP Features
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
仇恨模因是社交媒体上日益增长的威胁。虽然模因中的图像及其对应的文本是相关的，但当单独查看时，它们不一定传达相同的含义。因此，检测仇恨模因需要仔细考虑视觉和文本信息。多模态预训练对于这项任务是有益的，因为它通过在相似的特征空间中表示图像和文本来有效地捕捉它们之间的关系。此外，它是必要的，通过中间融合的图像和文本特征之间的相互作用建模。大多数现有的方法要么采用多模式预训练，要么采用中间融合，但不是两者兼而有之。在这项工作中，我们提出了Hate-CLIPper架构，该架构通过一个特征交互矩阵（CLIP）明确地对使用对比图像预训练（CLIP）编码器获得的图像和文本表示之间的跨模态交互进行建模。一个简单的分类器，基于Hateful Memes Challenge（HMC）数据集，能够达到最先进的性能，AUROC为85.8，甚至超过了人类的82.65。在Propaganda Memes和TamilMemes等模因数据集上的实验也证明了该方法的通用性。最后，我们分析的可解释性的跨模态表示，并表明，跨模态的相互作用确实可以促进有意义的概念的学习。这个工作的代码可以在https://github.com/gokulkarthik/hateclipper上找到。
2022-10-17 cs.CL cs.CV cs.LG
MHS-STMA: Multimodal Hate Speech Detection via Scalable Transformer-Based Multilevel Attention Framework
Delhi Technological University（德里理工大学）
针对现有仇恨言论检测多依赖单模态分析、多模态分析易忽略模态独特特征的问题，提出基于Transformer的多级注意力可扩展架构MHS-STMA，经三个数据集验证性能优于基线方法。
2024-09-17 cs.CL
Multimodal Hate Speech Detection from Bengali Memes and Texts
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Noakhali Science and Technology University（诺阿卡利科技大学）；University of Siegen（锡根大学）；University of Galway（戈尔韦大学）
已经提出了许多基于机器学习（ML）和深度学习（DL）的方法，以利用来自社交媒体的文本数据进行反社会行为分析，如网络欺凌、假新闻检测和仇恨言论识别，主要针对英语等资源丰富的语言。然而，尽管有很多的多样性和数以百万计的母语，一些语言，如孟加拉语资源不足，这是由于缺乏自然语言处理（NLP）的计算资源。与其他语言类似，孟加拉语社交媒体内容也包括图像和文本（例如，多模态模因通过将短文本嵌入到Facebook上的图像中来发布）。因此，只有文本数据不足以判断它们，因为图像可能会提供额外的上下文来做出正确的判断。本文是关于仇恨语言检测多模态孟加拉模因和文本。我们为孟加拉语的一种问题准备了唯一的多模态仇恨语音数据集，我们用它来训练最先进的神经架构（例如，具有词嵌入的Bi-LSTM/Conv-LSTM，ConvNets +预训练的语言模型，例如，单语孟加拉语BERT、多语言BERT-cased/uncased和XLM-RoBERTa）来联合分析文本和视觉信息以用于仇恨语音检测。Conv-LSTM和XLM-RoBERTa模型对文本的表现最好，F1得分分别为0.78和0.82。对于模因，ResNet-152和DenseNet-161模型的F1得分分别为0.78和0.79。对于多模态融合，XLM-RoBERTa + DenseNet-161表现最好，F1评分为0.83。我们的研究表明，文本模态是最有用的仇恨…
2022-12-21 cs.AI cs.CL
Deciphering Implicit Hate: Evaluating Automated Detection Algorithms for Multimodal Hate
Anti-Defamation League（反诽谤联盟）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）；Meedan
准确检测和分类在线仇恨是一项艰巨的任务。隐性仇恨尤其具有挑战性，因为此类内容往往具有不寻常的句法、多义词和较少的偏见标记（例如，污言秽语）。这个问题在多模态内容（例如模因（文本和图像的组合））中更加突出，因为它们通常比单峰内容（例如，单独的文本）。本文评估的作用，语义和多模态的情况下，检测内隐和外显的仇恨。我们发现，文本和视觉丰富都提高了模型的性能，多模态模型（0.771）优于其他模型的F1得分（0.544，0.737和0.754）。虽然单模态文本上下文感知（Transformer）模型在隐性仇恨检测子任务上最准确，但多模态模型总体上优于它，因为误报的倾向较低。我们发现，所有的模型执行更好的内容与充分的注释者协议，多模态模型是最好的分类内容注释者不同意。为了进行这些调查，我们对5,000个多式联运条目的样本进行了高质量的注释。对推文的主要类别、模式和策略进行了注释。我们使这个语料库，连同码本，代码和最终模型，免费提供。
2021-06-10 cs.CL cs.CV cs.CY
TANDEM: Temporal-Aware Neural Detection for Multimodal Hate Speech
Nature-Inspired Computing & Engineering, University of Surrey（Surrey大学自然启发计算与工程系）；Surrey Centre for Cyber Security, University of Surrey（Surrey大学网络安全中心）
提出TANDEM统一框架，通过串联强化学习策略联合优化视觉-语言和音频-语言模型，将音频-视觉仇恨检测转化为结构化推理问题，在HateMM上目标识别F1达0.73（提升30%），并保持精确时间定位。
2026-07-30 cs.AI cs.CL cs.MM
Enhance Multimodal Transformer With External Label And In-Domain Pretrain: Hateful Meme Challenge Winning Solution
ALFRED SYSTEM
仇恨模因检测是近年来出现的一个新的研究领域，它需要对模因的视觉、语言理解以及一定的背景知识来完成检测任务。这份技术报告总结了2020年仇恨模因检测挑战赛的第一个解决方案，该方案扩展了最先进的视觉语言转换器来解决这个问题。在报告的最后，我们还指出了现有方法的缺点和改进的可能方向。
2020-12-15 cs.CL cs.CV
More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection
Department of Automation, Tsinghua University（清华大学自动化系）
本文提出H-VLI基准和ARCADE框架，通过模拟法庭辩论解码多模态仇恨言论中的隐含意图转变，提升检测性能。
2026-04-21 cs.AI cs.CL
Propaganda to Hate: A Multimodal Analysis of Arabic Memes with Multi-Agent LLMs
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad bin Khalifa University（哈马德·本·哈利法大学）；Northwestern University in Qatar（西北大学卡塔尔校区）
本研究针对现有模因内容检测中宣传与仇恨交叉研究不足的问题，采用多智能体LLM方法分析阿拉伯语模因，为宣传模因数据集补充粗细粒度仇恨标签，证实二者存在关联并提供基准实验结果与公开资源。
2024-10-06 cs.AI cs.CL
Demystifying Hateful Content: Leveraging Large Multimodal Models for Hateful Meme Detection with Explainable Decisions
Singapore University of Technology and Design（新加坡科技设计大学）
针对仇恨 meme 检测中预训练视觉语言模型决策难解释的问题，提出 IntMeme 框架，利用大型多模态模型生成解释性分析并结合独立编码模块，提升分类准确性与可解释性，在三个数据集上表现优于现有模型。
2025-02-16 cs.CL
Emotion Based Hate Speech Detection using Multimodal Learning
近年来，监控社交媒体平台上的仇恨言论和攻击性语言已变得至关重要，因为它在所有年龄组，种族和民族中广泛使用。因此，对于使用自然语言处理（NLP）来自动检测这种内容已经进行了大量的研究工作。虽然成功地过滤文本数据，没有研究集中在检测多媒体数据中的仇恨内容。随着数据存储的便利性和社交媒体平台的指数增长，多媒体内容与文本数据一样在互联网上激增。然而，它逃脱了自动过滤系统。仇恨言论和攻击性可以主要通过三种形式在多媒体中检测，即，视觉听觉和语言我们的初步研究得出的结论是，在分类仇恨言论的最基本的功能将是扬声器的情绪状态及其对口语的影响，因此限制了我们目前的研究，这些模式。本文提出了第一个多模态深度学习框架，以结合表示情感的听觉特征和语义特征来检测仇恨内容。我们的研究结果表明，将情感属性导致显着改善基于文本的模型在检测可恨的多媒体内容。本文还提出了一个新的仇恨语音检测视频数据集（HSDVD）收集的多模态学习的目的，因为没有这样的数据集存在。
2022-02-13 cs.CL cs.LG
Robust Adaptation of Large Multimodal Models for Retrieval Augmented Hateful Meme Detection
Department of Engineering University of Cambridge（工程系剑桥大学）
本文提出了一种鲁棒适应框架，用于提升大规模多模态模型在检索增强的仇恨表情包检测中的性能与泛化能力，同时提高模型的可解释性。
2025-09-16 cs.AI cs.CL cs.CV
Detecting Hateful Memes Using a Multimodal Deep Ensemble
Wunderman Thompson（伟门汤普森）
虽然使用机器学习算法来检测仇恨言论已经取得了重大进展，但为了使其性能更接近人类的准确性，重要的技术挑战仍有待解决。我们调查了几个最新的视觉语言Transformer架构，并提出了改进，以提高他们的性能，这项任务。所提出的模型的性能远远优于基线，在3，100多名参与者中排名第5位$^{th}$。
2020-12-24 cs.CL cs.CV cs.LG
cantnlp@DravidianLangTech2025: A Bag-of-Sounds Approach to Multimodal Hate Speech Detection
Geospatial Research Institute（地理空间研究所）；University of Canterbury（坎特伯雷大学）；Lake Washington School District（华盛顿湖学区）
该研究面向 DravidianLangTech-2025 的 MSMDA-DL 任务，提出基于 Mel 频谱图的声音袋多模态仇恨言论检测方法，验证了融合文本与音频的可行性。
2025-03-17 cs.CL
MEME-Fusion@CHiPSAL 2026: Multimodal Ablation Study of Hate Detection and Sentiment Analysis on Nepali Memes
Department of Computer Science and Engineering, Kathmandu University（加德满都大学计算机科学与工程系）
本文针对尼泊尔表情包中的仇恨检测与情感分析，提出融合CLIP与BGE-M3的多模态注意力融合架构，通过消融研究发现英文中心视觉模型在尼泊尔语 script 上表现不佳，且数据稀缺时传统集成方法效果下降。
2026-04-13 cs.AI cs.CL
Social Hatred: Efficient Multimodal Detection of Hatemongers
Ben Gurion University（本古里安大学）；University of Michigan（密歇根大学）
本文提出一种结合文本、用户活动和用户网络的多模态聚合方法，用于在 X、Gab 和 Parler 数据集上高效检测仇恨散播者，显著优于传统文本和图方法。
2025-06-24 cs.CL cs.SI
Align before Attend: Aligning Visual and Textual Features for Multimodal Hateful Content Detection
Chittagong University of Engineering & Technology（吉大港工程技术大学）；Dartmouth College（达特茅斯学院）
本文提出一种上下文感知注意框架，通过结合注意层在融合前对齐视觉与文本特征，以解决多模态仇恨内容检测中传统融合技术无法有效关注特定模态特征及多语言支持不足的问题，在MUTE和MultiOFF基准上F1分数分别达69.7%和70.3%，性能优于现有系统。
2024-02-15 cs.CL
DeHate: A Stable Diffusion-based Multimodal Approach to Mitigate Hate Speech in Images
MIT Media Lab, USA（麻省理工学院媒体实验室）；Stanford University, USA（斯坦福大学）；Amazon GenAI, USA（亚马逊生成人工智能）；University of South Carolina, USA（南卡罗来纳大学）
本文提出DeHate方法，结合稳定扩散与DAAM生成注意力图以模糊图像仇恨区域，并发布数据集及DeHater模型，推动多模态仇恨检测。
2025-10-10 cs.CL cs.CV
Leveraging LLMs for Context-Aware Implicit Textual and Multimodal Hate Speech Detection
Computational Linguistics \& Text Mining Lab Vrije Universiteit Amsterdam
本研究利用大语言模型生成社交媒体帖子的背景上下文，通过四种融入策略提升SBERT仇恨检测性能，在文本和多模态数据集上分别提升最多3和6个F1点。
2026-09-11 cs.CL
Towards a Robust Framework for Multimodal Hate Detection: A Study on Video vs. Image-based Content
University of Surrey（萨里大学）；NICE Research（NICE研究所）；Surrey Centre for Cyber Security（萨里网络安全中心）
本文系统分析多模态仇恨检测的融合方法，发现其在视频上表现优异但图像-文本模因上受限，强调模态特定架构需求。
2025-02-11 cs.CL cs.CV cs.LG
Multi3Hate: Multimodal, Multilingual, and Multicultural Hate Speech Detection with Vision-Language Models
Johannes Gutenberg University Mainz（美因茨约翰内斯古滕贝格大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Hamburg（汉堡大学）
本文构建涵盖5种语言、由多元文化标注者标注的多模态平行仇恨言论数据集 Multi3Hate，揭示文化背景导致的标注差异，并评估5个大型 VLM 的零样本检测表现及其对美国视角的偏向。
2025-02-17 cs.CL
Causal Intersectionality and Dual Form of Gradient Descent for Multimodal Analysis: a Case Study on Hateful Memes
Japan Advanced Institute of Science and Technology（日本先进科学技术大学）
本文以仇恨模因为例，结合因果分析与可解释AI，将交叉性构建为平均处理效应（ATE），揭示Transformer模型行为差异及Llama-2通过上下文学习识别交叉性的机制，并利用元梯度解释学习过程。
2024-03-23 cs.AI cs.CL
Decoding Multimodal Cues: Unveiling the Implicit Meaning Behind Hateful Videos
Dalian University of Technology（大连理工大学）；Tencent（腾讯）；City University of Hong Kong（香港城市大学）；Singapore University of Technology and Design（新加坡科技设计大学）
提出IARE框架，通过信息增强和推理优化实现可解释的仇恨视频检测，在Ex-HateMM和Ex-ImpliHateVid数据集上达到最优性能。
2026-06-11 cs.CL
TRACE: Textual Relevance Augmentation and Contextual Encoding for Multimodal Hate Detection
University of Surrey（萨里大学）；University of New South Wales（新南威尔士大学）
本文提出TRACE分层多模态框架，通过视觉锚定上下文增强、字幕评分网络及CLIP文本编码器深层参数高效微调，在Hateful Memes和MultiOFF数据集上以较小模型规模取得最先进仇恨检测性能。
2025-11-07 cs.CL cs.CV
Beyond Hate: Differentiating Uncivil and Intolerant Speech in Multimodal Content Moderation
本文提出细粒度标注方案区分不文明与不宽容言论，通过2030个仇恨漫画数据验证，细粒度标注提升模型性能，减少有害内容误判。
2026-03-24 cs.CL cs.CY
Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection
University of Rochester（罗切斯特大学）；The Ohio State University（俄亥俄州立大学）
提出Evolver方法，通过进化链提示将迷因演化属性与上下文信息融入大型多模态模型，在多个数据集上提升仇恨迷因检测性能并增强可解释性。
2025-01-21 cs.CL cs.CV
Retrieval Augmented Enhanced Dual Co-Attention Framework for Target Aware Multimodal Bengali Hateful Meme Detection
Department of Computer Science and Engineering, BRAC University（计算机科学与工程系，BRAC大学）；Department of Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程系，Ahsanullah科技大学）
本文提出基于检索增强的增强双注意力框架，用于目标感知多模态孟加拉语仇恨表情识别，通过语义对齐提升类别平衡和多样性，实验表明xDORA和RAG-Fused DORA在识别和检测任务中表现优异。
2026-02-22 cs.CL
Text or Image? What is More Important in Cross-Domain Generalization Capabilities of Hate Meme Detection Models?
FernUniversität in Hagen（哈根大学）；Universität Duisburg-Essen（杜伊斯堡-埃森大学）；LMU Munich（慕尼黑大学）；Universität Bielefeld（比勒费尔德大学）
本文通过实验证据表明，在多模态仇恨模因检测的跨域泛化中，文本成分起关键作用，图像成分则受训练数据限制，引入图像标题会降低性能。
2024-02-07 cs.AI cs.CL cs.CV
MemeCLIP: Leveraging CLIP Representations for Multimodal Meme Classification
Northeastern University（东北大学）；Delhi Technological University（德里理工大学）；Nanyang Technological University（南洋理工大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文构建涵盖仇恨、目标、立场与幽默标注的 PrideMM 数据集，并提出保留 CLIP 知识的 MemeCLIP 框架，在多模态模因分类上取得优于既有框架的表现。
2024-10-28 cs.CL cs.LG cs.MM
MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection
Technical University of Munich（慕尼黑技术大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出一种提示弱监督方法，通过分解表情包理解为基于问题的标注函数，提升多语言多模态仇恨言论检测效果，尤其在中文和印地语中表现突出。
2026-04-28 cs.AI cs.CL
Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models
SUTD（新加坡科技设计大学）；IIT Delhi（德里印度理工学院）；SMU（新加坡管理大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本综述梳理仇恨言论治理最新进展，分析多模态要素交互作用与大模型的技术推动作用，指出低资源等研究空白，提出未来研究方向，助力构建更先进负责任的治理方案。
2024-10-30 cs.CL
Deciphering Hate: Identifying Hateful Memes and Their Targets
Dartmouth College（达特茅斯学院）；Chittagong University of Engineering & Technology（吉大港工程技术大学）
针对孟加拉语低资源仇恨模因检测及其目标实体识别的研究空白，提出了多模态数据集 BHM 和双协同注意力框架 DORA，通过联合评估模态特征与模态特定特征，在两项任务上优于现有基线并具备良好泛化能力。
2024-09-22 cs.CL
Detecting Hate and Inflammatory Content in Bengali Memes: A New Multimodal Dataset and Co-Attention Framework
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
针对孟加拉语模因中仇恨和煽动性内容检测的研究空白，构建了首个区分煽动性内容与直接仇恨言论的数据集Bn-HIB，并提出多模态共注意力融合模型MCFM，通过联合分析视觉和文本特征实现更准确分类。
2026-06-16 cs.CL
Attentive Fusion: A Transformer-based Approach to Multimodal Hate Speech Detection
Jadavpur University（贾达普大学）；Optum Global Solutions Private Limited（奥普特姆全球解决方案私人有限公司）
本文提出一种基于Transformer并结合音频与文本表示的多模态仇恨言论检测方法，通过自研的“注意力融合”层有效应对讽刺表达，在测试集上取得0.927的宏F1分数，超越已有最先进技术。
2024-01-19 cs.CL cs.LG cs.SD
Can Thinking Models Think to Detect Hateful Memes?
Qatar University（卡塔尔大学）；Qatar Computing Research Institute（卡塔尔计算研究中心）
本文提出基于强化学习的后训练框架，通过任务特定奖励和GRPO目标提升基于思考的多模态模型在检测仇恨言论中的推理能力，实验表明在准确性、F1值和解释质量上均有显著提升。
2026-03-01 cs.CL
TIB-VA at SemEval-2022 Task 5: A Multimodal Architecture for the Detection and Classification of Misogynous Memes
TIB – Leibniz Information Centre for Science and Technology（TIB——莱布尼茨科学技术信息中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
检测社交媒体上的攻击性、仇恨性内容是一个具有挑战性的问题，每天都会影响许多在线用户。仇恨内容通常用于针对基于种族，性别，宗教和其他因素的人群。对女性的仇恨或蔑视在社交平台上越来越多。当文本和视觉模态被组合以形成单个上下文时，例如，嵌入在图像顶部的覆盖文本，也称为模因。在本文中，我们提出了一个多模态架构，结合文本和视觉特征，以检测厌恶女性的模因内容。在SemEval-2022任务5：MAMI -多媒体自动厌女症识别挑战中，以TIB-VA团队的名义对所提出的架构进行了评估。我们的解决方案在任务B中获得了最好的结果，其中的挑战是对给定的文档是否是厌恶女性的进行分类，并进一步确定羞辱，刻板印象，客观化和暴力的主要子类。
2022-04-13 cs.AI cs.CL cs.CV
FBHM: Functional Benchmarking and Steering of VLMs for Hateful Meme Detection
Indian Institute of Technology (IIT), Kharagpur（印度理工学院（IIT）卡拉格浦尔）；Microsoft（微软）
针对现有基准无法因果评估视觉语言模型漏洞的问题，提出基于25种修辞功能和10个目标社区构建的FBHM基准，并采用可学习引导向量（LSV）在极低数据量下提升模型性能约30个Macro-F1点。
2026-09-01 cs.AI cs.CL cs.CV
SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes
Indian Institute of Technology Delhi（印度理工学院德里分校）；Aalto University（阿尔托大学）
研究表情包中仇恨言论检测难题，提出SAFE-MEME框架及其两个变体，通过构建新型数据集进行基准测试，实验表明SAFE-MEME-QA和SAFE-MEME-H能有效检测仇恨言论，且不同方法在常规和混淆场景各有优势，还分析了错误案例。
2026-07-28 cs.CL cs.CY
Multi-modal Hate Speech Detection using Machine Learning
BRAC University（BRAC大学）
针对单模态仇恨言论检测准确率不足的问题，本研究提出融合图像、音频、文本特征的多模态组合方法，结合机器学习与自然语言处理技术实现视频内容的仇恨言论检测。
2023-06-15 cs.AI cs.CL cs.CV
Beyond Accuracy: A Qualitative Analysis of Vision-Language Models for Hate Speech Detection in Memes
Islamic University of Technology（伊斯兰科技大学）
本研究通过定性分析LLaVA-7B等四个VLMs在零样本、少样本设置下的表现，揭示其检测仇恨表情包时忽略关键语境线索的问题，为优化模型提供了更深入的理解。
2026-08-28 cs.AI cs.CL
A Review of Vision-Language Models and their Performance on the Hateful Memes Challenge
Georgia Institute of Technology（佐治亚理工学院）
本文综述了多种视觉-语言模型在仇恨模因挑战中的表现，对比早期融合与晚期融合方法，发现早期融合模型（尤其CLIP）显著优于晚期融合，AUROC达70.06。
2023-05-09 cs.AI cs.CL
Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning
University of Cambridge（剑桥大学）
针对现有基于CLIP的仇恨表情包检测模型对细微差异不敏感的问题，提出检索引导的对比学习方法构建仇恨感知嵌入空间，在HatefulMemes数据集上达SOTA且支持无需重训的样本更新。
2024-10-30 cs.CL cs.CV
Hate Me Not: Detecting Hate Inducing Memes in Code Switched Languages
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）
社交媒体用户数量的增加导致网上发布的仇恨内容增加。在像印度这样的国家，使用多种语言，这些令人憎恶的帖子来自一种不寻常的代码转换语言的混合。这种仇恨言论借助图像来描述，形成“模因”，对人类心灵产生持久的影响。在本文中，我们承担了从多模态数据中检测仇恨和攻击的任务，即包含代码转换语言中的文本的图像（模因）。我们首先提出了一个新的三重注释的印度政治模因（IPM）数据集，其中包括模因从各种印度政治事件发生后独立，并分为三个不同的类别。我们还提出了一个基于二进制通道的CNN和LSTM的模型来使用CNN模型处理图像，并使用LSTM模型处理文本，以获得这项任务的最先进结果。
2022-04-24 cs.CL cs.LG cs.SI
An Under-Explored Application for Explainable Multimodal Misogyny Detection in code-mixed Hindi-English
Dundalk Institute of Technology（邓多克理工学院）
本文提出一个多模态且可解释的网页应用，用于检测混合印地语-英语中的性别歧视，利用Transformer模型和可解释性技术提升透明度和可用性。
2026-01-13 cs.AI cs.CL
