Detecting Online Hate Speech Using Context Aware Models
Texas A&M University（德克萨斯农工大学）
在一场两极分化的选举之后，网络世界充斥着仇恨言论。伴随仇恨言论文本的上下文对于识别仇恨言论是有用的，然而在现有的数据集和仇恨言论检测模型中，这在很大程度上被忽视了。在本文中，我们提供了一个注释语料库的仇恨言论与上下文信息保存良好。然后，我们提出了两种类型的仇恨言论检测模型，结合上下文信息，逻辑回归模型与上下文功能和神经网络模型与上下文的学习组件。我们的评估表明，这两个模型在F1评分中的表现优于强基线约3%至4%，并且将这两个模型结合在一起，在F1评分中进一步提高了7%的性能。
2018-05-22 cs.CL
Highly Generalizable Models for Multilingual Hate Speech Detection
Georgia Institute of Technology（佐治亚理工学院）
在过去的十年里，仇恨语音检测已经成为一个重要的研究课题。越来越多的私营公司需要监管全球不同平台上的用户生成内容。在本文中，我们介绍了多语言仇恨言论分类的研究。我们编译了一个包含11种语言的数据集，并通过分析带有二进制标签的组合数据来解决不同的分类：仇恨言论或非仇恨言论。在不同的语言和数据集上以单一的方式定义仇恨言论可能会消除定义中的文化细微差别，因此，我们利用LASER和MUSE提供的语言不可知嵌入来开发可以在数据集上使用仇恨言论的广义定义的模型。此外，我们评估了现有技术的仇恨言论检测方法在我们的扩展数据集。我们进行三种类型的实验的二进制仇恨语音分类任务：多语言训练单语言测试，单语言训练单语言测试和家庭家庭训练单语言测试的情况下，看看性能提高每种语言由于学习更多的其他语言数据。
2022-01-27 cs.CL
Demoting Racial Bias in Hate Speech Detection
Carnegie Mellon University（卡内基梅隆大学）
在当前的仇恨言论数据集，有注释者的毒性和信号的非洲裔美国人英语（AAE）的感知之间存在着高度的相关性。注释训练数据中的这种偏见以及机器学习模型放大它的趋势导致AAE文本经常被当前仇恨言论分类器错误标记为滥用/攻击/仇恨言论，具有很高的误报率。在本文中，我们使用对抗性训练来减轻这种偏见，引入了一个仇恨语音分类器，该分类器学习检测有毒句子，同时降级对应于AAE文本的混淆。仇恨言论数据集和AAE数据集上的实验结果表明，我们的方法能够大大降低AAE文本的误报率，同时对仇恨言论分类的性能影响最小。
2020-05-25 cs.CL
Decoding Hate: Exploring Language Models' Reactions to Hate Speech
IRLab（IR实验室）；CITIC Research Centre（CITIC研究中心）；University of A Coruña（阿维拉大学）
本文通过定性分析比较七个主流LLM对仇恨言论及政治正确包装形式的反应，并提出微调与指南护栏等缓解生成仇恨言论的策略。
2024-10-01 cs.CL
Towards generalisable hate speech detection: a review on obstacles and solutions
Queen Mary University of London（伦敦玛丽女王大学）
仇恨言论是一种有害的在线内容，它直接攻击或促进对一个群体或个人成员的仇恨，基于他们的实际或感知的身份方面，如种族，宗教和性取向。随着网络仇恨言论的增加，作为一项自然语言处理任务的仇恨言论自动检测越来越受到人们的关注。然而，直到最近才表明，现有的模型对看不见的数据的概括性很差。这篇调查论文试图总结现有的仇恨言论检测模型是如何推广的，为什么仇恨言论模型难以推广，总结现有的尝试，解决主要障碍，然后提出未来的研究方向，以提高仇恨言论检测的推广。
2021-02-17 cs.CL
Automated Hate Speech Detection and the Problem of Offensive Language
Cornell University（康奈尔大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
社交媒体上仇恨言论自动检测的一个关键挑战是将仇恨言论与其他攻击性语言分开。词汇检测方法往往具有低精度，因为它们将包含特定术语的所有消息分类为仇恨言论，并且先前使用监督学习的工作未能区分这两个类别。我们使用了一个众包仇恨言论词典来收集包含仇恨言论关键词的推文。我们使用众包将这些推文的样本分为三类：包含仇恨言论的推文，只有攻击性语言的推文，以及两者都没有的推文。我们训练一个多类分类器来区分这些不同的类别。对预测和错误的仔细分析表明，我们何时可以可靠地将仇恨言论与其他攻击性语言区分开来，何时这种区分更加困难。我们发现，种族主义和同性恋恐惧的推文更有可能被归类为仇恨言论，但性别歧视的推文通常被归类为冒犯性的。没有明确仇恨关键词的推文也更难分类。
2017-03-11 cs.CL
Hate Speech According to the Law: An Analysis for Effective Detection
DIT, University of Bologna（博洛尼亚大学DIT学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对现有仇恨言论定义不足、各国法律差异导致平台治理混乱的问题，本研究结合法律专家标注与多类模型实验，验证了法律知识对可起诉仇恨言论分类的作用，为合法打击仇恨言论提供策略参考。
2024-12-09 cs.CL
Dialogues of Dissent: Thematic and Rhetorical Dimensions of Hate and Counter-Hate Speech in Social Media Conversations
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
提出一种联合标注社交媒体仇恨与反仇恨言论的多标签方案，从主题和修辞维度分析92个对话、720条推文，揭示二者互动模式及反制策略。
2025-07-28 cs.CL
How Hate Speech Varies by Target Identity: A Computational Analysis
Carnegie Mellon University（卡内基梅隆大学）
本文研究了仇恨言论如何根据其目标身份以系统的方式变化。在针对目标身份注释的多个仇恨言论数据集中，我们发现针对特定身份群体的仇恨言论训练的分类器很难推广到其他目标身份。这为仇恨言论的目标身份差异提供了经验证据，然后我们研究了这种变化的结构模式。我们发现，目标人口类别（如性别/性或种族/民族）似乎有一个更大的影响仇恨言论的语言比目标身份群体的相对社会权力。我们还发现，与针对特定身份的仇恨言论相关的词语通常与刻板印象、压迫历史、当前的社会运动以及其他特定于身份的社会背景有关。这些实验表明，在自动仇恨言论分类中，考虑目标身份以及与这些身份相关的社会背景的重要性。
2022-12-07 cs.CL
Hate Speech and Counter Speech Detection: Conversational Context Does Matter
University of North Texas（北德克萨斯大学）；Arizona State University（亚利桑那州立大学）
仇恨言论和用户生成的内容一起充斥着网络空间。本文研究了对话上下文在注释和检测网络仇恨和反言论中的作用，其中上下文被定义为对话线程中的前面评论。我们创建了一个上下文感知的数据集，用于Reddit评论的三向分类任务：仇恨言论，反言论或中立。我们的分析表明，上下文是至关重要的，以确定仇恨和反言论：人类的判断改变大多数评论取决于我们是否显示注释者的上下文。语言分析深入了解人们用来表达仇恨和反击言论的语言。实验结果表明，神经网络获得显着更好的结果，如果考虑到上下文。我们还提出了定性的错误分析，阐明了（a）何时以及为什么上下文是有益的，以及（b）当考虑上下文时，我们的最佳模型所犯的其余错误。
2022-06-13 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich（苏黎世大学）
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作，重新利用自然语言推理（NLI）模型的zero-shot文本分类，我们提出了一个简单的方法，结合多个假设，以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测，然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面，并将这些预测组合成最终的判决。我们发现，用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点（pp），将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
Hateful Messages: A Conversational Data Set of Hate Speech produced by Adolescents on Discord
Freie Universität Berlin（柏林自由大学）；Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS（弗劳恩霍夫开放通信系统研究所FOKUS）
本研究构建了包含88,395条Discord青少年聊天消息的匿名仇恨言论数据集，以解决青少年语言偏见，约6.42%被标注为仇恨言论，作者平均年龄低于20岁。
2023-09-04 cs.CL
Cross-lingual Capsule Network for Hate Speech Detection in Social Media
Queen Mary University of London（伦敦玛丽女王大学）
大多数仇恨言论检测研究都集中在一种语言上，通常是英语，这限制了它们对其他语言的普遍性。在本文中，我们研究了跨语言的仇恨言论检测任务，解决这个问题，通过适应仇恨言论资源从一种语言到另一种语言。我们提出了一个跨语言的胶囊网络学习模型，加上额外的特定领域的词汇语义仇恨言论（CCNL-Ex）。我们的模型在AMI @ Evalita 2018和AMI@Ibereval2018的基准数据集上实现了最先进的性能，涉及三种语言：英语，西班牙语和意大利语，在所有六种语言对上都优于最先进的基线。
2021-08-06 cs.CL
MasonPerplexity at Multimodal Hate Speech Event Detection 2024: Hate Speech and Target Detection Using Transformer Ensembles
George Mason University（乔治梅森大学）
本文提出MasonPerplexity系统，使用XLM-roBERTa-large及多模型集成方法处理多模态仇恨言论及目标检测任务，在CASE 2024两项子任务中均取得第3名。
2024-02-18 cs.CL
Multilingual and Multi-Aspect Hate Speech Analysis
The Hong Kong University of Science and Technology（香港科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）
当前对仇恨语音分析的研究通常面向单语和单一分类任务。在本文中，我们提出了一个新的多语言多方面仇恨语音分析数据集，并使用它来测试当前最先进的多语言多任务学习方法。我们在各种分类设置中评估我们的数据集，然后讨论如何利用我们的注释来提高仇恨言论检测和分类。
2019-08-29 cs.CL
Fine-Grained Chinese Hate Speech Understanding: Span-Level Resources, Coded Term Lexicon, and Enhanced Detection Frameworks
School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）
针对中文仇恨言论检测可解释性研究面临的片段级标注数据稀缺和暗语识别不足两大挑战，本文提出了首个片段级中文仇恨言论数据集STATE ToxiCN，全面研究了LLMs对中文暗语仇恨词汇的语义解释能力，并提出一种整合标注词典的方法显著提升了检测性能。
2025-07-15 cs.CL
STATE ToxiCN: A Benchmark for Span-level Target-Aware Toxicity Extraction in Chinese Hate Speech Detection
School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）
针对中文仇恨言论检测研究滞后、缺乏跨度级细粒度标注及仇恨俚语研究的问题，本文构建了首个跨度级中文仇恨言论数据集STATE ToxiCN，评估了现有模型检测性能并首次研究中文仇恨俚语的LLM检测能力，为相关研究提供资源与参考。
2025-05-20 cs.CL
Multilingual Auxiliary Tasks Training: Bridging the Gap between Languages for Zero-Shot Transfer of Hate Speech Detection Models
INRIA（法国国家信息与自动化研究所）
零次跨语言迁移学习已经被证明对于涉及大量语言特性的任务或当语言之间存在文化差异时（例如在仇恨言论检测中）具有高度挑战性。在本文中，我们强调了这种限制仇恨言论检测在几个领域和语言使用严格的实验设置。然后，我们建议对多语言辅助任务进行训练-情感分析，命名实体识别和依赖句法信息的任务-以提高仇恨语音检测模型跨语言的zero-shot传输。我们展示了仇恨言论检测模型如何受益于辅助任务微调带来的跨语言知识代理，并强调了这些任务对弥合语言之间仇恨言论语言和文化差距的积极影响。
2022-10-25 cs.CL
Hate Speech Detection: A Solved Problem? The Challenging Case of Long Tail on Twitter
University of Sheffield（谢菲尔德大学）；Southwest University（西南大学）；Cardiff University（卡迪夫大学）；DFKI GmbH（德国人工智能研究中心）；Technical University Dresden（德累斯顿工业大学）；Universitat Stuttgart（斯图加特大学）；Barcelona Supercomputing Centre（巴塞罗那超级计算中心）
近年来，社交媒体上仇恨言论的传播越来越多，迫切需要采取有效的应对措施，这吸引了政府、公司和研究人员的大量投资。已经开发了大量的方法用于在线自动检测仇恨言论。这旨在将文本内容分类为非仇恨或仇恨言论，在这种情况下，该方法还可以识别目标特性（即，仇恨的类型，如种族和宗教）在仇恨言论。然而，我们注意到两者的性能之间存在显著差异（即，非仇恨vs. hate）。在这项工作中，我们认为重点放在后一个问题的实际原因。我们表明，这是一项更具挑战性的任务，因为我们对典型数据集中的语言进行的分析表明，仇恨言论缺乏独特的、有区别的特征，因此在数据集中的“长尾”中很难发现。然后，我们提出了深度神经网络结构作为特征提取器，特别有效地捕捉仇恨言论的语义。我们的方法在基于Twitter的仇恨言论数据集的最大集合上进行了评估，并且在宏观平均F1中能够超过最佳性能方法高达5个百分点，或者在识别仇恨内容的更具挑战性的情况下超过8个百分点。
2018-10-25 cs.CL
ProvocationProbe: Instigating Hate Speech Dataset from Twitter
GESIS - Leibniz Institute for Social Sciences（莱布尼茨社会科学研究所GESIS）；University of Tartu（塔尔图大学）
本文构建 ProvocationProbe 数据集，基于 Twitter 约两万条涉九起全球争议的推文，标注并刻画煽动性仇恨言论区别于一般仇恨言论的特征。
2024-10-25 cs.CL
Recognizing Explicit and Implicit Hate Speech Using a Weakly Supervised Two-path Bootstrapping Approach
Texas A&M University（得克萨斯农工大学）；Stanford University（斯坦福大学）
在两极分化的选举之后，社交媒体充斥着仇恨的内容。为了解决监督仇恨语音分类方法的各种局限性，包括语料库偏见和巨大的注释成本，我们提出了一种弱监督的双路径自举方法，利用大规模未标记数据的在线仇恨语音检测模型。该系统明显优于使用手动注释数据以监督方式训练的仇恨言论检测系统。将该模型应用于选举前、选举后和选举日收集的大量推文，揭示了煽动性语言的动机和模式。
2018-05-22 cs.CL
"Is Hate Lost in Translation?": Evaluation of Multilingual LGBTQIA+ Hate Speech Detection
University of New South Wales（新南威尔士大学）
本文评估了大型语言模型在英语、意大利语、中文和英语-泰米尔语中检测LGBTQIA+仇恨言论的能力，发现微调能持续提升性能，而机器翻译效果不一，且自动翻译难以捕捉语言的社会文化细微差别。
2024-10-24 cs.CL
HateCheck: Functional Tests for Hate Speech Detection Models
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Utrecht University（乌得勒支大学）；University of Sheffield（谢菲尔德大学）
检测网络仇恨是一项艰巨的任务，即使是最先进的模型也难以完成。通常，仇恨语音检测模型通过使用诸如准确性和F1分数之类的度量来测量它们在保留的测试数据上的性能来评估。然而，这种方法很难识别特定的模型弱点。由于仇恨言论数据集中越来越多的系统性差距和偏见，它还存在高估可推广模型性能的风险。为了实现更有针对性的诊断见解，我们引入了HateCheck，这是一套针对仇恨言论检测模型的功能测试。我们指定了29个模型功能的动机，审查以前的研究和一系列的采访与民间社会利益相关者。我们为每个功能制作测试用例，并通过结构化的注释过程验证其质量。为了说明HateCheck的实用性，我们测试了接近最先进的Transformer模型以及两个流行的商业模型，揭示了关键模型的弱点。
2021-05-27 cs.CL
Unsupervised Domain Adaptation for Hate Speech Detection Using a Data Augmentation Approach
近年来，以仇恨言论形式出现的在线骚扰呈上升趋势。解决这个问题需要结合内容审核的人，由自动检测方法的帮助。由于内容审核本身对人们有害，我们希望通过改进仇恨言论的自动检测来减轻负担。仇恨言论提出了一个挑战，因为它是针对不同的目标群体使用完全不同的词汇。此外，仇恨言论的作者被鼓励掩饰他们的行为，以避免被从平台上删除。这使得很难开发一个全面的数据集来训练和评估仇恨言论检测模型，因为代表一个仇恨言论领域的例子通常不代表其他领域，即使在同一语言或文化中。我们提出了一种无监督的领域自适应方法来增强仇恨言论检测的标记数据。我们在三个不同的集合上使用三种不同的模型（字符CNN，BiLSTM和BERT）来评估该方法。我们的方法将精确率/召回率曲线下的面积提高了42%，召回率提高了278%，而精确率没有损失（在某些情况下有显着的提高）。
2021-07-31 cs.CL
Dual-Class Prompt Generation: Enhancing Indonesian Gender-Based Hate Speech Detection through Data Augmentation
School of Computer Science（计算机学院）；Bina Nusantara University（宾纳南塔大学）
本文提出双类提示生成数据增强方法，通过结合仇恨与非仇恨言论示例，有效缓解印尼语性别仇恨言论检测的类别不平衡与数据稀缺问题，在准确率和F1分数上达到最优。
2025-03-06 cs.CL
Hate Speech Criteria: A Modular Approach to Task-Specific Hate Speech Definitions
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；Eindhoven University of Technology（埃因霍温理工大学）
\textbf{Offensive Content Warning}：本文包含攻击性语言，只是为了提供澄清这项研究的例子，并不反映作者的意见。请注意，这些例子是冒犯性的，可能会给您带来困扰。识别\textit{hate speech}的主观性使其成为一项复杂的任务。这也反映在NLP中不同和不完整的定义中。我们提出了\textit{hate speech}标准，从法律和社会科学的角度发展，旨在帮助研究者建立更精确的定义和注释指南的五个方面：（1）目标群体，（2）优势，（3）肇事者的特点，（4）类型的负面群体参考，（5）类型的潜在后果/影响。定义的结构可以使其涵盖更广泛或更狭窄的现象。因此，可以有意识地选择具体的标准或让它们开放。我们认为，开发人员心中的目标和确切的任务应该决定如何定义\textit{hate speech}的范围。我们概述了\url{hatespeechdata.com}中英语数据集的属性，这可能有助于为特定场景选择最合适的数据集。
2022-06-30 cs.CL
Web(er) of Hate: A Survey on How Hate Speech Is Typed
Department of Computer Science & Technology University of Cambridge（计算机科学与技术系剑桥大学）
本文综述仇恨言论数据集的策展设计，借鉴韦伯理想类型理论，倡导研究者反思自身价值判断，以提升数据集可靠性与方法论严谨性。
2025-06-19 cs.CL
Fake News and Hate Speech: Language in Common
Universitat de València（瓦伦西亚大学）
在本文中，我们提出了一个研究问题，即假新闻和仇恨言论传播者在语言上是否有共同的模式。我们计算了一个新的指数，内组与外组指数，在三个不同的数据集，我们表明，这两种现象共享一个“我们与他们”的叙述。
2022-12-05 cs.CL
Towards Legally Enforceable Hate Speech Detection for Public Forums
Cornell Law School（康奈尔法学院）
本文提出以法律定义为核心的可执行仇恨言论检测任务，构建由法律专家标注的数据集并扩充专家样本与挑战集，通过零样本和少样本提示使大语言模型决策对齐法律定义，提升公共论坛仇恨言论执法的严谨性。
2023-11-01 cs.CL
Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages
University of Oxford（牛津大学）；Bocconi University（博科尼大学）；Stanford University（斯坦福大学）
仇恨言论是一种全球现象，但迄今为止，大多数仇恨言论数据集都集中在英语内容上。这阻碍了在世界各地数十亿人使用的数百种语言中开发更有效的仇恨言论检测模型。需要更多的数据，但注释仇恨内容是昂贵的，耗时的，并可能对注释者有害。为了缓解这些问题，我们探索数据高效的策略，将仇恨言论检测扩展到资源不足的语言中。在五种非英语语言的单语言和多语言模型的一系列实验中，我们发现：1）需要少量的目标语言微调数据才能实现强大的性能，2）使用更多此类数据的好处呈指数级下降，3）对现成的英语数据进行初始微调可以部分替代目标语言数据并提高模型的通用性。基于这些发现，我们制定了可操作的建议，在低资源的语言设置仇恨言论检测。
2022-10-20 cs.CL
Addressing the Challenges of Cross-Lingual Hate Speech Detection
Technical University of Darmstadt（达姆施塔特工业大学）；LMU Munich（慕尼黑大学）
仇恨言论检测的目标是过滤针对特定人群的负面在线内容。由于社交媒体平台易于访问，因此保护每个人至关重要，这需要为各种语言建立仇恨言论检测系统。然而，可用的标记仇恨言论数据集是有限的，这使得为许多语言构建系统成为问题。在本文中，我们专注于跨语言迁移学习，以支持低资源语言的仇恨语音检测。我们利用跨语言的词嵌入训练我们的神经网络系统的源语言，并将其应用到目标语言，缺乏标记的例子，并显示出良好的性能可以实现。然后，我们将未标记的目标语言数据，通过使用不同的模型架构的合奏自举标签进一步改进模型。此外，我们还研究了仇恨言论数据集的标签不平衡问题，因为与仇恨示例相比，非仇恨示例的高比例通常会导致模型性能低下。我们测试简单的数据欠采样和过采样技术，并显示其有效性。
2022-01-15 cs.CL
HateBR: A Large Expert Annotated Corpus of Brazilian Instagram Comments for Offensive Language and Hate Speech Detection
Computer Science Department, Federal University of Minas Gerais（米纳斯吉拉斯联邦大学计算机科学系）
由于巴西社交媒体攻击性和仇恨性评论的严重性，以及葡萄牙语研究的缺乏，本文提供了巴西Instagram评论的第一个大规模专家注释语料库，用于仇恨言论和攻击性语言检测。HateBR语料库是从巴西政治家在Instagram上的评论部分收集的，并由专家手动注释，达到了很高的注释者间一致性。该语料库由7，000份文件组成，根据三个不同的层次进行注释：二元分类（冒犯性与非冒犯性评论），冒犯性级别分类（高度，中度和轻微冒犯性），以及九个仇恨言论组（仇外心理，种族主义，同性恋恐惧症，性别歧视，宗教不容忍，党派主义，为独裁统治道歉，反犹太主义和肥胖恐惧症）。我们还实施了攻击性语言和仇恨言论检测的基线实验，并将其与文献基线进行比较。结果表明，我们的语料库上的基线实验优于目前最先进的葡萄牙语。
2022-12-27 cs.CL
Leveraging cross-platform data to improve automated hate speech detection
仇恨言论在网上越来越普遍，其负面后果包括偏见、极端主义甚至线下仇恨犯罪的增加。自动检测网络仇恨言论可以帮助我们更好地了解这些影响。然而，虽然该领域最近通过自然语言处理的进步取得了进展，但挑战仍然存在。特别是，大多数现有的仇恨言论检测方法都集中在孤立的单一社交媒体平台上。这限制了这些模型的使用及其有效性，因为语言的性质因平台而异。在这里，我们提出了一种新的跨平台方法来检测仇恨言论，该方法利用来自不同平台的多个数据集和分类模型，并训练一个超级学习者，该超级学习者可以结合现有的和新的训练数据来提高检测和增加模型的适用性。我们展示了这种方法如何优于现有的模型，并在测试来自新的社交媒体平台的消息时取得了良好的性能，这些消息未包含在原始训练数据中。
2021-02-09 cs.CL
Robust Hate Speech Detection in Social Media: A Cross-Dataset Empirical Evaluation
Cardiff University（卡迪夫大学）
本文通过大规模跨数据集实验，发现组合多个仇恨言论检测数据集微调语言模型，可显著提升模型鲁棒性和泛化能力，优于任何单一数据集。
2023-07-04 cs.CL
What is the social benefit of hate speech detection research? A Systematic Review
University of Canterbury（坎特伯雷大学）；Geospatial Research Institute（地理空间研究所）
本文通过系统审查37篇文献中的48个仇恨言论检测系统，指出伦理框架缺失导致NLP研究与政策实践脱节，提出采用适当伦理框架可释放仇恨言论研究的社会影响潜力。
2024-09-26 cs.CL
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）
由于社交媒体的指数增长，仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中，我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
Predictive Embeddings for Hate Speech Detection on Twitter
Columbia University（哥伦比亚大学）
我们提出了一种基于神经网络的方法来分类在线仇恨言论，特别是种族主义和性别歧视言论。使用预训练的词嵌入和来自这些嵌入的简单、全连接变换的最大/均值池，我们能够预测三个常用的公开数据集上仇恨言论的发生。与以前的方法相比，我们的模型在所有三个数据集上使用更少的参数和最小的特征预处理，匹配或优于最先进的F1性能。
2018-09-27 cs.CL
HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning
KAIST AI（韩国科学技术院人工智能研究院）
本文提出仇恨言论检测框架HARE，利用大型语言模型的逐步推理能力填补现有标注方案的推理空白，从而有效监督检测模型，在SBIC和Implicit Hate基准上超越基线并提升解释质量与泛化能力。
2023-11-22 cs.CL
Hate Speech Classification Using SVM and Naive BAYES
Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）
仇恨的传播以前仅限于口头交流，现在已迅速转移到互联网上。允许人们讨论和表达意见的信息社交和社区论坛正在成为传播仇恨信息的平台。许多国家制定了法律，以避免网上仇恨言论。他们认为运营社交媒体的公司应该为未能消除仇恨言论负责。但是，随着在线内容的不断增长，仇恨言论的传播也在不断扩大。然而，由于数据量巨大，人工分析在线平台上的仇恨言论是不可行的，因为它既昂贵又耗时。因此，重要的是自动处理在线用户内容，以检测和删除来自在线媒体的仇恨言论。许多最近的方法都存在可解释性问题，这意味着很难理解系统为什么会做出这样的决定。通过以上工作，提出了基于支持向量机和朴素贝叶斯算法的仇恨信息自动检测方法。这实现了接近最先进的性能，同时比其他方法更简单，更容易解释决策。对该技术的实证评估表明，在测试集中，SVM和NB的分类准确率分别约为99%和50%。关键词：分类;仇恨言论;特征提取;算法;监督学习
2022-03-21 cs.CL
A Group-Specific Approach to NLP for Hate Speech Detection
Harvard University（哈佛大学）
本文提出面向特定受保护群体的仇恨言论检测NLP方法，并以反犹言论检测为例，构建历史语言知识图谱、注入模型并结合伦理与交叉性评估，证明其有助于识别细微刻板印象。
2023-04-21 cs.CL
Surfacing contextual hate speech words within social media
National Tsinghua University（清华大学）
社交媒体平台最近出现了仇恨言论话语的增加，这导致了对改进检测方法的呼吁。其中大多数依赖于注释数据、关键字和分类技术。虽然这种方法提供了很好的覆盖面，但在处理网上极端主义社区产生的新术语时，这种方法可能不够，因为这些新术语是具有其他仇恨言论含义的单词的原始来源。这些暗语（既可以是创造的，也可以是被采用的）被设计成逃避自动检测，并且在常规话语中通常具有善意的含义。例如，“skypes”、“googles”和“yahoos”都是具有可用于仇恨言论的替代含义的单词的实例。这种重叠在依赖于收集仇恨言论特定数据和下游分类的关键词时带来了额外的挑战。在这项工作中，我们开发了一种社区发现方法，用于发现极端主义仇恨言论社区并从其成员那里收集数据。我们还开发了一个词嵌入模型，该模型学习单词的替代仇恨言论含义，并通过几个注释实验证明了我们的代码词的候选资格，旨在确定是否有可能在不知道其替代含义的情况下识别一个词用于仇恨言论。我们报告的注释者间的协议率K=0.871，K=0.676分别从我们的极端主义社区和关键字的方法，支持我们的说法，仇恨言论检测是一个上下文的任务，并不依赖于一个固定的关键字列表。我们的目标是通过提供高质量的仇恨言论数据集以及可以输入现有分类方法的学习代码来推进该领域，从而提高自动检测的准确性。
2017-11-28 cs.CL
Hate versus Politics: Detection of Hate against Policy makers in Italian tweets
Maggioli S.p.A.（Maggioli 股份公司）
准确检测针对政客、政策制定和政治理念的仇恨言论，对于维护民主和言论自由至关重要。不幸的是，训练模型检测仇恨言论所需的标记数据量是有限的，并且依赖于领域。在本文中，我们解决了对政策制定者的仇恨言论在意大利语Twitter的分类问题，生产这种类型的第一个资源在这种语言。我们收集并注释了1264条推文，研究了注释者之间存在分歧的情况，并使用不同的特征和算法进行了域内和跨域仇恨言论分类。我们实现了ROC AUC 0.83的性能，并分析了最具预测性的属性，还发现了反政策制定者和反移民领域的不同语言特征。最后，我们可视化了标签网络，以捕捉仇恨和正常推文中使用的主题。
2021-07-12 cs.CL
Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Northeastern University（东北大学）
遏制网络仇恨言论已成为当务之急;然而，出于地缘政治和文化原因，全面禁止此类活动是不可行的。为了降低问题的严重性，在本文中，我们介绍了一种新的任务，仇恨言论规范化，旨在削弱仇恨的强度所表现出的在线帖子。仇恨言论正常化的目的不是支持仇恨，而是为用户提供一个迈向非仇恨的垫脚石，同时给在线平台更多的时间来监测用户行为的任何改善。为此，我们手动策划了一个平行的语料库-仇恨文本及其规范化的对应文本（规范化的文本不那么仇恨，更良性）。我们介绍NACL，一个简单而有效的仇恨言论规范化模型，分三个阶段操作-首先，它测量原始样本的仇恨强度;第二，它确定其中的仇恨跨度;最后，它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验，通过三方面的评估（内在的，外在的，和人体研究）来衡量NACL的疗效。我们观察到NACL优于六个基线- NACL产生的强度预测的RMSE为0.1365，跨度识别的F1分数为0.622，以及标准化文本生成的BLEU和困惑度为82.27和80.05。我们进一步展示了NACL在其他平台（Reddit，Facebook，Gab）上的通用性。NACL的交互式原型放在一起的用户研究。此外，该工具正在Wipro AI的现实环境中部署，作为其解决在线平台上有害内容的使命的一部分。
2022-06-08 cs.CL
Hate Speech Dataset from a White Supremacy Forum
Vicomtech（维康泰克）
仇恨言论通常被定义为基于种族、肤色、民族、性别、性取向、国籍、宗教或其他特征而诋毁目标群体的任何通信。由于社交媒体上用户生成的网络内容大量增加，仇恨言论的数量也在稳步增加。在过去的几年里，人们对在线仇恨言论检测的兴趣，特别是这项任务的自动化，以及这一现象的社会影响不断增长。本文描述了一个仇恨言论数据集，该数据集由数千个手动标记为包含仇恨言论或不包含仇恨言论的句子组成。这些句子摘自白人至上主义论坛Stormfront。一个自定义的注释工具已经开发出来进行手动标签的任务，其中，除其他事项外，允许注释者选择是否阅读一个句子的上下文之前labelingit.The文件还提供了一个周到的定性和定量研究所产生的数据集和几个基线实验与不同的分类模型。数据集是公开的。
2018-09-12 cs.CL
White-Box Attacks on Hate-speech BERT Classifiers in German with Explicit and Implicit Character Level Defense
在这项工作中，我们评估了在德国仇恨语音数据集上训练的BERT模型的对抗鲁棒性。我们还补充了我们的评估与两个新的白盒字符和单词级攻击，从而有助于攻击的范围。此外，我们还进行了两个新的字符级防御策略的比较，并评估其鲁棒性与彼此。
2022-02-14 cs.CL
UTFPR at SemEval-2019 Task 5: Hate Speech Identification with Recurrent Neural Networks
Universidade Tecnológica Federal do Paraná（巴拉那联邦理工大学）；Harvard Medical School（哈佛医学院）；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们重新审视了自动识别社交媒体帖子中的仇恨言论的问题。我们使用基于最小组合循环神经网络（RNN）的系统来完成任务。我们在SemEval-2019任务5：Twitter（HatEval）共享任务数据集中针对移民和女性的仇恨言论的多语言检测上测试了我们的方法。HatEval组织者提供的数据集包含从Twitter检索的英文和西班牙文帖子，并注明是否存在仇恨内容及其目标。在本文中，我们提出了我们的系统相比，在共享任务中的其他条目所获得的结果。我们的系统取得了有竞争力的性能排名第七的子任务A的62个系统在英语轨道。
2019-04-16 cs.CL
HateDay: Insights from a Global Hate Speech Dataset Representative of a Day on Twitter
University of Oxford（牛津大学）；World Bank（世界银行）；New York University（纽约大学）；Meedan；Bocconi University（博科尼大学）
HateDay构建了首个基于Twitter全天随机抽样的全球仇恨言论数据集，覆盖八种语言和四个英语国家，揭示了学术评估高估现实检测性能的问题，并指出模型需人工监督才能有效审核。
2025-06-03 cs.CL
HateCheckHIn: Evaluating Hindi Hate Speech Detection Models
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
由于在线仇恨的数量庞大，人工智能和NLP社区已经开始构建模型来检测这种仇恨内容。最近，多语言仇恨是自动检测的一个主要新兴挑战，其中代码混合或多种语言已用于社交媒体中的对话。通常，通过使用诸如准确度和F1分数之类的度量来测量它们在保留的测试数据上的性能，来评估仇恨语音检测模型。虽然这些指标是有用的，它变得难以识别使用它们的模型失败，以及如何解决它。为了使这种多语言仇恨言论模型更有针对性的诊断见解，我们引入了一套功能，用于评估的目的。我们一直受到启发，根据社交媒体上的真实对话设计这种功能。考虑印地语作为基础语言，我们为每个功能制作测试用例。我们将评估数据集命名为HateCheckHIn。为了说明这些功能的实用性，我们测试了最先进的基于Transformer的m-BERT模型和Perspective API。
2022-04-30 cs.CL
Domain Classification-based Source-specific Term Penalization for Domain Adaptation in Hate-speech Detection
Universite de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；University of Sheffield（谢菲尔德大学）
仇恨语音检测的最新方法通常在域外设置中表现出较差的性能。这通常是由于分类器过分强调特定于源的信息，从而对其域不变性产生负面影响。先前的工作已经尝试使用特征归因方法从手动策划的列表中惩罚与仇恨言论相关的术语，该方法在进行预测时量化分类器分配给输入术语的重要性。相反，我们提出了一种领域自适应的方法，自动提取和惩罚源特定的条款使用域分类器，它学会区分域之间的仇恨言论类和特征归因分数，产生一致的改进跨域评估。
2022-09-18 cs.CL
Untangling Hate Speech Definitions: A Semantic Componential Analysis Across Cultures and Domains
DIT, University of Bologna（博洛尼亚大学DIT）；DISI, University of Bologna（博洛尼亚大学DISI）
针对仇恨言论定义受文化影响、解读不一的问题，提出语义成分分析框架，构建含493条跨文化跨领域定义的首个数据集，实验发现开源LLM的仇恨言论检测结果对定义复杂度敏感。
2025-05-20 cs.CL
Evaluating Simple Debiasing Techniques in RoBERTa-based Hate Speech Detection Models
本文针对基于RoBERTa的仇恨言论检测模型中对非裔美国人英语方言的误分类偏见，应用并评估了简单去偏技术，发现其效果高度依赖训练数据集构建方法，妥善考虑表征偏差可减少方言子群间的检测差异。
2025-01-26 cs.CL
One to rule them all: Towards Joint Indic Language Hate Speech Detection
NeuralSpace（NeuralSpace 公司）
本文是对2021年印欧语言仇恨言论和攻击性内容识别（HASOC）共享任务的贡献。今天的社交媒体是各种语言的有毒和仇恨对话的温床。最近的新闻报道表明，目前的模型很难自动识别以少数民族语言发布的仇恨。因此，有效遏制仇恨言论是一个严峻的挑战和令人感兴趣的问题。我们提出了一个多语言架构，使用最先进的Transformer语言模型，共同学习仇恨和攻击性的语音检测跨三种语言，即英语，印地语和马拉地语。在所提供的测试语料中，子任务1A的宏F1得分分别为0.7996、0.7748、0.8651，子任务1B的细粒度分类的宏F1得分分别为0.6268、0.5603。这些结果表明，利用多语种的培训计划的有效性。
2021-09-28 cs.CL
Improving Automatic Hate Speech Detection with Multiword Expression Features
University of Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
自动检测社交媒体中的仇恨言论的任务越来越受到关注。鉴于每天发布的内容数量巨大，对仇恨言论进行人为监测是不可行的。在这项工作中，我们提出了新的词级功能的自动仇恨语音检测（HSD）：多词表达（MWE）。MWE是比单词更大的词汇单位，具有习语意义和组合意义。我们建议将MWE特征集成到基于深度神经网络的HSD框架中。我们的基线HSD系统依赖于通用句子编码器（USE）。为了整合MWE功能，我们创建了一个三分支深度神经网络：一个分支用于USE，一个用于MWE类别，一个用于MWE嵌入。我们进行实验的两个仇恨言论鸣叫语料库与不同的MWE类别和两种类型的MWE嵌入，word2vec和BERT。我们的实验表明，所提出的HSD系统与MWE功能显着优于基线系统的宏F1。
2021-06-01 cs.CL
HatePRISM: Policies, Platforms, and Research Integration. Advancing NLP for Hate Speech Proactive Mitigation
IIT Kharagpur（印度理工学院Kharagpur分校）；University of Hamburg（汉堡大学）；Technical University of Munich（慕尼黑技术大学）；Bucerius Law School（布勒斯海姆法学院）；Skolkovo Institute of Science and Technology（斯克尔科维科学与技术研究所）；Artificial Intelligence Research Institute（人工智能研究 institute）
HatePRISM从国家法规、平台政策和NLP数据集三方面系统审视仇恨言论治理，揭示定义与实践的不一致，并提出融合多种策略的统一自动化审核框架研究方向。
2025-07-06 cs.CL
