ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
有毒语言检测系统通常会错误地将包含少数群体的文本标记为有毒，因为这些群体通常是在线仇恨的目标。这种对虚假相关性的过度依赖也导致系统难以检测隐含的有毒语言。为了帮助缓解这些问题，我们创建了ToxiGen，这是一个新的大规模机器生成的数据集，包含关于13个少数群体的274k有毒和良性声明。我们开发了一个基于演示的提示框架和一个对抗性的分类器在循环解码方法，用一个大规模的预训练语言模型生成微妙的有毒和良性的文本。以这种方式控制机器生成允许ToxiGen以更大的规模覆盖隐含的有毒文本，并且比以前的人类书面文本资源覆盖更多的人口统计群体。我们对ToxiGen的一个具有挑战性的子集进行了人类评估，发现注释者很难区分机器生成的文本和人类书写的语言。我们还发现，94.5%的有毒示例被人类注释者标记为仇恨言论。使用三个公开的数据集，我们表明，对我们的数据进行微调的毒性分类器大大提高了其对人类书面数据的性能。我们还证明了ToxiGen可用于对抗机器产生的毒性，因为微调在我们的评估子集上显着改进了分类器。我们的代码和数据可以在https://github.com/microsoft/ToxiGen上找到。
2022-07-14 cs.CL
Hate Speech Detection and Racial Bias Mitigation in Social Media based on BERT model
Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
最近，与仇恨和虐待内容识别任务中的数据集和经过训练的分类器相关的不同偏见引起了许多关注。虽然滥用语言检测的偏见数据集的问题已经得到了更频繁的解决，训练分类器产生的偏见还没有成为一个值得关注的问题。在这里，我们首先介绍了一种基于现有的预训练语言模型BERT的仇恨言论检测的迁移学习方法，并在两个公开的数据集上评估了所提出的模型，这些数据集注释了Twitter上的种族主义，性别歧视，仇恨或攻击性内容。接下来，我们在仇恨语音检测任务中引入了一种偏见缓解机制，以减轻在预训练的基于BERT的模型的微调过程中训练集中偏见的影响。为此，我们使用现有的正则化方法来重新加权输入样本，从而减少具有类别标签的高相关训练集的n元语法的影响，然后使用新的重新加权样本微调我们预先训练的基于BERT的模型。为了评估我们的偏见缓解机制，我们采用了一种跨域方法，在该方法中，我们使用上述数据集上的训练分类器来预测来自Twitter的两个新数据集的标签，AAE对齐和白人对齐组，这两个组分别表示用非洲裔美国英语（AAE）和标准美国英语（SAE）撰写的推文。结果表明，在训练的分类器中存在系统性的种族偏见，因为他们倾向于将AAE对齐组的AAE写的推文分配给负面类，如种族主义，性别歧视，仇恨和攻击性，而不是白人对齐的SAE写的推文。然而，种族偏见在我们的分类器显着减少后，我们的偏见缓解机制。这项工作可以为消除仇恨言论和辱骂性语言…
2020-08-28 cs.CL cs.IR cs.LG
Analysis of Online Toxicity Detection Using Machine Learning Approaches
Delhi Technological University（德里理工大学）
社交媒体和互联网已经成为人们传播和消费信息的一个组成部分。在一段时间内，社交媒体发生了巨大的变化，几乎一半的人口使用社交媒体表达他们的观点和意见。网络仇恨言论是当今社交媒体的弊端之一，需要加以控制。在本文中，我们将了解仇恨言论是如何起源的，以及它的后果是什么;机器学习算法解决在线仇恨言论问题的趋势。这项研究有助于提供一个系统的方法，以帮助研究人员确定一个新的研究方向，并阐明研究和模型的缺点，以及提供未来的方向，以推进该领域。
2021-04-23 cs.CL cs.CY cs.LG
Analysing Cyberbullying using Natural Language Processing by Understanding Jargon in Social Media
Delhi Technological University（德里理工大学）
网络欺凌在今天极为普遍。儿童和其他弱势群体中的网络仇恨评论、毒性、网络欺凌只会随着在线课程的增加而增加，社交平台的使用也会增加，特别是在COVID-19之后。在社交平台上检测和确保未成年人的安全至关重要，以便自动检测任何暴力或仇恨犯罪并采取严厉措施。在我们的工作中，我们通过使用来自各种社交媒体平台的数据集的组合来探索二元分类，这些数据集涵盖了性别歧视，种族主义，辱骂和仇恨言论等广泛的网络欺凌。我们通过多种模型进行实验，如Bi-LSTM，GloVe，最先进的模型，如BERT，并通过引入俚语滥用语料库应用独特的预处理技术，与没有俚语预处理的模型相比，实现了更高的精度。
2021-04-23 cs.CL cs.LG
Demoting Racial Bias in Hate Speech Detection
Carnegie Mellon University（卡内基梅隆大学）
在当前的仇恨言论数据集，有注释者的毒性和信号的非洲裔美国人英语（AAE）的感知之间存在着高度的相关性。注释训练数据中的这种偏见以及机器学习模型放大它的趋势导致AAE文本经常被当前仇恨言论分类器错误标记为滥用/攻击/仇恨言论，具有很高的误报率。在本文中，我们使用对抗性训练来减轻这种偏见，引入了一个仇恨语音分类器，该分类器学习检测有毒句子，同时降级对应于AAE文本的混淆。仇恨言论数据集和AAE数据集上的实验结果表明，我们的方法能够大大降低AAE文本的误报率，同时对仇恨言论分类的性能影响最小。
2020-05-25 cs.CL
Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models
Universitat Politècnica de València（瓦伦西亚理工大学）；Escola Politécnica da Universidade de São Paulo（圣保罗大学）
社交媒体的普及带来了仇恨言论和性别歧视等问题。识别和分类社交媒体中的性别歧视是非常相关的任务，因为它们将有助于建立一个更健康的社会环境。然而，这些任务相当具有挑战性。这项工作提出了一个系统，使用多语言和单语言的BERT和数据点翻译和合奏策略的性别歧视识别和分类在英语和西班牙语。它是在伊比利亚语言评估论坛（IberLEF）提出的2021年社交网络共享（EXIST 2021）任务中进行的。本文介绍了所提出的系统及其主要组成部分，并进行了深入的超参数分析。观察到的主要结果是：（i）该系统获得了比基线模型（多语言BERT）更好的结果;（ii）集成模型获得了比单语言模型更好的结果;（iii）考虑到所有单个模型和最佳标准化值的集成模型获得了两项任务的最佳准确度和F1分数。这项工作在EXIST的两项任务中均获得第一名，准确率最高（任务1为0.780，任务2为0.658），F1得分最高（任务1的F1二进制为0.780，任务2的F1宏为0.579）。
2021-11-08 cs.AI cs.CL cs.CY
HateBR: A Large Expert Annotated Corpus of Brazilian Instagram Comments for Offensive Language and Hate Speech Detection
Computer Science Department, Federal University of Minas Gerais（米纳斯吉拉斯联邦大学计算机科学系）
由于巴西社交媒体攻击性和仇恨性评论的严重性，以及葡萄牙语研究的缺乏，本文提供了巴西Instagram评论的第一个大规模专家注释语料库，用于仇恨言论和攻击性语言检测。HateBR语料库是从巴西政治家在Instagram上的评论部分收集的，并由专家手动注释，达到了很高的注释者间一致性。该语料库由7，000份文件组成，根据三个不同的层次进行注释：二元分类（冒犯性与非冒犯性评论），冒犯性级别分类（高度，中度和轻微冒犯性），以及九个仇恨言论组（仇外心理，种族主义，同性恋恐惧症，性别歧视，宗教不容忍，党派主义，为独裁统治道歉，反犹太主义和肥胖恐惧症）。我们还实施了攻击性语言和仇恨言论检测的基线实验，并将其与文献基线进行比较。结果表明，我们的语料库上的基线实验优于目前最先进的葡萄牙语。
2022-12-27 cs.CL
ToxVis: Enabling Interpretability of Implicit vs. Explicit Toxicity Detection Models with Interactive Visualization
Virginia Tech（弗吉尼亚理工大学）
网络平台上仇恨言论的兴起导致了对有效内容审核的迫切需求。然而，仇恨在线内容的主观性和多方面性，包括隐含的仇恨言论，对人类版主和内容审核系统构成了重大挑战。为了解决这个问题，我们开发了ToxVis，这是一种视觉交互和可解释的工具，用于将仇恨言论分为三类：隐含的，明确的和非仇恨的。我们使用RoBERTa、XLNET和GPT-3微调了两个基于变压器的模型，并使用深度学习解释技术为分类结果提供解释。ToxVis使用户能够输入潜在的仇恨文本，并接收分类结果以及对哪些单词对决策贡献最大的视觉解释。通过使分类过程变得可解释，ToxVis提供了一个有价值的工具，用于理解仇恨内容的细微差别，并支持更有效的内容审核。我们的研究为越来越多的旨在减轻在线仇恨言论造成的危害的工作做出了贡献，并展示了将最先进的自然语言处理模型与可解释的深度学习技术相结合来解决这一关键问题的潜力。最后，ToxVis可以作为内容管理员，社交媒体平台和研究人员的资源，致力于打击在线仇恨言论的传播。
2023-03-01 cs.CL cs.HC
Reducing Unintended Identity Bias in Russian Hate Speech Detection
VK Lab（VK实验室）
毒性已成为许多在线社区的严重问题，并在包括俄语在内的许多语言中不断增长。仇恨言论创造了一种恐吓、歧视的环境，甚至可能煽动一些现实世界的暴力。一段时间以来，研究人员和社交平台都一直专注于开发模型来检测在线交流中的毒性。这些模型的一个共同问题是对一些词（例如女人，黑人，犹太人）的偏见，这些词不是有毒的，但由于模型的警告，它们会成为分类器的触发器。在本文中，我们描述了我们对俄罗斯的仇恨言论进行分类的努力，并提出了减少意外偏见的简单技术，例如使用与受保护身份相关的术语和单词作为上下文，并将单词丢弃应用于这些单词的语言模型生成训练数据。
2020-10-22 cs.AI cs.CL
Subjective $\textit{Isms}$? On the Danger of Conflating Hate and Offence in Abusive Language Detection
MilaNLP；Bocconi University（博科尼大学）；Heriot-Watt University（赫瑞瓦特大学）
本文批评在仇恨言论检测中将标注差异视为主观性的做法，指出混淆仇恨与冒犯会赋予歧视性立场同等有效性，主张研究应基于理论并区分二者。
2024-03-04 cs.AI cs.CL cs.CY
Countering Online Hate Speech: An NLP Perspective
The Chinese University of Hong Kong（香港中文大学）
网络仇恨言论已经引起了所有人的注意，从与COVID-19大流行、美国大选和全球抗议活动有关的新闻。网络毒性--网络仇恨行为的总称，表现为网络仇恨言论等形式。仇恨言论是以目标实体的身份或观点为动机，针对个人或群体的蓄意攻击。通过社交媒体进行的大众传播日益增多，进一步加剧了网上仇恨言论的有害后果。虽然使用自然语言处理（NLP）对仇恨言论识别进行了大量研究，但利用NLP预防和干预在线仇恨言论的工作相对缺乏。本文提出了一个整体的概念框架仇恨言论的NLP对抗方法，以及对NLP对抗网络仇恨言论的当前进展进行了全面调查。它根据其作用时间对对抗技术进行了分类，并确定了未来关于这一主题的潜在研究领域。
2021-09-07 cs.CL cs.LG
ProvocationProbe: Instigating Hate Speech Dataset from Twitter
GESIS - Leibniz Institute for Social Sciences（莱布尼茨社会科学研究所GESIS）；University of Tartu（塔尔图大学）
本文构建 ProvocationProbe 数据集，基于 Twitter 约两万条涉九起全球争议的推文，标注并刻画煽动性仇恨言论区别于一般仇恨言论的特征。
2024-10-25 cs.CL
IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language
针对印尼仇恨言论检测标注数据匮乏、边缘群体相关内容识别不足的问题，本研究推出富含人口信息的IndoToxic2024数据集，建立分类任务基线并验证了人口信息对模型性能的双向影响。
2025-06-12 cs.AI cs.CL
Tox-BART: Leveraging Toxicity Attributes for Explanation Generation of Implicit Hate Speech
IIIT Delhi（德里印度信息技术学院）；IIT Delhi（印度理工学院德里分校）
本文提出 Tox-BART，通过引入外部毒性信号替代知识图谱元组来生成隐式仇恨言论解释，在 SBIC 和 LatentHatred 数据集上取得与 KG 方法相当的性能，并在人工评估中优于零样本 GPT-3.5。
2024-06-06 cs.CL
Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content
Knowledgator；Wordcab
本文提出基于GLiClass架构的Opir系列编码器护栏模型，通过多任务学习实现二进制安全/不安全分类、多标签毒性分类、越狱分类和零样本不安全提示与响应分类，在12项安全分类任务和17项类别任务上与现有护栏系统竞争，同时部署开销更小。
2026-05-28 cs.AI cs.CL cs.LG
Fine-Grained Chinese Hate Speech Understanding: Span-Level Resources, Coded Term Lexicon, and Enhanced Detection Frameworks
School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）
针对中文仇恨言论检测可解释性研究面临的片段级标注数据稀缺和暗语识别不足两大挑战，本文提出了首个片段级中文仇恨言论数据集STATE ToxiCN，全面研究了LLMs对中文暗语仇恨词汇的语义解释能力，并提出一种整合标注词典的方法显著提升了检测性能。
2025-07-15 cs.CL
Digital Guardians: Can GPT-4, Perspective API, and Moderation API reliably detect hate speech in reader comments of German online newspapers?
Hochschule München University of Applied Sciences（慕尼黑应用技术大学）
本文在德语仇恨言论数据集 HOCON34k 上比较 GPT-4o、Perspective API 和 Moderation API 的检测性能，发现 GPT-4o 在 MCC 与 F2-score 组合指标上优于其他方案并超过基线约 5 个百分点。
2025-01-02 cs.CL cs.LG
A Review of Challenges in Machine Learning based Automated Hate Speech Detection
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Pune（浦那L3Cube）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在社交媒体空间传播仇恨言论是目前的一个严重问题。对这些平台上产生的大量信息的不加要求的访问导致人们发布和回应引发暴力的有毒内容。虽然已经努力检测和限制在线的此类内容，但准确识别它仍然具有挑战性。基于深度学习的解决方案一直处于识别仇恨内容的最前沿。然而，诸如仇恨言论的上下文依赖性、用户的意图、不期望的偏见等因素使得这一过程过于苛刻。在这项工作中，我们深入探讨了广泛的挑战，在自动仇恨言论检测提出了一个层次组织这些问题。我们专注于基于机器学习或深度学习的仇恨言论识别解决方案所面临的挑战。在顶层，我们区分数据级、模型级和人员级挑战。我们进一步提供了一个详尽的分析，每个层次结构的例子。这项调查将帮助研究人员在仇恨言论检测领域更有效地设计解决方案。
2022-09-12 cs.CL cs.LG
Detecting Hate Speech and Offensive Language on Twitter using Machine Learning: An N-gram and TFIDF based Approach
Maharashtra Institute of Technology, Pune（浦那马哈拉施特拉理工学院）
有毒在线内容已成为当今世界的一个主要问题，因为不同文化和教育背景的人使用互联网的数量呈指数级增长。区分仇恨言论和攻击性语言是自动检测有毒文本内容的关键挑战。在本文中，我们提出了一种方法来自动分类Twitter上的推文分为三类：仇恨，进攻和清洁。使用Twitter数据集，我们进行实验，考虑n-gram作为特征，并将其词频逆文档频率（TFIDF）值传递给多个机器学习模型。我们进行比较分析的模型，考虑几个值的n在n-gram和TFIDF归一化方法。在调整模型得到最佳结果后，我们在测试数据上对其进行评估，达到了95.6%的准确率。我们还创建了一个模块，作为用户和Twitter之间的中介。
2018-09-23 cs.CL
A Unified Multi-Task Learning Architecture for Hate Detection Leveraging User-Based Information
Indian Institute of Technology Patna（印度理工学院巴特那分校）
本文提出一种统一的多任务学习架构，通过结合用户内部与用户间信息及文本特征进行英语仇恨言论检测，在三个基准数据集上的实验表明该方法显著提升了macro-F1和weighted-F1指标。
2024-11-12 cs.CL
Measuring Online Hate on 4chan using Pre-trained Deep Learning Models
Royal Holloway University of London（伦敦大学皇家霍洛威学院）；Surrey University（萨里大学）
本研究使用RoBERTa和Detoxify等预训练transformer模型，对4chan的/pol/板块进行多类仇恨言论和有毒内容分类及主题建模分析，发现11.20%数据含仇恨内容，揭示了非审核平台网络仇恨的复杂特征。
2025-03-30 cs.CL cs.CY
Exploring the topics, sentiments and hate speech in the Spanish information environment
University of Murcia（穆尔西亚大学）
本研究分析西班牙五家媒体2021年1月33万余条评论与推文，用BERTopic提取81个话题，发现社会与政治话题主导，内容以负面为主，仇恨言论虽低但毒性高。
2024-09-19 cs.CL
Textual Toxicity in Social Media: Understanding the Bangla Toxic Language Expressed in Facebook Comment
Jahangirnagar University（贾汉吉尔纳加尔大学）；Bangladesh Computer Council（孟加拉国计算机委员会）
本文分析源自 220 万余条 Facebook 评论的孟加拉语有毒语言词表 ToxLex_bn，提取 1968 个短语以支持毒性检测。
2023-12-09 cs.CL
LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification
本文提出涵盖六种语言和五个仇恨言论领域的多语言数据集LAHM，通过高低层级标注评估多种分类设置，并探讨利用该方法和标注改进仇恨言论检测与分类。
2023-04-03 cs.AI cs.CL
A BERT-Based Transfer Learning Approach for Hate Speech Detection in Online Social Media
CNRS（法国国家科学研究中心）；Institut Polytechnique de Paris（巴黎综合理工学院）
一部分用户在社交媒体上生成仇恨和有毒内容是一种日益增长的现象，促使研究人员投入大量精力，致力于具有挑战性的仇恨内容识别方向。我们不仅需要一个基于先进机器学习和自然语言处理的高效自动仇恨语音检测模型，还需要足够大量的注释数据来训练模型。缺乏足够数量的带有标签的仇恨言论数据，加上现有的偏见，一直是这一研究领域的主要问题。为了满足这些需求，在这项研究中，我们引入了一种新的迁移学习方法，该方法基于现有的预训练语言模型，称为BERT（来自Transformers的双向编码器表示）。更具体地说，我们调查的能力，BERT在捕捉仇恨的社会媒体内容的背景下，使用新的微调方法的基础上迁移学习。为了评估我们提出的方法，我们使用了两个公开可用的数据集，这些数据集已经在Twitter上注释了种族主义，性别歧视，仇恨或攻击性内容。结果表明，与现有方法相比，我们的解决方案在这些数据集上的精度和召回率方面获得了相当大的性能。因此，我们的模型可以捕获数据注释和收集过程中的一些偏差，并可能导致我们获得更准确的模型。
2019-10-28 cs.CL cs.IR cs.LG
Evolving Hate Speech Online: An Adaptive Framework for Detection and Mitigation
University of Washington Bothell（华盛顿大学博塞尔分校）；Binghamton University（宾汉姆顿大学）；Boston University（波士顿大学）
针对现有仇恨言论检测方法依赖固定词表、自适应不足的问题，提出结合词嵌入更新词表的BERT与词表技术混合模型，在多数先进数据集上达95%准确率，助力构建更安全的线上环境。
2025-02-21 cs.CL cs.SI
Which one is more toxic? Findings from Jigsaw Rate Severity of Toxic Comments
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
网络仇恨言论的扩散需要创建可以检测毒性的算法。过去的大多数研究都把这种检测作为一项分类任务，但分配一个绝对的毒性标签往往很棘手。因此，过去的作品很少将同样的任务转化为回归。本文展示了不同的Transformers和传统的机器学习模型在最近发布的毒性严重性测量数据集Jigsaw的比较评估。我们进一步证明了使用可解释性分析的模型预测的问题。
2022-06-27 cs.CL
Testing Hypotheses from the Social Approval Theory of Online Hate: An Analysis of 110 Million Messages from Parler
Michigan State University（密歇根州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
该研究基于社会批准理论检验在线仇恨的传播机制，发现社会批准与仇恨言论的产生存在正相关，且对极端仇恨言论的影响更为显著。
2026-08-11 cs.CL cs.SI
Aligning Attention with Human Rationales for Self-Explaining Hate Speech Detection
针对深度学习仇恨言论检测模型的不透明性问题，提出监督理据注意力（SRA）框架，通过将模型注意力与人类理据对齐提升可解释性与公平性，在多语言基准上实现2.4倍可解释性提升及良好公平性表现。
2025-11-10 cs.CL cs.LG
No offence, Bert -- I insult only humans! Multiple addressees sentence-level attack on toxicity detection neural network
SAMOVAR（萨莫瓦实验室）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出一种针对黑盒毒性检测模型的句子级攻击方法，通过在仇恨信息末尾添加正向词句来改变神经网络预测，该方法在七种语言上有效，并提出了相应的防御机制及局限性。
2023-10-19 cs.AI cs.CL cs.LG
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）
由于社交媒体的指数增长，仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中，我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
Automated Sentiment and Hate Speech Analysis of Facebook Data by Employing Multilingual Transformer Models
University College Groningen, University of Groningen（格罗宁根大学学院，格罗宁根大学）；Foundation The London Story（伦敦故事基金会）
近年来，学术界和公共话语中有一个高度的共识，即社交媒体平台（SMP）放大了仇恨和负面情绪内容的传播。研究人员已经确定了仇恨内容，政治宣传和有针对性的信息如何导致现实世界的危害，包括反对民选政府的叛乱，种族灭绝以及由于对世界部分地区某些社区的负面言论加剧而导致的社会凝聚力崩溃。为了解决这些问题，SMP创建了半自动系统，可以帮助识别有毒言论。在本文中，我们分析了一个代表性的Facebook数据集（n= 604，703）中仇恨和负面情绪内容的统计分布，这些数据集通过648个公共Facebook页面被废弃，这些页面将自己确定为极右翼Hindutva演员的支持者（和追随者）。这些页面是通过在Facebook和CrowdTangle上使用关键字搜索手动识别的，并根据页面名称，页面描述和在这些页面上共享的话语被归类为极右翼Hindutva页面。我们采用最先进的开源XLM-T基于转换器的多语言模型，对这些页面上共享的文本内容进行情感和仇恨语音分析，为期5.5年。结果显示了预测情绪和仇恨言论标签的统计分布;顶级演员和顶级页面类别。我们进一步讨论了这些预训练的语言模型的基准性能和局限性。
2023-01-31 cs.CL cs.LG
LLM in the Loop: Creating the ParaDeHate Dataset for Hate Speech Detoxification
ScaDS.AI and TU Dresden（ScaDS.AI和德累斯顿技术大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出基于 GPT-4o-mini 的 LLM 在环流程，构建并发布含 8K 余文本对的 ParaDeHate 仇恨言论去毒基准，实验验证其可有效替代人工标注并提升模型性能。
2025-06-06 cs.CL
Probabilistic Impact Score Generation using Ktrain-BERT to Identify Hate Words from Twitter Discussions
Indian Institute of Information Technology, Kalyani（印度信息技术学院卡利亚尼分校）
社交媒体最近出现了令人担忧的仇恨言论。网络欺凌、性别歧视或种族主义等几个不同类别的分支，这些贬损内容的组合标签通常可以被归类为有毒内容。本文介绍了使用Keras包装的轻量级BERT模型进行的实验，以成功识别仇恨言论并预测其概率影响分数，以提取句子中的仇恨词。用于此任务的数据集是来自FIRE 2021的Hate Speech and Offensive Content Detection（HASOC 2021）数据。我们的系统获得了82.60%的验证准确率，最大F1分数为82.68%。随后，我们的预测案例在生成影响分数方面表现得非常好，成功识别了仇恨推文以及推文池中的仇恨词。
2022-01-09 cs.CL
Offensive Language and Hate Speech Detection with Deep Learning and Transfer Learning
有毒的网络言论已经成为当今的一个关键问题，因为来自不同文化和教育背景的人们使用互联网的数量呈指数级增长。区分文本消息是否属于仇恨言论和攻击性语言是自动检测有毒文本内容的关键挑战。在本文中，我们提出了一种将推文自动分类为三个类别的方法：仇恨、攻击性和两者都不是。使用公共tweet数据集，我们首先进行实验，从空嵌入构建BI-LSTM模型，然后我们还尝试使用预训练的Glove嵌入的相同神经网络架构。接下来，我们介绍了一种用于仇恨语音检测的迁移学习方法，该方法使用现有的预训练语言模型BERT（来自Transformers的双向编码器表示），DistilBert（BERT的蒸馏版本）和GPT-2（生成预训练）。我们对我们的最佳模型（BI-LSTM）进行了超参数调整分析，考虑了不同的神经网络架构，学习评级和归一化方法等。在调整模型和最佳参数组合后，我们在测试数据上评估它时达到了92%以上的准确率。我们还创建了一个类模块，其中包含的主要功能，包括文本分类，情感检查和文本数据增强。该模型可以作为用户和Twitter之间的中间模块。
2021-08-23 cs.AI cs.CL
Simulating Hate Speech Cascades with Multi-LLM Agents: Empirical Grounding, Modeling Fidelity, and Intervention Strategies
Indiana University Bloomington（印第安纳大学布卢明顿分校）
本研究通过多LLM智能体系统模拟在线仇恨言论传播，发现其能再现实证数据中的立场单一性和毒性同质性，并通过消融实验识别出智能体异质性为关键保真因素，提出针对密集网络的放大器干预策略。
2026-06-18 cs.AI cs.CL cs.SI
Data Expansion using Back Translation and Paraphrasing for Hate Speech Detection
Center for Machine Vision and Signal Analysis（机器视觉与信号分析中心）；University of Oulu（奥卢大学）
随着社交媒体平台中用户生成内容的激增，建立自动识别有毒和滥用内容的机制成为监管机构、研究人员和社会的主要关注点。在言论自由和尊重彼此尊严之间保持平衡是社交媒体平台监管机构的主要关注点。虽然使用深度学习方法自动检测攻击性内容似乎提供了令人鼓舞的结果，但基于训练深度学习的模型需要大量高质量的标记数据，而这些数据往往是缺失的。在这方面，我们在本文中提出了一种新的基于深度学习的方法，该方法融合了反向翻译方法和用于数据增强的释义技术。我们的管道研究了不同的基于单词嵌入的架构，用于仇恨言论的分类。反向翻译技术依赖于在大型语料库上预先训练的编码器-解码器架构，并且主要用于机器翻译。此外，释义利用Transformer模型和混合专家模型来生成不同的释义。最后，将LSTM和CNN进行比较，以寻求增强的分类结果。我们评估了我们的建议五个公开可用的数据集，即，AskFm语料库，Formspring数据集，华纳和Waseem数据集，Olid和维基百科有毒评论数据集。该方案的性能与一些相关的国家的最先进的结果比较证明了我们的建议的有效性和合理性。
2021-05-25 cs.CL
One to rule them all: Towards Joint Indic Language Hate Speech Detection
NeuralSpace（NeuralSpace 公司）
本文是对2021年印欧语言仇恨言论和攻击性内容识别（HASOC）共享任务的贡献。今天的社交媒体是各种语言的有毒和仇恨对话的温床。最近的新闻报道表明，目前的模型很难自动识别以少数民族语言发布的仇恨。因此，有效遏制仇恨言论是一个严峻的挑战和令人感兴趣的问题。我们提出了一个多语言架构，使用最先进的Transformer语言模型，共同学习仇恨和攻击性的语音检测跨三种语言，即英语，印地语和马拉地语。在所提供的测试语料中，子任务1A的宏F1得分分别为0.7996、0.7748、0.8651，子任务1B的细粒度分类的宏F1得分分别为0.6268、0.5603。这些结果表明，利用多语种的培训计划的有效性。
2021-09-28 cs.CL
4chan & 8chan embeddings
Textgain（泰特盖恩）
我们从4chan和8 chan上公开的/pol/留言板中收集了超过3000万条信息，并将它们编译成有毒语言使用的模型。经过训练的词嵌入（0.4GB）是免费发布的，可能有助于进一步研究有毒话语或提高仇恨言论检测系统：https://textgain.com/8chan。
2020-04-02 cs.CL
Improved two-stage hate speech classification for twitter based on Deep Neural Networks
Computer Science Research \& Development, \ , Greece
仇恨言论是一种涉及使用辱骂性语言的在线骚扰形式，常见于社交媒体帖子中。这种骚扰主要集中在特定群体的特征，如宗教，性别，种族等，它具有社会和经济后果。文本帖子中的辱骂性语言的自动检测一直是一项艰巨的任务，但它最近受到了科学界的极大兴趣。本文讨论了识别社交媒体中仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络架构的现有方法的扩展，我们对其进行了适当的增强和微调，以检测短文本中某些形式的仇恨语言，例如种族主义或性别歧视。最显著的增强是转换为由递归神经网络（RNN）分类器组成的两阶段方案。第一阶段的OvR分类器的输出被组合并用于训练第二阶段分类器，其最终确定骚扰类型。我们的研究包括在16k tweets的公共语料库上评估的第二阶段的几种拟议的替代方法的性能比较，然后在另一个数据集上进行泛化研究。报告的结果表明，优越的分类质量的仇恨语音检测的任务相比，目前的最先进的所提出的计划。
2022-06-08 cs.AI cs.CL cs.IR
TweetBLM: A Hate Speech Dataset and Analysis of Black Lives Matter-related Microblogs on Twitter
Birla Institute of Technology（比拉理工学院）
在过去几年中，各种社交媒体平台上的有毒和仇恨内容大幅增加。最近，Black Lives Matter运动进入了画面，在互联网上引起了大量用户的回应。在本文中，我们提出了一个与Black Lives Matter相关的tweet仇恨言论数据集TweetBLM。我们的数据集包括9165条针对Black Lives Matter运动的手动注释推文。我们将推文注释为两类，即，基于与种族主义有关的内容，仇恨和非仇恨从黑人社区运动中爆发出来。在这项工作中，我们还对我们的数据集产生了有用的统计见解，并对各种机器学习模型进行了系统的分析，如随机森林，CNN，LSTM，BiLSTM，Fasttext，BERTbase和BERTlarge，用于我们数据集的分类任务。通过我们的工作，我们的目标是为研究界在识别和缓解互联网上的仇恨言论方面做出实质性努力。数据集是公开的。
2021-08-27 cs.CL
Probing LLMs for hate speech detection: strengths and vulnerabilities
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
本文在零样本设置下探究 GPT-3.5、text-davinci 和 Flan-T5 在仇恨言论检测中的表现，发现加入目标信息和解释可分别提升约 20-30% 和 10-20% 的性能，并系统分析了模型在分类与解释上的脆弱点及其越狱风险。
2023-10-28 cs.CL cs.CY
Beyond Toxic: Toxicity Detection Datasets are Not Enough for Brand Safety
Clarifai（克拉里费公司）
本研究将仇恨言论和毒性评论分类任务扩展至品牌安全领域，通过二元分类方法证明现有毒性检测数据集不足以保障品牌安全，并实证分析了加权采样策略在文本分类中的效果。
2023-03-27 cs.AI cs.CL
Just KIDDIN: Knowledge Infusion and Distillation for Detection of INdecent Memes
IIIT Hyderabad；Georgia State University（佐治亚州立大学）
本文提出了一种结合知识蒸馏与注入的框架，用于提升有害表情包检测的性能，通过整合大规模知识图谱和视觉语言模型，实现更准确的毒性识别。
2026-02-16 cs.AI cs.CL cs.CV
thaulab@EEUCA 2026: Who Said What to Whom? A Targeting-Aware Neural-Symbolic Pipeline for Gaming Toxicity Detection
ETSI de Telecomunicación, Universidad Politécnica de Madrid（马德里理工大学电信工程技术学院）
针对EEUCA 2026游戏聊天毒性分类任务，提出结合紧凑型变压器集成与语言信息中介的三阶段管道，通过特定策略解决类不平衡问题，在官方测试集上取得优异成绩，管道具领域可移植性。
2026-07-24 cs.CL cs.LG
Defining, Understanding, and Detecting Online Toxicity: Challenges and Machine Learning Approaches
University of Duisburg-Essen, Germany（杜伊斯堡-埃森大学）；Center for Advanced Internet Studies (CAIS), Germany（高级互联网研究所以（CAIS））；University of Bochum, Germany（博德姆大学）
本文综合140篇文献，系统梳理网络有害内容的定义、数据集与检测挑战，并评估跨平台数据对提升机器学习分类性能的作用，为后续研究和内容审核提供指南。
2025-09-14 cs.CL cs.LG cs.SI
Hatred Stems from Ignorance! Distillation of the Persuasion Modes in Countering Conversational Hate Speech
King Saud University（沙特国王大学）；College of Computer and Information Sciences（计算机与信息科学学院）
本研究提炼对话式反制仇恨言论的说服模式为理性、情感和可信度，评估其在封闭/开放交互及人机生成反制言论中的差异，发现理性模式获更多支持，为反制研究提供可解释性手段。
2025-04-14 cs.AI cs.CL
Model-Agnostic Meta-Learning for Multilingual Hate Speech Detection
University of Saskatchewan（萨斯喀彻温大学）；Singapore University of Technology and Design（新加坡科技设计大学）；IIT Delhi（印度德里理工学院）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；DTU-Delhi（德里理工大学）
社交媒体中的仇恨言论是一种日益增长的现象，检测这种有毒内容最近在研究界获得了重大关注。现有的研究已经探索了微调语言模型（LM）来执行仇恨语音检测，这些解决方案已经产生了显着的性能。然而，大多数这些研究仅限于检测英语中的仇恨言论，忽视了其他语言中产生的大量仇恨内容，特别是在低资源语言中。开发一个分类器，以有限的数据在低资源语言中捕捉仇恨言论和细微差别，是极具挑战性的。为了填补这一研究空白，我们提出了HateMAML，这是一个基于模型不可知的元学习框架，可以有效地在低资源语言中执行仇恨语音检测。HateMAML利用自我监督策略来克服数据稀缺的限制，并产生更好的LM初始化，以快速适应看不见的目标语言（即，跨语言迁移）或其他仇恨言论数据集（即，领域泛化）。在八种不同的低资源语言的五个数据集上进行了广泛的实验。结果表明，HateMAML在跨域多语言传输设置中的表现优于最先进的基线超过3%。我们还进行了消融研究，以分析HateMAML的特征。
2023-03-04 cs.CL cs.SI
A Unified Deep Learning Architecture for Abuse Detection
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Telefonica Research（西班牙电信研究院）；University of Alabama（阿拉巴马大学）
仇恨言论、攻击性语言、性别歧视、种族主义和其他类型的辱骂行为已成为许多在线社交媒体平台的常见现象。近年来，这种不同的虐待行为已经表现出越来越多的频率和强度。这是由于Twitter和Facebook等流行媒体平台的开放性和意愿，以托管敏感或有争议的话题。然而，这些平台没有充分解决在线滥用行为的问题，它们对有效检测和阻止这种不当行为的反应仍然有限。在本文中，我们研究这个复杂的问题，以下一个更全面的方法，认为虐待行为的各个方面。为了使这种方法切实可行，我们专注于Twitter数据，并从不同角度分析用户和文本属性的滥用张贴行为。我们提出了一个深度学习架构，它利用各种各样的可用元数据，并将其与自动提取的隐藏模式内的推文，以检测多个滥用行为规范是高度相关的。我们以无缝、透明的方式应用这种统一的架构来检测不同类型的虐待行为（仇恨言论、性别歧视与种族主义、欺凌、讽刺等）。而不需要对每个任务的模型体系结构进行任何调整。我们用多个数据集来测试所提出的方法，这些数据集解决了Twitter上的不同和多种滥用行为。我们的结果表明，它在很大程度上优于最先进的方法（AUC提高21至45%，取决于数据集）。
2018-02-21 cs.CL cs.SI
ViTHSD: Exploiting Hatred by Targets for Hate Speech Detection on Vietnamese Social Media Texts
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
本文提出越南语目标导向仇恨言论检测数据集ViTHSD（含1万条评论、5个目标、三级标注），并构建结合Bi-GRU-LSTM-CNN与预训练语言模型的基线系统，同时给出将其集成到在线流式系统的应用方案。
2025-02-08 cs.CL
Leveraging Multilingual Transformers for Hate Speech Detection
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
近年来，检测和分类社交媒体文本中的仇恨实例一直是自然语言处理中感兴趣的问题。我们的工作利用最先进的Transformer语言模型来识别多语言环境中的仇恨言论。捕捉社交媒体上的帖子或评论的意图需要仔细评估语言风格，语义内容和其他指针，如标签和表情符号。在本文中，我们来看看识别Twitter帖子是否具有仇恨性和攻击性的问题。我们进一步将检测到的有毒内容区分为以下三类之一：（a）仇恨言论（HATE），（b）攻击性（OFFN）和（c）亵渎性（PRFN）。通过预先训练的基于多语言transformer的文本编码器，我们能够成功地识别和分类来自多种语言的仇恨言论。在所提供的测试语料库，我们实现了90.29，81.87和75.40分别为英语，德语和印地语的宏F1分数，同时进行仇恨言论检测和60.70，53.28和49.74在细粒度分类。在我们的实验中，我们展示了Perspective API功能对仇恨言论分类的有效性以及利用多语言训练方案的效果。一个特征选择的研究，以说明特定功能的架构的分类头的影响。
2021-01-08 cs.AI cs.CL cs.CY
On the rise of fear speech in online social media
Rutgers University（罗格斯大学）
最近，社交媒体平台受到严格控制，以防止网上仇恨言论的传播，这些言论通常含有大量有毒词语，并针对个人或社区。由于这种严重的缓和，正在使用更新和更微妙的技术。其中，最令人敬畏的是《论语》。恐惧演讲，顾名思义，试图煽动对目标社区的恐惧。虽然很微妙，但它可能非常有效，经常将社区推向身体冲突。因此，了解它们在社交媒体中的流行程度至关重要。本文介绍了一项大规模的研究，以了解从Gab.com收集的40万恐惧言论和超过70万仇恨言论帖子的流行情况。值得注意的是，发布大量恐惧言论的用户比发布大量仇恨言论的用户积累了更多的关注者，并在社交网络中占据了更多的中心位置。他们还可以通过回复、转发和提及，比仇恨言论用户更有效地接触到良性用户。这与一个事实有关，即与仇恨言论不同，恐惧言论几乎没有有毒内容，使其看起来似乎是合理的。此外，虽然恐惧言论主题大多将社区描绘为使用（假）论证链的犯罪者，但仇恨言论主题直接投掷多目标侮辱，从而指出为什么一般用户更容易上当恐惧言论。我们的发现甚至超越了其他平台（Twitter和Facebook），因此有必要使用复杂的审核政策和大众意识来对抗恐惧言论。
2023-03-18 cs.CL cs.CY cs.SI
Can NLP Tackle Hate Speech in the Real World? Stakeholder-Informed Feedback and Survey on Counterspeech
The Interaction Lab, Heriot-Watt University（赫瑞斯·沃德大学交互实验室）；University of Edinburgh（爱丁堡大学）
本文通过系统综述74项NLP反言论研究和与五个NGO的参与式案例研究，揭示当前研究忽视利益相关者参与，并提出重新以利益相关者专业知识为中心的建议。
2025-08-06 cs.CL
Weigh Your Own Words: Improving Hate Speech Counter Narrative Generation via Attention Regularization
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Bocconi University（博科尼大学）
本文提出注意力正则化方法，抑制预训练语言模型生成仇恨言论反叙事时的过拟合，提升泛化能力，在基准数据集上多数情况下优于现有最优方法。
2023-09-05 cs.CL
