Spread Love Not Hate: Undermining the Importance of Hateful Pre-training for Hate Speech Detection
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
预训练大型神经语言模型,如BERT,已经在许多自然语言处理(NLP)任务上取得了令人印象深刻的进展。虽然这种方法已被证明是有效的许多领域,它可能并不总是提供理想的好处。在本文中,我们研究了仇恨预训练对低资源仇恨语音分类任务的影响。虽然以前对英语的研究强调了它的重要性,但我们的目标是用一些不明显的见解来增强他们的观察。我们评估了基于tweet的BERT模型的不同变体,这些模型在40 M tweet数据集的仇恨,非仇恨和混合子集上进行了预训练。这项评估是针对印度语印地语和马拉地语进行的。这篇论文是经验证据,表明仇恨预训练不是仇恨言论检测的最佳预训练选项。我们表明,对目标域中的非仇恨文本进行预训练可以提供类似或更好的结果。此外,我们还介绍了HindTweet BERT和MahaTweet BERT,这是第一个公开的BERT模型,分别在印地语和马拉地语推文上进行了预训练。我们表明,它们在仇恨言论分类任务上提供了最先进的性能。我们还发布了两种语言的仇恨BERT和一个黄金仇恨言论评估基准HateEval-Hi和HateEval-Mr,每个基准包含手动标记的2000条推文。模型和数据可在https://github.com/l3cube-pune/MarathiNLP上获得。
2022-12-11 cs.AI cs.CL
Hierarchical CVAE for Fine-Grained Hate Speech Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
现有的自动仇恨言论检测工作通常集中在二进制分类或区分一小组类别。在本文中,我们提出了一种新的方法对细粒度的仇恨语音分类任务,重点是区分40个仇恨群体的13个不同的仇恨群体类别。我们首先探索条件变分自编码器(CVAE)作为一个判别模型,然后将其扩展到一个层次结构,利用额外的仇恨类别信息进行更准确的预测。实验表明,将仇恨类别信息用于训练可以显着提高分类性能,我们提出的模型优于常用的判别模型。
2018-08-31 cs.AI cs.CL
RV-HATE: Reinforced Multi-Module Voting for Implicit Hate Speech Detection
Yonsei University(延世大学)
RV-HATE通过多模块投票机制和强化学习优化,针对不同数据集特性提升隐性仇恨言论检测准确率并提供可解释性分析。
2026-04-23 cs.AI cs.CL
Hate Speech Targets Detection in Parler using BERT
Ben-Gurion University(本-古里安大学)
本文提出一种基于 BERT 结合回译与数据预处理的流水线,用于检测 Parler 平台中的仇恨言论及其目标分布,包含仇恨言论检测和目标分类两个模型。
2023-04-03 cs.AI cs.CL
Why Is It Hate Speech? Masked Rationale Prediction for Explainable Hate Speech Detection
Ajou University(亚洲大学)
在仇恨语音检测模型中,除了检测性能之外,还应该考虑两个关键方面--偏差和可解释性。仇恨言论不能仅仅基于特定词语的存在来识别:模型应该能够像人类一样推理,并且是可解释的。为了提高这两个方面的性能,我们提出了一个中间任务,掩蔽原理预测(MRP)。MRP是一项任务,通过参考周围的标记及其未掩蔽的基本原理来预测掩蔽的人类基本原理-句子的片段,这些片段是人类判断的基础。由于该模型通过MRP学习其基于推理的推理能力,因此它在偏见和可解释性方面能够稳健地执行仇恨语音检测。所提出的方法一般达到国家的最先进的性能在各种指标,证明其有效性的仇恨语音检测。
2022-11-01 cs.AI cs.CL cs.SI
Hate Speech Detection via Dual Contrastive Learning
Dalian University of Technology(大连理工大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对仇恨言语义复杂及类别不平衡问题,提出融合自监督与监督对比学习及 focal loss 的 DCL 框架,在两个英文数据集上超越现有最优模型。
2023-07-10 cs.AI cs.CL
Hate Speech Classifiers Learn Human-Like Social Stereotypes
University of Southern California(南加州大学)
社会刻板印象会对个人对不同群体的判断产生负面影响,并可能在人们如何理解针对少数群体的语言方面发挥关键作用。在这里,我们评估的作用,社会刻板印象的仇恨语言的自动检测,通过检查个人注释者的偏见和错误的文本分类仇恨言论分类器之间的关系。具体来说,在研究1中,我们调查了新手注释者的刻板印象对他们的仇恨言论注释行为的影响。在研究二中,我们考察了语言嵌入的刻板印象的影响,专家注释者的综合判断在一个大型的注释语料库。最后,在研究3中,我们展示了语言嵌入的刻板印象如何与神经网络仇恨言论分类器中的系统预测错误相关联。我们的研究结果表明,仇恨言论分类器学习类似人类的偏见,当大规模传播时,这种偏见会进一步延续社会不平等。该框架结合了社会心理学和计算语言学方法,为仇恨言论节制中的其他偏见来源提供了见解,为正在进行的关于机器学习公平性的辩论提供了信息。
2021-10-28 cs.CL cs.CY
Statistical Analysis of Perspective Scores on Hate Speech Detection
University of Houston(休斯顿大学)
近年来,由于社交媒体中攻击性语言的指数增长,仇恨语音检测已经成为一个热门话题。事实证明,最先进的仇恨言论分类器只有在与训练数据具有相同特征分布的数据上进行测试时才有效。因此,模型架构扮演第二个角色,以改善目前的结果。在这样一个多样化的数据分布中,依赖于低级特征是由于数据中的自然偏差而导致缺陷的主要原因。这就是为什么我们需要使用高级功能来避免有偏见的判断。在本文中,我们统计分析的角度分数和他们的仇恨言论检测的影响。我们发现,不同的仇恨言论数据集在提取其观点得分时非常相似。最后,我们证明,过采样仇恨言论数据集的透视分数可以显着提高泛化性能,当它来测试其他仇恨言论数据集。
2021-06-22 cs.AI cs.CL
HateXScore: A Metric Suite for Evaluating Reasoning Quality in Hate Speech Explanations
Singapore University of Technology and Design(新加坡科技设计大学)
HateXScore通过四个维度评估仇恨言论解释的推理质量,揭示可解释性问题,提升审核透明度
2026-01-20 cs.AI cs.CL
Hate Cannot Drive out Hate: Forecasting Conversation Incivility following Replies to Hate Speech
University of Arizona(亚利桑那大学);University of North Texas(北得克萨斯大学)
本文提出预测仇恨言论回复后对话不文明程度的新任务,构建更贴合人类判断的指标,分析回复语言差异并评估模型预测挑战。
2023-12-08 cs.CL cs.CY
HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
仇恨言论是网络社交媒体中一个具有挑战性的问题。虽然更好的仇恨言论检测模型正在不断开发,但很少有关于仇恨言论的偏见和可解释性方面的研究。在本文中,我们介绍了HateXplain,这是第一个涵盖该问题多个方面的基准仇恨言论数据集。我们数据集中的每个帖子都从三个不同的角度进行了注释:基本的,常用的3类分类(即,仇恨,攻击性或正常),目标社区(即,在帖子中成为仇恨言论/攻击性言论受害者的社区),以及理由,即,他们的标签决定(仇恨,冒犯或正常)所依据的帖子部分。我们利用现有的最先进的模型,并观察到,即使是在分类中表现非常好的模型,在模型可解释性和忠实性等可解释性指标上的得分也不高。我们还观察到,利用人类理论进行训练的模型在减少对目标社区的无意偏见方面表现得更好。我们已经在https://github.com/punyajoy/HateXplain上公开了我们的代码和数据集
2022-04-12 cs.AI cs.CL cs.SI
Hate Speech Detection in Turkish and Arabic: A Comprehensive Study
Sabanci University(萨班哲大学);Bogazici University(博阿齐奇大学);Hrant Dink Foundation(赫兰特·丁克基金会)
本研究构建了涵盖土耳其语五个主题和阿拉伯语一个主题的仇恨言论数据集,并开发了基于BERT的模型,用于分类、强度预测、目标识别和跨度检测。
2026-07-07 cs.AI cs.CL
Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Tabuk(塔布克大学)
网络和社交媒体上产生的大量数据增加了对检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和影响。自然语言处理(NLP)领域的大量努力旨在检测一般的仇恨言论或检测特定的仇恨言论,如宗教,种族,性别或性取向。仇恨社区倾向于在他们的通信中使用缩写,故意拼写错误和编码词来逃避检测,这给仇恨言论检测任务增加了更多的挑战。因此,词语表征将在检测仇恨言论方面发挥越来越重要的作用。本文研究了在基于双向LSTM的深度模型中利用特定于领域的词嵌入来自动检测/分类仇恨言论的可行性。此外,我们研究了使用迁移学习语言模型(BERT)仇恨言论问题作为一个二元分类任务。实验表明,基于双向LSTM的深度模型的特定领域词嵌入在来自可用仇恨语音数据集的组合平衡数据集上实现了93%的f1分数,而BERT实现了高达96%的f1分数。
2021-11-02 cs.CL
On the Challenges of Building Datasets for Hate Speech Detection
Birla Institute of Technology and Science, Pilani(皮拉尼比尔拉理工学院)
本文通过以数据为中心的视角分析仇恨言论检测的数据集构建问题,并以针对性少数群体的仇恨言论为例,提出了涵盖七个维度的整体数据创建框架,作为未来构建数据集的最佳实践。
2023-09-06 cs.AI cs.CL
LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification
本文提出涵盖六种语言和五个仇恨言论领域的多语言数据集LAHM,通过高低层级标注评估多种分类设置,并探讨利用该方法和标注改进仇恨言论检测与分类。
2023-04-03 cs.AI cs.CL
HatePrototypes: Interpretable and Transferable Representations for Implicit and Explicit Hate Speech Detection
Laboratoire Hubert Curien, UMR CNRS 5516(于贝尔·居里实验室,法国国家科学研究中心5516联合研究单位);Université Lumière Lyon 2(里昂第二大学);Université Claude Bernard Lyon 1(克洛德·贝尔纳里昂第一大学);ERIC, Lyon(里昂ERIC实验室);École Centrale de Lyon(里昂中央理工学院);LIRIS CNRS UMR 5205(LIRIS实验室,法国国家科学研究中心5205联合研究单位)
本文提出HatePrototypes,通过语言模型优化的类级向量表示,实现显性和隐性仇恨言论的跨任务迁移,无需重复微调。
2026-04-05 cs.AI cs.CL
Automatic Translation of Hate Speech to Non-hate Speech in Social Media Texts
Instituto Politécnico Nacional(国立理工学院)
本文提出将西班牙语仇恨言论在保留原意的前提下自动改写为非仇恨言论的新任务,并提供数据集与多个基线,采用 BLEU 等指标评估,以助力遏制在线仇恨言论传播。
2023-06-02 cs.CL
Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification
Meta AI
在本文中,我们解决了阿拉伯语细粒度仇恨语音检测共享任务,并展示了其三个子任务的报告基线的显着改进。任务是预测推文是否包含(1)攻击性语言;以及它是否被认为是(2)仇恨言论,如果是,则从六个类别之一预测(3)细粒度仇恨言论标签。我们的最终解决方案是采用多任务学习和自我一致性校正方法的模型集成,在仇恨言论子任务上获得82.7%的收益-与以前的工作相比,相对提高了3.4%。
2022-05-16 cs.CL
Reproducibility Report: Contextualizing Hate Speech Classifiers with Post-hoc Explanation
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
该报告评估了在ML ReproductionChallenge 2020范围内使用事后解释文件对仇恨语音分类器进行上下文化。我们的工作集中在两个方面构成的文件:方法本身和所述结果的有效性。在下面的章节中,我们描述了论文,相关的工作,算法框架,我们的实验和评估。
2021-05-24 cs.AI cs.CL
Hate Speech Detection in Limited Data Contexts using Synthetic Data Generation
Georgia Institute of Technology(佐治亚理工学院)
针对低资源语言仇恨言论检测训练数据不足的问题,提出基于少量英语样本合成并转移仇恨目标的目标语言数据增强方法,在印地语和越南语上取得与真实数据相当或更优的分类效果。
2023-10-04 cs.CL cs.CY
Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection
University of California, Santa Barbara(加州大学圣巴巴拉分校)
仇恨语音检测是自然语言处理(NLP)中的一个关键而又具有挑战性的问题。尽管存在许多致力于开发NLP仇恨言论检测方法的研究,但准确性仍然很差。核心问题是,社交媒体帖子简短而嘈杂,大多数现有的仇恨言论检测解决方案将每个帖子作为孤立的输入实例,这可能会产生高误报率和误报率。在本文中,我们从根本上提高了自动仇恨言论检测,提出了一种新的模型,利用内部用户和用户间的表示学习强大的仇恨言论检测在Twitter上。除了目标推文,我们收集和分析用户的历史帖子,以模拟用户内推文表示。为了抑制单个推文中的噪声,我们还使用增强的用户间表示学习技术对所有其他用户发布的类似推文进行建模。实验表明,利用这两种表示可以将强双向LSTM基线模型的f分数显著提高10.1%。
2018-09-14 cs.AI cs.CL
A Modular Taxonomy for Hate Speech Definitions and Its Impact on Zero-Shot LLM Classification Performance
Department of Linguistics, Cognitive Science and Semiotics - Aarhus University(语言学、认知科学与象征学系 - 奥胡斯大学);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所);Heinrich-Heine University Düsseldorf(杜伊斯堡-艾森大学)
本文提出一个由14个概念元素组成的仇恨言论定义模块化分类法,并系统评估不同定义对三个LLM在三个仇恨言论数据集上的零样本分类性能的影响,发现定义选择影响性能但效应因架构而异。
2025-06-23 cs.CL cs.CY
Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge
Bielefeld University(比勒费尔德大学);University of Bonn(波恩大学)
互联网上的模因通常是无害的,有时很有趣。然而,通过使用某些类型的图像,文本或两者的组合,看似无害的模因变成了一种多模态的仇恨言论-仇恨模因。Hateful Memes Challenge是首个专注于检测多模态模因中的仇恨言论的竞赛,它提出了一个包含10,000多个多模态内容新示例的新数据集。我们利用VisualBERT --这意味着是视觉和语言的BERT--它是在图像和字幕上进行多模态训练的,并应用了包围学习。我们的方法在挑战测试集上达到了0.811 AUROC,准确率为0.765,并在仇恨模因挑战的3,173名参与者中排名第三。
2020-12-23 cs.AI cs.CL cs.CV
Addressing Hate Speech with Data Science: An Overview from Computer Science Perspective
从计算机科学的角度来看,解决在线仇恨言论是一项具有挑战性的任务,吸引了业界(主要是社交媒体平台所有者)和学术界的关注。在本章中,我们将概述最先进的数据科学方法--它们如何定义仇恨言论,它们解决了哪些任务来缓解这种现象,以及它们如何解决这些任务。我们的研究主要集中在仇恨言论的(半)自动检测上,这也是现有计算机科学研究的重点。最后,我们总结了当前数据科学研究中的挑战和开放性问题,以及该领域的未来发展方向。我们的目标是编写一份易于理解的报告,能够促进仇恨言论研究的多学科性质。来自其他领域的研究人员(例如,因此,计算机科学(包括心理学和社会学)可以利用在计算机科学领域取得的知识,但也有助于改进计算机科学如何解决社交媒体中普遍存在的仇恨言论这一紧迫的社会相关问题。
2021-03-18 cs.CL cs.CY
Leveraging World Knowledge in Implicit Hate Speech Detection
Georgetown University(乔治城大学)
虽然人们非常重视识别明确的仇恨言论,但以编码或间接语言伪装的隐含仇恨言论很普遍,仍然是现有仇恨言论检测系统的一个主要挑战。本文首次尝试将实体链接(EL)技术应用于显式和隐式仇恨言论检测,其中我们表明,关于文本中实体提及的真实世界知识确实有助于模型更好地检测仇恨言论,并且当显式实体触发时(例如,KKK(三K党)出席。我们还讨论了现实世界的知识并没有增加价值的仇恨言论检测,这提供了更多的见解来理解和建模仇恨言论的微妙之处。
2022-12-28 cs.CL
CRUSH: Contextually Regularized and User anchored Self-supervised Hate speech Detection
Indian Institute of Science (IISc)(印度科学学院);Indian Institute of Technology (IIT)(印度理工学院)
在过去的十年里,人们通过社交网络平台进行互动的数量激增。虽然这些社交平台有一些积极的方面,但其扩散已导致它们成为网络欺凌和仇恨言论的滋生地。NLP的最新进展经常被用来减轻这种仇恨内容的传播。由于仇恨言论检测的任务通常适用于社交网络的背景下,我们介绍CRUSH,仇恨言论检测框架,使用用户锚定的自我监督和上下文规则化。我们提出的方法在两种类型的任务和多个流行的英语社交媒体数据集上的测试集指标比以前的最佳方法提高了约1-12%。
2022-05-04 cs.AI cs.CL cs.CY
Causality Guided Representation Learning for Cross-Style Hate Speech Detection
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
CADET通过因果图解构仇恨言论,分离潜在因素并控制混杂变量,提升跨风格仇恨言论检测的泛化能力。
2026-02-03 cs.AI cs.CL cs.LG
Seeing Hate Differently: Hate Subspace Modeling for Culture-Aware Hate Speech Detection
Data Lab, EECS Department(数据实验室,电子工程与计算机科学系)
针对仇恨言论检测中标签偏差与文化差异问题,提出构建个体仇恨子空间的文化感知框架,通过组合建模与标签传播缓解数据稀疏和标签模糊,平均性能提升1.05%。
2025-10-11 cs.AI cs.CL cs.SI
The Enforcement and Feasibility of Hate Speech Moderation
University of Oxford(牛津大学);University of Copenhagen(哥本哈根大学);World Bank(世界银行);Princeton University(普林斯顿大学)
研究通过全球审计揭示推特仇恨言论管控的执行情况,发现仇恨言论在平台上持续存在,且去除率与非仇恨言论无显著差异,表明技术限制外还有制度因素影响管控效果。
2026-09-03 cs.CL cs.CY
Mitigating Bias in Conversations: A Hate Speech Classifier and Debiaser with Prompts
Vector Institute of Artificial Intelligence(向量人工智能研究所);Toronto Metropolitan University(多伦多都会大学)
针对对话中仇恨言论的偏见问题,提出含分类检测与提示式去偏的两步方法,经基准数据集验证可降低负面性,助力构建更包容公平的网络交流环境。
2023-07-14 cs.AI cs.CL
K-MHaS: A Multi-label Hate Speech Detection Dataset in Korean Online News Comment
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);BigWave AI;Keimyung University(启明大学);National Information Society Agency(国家信息社会局)
由于在线内容的增长,在线仇恨言论检测已成为一个重要问题,但英语以外的语言资源极其有限。我们介绍了K-MHaS,这是一种新的用于仇恨言论检测的多标签数据集,可以有效地处理韩语模式。该数据集由来自新闻评论的109 k话语组成,并使用1到4个标签提供多标签分类,并处理主观性和交叉性。我们使用基于韩语BERT的语言模型,使用六种不同的指标,对K-MHaS进行强基线实验。带有子字符标记器的KR-BERT优于其他人,识别每个仇恨言论类中的分解字符。
2022-09-30 cs.AI cs.CL
Lexical Squad@Multimodal Hate Speech Event Detection 2023: Multimodal Hate Speech Detection using Fused Ensemble Approach
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
本文提出一种融合InceptionV3、BERT和XLNet的集成学习方法,用于将嵌入文本的图像分类为仇恨言论或非仇恨言论,准确率达75.21%,F-1分数达74.96。
2023-09-23 cs.AI cs.CL cs.LG
Factoring Hate Speech: A New Annotation Framework to Study Hate Speech in Social Media
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出将仇恨言论分为五个话语类别的新型标注框架,构建含超290万条反犹仇恨内容的Twitter语料库,标注1050条推文样本并做统计分析,为仇恨言论研究提供新方向。
2023-11-07 cs.CL
Multilingual HateCheck: Functional Tests for Multilingual Hate Speech Detection Models
Rewire;University of Oxford(牛津大学);Bocconi University(博科尼大学);Simon Fraser University(西蒙弗雷泽大学)
仇恨语音检测模型通常在保持测试集上进行评估。然而,由于仇恨言论数据集中越来越多的系统性差距和偏见,这可能会导致模型性能的不完整和潜在误导。为了实现更有针对性的诊断见解,最近的研究因此引入了针对仇恨言论检测模型的功能测试。然而,这些测试目前仅适用于英语内容,这意味着它们无法支持在全球数十亿人使用的其他语言中开发更有效的模型。为了帮助解决这个问题,我们引入了多语言仇恨检查(MHC),这是一套针对多语言仇恨言论检测模型的功能测试。MHC涵盖了10种语言的34种功能,这比任何其他仇恨言论数据集都要多。为了说明MHC的效用,我们训练和测试一个高性能的多语种仇恨语音检测模型,并揭示关键模型的弱点,单语和跨语言的应用程序。
2022-06-20 cs.CL
Cross-lingual hate speech detection based on multilingual domain-specific word embeddings
在线社交网络中仇恨语音的自动检测是自然语言处理(NLP)领域的一个重要开放问题。仇恨言论是一个多层面的问题,强烈依赖于语言和文化因素。尽管它的相关性,对这个主题的研究几乎完全致力于英语。大多数监督学习资源,如标记数据集和NLP工具,都是为这种语言创建的。考虑到全球大部分用户使用英语以外的语言,因此非常需要创建用于多语言仇恨言论检测的有效方法。在这项工作中,我们提出了解决问题的多语言仇恨言论检测的角度来看,迁移学习。我们的目标是确定一种特定语言的知识是否可以用于对其他语言进行分类,并确定实现这一目标的有效方法。我们提出了一个仇恨特定的数据表示,并评估其有效性对通用的通用表示,其中大多数,不像我们提出的模型,已经训练了大量的数据。我们专注于跨语言的设置,其中一个需要分类仇恨言论在一种语言,而没有访问任何标记的数据,该语言。我们表明,使用我们的简单而具体的多语言仇恨表示提高了分类结果。我们解释这一点与定性分析表明,我们的具体表示是能够捕捉到一些常见的模式,仇恨言论如何在不同的语言中呈现自己。据我们所知,我们的建议构成了构建多语言特定任务表示的第一次尝试。尽管它的简单性,我们的模型优于以前的方法,为大多数实验设置。我们的研究结果可以指导未来的解决方案对使用特定领域的表示。
2021-04-30 cs.AI cs.CL
Improving Counterfactual Generation for Fair Hate Speech Detection
University of Southern California(南加州大学)
偏差缓解方法减少了模型对数据敏感特征(例如社交群组令牌(SGT))的依赖,从而导致敏感特征之间的预测相等。然而,在仇恨言论检测中,均衡模型预测可能会忽略目标社会群体之间的重要差异,因为仇恨言论可能包含特定于每个SGT的刻板语言。在这里,为了考虑每个SGT的特定语言,我们依赖于反事实公平性,并通过改变SGT来均衡反事实预测。我们的方法评估反事实之间句子可能性的相似性(通过预先训练的语言模型),仅在可互换的上下文中同等对待SGT。通过应用logit配对来均衡每个实例的限制性反事实集的结果,我们提高了公平性度量,同时保留了仇恨言论检测的模型性能。
2021-08-03 cs.CL cs.CY
Detecting Online Hate Speech Using Context Aware Models
Texas A&M University(德克萨斯农工大学)
在一场两极分化的选举之后,网络世界充斥着仇恨言论。伴随仇恨言论文本的上下文对于识别仇恨言论是有用的,然而在现有的数据集和仇恨言论检测模型中,这在很大程度上被忽视了。在本文中,我们提供了一个注释语料库的仇恨言论与上下文信息保存良好。然后,我们提出了两种类型的仇恨言论检测模型,结合上下文信息,逻辑回归模型与上下文功能和神经网络模型与上下文的学习组件。我们的评估表明,这两个模型在F1评分中的表现优于强基线约3%至4%,并且将这两个模型结合在一起,在F1评分中进一步提高了7%的性能。
2018-05-22 cs.CL
Highly Generalizable Models for Multilingual Hate Speech Detection
Georgia Institute of Technology(佐治亚理工学院)
在过去的十年里,仇恨语音检测已经成为一个重要的研究课题。越来越多的私营公司需要监管全球不同平台上的用户生成内容。在本文中,我们介绍了多语言仇恨言论分类的研究。我们编译了一个包含11种语言的数据集,并通过分析带有二进制标签的组合数据来解决不同的分类:仇恨言论或非仇恨言论。在不同的语言和数据集上以单一的方式定义仇恨言论可能会消除定义中的文化细微差别,因此,我们利用LASER和MUSE提供的语言不可知嵌入来开发可以在数据集上使用仇恨言论的广义定义的模型。此外,我们评估了现有技术的仇恨言论检测方法在我们的扩展数据集。我们进行三种类型的实验的二进制仇恨语音分类任务:多语言训练单语言测试,单语言训练单语言测试和家庭家庭训练单语言测试的情况下,看看性能提高每种语言由于学习更多的其他语言数据。
2022-01-27 cs.CL
Leveraging Multilingual Transformers for Hate Speech Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
近年来,检测和分类社交媒体文本中的仇恨实例一直是自然语言处理中感兴趣的问题。我们的工作利用最先进的Transformer语言模型来识别多语言环境中的仇恨言论。捕捉社交媒体上的帖子或评论的意图需要仔细评估语言风格,语义内容和其他指针,如标签和表情符号。在本文中,我们来看看识别Twitter帖子是否具有仇恨性和攻击性的问题。我们进一步将检测到的有毒内容区分为以下三类之一:(a)仇恨言论(HATE),(b)攻击性(OFFN)和(c)亵渎性(PRFN)。通过预先训练的基于多语言transformer的文本编码器,我们能够成功地识别和分类来自多种语言的仇恨言论。在所提供的测试语料库,我们实现了90.29,81.87和75.40分别为英语,德语和印地语的宏F1分数,同时进行仇恨言论检测和60.70,53.28和49.74在细粒度分类。在我们的实验中,我们展示了Perspective API功能对仇恨言论分类的有效性以及利用多语言训练方案的效果。一个特征选择的研究,以说明特定功能的架构的分类头的影响。
2021-01-08 cs.AI cs.CL cs.CY
Demoting Racial Bias in Hate Speech Detection
Carnegie Mellon University(卡内基梅隆大学)
在当前的仇恨言论数据集,有注释者的毒性和信号的非洲裔美国人英语(AAE)的感知之间存在着高度的相关性。注释训练数据中的这种偏见以及机器学习模型放大它的趋势导致AAE文本经常被当前仇恨言论分类器错误标记为滥用/攻击/仇恨言论,具有很高的误报率。在本文中,我们使用对抗性训练来减轻这种偏见,引入了一个仇恨语音分类器,该分类器学习检测有毒句子,同时降级对应于AAE文本的混淆。仇恨言论数据集和AAE数据集上的实验结果表明,我们的方法能够大大降低AAE文本的误报率,同时对仇恨言论分类的性能影响最小。
2020-05-25 cs.CL
Decoding Hate: Exploring Language Models' Reactions to Hate Speech
IRLab(IR实验室);CITIC Research Centre(CITIC研究中心);University of A Coruña(阿维拉大学)
本文通过定性分析比较七个主流LLM对仇恨言论及政治正确包装形式的反应,并提出微调与指南护栏等缓解生成仇恨言论的策略。
2024-10-01 cs.CL
Towards generalisable hate speech detection: a review on obstacles and solutions
Queen Mary University of London(伦敦玛丽女王大学)
仇恨言论是一种有害的在线内容,它直接攻击或促进对一个群体或个人成员的仇恨,基于他们的实际或感知的身份方面,如种族,宗教和性取向。随着网络仇恨言论的增加,作为一项自然语言处理任务的仇恨言论自动检测越来越受到人们的关注。然而,直到最近才表明,现有的模型对看不见的数据的概括性很差。这篇调查论文试图总结现有的仇恨言论检测模型是如何推广的,为什么仇恨言论模型难以推广,总结现有的尝试,解决主要障碍,然后提出未来的研究方向,以提高仇恨言论检测的推广。
2021-02-17 cs.CL
A Federated Approach for Hate Speech Detection
AI4Bharat;University of Alberta(阿尔伯塔大学);Georgia Institute of Technology(佐治亚理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
由于社交媒体上创建的内容的规模,仇恨语音检测一直是高度关注的研究主题。尽管这项任务的关注和敏感性,仇恨言论检测中的隐私保护仍然没有得到充分研究。大多数研究都集中在集中式机器学习基础设施上,这可能会泄露数据。在本文中,我们表明,使用联邦机器学习可以帮助解决隐私问题,这是仇恨言论检测固有的问题,同时在F1分数方面获得高达6.81%的改进。
2023-02-18 cs.AI cs.CL cs.LG
Automated Hate Speech Detection and the Problem of Offensive Language
Cornell University(康奈尔大学);Qatar Computing Research Institute(卡塔尔计算研究所)
社交媒体上仇恨言论自动检测的一个关键挑战是将仇恨言论与其他攻击性语言分开。词汇检测方法往往具有低精度,因为它们将包含特定术语的所有消息分类为仇恨言论,并且先前使用监督学习的工作未能区分这两个类别。我们使用了一个众包仇恨言论词典来收集包含仇恨言论关键词的推文。我们使用众包将这些推文的样本分为三类:包含仇恨言论的推文,只有攻击性语言的推文,以及两者都没有的推文。我们训练一个多类分类器来区分这些不同的类别。对预测和错误的仔细分析表明,我们何时可以可靠地将仇恨言论与其他攻击性语言区分开来,何时这种区分更加困难。我们发现,种族主义和同性恋恐惧的推文更有可能被归类为仇恨言论,但性别歧视的推文通常被归类为冒犯性的。没有明确仇恨关键词的推文也更难分类。
2017-03-11 cs.CL
Towards Generalizable Generic Harmful Speech Datasets for Implicit Hate Speech Detection
Dept. of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学)
针对隐式仇恨言论检测,提出利用现有有害言论数据集,通过有影响力样本识别、重新标注及Llama-3和GPT-4o增强,实现跨数据集泛化,F1提升12.9分。
2025-06-19 cs.AI cs.CL cs.LG
You Are What You Tweet: Profiling Users by Past Tweets to Improve Hate Speech Detection
University of Texas at Austin(德克萨斯大学奥斯汀分校)
仇恨语音检测的研究主要集中在纯粹的基于内容的方法,而不利用任何额外的上下文。我们简要地批评这个任务制定的利弊。然后,我们调查分析用户的过去的话语作为一个信息之前,更好地预测新的话语是否构成仇恨言论。为了评估这一点,我们用额外的时间轴数据增强了三个Twitter仇恨言论数据集,然后将这个额外的上下文嵌入到一个强大的基线模型中。有希望的结果表明值得进一步研究,尽管分析因注释方案和过程的差异以及Twitter API限制和数据共享政策而变得复杂。
2021-12-07 cs.AI cs.CL cs.LG
Countering Online Hate Speech: An NLP Perspective
The Chinese University of Hong Kong(香港中文大学)
网络仇恨言论已经引起了所有人的注意,从与COVID-19大流行、美国大选和全球抗议活动有关的新闻。网络毒性--网络仇恨行为的总称,表现为网络仇恨言论等形式。仇恨言论是以目标实体的身份或观点为动机,针对个人或群体的蓄意攻击。通过社交媒体进行的大众传播日益增多,进一步加剧了网上仇恨言论的有害后果。虽然使用自然语言处理(NLP)对仇恨言论识别进行了大量研究,但利用NLP预防和干预在线仇恨言论的工作相对缺乏。本文提出了一个整体的概念框架仇恨言论的NLP对抗方法,以及对NLP对抗网络仇恨言论的当前进展进行了全面调查。它根据其作用时间对对抗技术进行了分类,并确定了未来关于这一主题的潜在研究领域。
2021-09-07 cs.CL cs.LG
SarcasTraps: Effect of Sarcasm on Turkish Hate Speech Detection
Sabanci University(萨班哲大学)
本文构建了针对土耳其语的讽刺仇恨言论测试集SarcasTraps,经实验发现微调模型与零样本大语言模型在检测含讽刺的仇恨言论时均存在性能缺陷。
2026-11-18 cs.AI cs.CL cs.LG
Hate Speech According to the Law: An Analysis for Effective Detection
DIT, University of Bologna(博洛尼亚大学DIT学院);Athens University of Economics and Business(雅典经济与商业大学)
针对现有仇恨言论定义不足、各国法律差异导致平台治理混乱的问题,本研究结合法律专家标注与多类模型实验,验证了法律知识对可起诉仇恨言论分类的作用,为合法打击仇恨言论提供策略参考。
2024-12-09 cs.CL
Dialogues of Dissent: Thematic and Rhetorical Dimensions of Hate and Counter-Hate Speech in Social Media Conversations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出一种联合标注社交媒体仇恨与反仇恨言论的多标签方案,从主题和修辞维度分析92个对话、720条推文,揭示二者互动模式及反制策略。
2025-07-28 cs.CL
Impact and dynamics of hate and counter speech online
Santa Fe Institute(圣塔菲研究所);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);University of Vermont(佛蒙特大学)
公民发表的反击言论是打击仇恨言论和促进和平、非两极化对话的一种有希望的方式。然而,缺乏对其减少仇恨言论的有效性进行大规模纵向研究。为此,我们使用几种不同的宏观和微观层面的措施来分析德国Twitter上四年来发生的180,000次政治对话,对反言论的有效性进行了探索性分析。我们报告的仇恨和反言论随着时间的推移的动态互动,并提供见解是否,在“经典”欺凌的情况下,有组织的努力比独立的个人在引导网上话语更有效。总的来说,我们的研究结果构建了一个多方面的图片的动态仇恨和反言论在线。虽然由于话语动态的复杂性,我们没有因果关系,但我们的研究结果表明,有组织的仇恨言论与公共话语的变化有关,而反言论-特别是有组织的-可能有助于遏制在线话语中的仇恨言论。
2021-09-05 cs.CL cs.CY cs.LG
How Hate Speech Varies by Target Identity: A Computational Analysis
Carnegie Mellon University(卡内基梅隆大学)
本文研究了仇恨言论如何根据其目标身份以系统的方式变化。在针对目标身份注释的多个仇恨言论数据集中,我们发现针对特定身份群体的仇恨言论训练的分类器很难推广到其他目标身份。这为仇恨言论的目标身份差异提供了经验证据,然后我们研究了这种变化的结构模式。我们发现,目标人口类别(如性别/性或种族/民族)似乎有一个更大的影响仇恨言论的语言比目标身份群体的相对社会权力。我们还发现,与针对特定身份的仇恨言论相关的词语通常与刻板印象、压迫历史、当前的社会运动以及其他特定于身份的社会背景有关。这些实验表明,在自动仇恨言论分类中,考虑目标身份以及与这些身份相关的社会背景的重要性。
2022-12-07 cs.CL
Hate Speech and Counter Speech Detection: Conversational Context Does Matter
University of North Texas(北德克萨斯大学);Arizona State University(亚利桑那州立大学)
仇恨言论和用户生成的内容一起充斥着网络空间。本文研究了对话上下文在注释和检测网络仇恨和反言论中的作用,其中上下文被定义为对话线程中的前面评论。我们创建了一个上下文感知的数据集,用于Reddit评论的三向分类任务:仇恨言论,反言论或中立。我们的分析表明,上下文是至关重要的,以确定仇恨和反言论:人类的判断改变大多数评论取决于我们是否显示注释者的上下文。语言分析深入了解人们用来表达仇恨和反击言论的语言。实验结果表明,神经网络获得显着更好的结果,如果考虑到上下文。我们还提出了定性的错误分析,阐明了(a)何时以及为什么上下文是有益的,以及(b)当考虑上下文时,我们的最佳模型所犯的其余错误。
2022-06-13 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL