Unified and Multilingual Author Profiling for Detecting Haters
Universitat Politècnica de València(瓦伦西亚理工大学)
本文提出了一个统一的用户分析框架,通过处理他们的推文,无论语言来识别仇恨言论传播者。该框架使用句子Transformers对推文进行编码,并应用注意力机制来选择重要的推文以学习用户简档。此外,注意力层通过在令牌和帖子级别上产生注意力权重来帮助解释为什么用户是仇恨言论传播者。我们提出的模型优于最先进的多语言Transformer模型。
2021-09-19 cs.AI cs.CL cs.LG
Automated Sentiment and Hate Speech Analysis of Facebook Data by Employing Multilingual Transformer Models
University College Groningen, University of Groningen(格罗宁根大学学院,格罗宁根大学);Foundation The London Story(伦敦故事基金会)
近年来,学术界和公共话语中有一个高度的共识,即社交媒体平台(SMP)放大了仇恨和负面情绪内容的传播。研究人员已经确定了仇恨内容,政治宣传和有针对性的信息如何导致现实世界的危害,包括反对民选政府的叛乱,种族灭绝以及由于对世界部分地区某些社区的负面言论加剧而导致的社会凝聚力崩溃。为了解决这些问题,SMP创建了半自动系统,可以帮助识别有毒言论。在本文中,我们分析了一个代表性的Facebook数据集(n= 604,703)中仇恨和负面情绪内容的统计分布,这些数据集通过648个公共Facebook页面被废弃,这些页面将自己确定为极右翼Hindutva演员的支持者(和追随者)。这些页面是通过在Facebook和CrowdTangle上使用关键字搜索手动识别的,并根据页面名称,页面描述和在这些页面上共享的话语被归类为极右翼Hindutva页面。我们采用最先进的开源XLM-T基于转换器的多语言模型,对这些页面上共享的文本内容进行情感和仇恨语音分析,为期5.5年。结果显示了预测情绪和仇恨言论标签的统计分布;顶级演员和顶级页面类别。我们进一步讨论了这些预训练的语言模型的基准性能和局限性。
2023-01-31 cs.CL cs.LG
Combating high variance in Data-Scarce Implicit Hate Speech Classification
ABV-IIITM Gwalior(ABV-印度信息技术与管理学院瓜廖尔分校)
仇恨语音的分类一直是自然语言处理中的一个难题。然而,尽管有许多仇恨言论检测方法,他们通常忽略了很多仇恨言论,因为他们是隐含的性质。开发数据集来帮助进行隐性仇恨言论分类的任务也有其自身的挑战;困难在于语言的细微差别,对仇恨言论的不同定义,以及注释这些数据的劳动密集型过程。这导致可用于训练和测试此类系统的数据稀缺,当使用参数密集的基于变压器的模型来解决该问题时,这引起了高方差问题。在本文中,我们探索了各种优化和正则化技术,并开发了一种新的基于RoberTa的模型,实现了最先进的性能。
2022-08-29 cs.CL cs.LG
Transfer Learning via Lexical Relatedness: A Sarcasm and Hate Speech Case Study
University of Southern California(南加州大学)
本文研究将讽刺识别作为预训练步骤对隐式及显式仇恨言论检测的迁移学习效果,通过两种训练策略在CNN+LSTM和BERT+BiLSTM模型上验证,证明讽刺预训练能显著提升多项检测指标。
2025-08-22 cs.CL cs.LG
Cross-Platform Hate Speech Detection with Weakly Supervised Causal Disentanglement
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Amazon Alexa AI(亚马逊Alexa人工智能)
针对跨平台仇恨言论检测中传统方法适配性差、因果解耦需依赖目标标签的问题,研究提出弱监督因果解耦框架HATE WATCH,通过置信度重加权与对比正则化实现特征解耦,在跨平台场景下取得更优检测性能,助力可扩展内容审核与安全网络社区建设。
2024-04-17 cs.CL cs.LG
Highly Generalizable Models for Multilingual Hate Speech Detection
Georgia Institute of Technology(佐治亚理工学院)
在过去的十年里,仇恨语音检测已经成为一个重要的研究课题。越来越多的私营公司需要监管全球不同平台上的用户生成内容。在本文中,我们介绍了多语言仇恨言论分类的研究。我们编译了一个包含11种语言的数据集,并通过分析带有二进制标签的组合数据来解决不同的分类:仇恨言论或非仇恨言论。在不同的语言和数据集上以单一的方式定义仇恨言论可能会消除定义中的文化细微差别,因此,我们利用LASER和MUSE提供的语言不可知嵌入来开发可以在数据集上使用仇恨言论的广义定义的模型。此外,我们评估了现有技术的仇恨言论检测方法在我们的扩展数据集。我们进行三种类型的实验的二进制仇恨语音分类任务:多语言训练单语言测试,单语言训练单语言测试和家庭家庭训练单语言测试的情况下,看看性能提高每种语言由于学习更多的其他语言数据。
2022-01-27 cs.CL
Interpretable Multi-Modal Hate Speech Detection
MIT Media Lab(麻省理工学院媒体实验室);Google Brain(谷歌大脑)
随着社交媒体在塑造世界各地公众舆论和信仰方面发挥越来越大的作用,人们越来越关注识别和应对社交媒体上的仇恨言论问题。网络空间的仇恨言论有严重的表现形式,包括社会两极分化和仇恨犯罪。虽然先前的作品已经提出了自动化技术来检测在线仇恨言论,但这些技术主要未能超越文本内容。此外,很少有人试图把重点放在这些模型的可解释性方面,因为不正确的预测会产生社会和法律影响。在这项工作中,我们提出了一个深度神经多模态模型,它可以:(a)通过有效地捕捉文本的语义以及特定仇恨表达的社会文化背景来检测仇恨言论,以及(b)为我们的模型决策提供可解释的见解。通过对不同的建模技术进行全面的评估,我们证明了我们的模型能够优于现有的最先进的仇恨言论分类方法。最后,我们展示了社会和文化背景特征对挖掘与不同类别仇恨相关的集群的重要性。
2021-03-02 cs.CL cs.LG
Hate Speech Detection and Classification in Amharic Text with Deep Learning
Addis Ababa University(亚的斯亚贝巴大学);Universität Hamburg(汉堡大学)
针对阿姆哈拉语低资源仇恨言论检测问题,本文构建 5,000 条标注语料并提出 SBi-LSTM 模型,实现四类文本分类,F1 分数达 94.8。
2024-08-07 cs.CL cs.LG
A Review of Challenges in Machine Learning based Automated Hate Speech Detection
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube Pune(浦那L3Cube);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在社交媒体空间传播仇恨言论是目前的一个严重问题。对这些平台上产生的大量信息的不加要求的访问导致人们发布和回应引发暴力的有毒内容。虽然已经努力检测和限制在线的此类内容,但准确识别它仍然具有挑战性。基于深度学习的解决方案一直处于识别仇恨内容的最前沿。然而,诸如仇恨言论的上下文依赖性、用户的意图、不期望的偏见等因素使得这一过程过于苛刻。在这项工作中,我们深入探讨了广泛的挑战,在自动仇恨言论检测提出了一个层次组织这些问题。我们专注于基于机器学习或深度学习的仇恨言论识别解决方案所面临的挑战。在顶层,我们区分数据级、模型级和人员级挑战。我们进一步提供了一个详尽的分析,每个层次结构的例子。这项调查将帮助研究人员在仇恨言论检测领域更有效地设计解决方案。
2022-09-12 cs.CL cs.LG
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad(海得拉巴国际信息技术学院)
由于社交媒体的指数增长,仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中,我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
Multilingual Cross-domain Perspectives on Online Hate Speech
CLiPS Research Center(CLiPS研究中心)
在这份报告中,我们提出了一个研究的八个语料库的在线仇恨言论,通过展示的NLP技术,我们用来收集和分析圣战,极端主义,种族主义和性别歧视的内容。对多语种语料库的分析表明,不同语境下的仇恨修辞具有一定的共性。为了揭示文本的主要特征,我们重点研究了文本分类、文本分析、关键词和搭配提取,以及人工标注和定性研究。
2018-09-11 cs.CL
Emotion Based Hate Speech Detection using Multimodal Learning
近年来,监控社交媒体平台上的仇恨言论和攻击性语言已变得至关重要,因为它在所有年龄组,种族和民族中广泛使用。因此,对于使用自然语言处理(NLP)来自动检测这种内容已经进行了大量的研究工作。虽然成功地过滤文本数据,没有研究集中在检测多媒体数据中的仇恨内容。随着数据存储的便利性和社交媒体平台的指数增长,多媒体内容与文本数据一样在互联网上激增。然而,它逃脱了自动过滤系统。仇恨言论和攻击性可以主要通过三种形式在多媒体中检测,即,视觉听觉和语言我们的初步研究得出的结论是,在分类仇恨言论的最基本的功能将是扬声器的情绪状态及其对口语的影响,因此限制了我们目前的研究,这些模式。本文提出了第一个多模态深度学习框架,以结合表示情感的听觉特征和语义特征来检测仇恨内容。我们的研究结果表明,将情感属性导致显着改善基于文本的模型在检测可恨的多媒体内容。本文还提出了一个新的仇恨语音检测视频数据集(HSDVD)收集的多模态学习的目的,因为没有这样的数据集存在。
2022-02-13 cs.CL cs.LG
A Survey on Automatic Online Hate Speech Detection in Low-Resource Languages
Bennett University(班尼特大学);Techno Main Salt Lake(泰克诺主盐湖校区);Indian Institute of Information Technology & Management Gwalior(瓜利尔印度信息技术与管理学院);Indian Institute of Engineering Science and Technology, Shibpur(希布普尔印度工程科学与技术学院);National Institute of Technology, Silchar(锡尔恰尔国家理工学院)
本文综述了低资源语言中的自动在线仇恨言论检测,分析了其面临的挑战,详细介绍了可用数据集、特征及技术,并探讨了现有研究、重叠概念、挑战与机遇。
2024-11-28 cs.CL cs.LG
Multilingual Auxiliary Tasks Training: Bridging the Gap between Languages for Zero-Shot Transfer of Hate Speech Detection Models
INRIA(法国国家信息与自动化研究所)
零次跨语言迁移学习已经被证明对于涉及大量语言特性的任务或当语言之间存在文化差异时(例如在仇恨言论检测中)具有高度挑战性。在本文中,我们强调了这种限制仇恨言论检测在几个领域和语言使用严格的实验设置。然后,我们建议对多语言辅助任务进行训练-情感分析,命名实体识别和依赖句法信息的任务-以提高仇恨语音检测模型跨语言的zero-shot传输。我们展示了仇恨言论检测模型如何受益于辅助任务微调带来的跨语言知识代理,并强调了这些任务对弥合语言之间仇恨言论语言和文化差距的积极影响。
2022-10-25 cs.CL
IITR-CIOL@NLU of Devanagari Script Languages 2025: Multilingual Hate Speech Detection and Target Identification in Devanagari-Scripted Languages
Indian Institute of Technology, Roorkee(鲁尔基印度理工学院);Shahjalal University of Science and Technology(沙贾拉尔科技大学)
本文提出MultilingualRobertaClass模型,基于多语言转写RoBERTa对天城体文字语言进行仇恨言论检测与目标识别,在子任务B和C上分别取得88.40%和66.11%的准确率。
2024-12-28 cs.CL
Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Tabuk(塔布克大学)
网络和社交媒体上产生的大量数据增加了对检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和影响。自然语言处理(NLP)领域的大量努力旨在检测一般的仇恨言论或检测特定的仇恨言论,如宗教,种族,性别或性取向。仇恨社区倾向于在他们的通信中使用缩写,故意拼写错误和编码词来逃避检测,这给仇恨言论检测任务增加了更多的挑战。因此,词语表征将在检测仇恨言论方面发挥越来越重要的作用。本文研究了在基于双向LSTM的深度模型中利用特定于领域的词嵌入来自动检测/分类仇恨言论的可行性。此外,我们研究了使用迁移学习语言模型(BERT)仇恨言论问题作为一个二元分类任务。实验表明,基于双向LSTM的深度模型的特定领域词嵌入在来自可用仇恨语音数据集的组合平衡数据集上实现了93%的f1分数,而BERT实现了高达96%的f1分数。
2021-11-02 cs.CL
All You Need is "Leet": Evading Hate-speech Detection AI
Virginia Tech(弗吉尼亚理工大学)
本文提出黑盒扰动技术,通过生成最小语义变化的扰动来欺骗深度学习仇恨言论检测模型,成功规避86.8%的仇恨文本检测,以保护用户免受在线仇恨言论侵害。
2025-05-22 cs.CL cs.CR cs.LG
Towards Hate Speech Detection at Large via Deep Generative Modeling
University of Haifa(海法大学);Braude College of Engineering(布劳德工程学院);Massachusetts Institute of Technology(麻省理工学院)
仇恨言论检测是社交媒体平台的一个关键问题,经常被指责为传播仇恨和引发身体暴力。仇恨言论检测需要大量的资源,包括用于在线帖子和推文监控的高性能计算,以及数千名人类专家每天对可疑帖子或推文进行筛选。最近,已经提出了基于深度学习(DL)的解决方案,用于自动检测仇恨言论,使用数千个仇恨言论序列的中等大小的训练数据集。虽然这些方法在特定的数据集上表现良好,但它们检测新的仇恨言论序列的能力有限,尚未被研究。作为一种数据驱动的方法,众所周知,DL超过其他方法,每当规模上的训练数据集的大小和多样性实现。因此,我们首先呈现了一个由深度生成语言模型产生的100万个真实仇恨和非仇恨序列的数据集。我们进一步利用生成的数据集训练一个经过充分研究的基于DL的仇恨言论检测器,并在五个公共仇恨言论数据集上表现出一致和显着的性能改进。因此,所提出的解决方案能够高灵敏度地检测各种各样的仇恨语音序列,为全自动解决方案铺平了道路。
2020-05-13 cs.CL cs.IR cs.LG
Automatic Translation of Hate Speech to Non-hate Speech in Social Media Texts
Instituto Politécnico Nacional(国立理工学院)
本文提出将西班牙语仇恨言论在保留原意的前提下自动改写为非仇恨言论的新任务,并提供数据集与多个基线,采用 BLEU 等指标评估,以助力遏制在线仇恨言论传播。
2023-06-02 cs.CL
"Is Hate Lost in Translation?": Evaluation of Multilingual LGBTQIA+ Hate Speech Detection
University of New South Wales(新南威尔士大学)
本文评估了大型语言模型在英语、意大利语、中文和英语-泰米尔语中检测LGBTQIA+仇恨言论的能力,发现微调能持续提升性能,而机器翻译效果不一,且自动翻译难以捕捉语言的社会文化细微差别。
2024-10-24 cs.CL
Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification
Meta AI
在本文中,我们解决了阿拉伯语细粒度仇恨语音检测共享任务,并展示了其三个子任务的报告基线的显着改进。任务是预测推文是否包含(1)攻击性语言;以及它是否被认为是(2)仇恨言论,如果是,则从六个类别之一预测(3)细粒度仇恨言论标签。我们的最终解决方案是采用多任务学习和自我一致性校正方法的模型集成,在仇恨言论子任务上获得82.7%的收益-与以前的工作相比,相对提高了3.4%。
2022-05-16 cs.CL
Leveraging Multilingual Transformers for Hate Speech Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
近年来,检测和分类社交媒体文本中的仇恨实例一直是自然语言处理中感兴趣的问题。我们的工作利用最先进的Transformer语言模型来识别多语言环境中的仇恨言论。捕捉社交媒体上的帖子或评论的意图需要仔细评估语言风格,语义内容和其他指针,如标签和表情符号。在本文中,我们来看看识别Twitter帖子是否具有仇恨性和攻击性的问题。我们进一步将检测到的有毒内容区分为以下三类之一:(a)仇恨言论(HATE),(b)攻击性(OFFN)和(c)亵渎性(PRFN)。通过预先训练的基于多语言transformer的文本编码器,我们能够成功地识别和分类来自多种语言的仇恨言论。在所提供的测试语料库,我们实现了90.29,81.87和75.40分别为英语,德语和印地语的宏F1分数,同时进行仇恨言论检测和60.70,53.28和49.74在细粒度分类。在我们的实验中,我们展示了Perspective API功能对仇恨言论分类的有效性以及利用多语言训练方案的效果。一个特征选择的研究,以说明特定功能的架构的分类头的影响。
2021-01-08 cs.AI cs.CL cs.CY
Causality Guided Representation Learning for Cross-Style Hate Speech Detection
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
CADET通过因果图解构仇恨言论,分离潜在因素并控制混杂变量,提升跨风格仇恨言论检测的泛化能力。
2026-02-03 cs.AI cs.CL cs.LG
Leveraging World Knowledge in Implicit Hate Speech Detection
Georgetown University(乔治城大学)
虽然人们非常重视识别明确的仇恨言论,但以编码或间接语言伪装的隐含仇恨言论很普遍,仍然是现有仇恨言论检测系统的一个主要挑战。本文首次尝试将实体链接(EL)技术应用于显式和隐式仇恨言论检测,其中我们表明,关于文本中实体提及的真实世界知识确实有助于模型更好地检测仇恨言论,并且当显式实体触发时(例如,KKK(三K党)出席。我们还讨论了现实世界的知识并没有增加价值的仇恨言论检测,这提供了更多的见解来理解和建模仇恨言论的微妙之处。
2022-12-28 cs.CL
Deep Learning Models for Multilingual Hate Speech Detection
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
仇恨语音检测是一个具有挑战性的问题,大多数数据集只有一种语言:英语。在本文中,我们对来自16个不同来源的9种语言的多语言仇恨言论进行了大规模分析。我们观察到,在低资源设置中,简单的模型,如激光嵌入逻辑回归表现最好,而在高资源设置BERT为基础的模型表现更好。在zero-shot分类的情况下,诸如意大利语和葡萄牙语的语言实现了良好的结果。我们提出的框架可以作为低资源语言的有效解决方案。这些模型也可以作为未来多语言仇恨言论检测任务的良好基线。我们已经在https://github.com/punyajoy/DE-LIMIT上向其他研究人员公开了我们的代码和实验设置。
2020-12-09 cs.CL cs.SI
Lexical Squad@Multimodal Hate Speech Event Detection 2023: Multimodal Hate Speech Detection using Fused Ensemble Approach
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
本文提出一种融合InceptionV3、BERT和XLNet的集成学习方法,用于将嵌入文本的图像分类为仇恨言论或非仇恨言论,准确率达75.21%,F-1分数达74.96。
2023-09-23 cs.AI cs.CL cs.LG
Factoring Hate Speech: A New Annotation Framework to Study Hate Speech in Social Media
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出将仇恨言论分为五个话语类别的新型标注框架,构建含超290万条反犹仇恨内容的Twitter语料库,标注1050条推文样本并做统计分析,为仇恨言论研究提供新方向。
2023-11-07 cs.CL
Detecting Online Hate Speech Using Context Aware Models
Texas A&M University(德克萨斯农工大学)
在一场两极分化的选举之后,网络世界充斥着仇恨言论。伴随仇恨言论文本的上下文对于识别仇恨言论是有用的,然而在现有的数据集和仇恨言论检测模型中,这在很大程度上被忽视了。在本文中,我们提供了一个注释语料库的仇恨言论与上下文信息保存良好。然后,我们提出了两种类型的仇恨言论检测模型,结合上下文信息,逻辑回归模型与上下文功能和神经网络模型与上下文的学习组件。我们的评估表明,这两个模型在F1评分中的表现优于强基线约3%至4%,并且将这两个模型结合在一起,在F1评分中进一步提高了7%的性能。
2018-05-22 cs.CL
A Federated Approach for Hate Speech Detection
AI4Bharat;University of Alberta(阿尔伯塔大学);Georgia Institute of Technology(佐治亚理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
由于社交媒体上创建的内容的规模,仇恨语音检测一直是高度关注的研究主题。尽管这项任务的关注和敏感性,仇恨言论检测中的隐私保护仍然没有得到充分研究。大多数研究都集中在集中式机器学习基础设施上,这可能会泄露数据。在本文中,我们表明,使用联邦机器学习可以帮助解决隐私问题,这是仇恨言论检测固有的问题,同时在F1分数方面获得高达6.81%的改进。
2023-02-18 cs.AI cs.CL cs.LG
LAHM : Large Annotated Dataset for Multi-Domain and Multilingual Hate Speech Identification
本文提出涵盖六种语言和五个仇恨言论领域的多语言数据集LAHM,通过高低层级标注评估多种分类设置,并探讨利用该方法和标注改进仇恨言论检测与分类。
2023-04-03 cs.AI cs.CL
Towards Generalizable Generic Harmful Speech Datasets for Implicit Hate Speech Detection
Dept. of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学)
针对隐式仇恨言论检测,提出利用现有有害言论数据集,通过有影响力样本识别、重新标注及Llama-3和GPT-4o增强,实现跨数据集泛化,F1提升12.9分。
2025-06-19 cs.AI cs.CL cs.LG
Multilingual Hate Speech Detection and Counterspeech Generation: A Comprehensive Survey and Practical Guide
Bilkent University(比尔肯特大学);Missouri University of Science and Technology(密苏里科技大学)
本文综述并指导多语言仇恨言论检测与反仇恨言论生成,分析单语言系统在非英语和混合语言环境中的不足,提出三阶段框架,整合最新NLP进展,强调数据稀缺、公平性与多模态解决方案。
2026-03-01 cs.CL
Demoting Racial Bias in Hate Speech Detection
Carnegie Mellon University(卡内基梅隆大学)
在当前的仇恨言论数据集,有注释者的毒性和信号的非洲裔美国人英语(AAE)的感知之间存在着高度的相关性。注释训练数据中的这种偏见以及机器学习模型放大它的趋势导致AAE文本经常被当前仇恨言论分类器错误标记为滥用/攻击/仇恨言论,具有很高的误报率。在本文中,我们使用对抗性训练来减轻这种偏见,引入了一个仇恨语音分类器,该分类器学习检测有毒句子,同时降级对应于AAE文本的混淆。仇恨言论数据集和AAE数据集上的实验结果表明,我们的方法能够大大降低AAE文本的误报率,同时对仇恨言论分类的性能影响最小。
2020-05-25 cs.CL
Decoding Hate: Exploring Language Models' Reactions to Hate Speech
IRLab(IR实验室);CITIC Research Centre(CITIC研究中心);University of A Coruña(阿维拉大学)
本文通过定性分析比较七个主流LLM对仇恨言论及政治正确包装形式的反应,并提出微调与指南护栏等缓解生成仇恨言论的策略。
2024-10-01 cs.CL
Towards generalisable hate speech detection: a review on obstacles and solutions
Queen Mary University of London(伦敦玛丽女王大学)
仇恨言论是一种有害的在线内容,它直接攻击或促进对一个群体或个人成员的仇恨,基于他们的实际或感知的身份方面,如种族,宗教和性取向。随着网络仇恨言论的增加,作为一项自然语言处理任务的仇恨言论自动检测越来越受到人们的关注。然而,直到最近才表明,现有的模型对看不见的数据的概括性很差。这篇调查论文试图总结现有的仇恨言论检测模型是如何推广的,为什么仇恨言论模型难以推广,总结现有的尝试,解决主要障碍,然后提出未来的研究方向,以提高仇恨言论检测的推广。
2021-02-17 cs.CL
You Are What You Tweet: Profiling Users by Past Tweets to Improve Hate Speech Detection
University of Texas at Austin(德克萨斯大学奥斯汀分校)
仇恨语音检测的研究主要集中在纯粹的基于内容的方法,而不利用任何额外的上下文。我们简要地批评这个任务制定的利弊。然后,我们调查分析用户的过去的话语作为一个信息之前,更好地预测新的话语是否构成仇恨言论。为了评估这一点,我们用额外的时间轴数据增强了三个Twitter仇恨言论数据集,然后将这个额外的上下文嵌入到一个强大的基线模型中。有希望的结果表明值得进一步研究,尽管分析因注释方案和过程的差异以及Twitter API限制和数据共享政策而变得复杂。
2021-12-07 cs.AI cs.CL cs.LG
Automated Hate Speech Detection and the Problem of Offensive Language
Cornell University(康奈尔大学);Qatar Computing Research Institute(卡塔尔计算研究所)
社交媒体上仇恨言论自动检测的一个关键挑战是将仇恨言论与其他攻击性语言分开。词汇检测方法往往具有低精度,因为它们将包含特定术语的所有消息分类为仇恨言论,并且先前使用监督学习的工作未能区分这两个类别。我们使用了一个众包仇恨言论词典来收集包含仇恨言论关键词的推文。我们使用众包将这些推文的样本分为三类:包含仇恨言论的推文,只有攻击性语言的推文,以及两者都没有的推文。我们训练一个多类分类器来区分这些不同的类别。对预测和错误的仔细分析表明,我们何时可以可靠地将仇恨言论与其他攻击性语言区分开来,何时这种区分更加困难。我们发现,种族主义和同性恋恐惧的推文更有可能被归类为仇恨言论,但性别歧视的推文通常被归类为冒犯性的。没有明确仇恨关键词的推文也更难分类。
2017-03-11 cs.CL
Cross-lingual hate speech detection based on multilingual domain-specific word embeddings
在线社交网络中仇恨语音的自动检测是自然语言处理(NLP)领域的一个重要开放问题。仇恨言论是一个多层面的问题,强烈依赖于语言和文化因素。尽管它的相关性,对这个主题的研究几乎完全致力于英语。大多数监督学习资源,如标记数据集和NLP工具,都是为这种语言创建的。考虑到全球大部分用户使用英语以外的语言,因此非常需要创建用于多语言仇恨言论检测的有效方法。在这项工作中,我们提出了解决问题的多语言仇恨言论检测的角度来看,迁移学习。我们的目标是确定一种特定语言的知识是否可以用于对其他语言进行分类,并确定实现这一目标的有效方法。我们提出了一个仇恨特定的数据表示,并评估其有效性对通用的通用表示,其中大多数,不像我们提出的模型,已经训练了大量的数据。我们专注于跨语言的设置,其中一个需要分类仇恨言论在一种语言,而没有访问任何标记的数据,该语言。我们表明,使用我们的简单而具体的多语言仇恨表示提高了分类结果。我们解释这一点与定性分析表明,我们的具体表示是能够捕捉到一些常见的模式,仇恨言论如何在不同的语言中呈现自己。据我们所知,我们的建议构成了构建多语言特定任务表示的第一次尝试。尽管它的简单性,我们的模型优于以前的方法,为大多数实验设置。我们的研究结果可以指导未来的解决方案对使用特定领域的表示。
2021-04-30 cs.AI cs.CL
SarcasTraps: Effect of Sarcasm on Turkish Hate Speech Detection
Sabanci University(萨班哲大学)
本文构建了针对土耳其语的讽刺仇恨言论测试集SarcasTraps,经实验发现微调模型与零样本大语言模型在检测含讽刺的仇恨言论时均存在性能缺陷。
2026-11-18 cs.AI cs.CL cs.LG
Hate Speech According to the Law: An Analysis for Effective Detection
DIT, University of Bologna(博洛尼亚大学DIT学院);Athens University of Economics and Business(雅典经济与商业大学)
针对现有仇恨言论定义不足、各国法律差异导致平台治理混乱的问题,本研究结合法律专家标注与多类模型实验,验证了法律知识对可起诉仇恨言论分类的作用,为合法打击仇恨言论提供策略参考。
2024-12-09 cs.CL
Model-Agnostic Meta-Learning for Multilingual Hate Speech Detection
University of Saskatchewan(萨斯喀彻温大学);Singapore University of Technology and Design(新加坡科技设计大学);IIT Delhi(印度德里理工学院);IIIT-Delhi(德里英迪拉·甘地信息技术学院);DTU-Delhi(德里理工大学)
社交媒体中的仇恨言论是一种日益增长的现象,检测这种有毒内容最近在研究界获得了重大关注。现有的研究已经探索了微调语言模型(LM)来执行仇恨语音检测,这些解决方案已经产生了显着的性能。然而,大多数这些研究仅限于检测英语中的仇恨言论,忽视了其他语言中产生的大量仇恨内容,特别是在低资源语言中。开发一个分类器,以有限的数据在低资源语言中捕捉仇恨言论和细微差别,是极具挑战性的。为了填补这一研究空白,我们提出了HateMAML,这是一个基于模型不可知的元学习框架,可以有效地在低资源语言中执行仇恨语音检测。HateMAML利用自我监督策略来克服数据稀缺的限制,并产生更好的LM初始化,以快速适应看不见的目标语言(即,跨语言迁移)或其他仇恨言论数据集(即,领域泛化)。在八种不同的低资源语言的五个数据集上进行了广泛的实验。结果表明,HateMAML在跨域多语言传输设置中的表现优于最先进的基线超过3%。我们还进行了消融研究,以分析HateMAML的特征。
2023-03-04 cs.CL cs.SI
Dialogues of Dissent: Thematic and Rhetorical Dimensions of Hate and Counter-Hate Speech in Social Media Conversations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出一种联合标注社交媒体仇恨与反仇恨言论的多标签方案,从主题和修辞维度分析92个对话、720条推文,揭示二者互动模式及反制策略。
2025-07-28 cs.CL
How Hate Speech Varies by Target Identity: A Computational Analysis
Carnegie Mellon University(卡内基梅隆大学)
本文研究了仇恨言论如何根据其目标身份以系统的方式变化。在针对目标身份注释的多个仇恨言论数据集中,我们发现针对特定身份群体的仇恨言论训练的分类器很难推广到其他目标身份。这为仇恨言论的目标身份差异提供了经验证据,然后我们研究了这种变化的结构模式。我们发现,目标人口类别(如性别/性或种族/民族)似乎有一个更大的影响仇恨言论的语言比目标身份群体的相对社会权力。我们还发现,与针对特定身份的仇恨言论相关的词语通常与刻板印象、压迫历史、当前的社会运动以及其他特定于身份的社会背景有关。这些实验表明,在自动仇恨言论分类中,考虑目标身份以及与这些身份相关的社会背景的重要性。
2022-12-07 cs.CL
Hate Speech and Counter Speech Detection: Conversational Context Does Matter
University of North Texas(北德克萨斯大学);Arizona State University(亚利桑那州立大学)
仇恨言论和用户生成的内容一起充斥着网络空间。本文研究了对话上下文在注释和检测网络仇恨和反言论中的作用,其中上下文被定义为对话线程中的前面评论。我们创建了一个上下文感知的数据集,用于Reddit评论的三向分类任务:仇恨言论,反言论或中立。我们的分析表明,上下文是至关重要的,以确定仇恨和反言论:人类的判断改变大多数评论取决于我们是否显示注释者的上下文。语言分析深入了解人们用来表达仇恨和反击言论的语言。实验结果表明,神经网络获得显着更好的结果,如果考虑到上下文。我们还提出了定性的错误分析,阐明了(a)何时以及为什么上下文是有益的,以及(b)当考虑上下文时,我们的最佳模型所犯的其余错误。
2022-06-13 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
Hateful Messages: A Conversational Data Set of Hate Speech produced by Adolescents on Discord
Freie Universität Berlin(柏林自由大学);Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS(弗劳恩霍夫开放通信系统研究所FOKUS)
本研究构建了包含88,395条Discord青少年聊天消息的匿名仇恨言论数据集,以解决青少年语言偏见,约6.42%被标注为仇恨言论,作者平均年龄低于20岁。
2023-09-04 cs.CL
Cross-lingual Capsule Network for Hate Speech Detection in Social Media
Queen Mary University of London(伦敦玛丽女王大学)
大多数仇恨言论检测研究都集中在一种语言上,通常是英语,这限制了它们对其他语言的普遍性。在本文中,我们研究了跨语言的仇恨言论检测任务,解决这个问题,通过适应仇恨言论资源从一种语言到另一种语言。我们提出了一个跨语言的胶囊网络学习模型,加上额外的特定领域的词汇语义仇恨言论(CCNL-Ex)。我们的模型在AMI @ Evalita 2018和AMI@Ibereval2018的基准数据集上实现了最先进的性能,涉及三种语言:英语,西班牙语和意大利语,在所有六种语言对上都优于最先进的基线。
2021-08-06 cs.CL
MasonPerplexity at Multimodal Hate Speech Event Detection 2024: Hate Speech and Target Detection Using Transformer Ensembles
George Mason University(乔治梅森大学)
本文提出MasonPerplexity系统,使用XLM-roBERTa-large及多模型集成方法处理多模态仇恨言论及目标检测任务,在CASE 2024两项子任务中均取得第3名。
2024-02-18 cs.CL
Hate is the New Infodemic: A Topic-aware Modeling of Hate Speech Diffusion on Twitter
Jadavpur University(贾达夫普尔大学);IIIT-Delhi(德里印度理工学院);Wipro AI(威普罗人工智能)
网络仇恨言论,特别是在Twitter等微博平台上的仇恨言论,可以说是过去十年来最严重的问题。一些国家报告说,因恶意仇恨运动而引发的仇恨犯罪急剧上升。虽然检测仇恨言论是新兴的研究领域之一,但信息网络中与主题相关的仇恨的产生和传播仍未得到充分探讨。在这项工作中,我们专注于探索用户行为,这触发了Twitter上仇恨言论的起源,以及它如何通过转发传播。我们抓取了一个包含推文、转发、用户活动历史和追随者网络的大规模数据集,其中包括来自超过$41$百万独立用户的超过1.61亿条推文。我们还收集了超过60万篇在线发布的当代新闻文章。我们描述了支配这些动态的不同信息信号。我们的分析区分扩散动力学在仇恨的存在下,从通常的信息扩散。这促使我们在具有真实世界知识的主题感知环境中制定建模问题。为了预测任何给定标签的仇恨言论的开始,我们提出了多个功能丰富的模型,其中表现最好的模型的宏观F1得分为0.65。同时,为了预测Twitter上的转发动态,我们提出了RETINA,一种新的神经结构,它使用缩放的点积注意力来整合外源性影响。RETINA达到了0.85的宏观F1分数,超过了多个最先进的模型。我们的分析揭示了与现有的扩散模型相比,RETINA预测仇恨内容的转发动态的最高能力。
2020-10-09 cs.CL cs.LG cs.SI
Fine-Grained Chinese Hate Speech Understanding: Span-Level Resources, Coded Term Lexicon, and Enhanced Detection Frameworks
School of Computer Science and Technology, Dalian University of Technology(计算机科学与技术学院,大连理工大学)
针对中文仇恨言论检测可解释性研究面临的片段级标注数据稀缺和暗语识别不足两大挑战,本文提出了首个片段级中文仇恨言论数据集STATE ToxiCN,全面研究了LLMs对中文暗语仇恨词汇的语义解释能力,并提出一种整合标注词典的方法显著提升了检测性能。
2025-07-15 cs.CL
STATE ToxiCN: A Benchmark for Span-level Target-Aware Toxicity Extraction in Chinese Hate Speech Detection
School of Computer Science and Technology, Dalian University of Technology(计算机科学与技术学院,大连理工大学)
针对中文仇恨言论检测研究滞后、缺乏跨度级细粒度标注及仇恨俚语研究的问题,本文构建了首个跨度级中文仇恨言论数据集STATE ToxiCN,评估了现有模型检测性能并首次研究中文仇恨俚语的LLM检测能力,为相关研究提供资源与参考。
2025-05-20 cs.CL
Training-Time Explainability for Multilingual Hate Speech Detection: Aligning Model Reasoning with Human Rationales
Technological University Dublin(都柏林理工大学);National University of Sciences and Technology(国家科技大学);Maynooth University(梅努斯大学)
该研究针对多语言仇恨言论检测的不透明问题,提出训练时可解释性框架,对齐模型推理与人类理由,经HateXplain、BullySent数据集及多方法评估,可提升分类性能与解释质量,助力多语言文化敏感的内容审核。
2026-08-28 cs.AI cs.CL
Hate Speech Detection: A Solved Problem? The Challenging Case of Long Tail on Twitter
University of Sheffield(谢菲尔德大学);Southwest University(西南大学);Cardiff University(卡迪夫大学);DFKI GmbH(德国人工智能研究中心);Technical University Dresden(德累斯顿工业大学);Universitat Stuttgart(斯图加特大学);Barcelona Supercomputing Centre(巴塞罗那超级计算中心)
近年来,社交媒体上仇恨言论的传播越来越多,迫切需要采取有效的应对措施,这吸引了政府、公司和研究人员的大量投资。已经开发了大量的方法用于在线自动检测仇恨言论。这旨在将文本内容分类为非仇恨或仇恨言论,在这种情况下,该方法还可以识别目标特性(即,仇恨的类型,如种族和宗教)在仇恨言论。然而,我们注意到两者的性能之间存在显著差异(即,非仇恨vs. hate)。在这项工作中,我们认为重点放在后一个问题的实际原因。我们表明,这是一项更具挑战性的任务,因为我们对典型数据集中的语言进行的分析表明,仇恨言论缺乏独特的、有区别的特征,因此在数据集中的“长尾”中很难发现。然后,我们提出了深度神经网络结构作为特征提取器,特别有效地捕捉仇恨言论的语义。我们的方法在基于Twitter的仇恨言论数据集的最大集合上进行了评估,并且在宏观平均F1中能够超过最佳性能方法高达5个百分点,或者在识别仇恨内容的更具挑战性的情况下超过8个百分点。
2018-10-25 cs.CL
ProvocationProbe: Instigating Hate Speech Dataset from Twitter
GESIS - Leibniz Institute for Social Sciences(莱布尼茨社会科学研究所GESIS);University of Tartu(塔尔图大学)
本文构建 ProvocationProbe 数据集,基于 Twitter 约两万条涉九起全球争议的推文,标注并刻画煽动性仇恨言论区别于一般仇恨言论的特征。
2024-10-25 cs.CL