Confronting Abusive Language Online: A Survey from the Ethical and Human Rights Perspective
National Research Council Canada（加拿大国家研究委员会）
互联网上滥用内容的普遍存在可能导致严重的心理和身体伤害。自然语言处理（NLP）研究的重大努力一直致力于通过滥用内容检测和相关子领域（例如检测仇恨言论、毒性、网络欺凌等）来解决这个问题。尽管当前技术在研究中实现了高分类性能，但已经观察到，该技术的现实应用可能会造成意外伤害，比如压制代表性不足的群体。我们回顾了大量关于自动滥用检测的NLP研究，重点关注道德挑战，围绕八项既定的道德原则组织：隐私，问责制，安全性和安全性，透明度和可解释性，公平性和非歧视性，人类对技术的控制，专业责任和促进人类价值。在许多情况下，这些原则不仅涉及可能视情况而定的情境道德守则，而且实际上与普遍人权有关，如隐私权、不受歧视的自由和表达自由。我们强调需要研究这项技术的广泛社会影响，并将道德和人权考虑纳入应用生命周期的每个阶段，从任务制定和数据集设计，到模型培训和评估，再到应用部署。在这些原则的指导下，我们确定了一些尊重权利的社会技术解决方案来检测和应对在线滥用的机会，包括“轻推”，“微调”，价值敏感设计，反叙事，风格转移和人工智能驱动的公共教育应用程序。
2021-07-22 cs.AI cs.CL cs.CY
Detect All Abuse! Toward Universal Abusive Language Detection Models
The University of Sydney（悉尼大学）
近年来，在线辱骂性语言检测（ALD）已成为一个越来越重要的社会问题。在线ALD中的几个先前的工作集中在解决单个域中的单个辱骂性语言问题，如Twitter，并且尚未成功地转移到一般ALD任务或域。在本文中，我们介绍了一个新的通用ALD框架，MACAS，这是能够解决几种类型的ALD跨不同领域的任务。我们的通用框架涵盖了多方面的辱骂性语言嵌入，代表了辱骂性语言的目标和内容方面，并应用了一个文本图嵌入，分析用户的语言行为。然后，我们提出并使用交叉注意门流动机制，以涵盖滥用语言的多个方面。定量和定性的评估结果表明，我们的ALD算法竞争对手或超过六个国家的最先进的ALD算法在七个ALD数据集涵盖多个方面的辱骂性语言和不同的在线社区域。
2020-10-09 cs.CL
Abuse is Contextual, What about NLP? The Role of Context in Abusive Language Annotation and Detection
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
最广泛用于滥用语言检测的数据集包含消息列表，通常是推文，这些消息已被一个或多个注释器手动判断为滥用或非滥用，注释在消息级别执行。在本文中，我们调查会发生什么情况时，仇恨的内容的消息也是根据上下文判断，消息往往是模棱两可的，需要在发生的上下文中进行解释。我们首先重新注释一个广泛使用的数据集的一部分，在英语中的滥用语言检测在两个条件下，即有和没有上下文。然后，我们比较了在这两种类型的数据集上获得的三种分类算法的性能，认为上下文感知分类更具挑战性，但也更类似于真实的应用场景。
2021-03-27 cs.CL
The Unappreciated Role of Intent in Algorithmic Moderation of Social Media Content
Pennsylvania State University（宾夕法尼亚州立大学）；Villanova University（维拉诺瓦大学）
针对现有网络滥用检测模型未捕捉发布者意图、与平台审核政策脱节的问题，本文梳理相关前沿模型与基准数据集的意图感知能力，提出调整审核系统设计以匹配伦理与政策定义。
2024-05-17 cs.CL
HateMonitors: Language Agnostic Abuse Detection in Social Media
Indian Institute of Technology, Kharagpur（印度理工学院卡格普尔分校）
减少在线社交媒体中的仇恨和攻击性内容给版主带来了双重问题。一方面，不能对社交媒体实施严格的审查。另一方面，不能允许这种内容的自由流动。因此，我们需要有效的辱骂性语言检测系统来检测社交媒体中的有害内容。在本文中，我们介绍了我们的机器学习模型HateMonitor，该模型是为印欧语言仇恨语音和攻击性内容识别（HASOC）而开发的，这是FIRE 2019的一项共享任务。我们使用了梯度提升模型，以及BERT和LASER嵌入，使系统语言不可知。我们的模型在德国子任务A中处于第一位。我们还在https://github.com/punyajoy/HateMonitors-HASOC上公开了我们的模型。
2019-09-27 cs.CL cs.SI
Towards a comprehensive taxonomy of online abusive language informed by machine leaning
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
本文提出一个层级式、多面的在线辱骂性语言分类体系，整合18个多标签数据集，包含5个类别和17个维度，以促进在线辱骂检测与缓解领域的协调研究。
2025-04-24 cs.CL
Whose Opinions Matter? Perspective-aware Models to Identify Opinions of Hate Speech Victims in Abusive Language Detection
University of Turin（都灵大学）
社交媒体平台为用户提供了表达自由和交流信息和表达不同意见的媒介。不幸的是，这也导致了虐待内容的增长，其目的是歧视人们，并针对移民，LGBT，穆斯林，犹太人和妇女等最弱势群体。由于辱骂性语言本质上是主观的，因此在对诸如仇恨言论（HS）等辱骂性内容的注释中可能涉及高度两极分化的主题或事件。因此，我们需要新的方法来模拟来自不同个人和人口背景的人的相互冲突的观点和意见。在本文中，我们提出了一个深入的研究模型极化意见来自不同的社区的假设下，类似的特征（种族，社会背景，文化等）。可以影响注释者对某一现象的看法。我们相信，依靠这些信息，我们可以将注释者分成具有相似观点的群体。我们可以创建单独的黄金标准，每个组一个，以训练最先进的深度学习模型。我们可以采用集成方法将来自不同组的透视感知分类器组合到一个包容性模型中。我们还提出了一个新的资源，多角度的英语语言数据集注释根据不同的子类别相关的特征在线虐待：仇恨言论，侵略性，攻击性和刻板印象。通过在这个新资源上训练最先进的深度学习模型，我们展示了我们的方法如何提高最先进的监督分类器的预测性能。
2021-06-30 cs.AI cs.CL
BanglaDial-Abuse: A Corpus-Grounded Dataset for Regional Dialect Identification in Abusive Bangla Text
American International University-Bangladesh（美国国际大学孟加拉分校）
针对孟加拉语滥用文本的区域方言识别挑战，构建了包含四种方言各250句的平衡数据集，并采用基于语料库的合成方法生成，主要贡献在于提供方言识别任务资源。
2026-10-02 cs.CL
Enriching Abusive Language Detection with Community Context
McGill University（麦吉尔大学）
使用贬义词可以是善意的，也可以是积极的。当滥用检测模型将这些表达错误地归类为贬义时，它们无意中审查了边缘化群体进行的富有成效的对话。与非主导观点互动的一种方法是在对话中加入语境。以前的研究已经利用了用户级和线程级的功能，但它往往忽略了有效对话发生的空间。我们的论文强调了社区背景如何提高滥用语言检测的分类结果。我们为此作出两项主要贡献。首先，我们表明，在线社区集群的性质，他们对虐待受害者的支持。其次，我们建立了社区环境如何提高准确性，降低最先进的辱骂性语言分类器的误报率。这些发现为语境感知模型在辱骂性语言研究中的应用提供了一个有希望的方向。
2022-06-16 cs.CL
UM-IU@LING at SemEval-2019 Task 6: Identifying Offensive Tweets Using BERT and SVMs
University of Michigan（密歇根大学）；Indiana University（印第安纳大学）
本文描述了UM-IU@LING的SemEval 2019任务6的系统：OffensEval。我们采取混合方法来识别和分类社交媒体中的仇恨言论。在子任务A中，我们微调了一个基于BERT的分类器来检测推文中的滥用内容，在测试数据上获得了0.8136的宏观F1分数，从而在103个提交中排名第三。在子任务B和C中，我们使用了具有选定字符n-gram特征的线性SVM。对于子任务C，我们的系统可以识别滥用的目标，其宏观F1得分为0.5243，在65个提交中排名第27位。
2019-04-06 cs.CL
Too good to be true? Predicting author profiles from abusive language
University College London（伦敦大学学院）
在线威胁和滥用问题可能会通过计算方法得到缓解，通过作者特征分析更好地了解或确定滥用的来源。然而，辱骂性语言构成了一个特定的语言领域，它还没有被测试是否出现基于文本作者的个性，年龄或性别的差异。本研究探讨作者人口统计学和滥用与正常语言之间的统计关系，并进行预测实验的个性，年龄和性别。虽然作者特征和语言使用之间建立了一些统计关系，但这些模式并没有转化为高预测性能。人格特征的预测值在实际值的15%以内，年龄的预测误差为10年，性别的分类正确率为70%。这些结果是穷人相比，以前的研究作者剖析，因此，我们敦促谨慎应用这在辱骂性语言和威胁评估的背景下。
2020-09-03 cs.CL
Examining Racial Bias in an Online Abuse Corpus with Structural Topic Modeling
Cornell University（康奈尔大学）
我们使用结构主题建模来检查收集到的数据中的种族偏见，以训练模型来检测社交媒体帖子中的仇恨言论和辱骂性语言。我们通过添加一个额外的功能来增加滥用语言数据集，该功能指示用非洲裔美国人英语撰写的推文的预测概率。然后，我们使用结构主题模型来研究的内容的推文，以及如何流行的不同主题是相关的滥用注释和方言预测。我们发现，某些话题被不成比例地种族化，并被认为是虐待。我们讨论如何主题建模可能是一个有用的方法来识别偏见的注释数据。
2020-05-26 cs.CL cs.SI
Modeling Users and Online Communities for Abuse Detection: A Position on Ethics and Explainability
Facebook AI（脸书人工智能）；University of Amsterdam（阿姆斯特丹大学）
互联网上的滥用是我们这个时代的一个重要社会问题。数以百万计的互联网用户在各种平台上面临骚扰、种族主义、人身攻击和其他类型的虐待。虐待对个人的心理影响可能是深刻和持久的。因此，在过去的几年里，在NLP领域，已经有了大量的研究工作来自动检测滥用语言。在这份立场文件中，我们讨论了用户和在线社区建模在滥用检测中的作用。具体来说，我们回顾和分析最先进的方法，利用用户或社区信息，以加强对滥用语言的理解和检测。然后，我们探讨了将用户和社区信息的伦理挑战，布局考虑，以指导未来的研究。最后，我们讨论的主题，在滥用语言检测的可解释性，提出属性，一个可解释的方法应该旨在展示。我们描述了如何用户和社区信息可以促进实现这些属性，并讨论了有效的操作性的可解释性的属性。
2021-04-14 cs.AI cs.CL
Longitudinal Abuse and Sentiment Analysis of Hollywood Movie Dialogues using Language Models
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics, UNSW Sydney（过渡人工智能研究组，数学与统计学学院）；Centre for Artificial Intelligence and Innovation, Pingla Institute, Sydney, Australia（人工智能与创新中心，Pingla研究所）
本研究利用微调语言模型分析1950-2024年千余部好莱坞电影台词的辱骂内容与情感纵向变化，发现近几十年辱骂内容上升、惊悚片占比高，积极情绪仍普遍，且奥斯卡提名片辱骂内容反超票房前十大片。
2025-10-05 cs.AI cs.CL
Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning
SAMOVAR, Télécom SudParis（萨莫瓦尔实验室，南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
本研究针对低资源场景下音频滥用内容检测研究不足的问题，结合Wav2Vec、Whisper等预训练模型表示与MAML框架，基于ADIMA数据集用少样本学习实现10种印度语言的滥用内容检测，验证了预训练模型的低资源泛化能力。
2024-12-13 cs.AI cs.CL
Neural Word Decomposition Models for Abusive Language Detection
Amazon AI（亚马逊人工智能）
社交媒体上的用户生成文本通常具有许多不受欢迎的特征，包括仇恨言论，辱骂性语言，侮辱等，这些特征旨在攻击或虐待特定人群。通常，与传统文本相比，这样的文本被不同地书写，传统文本诸如涉及明确提及辱骂性词语、混淆词语和类型错误或隐含辱骂的新闻，即，表明或针对消极的刻板印象。因此，当我们应用为传统文本开发的自然语言处理技术时，处理此文本提出了几个鲁棒性挑战。例如，使用基于单词或标记的模型来处理这样的文本可以将单词的两个拼写变体视为两个不同的单词。根据最近的工作，我们分析了字符，子字和字节对编码（BPE）模型可以帮助用户生成的文本所带来的一些挑战。在我们的工作中，我们分析了上述每种技术的有效性，比较和对比各种词分解技术与其他技术结合使用时。我们尝试微调大型预训练语言模型，并通过研究维基百科攻击，毒性和Twitter仇恨言论数据集来证明它们对域转移的鲁棒性
2019-10-02 cs.CL
Joint Modelling of Emotion and Abusive Language Detection
University of Amsterdam（阿姆斯特丹大学）；Facebook AI（脸书人工智能研究院）；King’s College London（伦敦国王学院）
在线交流平台的兴起伴随着一些不良影响，例如在线攻击和虐待行为的扩散。为了解决这个问题，自然语言处理（NLP）社区已经尝试了一系列用于滥用检测的技术。虽然取得了巨大的成功，但这些方法迄今为止只专注于对评论和用户在线社区的语言特性进行建模，而忽视了用户的情绪状态以及这可能如何影响他们的语言。然而，后者与虐待行为有着不可分割的联系。在本文中，我们提出了第一个联合模型的情绪和辱骂性语言检测，实验中的多任务学习框架，允许一个任务通知其他。我们的研究结果表明，结合情感特征可以显着提高数据集的滥用检测性能。
2020-05-28 cs.CL cs.LG
HateBERT: Retraining BERT for Abusive Language Detection in English
University of Groningen（格罗宁根大学）；University of Turin（都灵大学）；University of Passau（帕绍大学）
在本文中，我们介绍了HateBERT，一个再训练的BERT模型，在英语中的滥用语言检测。该模型是在RAL-E上训练的，RAL-E是一个大规模的Reddit英语评论数据集，这些评论来自我们收集并向公众提供的被禁止攻击，辱骂或仇恨的社区。我们提出了一个一般的预训练的语言模型和滥用倾向的版本之间的详细比较的结果，通过重新训练与来自被禁止的社区的帖子对三个英语数据集的进攻，辱骂性语言和仇恨言论检测任务。在所有数据集上，HateBERT的性能都优于相应的一般BERT模型。我们还讨论了一组实验，比较了通用预训练语言模型及其相应的滥用语言倾向的对应物在数据集上的可移植性，表明可移植性受到注释现象的兼容性的影响。
2021-02-04 cs.CL
Abusive Language Detection with Graph Convolutional Networks
Facebook AI（Facebook人工智能）；ILLC, University of Amsterdam（阿姆斯特丹大学ILLC）
互联网上的虐待是我们这个时代的一个重大社会问题。以前的研究表明，Twitter中的自动滥用语言检测，基于社区的用户分析是一个很有前途的技术，这项任务。然而，现有的方法只捕捉肤浅的在线社区建模追随者的关系。相比之下，使用图卷积网络（GCN），我们提出了第一种方法，它不仅捕获了在线社区的结构，还捕获了其中用户的语言行为。我们表明，这种异构的图形结构的社区建模显着推进了当前的滥用语言检测的最新技术水平。
2019-04-05 cs.CL
Hidden behind the obvious: misleading keywords and implicitly abusive language on social media
Queen Mary University of London（伦敦玛丽女王大学）
虽然社交媒体提供了自我表达的自由，但辱骂性语言会产生重大的负面社会影响。由于这个问题的重要性，在滥用语言的自动检测的研究已经见证了增长和改善。然而，这些检测模型显示出对强烈指示性关键字的依赖，例如诽谤和亵渎。这意味着他们可能会错误地（1a）在没有这些关键字的情况下错过滥用，或者（1b）用这些关键字标记非滥用，并且（2）他们在看不见的数据上表现不佳。尽管认识到这些问题，但文献中仍然存在差距和不一致之处。在这项研究中，我们详细分析了关键字从数据集构建到模型行为的影响，重点是模型如何在（1a）和（1b）上出错，以及（1a）和（1b）如何与（2）相互作用。通过分析，我们为未来的研究提供了建议，以解决所有三个问题。
2022-05-03 cs.CL cs.SI
From Abusive Language Classification to Sequence Labeling Identification
Everdian
本研究将辱骂性语言识别定义为序列标注任务，联合提取辱骂片段与目标提及，在试点语料上对比句子级分类，证明其竞争力并提供局部化输出，同时指出边界恢复难点与未来方向。
2026-10-06 cs.CL cs.LG
Is More Data Better? Re-thinking the Importance of Efficiency in Abusive Language Detection with Transformers-Based Active Learning
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Rewire；Meedan
注释辱骂性语言是昂贵的，后勤复杂，并造成心理伤害的风险。然而，大多数机器学习研究都优先考虑最大化效率（即，F1或准确性分数）而不是数据效率（即，最小化被注释的数据量）。在本文中，我们在不同比例的滥用数据集上使用模拟实验来证明，基于transformers的主动学习是一种很有前途的方法，可以大幅提高效率，同时仍然保持高效率，特别是当滥用内容占数据集的比例较小时。这种方法需要一小部分标记数据才能达到与在整个数据集上训练相当的性能。
2022-09-21 cs.CL
Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages
本文探讨了CLAP模型在低资源印地语中直接从音频检测滥用语音的可能性，通过ADIMA数据集评估少样本对比适应的效果，发现CLAP能提供强跨语言音频表示，但少样本适应效果语言依赖且非单调。
2026-08-03 cs.CL cs.SD
Graphically Speaking: Unmasking Abuse in Social Media with Conversation Insights
INRIA（法国国家信息与自动化研究所）；Sciences Po（巴黎政治学院）；Télécom Paris（巴黎电信学院）
提出利用图神经网络将社交媒体对话建模为图以捕获上下文，系统研究图表示与上下文窗口配置，显著提升滥用语言检测的F1分数。
2025-04-02 cs.AI cs.CL cs.LG
Multilingual and Multimodal Abuse Detection
ShareChat
社交媒体平台上存在滥用内容是不可取的，因为它严重阻碍了健康和安全的社交媒体互动。虽然自动滥用检测已经在文本领域得到了广泛的研究，但音频滥用检测仍然没有得到研究。在本文中，我们试图从多模态的角度在多语言的社交媒体设置的会话音频中的滥用检测。我们的关键假设是，随着音频的建模，结合来自其他模态的判别信息可能对这项任务非常有益。我们提出的方法，MADA，明确地侧重于两种形式以外的音频本身，即，基本的情感表达的虐待音频和语义信息封装在相应的文本形式。观察证明，MADA在ADIMA数据集上表现出优于仅音频方法的收益。我们在10种不同的语言上测试了所提出的方法，并通过利用多种模式观察到0.6%-5.2%的一致收益。我们还进行了广泛的消融实验，以研究每种方式的贡献，并观察最佳结果，同时利用所有方式在一起。此外，我们进行实验，以经验证实，潜在的情绪和虐待行为之间有很强的相关性。
2022-04-03 cs.CL cs.LG cs.SD
Deep Prompt Multi-task Network for Abuse Language Detection
Zhejiang Lab（之江实验室）
针对现有辱骂性语言检测方法无法充分激发预训练语言模型通用知识、准确率有限的问题，提出融合深度与轻量提示调优、Bi-LSTM+FFN任务头及多任务学习的DPMN网络，在三个公开数据集上性能超越当前最优方法。
2024-06-24 cs.CL cs.LG
Toxicity Detection for Indic Multilingual Social Media Content
NMIMS University（NMIMS大学）；Thoughtworks
有毒内容是当今社交媒体平台最关键的问题之一。2020年，仅印度就有5.18亿社交媒体用户。为了给内容创作者和他们的观众提供良好的体验，标记有毒评论和发布这些评论的用户至关重要。但最大的挑战是识别低资源印度语言的毒性，因为同一文本存在多种表示形式。此外，社交媒体上的帖子/评论不遵循特定的格式、语法或句子结构;这使得多语言社交媒体平台的滥用检测任务更具挑战性。本文介绍了由团队“Moj Masti”使用ShareChat/Moj在\emph{IIIT-D Multilingual Abusive Comment Identification}挑战中提供的数据提出的系统。我们专注于如何利用基于多语言Transformer的预训练和微调模型来处理代码混合/代码切换分类任务。我们表现最好的系统是XLM-RoBERTa和MuRIL的组合，其在测试数据/排行榜上的平均F-1得分为0.9。我们还观察到，通过添加音译数据，性能有所提高。此外，使用弱元数据，集成和一些后处理技术提高了我们系统的性能，从而使我们在排行榜上排名第一。
2022-01-03 cs.CL
A survey of textual cyber abuse detection using cutting-edge language models and large language models
Department of Computer Science and A.I, University of Granada（计算机科学与人工智能系，格拉纳达大学）
本文综述了社交媒体中仇恨言论、网络欺凌等多种文本滥用形式，重点分析语言模型和大语言模型在滥用内容检测与生成中的双重作用，为在线安全与伦理研究提供参考。
2025-01-09 cs.AI cs.CL
Context-Aware Attention for Understanding Twitter Abuse
Columbia University（哥伦比亚大学）
任何社交媒体平台的最初目标都是促进用户沉迷于健康和有意义的对话。但人们发现，它往往成为肆意攻击的途径。我们想缓解这个问题，因此我们试图提供一个详细的分析，如何滥用行为可以在Twitter上监控。自然语言结构的复杂性使得这项任务具有挑战性。我们将展示如何将上下文注意力应用于长短期记忆网络，帮助我们在Twitter的多个基准滥用检测数据集上获得接近最先进水平的结果。
2020-01-29 cs.CL
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar（锡尔卡尔国家技术学院）
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型，在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL
A Bootstrapped Model to Detect Abuse and Intent in White Supremacist Corpora
Queen's University（女王大学）
情报分析人员面临一个难题：区分极端主义言论和潜在的极端主义暴力。许多人满足于表示对某个目标群体的虐待，但只有少数人表示愿意参与暴力。我们通过构建意图的预测模型，从意图词的种子集和表达意图的语言模板中自举来解决这个问题。我们为意图设计了一个n-gram和基于注意力的深度学习器，并将它们用作共学习器，以改善预测的基础和预测本身。它们在几轮中收敛到稳定的预测。我们将对意图的预测与对辱骂性语言的预测相结合，以检测表明暴力行为欲望的帖子。我们通过将其与众包标签进行比较来验证预测。该方法可以应用于其他语言属性，一个合理的起点可以定义。
2020-08-10 cs.CL
A Just and Comprehensive Strategy for Using NLP to Address Online Abuse
University of Michigan（密歇根大学）；School of Information（信息学院）；Georgia Tech（佐治亚理工学院）；School of Interactive Computing（交互计算学院）
在线滥用行为影响着数百万人，NLP社区试图通过开发检测滥用的技术来缓解这一问题。然而，目前的方法主要侧重于狭义的虐待定义，不利于寻求确认和解决办法的受害者。在这份立场文件中，我们认为社区需要做出三个实质性的改变：（1）扩大我们的问题范围，以解决更微妙和更严重的虐待形式，（2）开发积极的技术，在虐待造成伤害之前对抗或抑制虐待，以及（3）在正义的框架内重新构建我们的努力，以促进健康的社区。
2019-06-06 cs.CL cs.CY cs.SI
A Keyword Based Approach to Understanding the Overpenalization of Marginalized Groups by English Marginal Abuse Models on Twitter
Twitter（推特（X））
有害内容检测模型往往对边缘化群体的内容具有更高的误报率。在Twitter上的边缘虐待模式的背景下，这种不成比例的惩罚造成了能见度降低的风险，边缘化社区失去了在平台上表达意见的机会。目前的算法危害缓解方法和NLP模型的偏差检测通常是非常特别的，并且容易受到人类偏见的影响。我们在本文中做出两个主要贡献。首先，我们设计了一种新的方法，它提供了一种原则性的方法来检测和测量与基于文本的模型相关的潜在危害的严重程度。其次，我们应用我们的方法来审计Twitter的英语边际滥用模型，这是用于删除放大资格的边际滥用内容。在不使用人口统计标签或方言分类器的情况下，我们仍然能够检测和衡量与边缘化社区言论过度惩罚相关问题的严重性，例如使用回收言论，反言论和身份相关术语。为了减轻相关的危害，我们尝试添加额外的真实负面示例，并发现这样做可以改善我们的公平性指标，而不会大幅降低模型性能。
2022-10-07 cs.CL
Abusive Span Detection for Vietnamese Narrative Texts
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
针对越南NLP领域虐待内容检测研究不足的问题，本研究构建了人工标注的越南叙事文本虐待片段数据集，实验验证冻结PhoBERT结合BiLSTM的轻量模型在检测任务中表现最优，为后续研究奠定基础。
2023-12-13 cs.CL cs.LG
ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI
Heriot-Watt University（赫瑞瓦特大学）；Alana AI（阿拉纳人工智能）
我们提出了第一个英语语料库研究的辱骂性语言对三个会话人工智能系统收集“在野外”：一个开放域的社会机器人，一个基于规则的聊天机器人，和一个基于任务的系统。为了考虑任务的复杂性，我们采取了一种更“细致入微”的方法，我们的ConvAI数据集反映了滥用的细粒度概念，以及来自多个专家注释者的观点。我们发现，与其他常用的数据集相比，滥用的分布有很大的不同，对这些系统的虚拟角色有更多的性侵犯。最后，我们报告了对现有模型进行基准测试的结果。毫不奇怪，我们发现F1分数低于90%有很大的改进空间。
2021-09-20 cs.CL cs.HC
Concept-Based Explanations to Test for False Causal Relationships Learned by Abusive Language Classifiers
National Research Council Canada（加拿大国家研究委员会）
本文提出基于概念的解释指标，用于检测和比较辱骂性语言分类器对负面情绪等概念的虚假全局充分性依赖，无需依赖挑战集即可评估模型过度依赖程度。
2023-07-04 cs.AI cs.CL
Language models for longitudinal analysis of abusive content in Billboard Music Charts
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics（过渡人工智能研究组、数学与统计学学院）；Department of Electrical Engineering（电气工程系）；Indian Institute of Technology Delhi（印度理工学院德里）
本研究利用深度学习和语言模型纵向分析Billboard排行榜七十年歌词，发现自1990年起露骨内容显著增加，并揭示语言模型捕捉社会规范演变的能力。
2025-10-06 cs.AI cs.CL
ADIMA: Abuse Detection In Multilingual Audio
ShareChat
口语文本中的滥用内容检测可以通过执行自动语音识别（ASR）和利用自然语言处理的进步来解决。然而，ASR模型引入了延迟，并且通常对亵渎词表现不佳，因为它们在训练语料库中代表性不足，并且没有清晰或完整地说出。完全在音频领域探索这个问题在很大程度上受到缺乏音频数据集的限制。基于这些挑战，我们提出了ADIMA，这是一个新颖的，语言多样的，道德来源的，专家注释的和平衡的多语言亵渎检测音频数据集，包括10种印度语言的11，775个音频样本，跨越65小时，由6，446个独立用户使用。通过跨单语和跨语言zero-shot设置的定量实验，我们迈出了在印度语言中民主化基于音频的内容审核的第一步，并提出了我们的数据集，为未来的工作铺平道路。
2022-02-16 cs.CL cs.SD eess.AS
On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada（加拿大国家研究委员会）
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中，训练和测试数据集通常是从相似的数据样本中获得的，但在实践中，系统通常应用于与训练集在主题和类别分布上不同的数据。此外，在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现，维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力，而不会降低域内分类性能。对于一个健壮的数据集设计，我们建议应用廉价的无监督方法来检查收集的数据，并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
Creating and Evaluating Code-Mixed Nepali-English and Telugu-English Datasets for Abusive Language Detection Using Traditional and Deep Learning Models
SRM University AP（SRM 大学 AP校区）
本研究构建了尼泊尔语-英语和泰卢固语-英语混合滥用语言检测数据集，并使用多种机器学习、深度学习及大语言模型进行评估，为低资源语言NLP提供了基准与见解。
2025-04-23 cs.AI cs.CL cs.LG
DetoxBench: Benchmarking Large Language Models for Multitask Fraud & Abuse Detection
本文提出DetoxBench多任务基准，覆盖垃圾邮件、仇恨言论和厌女语言等场景，评测多家主流LLM，揭示其在语用推理任务上的显著短板。
2024-09-09 cs.CL cs.LG
Using Machine Learning to Enhance the Detection of Obfuscated Abusive Words in Swahili: A Focus on Child Safety
本研究利用机器学习方法提升斯瓦希里语中隐晦侮辱性词汇的检测能力，旨在提高儿童网络环境的安全性。
2026-02-13 cs.AI cs.CL cs.HC
Low-Resource Counterspeech Generation for Indic Languages: The Case of Bengali and Hindi
针对孟加拉语和印地语等低资源语言的反制言论生成问题，构建了包含5062对数据的基准数据集，并评估多种跨语言迁移基线模型，发现单语设置效果最佳且同语系语言间的合成迁移效果更好。
2024-02-11 cs.CL cs.HC
Misogynistic Tweet Detection: Modelling CNN with Small Datasets
Queensland University of Technology（昆士兰科技大学）
近年来，社交媒体平台Twitter上针对妇女的在线虐待行为引起了相当大的关注。一种有效识别厌女症虐待的自动化方法可以提高我们对持续一段时间内与虐待性推文相关的模式、驱动因素和反应有效性的理解。然而，训练一个神经网络（NN）模型与一个小的一组标记的数据来检测厌恶女性的推文是困难的。这部分是由于包含厌恶女性内容的推文的复杂性，以及在NN模型中需要学习的大量参数。我们已经进行了一系列的实验，以探讨如何训练神经网络模型，以有效地检测厌恶女性的推文。特别是，我们已经定制和正则化了卷积神经网络（CNN）架构，并表明在特定任务域上预训练的词向量可以用于在少量标记数据可用时有效地训练CNN模型。以这种方式训练的CNN模型与最先进的模型相比提高了准确性。
2020-08-28 cs.CL cs.LG cs.SI
Cyberbullying Detection for Low-resource Languages and Dialects: Review of the State of the Art
Kitami Institute of Technology（北见工业大学）；Rangamati Science and Technology University（兰加马蒂科技大学）
本文系统综述了低资源语言与方言的网络欺凌检测研究，识别研究空白，发布孟加拉语吉大港方言数据集，并提出初始机器学习及BanglaBERT解决方案。
2023-08-30 cs.CL
