Tackling Online Abuse: A Survey of Automated Abuse Detection Methods
Facebook AI(脸书人工智能研究院);King’s College London(伦敦国王学院);University of Amsterdam(阿姆斯特丹大学)
互联网上的虐待是我们这个时代的一个重要社会问题。数以百万计的互联网用户在网络平台上面临骚扰、种族主义、人身攻击和其他类型的虐待。这种虐待对个人的心理影响可能是深刻和持久的。因此,在过去的几年中,在自然语言处理(NLP)领域中已经有了大量的研究工作来实现自动滥用检测。在本文中,我们提出了一个全面的调查的方法,已提出的日期,从而为这一领域的进一步发展提供了一个平台。我们描述了现有的数据集,并回顾了滥用检测的计算方法,分析了它们的优势和局限性。我们讨论了出现的主要趋势,强调了仍然存在的挑战,概述了可能的解决方案,并提出了道德和可解释性的指导方针
2020-09-30 cs.CL
Neural Word Decomposition Models for Abusive Language Detection
Amazon AI(亚马逊人工智能)
社交媒体上的用户生成文本通常具有许多不受欢迎的特征,包括仇恨言论,辱骂性语言,侮辱等,这些特征旨在攻击或虐待特定人群。通常,与传统文本相比,这样的文本被不同地书写,传统文本诸如涉及明确提及辱骂性词语、混淆词语和类型错误或隐含辱骂的新闻,即,表明或针对消极的刻板印象。因此,当我们应用为传统文本开发的自然语言处理技术时,处理此文本提出了几个鲁棒性挑战。例如,使用基于单词或标记的模型来处理这样的文本可以将单词的两个拼写变体视为两个不同的单词。根据最近的工作,我们分析了字符,子字和字节对编码(BPE)模型可以帮助用户生成的文本所带来的一些挑战。在我们的工作中,我们分析了上述每种技术的有效性,比较和对比各种词分解技术与其他技术结合使用时。我们尝试微调大型预训练语言模型,并通过研究维基百科攻击,毒性和Twitter仇恨言论数据集来证明它们对域转移的鲁棒性
2019-10-02 cs.CL
Detection of Abuse in Financial Transaction Descriptions Using Machine Learning
Commonwealth Bank of Australia(澳大利亚联邦银行)
自从对新的支付平台(NPP)进行修改,将更长的信息作为支付说明以来,人们已经确定人们现在正在使用它进行通信,在某些情况下,该系统被用作家庭暴力的目标形式。这类技术辅助的滥用行为在识别、行动和纠正这种行为的方法方面提出了新的挑战。澳大利亚联邦银行人工智能实验室团队(CBA AI Labs)开发了一个新系统,该系统利用自然语言处理(NLP)深度学习模型的进步来创建一个强大的滥用检测器,定期对所有交易进行评分,并在数百万条记录中识别高风险滥用案例。在本文中,我们描述了银行服务背景下的技术辅助滥用问题,概述了开发的模型及其性能,以及更广泛的操作框架。
2023-03-10 cs.CL cs.CY cs.LG
AbuseAnalyzer: Abuse Detection, Severity and Target Prediction for Gab Posts
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术研究所);Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术研究所);Microsoft(微软)
虽然在线社交媒体平台的广泛普及使信息传播更快,但也导致了不同类型的广泛在线滥用,如仇恨言论、攻击性语言、性别歧视和种族主义观点等。以前的工作集中在将用户帖子分类为各种形式的滥用行为。但几乎没有任何关注估计虐待的严重程度和目标。在本文中,我们提出了第一个数据集,其中包含来自Gab的7601个帖子,该数据集从滥用的存在,严重程度和滥用行为的目标的角度来看待在线滥用。我们还提出了一个系统来解决这些任务,获得的准确性为80%的滥用存在,滥用目标预测的准确性为82%,滥用严重程度预测的准确性为65%。
2020-10-08 cs.CL cs.IR
Understanding Abuse: A Typology of Abusive Language Detection Subtasks
University of Sheffield(谢菲尔德大学);Cornell University(康奈尔大学);Qatar Computing Research Institute(卡塔尔计算研究所)
随着对滥用语言检测和分析的研究的增加,有必要对已被分组在此标签下的不同子任务之间的关系进行批判性考虑。基于仇恨言论,网络欺凌和在线虐待的工作,我们提出了一个类型学,捕捉中央子任务之间的相似性和差异,我们讨论了其对数据注释和功能建设的影响。我们强调研究人员可以采取的实际行动,以最好地接近他们感兴趣的滥用语言检测子任务。
2017-05-30 cs.CL
Explainable Abuse Detection as Intent Classification and Slot Filling
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
为了主动为社交媒体用户提供安全的在线体验,需要能够检测有害帖子并及时提醒平台版主的系统。为了保证执行一致的政策,版主提供了详细的指导方针。相比之下,大多数最先进的模型从标记的示例中了解滥用是什么,因此将其预测建立在虚假线索上,例如存在不可靠的群体标识符。在这项工作中,我们引入了政策意识的滥用检测的概念,放弃了不切实际的期望,系统可以可靠地学习哪些现象构成滥用,从检查数据本身。我们提出了一个机器友好的政策表示,主持人希望执行,通过将其分解为一个集合的意图和插槽。我们收集并注释了一个包含3,535个具有此类插槽的英文帖子的数据集,并展示了意图分类和插槽填充的架构如何用于滥用检测,同时为模型决策提供了依据。
2022-10-06 cs.CL
Modeling Users and Online Communities for Abuse Detection: A Position on Ethics and Explainability
Facebook AI(脸书人工智能);University of Amsterdam(阿姆斯特丹大学)
互联网上的滥用是我们这个时代的一个重要社会问题。数以百万计的互联网用户在各种平台上面临骚扰、种族主义、人身攻击和其他类型的虐待。虐待对个人的心理影响可能是深刻和持久的。因此,在过去的几年里,在NLP领域,已经有了大量的研究工作来自动检测滥用语言。在这份立场文件中,我们讨论了用户和在线社区建模在滥用检测中的作用。具体来说,我们回顾和分析最先进的方法,利用用户或社区信息,以加强对滥用语言的理解和检测。然后,我们探讨了将用户和社区信息的伦理挑战,布局考虑,以指导未来的研究。最后,我们讨论的主题,在滥用语言检测的可解释性,提出属性,一个可解释的方法应该旨在展示。我们描述了如何用户和社区信息可以促进实现这些属性,并讨论了有效的操作性的可解释性的属性。
2021-04-14 cs.AI cs.CL
HateBERT: Retraining BERT for Abusive Language Detection in English
University of Groningen(格罗宁根大学);University of Turin(都灵大学);University of Passau(帕绍大学)
在本文中,我们介绍了HateBERT,一个再训练的BERT模型,在英语中的滥用语言检测。该模型是在RAL-E上训练的,RAL-E是一个大规模的Reddit英语评论数据集,这些评论来自我们收集并向公众提供的被禁止攻击,辱骂或仇恨的社区。我们提出了一个一般的预训练的语言模型和滥用倾向的版本之间的详细比较的结果,通过重新训练与来自被禁止的社区的帖子对三个英语数据集的进攻,辱骂性语言和仇恨言论检测任务。在所有数据集上,HateBERT的性能都优于相应的一般BERT模型。我们还讨论了一组实验,比较了通用预训练语言模型及其相应的滥用语言倾向的对应物在数据集上的可移植性,表明可移植性受到注释现象的兼容性的影响。
2021-02-04 cs.CL
WAC: A Corpus of Wikipedia Conversations for Online Abuse Detection
Avignon Université(阿维尼翁大学)
随着在线社交网络的普及,监控所有用户生成的内容变得越来越困难。因此,自动化互联网上不适当的交流内容的审核过程已成为一项优先任务。已经为此目的提出了方法,但是找到合适的数据集来训练和开发它们可能具有挑战性。这个问题是特别真实的方法的基础上从结构和动态的对话中得到的信息。在这项工作中,我们提出了一个原始的框架,维基百科评论语料库的基础上,评论级滥用注释的不同类型。主要的贡献涉及重建的对话,通过比较现有的语料库,它只关注孤立的消息(即采取了他们的会话上下文)。这个超过380k注释消息的大型语料库为在线滥用检测,特别是基于上下文的方法开辟了前景。我们还建议,除了这个语料库,一个完整的基准平台,以刺激和公平地比较科学作品的内容滥用检测的问题,试图避免重复出现的问题的结果复制。最后,我们将两种分类方法应用于我们的数据集,以展示其潜力。
2020-03-13 cs.CL
Mind Your Language: Abuse and Offense Detection for Code-Switched Languages
NSIT-Delhi(德里内塔吉·苏巴斯理工学院);Adobe Systems(奥多比系统公司);IIIT, Delhi(德里英迪拉·甘地信息技术学院);NUS, Singapore(新加坡国立大学)
在像印度次大陆这样的多语言社会中,代码转换语言的使用非常流行,对用户来说也很方便。在本文中,我们研究的代码切换对印地语和英语(即Hinglish),这对是最口语的犯罪和滥用检测。由于印度式英语的语法、词汇、语义和拼写都不固定,这使得这项任务变得困难。我们应用迁移学习并建立了一个基于LSTM的仇恨语音分类模型。该模型的性能超过了目前最好的模型,在印度式英语攻击性文本分类这一尚未开发的领域中具有最先进的水平。我们还发布了我们的模型和为研究目的训练的嵌入
2018-09-23 cs.CL
Session-based Cyberbullying Detection in Social Media: A Survey
Queen Mary University of London(伦敦玛丽女王大学)
网络欺凌是在线社交媒体中普遍存在的问题,欺凌者通过社交媒体会话虐待受害者。通过调查通过社交媒体会话实施的网络欺凌,最近的研究探讨了挖掘模式和特征,以建模和理解网络欺凌的两个定义特征:重复行为和权力不平衡。在这篇调查论文中,我们定义了基于会话的网络欺凌检测框架,该框架封装了问题的不同步骤和挑战。基于这个框架,我们提供了一个全面的概述,基于会话的网络欺凌检测在社交媒体上,深入研究现有的努力,从数据和方法的角度。我们的审查使我们提出了一套最佳实践的循证标准,以创建基于会话的网络欺凌数据集。此外,我们还进行了基准实验,比较了最先进的基于会话的网络欺凌检测模型以及两个不同数据集上的大型预训练语言模型的性能。通过我们的回顾,我们还提出了一系列开放的挑战,作为未来的研究方向。
2022-07-14 cs.CL
Neural Character-based Composition Models for Abuse Detection
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所);University of Amsterdam(阿姆斯特丹大学)
近年来,社交媒体的出现助长了一些非常不受欢迎的现象,如互联网上攻击性语言、仇恨言论、性别歧视言论等的泛滥。有鉴于此,已经做出了一些努力来自动检测和缓和这种滥用内容。然而,用户为逃避侦查而故意混淆文字,对这些努力的有效性构成了严重挑战。基于递归神经网络的滥用语言检测的当前最新方法没有明确解决这个问题,而是求助于针对未看到的单词的通用OOV(词汇表外)嵌入。然而,在对所有未看到的单词使用单个嵌入时,我们失去了区分混淆单词和非混淆单词或罕见单词的能力。在本文中,我们通过设计一个模型来解决这个问题,该模型可以为未见过的单词组成嵌入。我们的实验表明,我们的方法显着推进了目前的最先进的滥用检测数据集从两个不同的领域,即Twitter和维基百科的讨论页。
2018-09-02 cs.CL
ConvAbuse: Data, Analysis, and Benchmarks for Nuanced Abuse Detection in Conversational AI
Heriot-Watt University(赫瑞瓦特大学);Alana AI(阿拉纳人工智能)
我们提出了第一个英语语料库研究的辱骂性语言对三个会话人工智能系统收集“在野外”:一个开放域的社会机器人,一个基于规则的聊天机器人,和一个基于任务的系统。为了考虑任务的复杂性,我们采取了一种更“细致入微”的方法,我们的ConvAI数据集反映了滥用的细粒度概念,以及来自多个专家注释者的观点。我们发现,与其他常用的数据集相比,滥用的分布有很大的不同,对这些系统的虚拟角色有更多的性侵犯。最后,我们报告了对现有模型进行基准测试的结果。毫不奇怪,我们发现F1分数低于90%有很大的改进空间。
2021-09-20 cs.CL cs.HC
Artificial Text Detection with Multiple Training Strategies
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);Experimental High School Affiliated to Beijing Normal University(北京师范大学附属实验中学)
随着深度学习的迅速推广,由生成模型生成的人工文本被广泛应用于新闻和社交媒体中。然而,这些模型可能被滥用,产生产品评论,假新闻,甚至虚假的政治内容。本文提出了一种解决方案,用于在对话共享任务2022(RuATD 2022)中的俄语人工文本检测,以区分列表中的哪个模型用于生成此文本。我们引入了DeBERTa预训练的语言模型,并为这个共享任务提供了多种训练策略。在RuATD数据集上进行的大量实验验证了该方法的有效性。此外,我们的提交在RuATD 2022(多类)的评估阶段排名第二。
2022-12-10 cs.AI cs.CL
Abuse is Contextual, What about NLP? The Role of Context in Abusive Language Annotation and Detection
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
最广泛用于滥用语言检测的数据集包含消息列表,通常是推文,这些消息已被一个或多个注释器手动判断为滥用或非滥用,注释在消息级别执行。在本文中,我们调查会发生什么情况时,仇恨的内容的消息也是根据上下文判断,消息往往是模棱两可的,需要在发生的上下文中进行解释。我们首先重新注释一个广泛使用的数据集的一部分,在英语中的滥用语言检测在两个条件下,即有和没有上下文。然后,我们比较了在这两种类型的数据集上获得的三种分类算法的性能,认为上下文感知分类更具挑战性,但也更类似于真实的应用场景。
2021-03-27 cs.CL
Multilingual and Multimodal Abuse Detection
ShareChat
社交媒体平台上存在滥用内容是不可取的,因为它严重阻碍了健康和安全的社交媒体互动。虽然自动滥用检测已经在文本领域得到了广泛的研究,但音频滥用检测仍然没有得到研究。在本文中,我们试图从多模态的角度在多语言的社交媒体设置的会话音频中的滥用检测。我们的关键假设是,随着音频的建模,结合来自其他模态的判别信息可能对这项任务非常有益。我们提出的方法,MADA,明确地侧重于两种形式以外的音频本身,即,基本的情感表达的虐待音频和语义信息封装在相应的文本形式。观察证明,MADA在ADIMA数据集上表现出优于仅音频方法的收益。我们在10种不同的语言上测试了所提出的方法,并通过利用多种模式观察到0.6%-5.2%的一致收益。我们还进行了广泛的消融实验,以研究每种方式的贡献,并观察最佳结果,同时利用所有方式在一起。此外,我们进行实验,以经验证实,潜在的情绪和虐待行为之间有很强的相关性。
2022-04-03 cs.CL cs.LG cs.SD
Few-Shot Detection of Machine-Generated Text using Style Representations
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Department of Defense(美国国防部)
本文提出利用人类文本中的写作风格表示进行少样本机器生成文本检测,无需训练目标模型样本,即可识别人机文本并预测具体生成模型。
2024-05-08 cs.CL cs.LG
Overview of the 2023 ICON Shared Task on Gendered Abuse Detection in Indic Languages
Tattle Civic Tech(Tattle 公民科技);University of Copenhagen(哥本哈根大学);University of New South Wales(新南威尔士大学)
本文概述了ICON 2023印度语言性别歧视辱骂检测共享任务,基于印地语、泰米尔语和印度英语数据集评估了三个子任务的检测方法,最佳F-1分数介于0.572至0.616之间。
2024-01-08 cs.CL cs.LG
SeqXGPT: Sentence-Level AI-Generated Text Detection
Fudan University(复旦大学)
针对现有AI生成文本检测仅覆盖文档级的不足,研究构建了含人机混合句子的检测数据集,提出基于白盒LLM对数概率特征、结合卷积与自注意力网络的SeqXGPT方法,在句子和文档级检测任务上均优于基线且泛化性强。
2023-12-15 cs.CL
From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for Automatic Neologism Detection
Università della Svizzera italiana(瑞士意大利大学)
本文提出一个可扩展的模块化流水线,结合规则过滤与LLM分类,通过语法和非语法形态学框架提取1021个新词候选,验证其有效性。
2026-05-07 cs.CL
Conditional Reliability of Toxicity Signals for Multilingual and Code-Mixed Abuse Detection
Centre for Development of Advanced Computing(先进计算发展中心)
研究多语言和代码混合短文本中毒性信号的条件可靠性,提出ToxGate方法,通过信任融合头根据编码器表示对辅助信号进行条件设定,实验表明该方法在多个设置下优于普通编码器,在高风险审核切片中有显著增益。
2026-07-20 cs.AI cs.CL
Moderating Harm: Benchmarking Large Language Models for Cyberbullying Detection in YouTube Comments
Faculty of Engineering(工程学院);International Balkan University(国际巴尔干大学)
本文在 5,080 条多语言 YouTube 评论上基准测试 GPT-4.1、Gemini 1.5 Pro 和 Claude 3 Opus 的欺凌检测能力,发现各模型在精确率与召回率上各有优劣且均难以处理讽刺和混合语言俚语,并提出结合互补模型与上下文信息的审核流程。
2025-06-01 cs.AI cs.CL
Detect All Abuse! Toward Universal Abusive Language Detection Models
The University of Sydney(悉尼大学)
近年来,在线辱骂性语言检测(ALD)已成为一个越来越重要的社会问题。在线ALD中的几个先前的工作集中在解决单个域中的单个辱骂性语言问题,如Twitter,并且尚未成功地转移到一般ALD任务或域。在本文中,我们介绍了一个新的通用ALD框架,MACAS,这是能够解决几种类型的ALD跨不同领域的任务。我们的通用框架涵盖了多方面的辱骂性语言嵌入,代表了辱骂性语言的目标和内容方面,并应用了一个文本图嵌入,分析用户的语言行为。然后,我们提出并使用交叉注意门流动机制,以涵盖滥用语言的多个方面。定量和定性的评估结果表明,我们的ALD算法竞争对手或超过六个国家的最先进的ALD算法在七个ALD数据集涵盖多个方面的辱骂性语言和不同的在线社区域。
2020-10-09 cs.CL
Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning
SAMOVAR, Télécom SudParis(萨莫瓦尔实验室,南巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
本研究针对低资源场景下音频滥用内容检测研究不足的问题,结合Wav2Vec、Whisper等预训练模型表示与MAML框架,基于ADIMA数据集用少样本学习实现10种印度语言的滥用内容检测,验证了预训练模型的低资源泛化能力。
2024-12-13 cs.AI cs.CL
ADIMA: Abuse Detection In Multilingual Audio
ShareChat
口语文本中的滥用内容检测可以通过执行自动语音识别(ASR)和利用自然语言处理的进步来解决。然而,ASR模型引入了延迟,并且通常对亵渎词表现不佳,因为它们在训练语料库中代表性不足,并且没有清晰或完整地说出。完全在音频领域探索这个问题在很大程度上受到缺乏音频数据集的限制。基于这些挑战,我们提出了ADIMA,这是一个新颖的,语言多样的,道德来源的,专家注释的和平衡的多语言亵渎检测音频数据集,包括10种印度语言的11,775个音频样本,跨越65小时,由6,446个独立用户使用。通过跨单语和跨语言zero-shot设置的定量实验,我们迈出了在印度语言中民主化基于音频的内容审核的第一步,并提出了我们的数据集,为未来的工作铺平道路。
2022-02-16 cs.CL cs.SD eess.AS
HateMonitors: Language Agnostic Abuse Detection in Social Media
Indian Institute of Technology, Kharagpur(印度理工学院卡格普尔分校)
减少在线社交媒体中的仇恨和攻击性内容给版主带来了双重问题。一方面,不能对社交媒体实施严格的审查。另一方面,不能允许这种内容的自由流动。因此,我们需要有效的辱骂性语言检测系统来检测社交媒体中的有害内容。在本文中,我们介绍了我们的机器学习模型HateMonitor,该模型是为印欧语言仇恨语音和攻击性内容识别(HASOC)而开发的,这是FIRE 2019的一项共享任务。我们使用了梯度提升模型,以及BERT和LASER嵌入,使系统语言不可知。我们的模型在德国子任务A中处于第一位。我们还在https://github.com/punyajoy/HateMonitors-HASOC上公开了我们的模型。
2019-09-27 cs.CL cs.SI
Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages
本文探讨了CLAP模型在低资源印地语中直接从音频检测滥用语音的可能性,通过ADIMA数据集评估少样本对比适应的效果,发现CLAP能提供强跨语言音频表示,但少样本适应效果语言依赖且非单调。
2026-08-03 cs.CL cs.SD
On Cross-Dataset Generalization in Automatic Detection of Online Abuse
National Research Council Canada(加拿大国家研究委员会)
NLP研究在作为监督分类任务的滥用语言检测中取得了很高的性能。虽然在研究环境中,训练和测试数据集通常是从相似的数据样本中获得的,但在实践中,系统通常应用于与训练集在主题和类别分布上不同的数据。此外,在此任务中继承的类定义中的模糊性加剧了源数据集和目标数据集之间的差异。我们探讨了跨数据集泛化中的主题偏差和任务制定偏差。我们发现,维基百科Detox数据集中的良性示例偏向于特定于平台的主题。我们使用无监督主题建模和主题关键字的手动检查来识别这些示例。删除这些主题可以提高跨数据集的泛化能力,而不会降低域内分类性能。对于一个健壮的数据集设计,我们建议应用廉价的无监督方法来检查收集的数据,并在手动注释类标签之前缩小不可概括的内容。
2021-05-19 cs.AI cs.CL
A Keyword Based Approach to Understanding the Overpenalization of Marginalized Groups by English Marginal Abuse Models on Twitter
Twitter(推特(X))
有害内容检测模型往往对边缘化群体的内容具有更高的误报率。在Twitter上的边缘虐待模式的背景下,这种不成比例的惩罚造成了能见度降低的风险,边缘化社区失去了在平台上表达意见的机会。目前的算法危害缓解方法和NLP模型的偏差检测通常是非常特别的,并且容易受到人类偏见的影响。我们在本文中做出两个主要贡献。首先,我们设计了一种新的方法,它提供了一种原则性的方法来检测和测量与基于文本的模型相关的潜在危害的严重程度。其次,我们应用我们的方法来审计Twitter的英语边际滥用模型,这是用于删除放大资格的边际滥用内容。在不使用人口统计标签或方言分类器的情况下,我们仍然能够检测和衡量与边缘化社区言论过度惩罚相关问题的严重性,例如使用回收言论,反言论和身份相关术语。为了减轻相关的危害,我们尝试添加额外的真实负面示例,并发现这样做可以改善我们的公平性指标,而不会大幅降低模型性能。
2022-10-07 cs.CL
Efficient Models for the Detection of Hate, Abuse and Profanity
IBM Research AI(IBM研究院人工智能部门)
本文针对大型语言模型因训练数据含仇恨、辱骂和亵渎内容而产生不当输出,提出创建HAP检测器并介绍多种应用方式,以提升模型输出的文明性与可接受性。
2024-02-08 cs.AI cs.CL cs.HC
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar(锡尔卡尔国家技术学院)
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型,在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL
Enriching Abusive Language Detection with Community Context
McGill University(麦吉尔大学)
使用贬义词可以是善意的,也可以是积极的。当滥用检测模型将这些表达错误地归类为贬义时,它们无意中审查了边缘化群体进行的富有成效的对话。与非主导观点互动的一种方法是在对话中加入语境。以前的研究已经利用了用户级和线程级的功能,但它往往忽略了有效对话发生的空间。我们的论文强调了社区背景如何提高滥用语言检测的分类结果。我们为此作出两项主要贡献。首先,我们表明,在线社区集群的性质,他们对虐待受害者的支持。其次,我们建立了社区环境如何提高准确性,降低最先进的辱骂性语言分类器的误报率。这些发现为语境感知模型在辱骂性语言研究中的应用提供了一个有希望的方向。
2022-06-16 cs.CL
The Unappreciated Role of Intent in Algorithmic Moderation of Social Media Content
Pennsylvania State University(宾夕法尼亚州立大学);Villanova University(维拉诺瓦大学)
针对现有网络滥用检测模型未捕捉发布者意图、与平台审核政策脱节的问题,本文梳理相关前沿模型与基准数据集的意图感知能力,提出调整审核系统设计以匹配伦理与政策定义。
2024-05-17 cs.CL
A Unified Deep Learning Architecture for Abuse Detection
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Telefonica Research(西班牙电信研究院);University of Alabama(阿拉巴马大学)
仇恨言论、攻击性语言、性别歧视、种族主义和其他类型的辱骂行为已成为许多在线社交媒体平台的常见现象。近年来,这种不同的虐待行为已经表现出越来越多的频率和强度。这是由于Twitter和Facebook等流行媒体平台的开放性和意愿,以托管敏感或有争议的话题。然而,这些平台没有充分解决在线滥用行为的问题,它们对有效检测和阻止这种不当行为的反应仍然有限。在本文中,我们研究这个复杂的问题,以下一个更全面的方法,认为虐待行为的各个方面。为了使这种方法切实可行,我们专注于Twitter数据,并从不同角度分析用户和文本属性的滥用张贴行为。我们提出了一个深度学习架构,它利用各种各样的可用元数据,并将其与自动提取的隐藏模式内的推文,以检测多个滥用行为规范是高度相关的。我们以无缝、透明的方式应用这种统一的架构来检测不同类型的虐待行为(仇恨言论、性别歧视与种族主义、欺凌、讽刺等)。而不需要对每个任务的模型体系结构进行任何调整。我们用多个数据集来测试所提出的方法,这些数据集解决了Twitter上的不同和多种滥用行为。我们的结果表明,它在很大程度上优于最先进的方法(AUC提高21至45%,取决于数据集)。
2018-02-21 cs.CL cs.SI
Graphically Speaking: Unmasking Abuse in Social Media with Conversation Insights
INRIA(法国国家信息与自动化研究所);Sciences Po(巴黎政治学院);Télécom Paris(巴黎电信学院)
提出利用图神经网络将社交媒体对话建模为图以捕获上下文,系统研究图表示与上下文窗口配置,显著提升滥用语言检测的F1分数。
2025-04-02 cs.AI cs.CL cs.LG
Joint Modelling of Emotion and Abusive Language Detection
University of Amsterdam(阿姆斯特丹大学);Facebook AI(脸书人工智能研究院);King’s College London(伦敦国王学院)
在线交流平台的兴起伴随着一些不良影响,例如在线攻击和虐待行为的扩散。为了解决这个问题,自然语言处理(NLP)社区已经尝试了一系列用于滥用检测的技术。虽然取得了巨大的成功,但这些方法迄今为止只专注于对评论和用户在线社区的语言特性进行建模,而忽视了用户的情绪状态以及这可能如何影响他们的语言。然而,后者与虐待行为有着不可分割的联系。在本文中,我们提出了第一个联合模型的情绪和辱骂性语言检测,实验中的多任务学习框架,允许一个任务通知其他。我们的研究结果表明,结合情感特征可以显着提高数据集的滥用检测性能。
2020-05-28 cs.CL cs.LG
Towards a comprehensive taxonomy of online abusive language informed by machine leaning
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
本文提出一个层级式、多面的在线辱骂性语言分类体系,整合18个多标签数据集,包含5个类别和17个维度,以促进在线辱骂检测与缓解领域的协调研究。
2025-04-24 cs.CL
Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods
本综述系统分析当代NLG系统威胁模型,全面回顾机器生成文本检测方法,强调检测系统需具备公平性、鲁棒性与问责制以应对滥用。
2023-05-08 cs.CL cs.CR cs.CY
SMS Spam Detection and Classification to Combat Abuse in Telephone Networks Using Natural Language Processing
University of Ibadan(伊巴丹大学)
针对 SMS 垃圾短信及高假阳性率问题,本文结合 BERT 特征与多种机器学习分类器,发现 Naïve Bayes+BERT 以 97.31% 准确率和 0.3 秒执行时间表现最佳。
2024-06-04 cs.AI cs.CL cs.LG
Longitudinal Abuse and Sentiment Analysis of Hollywood Movie Dialogues using Language Models
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics, UNSW Sydney(过渡人工智能研究组,数学与统计学学院);Centre for Artificial Intelligence and Innovation, Pingla Institute, Sydney, Australia(人工智能与创新中心,Pingla研究所)
本研究利用微调语言模型分析1950-2024年千余部好莱坞电影台词的辱骂内容与情感纵向变化,发现近几十年辱骂内容上升、惊悚片占比高,积极情绪仍普遍,且奥斯卡提名片辱骂内容反超票房前十大片。
2025-10-05 cs.AI cs.CL
Improving Generalizability in Implicitly Abusive Language Detection with Concept Activation Vectors
National Research Council Canada(加拿大国家研究委员会)
机器学习模型对不断变化的真实世界数据的鲁棒性至关重要,特别是对于影响人类福祉的应用程序,如内容审核。在网上讨论中不断出现新的辱骂性语言,以回应当前的事件(例如,COVID-19),而已部署的滥用检测系统应定期更新,以保持准确性。在本文中,我们表明,一般的辱骂性语言分类往往是相当可靠的检测域外明确的辱骂性话语,但未能检测到新类型的更微妙的,隐含的滥用。接下来,我们提出了一种可解释性技术,基于计算机视觉的测试概念激活向量(TCAV)方法,以量化训练模型对人类定义的显性和隐性辱骂性语言概念的敏感性,并使用它来解释模型对新数据的泛化性,在这种情况下,与COVID相关的反亚洲仇恨言论。扩展这种技术,我们引入了一种新的度量,明确度,为一个单一的实例,并表明,新的度量是有益的,建议域外未标记的例子,有效地丰富了训练数据与信息丰富,隐含的滥用文本。
2022-04-05 cs.CL cs.LG
Hidden behind the obvious: misleading keywords and implicitly abusive language on social media
Queen Mary University of London(伦敦玛丽女王大学)
虽然社交媒体提供了自我表达的自由,但辱骂性语言会产生重大的负面社会影响。由于这个问题的重要性,在滥用语言的自动检测的研究已经见证了增长和改善。然而,这些检测模型显示出对强烈指示性关键字的依赖,例如诽谤和亵渎。这意味着他们可能会错误地(1a)在没有这些关键字的情况下错过滥用,或者(1b)用这些关键字标记非滥用,并且(2)他们在看不见的数据上表现不佳。尽管认识到这些问题,但文献中仍然存在差距和不一致之处。在这项研究中,我们详细分析了关键字从数据集构建到模型行为的影响,重点是模型如何在(1a)和(1b)上出错,以及(1a)和(1b)如何与(2)相互作用。通过分析,我们为未来的研究提供了建议,以解决所有三个问题。
2022-05-03 cs.CL cs.SI
Misogynistic Tweet Detection: Modelling CNN with Small Datasets
Queensland University of Technology(昆士兰科技大学)
近年来,社交媒体平台Twitter上针对妇女的在线虐待行为引起了相当大的关注。一种有效识别厌女症虐待的自动化方法可以提高我们对持续一段时间内与虐待性推文相关的模式、驱动因素和反应有效性的理解。然而,训练一个神经网络(NN)模型与一个小的一组标记的数据来检测厌恶女性的推文是困难的。这部分是由于包含厌恶女性内容的推文的复杂性,以及在NN模型中需要学习的大量参数。我们已经进行了一系列的实验,以探讨如何训练神经网络模型,以有效地检测厌恶女性的推文。特别是,我们已经定制和正则化了卷积神经网络(CNN)架构,并表明在特定任务域上预训练的词向量可以用于在少量标记数据可用时有效地训练CNN模型。以这种方式训练的CNN模型与最先进的模型相比提高了准确性。
2020-08-28 cs.CL cs.LG cs.SI
From Abusive Language Classification to Sequence Labeling Identification
Everdian
本研究将辱骂性语言识别定义为序列标注任务,联合提取辱骂片段与目标提及,在试点语料上对比句子级分类,证明其竞争力并提供局部化输出,同时指出边界恢复难点与未来方向。
2026-10-06 cs.CL cs.LG
Confronting Abusive Language Online: A Survey from the Ethical and Human Rights Perspective
National Research Council Canada(加拿大国家研究委员会)
互联网上滥用内容的普遍存在可能导致严重的心理和身体伤害。自然语言处理(NLP)研究的重大努力一直致力于通过滥用内容检测和相关子领域(例如检测仇恨言论、毒性、网络欺凌等)来解决这个问题。尽管当前技术在研究中实现了高分类性能,但已经观察到,该技术的现实应用可能会造成意外伤害,比如压制代表性不足的群体。我们回顾了大量关于自动滥用检测的NLP研究,重点关注道德挑战,围绕八项既定的道德原则组织:隐私,问责制,安全性和安全性,透明度和可解释性,公平性和非歧视性,人类对技术的控制,专业责任和促进人类价值。在许多情况下,这些原则不仅涉及可能视情况而定的情境道德守则,而且实际上与普遍人权有关,如隐私权、不受歧视的自由和表达自由。我们强调需要研究这项技术的广泛社会影响,并将道德和人权考虑纳入应用生命周期的每个阶段,从任务制定和数据集设计,到模型培训和评估,再到应用部署。在这些原则的指导下,我们确定了一些尊重权利的社会技术解决方案来检测和应对在线滥用的机会,包括“轻推”,“微调”,价值敏感设计,反叙事,风格转移和人工智能驱动的公共教育应用程序。
2021-07-22 cs.AI cs.CL cs.CY
Abusive Language Detection with Graph Convolutional Networks
Facebook AI(Facebook人工智能);ILLC, University of Amsterdam(阿姆斯特丹大学ILLC)
互联网上的虐待是我们这个时代的一个重大社会问题。以前的研究表明,Twitter中的自动滥用语言检测,基于社区的用户分析是一个很有前途的技术,这项任务。然而,现有的方法只捕捉肤浅的在线社区建模追随者的关系。相比之下,使用图卷积网络(GCN),我们提出了第一种方法,它不仅捕获了在线社区的结构,还捕获了其中用户的语言行为。我们表明,这种异构的图形结构的社区建模显着推进了当前的滥用语言检测的最新技术水平。
2019-04-05 cs.CL
Is More Data Better? Re-thinking the Importance of Efficiency in Abusive Language Detection with Transformers-Based Active Learning
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);Rewire;Meedan
注释辱骂性语言是昂贵的,后勤复杂,并造成心理伤害的风险。然而,大多数机器学习研究都优先考虑最大化效率(即,F1或准确性分数)而不是数据效率(即,最小化被注释的数据量)。在本文中,我们在不同比例的滥用数据集上使用模拟实验来证明,基于transformers的主动学习是一种很有前途的方法,可以大幅提高效率,同时仍然保持高效率,特别是当滥用内容占数据集的比例较小时。这种方法需要一小部分标记数据才能达到与在整个数据集上训练相当的性能。
2022-09-21 cs.CL
Mitigating Biases in Toxic Language Detection through Invariant Rationalization
National Taiwan University(台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能)
有毒语言的自动检测在保护社交媒体用户,特别是少数群体免受言语虐待方面发挥着重要作用。然而,在大多数用于毒性检测的训练数据集中,对某些属性(包括性别、种族和方言)存在偏见。这些偏见使得学习模型不公平,甚至会加剧人们的边缘化。考虑到目前用于一般自然语言理解任务的去偏置方法不能有效地减轻毒性检测器中的偏差,我们提出使用不变合理化(InvRat),一个由理由生成器和预测器组成的博弈论框架,来排除某些句法模式的虚假相关性(例如,身份提及,方言)到毒性标签。我们的实验表明,我们的方法产生较低的误报率在词汇和方言属性比以前的去偏置方法。
2021-06-14 cs.CL
Addressing Antisocial Behavior in Multi-Party Dialogs Through Multimodal Representation Learning
Universit\'e C \ te d'Azur, CNRS, Inria, I3S Sophia Antipolis France;Universit\'e C \ te d'Azur, CNRS, Inria, I3S
针对多方对话中反社会行为识别数据与研究不足的问题,本文基于法语 CyberAgressionAdo-Large 数据集,融合文本与图表征学习方法,证明 mBERT + WD-SGCN 后融合模型整体性能最优。
2025-10-20 cs.CL
The Uli Dataset: An Exercise in Experience Led Annotation of oGBV
University of Copenhagen(哥本哈根大学);Tattle Civic Tech(塔特尔公民科技);Bebaak Collective(贝巴克集体);National Council of Women Leaders(全国女性领袖委员会);Chambal Media/Khabar Lahariya(昌巴尔媒体/赫拉哈里亚新闻);Center for Internet and Society(互联网与社会中心)
针对非英语语境下在线性别暴力自动化检测缺乏对应语言数据的问题,本文提出包含印地语、泰米尔语、印度英语的Uli性别化辱骂数据集,由南亚女性及LGBTQIA群体专家按三类性别暴力经历标注,验证了参与式数据集构建方法的可行性。
2024-06-24 cs.AI cs.CL cs.SI
GLTR: Statistical Detection and Visualization of Generated Text
Harvard SEAS(哈佛大学工程与应用科学学院);IBM Research(IBM研究院);MIT-IBM Watson AI lab(麻省理工学院-IBM沃森人工智能实验室)
随着语言模型的迅速发展,文本生成系统的滥用问题日益严重。这一进展促使开发简单的方法来检测生成的文本,可以使用和解释给非专家。我们开发了GLTR,一个工具,以支持人类在检测文本是否由模型生成。GLTR应用一套基线统计方法,可以检测常见采样方案中的生成伪影。在一项人类受试者研究中,我们表明,GLTR提供的注释方案在没有任何预先训练的情况下,将人类对虚假文本的检测率从54%提高到72%。GLTR是开源和公开部署的,已经被广泛用于检测生成的输出
2019-06-10 cs.AI cs.CL cs.HC
Racial Bias in Hate Speech and Abusive Language Detection Datasets
Cornell University(康奈尔大学)
滥用语言检测技术的开发和应用很少考虑其潜在的偏见。我们研究了五组不同的Twitter数据中的种族偏见,这些数据被注释为仇恨言论和辱骂性语言。我们在这些数据集上训练分类器,并将这些分类器对用非裔美国英语写的推文的预测与用标准美国英语写的推文的预测进行比较。结果显示,在所有数据集中都存在系统性种族偏见的证据,因为在这些数据集上训练的分类器倾向于预测用非裔美国人英语写的推文是虐待性的,其比率要高得多。如果这些辱骂性语言检测系统被用于该领域,它们将对非裔美国人社交媒体用户产生不成比例的负面影响。因此,这些系统可能会歧视那些经常成为我们试图发现的虐待目标的群体。
2019-05-29 cs.CL cs.LG
Similarity Detection Pipeline for Crawling a Topic Related Fake News Corpus
虚假新闻检测是一项具有挑战性的任务,旨在减少人类检查新闻真实性的时间和精力。然而,打击假新闻的自动化方法受到缺乏标记基准数据集的限制,特别是英语以外的语言。此外,许多公开可用的语料库有特定的限制,使他们难以使用。为了解决这个问题,我们的贡献是三方面的。首先,我们提出了一个新的,公开可用的德语主题相关语料库,用于假新闻检测。据我们所知,这是同类语料库中的第一个。在这方面,我们开发了一个管道来抓取类似的新闻文章。作为我们的第三个贡献,我们进行了不同的学习实验来检测假新闻。使用SBERT的句子级嵌入结合Bi-LSTM(k=0.88)实现了最佳性能。
2021-03-01 cs.CL cs.IR