A Unified Deep Learning Architecture for Abuse Detection
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Telefonica Research(西班牙电信研究院);University of Alabama(阿拉巴马大学)
仇恨言论、攻击性语言、性别歧视、种族主义和其他类型的辱骂行为已成为许多在线社交媒体平台的常见现象。近年来,这种不同的虐待行为已经表现出越来越多的频率和强度。这是由于Twitter和Facebook等流行媒体平台的开放性和意愿,以托管敏感或有争议的话题。然而,这些平台没有充分解决在线滥用行为的问题,它们对有效检测和阻止这种不当行为的反应仍然有限。在本文中,我们研究这个复杂的问题,以下一个更全面的方法,认为虐待行为的各个方面。为了使这种方法切实可行,我们专注于Twitter数据,并从不同角度分析用户和文本属性的滥用张贴行为。我们提出了一个深度学习架构,它利用各种各样的可用元数据,并将其与自动提取的隐藏模式内的推文,以检测多个滥用行为规范是高度相关的。我们以无缝、透明的方式应用这种统一的架构来检测不同类型的虐待行为(仇恨言论、性别歧视与种族主义、欺凌、讽刺等)。而不需要对每个任务的模型体系结构进行任何调整。我们用多个数据集来测试所提出的方法,这些数据集解决了Twitter上的不同和多种滥用行为。我们的结果表明,它在很大程度上优于最先进的方法(AUC提高21至45%,取决于数据集)。
2018-02-21 cs.CL cs.SI
Introducing an Abusive Language Classification Framework for Telegram to Investigate the German Hater Community
Technical University of Munich(慕尼黑工业大学)
由于传统的社交媒体平台继续禁止行为者传播仇恨言论或其他形式的辱骂性语言(这一过程被称为去平台化),这些行为者迁移到不限制用户内容的替代平台。与德国仇恨者社区相关的一个流行平台是Telegram,到目前为止,对其进行的研究工作有限。本研究旨在开发一个广泛的框架,包括(i)德国电报消息的辱骂性语言分类模型和(ii)电报频道仇恨的分类模型。对于第一部分,我们使用现有的包含来自其他平台的帖子的辱骂性语言数据集来开发我们的分类模型。对于频道分类模型,我们开发了一种方法,该方法将从主题模型收集的特定于频道的内容信息与社交图相结合,以预测频道的仇恨度。此外,我们补充了这两种仇恨言论检测方法,并对德国Telegram上仇恨者社区的演变进行了深入研究。我们还提出了对仇恨言论研究社区的社交媒体平台进行可扩展网络分析的方法。作为本研究的额外输出,我们提供了一个带注释的辱骂性语言数据集,其中包含1,149条带注释的Telegram消息。
2021-11-24 cs.CL
"To Target or Not to Target": Identification and Analysis of Abusive Text Using Ensemble of Classifiers
Adobe Research(奥多比研究院)
随着人们对社交媒体平台上的辱骂和仇恨行为的日益关注,我们提出了一种集成学习方法来识别和分析此类内容的语言特性。我们的堆栈集成由三个机器学习模型组成,这些模型捕捉语言的不同方面,并提供关于不恰当语言的多样和一致的见解。所提出的方法提供了与Twitter滥用行为数据集(Founta et al. 2018)现有最先进技术相当的结果,而不使用任何用户或网络相关信息;仅依赖于文本属性。我们相信,目前的方法的缺点提出的见解和讨论将突出未来研究的潜在方向。
2020-06-05 cs.CL cs.SI
Intersectional Bias in Hate Speech and Abusive Language Datasets
University of California, Berkeley(加州大学伯克利分校)
算法被广泛应用于检测社交媒体中的仇恨言论和辱骂性语言。我们调查了用于训练这些算法的人工注释数据是否存在偏差。我们利用了一个公开的注释Twitter数据集(Founta et al. 2018),并对99,996条推文的种族,性别和党派识别维度进行了分类。结果显示,非裔美国人的推文被贴上辱骂标签的可能性高达3.7倍,而非裔美国人男性的推文被贴上仇恨标签的可能性高达77%。这些模式在统计学上是显著的和稳健的,即使当政党身份被添加为控制变量。这项研究提供了关于仇恨言论和辱骂性语言数据集中交叉偏见的第一个系统证据。
2020-05-28 cs.CL cs.SI
Neural Word Decomposition Models for Abusive Language Detection
Amazon AI(亚马逊人工智能)
社交媒体上的用户生成文本通常具有许多不受欢迎的特征,包括仇恨言论,辱骂性语言,侮辱等,这些特征旨在攻击或虐待特定人群。通常,与传统文本相比,这样的文本被不同地书写,传统文本诸如涉及明确提及辱骂性词语、混淆词语和类型错误或隐含辱骂的新闻,即,表明或针对消极的刻板印象。因此,当我们应用为传统文本开发的自然语言处理技术时,处理此文本提出了几个鲁棒性挑战。例如,使用基于单词或标记的模型来处理这样的文本可以将单词的两个拼写变体视为两个不同的单词。根据最近的工作,我们分析了字符,子字和字节对编码(BPE)模型可以帮助用户生成的文本所带来的一些挑战。在我们的工作中,我们分析了上述每种技术的有效性,比较和对比各种词分解技术与其他技术结合使用时。我们尝试微调大型预训练语言模型,并通过研究维基百科攻击,毒性和Twitter仇恨言论数据集来证明它们对域转移的鲁棒性
2019-10-02 cs.CL
Abuse is Contextual, What about NLP? The Role of Context in Abusive Language Annotation and Detection
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
最广泛用于滥用语言检测的数据集包含消息列表,通常是推文,这些消息已被一个或多个注释器手动判断为滥用或非滥用,注释在消息级别执行。在本文中,我们调查会发生什么情况时,仇恨的内容的消息也是根据上下文判断,消息往往是模棱两可的,需要在发生的上下文中进行解释。我们首先重新注释一个广泛使用的数据集的一部分,在英语中的滥用语言检测在两个条件下,即有和没有上下文。然后,我们比较了在这两种类型的数据集上获得的三种分类算法的性能,认为上下文感知分类更具挑战性,但也更类似于真实的应用场景。
2021-03-27 cs.CL
Degree based Classification of Harmful Speech using Twitter Data
IIIT Hyderabad(海得拉巴国际信息技术学院)
有害言论有多种形式,并以不同的方式传播到社交媒体。如果我们需要打击其中不同程度的仇恨言论和虐待行为,分类需要基于复杂的后果,这些后果需要定义并追究责任,而不是种族主义,性别歧视或针对某些特定群体和社区。本文主要描述了我们如何创建一个基于仇恨意图程度的有害语音本体分类,并使用它来相应地注释twitter数据。本文的主要贡献是我们根据文本中发现的有害语音的本体类和程度创建的新推文数据集。我们还提出了监督分类系统识别这些各自的有害语音类的文本,因此。
2018-06-11 cs.CL
Racial Bias in Hate Speech and Abusive Language Detection Datasets
Cornell University(康奈尔大学)
滥用语言检测技术的开发和应用很少考虑其潜在的偏见。我们研究了五组不同的Twitter数据中的种族偏见,这些数据被注释为仇恨言论和辱骂性语言。我们在这些数据集上训练分类器,并将这些分类器对用非裔美国英语写的推文的预测与用标准美国英语写的推文的预测进行比较。结果显示,在所有数据集中都存在系统性种族偏见的证据,因为在这些数据集上训练的分类器倾向于预测用非裔美国人英语写的推文是虐待性的,其比率要高得多。如果这些辱骂性语言检测系统被用于该领域,它们将对非裔美国人社交媒体用户产生不成比例的负面影响。因此,这些系统可能会歧视那些经常成为我们试图发现的虐待目标的群体。
2019-05-29 cs.CL cs.LG
Offensive Language Detection on Twitter
社交媒体中攻击性语言的检测是社交媒体面临的主要挑战之一。研究人员提出了许多先进的方法来完成这项任务。在这份报告中,我们试图利用从他们的方法中学到的东西,并结合我们的想法来改进它们。我们已经成功地实现了74%的准确率在分类攻击性推文。我们还列出了社交媒体世界中滥用内容检测即将面临的挑战。
2022-09-28 cs.CL cs.LG
Effectiveness of Counter-Speech against Abusive Content: A Multidimensional Annotation and Classification Study
Université Côte d’Azur(法国埃克塞特大学);Inria, CNRS, I3S(法国国家科学研究中心);Sophia Antipolis, France(法国索菲亚Antipolis)
针对反制言论有效性评估的挑战,提出基于语言学等概念的计算框架,定义六个核心维度标注4,214个实例,并通过多任务和依赖关系分类策略取得高F1值,揭示了维度间的强相互依赖性。
2025-10-13 cs.CL
Towards a comprehensive taxonomy of online abusive language informed by machine leaning
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
本文提出一个层级式、多面的在线辱骂性语言分类体系,整合18个多标签数据集,包含5个类别和17个维度,以促进在线辱骂检测与缓解领域的协调研究。
2025-04-24 cs.CL
Towards Ethics by Design in Online Abusive Content Detection
National Research Council Canada(加拿大国家研究委员会)
为了支持在线通信中的安全性和包容性,NLP研究已经做出了重大努力来解决滥用内容检测的问题,通常被定义为监督分类任务。研究工作已扩展到几个密切相关的子领域,如检测仇恨言论、毒性、网络欺凌等,迫切需要在任务制定、数据集设计和性能评估的共同框架下巩固这一领域。此外,尽管目前的技术实现了高的分类精度,一些道德问题已经被揭示。我们把道德问题放在首位,并提出一个统一的框架,作为一个两步的过程。首先,在线内容围绕个人和与身份有关的主题进行分类。第二,通过对每个类别的比较说明,确定虐待的严重程度。新框架以设计伦理原则为指导,是朝着建立更准确和可信的模型迈出的一步。
2020-10-28 cs.CL
Enriching Abusive Language Detection with Community Context
McGill University(麦吉尔大学)
使用贬义词可以是善意的,也可以是积极的。当滥用检测模型将这些表达错误地归类为贬义时,它们无意中审查了边缘化群体进行的富有成效的对话。与非主导观点互动的一种方法是在对话中加入语境。以前的研究已经利用了用户级和线程级的功能,但它往往忽略了有效对话发生的空间。我们的论文强调了社区背景如何提高滥用语言检测的分类结果。我们为此作出两项主要贡献。首先,我们表明,在线社区集群的性质,他们对虐待受害者的支持。其次,我们建立了社区环境如何提高准确性,降低最先进的辱骂性语言分类器的误报率。这些发现为语境感知模型在辱骂性语言研究中的应用提供了一个有希望的方向。
2022-06-16 cs.CL
From Abusive Language Classification to Sequence Labeling Identification
Everdian
本研究将辱骂性语言识别定义为序列标注任务,联合提取辱骂片段与目标提及,在试点语料上对比句子级分类,证明其竞争力并提供局部化输出,同时指出边界恢复难点与未来方向。
2026-10-06 cs.CL cs.LG
A Keyword Based Approach to Understanding the Overpenalization of Marginalized Groups by English Marginal Abuse Models on Twitter
Twitter(推特(X))
有害内容检测模型往往对边缘化群体的内容具有更高的误报率。在Twitter上的边缘虐待模式的背景下,这种不成比例的惩罚造成了能见度降低的风险,边缘化社区失去了在平台上表达意见的机会。目前的算法危害缓解方法和NLP模型的偏差检测通常是非常特别的,并且容易受到人类偏见的影响。我们在本文中做出两个主要贡献。首先,我们设计了一种新的方法,它提供了一种原则性的方法来检测和测量与基于文本的模型相关的潜在危害的严重程度。其次,我们应用我们的方法来审计Twitter的英语边际滥用模型,这是用于删除放大资格的边际滥用内容。在不使用人口统计标签或方言分类器的情况下,我们仍然能够检测和衡量与边缘化社区言论过度惩罚相关问题的严重性,例如使用回收言论,反言论和身份相关术语。为了减轻相关的危害,我们尝试添加额外的真实负面示例,并发现这样做可以改善我们的公平性指标,而不会大幅降低模型性能。
2022-10-07 cs.CL
Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021
Instituto Politécnico Nacional (IPN)(国立理工学院);Ronin Institute for Independent Scholarship(罗宁独立学术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
随着社交媒体平台影响力的增长,其滥用的影响力变得越来越大。自动检测威胁性和辱骂性语言的重要性怎么估计都不过分。然而,现有的研究和最先进的方法大多集中在英语作为目标语言,对中低资源语言的工作有限。在本文中,我们提出了两个共同的任务,滥用和威胁性的语言检测乌尔都语,全球有超过1.7亿的扬声器。这两个任务都是二元分类任务,参与系统需要将乌尔都语的推文分为两类,即:(i)第一项任务是虐待和非虐待,(ii)第二项任务是威胁和非威胁。我们提出了两个手动注释的数据集,其中包含标记为(i)滥用和非滥用,以及(ii)威胁和非威胁的推文。滥用数据集在训练部分中包含2400条带注释的推文,在测试部分中包含1100条带注释的推文。威胁数据集在训练部分包含6000条带注释的推文,在测试部分包含3950条带注释的推文。我们还为这两项任务提供了逻辑回归和基于BERT的基线分类器。在这项共享任务中,来自六个国家(印度、巴基斯坦、中国、马来西亚、阿拉伯联合酋长国和中国台湾)的21个团队注册参与,10个团队提交了子任务A(滥用语言检测)的运行,9个团队提交了子任务B(威胁语言检测)的运行,7个团队提交了技术报告。表现最好的系统子任务A的F1评分值为0.880,子任务B的F1评分值为0.545。对于这两个子任务,基于m-Bert的Transformer模型表现出最好的性能。
2022-07-14 cs.CL
Rationale-Guided Few-Shot Classification to Detect Abusive Language
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
提出RGFS方法,通过多任务学习联合训练rationales、targets和labels,在五个滥用语言数据集上少样本分类的宏观F1比基线高约7%,且优于LIME/SHAP方法。
2023-07-27 cs.CL cs.CY
A Multi-Task Benchmark for Abusive Language Detection in Low-Resource Settings
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本工作构建了提格雷尼亚语社交媒体滥用语言检测的多任务基准数据集,包含13,717条评论,并证明小型微调模型在低资源环境下优于前沿大语言模型,达到86.67%的F1分数。
2025-10-25 cs.CL
Detecting Abusive Albanian
ITU Copenhagen(哥本哈根信息技术大学);Microsoft(微软);UN Development Programme(联合国开发计划署)
近年来,社交媒体的使用不断增加,对在线平台上仇恨言论和攻击性言论的增加产生了直接影响。对此类内容的有效检测的研究主要集中在英语和其他几种广泛使用的语言上,而剩下的大多数人没有投入同样的工作,因此无法从该领域的稳步发展中受益。在本文中,我们提出了\textsc{Shaj},一个带有注释的阿尔巴尼亚仇恨言论和攻击性言论数据集,该数据集是从各种社交媒体平台上的用户生成内容构建的。它的注释遵循在OffensEval中引入的分层模式。使用三种不同的分类模型对数据集进行测试,其中最好的一种用于识别攻击性语言的F1得分为0.77,用于攻击性类型的自动分类的F1得分为0.64,最后,用于攻击性语言目标识别的F1得分为0.52。
2022-05-10 cs.CL
SafeSpeech: A Comprehensive and Interactive Tool for Analysing Sexist and Abusive Language in Conversations
University of Warwick(华威大学);University of Sheffield(谢菲尔德大学);University of Leeds(利兹大学);Forensic Capability Network(法医能力网络)
SafeSpeech平台结合微调分类器与大语言模型,实现消息级和对话级的多粒度毒性检测、毒性感知摘要及人物画像,并引入困惑度增益等可解释性机制,在多个基准上复现了最先进性能。
2025-03-09 cs.CL
Improved two-stage hate speech classification for twitter based on Deep Neural Networks
Computer Science Research \& Development, \ , Greece
仇恨言论是一种涉及使用辱骂性语言的在线骚扰形式,常见于社交媒体帖子中。这种骚扰主要集中在特定群体的特征,如宗教,性别,种族等,它具有社会和经济后果。文本帖子中的辱骂性语言的自动检测一直是一项艰巨的任务,但它最近受到了科学界的极大兴趣。本文讨论了识别社交媒体中仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络架构的现有方法的扩展,我们对其进行了适当的增强和微调,以检测短文本中某些形式的仇恨语言,例如种族主义或性别歧视。最显著的增强是转换为由递归神经网络(RNN)分类器组成的两阶段方案。第一阶段的OvR分类器的输出被组合并用于训练第二阶段分类器,其最终确定骚扰类型。我们的研究包括在16k tweets的公共语料库上评估的第二阶段的几种拟议的替代方法的性能比较,然后在另一个数据集上进行泛化研究。报告的结果表明,优越的分类质量的仇恨语音检测的任务相比,目前的最先进的所提出的计划。
2022-06-08 cs.AI cs.CL cs.IR
Neural Character-based Composition Models for Abuse Detection
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所);University of Amsterdam(阿姆斯特丹大学)
近年来,社交媒体的出现助长了一些非常不受欢迎的现象,如互联网上攻击性语言、仇恨言论、性别歧视言论等的泛滥。有鉴于此,已经做出了一些努力来自动检测和缓和这种滥用内容。然而,用户为逃避侦查而故意混淆文字,对这些努力的有效性构成了严重挑战。基于递归神经网络的滥用语言检测的当前最新方法没有明确解决这个问题,而是求助于针对未看到的单词的通用OOV(词汇表外)嵌入。然而,在对所有未看到的单词使用单个嵌入时,我们失去了区分混淆单词和非混淆单词或罕见单词的能力。在本文中,我们通过设计一个模型来解决这个问题,该模型可以为未见过的单词组成嵌入。我们的实验表明,我们的方法显着推进了目前的最先进的滥用检测数据集从两个不同的领域,即Twitter和维基百科的讨论页。
2018-09-02 cs.CL
A Deep Neural Architecture for Sentence-level Sentiment Classification in Twitter Social Networking
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
本文介绍了一种新的深度学习框架,包括一个基于词典的方法,用于情感标签分布的预测级别。我们建议首先应用语义规则,然后使用深度卷积神经网络(DeepCNN)进行字符级嵌入,以增加单词级嵌入的信息。之后,双向长短期记忆网络(Bi-LSTM)从词级嵌入中产生一个全域特征表示。我们在三个Twitter情感分类数据集上评估了我们的方法。实验结果表明,该模型可以提高Twitter社交网络中情感分析的分类准确率。
2017-06-25 cs.CL
Detoxify: A framework for abusive text transformation using LLMs
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics, UNSW(过渡人工智能研究组,数学与统计学学院,新南威尔士大学);Centre for Artificial Intelligence and Innovation, Pingla Institute(人工智能与创新中心,Pingla研究所)
研究探索大语言模型在转换辱骂性文本上的有效性,提出Detoxify框架,用其转换含仇恨言论等的辱骂性文本并保留原意,评估四个大语言模型识别辱骂性文本的能力,经情感和语义分析,发现Groq与其他模型结果差异大,GPT-4o和DeepSeek有相似性。
2026-07-08 cs.AI cs.CL
Subject Specific Stream Classification Preprocessing Algorithm for Twitter Data Stream
University of Moratuwa(莫拉图瓦大学);University of Waikato(怀卡托大学)
微博客服务Twitter是全球情绪数据采掘应用的一个利润丰厚的来源。但是由于每个数据项中涉及的主题的多样性,在原始数据上运行数据采掘算法是低效的。本文讨论了一种算法,以准确地分类整个流在一个给定数量的互斥的集体穷举的流,每个数据采掘算法可以单独运行,产生更相关的结果,具有较高的效率。
2017-05-28 cs.CL
Context Matters: Incorporating Target Awareness in Conversational Abusive Language Detection
Queen Mary University of London(伦敦玛丽女王大学);Taif University(塔伊夫大学);Heriot-Watt University(赫瑞瓦特大学)
该研究探讨在对话式辱骂性语言检测中利用父推文语境是否有助于判断回复是否辱骂,并通过实验证明基于内容的语境特征能显著提升分类性能。
2025-08-18 cs.AI cs.CL
MaNLP@SMM4H22: BERT for Classification of Twitter Posts
Manipal Institute of Technology(马尼帕尔理工学院)
所报告的工作是我们对由社会媒体挖掘健康应用(SMM 4 H)研讨会组织的推文自我报告年龄的共享任务分类的直接方法。该文献描述了用于构建二元分类系统的方法,该系统将与生日帖子相关的推文分为两类,即精确年龄(正类)和非精确年龄(负类)。我们提交了两份在文本预处理方面存在差异的作品,组织者评估时,它们的F1分数分别为0.80和0.81。
2022-12-12 cs.CL
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University(平顶山学院)
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类,在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性,这忽略了单词本身的情感极性。为了解决这个问题,我们提出了学习特定的情感词嵌入,同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法,该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明,我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Relevance Classification of Flood-related Twitter Posts via Multiple Transformers
Department of Computer Systems Engineering, University of Engineering and Technology, Peshawar, Pakistan.(巴基斯坦白沙瓦工程与技术大学计算机系统工程系);Department of Computer Science, Munsters Technological University, Cork, Ireland.(爱尔兰科克芒斯特理工大学计算机科学系)
近年来,社会媒体作为灾害和紧急情况下的潜在通信和信息来源得到了广泛探讨。已经进行了几项有趣的灾害分析工作和案例研究,探讨自然灾害的不同方面。除了巨大的潜力之外,灾难分析还面临着一些挑战,主要是由于社交媒体内容的性质。在本文中,我们探讨了这样的挑战,并提出了一个文本分类框架来处理Twitter噪声数据。更具体地说,我们单独或组合使用了几个Transformers,以区分相关和不相关的Twitter帖子,获得了最高的F1分数0.87。
2023-01-01 cs.CL
Leveraging Annotator Disagreement for Text Classification
University of Twente(特温特大学);Human-Media Interaction(人机交互)
本文提出并比较了三种利用标注者分歧进行文本分类的策略,发现在仇恨言论检测中多标签方法表现最佳,在辱骂性对话检测中指令微调最优,且多标签模型输出更能代表文本。
2024-09-26 cs.CL
AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages
Imperial College London(伦敦帝国学院);Bayero University Kano(卡诺贝罗大学);University of Pretoria(比勒陀利亚大学);Bahir Dar University(巴赫达尔大学);University of Hamburg(汉堡大学);Mila(米拉研究所);McGill University(麦吉尔大学);Northeastern University(东北大学);Maseno University(马塞诺大学);Digital Umuganda(数字乌干达);Haramaya University(哈拉马亚大学);Al Akhawayn University(阿赫瓦因大学);Uppsala University(乌普萨拉大学);Istanbul Technical University(伊斯坦布尔理工大学);SADiLaR(南非洲数字语言资源中心);University of Deusto(德乌斯托大学);Instituto Politécnico Nacional(国家理工学院);Wollo University(沃洛大学);Addis Ababa University(亚的斯亚贝巴大学);Lancaster University(兰卡斯特大学);Bocconi University(博科尼大学);Cardiff University(卡迪夫大学)
针对全球南方非洲语言仇恨言论管控因缺乏本地高质量数据和社区参与而失效的问题,研究构建了含15种非洲语言、由母语者标注的AfriHate多语言仇恨言论数据集,给出了LLM相关分类基线并开源资源。
2025-01-15 cs.CL
Demographics Should Not Be the Reason of Toxicity: Mitigating Discrimination in Text Classifications with Instance Weighting
Harbin Institute of Technology(哈尔滨工业大学);Tencent CSIG(腾讯云与智慧产业事业群)
随着最近文本分类的使用激增,研究人员发现文本分类数据集中存在某些意想不到的偏见。例如,包含一些人口统计身份术语的文本(例如,“gay”、“black”)在现有的辱骂性语言检测数据集中更可能是辱骂性的。因此,使用这些数据集训练的模型可能会认为像“她让我很高兴成为同性恋”这样的句子是辱骂性的,仅仅因为“同性恋”这个词。在本文中,我们将文本分类数据集中的非预期偏差形式化为一种从非歧视分布到歧视分布的选择偏差。基于这种形式化,我们进一步提出了一个模型无关的去偏训练框架,通过使用实例加权恢复非歧视分布,除了预定义的一组人口统计身份术语外,不需要任何额外的资源或注释。实验表明,该方法可以有效地减轻非预期偏差的影响,而不会显着损害模型的泛化能力。
2020-08-20 cs.CL cs.LG stat.ML
Code-Mixed Telugu-English Hate Speech Detection
George Mason University(乔治梅森大学)
针对泰卢固语等低资源语言仇恨言论检测挑战,本研究用LoRA微调多种Transformer模型,探索泰卢固语转英语的多语言方法,发现翻译提升多数模型性能,Hindi-Abusive-MuRIL表现最优,为低资源语言仇恨言论检测提供有效方案。
2025-02-15 cs.CL
SWSR: A Chinese Dataset and Lexicon for Online Sexism Detection
Queen Mary University of London(伦敦玛丽女王大学);Oxford Brookes University(牛津布鲁克斯大学)
网络性别歧视已成为社交媒体平台上越来越令人担忧的问题,因为它影响了互联网的健康发展,并可能对社会产生负面影响。虽然性别歧视检测领域的研究正在增长,但大多数研究都集中在英语作为语言和Twitter作为平台上。我们的目标是通过考虑新浪微博上的中文语言来扩大这项研究的范围。我们提出了第一个中文性别歧视数据集--新浪微博性别歧视评论(SWSR)数据集--以及一个由辱骂性和性别相关术语组成的大型中文词典SexHateLex。我们介绍了我们的数据汇集和注释过程,并提供了一个探索性的分析数据集的特点,以验证其质量,并显示如何性别歧视的表现在中国。SWSR数据集提供了不同粒度级别的标签,包括(i)性别歧视或非性别歧视,(ii)性别歧视类别和(iii)目标类型,可以利用这些标签来构建计算方法,以识别和调查更细粒度的性别相关辱骂性语言。我们利用最先进的机器学习模型对三个性别歧视分类任务进行实验。我们的研究结果显示了有竞争力的性能,为中文中的性别歧视检测提供了基准,以及错误分析,突出了中文NLP需要更多研究的开放性挑战。SWSR数据集和SexHateLex词典是公开的。
2021-08-06 cs.CL
Twitter Topic Classification
Cardiff University(卡迪夫大学);Snap Inc.(Snap公司)
社交媒体平台主持关于每天出现的各种话题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理这个问题的一种常见方法是依赖于主题建模,但使用这种技术发现的主题很难解释,并且可能因语料库而异。在本文中,我们提出了一个新的任务的基础上推文主题分类和发布两个相关的数据集。鉴于社交媒体中最重要的讨论点涵盖了广泛的主题,我们提供了最近时间段的训练和测试数据,可用于评估推文分类模型。此外,我们对任务中当前通用和特定领域的语言模型进行了定量评估和分析,这为任务的挑战和性质提供了更多的见解。
2022-09-20 cs.CL
Stance Classification for Rumour Analysis in Twitter: Exploiting Affective Information and Conversation Structure
University of Turin(都灵大学)
分析人们对社交媒体中与新闻相关的谣言的反应是防止错误信息传播的一项重要任务,这一点现在被广泛认为是一种危险的趋势。在社交媒体对话中,用户对谣言故事表现出不同的立场和态度。一些用户采取明确的立场,支持或否认有争议的谣言,而其他人只是评论它,或要求提供与谣言真实性有关的额外证据。在这方面,SemEval-2017提出了一个新的共享任务(任务8,子任务A),重点是英语推文中的谣言立场分类。其目标是预测用户对Twitter中出现的谣言的立场,包括支持,否认,查询或评论原始谣言,查看谣言引发的对话线程。本文介绍了一种新的方法来完成这项任务,其中使用的会话为基础的和情感为基础的功能,涵盖不同方面的影响,进行了探索。我们的分类模型在SemEval-2017任务8中的立场分类性能优于表现最好的系统,显示了所提出的特征集的有效性。
2019-01-07 cs.CL
Abusive Language Detection in Online Conversations by Combining Content-and Graph-based Features
Avignon University(阿维尼翁大学)
近年来,在线社交网络允许世界各地的用户见面和讨论。作为这些社区的维护者,这些平台的管理员必须防止用户采取不适当的行为。由于需要检查的消息量不断增加,这种主要由人类完成的验证任务变得越来越困难。已经提出了方法来自动化这个缓和过程,主要是通过提供基于所交换的消息的文本内容的方法。最近的工作还表明,从对话结构中得出的特征,以对话图的形式,可以帮助检测这些滥用信息。在本文中,我们建议利用这两个来源的信息,提出融合方法,整合内容和图形为基础的功能。我们对原始聊天记录的实验表明,消息的内容,以及它们在对话中的动态包含部分互补信息,从而提高了滥用消息分类任务的性能,最终F值为93.26%。
2019-05-20 cs.CL cs.IR cs.SI
Phonemer at WNUT-2020 Task 2: Sequence Classification Using COVID Twitter BERT and Bagging Ensemble Technique based on Plurality Voting
Flipkart Private Limited(Flipkart私人有限公司)
本文介绍了我们用于解决EMNLP WNUT-2020共享任务2:识别信息丰富的COVID-19英语推文的方法。这项任务是开发一个系统,自动识别与新型冠状病毒(COVID-19)相关的英文推文是否具有信息性。我们分三个阶段解决这个问题。第一阶段涉及通过仅过滤相关信息来预处理数据集。接下来是试验多种深度学习模型,如CNN、RNN和基于Transformer的模型。在最后一个阶段,我们提出了在所提供数据集的不同子集上训练的最佳模型的集合。我们最终的方法获得了0.9037的F1分数,以F1分数作为评估标准,我们在总体上排名第六。
2020-10-15 cs.CL
VIBE: Topic-Driven Temporal Adaptation for Twitter Classification
The Hong Kong Polytechnic University(香港理工大学);Research Center on Data Sciences & Artificial Intelligence(数据科学与人工智能研究中心)
针对社交媒体语言演化导致的分类性能下降,提出基于变分信息瓶颈的主题演化模型VIBE,利用少量未标注数据实现时间自适应,在Twitter分类任务上显著超越持续预训练方法。
2023-11-15 cs.CL
muBoost: An Effective Method for Solving Indic Multilingual Text Classification Problem
MiQ Digital(MiQ数字公司)
文本分类是许多自然语言处理任务的一个组成部分,例如讽刺检测,情感分析和许多类似的应用。许多电子商务网站,社交媒体/娱乐平台使用这种模型来增强用户体验,以产生流量,从而在其平台上产生收入。在本文中,我们提出了我们的解决方案,多语言辱骂性评论识别问题的Moj,印度视频共享社交网络服务,由ShareChat提供支持。这个问题涉及检测13种印度地区语言(如印地语、泰卢固语、卡纳达语等)的辱骂性评论,Moj平台上的视频。我们的解决方案利用了新的muBoost,一个集成的CatBoost分类器模型和印度语言的多语言表示(MURIL)模型,产生SOTA性能的印度文本分类任务。我们能够在测试数据上实现89.286的平均F1评分,比基线MURIL模型的F1评分87.48有所改善。
2022-06-21 cs.CL cs.LG
SemEval-2017 Task 4: Sentiment Analysis in Twitter using BERT
University of Minnesota Duluth(明尼苏达大学德卢斯分校)
本文使用 BERT(BASE)模型解决 SemEval-2017 任务 4A 的 Twitter 英语情感分析,在二分类子任务上优于朴素贝叶斯基线,并考虑了数据伦理问题。
2024-06-19 cs.CL
Concept-Based Explanations to Test for False Causal Relationships Learned by Abusive Language Classifiers
National Research Council Canada(加拿大国家研究委员会)
本文提出基于概念的解释指标,用于检测和比较辱骂性语言分类器对负面情绪等概念的虚假全局充分性依赖,无需依赖挑战集即可评估模型过度依赖程度。
2023-07-04 cs.AI cs.CL
DADIT: A Dataset for Demographic Classification of Italian Twitter Users and a Comparison of Prediction Methods
Bocconi University(博科尼大学)
本研究构建并发布了含2万意大利Twitter用户3000万条推文及人口统计标签的DADIT数据集,对比多种前沿人口属性预测模型,发现基于XLM的分类器纳入推文特征后性能远超M3,且该结论在德语测试集上得到验证。
2024-03-08 cs.CL
EcoVerse: An Annotated Twitter Dataset for Eco-Relevance Classification, Environmental Impact Analysis, and Stance Detection
针对NLP领域对气候变化外环境主题研究不足、环境影响分析空白的问题,本文构建了含3023条推文的EcoVerse标注数据集,设计三级标注方案,用BERT类模型实验验证了数据质量,指出需定制环境文本专用模型,数据集已开放。
2024-04-08 cs.CL
Finding Good Representations of Emotions for Text Classification
The Hong Kong University of Science and Technology(香港科技大学)
对于机器来说,正确地解释人类情感对于更好的人机通信非常重要,因为情感是人与人通信的重要组成部分。情感的一个方面反映在我们使用的语言中。如何在文本中表达情感是自然语言处理的一个挑战。虽然像word 2 vec这样的连续向量表示已经成为NLP问题的新规范,但它们的局限性在于它们没有考虑情感,并且可能无意中包含对某些身份的偏见,例如不同性别。本文的重点是通过在训练过程中明确考虑文本中的情感和模型偏差来改善现有的词和句子水平的表征。我们改进的表示可以帮助构建更强大的机器学习模型,用于情感/情感分析和滥用语言检测等情感相关的文本分类。我们首先提出了一种称为情感词向量(EVEC)的表示方法,它是从一个带有情感标记语料库的卷积神经网络模型中学习的,该语料库是使用主题标签构建的。其次,我们扩展到学习具有巨大文本语料库的文本级表示,并执行识别表情符号的伪任务。我们的研究结果表明,通过从数百万条带有弱监督标签(如hashtags和emoji)的推文中训练的表示,我们可以更有效地解决情感/情绪分析任务。最后,作为现有方法表示模型偏见的例子,我们探讨了一个具体的问题,滥用语言的自动检测。我们通过实验来测量和减少表示中的性别偏见,以建立更强大的分类模型,从而解决各种神经网络模型中的性别偏见问题。
2018-08-22 cs.CL
Retrieval-Augmented Detection of Potentially Abusive Clauses in Chilean Terms of Service
School of Computer Engineering, Pontificia Universidad Católica de Valparaíso(Pontificia Universidad Católica de Valparaíso计算机工程学院);Faculty of Law, Universidad Adolfo Ibáñez(Adolfo Ibáñez大学法学院)
提出检索增强生成框架,结合混合稠密-稀疏检索与提示增强,用于自动检测和分类智利服务条款中的潜在滥用条款,并引入包含100份合同和10,029条标注条款的语料库,实验表明该方法显著提升性能,使本地模型接近云端系统。
2026-05-25 cs.AI cs.CL cs.LG
Using Word Embeddings in Twitter Election Classification
University of Glasgow(格拉斯哥大学)
词嵌入和卷积神经网络(CNN)在Twitter的各种分类任务中引起了广泛的关注,例如情感分类。然而,用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中,使用Twitter的选举分类任务,旨在检测选举相关的推文,我们调查的背景数据集用于训练的嵌入模型,上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果,这两个模型使用不同的背景语料(例如维基百科文章和Twitter微帖子)进行训练,我们表明背景数据类型应该与Twitter分类数据集保持一致,以实现更好的性能。此外,通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果,我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明,使用词嵌入和CNN导致统计上显着的改善,在各种基线,如随机,支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
Transfer Learning from LDA to BiLSTM-CNN for Offensive Language Detection in Twitter
University of Hamburg(汉堡大学)
我们研究了德国Twitter数据上自动攻击性语言分类的不同策略。为此,我们采用顺序组合的BiLSTM-CNN神经网络。基于该模型,测试了三个利用背景知识提高分类性能的迁移学习任务。我们比较1.受监督的类别转移:用近乎冒犯性的语言类别注释的社交媒体数据,2。弱监督类别转移:用表情符号注释的推文,3。无监督类别转移:通过潜在狄利克雷分配(LDA)获得的主题聚类注释的推文。此外,我们研究了三种不同的策略,以减轻负面影响的“灾难性遗忘”在迁移学习。我们的研究结果表明,迁移学习一般提高了攻击性语言检测。最好的结果是从预训练我们的模型上的无监督主题聚类的推文结合专题用户集群信息。
2018-11-07 cs.CL
Predicting potentially abusive clauses in Chilean terms of services with natural language processing
Universidad Adolfo Ibáñez(阿道夫·伊巴涅斯大学)
本文针对智利服务条款中潜在滥用条款检测问题,提出四类20类的标注方案并构建首个西班牙语法律条款多标签数据集,通过评估Transformer模型揭示了预训练策略和少样本规模对检测与分类性能的影响。
2025-05-05 cs.AI cs.CL cs.CY
Let-Mi: An Arabic Levantine Twitter Dataset for Misogynistic Language
University of Alberta(阿尔伯塔大学)
网络厌女症已经成为阿拉伯妇女越来越担心的问题,她们每天都在网上遭受基于性别的虐待。厌女症自动检测系统可以协助禁止阿拉伯语中的反女性有毒内容。开发这样的系统受到缺乏阿拉伯厌女症基准数据集的阻碍。在本文中,我们介绍了一个阿拉伯语Levantine Twitter数据集的厌女症语言(LeT-Mi)是第一个基准数据集的阿拉伯语厌女症。我们进一步提供了数据集创建和注释阶段的详细回顾。通过评估者间一致性评价措施强调了拟议数据集注释的一致性。此外,Let-Mi被用作评估数据集,通过由几个最先进的机器学习系统以及多任务学习(MTL)配置进行的二进制/多目标/目标分类任务。所获得的结果表明,所使用的系统实现的性能是一致的,与国家的最先进的结果,阿拉伯语以外的语言,而采用MTL提高了厌女症/目标分类任务的性能。
2021-03-18 cs.CL
Towards Preemptive Detection of Depression and Anxiety in Twitter
Cardiff University(卡迪夫大学)
抑郁症和焦虑症是在日常生活的许多领域观察到的精神疾病。例如,这些疾病在社交媒体上的未确诊用户撰写的文本中经常出现。然而,检测具有这些条件的用户并不是一项简单的任务,因为他们可能不会明确地谈论他们的精神状态,如果他们这样做,则必须考虑诸如即时性之类的上下文线索。当可用时,医学专家可以使用指向可能的焦虑或抑郁的语言标志来编写更好的指南和治疗方法。在本文中,我们开发了一个数据集,旨在促进抑郁和焦虑检测在Twitter上的研究,框架检测任务作为一个二进制推文分类问题。然后,我们将最先进的分类模型应用于该数据集,提供一组有竞争力的基线以及定性错误分析。我们的研究结果表明,语言模型表现相当不错,比传统的基线更好。尽管如此,仍有明显的改进空间,特别是在不平衡的训练集和看似明显的语言线索(关键字)被反直觉使用的情况下。
2020-11-10 cs.CL
Confronting Abusive Language Online: A Survey from the Ethical and Human Rights Perspective
National Research Council Canada(加拿大国家研究委员会)
互联网上滥用内容的普遍存在可能导致严重的心理和身体伤害。自然语言处理(NLP)研究的重大努力一直致力于通过滥用内容检测和相关子领域(例如检测仇恨言论、毒性、网络欺凌等)来解决这个问题。尽管当前技术在研究中实现了高分类性能,但已经观察到,该技术的现实应用可能会造成意外伤害,比如压制代表性不足的群体。我们回顾了大量关于自动滥用检测的NLP研究,重点关注道德挑战,围绕八项既定的道德原则组织:隐私,问责制,安全性和安全性,透明度和可解释性,公平性和非歧视性,人类对技术的控制,专业责任和促进人类价值。在许多情况下,这些原则不仅涉及可能视情况而定的情境道德守则,而且实际上与普遍人权有关,如隐私权、不受歧视的自由和表达自由。我们强调需要研究这项技术的广泛社会影响,并将道德和人权考虑纳入应用生命周期的每个阶段,从任务制定和数据集设计,到模型培训和评估,再到应用部署。在这些原则的指导下,我们确定了一些尊重权利的社会技术解决方案来检测和应对在线滥用的机会,包括“轻推”,“微调”,价值敏感设计,反叙事,风格转移和人工智能驱动的公共教育应用程序。
2021-07-22 cs.AI cs.CL cs.CY
Applying a Pre-trained Language Model to Spanish Twitter Humor Prediction
WAMRI;n-waves;University of San Francisco(旧金山大学)
我们参加了HAHA 2019挑战赛,将$3^{rd}$置于分类任务中,将$2^{nd}$置于回归任务中。我们描述了我们的系统和创新,以及比较我们的结果与朴素贝叶斯基线。基于Twitter的大型语料库使我们能够训练一个专注于西班牙语的语言模型,并将这些知识转移到我们的竞争模型中。为了克服某些标签中的固有错误,我们在损失函数中使用标签平滑来降低类置信度。我们项目的所有代码都包含在GitHub存储库中,以便于参考并允许其他人复制。
2019-07-06 cs.CL
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar(锡尔卡尔国家技术学院)
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型,在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL