Improving Generalizability in Implicitly Abusive Language Detection with Concept Activation Vectors
National Research Council Canada（加拿大国家研究委员会）
机器学习模型对不断变化的真实世界数据的鲁棒性至关重要，特别是对于影响人类福祉的应用程序，如内容审核。在网上讨论中不断出现新的辱骂性语言，以回应当前的事件（例如，COVID-19），而已部署的滥用检测系统应定期更新，以保持准确性。在本文中，我们表明，一般的辱骂性语言分类往往是相当可靠的检测域外明确的辱骂性话语，但未能检测到新类型的更微妙的，隐含的滥用。接下来，我们提出了一种可解释性技术，基于计算机视觉的测试概念激活向量（TCAV）方法，以量化训练模型对人类定义的显性和隐性辱骂性语言概念的敏感性，并使用它来解释模型对新数据的泛化性，在这种情况下，与COVID相关的反亚洲仇恨言论。扩展这种技术，我们引入了一种新的度量，明确度，为一个单一的实例，并表明，新的度量是有益的，建议域外未标记的例子，有效地丰富了训练数据与信息丰富，隐含的滥用文本。
2022-04-05 cs.CL cs.LG
Overview of Abusive and Threatening Language Detection in Urdu at FIRE 2021
Instituto Politécnico Nacional (IPN)（国立理工学院）；Ronin Institute for Independent Scholarship（罗宁独立学术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
随着社交媒体平台影响力的增长，其滥用的影响力变得越来越大。自动检测威胁性和辱骂性语言的重要性怎么估计都不过分。然而，现有的研究和最先进的方法大多集中在英语作为目标语言，对中低资源语言的工作有限。在本文中，我们提出了两个共同的任务，滥用和威胁性的语言检测乌尔都语，全球有超过1.7亿的扬声器。这两个任务都是二元分类任务，参与系统需要将乌尔都语的推文分为两类，即：（i）第一项任务是虐待和非虐待，（ii）第二项任务是威胁和非威胁。我们提出了两个手动注释的数据集，其中包含标记为（i）滥用和非滥用，以及（ii）威胁和非威胁的推文。滥用数据集在训练部分中包含2400条带注释的推文，在测试部分中包含1100条带注释的推文。威胁数据集在训练部分包含6000条带注释的推文，在测试部分包含3950条带注释的推文。我们还为这两项任务提供了逻辑回归和基于BERT的基线分类器。在这项共享任务中，来自六个国家（印度、巴基斯坦、中国、马来西亚、阿拉伯联合酋长国和中国台湾）的21个团队注册参与，10个团队提交了子任务A（滥用语言检测）的运行，9个团队提交了子任务B（威胁语言检测）的运行，7个团队提交了技术报告。表现最好的系统子任务A的F1评分值为0.880，子任务B的F1评分值为0.545。对于这两个子任务，基于m-Bert的Transformer模型表现出最好的性能。
2022-07-14 cs.CL
No Time Like the Present: Effects of Language Change on Automated Comment Moderation
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；European Research Center for Information Systems（欧洲信息系统研究中心）
网络仇恨的传播已经成为报纸评论部分的一个重要问题。因此，人们越来越有兴趣使用机器学习和自然语言处理进行（半）自动化的滥用语言检测，以避免手动评论审核成本或不得不完全关闭评论部分。然而，许多过去的工作对滥用语言检测假设，分类器在一个静态的语言环境中运行，尽管语言和新闻是在一个不断变化的状态。在本文中，我们使用一个新的德国报纸评论数据集来证明，使用朴素ML技术（如随机测试训练分割）训练的分类器在未来的数据上表现不佳，并且时间分层评估分割更合适。我们还表明，分类器的性能迅速下降时，从一个不同的时期比训练数据的数据评估。我们的研究结果表明，在开发滥用语言检测系统时，有必要考虑语言的时间动态，否则部署一个很快就会失效的模型的风险。
2022-07-08 cs.CL
SafeSpeech: A Comprehensive and Interactive Tool for Analysing Sexist and Abusive Language in Conversations
University of Warwick（华威大学）；University of Sheffield（谢菲尔德大学）；University of Leeds（利兹大学）；Forensic Capability Network（法医能力网络）
SafeSpeech平台结合微调分类器与大语言模型，实现消息级和对话级的多粒度毒性检测、毒性感知摘要及人物画像，并引入困惑度增益等可解释性机制，在多个基准上复现了最先进性能。
2025-03-09 cs.CL
Rationale-Guided Few-Shot Classification to Detect Abusive Language
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
提出RGFS方法，通过多任务学习联合训练rationales、targets和labels，在五个滥用语言数据集上少样本分类的宏观F1比基线高约7%，且优于LIME/SHAP方法。
2023-07-27 cs.CL cs.CY
Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages
本文探讨了CLAP模型在低资源印地语中直接从音频检测滥用语音的可能性，通过ADIMA数据集评估少样本对比适应的效果，发现CLAP能提供强跨语言音频表示，但少样本适应效果语言依赖且非单调。
2026-08-03 cs.CL cs.SD
Fine-Tuning Llama 2 Large Language Models for Detecting Online Sexual Predatory Chats and Abusive Texts
Monash University（莫纳什大学）；Australian Federal Police（澳大利亚联邦警察）
本研究针对在线性掠夺行为与辱骂文本检测需求，微调开源Llama 2 7B大语言模型，在多语言多数据集上表现优异，可落地于网络内容治理及多类文本分类任务。
2023-08-28 cs.AI cs.CL cs.LG
Offensive Language Detection in Under-resourced Algerian Dialectal Arabic Language
Université 8 Mai 1945, Guelma（盖勒马1945年5月8日大学）
本文解决了检测Facebook评论中的攻击性和辱骂性内容的问题，我们专注于阿尔及利亚方言阿拉伯语，这是一种资源不足的语言。后者有各种方言混合不同的语言（即柏柏尔语，法语和英语）。此外，我们处理以阿拉伯语和罗马字母（即Arabizi）书写的文本。由于同一语言的作品稀缺，我们建立了一个新的语料库，重新组合了超过8.7k的文本，这些文本被手动标注为正常，辱骂和冒犯。我们使用最先进的文本分类分类器进行了一系列实验，即：BiLSTM，CNN，FastText，SVM和NB。结果表明，可以接受的性能，但问题需要进一步研究的语言特征，以提高识别精度。
2022-03-18 cs.CL cs.IR
Improved two-stage hate speech classification for twitter based on Deep Neural Networks
Computer Science Research \& Development, \ , Greece
仇恨言论是一种涉及使用辱骂性语言的在线骚扰形式，常见于社交媒体帖子中。这种骚扰主要集中在特定群体的特征，如宗教，性别，种族等，它具有社会和经济后果。文本帖子中的辱骂性语言的自动检测一直是一项艰巨的任务，但它最近受到了科学界的极大兴趣。本文讨论了识别社交媒体中仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络架构的现有方法的扩展，我们对其进行了适当的增强和微调，以检测短文本中某些形式的仇恨语言，例如种族主义或性别歧视。最显著的增强是转换为由递归神经网络（RNN）分类器组成的两阶段方案。第一阶段的OvR分类器的输出被组合并用于训练第二阶段分类器，其最终确定骚扰类型。我们的研究包括在16k tweets的公共语料库上评估的第二阶段的几种拟议的替代方法的性能比较，然后在另一个数据集上进行泛化研究。报告的结果表明，优越的分类质量的仇恨语音检测的任务相比，目前的最先进的所提出的计划。
2022-06-08 cs.AI cs.CL cs.IR
muBoost: An Effective Method for Solving Indic Multilingual Text Classification Problem
MiQ Digital（MiQ数字公司）
文本分类是许多自然语言处理任务的一个组成部分，例如讽刺检测，情感分析和许多类似的应用。许多电子商务网站，社交媒体/娱乐平台使用这种模型来增强用户体验，以产生流量，从而在其平台上产生收入。在本文中，我们提出了我们的解决方案，多语言辱骂性评论识别问题的Moj，印度视频共享社交网络服务，由ShareChat提供支持。这个问题涉及检测13种印度地区语言（如印地语、泰卢固语、卡纳达语等）的辱骂性评论，Moj平台上的视频。我们的解决方案利用了新的muBoost，一个集成的CatBoost分类器模型和印度语言的多语言表示（MURIL）模型，产生SOTA性能的印度文本分类任务。我们能够在测试数据上实现89.286的平均F1评分，比基线MURIL模型的F1评分87.48有所改善。
2022-06-21 cs.CL cs.LG
A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation
本文提出了一种基于语料库的词义消歧方法，该方法建立了一个朴素贝叶斯分类器的集合，每个分类器都基于词汇特征，这些特征代表了不同大小的上下文窗口中的共现词。尽管这种方法很简单，但消除广泛研究的名词行和兴趣的实证结果表明，这样的合奏达到了与以前发表的最佳结果相媲美的准确性。
2000-05-07 cs.CL
Deep Prompt Multi-task Network for Abuse Language Detection
Zhejiang Lab（之江实验室）
针对现有辱骂性语言检测方法无法充分激发预训练语言模型通用知识、准确率有限的问题，提出融合深度与轻量提示调优、Bi-LSTM+FFN任务头及多任务学习的DPMN网络，在三个公开数据集上性能超越当前最优方法。
2024-06-24 cs.CL cs.LG
EmotionGIF-Yankee: A Sentiment Classifier with Robust Model Based Ensemble Methods
National Chiao Tung University（国立交通大学）
提出了一种基于鲁棒模型的集成方法对情感进行分类。我们对tweet数据进行预处理，以提高tokenizer的覆盖率。为了减少领域偏差，我们首先为预训练的语言模型训练推文数据集。此外，每个分类器都有其优点和缺点，我们利用不同类型的模型集成方法：平均和功率加权和。实验结果表明，该方法在情感分类中取得了较好的效果.我们的系统在SocialNLP 2020年GIF竞赛的26个团队中获得第三名。
2020-07-05 cs.CL
German Dialect Identification Using Classifier Ensembles
University of Bucharest（布加勒斯特大学）；Harvard Medical School（哈佛医学院）
在本文中，我们将GDI_classification条目介绍给在2018年VarDial评估活动范围内组织的第二个德语方言识别（GDI）共享任务。我们提出了一个基于SVM分类器集成训练的字符和单词的系统。该系统的培训上收集的五个瑞士德语方言的组织者提供的语音转录。数据集中的记录包括来自巴塞尔、伯尔尼、卢塞恩和苏黎世的演讲者。我们的挑战赛进入达到62.03%的F1分数，并在八支球队中排名第三。
2018-07-22 cs.CL
An Automatic Contextual Analysis and Clustering Classifiers Ensemble approach to Sentiment Analysis
La Trobe University（拉筹伯大学）
产品评论是决定公众情绪的主要资源之一。现有的评论情感分析方法主要采用监督范式，需要对标注数据进行训练，且存在领域依赖性。针对这些问题，提出了一种基于无监督集成学习的全自动情感分析方法。 该方法分为二个步骤.第一阶段是语境分析，它有五个过程，即（1）资料准备;（2）拼写纠正;（3）强化处理;（4）否定处理;（5）对比处理。第二阶段包括无监督学习方法，它是使用具有不同权重方案的多数投票机制的聚类分类器的集合。该集成方法的基础分类器是一种改进的k均值算法。通过SentWordNet（SWN）从特征集中提取初始质心，对基分类器进行改进。本文还介绍了澳大利亚航空公司和房屋建筑商的新的情感分析问题，这些问题为情感分析领域提供了潜在的基准问题。在不同领域的数据集上的实验表明，上下文分析和集成阶段在准确性、稳定性和泛化能力方面都有很大的提高。
2017-05-29 cs.CL
Classifier Ensembles for Dialect and Language Variety Identification
University of Bucharest（布加勒斯特大学）；University of Wolverhampton（伍尔弗汉普顿大学）；Harvard Medical School（哈佛医学院）
在本文中，我们使用2018年VarDial评估活动组织者提供的数据集，提出了基于集合的方言和语言种类识别系统。我们提出了一个系统，开发区分佛兰芒语和荷兰语的字幕和系统训练区分四种阿拉伯方言：埃及，黎凡特，海湾，北非和现代标准阿拉伯语的语音广播。最后，我们将这两个系统的性能与提交给VarDial 2018的区分荷兰语和佛兰芒语字幕（DFS）和阿拉伯语方言识别（ADI）共享任务的其他系统进行了比较。
2018-08-14 cs.CL
Early Exiting with Ensemble Internal Classifiers
Fudan University（复旦大学）；Huawei Poisson Lab（华为泊松实验室）
作为一种加速大规模预训练模型推理的简单技术，提前退出在NLP社区中受到了广泛关注。它允许样本在内部分类器中提前退出，而无需通过整个模型。现有的大多数工作通常独立训练内部分类器，并采用退出策略来决定是否退出的基础上的信心，当前内部分类器。然而，这些作品都没有充分利用这样一个事实：内部分类器经过训练来解决相同的任务，因此可以用于构建集成。本文从集成学习和信息论的角度出发，提出了一种新的集成内分类器训练目标函数。所提出的训练目标包括两个方面：一个是准确性，另一个是内部分类器的多样性。相比之下，先前工作中使用的目标正是我们训练目标的准确度项，因此只优化了准确度，而不是多样性。此外，我们提出了一个简单的基于投票的策略，考虑所有过去的内部分类器的预测，推断正确的标签，并决定是否退出。不同NLP任务的实验结果表明，我们提出的目标函数和基于投票的策略可以实现更好的准确性和速度的权衡。
2021-05-28 cs.CL cs.LG
Integer-Programming Ensemble of Temporal-Relations Classifiers
时态事件及其相互关系的提取和理解是自然语言处理的主要挑战。在逐句或逐表达式的基础上处理文本通常会失败，部分原因是捕获文本的全局一致性的挑战。我们提出了一个集成的方法，它调和跨文本使用整数规划的时间表达式的多个分类器的输出。计算实验表明，集成改进了最近两个挑战的最佳个体结果，SemEval-2013 TempEval-3（时间注释）和SemEval-2016 Task 12（临床TempEval）。
2018-07-30 cs.CL cs.LG math.OC
Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task
MIPT（莫斯科物理技术学院）；University of Leeds（利兹大学）
体裁识别是非主题文本分类的一个子类。这个任务和主题分类之间的主要区别在于，与主题不同，体裁通常不对应于简单的关键词，因此它们需要根据它们在交流中的功能来定义。基于预先训练的Transformers的神经模型，如BERT或XLM-RoBERTa，在许多NLP任务中展示了SOTA结果，包括非主题分类。然而，在许多情况下，当一些原始文本与训练集的轮廓不匹配时，它们在非常大的语料库（例如从社交媒体中提取的语料库）中的下游应用可能会导致不可靠的结果，因为数据集会发生变化。为了缓解这个问题，我们对单个模型以及它们的集合进行了实验。为了评估所有模型的鲁棒性，我们使用预测置信度度量，该度量在没有金标准标签的情况下估计预测的可靠性。我们可以通过标记测试语料库上正确分类的文本和错误分类的文本之间的置信度差距来评估鲁棒性，更高的差距使我们更容易提高我们的分类器做出正确决策的信心。我们的研究结果表明，对于本研究中测试的所有分类器，都存在置信差距，但对于集合，差距更大，这意味着集合比它们的单个模型更强大。
2022-06-15 cs.CL
Semantic classifier approach to document classification
Polish Academy of Sciences（波兰科学院）
在本文中，我们提出了一种新的文档分类方法，弥合训练集和应用集的文本数据之间的差异（所谓的语义差距）。我们证明了它的优越性，经典的文本分类方法，包括传统的分类器集成。该方法包括将文档分类技术与单个分类器或分类器集成（SEMCOM算法-具有语义分类器的委员会）相结合。
2017-01-16 cs.CL cs.IR
Ensemble of Neural Classifiers for Scoring Knowledge Base Triples
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学）
本文描述了我们在2017年WSDM杯上完成三重得分任务的方法。该任务要求参与者在知识库中为每对实体及其类型分配相关性得分，以提高实体检索任务的排名结果。我们提出了一种方法，其中多个神经网络分类器的输出相结合，使用监督机器学习模型。实验结果表明，我们提出的方法在三个测量中的一个（即，Kendall’s tau），并在其他两项测量中表现出竞争力（即，准确度和平均得分差异）。
2017-04-05 cs.CL cs.IR
NILC-USP at SemEval-2017 Task 4: A Multi-view Ensemble for Twitter Sentiment Analysis
University of São Paulo (USP)（圣保罗大学 (USP)）
本文描述了我们对SemEval-2017任务4的Twitter情感分析的多视图集成方法，特别是英语的消息极性分类子任务（子任务A）。我们的系统是一个投票集成，其中每个基本分类器在不同的特征空间中进行训练。第一个空间是词袋模型，并具有线性SVM作为基础分类器。第二和第三空间是两种不同的策略，结合词嵌入来表示句子，并使用线性SVM和Logistic回归作为基本分类器。建议的系统排名第18位的38个系统考虑F1分数和第20考虑召回。
2017-04-07 cs.CL cs.LG
Debiasing Text Safety Classifiers through a Fairness-Aware Ensemble
Google DeepMind（谷歌DeepMind）；Meta；Google Research（谷歌研究院）
本文提出一种公平感知集成后处理方法，通过结合阈值无关公平指标与公平数据重加权，在几乎不影响性能的前提下缓解闭源文本安全分类器的反事实偏见。
2024-10-22 cs.AI cs.CL cs.LG
Shape-Based Single Object Classification Using Ensemble Method Classifiers
Faculty of Informatics and Computing, Universiti Sultan Zainal Abidin（苏丹·扎伊纳尔·阿比丁大学信息与计算学院）
针对图像标注检索中的分类难题，提出分层分类框架，结合预处理后处理方法，在Amazon和Google数据集上测试四种分类器，Bagging分类器准确率表现最优，可有效弥合语义鸿沟实现多类别图像分类。
2025-01-16 cs.AI cs.CL cs.CV
