OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach
Kuwait University（科威特大学）
预处理阶段是文本分类管道中的关键阶段之一。本研究的目的是调查文本分类的预处理阶段的影响，特别是对攻击性语言和仇恨言论的阿拉伯语文本分类。社交媒体中使用的阿拉伯语是非正式的，使用阿拉伯方言书写，这使得文本分类任务非常复杂。预处理有助于降维和删除无用的内容。在进一步处理数据集并将其输入分类模型之前，我们对数据集应用了密集的预处理技术。一个密集的预处理为基础的方法表明其显着的影响，攻击性语言检测和仇恨言论检测共享任务的第四次研讨会上的开源阿拉伯语语料库和语料库处理工具（OSACT）。我们的团队在子任务A攻击性语言检测部分获得第三名（第三名），在子任务B仇恨语音检测部分获得第一名（第一名），F1得分分别为89%和95%，通过在阿拉伯语仇恨语音检测的F1，准确性，召回率和精确度方面提供最先进的性能。
2020-05-14 cs.CL
Multi-task Learning with Active Learning for Arabic Offensive Speech Detection
Department of Information and Computer Science（信息与计算机科学系）；King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）
本文提出将多任务学习与主动学习相结合的新框架，通过联合训练暴力和粗俗言论检测任务、动态调整任务权重、不确定性采样及加权表情符号处理，在OSACT2022数据集上以更少微调样本取得85.42%的最新宏平均F1分数。
2025-06-03 cs.CL
Offensive Language Detection in Under-resourced Algerian Dialectal Arabic Language
Université 8 Mai 1945, Guelma（盖勒马1945年5月8日大学）
本文解决了检测Facebook评论中的攻击性和辱骂性内容的问题，我们专注于阿尔及利亚方言阿拉伯语，这是一种资源不足的语言。后者有各种方言混合不同的语言（即柏柏尔语，法语和英语）。此外，我们处理以阿拉伯语和罗马字母（即Arabizi）书写的文本。由于同一语言的作品稀缺，我们建立了一个新的语料库，重新组合了超过8.7k的文本，这些文本被手动标注为正常，辱骂和冒犯。我们使用最先进的文本分类分类器进行了一系列实验，即：BiLSTM，CNN，FastText，SVM和NB。结果表明，可以接受的性能，但问题需要进一步研究的语言特征，以提高识别精度。
2022-03-18 cs.CL cs.IR
SalamNET at SemEval-2020 Task12: Deep Learning Approach for Arabic Offensive Language Detection
Kuwait University（科威特大学）；George Mason University（乔治梅森大学）
本文介绍了SalamNET，这是一个阿拉伯语攻击性语言检测系统，已提交给SemEval 2020共享任务12：社交媒体中的多语言攻击性语言识别。我们的方法侧重于应用多个深度学习模型，并对结果进行深入的错误分析，为未来的开发考虑提供系统影响。为了实现我们的目标，开发并评估了具有不同设计架构的递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）模型。SalamNET是一种基于双向门控循环单元（Bi-GRU）的模型，报告的宏观F1得分为0.83。
2020-07-28 cs.CL cs.LG
NAYEL at SemEval-2020 Task 12: TF/IDF-Based Approach for Automatic Offensive Language Detection in Arabic Tweets
Benha University（本哈大学）
在本文中，我们介绍了提交给“SemEval-2020任务12”的系统。该系统旨在自动识别阿拉伯语推文中的冒犯性语言。一个基于机器学习的方法已被用来设计我们的系统。采用随机梯度下降（SGD）算法实现了一个线性分类器。模型在发育集和测试集上的f1-得分分别为84.20%和81.82%。性能最好的系统和排名最后的系统在测试集上的f1分数分别为90.17%和44.51%。
2020-07-27 cs.CL cs.IR
KUISAIL at SemEval-2020 Task 12: BERT-CNN for Offensive Speech Identification in Social Media
KUIS AI Lab（KUIS人工智能实验室）；Koç University（科奇大学）
在本文中，我们描述了我们的方法，利用预训练的BERT模型和卷积神经网络，用于多语言攻击性语言识别共享任务（OffensEval 2020）的子任务A，这是SemEval 2020的一部分。我们表明，将CNN与BERT相结合比单独使用BERT更好，我们强调了利用预训练的语言模型进行下游任务的重要性。我们的系统在阿拉伯语中以0.897的宏观平均F1分数排名第四，在希腊语中以0.843的分数排名第四，在土耳其语中以0.814的分数排名第三。此外，我们还介绍了ArabicBERT，这是一组预训练的阿拉伯语Transformer语言模型，我们与社区共享。
2020-07-26 cs.CL
An Annotated Corpus of Arabic Tweets for Hate Speech Analysis
Northwestern University in Qatar（西北大学卡塔尔分校）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究构建了一个包含10000条阿拉伯语推文的多标签仇恨言论数据集，通过多位标注者标注并计算一致性，评估显示AraBERTv2模型在攻击性内容识别上取得最优性能。
2025-05-23 cs.CL
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；Electrical and Computer Engineering（电气与计算机工程学院）
在本文中，我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成，这些模型利用多语言BERT模型的任务自适应预训练，并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一，在马拉雅拉姆语中排名第二，在泰米尔语中排名第三。
2021-03-12 cs.CL
WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on Different Twitter Datasets
WideBot（宽博科技（WideBot））
通过社交平台进行沟通已成为个人沟通和互动的主要手段之一。不幸的是，健康的沟通经常受到攻击性语言的干扰，这可能对用户产生破坏性影响。在社交媒体上打击攻击性语言的关键是存在自动攻击性语言检测系统。本文介绍了SemEval-2020的结果和主要发现，任务12 OffensEval子任务A Zampieri et al.（2020），关于识别和分类社交媒体中的攻击性语言。该任务基于阿拉伯语OffensEval数据集Mubarak et al.（2020）。在本文中，我们描述了WideBot AI Lab提交的共享任务系统，该系统在CodaLab用户名为“yasserotiefy”的黄金数据集上，在52名参与者中排名第10位，Macro-F1为86.9%。我们实验了各种模型，最好的模型是线性SVM，其中我们使用字符和单词n-gram的组合。我们还引入了一种神经网络方法，增强了我们系统的预测能力，包括CNN、高速公路网络、Bi-LSTM和注意力层。
2020-09-11 cs.CL cs.SI
Leveraging Affective Bidirectional Transformers for Offensive Language Detection
University of British Columbia（不列颠哥伦比亚大学）
社交媒体在我们的生活中无处不在，因此有必要通过检测和删除攻击性和仇恨言论来确保安全的在线体验。在这项工作中，我们报告了我们提交的攻击性语言和仇恨言论检测共享任务，该任务与第四届开源阿拉伯语语料库和处理工具阿拉伯语研讨会（OSACT4）一起组织。我们专注于开发纯粹的深度学习系统，而不需要特征工程。为此，我们开发了一种有效的自动数据增强方法，并展示了训练攻击性和仇恨性语音模型的实用性（即，通过微调）先前训练的情感模型（即，情绪和情感）。我们最好的模型明显优于普通的BERT模型，仇恨言论的acc为89.60%（宏F1为82.31%），官方测试数据的acc为95.20%（宏F1为70.51%）。
2020-05-16 cs.CL
A Twitter BERT Approach for Offensive Language Detection in Marathi
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
自动攻击性语言检测对于打击仇恨言论的传播至关重要，特别是在社交媒体上。本文介绍了我们在低资源印度语马拉地语攻击性语言识别方面的工作。这个问题被制定为一个文本分类任务，以确定一个tweet作为进攻性或非进攻性。我们在这个分类任务中评估了不同的单语言和多语言BERT模型，重点是用社交媒体数据集预训练的BERT模型。我们比较了MuRIL，MahaTweetBERT，MahaTweetBERT-Hateful和MahaBERT在HASOC 2022测试集上的性能。我们还探索了其他现有的马拉地仇恨言论语料库HASOC 2021和L3立方体MahaHate的外部数据增强。MahaTweet BERT是一个BERT模型，在对组合数据集（HASOC 2021 + HASOC 2022 + MahaHate）进行微调时，对马拉地语推文进行了预训练，在HASOC 2022测试集上的F1得分为98.43，优于所有模型。有了这个，我们还提供了HASOC 2022 / MOLD v2测试集的最新结果。
2022-12-20 cs.CL
LIIR at SemEval-2020 Task 12: A Cross-Lingual Augmentation Approach for Multilingual Offensive Language Identification
KU Leuven（鲁汶大学）
本文介绍了我们的系统，题为“LIIR”的SemEval-2020任务12在社交媒体中的多语言攻击性语言识别（OffensEval 2）。我们参加了英语、丹麦语、希腊语、阿拉伯语和土耳其语的分任务A。我们分别针对英语和非英语语言调整和微调了Google AI提供的BERT和多语言Bert模型。对于英语语言，我们使用两个微调的BERT模型的组合。对于其他语言，我们提出了一种跨语言的增强方法，以丰富训练数据，我们使用多语言BERT获得句子表示。LIIR在希腊语、土耳其语、英语、阿拉伯语和丹麦语中的排名分别为14/38、18/47、24/86、24/54和25/40。
2020-07-17 cs.CL
AraLegal-BERT: A pretrained language model for Arabic Legal text
Elm Company（埃尔姆公司）
BERT模型在多语言任务上的有效性已经得到了很好的证明。另一方面，它在法律等狭窄和具体领域的潜力尚未得到充分开发。在本文中，我们研究了如何将BERT用于阿拉伯语法律领域，并尝试使用几个不同的领域相关训练和测试数据集从头开始训练BERT，为几个下游任务定制这种语言模型。我们介绍了AraLegal-BERT，这是一种基于双向编码器转换器的模型，已经过全面测试和仔细优化，旨在扩大NLP驱动的解决方案在法理学，法律文件和法律实践方面的影响。我们微调了AraLegal-BERT，并在三个自然语言理解（NLU）任务中针对阿拉伯语的三个BERT变体对其进行了评估。实验结果表明，AraLegal-BERT的基本版本在法律文本上的识别率优于一般版本和原始版本的BERT。
2022-10-15 cs.CL
Arabic aspect sentiment polarity classification using BERT
Assiut University（艾斯尤特大学）
基于情感的情感分析（ABSA）是一种文本分析方法，它定义了与特定目标相关的某些方面的意见极性。关于ABSA的大部分研究是用英语进行的，有少量的工作是用阿拉伯语进行的。大多数以前的阿拉伯语研究都依赖于深度学习模型，这些模型主要依赖于上下文无关的词嵌入（例如word2vec），其中每个词都有一个独立于其上下文的固定表示。本文探讨了上下文嵌入的建模能力，从预先训练的语言模型，如BERT，并利用句子对输入的阿拉伯语方面的情感极性分类任务。特别是，我们开发了一个简单但有效的基于BERT的神经基线来处理这个任务。我们的BERT架构与一个简单的线性分类层超越了国家的最先进的作品，根据三个不同的阿拉伯语数据集的实验结果。在阿拉伯语酒店评论数据集上实现了89.51%的准确率，在人类注释书评数据集上实现了73%的准确率，在阿拉伯语新闻数据集上实现了85.73%的准确率。
2023-03-10 cs.CL
JABER and SABER: Junior and Senior Arabic BERt
Huawei Technologies Co., Ltd.（华为技术有限公司）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；RALI/DIRO, Université de Montréal（蒙特利尔大学）
在单语评估环境中，特定于语言的预训练模型已被证明比多语言模型更准确，阿拉伯语也不例外。然而，我们发现以前发布的阿拉伯语BERT模型明显训练不足。在本技术报告中，我们分别介绍了JABER和SABER，初级和高级阿拉伯语BERT，我们专门用于阿拉伯语的预训练语言模型原型。我们进行了一项实证研究，系统地评估模型在现有的各种阿拉伯语NLU任务的性能。实验结果表明，JABER和SABER实现了最先进的性能ALUE，一个新的基准阿拉伯语语言理解评估，以及一个完善的NER基准。
2022-01-09 cs.CL
ANDES at SemEval-2020 Task 12: A jointly-trained BERT multilingual model for offensive language detection
ICC, CONICET（阿根廷国家科学与技术研究理事会计算机与通信研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；University of Chile（智利大学）；IMFD, Chile（智利千禧数据基金会）；CONICET（阿根廷国家科学与技术研究理事会）；Universidad Nacional de Córdoba（国立科尔多瓦大学）
本文介绍了我们参与SemEval-2020任务12：多语言攻击性语言检测。我们通过微调多语言BERT来联合训练单个模型，以解决所有拟议语言的任务：英语，丹麦语，土耳其语，希腊语和阿拉伯语。我们的单一模型具有竞争力的结果，尽管在所有语言中共享相同的参数，但其性能接近最高性能的系统。此外，还进行了Zero-shot和Few-Shot实验来分析这些语言之间的迁移性能。我们公开我们的代码以供进一步研究
2020-08-13 cs.CL
BERT-based Multi-Task Model for Country and Province Level Modern Standard Arabic and Dialectal Arabic Identification
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
方言和标准语言识别是许多阿拉伯语自然语言处理应用程序的关键任务。在本文中，我们介绍了我们的基于深度学习的系统，提交给第二个NADI共享任务，用于现代标准阿拉伯语（MSA）和方言阿拉伯语（DA）的国家级和省级识别。该系统基于端到端深度多任务学习（MTL）模型，以解决国家级和省级MSA/DA识别问题。后一种MTL模型由共享的双向编码器表示Transformers（BERT）编码器、两个特定于任务的注意力层和两个分类器组成。我们的主要思想是利用任务区分和任务间共享的功能，国家和省MSA/DA识别。实验结果表明，MTL模型在大多数子任务上都优于单任务模型。
2021-06-23 cs.CL
BERT-Based Arabic Social Media Author Profiling
The University of British Columbia（不列颠哥伦比亚大学）
我们报告我们的模型检测年龄，语言多样性和性别的社交媒体数据的背景下，阿拉伯文作者分析和欺骗检测共享任务（APDA）。我们基于来自Transformers（BERT）的预训练双向编码器构建简单模型。我们首先在三个数据集上使用共享任务发布的数据对预训练的BERT模型进行微调。然后，我们用性别和方言的内部数据增强共享任务数据，显示了增强训练数据的实用性。我们在共享任务测试数据上的最佳模型是通过在不同数据条件下训练的各种BERT模型的多数投票获得的。在这三个任务中，我们获得了54.72%的年龄准确率，93.75%的方言准确率，81.67%的性别准确率和40.97%的联合准确率。
2019-10-31 cs.CL
UM-IU@LING at SemEval-2019 Task 6: Identifying Offensive Tweets Using BERT and SVMs
University of Michigan（密歇根大学）；Indiana University（印第安纳大学）
本文描述了UM-IU@LING的SemEval 2019任务6的系统：OffensEval。我们采取混合方法来识别和分类社交媒体中的仇恨言论。在子任务A中，我们微调了一个基于BERT的分类器来检测推文中的滥用内容，在测试数据上获得了0.8136的宏观F1分数，从而在103个提交中排名第三。在子任务B和C中，我们使用了具有选定字符n-gram特征的线性SVM。对于子任务C，我们的系统可以识别滥用的目标，其宏观F1得分为0.5243，在65个提交中排名第27位。
2019-04-06 cs.CL
Harnessing Multilingual Resources to Question Answering in Arabic
Rootroo Ltd（Rootroo有限公司）
这篇论文的目的是预测一段古兰经中问题的答案。答案总是在文章中找到的，所以模型的任务是预测答案从哪里开始，在哪里结束。由于初始数据集对于训练来说相当小，因此我们使用多语言BERT，以便我们可以通过使用阿拉伯语以外的语言可用的数据来增强训练数据。此外，我们抓取了一个大型的阿拉伯语语料库，这是特定于宗教话语的领域。我们的方法包括两个步骤，首先我们训练一个BERT模型来预测一组可能的答案。最后，我们使用另一个基于BERT的模型来对第一个BERT模型产生的候选答案进行排名。
2022-05-16 cs.CL
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
Leveraging BERT Language Model for Arabic Long Document Classification
Elm Company（埃尔姆公司）
针对阿拉伯语长文档传统分类方法计算需求过高的问题，提出两种简单有效的分类模型，经两个数据集验证，效果优于微调后的Longformer和RoBERT模型。
2023-05-04 cs.CL
Enhanced Arabic-language cyberbullying detection: deep embedding and transformer (BERT) approaches
Taibah University（塔伊巴大学）
针对阿拉伯语网络欺凌检测方法稀缺的问题，构建含10662条X帖子的数据集，测试多种深度学习模型，发现搭配FastText词嵌入的Bi-LSTM准确率达98%，提升了阿拉伯语网络欺凌检测效果。
2025-10-02 cs.CL
Towards Offensive Language Identification for Tamil Code-Mixed YouTube Comments and Posts
University of Moratuwa（莫拉图瓦大学）
社交媒体平台中的攻击性语言检测在过去几年一直是一个活跃的研究领域。在非英语母语国家，社交媒体用户大多在他们的帖子/评论中使用代码混合形式的文本。这在攻击性内容识别任务中提出了几个挑战，考虑到泰米尔语可用的资源很少，任务变得更加困难。目前的研究提出了使用多种深度学习和迁移学习模型来检测YouTube上的攻击性内容的广泛实验。我们提出了一种新颖灵活的选择性翻译和音译技术的方法，以获得更好的结果，从微调和集成多语言Transformer网络，如BERT，蒸馏- BERT，和XLM-RoBERTa。实验结果表明，ULMFiT是该任务的最佳模型。对于这个泰米尔代码混合数据集，性能最好的模型是ULMFiT和mBERTBiLSTM，而不是更流行的迁移学习模型，如Distil- BERT和XLM-RoBERTa以及混合深度学习模型。所提出的模型ULMFiT和mBERTBiLSTM取得了良好的结果，并有望在低资源语言中有效地识别攻击性语音。
2021-08-26 cs.CL
Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
如今，社交媒体中的攻击性内容已成为一个严重的问题，自动检测攻击性语言是一项必不可少的任务。在本文中，我们建立了一个攻击性语言检测系统，它结合了多任务学习和基于BERT的模型。使用预先训练的语言模型，如BERT，我们可以有效地学习社交媒体中嘈杂文本的表示。此外，为了提高攻击性语言检测的性能，我们利用了其他相关任务的监督信号。在OffensEval-2020竞赛中，我们的模型在英语子任务A中获得了91.51%F1的分数，与第一名（92.23%F1）相当。最后，通过实证分析，说明了本文方法的有效性.
2020-07-20 cs.CL cs.LG
Automatic Difficulty Classification of Arabic Sentences
University of Leeds（利兹大学）
在本文中，我们提出了一个现代标准阿拉伯语（MSA）句子难度分类器，它预测句子的难度为语言学习者使用CEFR的熟练程度水平或二元分类为简单或复杂。我们比较了不同类型的句子嵌入（fastText，mBERT，XLM-R和Arabic-BERT）的使用，以及传统的语言功能，如POS标签，依赖树，可读性得分和频率列表的语言学习者。我们使用微调的Arabic-BERT实现了最佳结果。我们的三向CEFR分类的准确性是F-1的0.80和XLM-R分类分别为0.75和0.71斯皮尔曼相关回归。我们的二元难度分类器达到F-1 0.94和F-1 0.98的双对语义相似度分类器。
2021-03-07 cs.CL
BERT Fine-tuning For Arabic Text Summarization
Department of Electrical and Electronics Engineering（电气与电子工程系）
微调预训练的BERT模型是提取/抽象文本摘要的最先进方法，在本文中，我们展示了如何将这种微调方法应用于阿拉伯语，以构建第一个用于抽象阿拉伯语文本摘要的文档化模型，并展示其在阿拉伯语提取摘要中的性能。我们的模型适用于多语言BERT（因为阿拉伯语没有自己的预训练BERT）。我们首先在英语语料库中展示了它的性能，然后将其应用于阿拉伯语语料库中的提取和抽象任务。
2020-03-29 cs.CL cs.LG
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Effect of Word Embedding Models on Hate and Offensive Speech Detection
University of Regina（里贾纳大学）
深度神经网络已经成功地应用于仇恨语音检测问题。尽管如此，文献中尚未适当研究词嵌入模型对神经网络性能的影响。在我们的研究中，通过不同的检测任务，2类，3类和6类分类，我们调查的影响，词嵌入模型和神经网络架构的预测精度。我们的重点是阿拉伯语。我们首先在一个大规模的未标注阿拉伯语文本语料库上训练了几个词嵌入模型。接下来，基于阿拉伯仇恨和攻击性语音的数据集，对于每个检测任务，我们使用预先训练的词嵌入模型训练几个神经网络分类器。这个任务产生了大量的各种学习模型，这允许进行详尽的比较。实证分析一方面证明了跳元模型的优越性，另一方面证明了CNN网络在三个检测任务中的优越性。
2020-11-23 cs.CL cs.LG
Arabic Synonym BERT-based Adversarial Examples for Text Classification
Clarkson University（克拉克森大学）
本文首次对阿拉伯语文本分类进行词级对抗攻击研究，提出基于BERT的MLM同义词攻击方法，发现微调BERT模型更易受攻击，且对抗训练可恢复至少2%准确率。
2024-02-05 cs.CL
Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data
American University of Beirut（贝鲁特美国大学）
在阿拉伯语对话代理中启用移情行为是构建类人会话模型的一个重要方面。虽然阿拉伯语自然语言处理在自然语言理解（NLU）方面取得了重大进展，但使用ArabBERT等语言模型，自然语言生成（NLG）仍然是一个挑战。NLG编码器-解码器模型的缺点主要是由于缺乏适合训练NLG模型（如会话代理）的阿拉伯语数据集。为了克服这个问题，我们提出了一个基于变换的编码器-解码器初始化与AraBERT参数。通过使用AraBERT预训练的权重初始化编码器和解码器的权重，我们的模型能够利用知识转移并提高响应生成的性能。为了在我们的会话模型中实现同理心，我们使用ArabicEmpatheticDialogues数据集对其进行训练，并在同理心响应生成方面实现了高性能。具体来说，我们的模型实现了17.0的低困惑值，与之前的最先进模型相比增加了5个BLEU点。此外，我们提出的模型得到了85名人类评估者的高度评价，验证了其在开放域环境中产生相关和流畅响应的同时表现出同理心的高能力。
2021-03-07 cs.CL
Offensive Language Detection with BERT-based models, By Customizing Attention Probabilities
NLP Research Laboratory（自然语言处理研究实验室）；Shahid Beheshti University（沙希德·贝赫什提大学）
本文介绍了一种新的研究使用“注意力掩码”输入Transformers，并使用这种方法来检测英语和波斯语的攻击性内容。本文的主要重点是提出一种方法，以提高性能的BERT为基础的模型上的“攻击性语言检测”的任务。因此，我们通过改变“Attention Mask”输入来定制注意概率，以创建更有效的词嵌入。为此，我们首先对利用的数据集的训练集进行标记化（通过BERT tokenizer）。然后，我们应用多项式朴素贝叶斯将这些令牌映射到两个概率。这些概率表示使文本不具有攻击性或具有攻击性的可能性，前提是它包含该标记。然后，我们使用这些概率来定义一个新的术语，即进攻得分。接下来，我们基于每种语言的攻击性得分创建两个单独的（由于所采用的数据集类型的差异）方程，以重新分配“注意力掩码”输入，以便更多地关注更具攻击性的短语。最终，我们将F1-macro得分作为我们的评估指标，并对BERT与ANN，CNN和RNN的几种组合进行微调，以检查使用这种方法对各种组合的影响。结果表明，所有的模型将增强与这种方法。英语和波斯语的进步最大，分别为2%和10%。
2021-10-11 cs.AI cs.CL
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
New Arabic Medical Dataset for Diseases Classification
ITMO University（ITMO大学）
阿拉伯语非常缺乏适合训练深度学习模型的数据集，现有的数据集包括一般的非专业分类。在这项工作中，我们介绍了一个新的阿拉伯医学数据集，其中包括从几个阿拉伯医学网站收集的2000份医学文件，除了阿拉伯医学百科全书。该数据集是为了对文本进行分类而建立的，包括10类（血液，骨骼，心血管，耳朵，内分泌，眼睛，胃肠道，免疫，肝脏和肾脏）疾病。通过对Google的BERT、基于BERT的阿拉伯语大语料库的Arabert和基于阿拉伯语医学语料库的Arabert的AraBioNER三个预训练模型进行微调，对数据集进行实验。
2021-07-05 cs.CL
UPB at SemEval-2020 Task 12: Multilingual Offensive Language Detection on Social Media by Fine-tuning a Variety of BERT-based Models
University Politehnica of Bucharest（布加勒斯特理工大学）
攻击性语言检测是自然语言处理领域中最具挑战性的问题之一，这是由于在线社交媒体中这种现象的不断增加而引起的。本文描述了我们基于transformer的解决方案，用于识别Twitter上五种语言的攻击性语言（即，英语、阿拉伯语、丹麦语、希腊语和土耳其语），用于Offenseval 2020共享任务的子任务A。几种神经架构（即，BERT、mBERT、Roberta、XLM-Roberta和ALBERT），使用单语言和多语言语料库进行预训练，使用多种数据集组合进行微调和比较。最后，得分最高的模型被用于我们在比赛中提交的作品，我们的团队在英语、阿拉伯语、丹麦语、希腊语和土耳其语中分别排名85位中的第21位、53位中的第28位、39位中的第19位、37位中的第16位和46位中的第10位。
2020-10-27 cs.CL cs.LG
Pre-Training BERT on Arabic Tweets: Practical Considerations
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（卡塔尔哈马德·本·哈利法大学）
为下游NLP任务预训练来自Transformers的双向编码器表示（BERT）是一项非常重要的任务。我们预训练了5个BERT模型，这些模型在训练集的大小、正式和非正式阿拉伯语的混合以及语言预处理方面有所不同。所有这些都旨在支持阿拉伯方言和社交媒体。实验突出了数据多样性的中心地位和语言感知分割的有效性。他们还强调，更多的数据或更多的训练步骤并不需要更好的模型。我们的新模型在多个下游任务上实现了新的最先进的结果。由此产生的模型以QARiB的名义发布给社区。
2021-02-21 cs.AI cs.CL
LT@Helsinki at SemEval-2020 Task 12: Multilingual or language-specific BERT?
University of Helsinki（赫尔辛基大学）
本文介绍了LT@Helsinki团队为SemEval 2020共享任务12提交的不同模型。我们的团队参与了子任务A和C;分别名为攻击性语言识别和攻击目标识别。在这两种情况下，我们都使用了来自Transformer（BERT）的所谓双向编码器表示，这是一个由Google预先训练并由我们在OLID和SOLID数据集上进行微调的模型。结果表明，攻击性推文分类是BERT可以实现最先进结果的几个基于语言的任务之一。
2020-08-03 cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1（费尔哈特·阿巴斯大学塞提夫第一大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学）
在过去的二十年里，我们逐渐转向互联网和社交媒体来寻找新闻，娱乐对话和分享意见。最近，OpenAI开发了一个名为GPT-2的机器学习系统，用于生成预训练的Transformer-2，它可以生成deepfake文本。它可以根据简短的写作提示生成文本块，看起来像是人类写的，从而促进虚假或自动生成的文本的传播。根据这一进展，并为了对抗潜在的危险，已经提出了几种方法来检测这些语言模型编写的文本。在本文中，我们提出了一个基于迁移学习的模型，该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文，我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估，我们比较了基于不同递归神经网络（RNN）词嵌入的基线模型，即：LSTM，BI-LSTM，GRU和BI-GRU，以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知，这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for Offensive Language Detection
Information Retrieval Lab（信息检索实验室）；Georgetown University（乔治城大学）
攻击性语言检测是自然语言处理中一个重要而又具有挑战性的课题。我们提交了我们的意见，以OffensEval 2020共享任务，其中包括三个英语子任务：识别攻击性语言的存在（子任务A），识别攻击性语言中目标的存在（子任务B），以及识别目标的类别（子任务C）。我们的实验探索使用域调优的语境化语言模型（即，BERT）的这项任务。我们还试验了不同的组件和配置（例如，多视图SVM）堆叠在用于特定子任务的BERT模型上。我们提交的F1分数在子任务A中为91.7%，在子任务B中为66.5%，在子任务C中为63.2%。我们进行了消融研究表明，域调整大大提高了分类性能。此外，错误分析显示了我们的模型所造成的常见错误分类错误，并概述了未来的研究方向。
2020-07-28 cs.CL
Arabic Dialect Identification Using BERT-Based Domain Adaptation
Faculty of Engineering, Alexandria University（亚历山大大学工程学院）
阿拉伯语是世界上最重要和发展最快的语言之一。随着Twitter等社交媒体平台的兴起，阿拉伯语方言的使用越来越多。在本文中，我们描述了我们在NADI共享任务1上的方法，该任务要求我们构建一个系统来区分不同的21种阿拉伯语方言，我们介绍了一种深度学习半监督方式以及NADI共享任务1语料库上报告的预处理。我们的系统在NADI的共享任务竞赛中排名第四，实现了23.09%的F1宏观平均得分，采用简单而有效的方法区分21种阿拉伯方言。
2020-11-13 cs.CL cs.LG
Deep Multi-Task Models for Misogyny Identification and Categorization on Arabic Social Media
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Cadi Ayyad University（卡迪·阿亚德大学）
社交媒体平台上有毒内容的流行，如仇恨言论，攻击性语言和厌女症，对我们相互联系的社会提出了严重挑战。这些具有挑战性的问题引起了自然语言处理（NLP）界的广泛关注。在本文中，我们提出了第一个阿拉伯厌女症识别共享任务提交的系统。我们研究了三种多任务学习模型以及它们的单任务对应模型。为了对输入文本进行编码，我们的模型依赖于预训练的MARBERT语言模型。总体结果表明，我们提交的所有模型在厌女症识别和分类任务中都取得了最好的性能（排名前三的提交）。
2022-06-16 cs.CL
KEIS@JUST at SemEval-2020 Task 12: Identifying Multilingual Offensive Tweets Using Weighted Ensemble and Fine-Tuned BERT
Jordan University of Science and Technology（约旦科技大学）
这项研究介绍了我们的团队KEIS@JUST参与SemEval-2020任务12，该任务代表了多语言攻击性语言的共享任务。我们参与了所有子任务提供的所有语言，除了英语的子任务A。已经开发了两种主要方法，第一种是处理阿拉伯语和英语两种语言，加权集成包括Bi-GRU和CNN，然后是高斯噪声和全局池化层乘以权重以提高整体性能。第二种是对其他语言进行的，除了循环神经网络（如Bi-LSTM和Bi-GRU）之外，还从BERT进行了迁移学习，然后是全局平均池化层。词嵌入和上下文嵌入已被用作特征，此外，数据增强仅用于阿拉伯语。
2020-05-15 cs.CL cs.LG
BERTweetFR : Domain Adaptation of Pre-Trained Language Models for French Tweets
École Polytechnique（巴黎综合理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们引入BERTweetFR，这是第一个针对法语推文的大规模预训练语言模型。我们的模型初始化使用通用领域的法语语言模型CamemBERT，它遵循的基础架构的RoBERTa。实验表明，BERTweetFR在攻击性识别和命名实体识别两个下游Twitter NLP任务上的性能优于所有以前的通用领域法语语言模型。攻击性检测任务中使用的数据集首先由我们的团队创建和注释，填补了法语分析数据集的空白。我们使我们的模型在Transformers库中公开提供，目的是促进未来的研究分析任务的法国推文。
2021-09-21 cs.CL
Event-Arguments Extraction Corpus and Modeling using BERT for Arabic
Birzeit University（比尔宰特大学）
本文构建了阿拉伯语事件-论元抽取语料库hadath，并提出基于BERT文本蕴含的事件关系抽取方法，取得94.01%的F1分数，还构建域外测试集testNLI验证泛化能力，并实现了端到端抽取系统。
2024-07-30 cs.CL
TCE at Qur'an QA 2022: Arabic Language Question Answering Over Holy Qur'an Using a Post-Processed Ensemble of BERT-based Models
Tanta University（坦塔大学）
近年来，我们见证了使用机器学习在自然语言理解的不同任务中取得的巨大进展。问答是搜索引擎和社交媒体平台用于改善用户体验的这些任务之一。阿拉伯语是《古兰经》的语言，是全世界18亿人的神圣文本。阿拉伯语是一种具有挑战性的语言，自然语言处理（NLP），由于其复杂的结构。在这篇文章中，我们描述了我们在OSACT 5古兰经问答2022共享任务中的尝试，这是一个关于阿拉伯语古兰经的问答挑战。我们提出了一个集成学习模型的基础上阿拉伯语变体的BERT模型。此外，我们还进行了后处理以增强模型预测。我们的系统在官方测试集上获得了56.6%的部分倒数排名（pRR）分数。
2022-06-03 cs.CL cs.IR
BRUMS at SemEval-2020 Task 12 : Transformer based Multilingual Offensive Language Identification in Social Media
University of Wolverhampton（伍尔弗汉普顿大学）；Birmingham City University（伯明翰城市大学）
在本文中，我们描述了团队\textit{BRUMS}进入OffensEval 2：SemEval-2020中社交媒体中的多语言攻击性语言识别。OffensEval组织者向参与者提供了带有注释的数据集，其中包含来自阿拉伯语、丹麦语、英语、希腊语和土耳其语社交媒体的帖子。我们提出了一个多语言深度学习模型来识别社交媒体中的攻击性语言。总体而言，该方法达到了可接受的评价分数，同时保持了语言之间的灵活性。
2020-10-13 cs.AI cs.CL
Multi-Dialect Arabic BERT for Country-Level Dialect Identification
Mawdoo3 Ltd（Mawdoo3有限公司）
阿拉伯语方言识别是一个复杂的问题，因为语言本身具有一些固有的属性。在本文中，我们介绍了我们的竞争团队Mawdoo 3 AI开发的实验和模型，以实现我们对细微阿拉伯语方言识别（NADI）共享任务的子任务1的成功解决方案。方言识别子任务提供了21，000条国家级标记的推文，覆盖所有21个阿拉伯国家。来自同一领域的1000万条未标记的推文语料库也由比赛组织者提供供选择使用。我们获胜的解决方案本身是我们预先训练的BERT模型的不同训练迭代的集合，它在手头的子任务上实现了26.78%的微平均F1分数。我们以Multi-dialect-Arabic-BERT模型的名义公开发布了我们获奖解决方案的预训练语言模型组件，供任何感兴趣的研究人员使用。
2020-07-10 cs.CL cs.LG
HateBERT: Retraining BERT for Abusive Language Detection in English
University of Groningen（格罗宁根大学）；University of Turin（都灵大学）；University of Passau（帕绍大学）
在本文中，我们介绍了HateBERT，一个再训练的BERT模型，在英语中的滥用语言检测。该模型是在RAL-E上训练的，RAL-E是一个大规模的Reddit英语评论数据集，这些评论来自我们收集并向公众提供的被禁止攻击，辱骂或仇恨的社区。我们提出了一个一般的预训练的语言模型和滥用倾向的版本之间的详细比较的结果，通过重新训练与来自被禁止的社区的帖子对三个英语数据集的进攻，辱骂性语言和仇恨言论检测任务。在所有数据集上，HateBERT的性能都优于相应的一般BERT模型。我们还讨论了一组实验，比较了通用预训练语言模型及其相应的滥用语言倾向的对应物在数据集上的可移植性，表明可移植性受到注释现象的兼容性的影响。
2021-02-04 cs.CL
Cross-Linguistic Offensive Language Detection: BERT-Based Analysis of Bengali, Assamese, & Bodo Conversational Hateful Content from Social Media
LUT University（拉彭兰塔理工大学）；University of Oulu（奥卢大学）；University of Helsinki（赫尔辛基大学）
针对社交媒体多语言仇恨言论检测问题，研究基于多种BERT模型开展HASOC-2023任务4的孟加拉语、阿萨姆语、博多语仇恨内容检测，发现XML-Roberta-large多数场景优于单语模型，团队在对应赛道取得第三、第五名的成绩。
2023-12-16 cs.CL cs.LG
ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification
Northwestern University in Qatar（卡塔尔西北大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究构建了覆盖6种阿拉伯语变体的安全基准数据集，提出双任务评估框架，发现微调后的MARBERTv2性能最优，低资源马格里布方言仍存差距，前沿大语言模型不安全生成率低于5%。
2026-09-01 cs.CL
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题，提出基于BERT的加权集成学习方法，构建标注数据集并采用数据增强解决类别不平衡，性能优于单模型。
2024-01-30 cs.AI cs.CL
indicnlp@kgp at DravidianLangTech-EACL2021: Offensive Language Identification in Dravidian Languages
IIT Kharagpur（印度理工学院卡拉格普尔分校）
本文介绍了团队indicnlp@kgp提交给EACL 2021共享任务“达罗毗荼语中的攻击性语言识别”。“该任务旨在对3个代码混合的德拉威语数据集中不同的攻击性内容类型进行分类。这项工作利用了现有的最先进的方法在文本分类中，通过纳入额外的数据和预训练模型的迁移学习。我们最终提交的是基于AWD-LSTM的模型以及基于BERT和RoBERTa的两种不同的Transformer模型架构的集合。我们在马拉雅拉姆语-英语、泰米尔语-英语和卡纳达语-英语数据集中取得了0.97、0.77和0.72的加权平均F1分数，在各自的任务中排名第一、第二和第三。
2021-02-14 cs.CL
SemEval-2020 Task 12: Multilingual Offensive Language Identification in Social Media (OffensEval 2020)
Rochester Institute of Technology（罗切斯特理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）；IBM Research（IBM研究院）；University of Copenhagen（哥本哈根大学）；University of Cambridge（剑桥大学）；IT University Copenhagen（哥本哈根信息技术大学）；University of Wolverhampton（伍尔弗汉普顿大学）；University of Tübingen（图宾根大学）
我们介绍了SemEval-2020关于社交媒体中多语言攻击性语言识别的任务12（OffensEval 2020）的结果和主要发现。该任务涉及与OLID模式的分层分类相对应的三个子任务（Zampieri等人，2019 a）从OffensEval 2019。该任务包含五种语言：英语、阿拉伯语、丹麦语、希腊语和子任务A的土耳其语。此外，英语还包括子任务B和C。OffensEval 2020是SemEval-2020中最受欢迎的任务之一，吸引了所有子任务和所有语言的大量参与者。共有528个团队报名参加任务，145个团队在评估期间提交了系统，70个团队提交了系统描述论文。
2020-09-30 cs.CL
Neural Models for Offensive Language Detection
Lehrstuhl für Data Science（数据科学教席）
攻击性语言检测是一个不断发展的自然语言处理（NLP）应用。这种增长主要是因为社交网络的广泛使用，社交网络成为人们交流、工作和享受娱乐内容的主流渠道。许多分享攻击性和冒犯性内容的事件在很大程度上对社会产生了负面影响。我们相信，改进和比较不同的机器学习模型来对抗这些有害内容是本论文的一个重要而具有挑战性的目标。我们针对攻击性语言检测问题，建立高效的攻击性语言检测自动化模型。随着NLP模型的最新发展，特别是Transformer模型，它解决了标准seq-to-seq技术的许多缺点。BERT模型已经在许多NLP任务上展示了最先进的结果。虽然文献仍在探讨BERT在自然语言处理领域取得成就的原因。为了改进标准BERT，已经开发了其他有效的变体，例如RoBERTa和AL BERT。此外，由于社交媒体上文本的多语言性质可能会影响给定tween上的模型决策，因此有必要研究多语言模型，例如在100种语言上训练的XLM-RoBERTA，以及它与单语言模型的比较情况。基于RoBERTa的模型被证明是最有能力的模型，并在任务中获得了最高的F1分数。一个全面的攻击性语言检测系统的另一个关键方面是模型可以被训练和进行推理的速度。在这方面，我们考虑了模型运行时，并微调了非常有效的FastText实现BlazingText，取得了良好的效果，比基于BERT的模型快得多。
2021-05-30 cs.AI cs.CL
