AraFinNews: Arabic Financial Summarisation with Domain-Adapted LLMs
School of Computing（计算学院）；Lancaster University（兰卡斯特大学）
AraFinNews通过领域适应大语言模型提升阿拉伯语金融文本摘要的连贯性和准确性。
2025-11-25 cs.CL
Mawqif-XT: An Arabic Benchmark Dataset for Cross-Target Stance Detection
KFUPM（法赫德国王石油与矿业大学）；SDAIA-KFUPM JRC for AI（沙特数据与人工智能局-法赫德国王石油与矿业大学人工智能联合研究中心）；University of Tabuk（塔布克大学）
本文提出Mawqif-v2阿拉伯语基准数据集，含996条标注推文，用于评估跨目标立场检测的模型泛化能力，并建立基线结果以支持可复现评估。
2026-10-05 cs.CL
AraLegal-BERT: A pretrained language model for Arabic Legal text
Elm Company（埃尔姆公司）
BERT模型在多语言任务上的有效性已经得到了很好的证明。另一方面，它在法律等狭窄和具体领域的潜力尚未得到充分开发。在本文中，我们研究了如何将BERT用于阿拉伯语法律领域，并尝试使用几个不同的领域相关训练和测试数据集从头开始训练BERT，为几个下游任务定制这种语言模型。我们介绍了AraLegal-BERT，这是一种基于双向编码器转换器的模型，已经过全面测试和仔细优化，旨在扩大NLP驱动的解决方案在法理学，法律文件和法律实践方面的影响。我们微调了AraLegal-BERT，并在三个自然语言理解（NLU）任务中针对阿拉伯语的三个BERT变体对其进行了评估。实验结果表明，AraLegal-BERT的基本版本在法律文本上的识别率优于一般版本和原始版本的BERT。
2022-10-15 cs.CL
Arabic Chatbot Technologies in Education: An Overview
AbdelMalek Essaadi University（阿卜杜勒马利克·埃萨迪大学）
本文综述教育场景中的阿拉伯语聊天机器人，从方法、语言变体和评价指标等方面梳理现状，指出其较少采用现代技术的研究空白，并展望未来方向。
2025-09-04 cs.CL
IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
University of Stavanger（斯塔万格大学）
本文介绍IAI团队在CheckThat! 2024任务1中，利用Transformer模型、少样本链式思维、微调、数据增强和跨语言迁移学习，在英荷阿三语可核查声明检测中分别取得第九、第三和第一的成绩。
2024-08-02 cs.CL
ArabianGPT: Native Arabic GPT-based Large Language Model
Prince Sultan University（苏丹王子大学）；Robotics and Internet-of-Things Lab（机器人与物联网实验室）
本文提出专为阿拉伯语设计的 ArabianGPT 系列模型及 AraNizer 分词器，通过微调在情感分析和摘要任务上显著提升性能，验证了定制化 transformer 架构对阿拉伯语 NLP 的推进作用。
2024-02-26 cs.AI cs.CL cs.LG
Dhati+: Fine-tuned Large Language Models for Arabic Subjectivity Evaluation
Dept. of Mathematics and Computer Science（数学与计算机科学系）；Lab. des Mathématiques et Sciences Appliquées (LMSA)（应用数学与科学实验室（LMSA））；Exact Sciences and Computer Science Faculty（精确科学与计算机科学系）；Lab. d’Informatique et Mathématiques (LIM)（计算机与数学实验室（LIM））
本文提出了一种针对阿拉伯语主观性评估的微调大型语言模型方法，通过构建AraDhati+数据集并结合集成决策方法，实现了97.79%的高准确率。
2025-08-27 cs.AI cs.CL
KUISAIL at SemEval-2020 Task 12: BERT-CNN for Offensive Speech Identification in Social Media
KUIS AI Lab（KUIS人工智能实验室）；Koç University（科奇大学）
在本文中，我们描述了我们的方法，利用预训练的BERT模型和卷积神经网络，用于多语言攻击性语言识别共享任务（OffensEval 2020）的子任务A，这是SemEval 2020的一部分。我们表明，将CNN与BERT相结合比单独使用BERT更好，我们强调了利用预训练的语言模型进行下游任务的重要性。我们的系统在阿拉伯语中以0.897的宏观平均F1分数排名第四，在希腊语中以0.843的分数排名第四，在土耳其语中以0.814的分数排名第三。此外，我们还介绍了ArabicBERT，这是一组预训练的阿拉伯语Transformer语言模型，我们与社区共享。
2020-07-26 cs.CL
An Ensemble Classification Approach in A Multi-Layered Large Language Model Framework for Disease Prediction
Dept. of Computer Science, Qatar University, Doha, Qatar（计算机科学系，卡塔尔大学，多哈）
本研究针对阿拉伯语社交远程医疗数据的疾病分类问题，结合LLM预处理、微调阿拉伯语transformer模型与多数投票集成方法，取得80.56%的最优准确率，为相关领域首个此类研究。
2025-09-02 cs.CL cs.LG
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics（俄罗斯高等经济学院）；AI Talent Hub, ITMO University（ITMO大学人工智能人才中心）；Markov Lab, Saint Petersburg State University（圣彼得堡国立大学马尔科夫实验室）
AraToken通过规范化流程和语言扩展优化阿拉伯语分词，提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
AraTable: Benchmarking LLMs' Reasoning and Understanding of Arabic Tabular Data
Department of Information Systems, Faculty of Computing and Information Technology（信息系统系，计算与信息科技学院）；King Abdulaziz University（国王阿卜杜勒阿齐兹大学）；Department of Information Systems and Technology, College of Computer Science and Engineering（信息系统与技术系，计算机科学与工程学院）；University of Jeddah（朱德赫大学）；School of Computing and Creative Technologies（计算与创意科技学院）；University of the West of England（西英格兰大学）
本文构建阿拉伯语表格理解基准AraTable，通过混合人机流程覆盖问答、事实验证与复杂推理，并提出接近人类评判效果的自动评估框架。
2025-07-24 cs.AI cs.CL
Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
该研究在阿拉伯语、英语和印度语言上基准评估 BLOOMZ、LLaMA-2 等模型及剪枝、量化压缩的影响，发现多语言模型跨语言迁移更优，4/8-bit 量化可保准提效，而激进剪枝损害性能。
2025-07-25 cs.CL
Arabic Large Language Models for Medical Text Generation
October University for Modern Sciences & Arts (MSA)（现代科学与艺术大学）
本研究提出微调大语言模型以生成阿拉伯语医疗文本，通过收集并处理社交媒体上的医患对话数据集，微调了Mistral-7B等模型，结果显示微调后的Mistral-7B在各项评估指标上表现最优，验证了生成式AI在推进医院管理系统方面的潜力。
2025-09-12 cs.CL
Assessing Suicide Risk in Arabic Crisis Helpline Calls: A Comparison of Arabic and English Large Language Models
Yale University（耶鲁大学）；American University of Beirut（贝鲁特美国大学）；Embrace, Mental Health Center（Embrace心理健康中心）
本研究对比阿拉伯语与英语大语言模型，利用黎巴嫩匿名危机求助热线转录本评估自杀风险，发现两类模型均可有效分类，英语模型表现更优，极高危案例区分度更高。
2026-09-02 cs.AI cs.CL
Interpreting token compositionality in LLMs: A robustness analysis
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Idiap Research Institute（Idiap研究机构）；National Biomarker Centre, CRUK-MI, Univ. of Manchester（国家生物标记中心，CRUK-MI，曼彻斯特大学）
该研究提出成分感知池化（CAP）方法分析大语言模型的组合性语言结构处理机制，发现Transformer存在信息处理碎片化问题且随模型规模扩大加剧，揭示了其架构在组合语义处理与可解释性上的根本局限。
2025-05-19 cs.CL
AraGPT2: Pre-Trained Transformer for Arabic Language Generation
American University of Beirut（贝鲁特美国大学）
最近，预先训练的基于transformer的架构已被证明在语言建模和理解方面非常有效，因为它们是在足够大的语料库上训练的。与其他NLP进展相比，阿拉伯语的语言生成应用仍然落后，主要是由于缺乏先进的阿拉伯语语言生成模型。在本文中，我们开发了第一个先进的阿拉伯语语言生成模型，AraGPT 2，从头开始训练的大型阿拉伯语语料库的互联网文本和新闻文章。我们最大的模型AraGPT 2-mega拥有14.6亿个参数，这使其成为最大的阿拉伯语语言模型。Mega模型进行了评估，并在不同的任务上显示出成功，包括合成新闻生成和zero-shot问答。对于文本生成，我们最好的模型在维基百科文章上实现了29.8的困惑度。与人类评估者进行的一项研究表明，AraGPT 2-mega在生成难以与人类撰写的文章区分的新闻文章方面取得了重大成功。因此，我们开发并发布了一个自动识别模型，在检测模型生成的文本方面具有98%的准确率。这些模型也是公开的，希望能鼓励阿拉伯语NLP的新研究方向和应用。
2021-03-07 cs.CL
ARAFA: An LLM-Generated Arabic Fact-Checking Dataset
American University of Beirut（贝鲁特美国大学）
本文提出Arafa，首个大规模阿拉伯语事实核查数据集，通过LLM自动化三步流水线构建，含181,976个声明-证据对，并验证了其质量与微调模型的性能。
2026-10-15 cs.CL cs.IR
An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
多语言预训练的Transformers，例如mBERT（Devlin等人，2019）和XLM-RoBERTa（Conneau等人，2020 a）已经显示出能够实现有效的跨语言zero-shot转移。然而，阿拉伯语信息抽取（IE）任务的性能不是很好的研究。在本文中，我们预训练了一个定制的双语BERT，称为GigaBERT BERT，专门为阿拉伯语NLP和英语到阿拉伯语zero-shot迁移学习设计。我们研究了GigaBERT在四个IE任务上的零短转移的有效性：命名实体识别，词性标注，参数角色标注和关系抽取。我们的最佳模型显著优于mBERT、XLM-RoBERTa和AraBERT（Antoun等人，2020）在监督和zero-shot传输设置中。我们已经在https://github.com/lanwuwei/GigaBERT上公开了我们的预训练模型。
2020-11-07 cs.CL
MAPROC at AHaSIS Shared Task: Few-Shot and Sentence Transformer for Sentiment Analysis of Arabic Hotel Reviews
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
针对AHaSIS共享任务中酒店领域阿拉伯方言情感分析的数据稀缺难题，提出基于SetFit框架的小样本学习方案，在官方评测中取得73%的F1值，验证了小样本方法的应用潜力。
2025-11-19 cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
AraT5: Text-to-Text Transformers for Arabic Language Generation
The University of British Columbia（不列颠哥伦比亚大学）
最近提出了一种简单有效的迁移学习方法，即使用统一的Transformer框架（T5）将所有语言问题转换为文本到文本格式。虽然还推出了T5模型的多语言版本（mT5），但尚不清楚它在涉及不同数据的非英语任务中的表现如何。为了研究这个问题，我们将mT5应用于一种具有各种方言的语言-阿拉伯语。为了进行评估，我们引入了一个新的基准阿拉伯语语言生成（ARGEN），涵盖七个重要的任务。为了进行模型比较，我们预训练了三个强大的阿拉伯语T5风格模型，并在ARGEN上对其进行评估。尽管使用少了约49个数据进行了预训练，但我们的新模型在所有ARGEN任务（59个测试集中的52个）上的表现明显优于mT5，并设置了几个新的SOTA。我们的模型还在最近提出的大型阿拉伯语语言理解评估基准ARLUE上建立了新的SOTA（Abdul-Mageed et al.，2021年）。我们的新模型是公开的。我们还通过我们的存储库链接到ARGEN数据集：https://github.com/UBC-NLP/araT5。
2022-03-15 cs.CL
Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study
本研究评估了三种预训练Transformer模型在四个阿拉伯语阅读理解数据集上的问答性能，通过微调比较并分析低性能原因，以推动阿拉伯语问答研究。
2025-08-05 cs.CL
Improving Natural Language Inference in Arabic using Transformer Models and Linguistically Informed Pre-Training
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；University of Bonn（波恩大学）
本文针对阿拉伯语资源匮乏问题构建专用数据集，通过结合Transformer模型与命名实体识别等语言学预训练方法，有效提升了阿拉伯语自然语言推理和矛盾检测性能。
2023-07-27 cs.CL
Convolutions and Self-Attention: Re-interpreting Relative Positions in Pre-trained Language Models
University of California San Diego（加州大学圣地亚哥分校）
本文详细讨论了自然语言任务中卷积和自我注意之间的关系。我们证明了自注意层中的相对位置嵌入等价于最近提出的动态轻量级卷积，并且我们考虑了将卷积集成到Transformer自注意中的多种新方法。具体来说，我们提出了复合注意力，它将以前的相对位置嵌入方法结合在卷积框架下。我们通过用复合注意力训练BERT来进行实验，发现卷积一致地提高了多个下游任务的性能，取代了绝对位置嵌入。为了通知未来的工作，我们提出了比较轻量级卷积，动态卷积和深度可分离卷积在语言模型预训练中的结果，考虑到自我注意层中卷积的多个注入点。
2021-06-10 cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1（费尔哈特·阿巴斯大学塞提夫第一大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学）
在过去的二十年里，我们逐渐转向互联网和社交媒体来寻找新闻，娱乐对话和分享意见。最近，OpenAI开发了一个名为GPT-2的机器学习系统，用于生成预训练的Transformer-2，它可以生成deepfake文本。它可以根据简短的写作提示生成文本块，看起来像是人类写的，从而促进虚假或自动生成的文本的传播。根据这一进展，并为了对抗潜在的危险，已经提出了几种方法来检测这些语言模型编写的文本。在本文中，我们提出了一个基于迁移学习的模型，该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文，我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估，我们比较了基于不同递归神经网络（RNN）词嵌入的基线模型，即：LSTM，BI-LSTM，GRU和BI-GRU，以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知，这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
CATT: Character-based Arabic Tashkeel Transformer
Abjad Ltd.（阿布贾德有限公司）
针对阿拉伯语变音符标注任务，提出基于字符的CATT方法，通过微调两类Transformer并结合噪声学生方法，在两个基准数据集上取得超越现有模型及GPT-4-turbo的最优效果，且开源相关资源。
2024-07-14 cs.CL
!MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出了一种基于置信度加权的阿拉伯语Transformer模型集成系统，通过差异化损失函数微调、数据重标注与合成数据增强解决类别不平衡问题，在BAREC 2025共享任务六个赛道均获第一。
2025-09-12 cs.CL
Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Apart Research；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）
本文研究 LLMs 中注意力头与下一 token 神经元的交互机制，提出识别下一 token 神经元、定位上游注意力头并自动生成解释的方法，发现注意力头可识别特定上下文并激活下游预测神经元，为理解 LLMs 内部工作机制提供新基础。
2024-10-23 cs.AI cs.CL cs.LG
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University（赫尔万大学）
这项研究是第二阶段，在一系列的调查，发展光学字符识别（OCR）的阿拉伯历史文件，并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小，由于缺乏资源，我们的3000万张图像中只有15000张图像。此外，我们还添加了图像增强层、时间和空间优化以及后校正层，以帮助模型预测正确上下文的正确单词。值得注意的是，我们提出了一种端到端的文本识别方法，使用视觉Transformer作为编码器，即BEIT，并使用vanilla Transformer作为解码器，消除了用于特征提取的CNN，并降低了模型的复杂性。实验表明，我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
dzStance at StanceEval2024: Arabic Stance Detection based on Sentence Transformers
LCPTS；FGE-USTHB；CRSTDLA；Algiers 01 University（阿尔及尔第一大学）
本研究比较TF-IDF与句子转换器在阿拉伯语立场检测中的性能，证明后者更优，并在StanceEval2024竞赛中取得第13名（71.77%），展示了其处理社会议题的潜力。
2024-07-18 cs.CL
Enhanced Arabic-language cyberbullying detection: deep embedding and transformer (BERT) approaches
Taibah University（塔伊巴大学）
针对阿拉伯语网络欺凌检测方法稀缺的问题，构建含10662条X帖子的数据集，测试多种深度学习模型，发现搭配FastText词嵌入的Bi-LSTM准确率达98%，提升了阿拉伯语网络欺凌检测效果。
2025-10-02 cs.CL
BUSTED at AraGenEval Shared Task: A Comparative Study of Transformer-Based Models for Arabic AI-Generated Text Detection
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）；FAST Karachi（卡拉奇快速大学）
本研究在AraGenEval共享任务中比较三种Transformer模型检测阿拉伯语AI生成文本，发现多语言XLM-RoBERTa以F1=0.7701超越专用阿拉伯语模型，凸显多语言模型的泛化优势。
2025-10-25 cs.AI cs.CL
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题，提出基于BERT的加权集成学习方法，构建标注数据集并采用数据增强解决类别不平衡，性能优于单模型。
2024-01-30 cs.AI cs.CL
Arabic-Nougat: Fine-Tuning Vision Transformers for Arabic OCR and Markdown Extraction
Faculty of Engineering Ain Shams University（艾因夏姆斯大学工程学院）
本文提出Arabic-Nougat——基于Meta的Nougat架构微调的阿拉伯语OCR模型套件，含三个专用模型，在合成数据集arabic-img2md上训练，还贡献了Aranizer-PBE-86k分词器，模型性能领先且相关资源开源。
2024-11-19 cs.AI cs.CL cs.CV
Domain-specific Pretraining Profile and Transformer Performance: Evidence from Modeling Digital Pragmatics in Arabic-English Code-switching
King Saud University（沙特国王大学）；Ibb University（伊卜大学）
本研究通过阿拉伯语-英语语码转换数字语用分类任务，证明领域特定预训练特征比多语言覆盖更能决定Transformer性能，MARBERT显著优于XLM-R。
2026-09-15 cs.CL
Advancing Arabic Reverse Dictionary Systems: A Transformer-Based Approach with Dataset Construction Guidelines
本研究开发了一种基于Transformer的阿拉伯语反向词典系统，通过半编码器架构与数据集构建标准，显著提升了阿拉伯语词汇检索性能，并提供模块化工具与理论框架。
2025-04-30 cs.AI cs.CL cs.LG
Lexicon-Enriched Graph Modeling for Arabic Document Readability Prediction
Ulm University（乌尔姆大学）；German University in Cairo（开罗德国大学）
面向BAREC 2025受限赛道，本文提出SAMER词典与阿拉伯语transformer增强的句子图模型，通过GNN与编码器双分支后期融合及最大池化预测文档可读性。
2025-09-26 cs.CL
HATFormer: Historic Handwritten Arabic Text Recognition with Transformers
NC State University（北卡罗来纳州立大学）；Khayrallah Center for Lebanese Diaspora Studies（黎巴嫩侨民研究海拉拉中心）
本文提出HATFormer，一种基于Transformer编码器-解码器架构的历史手写阿拉伯文本识别模型，通过定制图像处理器、文本分词器和训练管道，在公开历史数据集上实现8.6%的字符错误率，较最佳基线提升51%。
2025-04-03 cs.CL cs.CV cs.LG
Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition
Department of Computer Science USTO-MB Oran, Algeria
本文提出基于混合CNN-Transformer架构的阿拉伯语语音情感识别系统，通过卷积层提取频谱特征并利用Transformer捕捉时间依赖性，实验显示在EYASE数据集上达到97.8%的准确率和0.98的宏F1分数。
2026-03-28 cs.AI cs.CL cs.SD
Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；XiaoMi AI Lab（小米AI实验室）；Baichuan Inc.（百川智能）
本文解析了Transformer语言模型在事实回忆中的三步机制，提出MLP输出分解方法，并发现并缓解了末层防过度自信机制，提升了事实回忆置信度。
2024-05-24 cs.AI cs.CL cs.LG
DziriBERT: a Pre-trained Language Model for the Algerian Dialect
Oracle（甲骨文公司）；University of Ferhat Abbas 1（费尔哈特·阿巴斯第一大学）；University of Oulu（奥卢大学）
预先训练的Transformers现在是自然语言处理中事实上的模型，因为它们在许多任务和语言中具有最先进的结果。然而，目前大多数模型都是在已经有大量文本资源的语言（如英语，法语，阿拉伯语等）上训练的。因此，仍然有一些低资源语言需要社会更多的关注。在本文中，我们研究了阿尔及利亚方言，它有几个特点，使使用阿拉伯语或多语言模型不合适。为了解决这个问题，我们收集了超过一百万条阿尔及利亚推文，并预先训练了第一个阿尔及利亚语言模型：DziriBERT。与现有的模型相比，DziriBERT取得了更好的结果，特别是在处理罗马脚本时。所获得的结果表明，在小数据集（150 MB）上预训练专用模型可以优于在更多数据（数百GB）上训练的现有模型。最后，我们的模型向社区公开。
2022-12-12 cs.CL cs.LG
BERT-based Multi-Task Model for Country and Province Level Modern Standard Arabic and Dialectal Arabic Identification
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
方言和标准语言识别是许多阿拉伯语自然语言处理应用程序的关键任务。在本文中，我们介绍了我们的基于深度学习的系统，提交给第二个NADI共享任务，用于现代标准阿拉伯语（MSA）和方言阿拉伯语（DA）的国家级和省级识别。该系统基于端到端深度多任务学习（MTL）模型，以解决国家级和省级MSA/DA识别问题。后一种MTL模型由共享的双向编码器表示Transformers（BERT）编码器、两个特定于任务的注意力层和两个分类器组成。我们的主要思想是利用任务区分和任务间共享的功能，国家和省MSA/DA识别。实验结果表明，MTL模型在大多数子任务上都优于单任务模型。
2021-06-23 cs.CL
AraSSM: A bidirectional state-space encoder for Arabic masked language modeling
Arabic Institute for Translation（阿拉伯翻译学院）；CERIST（CERIST（阿尔及利亚科学技术研究中心））；CEA LIST（CEA LIST（法国原子能和替代能源委员会电子信息技术与实验室））
本文提出面向阿拉伯语的双向状态空间编码器AraSSM，经掩码语言建模预训练后，在四项阿拉伯语NLU基准上的表现接近或优于同规模Transformer，验证了消费级硬件训练的有效性。
2026-08-11 cs.CL
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语，通过将句子转换为拓扑反映语法结构的量子电路进行实验，对比量子电路方法与经典基线，为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
Dialect Identification in Nuanced Arabic Tweets Using Farasa Segmentation and AraBERT
Flipkart Private Limited（Flipkart私人有限公司）
本文介绍了我们解决EACL WANLP-2021共享任务1：细微差别的阿拉伯语方言识别（NADI）的方法。该任务旨在开发一个系统，以现代标准阿拉伯语或方言形式识别阿拉伯语推文的地理位置（国家/省）。我们分两部分解决这个任务。第一部分涉及通过清理、添加和分割文本的各个部分来预处理所提供的数据集。其次是进行实验，不同版本的两个Transformer为基础的模型，AraBERT和AraELECTRA。我们最终的方法在四个子任务中获得了0.216，0.235，0.054和0.043的宏观F1分数，并且我们在MSA识别子任务中排名第二，在DA识别子任务中排名第四。
2021-02-22 cs.CL
Improving the results of string kernels in sentiment analysis and Arabic dialect identification by adapting them to your test set
University of Bucharest（布加勒斯特大学）
最近，字符串内核已经在各种文本分类任务中获得了最先进的结果，例如阿拉伯语方言识别或母语识别。在本文中，我们采用两种简单而有效的转导学习方法，以进一步改善字符串内核的结果。第一种方法基于将训练集中的样本和测试集中的样本之间的成对字符串内核相似性解释为特征。我们的第二种方法是基于两次学习迭代的简单自训练方法。在第一次迭代中，像往常一样，在训练集上训练分类器并在测试集上测试。在第二次迭代中，将多个测试样本（分类器与其相关联的置信度分数较高）添加到训练集中以进行另一轮训练。然而，添加的测试样本的地面实况标签是不必要的。相反，我们使用分类器在第一次训练迭代中预测的标签。通过调整字符串内核的测试集，我们报告显着更好的准确率在英语极性分类和阿拉伯语方言识别。
2018-08-31 cs.CL
Accenture at CheckThat! 2020: If you say so: Post-hoc fact-checking of claims using transformer-based models
Accenture（埃森哲）；University of Maryland（马里兰大学）
我们介绍埃森哲团队在CLEF 2020 CheckThat中使用的策略！实验，任务1，英语和阿拉伯语。这个共同的任务评估了社交媒体文本中的声明是否应该进行专业的事实检查。对记者来说，作为事实提出的声明会引起广大受众的兴趣，在传播之前需要进行专业的事实核查。我们利用BERT和RoBERTa模型来识别社交媒体文本中的声明，专业的事实检查员应该审查这些声明，并为事实检查员按优先顺序对这些声明进行排名。对于英语挑战，我们微调了RoBERTa模型，并添加了一个额外的均值池层和一个dropout层，以增强对未知文本的泛化能力。对于阿拉伯语任务，我们微调了阿拉伯语BERT模型，并演示了使用反向翻译来放大少数类并平衡数据集。这里展示的作品在英语曲目中获得第一名，在阿拉伯语曲目中获得第一、第二、第三和第四名。
2020-09-05 cs.CL
ArTST: Arabic Text and Speech Transformer
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
ArTST是基于SpeechT5框架的阿拉伯语文本与语音预训练Transformer，在ASR、TTS和方言识别任务上达到或超越现有最优水平，并已开源供研究使用。
2023-10-25 cs.AI cs.CL cs.SD
An Experimental Study on Pretraining Transformers from Scratch for IR
Naver Labs Europe（NAVER 欧洲实验室）
自从几年前取得突破性的效果以来，对IR的预训练语言模型（PLM）进行微调已经成为事实上的标准实践。但是，这种方法是否得到了很好的理解？在本文中，我们研究了预训练收集对最终IR效果的影响。特别是，我们挑战了目前的假设，即PLM应在足够大的通用集合上进行训练，我们表明，从零开始对感兴趣的集合进行预训练与目前的方法相比具有惊人的竞争力。我们基准第一阶段的排名排序器和交叉编码器重新排名的任务，一般通过检索MSMARCO，先生，Tydi阿拉伯语，日语和俄语，和TripClick的特定领域。与流行的观点相反，我们表明，对于微调第一阶段的排名，仅在其集合上预训练的模型与更一般的模型相比具有等同或更好的有效性。然而，对于只在目标集合上进行预训练的重新排序器，效率略有下降。总的来说，我们的研究揭示了预训练集合的作用，应该让我们的社区思考通过从头开始预训练来构建专业模型。最后但并非最不重要的是，这样做可以更好地控制效率，数据偏差和可复制性，这是IR社区的关键研究问题。
2023-01-25 cs.CL cs.IR
Comparative Approaches to Sentiment Analysis Using Datasets in Major European and Arabic Languages
本研究比较了BERT、mBERT和XLM-R在多语言情感分析中的表现，发现XLM-R在形态复杂语言中准确率超88%，并强调了微调策略对低资源语言分类的重要性。
2025-01-21 cs.CL
Deep Multi-Task Model for Sarcasm Detection and Sentiment Analysis in Arabic Language
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
讽刺和反语等比喻性语言手段的突出给阿拉伯语情感分析带来了严峻的挑战。虽然以前的研究工作分别解决SA和讽刺检测，本文介绍了一个端到端的深度多任务学习（MTL）模型，允许两个任务之间的知识交互。我们的MTL模型的架构包括一个双向编码器表示从Transformers（BERT）模型，一个多任务注意力交互模块，和两个任务分类器。总体上得到的结果表明，我们提出的模型优于它的单任务对应的SA和讽刺检测子任务。
2021-06-23 cs.CL
Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech
Qatar Computing Research Institute, Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）
我们引入了一种通用的、独立于语言的方法来收集大量的攻击性和仇恨性推文，无论它们的主题或类型如何。我们利用嵌入在表情符号中的语言外信息来收集大量攻击性推文。我们将所提出的方法应用于阿拉伯语推文，并将其与英语推文进行比较-分析关键的文化差异。我们观察到这些表情符号在Twitter上的不同时间段内不断使用，以表示攻击性。我们手动注释并公开发布最大的阿拉伯语数据集，用于攻击性，细粒度的仇恨言论，粗俗和暴力内容。此外，我们使用不同的Transformer架构对数据集进行基准测试，以检测攻击性和仇恨言论，并进行深入的语言分析。我们在外部数据集上评估我们的模型-使用完全不同的方法收集的Twitter数据集，以及包含Twitter，YouTube和Facebook评论的多平台数据集，以评估泛化能力。这些数据集上的竞争结果表明，使用我们的方法收集的数据捕捉到了攻击性语言的普遍特征。我们的研究结果还强调了攻击性通信中使用的常用词，仇恨言论的常见目标，暴力推文中的特定模式;并指出了可归因于NLP模型局限性的常见分类错误。我们观察到，即使是最先进的Transformer模型也可能无法考虑文化、背景和上下文，或者无法理解现实世界数据中存在的细微差别，例如讽刺。
2022-05-19 cs.CL
BERT-Based Arabic Social Media Author Profiling
The University of British Columbia（不列颠哥伦比亚大学）
我们报告我们的模型检测年龄，语言多样性和性别的社交媒体数据的背景下，阿拉伯文作者分析和欺骗检测共享任务（APDA）。我们基于来自Transformers（BERT）的预训练双向编码器构建简单模型。我们首先在三个数据集上使用共享任务发布的数据对预训练的BERT模型进行微调。然后，我们用性别和方言的内部数据增强共享任务数据，显示了增强训练数据的实用性。我们在共享任务测试数据上的最佳模型是通过在不同数据条件下训练的各种BERT模型的多数投票获得的。在这三个任务中，我们获得了54.72%的年龄准确率，93.75%的方言准确率，81.67%的性别准确率和40.97%的联合准确率。
2019-10-31 cs.CL
Data Augmentation using Transformers and Similarity Measures for Improving Arabic Text Classification
Princess Sumaya University for Technology (PSUT)（公主SUMaya技术大学（PSUT））
提出基于 AraGPT-2 的阿拉伯语文本数据增强方法，并结合多种相似度度量评估生成句，用 AraBERT 验证其在四个情感数据集上的分类增益。
2023-08-20 cs.AI cs.CL cs.LG
