Dialect Identification in Nuanced Arabic Tweets Using Farasa Segmentation and AraBERT
Flipkart Private Limited（Flipkart私人有限公司）
本文介绍了我们解决EACL WANLP-2021共享任务1：细微差别的阿拉伯语方言识别（NADI）的方法。该任务旨在开发一个系统，以现代标准阿拉伯语或方言形式识别阿拉伯语推文的地理位置（国家/省）。我们分两部分解决这个任务。第一部分涉及通过清理、添加和分割文本的各个部分来预处理所提供的数据集。其次是进行实验，不同版本的两个Transformer为基础的模型，AraBERT和AraELECTRA。我们最终的方法在四个子任务中获得了0.216，0.235，0.054和0.043的宏观F1分数，并且我们在MSA识别子任务中排名第二，在DA识别子任务中排名第四。
2021-02-22 cs.CL
Adapting MARBERT for Improved Arabic Dialect Identification: Submission to the NADI 2021 Shared Task
Microsoft（微软）
在本文中，我们解决了细微差别的阿拉伯语方言识别（NADI）共享任务（Abdul-Mageed等人，2021年），并在所有四个子任务上展示最先进的成果。任务是在国家和省两级确定短方言（DA）和现代标准阿拉伯语（MSA）话语的地理来源。我们的最终模型是建立在MARBERT之上的变量集合，在国家级发展集上实现了DA的34.03%的F1分数-比以前的工作提高了7.63%。
2021-03-01 cs.CL
MuDRiC: Multi-Dialect Reasoning for Arabic Commonsense Validation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MuDRiC通过引入多方言阿拉伯语常识数据集和图卷积网络方法，提升阿拉伯语常识验证性能。
2026-01-10 cs.CL
NADI 2022: The Third Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们描述了第三个细微差别的阿拉伯语方言识别共享任务（NADI 2022）的结果。NADI旨在推进阿拉伯语NLP的最新发展，包括阿拉伯语方言。它通过在一个标准化的环境中提供不同的数据集和建模机会来实现这一点，在这个环境中，模型和方法之间的有意义的比较是可能的。NADI 2022针对国家一级的方言识别（子任务1）和方言情感分析（子任务2）。共有41个独特的团队注册了共享任务，其中21个团队实际参与（105个有效提交）。其中，19个小组参加了分任务1，10个小组参加了分任务2。获胜团队在子任务1上获得了27.06 F1，在子任务2上获得了F1=75.16，这反映了这两个子任务仍然具有挑战性，并激励了该领域的未来工作。我们描述了参与团队所采用的方法，并提供了NADI的前景。
2022-10-20 cs.CL
AraDetox: A Multi-Dialect Arabic Detoxification Dataset
本文提出多方言阿拉伯语解毒数据集AraDetox，基于GPT-5和Gemini 2.5 Flash生成海量解毒文本，经评估验证其可有效去除有害语言并保留原意，为相关研究提供公开资源。
2026-08-25 cs.AI cs.CL
ADI-20: Arabic Dialect Identification dataset and models
Avignon Université（阿维尼翁大学）；Elyadata（Elyadata公司）
提出覆盖所有阿拉伯语国家方言的ADI-20数据集，训练评估基于ECAPA-TDNN和Whisper的模型，研究数据规模与参数数量的影响，开源数据及模型以支持复现与后续研究。
2025-11-13 cs.CL
Arabic Dialect Identification under Scrutiny: Limitations of Single-label Classification
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文指出单标签分类是阿拉伯方言识别（ADI）系统难以区分微观方言的主要原因，人工分析显示约66%的验证错误并非真错误，故建议将ADI设定为多标签分类任务并给出数据集设计建议。
2023-10-20 cs.CL
Arab Voices: Mapping Standard and Dialectal Arabic Speech Technology
The University of British Columbia（不列颠哥伦比亚大学）
Arab Voices通过标准化框架统一了14种方言的阿拉伯语音识别数据集，提供统一的元数据和评估工具，并对最新ASR系统进行了基准测试，以提升方言阿拉伯语音识别的标准化和可重复性。
2026-01-28 cs.CL
NADI 2021: The Second Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出了第二次细微差别阿拉伯语方言识别共享任务（NADI 2021）的发现和结果。该共享任务包括四个子任务：国家级现代标准阿拉伯语（MSA）识别（子任务1.1）、国家级方言识别（子任务1.2）、省级MSA识别（子任务2.1）和省级次方言识别（子任务2.2）。共享任务数据集涵盖来自21个阿拉伯国家的100个省份，从Twitter域名收集。共有来自23个国家的53个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自5个团队的16份子任务1.1的提交，来自8个团队的27份子任务1.2的提交，来自4个团队的12份子任务2.1的提交，以及来自4个团队的13份子任务2.2的提交。
2021-04-18 cs.CL
Arabic Dialect Identification in the Wild
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学（HBKU））
我们介绍了QADI，这是一个自动收集的推文数据集，属于广泛的国家级阿拉伯语方言-覆盖中东和北非地区的18个不同国家。我们构建此数据集的方法依赖于应用多个过滤器，以根据帐户描述识别属于不同国家的用户，并消除用现代标准阿拉伯语编写或包含不适当语言的推文。由此产生的数据集包含来自2，525名用户的54万条推文，这些用户均匀分布在18个阿拉伯国家。使用内在评价，我们表明，一组随机选择的推文的标签是91.5%的准确率。对于外部评估，我们能够在推文上建立有效的国家级方言识别，18个类别的宏观平均F1分数为60.6%。
2020-05-15 cs.CL
Adversarial Multitask Learning for Joint Multi-Feature and Multi-Dialect Morphological Modeling
New York University Abu Dhabi（纽约大学阿布扎比分校）
形态标记对于形态丰富的语言是具有挑战性的，这是由于大的目标空间和需要更多的训练数据来最小化模型稀疏性。形态丰富的语言的方言变体遭受更多，因为它们往往更嘈杂，资源更少。在本文中，我们探讨了使用多任务学习和对抗训练，以解决形态丰富性和方言的变化，在完整的形态标记的背景下。我们使用多任务学习联合形态建模的功能在两个方言，并作为跨方言建模的知识转移计划。我们使用对抗训练来学习方言不变特征，这些特征可以帮助知识转移方案从高资源变体到低资源变体。我们使用两种方言变体：现代标准阿拉伯语（高资源“方言”）和埃及阿拉伯语（低资源方言）作为案例研究。我们的模型在这两方面都取得了最先进的结果。此外，对抗训练在使用较小的训练数据集时提供了更显着的改进。
2019-10-28 cs.CL cs.LG
Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；University of the Chinese Academy of Sciences（中国科学院大学）
Habibi提出一个统一多方言阿拉伯语语音合成框架，通过多步骤数据管道和语言指导课程学习策略，实现了跨方言零样本合成，并发布了首个标准化多方言评估基准，验证了模型在多个指标上的竞争力。
2026-03-31 cs.CL cs.SD eess.AS
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
USTHB at NADI 2023 shared task: Exploring Preprocessing and Feature Engineering Strategies for Arabic Dialect Identification
USTHB；CRSTDLA
针对NADI 2023阿拉伯国家级方言识别子任务，研究探索多种预处理与特征工程策略，采用LSVC模型实现了62.51%的F1值，接近该子任务提交系统的平均水平。
2023-12-16 cs.CL
TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus
LIG（信息学实验室）；University of Rome Sapienza（罗马大学（萨皮恩扎））
本文介绍了第一个形态句法注释的突尼斯阿拉伯语语料库（TArC）的建立过程。阿拉伯语，也被称为Arabizi，是阿拉伯方言在拉丁字符和算术（数字用作字母）中的自发编码。这个代码系统是由社交媒体的阿拉伯语用户开发的，以方便在计算机介导的通信（CMC）和短信非正式框架中的写作。阿拉伯语在方言中的表现是多样的，每个阿拉伯语代码系统都是资源不足的，就像大多数阿拉伯语方言一样。在过去的几年里，NLP领域对阿拉伯语方言的关注大大增加。考虑到这一点，TArC将成为不同类型的分析，计算和语言，以及NLP工具培训的有用支持。在这篇文章中，我们将描述TArC半自动构建过程的初步工作，以及我们在TArC上开发的一些初步分析。此外，为了提供在建设过程中所面临的挑战的一个完整的概述，我们将提出主要突尼斯方言的特点和突尼斯阿拉伯语编码。
2020-03-24 cs.CL cs.LG
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务（NADI）。该共享任务包括两个子任务：国家级方言识别（子任务1）和省级次方言识别（子任务2）。共享任务的数据涵盖来自21个阿拉伯国家的100个省份，并从Twitter域收集。因此，NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
NADI 2023: The Fourth Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文介绍了第四届阿拉伯语方言识别共享任务（NADI 2023），涵盖方言识别与方言到现代标准阿拉伯语机器翻译两项任务，共有18个团队提交76次有效结果，结果显示各项任务仍具挑战性。
2023-10-24 cs.CL
ArBanking77: Intent Detection Neural Model and a New Dataset in Modern and Dialectical Arabic
Birzeit University（比尔宰特大学）；Sestek
本文构建了银行领域阿拉伯语意图检测数据集ArBanking77，并提出基于AraBERT微调的神经模型，在标准语和方言上取得优异F1分数，同时验证了低资源和噪声场景下的鲁棒性。
2023-10-29 cs.CL
NADI 2024: The Fifth Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Edinburgh（爱丁堡大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）
NADI 2024共享任务聚焦阿拉伯方言识别、方言程度等级识别和方言到MSA机器翻译，12支团队参赛，结果显示相关任务仍具挑战性。
2024-07-06 cs.AI cs.CL
ArFake: A Robust Framework for Multi-Dialect Arabic Speech Spoofing Detection Benchmark
MBZUAI, UAE（马布里扎大学人工智能研究所，阿联酋）；Queen’s University, Canada（女王大学，加拿大）；University of Waterloo, Canada（滑铁卢大学，加拿大）
提出首个多方言阿拉伯语欺骗语音数据集，通过多模型评估和人类评分构建基准，发现FishSpeech在卡萨布兰卡语料库上生成最逼真的合成语音。
2026-06-16 cs.CL
Guidelines and Annotation Framework for Arabic Author Profiling
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们介绍了注释管道和我们编写的指南，作为从各种社交媒体来源创建大型手动注释的阿拉伯语作者分析数据集的一部分，涵盖16个阿拉伯国家和11个方言地区。注释ARAP-推文语料库的目标大小超过240万字。我们说明和总结了我们的一般和方言的具体指导方针，为每个选定的方言地区。我们还提出了注释框架和物流。我们经常通过在注释过程中计算注释者之间的一致性来控制注释质量。最后，我们描述了在注释阶段遇到的问题，特别是那些与社会媒体中使用的阿拉伯方言品种的特点。
2018-08-23 cs.CL
SalamahBench: Dialect and Category Level Safety Evaluation of Arabic Language Models
Compumacy for Artificial Intelligence Solutions（Compumacy人工智能解决方案公司）；Taibah University（泰巴大学）；George Mason University（乔治梅森大学）；Queen’s University Belfast（贝尔法斯特女王大学）
SalamahBench提出了一种统一的阿拉伯语言模型安全评估基准，评估五种先进模型的安全性，揭示了不同模型在安全对齐上的显著差异。
2026-09-30 cs.AI cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们提出了Arap-Tweet，这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库，我们从Twitter收集了数据，并为一个经验丰富的注释者团队提供了注释指南，他们用来注释语料库的年龄类别，性别和方言种类。在数据汇集过程中，我们根据不同阿拉伯方言的独特关键字进行搜索，并使用Twitter API验证位置。在本文中，我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后，我们提出的结果进行评估，以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源，并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering（工程学院）；Computer Science, VinUniversity（计算机科学，文大学）
本文介绍了一个大规模的阿拉伯语创意文本语料库，包含256万行和1350万词，涵盖古典和现代阿拉伯语及六种主要方言，提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
Hybrid Deep Learning and Signal Processing for Arabic Dialect Recognition in Low-Resource Settings
Eskisehir Technical University Department of Electrical and Electronics Engineering（埃斯克谢希尔技术大学电气与电子工程系）
针对低资源阿拉伯语方言识别问题，提出结合经典信号处理与深度学习的混合模型，实验证明MFCC+CNN架构准确率达91.2%，显著优于DWT+RNN，为该领域奠定了坚实基础。
2025-06-26 cs.CL cs.SD eess.AS
A Deep CNN Architecture with Novel Pooling Layer Applied to Two Sudanese Arabic Sentiment Datasets
Northwest University（西北大学）；University of Essex（埃塞克斯大学）
阿拉伯语情感分析近年来已成为一个重要的研究领域。最初，工作集中在现代标准阿拉伯语（MSA），这是最广泛使用的形式。从那时起，工作已经进行了几个不同的方言，包括埃及，黎凡特和摩洛哥。此外，还创建了一些数据集来支持这一工作。然而，到目前为止，对苏丹阿拉伯语的研究较少，这是一种有3200万人使用的方言。本文介绍了两个新的公开可用的数据集，2类苏丹情绪数据集（SudSenti2）和3类苏丹情绪数据集（SudSenti3）。此外，提出了一种CNN架构SCM，包括五个CNN层以及一个新的池化层MMA，以提取最佳特征。将该SCM + MMA模型应用于SudSenti2和SudSenti3，准确率分别为92.75%和84.39%。接下来，将该模型与其他深度学习分类器进行比较，并显示出在这些新数据集上的优越性。最后，该模型被应用到现有的沙特情绪数据集和MSA酒店阿拉伯语评论数据集的准确率为85.55%和90.01%。
2022-01-29 cs.CL cs.LG
A Large Scale Corpus of Gulf Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Bahrain（巴林大学）
大多数阿拉伯语自然语言处理工具和资源都是为现代标准阿拉伯语（MSA）开发的，MSA是阿拉伯世界的官方书面语言。一些方言阿拉伯语变体，特别是埃及阿拉伯语，最近受到了一些关注，并且拥有越来越多的资源，包括注释语料库和形态分析器和标记器。然而，海湾阿拉伯语在这方面落后了。在本文中，我们介绍了古马尔语料库，一个大规模的海湾阿拉伯语语料库，包括1.1亿字，从1,200论坛小说。我们在文档级别对语料库进行子方言信息注释。我们还提出了海湾阿拉伯语的形态注释，其中包括传统的正字法制定准则的初步研究结果。该语料库的文本是公开的浏览通过一个网络界面，我们为它开发。
2016-09-09 cs.CL
Dialect2SQL: A Novel Text-to-SQL Dataset for Arabic Dialects with a Focus on Moroccan Darija
Mohammed VI Polytechnic University（摩洛哥穆莱·易卜拉欣 polytechnic 大学）；King Fahd University of Petroleum and Minerals（国王 Fahd 石油和矿产业大学）
针对现有Text-to-SQL数据集主要覆盖高资源语言的问题，本文推出首个聚焦摩洛哥达里贾语的阿拉伯方言大规模跨领域Dialect2SQL数据集，填补了相关低资源语言研究资源空白。
2025-01-20 cs.AI cs.CL cs.DB
An End-to-End Hybrid Framework for Rumour Detection in Low-Resources Algerian Dialect
ATM Mobilis；USTHB Algiers（阿尔及尔科技大学）
针对阿尔及利亚方言谣言检测中资源稀缺、代码切换等问题，提出端到端混合框架，结合Transformer嵌入与经典分类器，F1达0.84，并发现领域预训练比模型规模更重要。
2026-06-12 cs.CL
Linear Semantic Segmentation for Low-Resource Spoken Dialects
Mohamed bin Zayed University of Artificial Intelligence（莫扎姆贝克·本·扎耶德人工智能大学）；IBM Research AI（IBM人工智能研究院）
本文提出一个多领域基准测试，用于评估阿拉伯语口语方言的语义分割，发现标准模型在低资源口语上表现不佳，并提出新的模型提升分割性能。
2026-05-07 cs.AI cs.CL
AraFinNLP 2024: The First Arabic Financial NLP Shared Task
Birzeit University（比尔宰特大学）；Lancaster University（兰卡斯特大学）；King Saud University（沙特国王大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对阿拉伯金融领域对NLP工具的需求，首届AraFinNLP共享任务推出两个银行领域子任务，基于含3.9万条并行查询的ArBanking77数据集开展竞赛，推动阿拉伯金融NLP及相关应用发展。
2024-07-13 cs.CL
BERT-Based Arabic Social Media Author Profiling
The University of British Columbia（不列颠哥伦比亚大学）
我们报告我们的模型检测年龄，语言多样性和性别的社交媒体数据的背景下，阿拉伯文作者分析和欺骗检测共享任务（APDA）。我们基于来自Transformers（BERT）的预训练双向编码器构建简单模型。我们首先在三个数据集上使用共享任务发布的数据对预训练的BERT模型进行微调。然后，我们用性别和方言的内部数据增强共享任务数据，显示了增强训练数据的实用性。我们在共享任务测试数据上的最佳模型是通过在不同数据条件下训练的各种BERT模型的多数投票获得的。在这三个任务中，我们获得了54.72%的年龄准确率，93.75%的方言准确率，81.67%的性别准确率和40.97%的联合准确率。
2019-10-31 cs.CL
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA（ELYADATA 公司）
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN，含25小时108场演讲数据，公开标注指南并报告基线系统结果，为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
Mavericks at NADI 2023 Shared Task: Unravelling Regional Nuances through Dialect Identification using Transformer-based Approach
Pune Institute of Computer Technology（浦那计算机技术学院）
本文针对 NADI 2023 共享任务中的阿拉伯语国家层面方言识别问题，采用多种阿拉伯语预训练 Transformer 模型进行微调并集成，在包含 18 种方言的 TWT-2023 数据集上取得 76.65 的 F1 分数。
2023-11-30 cs.CL
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；American University of Beirut（贝鲁特美国大学）；Qatar University（卡塔尔大学）
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时，其复杂性进一步增加，主要是因为大量的方言是不标准化的，并且在网络中广泛使用，特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器，但这些数据集中的大多数都包含浅层注释，仅将文本单元的情感标记为单词，句子或文档。在本文中，我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言（ArSenTD-LEV）。根据对黎凡特地区推文的分析结果，我们创建了一个包含4,000条推文的数据集，并附有以下注释：推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University（泰夫大学）
阿拉伯语方言识别是自然语言处理的一项具体任务，旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用（例如机器翻译、多语言文本到语音合成和跨语言文本生成）的第一步。因此，在过去十年中，人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中，我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先，我们要明确问题及其挑战。然后，调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此，我们回顾了传统的机器学习方法，深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外，我们说明了文献中研究的阿拉伯方言的分类，阿拉伯方言识别进行的文本处理的各个层次（例如，标记、句子和文档级别），以及可用的注释资源，包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
A Novel Dialect-Aware Framework for the Classification of Arabic Dialects and Emotions
King Saud University（沙特国王大学）
针对当前阿拉伯语情感检测缺乏方言情感表达关注的问题，本研究构建含文本预处理、分类及聚类模块的方言感知框架，生成方言情感词典，方言分类准确率达88.9%（超现有最优6.45个百分点），埃及及海湾方言情感检测准确率分别为89.1%和79%。
2025-02-13 cs.CL cs.LG
An Enhanced Corpus for Arabic Newspapers Comments
ICOSI Laboratory, University of Khenchela（肯谢拉大学ICOSI实验室）；LIRE Laboratory, University of Constantine 2（君士坦丁第二大学LIRE实验室）；TechNE Laboratory, University of Poitiers（普瓦捷大学TechNE实验室）
在本文中，我们提出了我们的增强方法来创建一个专门的语料库阿尔及利亚阿拉伯语报纸评论。所开发的方法，以加强现有的方法，通过丰富的可用语料库和列入的注释步骤，通过以下的模型注释训练测试评估修订（物质）的方法。通过收集阿尔及利亚三家知名报纸网站的评论，建立了一个语料库。三个分类器，支持向量机，朴素贝叶斯，和k-最近邻，用于分类的评论成积极和消极的类。为了确定在所获得的结果中的词干的影响，在有和没有词干的情况下测试分类。获得的结果表明，词干并没有大大提高分类，由于阿尔及利亚的评论绑到阿尔及利亚阿拉伯语方言的性质。令人鼓舞的结果构成了我们的动机，以改善我们的方法，特别是在处理非阿拉伯语句子，特别是方言和法语的。
2021-02-08 cs.CL cs.IR cs.MA
Arabic Dialect Identification Using BERT-Based Domain Adaptation
Faculty of Engineering, Alexandria University（亚历山大大学工程学院）
阿拉伯语是世界上最重要和发展最快的语言之一。随着Twitter等社交媒体平台的兴起，阿拉伯语方言的使用越来越多。在本文中，我们描述了我们在NADI共享任务1上的方法，该任务要求我们构建一个系统来区分不同的21种阿拉伯语方言，我们介绍了一种深度学习半监督方式以及NADI共享任务1语料库上报告的预处理。我们的系统在NADI的共享任务竞赛中排名第四，实现了23.09%的F1宏观平均得分，采用简单而有效的方法区分21种阿拉伯方言。
2020-11-13 cs.CL cs.LG
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
Multi-Dialect Arabic BERT for Country-Level Dialect Identification
Mawdoo3 Ltd（Mawdoo3有限公司）
阿拉伯语方言识别是一个复杂的问题，因为语言本身具有一些固有的属性。在本文中，我们介绍了我们的竞争团队Mawdoo 3 AI开发的实验和模型，以实现我们对细微阿拉伯语方言识别（NADI）共享任务的子任务1的成功解决方案。方言识别子任务提供了21，000条国家级标记的推文，覆盖所有21个阿拉伯国家。来自同一领域的1000万条未标记的推文语料库也由比赛组织者提供供选择使用。我们获胜的解决方案本身是我们预先训练的BERT模型的不同训练迭代的集合，它在手头的子任务上实现了26.78%的微平均F1分数。我们以Multi-dialect-Arabic-BERT模型的名义公开发布了我们获奖解决方案的预训练语言模型组件，供任何感兴趣的研究人员使用。
2020-07-10 cs.CL cs.LG
MIT-QCRI Arabic Dialect Identification System for the 2017 Multi-Genre Broadcast Challenge
MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
为了成功地注释在开放域媒体广播中发现的阿拉伯语语音内容，必须能够处理各种阿拉伯方言。2017年多类型广播挑战赛（MGB-3）有两个可能的任务：阿拉伯语语音识别和阿拉伯语方言识别（ADI）。在本文中，我们描述了我们为MGB-3挑战创建ADI系统的努力，目标是区分四种主要的阿拉伯语方言以及现代标准阿拉伯语。我们的研究集中在方言变异性和训练域与测试域之间的域不匹配。为了实现一个强大的ADI系统，我们探索了暹罗神经网络模型来学习阿拉伯语方言之间的相似性和差异性，以及i向量后处理来适应域不匹配。声学和语言特征都用于最终的MGB-3提交，最好的主系统在官方10小时测试集上达到75%的准确率。
2017-08-28 cs.CL cs.LG cs.SD
Sentiment Analysis in Poems in Misurata Sub-dialect -- A Sentiment Detection in an Arabic Sub-dialect
Montclair State University（蒙特克莱尔州立大学）
近几十年来，阿拉伯语自然语言处理的资源显著增加和发展。这包括探索阿拉伯语情感分析（ALSA）从阿拉伯语的话语在现代标准阿拉伯语（MSA）和不同的阿拉伯语方言的任务。本研究的重点是检测在米苏拉塔，利比亚的米苏拉塔阿拉伯语方言写的诗歌中的情感。用于从数据集中检测情感的工具是Sklearn和Mazajak sentiment tool 1。逻辑回归，随机森林，朴素贝叶斯（NB）和支持向量机（SVM）分类器与Sklearn一起使用，而卷积神经网络（CNN）则与Mazajak一起实现。结果表明，传统分类器的准确度高于Mazajak，后者是基于包含深度学习技术的算法构建的。更多的研究建议分析阿拉伯语次方言诗歌，以调查这些多行文本中的情感方面，例如，使用比喻语言，如隐喻。
2021-09-15 cs.CL
Revisiting Common Assumptions about Arabic Dialects in NLP
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文重新审视了NLP中关于阿拉伯语方言的四个常见假设，通过扩展多标签数据集并由11国方言母语者人工评估句子有效性，发现这些假设过度简化现实且部分不准确，可能阻碍阿拉伯语NLP任务的进一步发展。
2025-05-27 cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington（华盛顿大学）；SRI International（SRI国际研究所）；LinkedIn（领英）
由于数据采集涉及口头语言的转录和翻译，因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中，我们开发的技术提取并行数据的一个特定的方言阿拉伯语（伊拉克阿拉伯语）从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略（基于交叉熵和子模块化选择），并证明了一个非常小的，但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Camelira: An Arabic Multi-Dialect Morphological Disambiguator
New York University Abu Dhabi（纽约大学阿布扎比分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们提出了Camelira，一个基于网络的阿拉伯语多方言形态消歧工具，涵盖了阿拉伯语的四个主要变体：现代标准阿拉伯语，埃及，海湾和黎凡特。Camelira提供了一个用户友好的Web界面，允许研究人员和语言学习者探索各种语言信息，如词性，形态特征和词元。我们的系统还提供了一个选项，自动选择一个适当的方言特定的消歧器的基础上预测的方言识别组件。Camelira可在http://camelira.camel-lab.com上公开访问。
2022-11-30 cs.CL
Similarities between Arabic Dialects: Investigating Geographical Proximity
Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹王子大学）
阿拉伯语方言的自动分类是一个持续的研究挑战，最近的工作已经探索了基于城市和省份等越来越有限的地理区域定义方言。本文着重于一个相关的，但相对未探讨的话题：位于阿拉伯国家的城市在地理上接近的辩证相似性的影响。我们的工作是双重的，依赖于：1）使用余弦相似性比较方言之间的文本相似性，2）测量位置之间的地理距离。我们研究了MADAR和NADI，这两个数据集来自许多城市和省份的阿拉伯方言。我们的研究结果表明，位于不同国家的城市实际上可能比同一国家的城市具有更多的辩证相似性，这取决于它们的地理位置。辩证相似性和城市邻近性之间的相关性表明，无论国家边界如何，距离较近的城市更有可能共享辩证属性。这种细微差别为阿拉伯语方言研究的重要进展提供了潜力，因为它表明，更细粒度的方言分类方法对于理解如何构建阿拉伯语方言识别问题至关重要。
2021-05-10 cs.CL
Automatic Dialect Detection in Arabic Broadcast Speech
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）；JHU Center for Language and Speech Processing (CLSP)（约翰斯·霍普金斯大学语言与语音处理中心）；University of Edinburgh（爱丁堡大学）
我们调查不同的方法方言识别阿拉伯语广播讲话中，使用语音，词汇的特点，从语音识别系统，和声学特征，使用i-向量框架。我们研究了生成式和判别式分类器，并使用多类支持向量机（SVM）将这些特征结合起来。我们在阿拉伯语/英语语言识别任务上验证了我们的结果，准确率为100%。我们在二元分类器中使用这些特征来区分现代标准阿拉伯语（MSA）和方言阿拉伯语，准确率为100%。我们进一步报告使用所提出的方法来区分阿拉伯语的五种最广泛使用的方言之间的结果：即埃及，海湾，黎凡特，北非和MSA，准确率为52%。我们讨论了方言识别错误的背景下，方言阿拉伯语和MSA之间的方言代码切换，并比较手动标记的数据之间的错误模式，从我们的分类器的输出。我们还发布了训练和测试数据作为方言识别的标准语料。
2016-08-11 cs.CL
The Arabic Generality Score: Another Dimension of Modeling Arabic Dialectness
MBZUAI；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对阿拉伯方言连续体被NLP模型视为离散类别及现有ALDi单一维度局限，提出阿拉伯通用性得分（AGS）量化词汇方言使用广度，构建标注流程并训练回归模型，在基准上优于强基线。
2025-08-24 cs.AI cs.CL
Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi
Inria（法国国家信息与自动化研究所）
为非标准化和低资源语言构建自然语言处理系统是一项艰巨的挑战。最近大规模多语言预训练语言模型的成功提供了新的建模工具来解决这个问题。在这项工作中，我们研究的能力，多语种语言模型处理一个看不见的方言。我们以用户生成的北非阿拉伯语为案例研究，这是一种资源贫乏的阿拉伯语方言，经常与法语混合，用阿拉伯语书写，阿拉伯语是阿拉伯语到拉丁语的非标准化音译。专注于两个任务，词性标记和依存句法分析，我们在zero-shot和无监督的适应场景中显示，多语言语言模型能够转移到这样一个看不见的方言，特别是在两种极端情况下：（i）跨脚本，使用现代标准阿拉伯语作为源语言，以及（ii）从一个遥远的相关语言，在预训练过程中看不见，即马耳他语。我们的研究结果构成了对这种方言的首次成功的迁移实验，从而为资源稀缺，非标准化和高度可变的本地语言的NLP生态系统的发展铺平了道路。
2020-05-01 cs.CL cs.LG
Ara-HOPE: Human-Centric Post-Editing Evaluation for Dialectal Arabic to Modern Standard Arabic Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Leids Universitair Medisch Centrum & LIACS, Universiteit Leiden（莱顿大学莱顿医学校区及LIACS）；School of Computer Science, University of Manchester（曼彻斯特大学计算机科学学院）
Ara-HOPE提出了一种人本后编辑评估框架，用于评估方言阿拉伯语到标准阿拉伯语翻译的质量，揭示了方言特定术语和语义保持的挑战，为改进方言感知MT系统提供指导。
2026-02-14 cs.CL
Automatic Standardization of Arabic Dialects for Machine Translation
Jean Moulin Lyon 3 University（里昂第三大学）；Linguistics Research Center - Corpus, Discourse and Societies（语言学研究中心 - 语料库、话语与社会）；ILCEA4-CREO (Grenoble Alpes University)（格勒诺布尔阿尔卑斯大学ILCEA4-CREO）
基于2013年3月的一个多媒体语料库，我们深入研究了面向机器翻译的阿拉伯方言“自动翻译”问题。在这里，我们区分基于规则的机器翻译和统计机器翻译。阿拉伯语的机器翻译大部分时间都采用标准或现代阿拉伯语作为源语言，并由于训练模型所需的翻译记忆库的可用性而产生相当令人满意的翻译。阿拉伯语方言的翻译情况就不同了。生产效率低得多。在我们的研究中，我们尝试将机器翻译方法应用于方言/标准（或现代）阿拉伯语对，以从方言输入自动生成标准阿拉伯语文本，我们称之为“自动翻译”。我们在这里选择“统计模型”的应用，因为基于规则的“自动翻译”更加困难，一方面缺乏“双语”词典，另一方面难以为每种方言创建语言规则。进行这项研究可能会导致将“自动翻译”软件和自动翻译软件结合起来，这样我们就可以将第一个软件的输出作为输入引入第二个软件，最终获得高质量的机器翻译。这种方法也可能有教育应用，例如开发应用程序，通过将方言文本转换为标准阿拉伯语来帮助理解不同的阿拉伯方言。
2023-01-09 cs.CL
Diacritization of Maghrebi Arabic Sub-Dialects
Qatar Computing Research Institute（卡塔尔计算研究所）；Google Inc.（谷歌公司）；University of Düsseldorf（杜塞尔多夫大学）
变音符号化过程试图恢复阿拉伯语书面文本中的短元音;这些短元音通常被省略。这个过程对于文本到语音（TTS）等应用程序至关重要。现代标准阿拉伯语（MSA）的变音符号化仍然占据着最大的份额，而方言阿拉伯语（DA）的变音符号化研究非常有限。在本文中，我们提出了我们对马格里布阿拉伯语的两个子方言（即突尼斯语和摩洛哥语）的自动变音的贡献和结果，使用字符级深度神经网络架构，在CRF输出层上堆叠两个bi-LSTM层。该模型实现了摩洛哥语和突尼斯语的单词出错率分别为2.7%和3.6%，并且能够隐式地识别输入的子方言。
2019-05-30 cs.CL
DialectSentEval 2026: Arabic Dialect Sentiment Analysis and Swapping Shared Task
King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；Onaizah Colleges（欧奈扎学院）；University College of Applied Sciences（应用科学大学学院）；Lancaster University（兰卡斯特大学）；UM6P（穆罕默德六世理工大学）；VinUniversity；El Technology；University of Luxembourg（卢森堡大学）
本文提出DialectSentEval 2026共享任务，包含多方言情感分类与情感互换两个子任务，旨在推动阿拉伯语方言情感分析研究，并总结参与模型的主要发现。
2026-10-06 cs.AI cs.CL
