Romanized Arabic Across Dialects: Views, Usage Patterns, and Linguistic Variation
本研究针对不同方言使用者的阿拉伯语罗马化（Arabizi）展开调查，发布两项相关资源，开展大规模跨方言研究，揭示其使用模式与语言变异。
2026-10-26 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）
本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。
2024-07-03 cs.CL
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务（NADI）。该共享任务包括两个子任务：国家级方言识别（子任务1）和省级次方言识别（子任务2）。共享任务的数据涵盖来自21个阿拉伯国家的100个省份，并从Twitter域收集。因此，NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
ALDi: Quantifying the Arabic Level of Dialectness of Text
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出将阿拉伯语方言化视为连续变量ALDi，构建AOC-ALDi数据集并训练模型有效识别方言化程度，为阿拉伯语社会语言学分析提供比传统二元系统更细致的视角。
2023-10-20 cs.CL
Dialect Identification in Nuanced Arabic Tweets Using Farasa Segmentation and AraBERT
Flipkart Private Limited（Flipkart私人有限公司）
本文介绍了我们解决EACL WANLP-2021共享任务1：细微差别的阿拉伯语方言识别（NADI）的方法。该任务旨在开发一个系统，以现代标准阿拉伯语或方言形式识别阿拉伯语推文的地理位置（国家/省）。我们分两部分解决这个任务。第一部分涉及通过清理、添加和分割文本的各个部分来预处理所提供的数据集。其次是进行实验，不同版本的两个Transformer为基础的模型，AraBERT和AraELECTRA。我们最终的方法在四个子任务中获得了0.216，0.235，0.054和0.043的宏观F1分数，并且我们在MSA识别子任务中排名第二，在DA识别子任务中排名第四。
2021-02-22 cs.CL
MuDRiC: Multi-Dialect Reasoning for Arabic Commonsense Validation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MuDRiC通过引入多方言阿拉伯语常识数据集和图卷积网络方法，提升阿拉伯语常识验证性能。
2026-01-10 cs.CL
ADI-20: Arabic Dialect Identification dataset and models
Avignon Université（阿维尼翁大学）；Elyadata（Elyadata公司）
提出覆盖所有阿拉伯语国家方言的ADI-20数据集，训练评估基于ECAPA-TDNN和Whisper的模型，研究数据规模与参数数量的影响，开源数据及模型以支持复现与后续研究。
2025-11-13 cs.CL
NADI 2024: The Fifth Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Edinburgh（爱丁堡大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）
NADI 2024共享任务聚焦阿拉伯方言识别、方言程度等级识别和方言到MSA机器翻译，12支团队参赛，结果显示相关任务仍具挑战性。
2024-07-06 cs.AI cs.CL
Arabic Dialect Identification under Scrutiny: Limitations of Single-label Classification
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文指出单标签分类是阿拉伯方言识别（ADI）系统难以区分微观方言的主要原因，人工分析显示约66%的验证错误并非真错误，故建议将ADI设定为多标签分类任务并给出数据集设计建议。
2023-10-20 cs.CL
Arab Voices: Mapping Standard and Dialectal Arabic Speech Technology
The University of British Columbia（不列颠哥伦比亚大学）
Arab Voices通过标准化框架统一了14种方言的阿拉伯语音识别数据集，提供统一的元数据和评估工具，并对最新ASR系统进行了基准测试，以提升方言阿拉伯语音识别的标准化和可重复性。
2026-01-28 cs.CL
Arabic Dialect Identification in the Wild
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学（HBKU））
我们介绍了QADI，这是一个自动收集的推文数据集，属于广泛的国家级阿拉伯语方言-覆盖中东和北非地区的18个不同国家。我们构建此数据集的方法依赖于应用多个过滤器，以根据帐户描述识别属于不同国家的用户，并消除用现代标准阿拉伯语编写或包含不适当语言的推文。由此产生的数据集包含来自2，525名用户的54万条推文，这些用户均匀分布在18个阿拉伯国家。使用内在评价，我们表明，一组随机选择的推文的标签是91.5%的准确率。对于外部评估，我们能够在推文上建立有效的国家级方言识别，18个类别的宏观平均F1分数为60.6%。
2020-05-15 cs.CL
ArBanking77: Intent Detection Neural Model and a New Dataset in Modern and Dialectical Arabic
Birzeit University（比尔宰特大学）；Sestek
本文构建了银行领域阿拉伯语意图检测数据集ArBanking77，并提出基于AraBERT微调的神经模型，在标准语和方言上取得优异F1分数，同时验证了低资源和噪声场景下的鲁棒性。
2023-10-29 cs.CL
Estimating the Level of Dialectness Predicts Interannotator Agreement in Multi-dialect Arabic Datasets
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究多方言阿拉伯语数据标注中ALDi得分与标注者一致性的关系，在15个公开数据集上验证了高ALDi样本更难标注的假设，并提出应优先将高ALDi样本路由给对应方言母语者以提升标注质量。
2024-06-06 cs.AI cs.CL
ArFake: A Robust Framework for Multi-Dialect Arabic Speech Spoofing Detection Benchmark
MBZUAI, UAE（马布里扎大学人工智能研究所，阿联酋）；Queen’s University, Canada（女王大学，加拿大）；University of Waterloo, Canada（滑铁卢大学，加拿大）
提出首个多方言阿拉伯语欺骗语音数据集，通过多模型评估和人类评分构建基准，发现FishSpeech在卡萨布兰卡语料库上生成最逼真的合成语音。
2026-06-16 cs.CL
Guidelines and Annotation Framework for Arabic Author Profiling
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们介绍了注释管道和我们编写的指南，作为从各种社交媒体来源创建大型手动注释的阿拉伯语作者分析数据集的一部分，涵盖16个阿拉伯国家和11个方言地区。注释ARAP-推文语料库的目标大小超过240万字。我们说明和总结了我们的一般和方言的具体指导方针，为每个选定的方言地区。我们还提出了注释框架和物流。我们经常通过在注释过程中计算注释者之间的一致性来控制注释质量。最后，我们描述了在注释阶段遇到的问题，特别是那些与社会媒体中使用的阿拉伯方言品种的特点。
2018-08-23 cs.CL
AraDetox: A Multi-Dialect Arabic Detoxification Dataset
本文提出多方言阿拉伯语解毒数据集AraDetox，基于GPT-5和Gemini 2.5 Flash生成海量解毒文本，经评估验证其可有效去除有害语言并保留原意，为相关研究提供公开资源。
2026-08-25 cs.AI cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们提出了Arap-Tweet，这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库，我们从Twitter收集了数据，并为一个经验丰富的注释者团队提供了注释指南，他们用来注释语料库的年龄类别，性别和方言种类。在数据汇集过程中，我们根据不同阿拉伯方言的独特关键字进行搜索，并使用Twitter API验证位置。在本文中，我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后，我们提出的结果进行评估，以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源，并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering（工程学院）；Computer Science, VinUniversity（计算机科学，文大学）
本文介绍了一个大规模的阿拉伯语创意文本语料库，包含256万行和1350万词，涵盖古典和现代阿拉伯语及六种主要方言，提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
A Large Scale Corpus of Gulf Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Bahrain（巴林大学）
大多数阿拉伯语自然语言处理工具和资源都是为现代标准阿拉伯语（MSA）开发的，MSA是阿拉伯世界的官方书面语言。一些方言阿拉伯语变体，特别是埃及阿拉伯语，最近受到了一些关注，并且拥有越来越多的资源，包括注释语料库和形态分析器和标记器。然而，海湾阿拉伯语在这方面落后了。在本文中，我们介绍了古马尔语料库，一个大规模的海湾阿拉伯语语料库，包括1.1亿字，从1,200论坛小说。我们在文档级别对语料库进行子方言信息注释。我们还提出了海湾阿拉伯语的形态注释，其中包括传统的正字法制定准则的初步研究结果。该语料库的文本是公开的浏览通过一个网络界面，我们为它开发。
2016-09-09 cs.CL
Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；University of the Chinese Academy of Sciences（中国科学院大学）
Habibi提出一个统一多方言阿拉伯语语音合成框架，通过多步骤数据管道和语言指导课程学习策略，实现了跨方言零样本合成，并发布了首个标准化多方言评估基准，验证了模型在多个指标上的竞争力。
2026-03-31 cs.CL cs.SD eess.AS
dzNLP at NADI 2024 Shared Task: Multi-Classifier Ensemble with Weighted Voting and TF-IDF Features
LCPTS-FGE；USTHB（阿尔及利亚科学技术大学）；CRSTDLA；University of Algiers 01（阿尔及尔大学01）
dzNLP团队在NADI 2024子任务1中采用基于TF-IDF特征和加权投票的多分类器集成方法，虽取得最高精确率63.22%，但F1分数约21%，因召回率仅12.87%，需改进对多样方言的识别。
2024-07-18 cs.CL
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究通过课程学习和伪标签方法构建多标签阿拉伯方言识别数据集，并训练BERT模型提升泛化能力，最终在排行榜上取得宏平均F1值0.69的优异成绩。
2026-02-17 cs.CL cs.LG
SalamahBench: Dialect and Category Level Safety Evaluation of Arabic Language Models
Compumacy for Artificial Intelligence Solutions（Compumacy人工智能解决方案公司）；Taibah University（泰巴大学）；George Mason University（乔治梅森大学）；Queen’s University Belfast（贝尔法斯特女王大学）
SalamahBench提出了一种统一的阿拉伯语言模型安全评估基准，评估五种先进模型的安全性，揭示了不同模型在安全对齐上的显著差异。
2026-09-30 cs.AI cs.CL
An End-to-End Hybrid Framework for Rumour Detection in Low-Resources Algerian Dialect
ATM Mobilis；USTHB Algiers（阿尔及尔科技大学）
针对阿尔及利亚方言谣言检测中资源稀缺、代码切换等问题，提出端到端混合框架，结合Transformer嵌入与经典分类器，F1达0.84，并发现领域预训练比模型规模更重要。
2026-06-12 cs.CL
AraFinNLP 2024: The First Arabic Financial NLP Shared Task
Birzeit University（比尔宰特大学）；Lancaster University（兰卡斯特大学）；King Saud University（沙特国王大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对阿拉伯金融领域对NLP工具的需求，首届AraFinNLP共享任务推出两个银行领域子任务，基于含3.9万条并行查询的ArBanking77数据集开展竞赛，推动阿拉伯金融NLP及相关应用发展。
2024-07-13 cs.CL
BERT-Based Arabic Social Media Author Profiling
The University of British Columbia（不列颠哥伦比亚大学）
我们报告我们的模型检测年龄，语言多样性和性别的社交媒体数据的背景下，阿拉伯文作者分析和欺骗检测共享任务（APDA）。我们基于来自Transformers（BERT）的预训练双向编码器构建简单模型。我们首先在三个数据集上使用共享任务发布的数据对预训练的BERT模型进行微调。然后，我们用性别和方言的内部数据增强共享任务数据，显示了增强训练数据的实用性。我们在共享任务测试数据上的最佳模型是通过在不同数据条件下训练的各种BERT模型的多数投票获得的。在这三个任务中，我们获得了54.72%的年龄准确率，93.75%的方言准确率，81.67%的性别准确率和40.97%的联合准确率。
2019-10-31 cs.CL
Hybrid Deep Learning and Signal Processing for Arabic Dialect Recognition in Low-Resource Settings
Eskisehir Technical University Department of Electrical and Electronics Engineering（埃斯克谢希尔技术大学电气与电子工程系）
针对低资源阿拉伯语方言识别问题，提出结合经典信号处理与深度学习的混合模型，实验证明MFCC+CNN架构准确率达91.2%，显著优于DWT+RNN，为该领域奠定了坚实基础。
2025-06-26 cs.CL cs.SD eess.AS
Linear Semantic Segmentation for Low-Resource Spoken Dialects
Mohamed bin Zayed University of Artificial Intelligence（莫扎姆贝克·本·扎耶德人工智能大学）；IBM Research AI（IBM人工智能研究院）
本文提出一个多领域基准测试，用于评估阿拉伯语口语方言的语义分割，发现标准模型在低资源口语上表现不佳，并提出新的模型提升分割性能。
2026-05-07 cs.AI cs.CL
Dialect2SQL: A Novel Text-to-SQL Dataset for Arabic Dialects with a Focus on Moroccan Darija
Mohammed VI Polytechnic University（摩洛哥穆莱·易卜拉欣 polytechnic 大学）；King Fahd University of Petroleum and Minerals（国王 Fahd 石油和矿产业大学）
针对现有Text-to-SQL数据集主要覆盖高资源语言的问题，本文推出首个聚焦摩洛哥达里贾语的阿拉伯方言大规模跨领域Dialect2SQL数据集，填补了相关低资源语言研究资源空白。
2025-01-20 cs.AI cs.CL cs.DB
Adversarial Multitask Learning for Joint Multi-Feature and Multi-Dialect Morphological Modeling
New York University Abu Dhabi（纽约大学阿布扎比分校）
形态标记对于形态丰富的语言是具有挑战性的，这是由于大的目标空间和需要更多的训练数据来最小化模型稀疏性。形态丰富的语言的方言变体遭受更多，因为它们往往更嘈杂，资源更少。在本文中，我们探讨了使用多任务学习和对抗训练，以解决形态丰富性和方言的变化，在完整的形态标记的背景下。我们使用多任务学习联合形态建模的功能在两个方言，并作为跨方言建模的知识转移计划。我们使用对抗训练来学习方言不变特征，这些特征可以帮助知识转移方案从高资源变体到低资源变体。我们使用两种方言变体：现代标准阿拉伯语（高资源“方言”）和埃及阿拉伯语（低资源方言）作为案例研究。我们的模型在这两方面都取得了最先进的结果。此外，对抗训练在使用较小的训练数据集时提供了更显着的改进。
2019-10-28 cs.CL cs.LG
TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus
LIG（信息学实验室）；University of Rome Sapienza（罗马大学（萨皮恩扎））
本文介绍了第一个形态句法注释的突尼斯阿拉伯语语料库（TArC）的建立过程。阿拉伯语，也被称为Arabizi，是阿拉伯方言在拉丁字符和算术（数字用作字母）中的自发编码。这个代码系统是由社交媒体的阿拉伯语用户开发的，以方便在计算机介导的通信（CMC）和短信非正式框架中的写作。阿拉伯语在方言中的表现是多样的，每个阿拉伯语代码系统都是资源不足的，就像大多数阿拉伯语方言一样。在过去的几年里，NLP领域对阿拉伯语方言的关注大大增加。考虑到这一点，TArC将成为不同类型的分析，计算和语言，以及NLP工具培训的有用支持。在这篇文章中，我们将描述TArC半自动构建过程的初步工作，以及我们在TArC上开发的一些初步分析。此外，为了提供在建设过程中所面临的挑战的一个完整的概述，我们将提出主要突尼斯方言的特点和突尼斯阿拉伯语编码。
2020-03-24 cs.CL cs.LG
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA（ELYADATA 公司）
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN，含25小时108场演讲数据，公开标注指南并报告基线系统结果，为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
A Deep CNN Architecture with Novel Pooling Layer Applied to Two Sudanese Arabic Sentiment Datasets
Northwest University（西北大学）；University of Essex（埃塞克斯大学）
阿拉伯语情感分析近年来已成为一个重要的研究领域。最初，工作集中在现代标准阿拉伯语（MSA），这是最广泛使用的形式。从那时起，工作已经进行了几个不同的方言，包括埃及，黎凡特和摩洛哥。此外，还创建了一些数据集来支持这一工作。然而，到目前为止，对苏丹阿拉伯语的研究较少，这是一种有3200万人使用的方言。本文介绍了两个新的公开可用的数据集，2类苏丹情绪数据集（SudSenti2）和3类苏丹情绪数据集（SudSenti3）。此外，提出了一种CNN架构SCM，包括五个CNN层以及一个新的池化层MMA，以提取最佳特征。将该SCM + MMA模型应用于SudSenti2和SudSenti3，准确率分别为92.75%和84.39%。接下来，将该模型与其他深度学习分类器进行比较，并显示出在这些新数据集上的优越性。最后，该模型被应用到现有的沙特情绪数据集和MSA酒店阿拉伯语评论数据集的准确率为85.55%和90.01%。
2022-01-29 cs.CL cs.LG
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）；Avignon Université（阿维尼翁大学）；ELYADATA（ELYADATA公司）；King Abdullah University of Science & Technology（阿卜杜拉国王科技大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）
NADI 2026作为第二届多方言阿拉伯语语音处理共享任务，涵盖五个任务八个子任务，引入TTS、SLT和SLU，强调现实评估，发现域外泛化是主要瓶颈，并验证了专用模型与集成方法的有效性。
2026-09-24 cs.CL
An Enhanced Corpus for Arabic Newspapers Comments
ICOSI Laboratory, University of Khenchela（肯谢拉大学ICOSI实验室）；LIRE Laboratory, University of Constantine 2（君士坦丁第二大学LIRE实验室）；TechNE Laboratory, University of Poitiers（普瓦捷大学TechNE实验室）
在本文中，我们提出了我们的增强方法来创建一个专门的语料库阿尔及利亚阿拉伯语报纸评论。所开发的方法，以加强现有的方法，通过丰富的可用语料库和列入的注释步骤，通过以下的模型注释训练测试评估修订（物质）的方法。通过收集阿尔及利亚三家知名报纸网站的评论，建立了一个语料库。三个分类器，支持向量机，朴素贝叶斯，和k-最近邻，用于分类的评论成积极和消极的类。为了确定在所获得的结果中的词干的影响，在有和没有词干的情况下测试分类。获得的结果表明，词干并没有大大提高分类，由于阿尔及利亚的评论绑到阿尔及利亚阿拉伯语方言的性质。令人鼓舞的结果构成了我们的动机，以改善我们的方法，特别是在处理非阿拉伯语句子，特别是方言和法语的。
2021-02-08 cs.CL cs.IR cs.MA
Sentiment Analysis in Poems in Misurata Sub-dialect -- A Sentiment Detection in an Arabic Sub-dialect
Montclair State University（蒙特克莱尔州立大学）
近几十年来，阿拉伯语自然语言处理的资源显著增加和发展。这包括探索阿拉伯语情感分析（ALSA）从阿拉伯语的话语在现代标准阿拉伯语（MSA）和不同的阿拉伯语方言的任务。本研究的重点是检测在米苏拉塔，利比亚的米苏拉塔阿拉伯语方言写的诗歌中的情感。用于从数据集中检测情感的工具是Sklearn和Mazajak sentiment tool 1。逻辑回归，随机森林，朴素贝叶斯（NB）和支持向量机（SVM）分类器与Sklearn一起使用，而卷积神经网络（CNN）则与Mazajak一起实现。结果表明，传统分类器的准确度高于Mazajak，后者是基于包含深度学习技术的算法构建的。更多的研究建议分析阿拉伯语次方言诗歌，以调查这些多行文本中的情感方面，例如，使用比喻语言，如隐喻。
2021-09-15 cs.CL
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
Revisiting Common Assumptions about Arabic Dialects in NLP
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文重新审视了NLP中关于阿拉伯语方言的四个常见假设，通过扩展多标签数据集并由11国方言母语者人工评估句子有效性，发现这些假设过度简化现实且部分不准确，可能阻碍阿拉伯语NLP任务的进一步发展。
2025-05-27 cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington（华盛顿大学）；SRI International（SRI国际研究所）；LinkedIn（领英）
由于数据采集涉及口头语言的转录和翻译，因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中，我们开发的技术提取并行数据的一个特定的方言阿拉伯语（伊拉克阿拉伯语）从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略（基于交叉熵和子模块化选择），并证明了一个非常小的，但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Camelira: An Arabic Multi-Dialect Morphological Disambiguator
New York University Abu Dhabi（纽约大学阿布扎比分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们提出了Camelira，一个基于网络的阿拉伯语多方言形态消歧工具，涵盖了阿拉伯语的四个主要变体：现代标准阿拉伯语，埃及，海湾和黎凡特。Camelira提供了一个用户友好的Web界面，允许研究人员和语言学习者探索各种语言信息，如词性，形态特征和词元。我们的系统还提供了一个选项，自动选择一个适当的方言特定的消歧器的基础上预测的方言识别组件。Camelira可在http://camelira.camel-lab.com上公开访问。
2022-11-30 cs.CL
Similarities between Arabic Dialects: Investigating Geographical Proximity
Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹王子大学）
阿拉伯语方言的自动分类是一个持续的研究挑战，最近的工作已经探索了基于城市和省份等越来越有限的地理区域定义方言。本文着重于一个相关的，但相对未探讨的话题：位于阿拉伯国家的城市在地理上接近的辩证相似性的影响。我们的工作是双重的，依赖于：1）使用余弦相似性比较方言之间的文本相似性，2）测量位置之间的地理距离。我们研究了MADAR和NADI，这两个数据集来自许多城市和省份的阿拉伯方言。我们的研究结果表明，位于不同国家的城市实际上可能比同一国家的城市具有更多的辩证相似性，这取决于它们的地理位置。辩证相似性和城市邻近性之间的相关性表明，无论国家边界如何，距离较近的城市更有可能共享辩证属性。这种细微差别为阿拉伯语方言研究的重要进展提供了潜力，因为它表明，更细粒度的方言分类方法对于理解如何构建阿拉伯语方言识别问题至关重要。
2021-05-10 cs.CL
Automatic Dialect Detection in Arabic Broadcast Speech
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）；JHU Center for Language and Speech Processing (CLSP)（约翰斯·霍普金斯大学语言与语音处理中心）；University of Edinburgh（爱丁堡大学）
我们调查不同的方法方言识别阿拉伯语广播讲话中，使用语音，词汇的特点，从语音识别系统，和声学特征，使用i-向量框架。我们研究了生成式和判别式分类器，并使用多类支持向量机（SVM）将这些特征结合起来。我们在阿拉伯语/英语语言识别任务上验证了我们的结果，准确率为100%。我们在二元分类器中使用这些特征来区分现代标准阿拉伯语（MSA）和方言阿拉伯语，准确率为100%。我们进一步报告使用所提出的方法来区分阿拉伯语的五种最广泛使用的方言之间的结果：即埃及，海湾，黎凡特，北非和MSA，准确率为52%。我们讨论了方言识别错误的背景下，方言阿拉伯语和MSA之间的方言代码切换，并比较手动标记的数据之间的错误模式，从我们的分类器的输出。我们还发布了训练和测试数据作为方言识别的标准语料。
2016-08-11 cs.CL
Ara-HOPE: Human-Centric Post-Editing Evaluation for Dialectal Arabic to Modern Standard Arabic Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Leids Universitair Medisch Centrum & LIACS, Universiteit Leiden（莱顿大学莱顿医学校区及LIACS）；School of Computer Science, University of Manchester（曼彻斯特大学计算机科学学院）
Ara-HOPE提出了一种人本后编辑评估框架，用于评估方言阿拉伯语到标准阿拉伯语翻译的质量，揭示了方言特定术语和语义保持的挑战，为改进方言感知MT系统提供指导。
2026-02-14 cs.CL
Automatic Standardization of Arabic Dialects for Machine Translation
Jean Moulin Lyon 3 University（里昂第三大学）；Linguistics Research Center - Corpus, Discourse and Societies（语言学研究中心 - 语料库、话语与社会）；ILCEA4-CREO (Grenoble Alpes University)（格勒诺布尔阿尔卑斯大学ILCEA4-CREO）
基于2013年3月的一个多媒体语料库，我们深入研究了面向机器翻译的阿拉伯方言“自动翻译”问题。在这里，我们区分基于规则的机器翻译和统计机器翻译。阿拉伯语的机器翻译大部分时间都采用标准或现代阿拉伯语作为源语言，并由于训练模型所需的翻译记忆库的可用性而产生相当令人满意的翻译。阿拉伯语方言的翻译情况就不同了。生产效率低得多。在我们的研究中，我们尝试将机器翻译方法应用于方言/标准（或现代）阿拉伯语对，以从方言输入自动生成标准阿拉伯语文本，我们称之为“自动翻译”。我们在这里选择“统计模型”的应用，因为基于规则的“自动翻译”更加困难，一方面缺乏“双语”词典，另一方面难以为每种方言创建语言规则。进行这项研究可能会导致将“自动翻译”软件和自动翻译软件结合起来，这样我们就可以将第一个软件的输出作为输入引入第二个软件，最终获得高质量的机器翻译。这种方法也可能有教育应用，例如开发应用程序，通过将方言文本转换为标准阿拉伯语来帮助理解不同的阿拉伯方言。
2023-01-09 cs.CL
Diacritization of Maghrebi Arabic Sub-Dialects
Qatar Computing Research Institute（卡塔尔计算研究所）；Google Inc.（谷歌公司）；University of Düsseldorf（杜塞尔多夫大学）
变音符号化过程试图恢复阿拉伯语书面文本中的短元音;这些短元音通常被省略。这个过程对于文本到语音（TTS）等应用程序至关重要。现代标准阿拉伯语（MSA）的变音符号化仍然占据着最大的份额，而方言阿拉伯语（DA）的变音符号化研究非常有限。在本文中，我们提出了我们对马格里布阿拉伯语的两个子方言（即突尼斯语和摩洛哥语）的自动变音的贡献和结果，使用字符级深度神经网络架构，在CRF输出层上堆叠两个bi-LSTM层。该模型实现了摩洛哥语和突尼斯语的单词出错率分别为2.7%和3.6%，并且能够隐式地识别输入的子方言。
2019-05-30 cs.CL
Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis
Technical University of Dresden（德累斯顿工业大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究通过调整语言主导框架分析26种阿拉伯语变体，发现LLMs中MSA并非阿拉伯方言的内部主导表示，输出偏好与内部表示主导性无必然关联，需区分二者开展相关分析。
2026-10-09 cs.CL
ELYADATA & LIA at NADI 2025: ASR and ADI Subtasks
ELYADATA（ELYADATA 公司）；LIA, Avignon University（阿维尼翁大学计算机科学与自动化实验室）
本文介绍Elyadata与LIA提交至NADI 2025的阿拉伯语方言识别、多方言ASR参赛系统，通过微调大模型取得ADI子任务第一、ASR子任务第二的成绩，验证了针对性微调大模型的有效性。
2025-11-13 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；Ohio State University（俄亥俄州立大学）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力，第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据，这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的，与罗曼语相当。我们的研究结果表明，建模的形态和语法显着提高方言到方言的翻译，虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上，未翻译的输入得分为6.5 BLEU，仅在并行数据上训练的模型达到14.6，枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects
New York University Abu Dhabi（纽约大学阿布扎比分校）；Stony Brook University（石溪大学）
我们提出了国家的最先进的结果在不同品种的阿拉伯语使用微调预训练的Transformer语言模型的形态句法标记。我们的模型在现代标准阿拉伯语和我们研究的所有阿拉伯语方言中始终优于现有系统，在现代标准阿拉伯语中实现了2.6%的绝对改进，在海湾地区为2.8%，在埃及语中为1.6%，在黎凡特语中为8.3%。我们探索了不同的训练设置，用于微调预训练的Transformer语言模型，包括训练数据大小，外部语言资源的使用，以及在低资源场景中使用来自其他方言的注释数据。我们的研究结果表明，使用其他高资源方言的数据集进行战略微调对低资源方言是有益的。此外，我们表明，高质量的形态分析作为外部语言资源是有益的，特别是在低资源设置。
2022-03-21 cs.CL
BERT-based Multi-Task Model for Country and Province Level Modern Standard Arabic and Dialectal Arabic Identification
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
方言和标准语言识别是许多阿拉伯语自然语言处理应用程序的关键任务。在本文中，我们介绍了我们的基于深度学习的系统，提交给第二个NADI共享任务，用于现代标准阿拉伯语（MSA）和方言阿拉伯语（DA）的国家级和省级识别。该系统基于端到端深度多任务学习（MTL）模型，以解决国家级和省级MSA/DA识别问题。后一种MTL模型由共享的双向编码器表示Transformers（BERT）编码器、两个特定于任务的注意力层和两个分类器组成。我们的主要思想是利用任务区分和任务间共享的功能，国家和省MSA/DA识别。实验结果表明，MTL模型在大多数子任务上都优于单任务模型。
2021-06-23 cs.CL
Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究揭示大型语言模型对非威望的上埃及阿拉伯语方言存在显著偏见，该偏见导致模型在句法评估和MMLU基准上的性能下降，凸显了亚方言变异对语言技术影响的重要性。
2026-09-22 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
针对高资源语言资源未有效用于低资源语言的问题，提出利用AI将高资源语言内容本地化到阿拉伯方言的框架，构建首个西/法语与非正式阿方言的平行数据集，验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Düsseldorf（杜塞尔多夫大学）；Google Inc.（谷歌公司）
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中，我们比较了两种方法分割四个主要的阿拉伯语方言，每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题，其中SVM排名器选择最佳分割，以及作为一个序列标记问题，其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明，采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
