DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
IBM Research AI(IBM人工智能研究院);New York University Abu Dhabi(纽约大学迪拜分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出阿拉伯方言MMLU基准,通过手动翻译和适应3000个多项选择题答案对至五个主要方言,评估大语言模型在阿拉伯方言上的推理和理解能力,揭示方言泛化中的持续差距。
2026-03-21 cs.AI cs.CL
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA(LINAGORA公司)
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题,提出了包含多源文本与真实语码转换音频的LinTO数据集,为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA(马斯特里赫特大学)
本文通过LoRA微调和MBR解码技术,提升方言阿拉伯语的生成与翻译性能,实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
Arabic Dialect Identification Using BERT-Based Domain Adaptation
Faculty of Engineering, Alexandria University(亚历山大大学工程学院)
阿拉伯语是世界上最重要和发展最快的语言之一。随着Twitter等社交媒体平台的兴起,阿拉伯语方言的使用越来越多。在本文中,我们描述了我们在NADI共享任务1上的方法,该任务要求我们构建一个系统来区分不同的21种阿拉伯语方言,我们介绍了一种深度学习半监督方式以及NADI共享任务1语料库上报告的预处理。我们的系统在NADI的共享任务竞赛中排名第四,实现了23.09%的F1宏观平均得分,采用简单而有效的方法区分21种阿拉伯方言。
2020-11-13 cs.CL cs.LG
Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Faculty of Computer Science MSA Univeristy(计算机科学学院 MSA大学)
本研究针对QADI数据集中18种阿拉伯语推文方言分类问题,比较了RNN、Transformer和LLM模型,发现MARBERTv2表现最佳(65%准确率),并揭示了方言识别的语言学挑战及应用潜力。
2025-06-28 cs.AI cs.CL
AraDetox: A Multi-Dialect Arabic Detoxification Dataset
本文提出多方言阿拉伯语解毒数据集AraDetox,基于GPT-5和Gemini 2.5 Flash生成海量解毒文本,经评估验证其可有效去除有害语言并保留原意,为相关研究提供公开资源。
2026-08-25 cs.AI cs.CL
EDRAC: Benchmarking Arabic Dialect Reading Comprehension
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校);IBM Research AI(IBM研究院人工智能部门);Qassim University(卡西姆大学)
针对阿拉伯语方言NLP资源不足的问题,推出首个涵盖5种方言的大规模MRC基准EDRAC,测试发现现有评估指标存在局限,为相关研究提供支撑。
2026-09-02 cs.AI cs.CL
MIT-QCRI Arabic Dialect Identification System for the 2017 Multi-Genre Broadcast Challenge
MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
为了成功地注释在开放域媒体广播中发现的阿拉伯语语音内容,必须能够处理各种阿拉伯方言。2017年多类型广播挑战赛(MGB-3)有两个可能的任务:阿拉伯语语音识别和阿拉伯语方言识别(ADI)。在本文中,我们描述了我们为MGB-3挑战创建ADI系统的努力,目标是区分四种主要的阿拉伯语方言以及现代标准阿拉伯语。我们的研究集中在方言变异性和训练域与测试域之间的域不匹配。为了实现一个强大的ADI系统,我们探索了暹罗神经网络模型来学习阿拉伯语方言之间的相似性和差异性,以及i向量后处理来适应域不匹配。声学和语言特征都用于最终的MGB-3提交,最好的主系统在官方10小时测试集上达到75%的准确率。
2017-08-28 cs.CL cs.LG cs.SD
Sentiment Analysis in Poems in Misurata Sub-dialect -- A Sentiment Detection in an Arabic Sub-dialect
Montclair State University(蒙特克莱尔州立大学)
近几十年来,阿拉伯语自然语言处理的资源显著增加和发展。这包括探索阿拉伯语情感分析(ALSA)从阿拉伯语的话语在现代标准阿拉伯语(MSA)和不同的阿拉伯语方言的任务。本研究的重点是检测在米苏拉塔,利比亚的米苏拉塔阿拉伯语方言写的诗歌中的情感。用于从数据集中检测情感的工具是Sklearn和Mazajak sentiment tool 1。逻辑回归,随机森林,朴素贝叶斯(NB)和支持向量机(SVM)分类器与Sklearn一起使用,而卷积神经网络(CNN)则与Mazajak一起实现。结果表明,传统分类器的准确度高于Mazajak,后者是基于包含深度学习技术的算法构建的。更多的研究建议分析阿拉伯语次方言诗歌,以调查这些多行文本中的情感方面,例如,使用比喻语言,如隐喻。
2021-09-15 cs.CL
An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction
Mohamed VI Polytechnic University (UM6P)(穆罕默德六世理工大学(UM6P))
自然语言处理(NLP)是当今非常活跃的研究和创新领域。然而,许多应用程序需要大的数据集用于监督学习,并为训练目的进行适当的标记。这包括阿拉伯语及其民族方言的应用。然而,这种阿拉伯语及其方言的开放获取标记数据集在数据科学生态系统中缺乏,这种缺乏可能成为该领域创新和研究的负担。在这项工作中,我们提出了一个开放的数据集的社会数据内容在几个阿拉伯语方言。这些数据是从Twitter社交网络收集的,包括五(5)种国家方言的+50K twitter。此外,这些数据被标记为几个应用,即方言检测,主题检测和情感分析。我们将这些数据作为开放获取数据发布,以鼓励创新,并鼓励阿拉伯语方言和社交媒体的NLP领域的其他工作。选择的模型建立使用该数据集,并在本文中介绍了他们的表现。
2021-02-07 cs.CL cs.LG
Multi-Dialect Arabic BERT for Country-Level Dialect Identification
Mawdoo3 Ltd(Mawdoo3有限公司)
阿拉伯语方言识别是一个复杂的问题,因为语言本身具有一些固有的属性。在本文中,我们介绍了我们的竞争团队Mawdoo 3 AI开发的实验和模型,以实现我们对细微阿拉伯语方言识别(NADI)共享任务的子任务1的成功解决方案。方言识别子任务提供了21,000条国家级标记的推文,覆盖所有21个阿拉伯国家。来自同一领域的1000万条未标记的推文语料库也由比赛组织者提供供选择使用。我们获胜的解决方案本身是我们预先训练的BERT模型的不同训练迭代的集合,它在手头的子任务上实现了26.78%的微平均F1分数。我们以Multi-dialect-Arabic-BERT模型的名义公开发布了我们获奖解决方案的预训练语言模型组件,供任何感兴趣的研究人员使用。
2020-07-10 cs.CL cs.LG
Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic
The University of British Columbia(不列颠哥伦比亚大学);Invertible AI(可逆人工智能公司)
针对阿拉伯语多模态资源匮乏问题,提出基于LLaMA-2的高效阿拉伯语多模态助手Dallah,通过微调六种方言实现最先进性能,为方言感知的阿拉伯语MLLMs发展奠定基础。
2024-07-26 cs.AI cs.CL
AHaSIS: Shared Task on Sentiment Analysis for Arabic Dialects
School of Computing and Communications, Lancaster University, UK(计算与通信学院,兰卡斯特大学,英国);Jazan University, Saudi Arabia(朱兹安大学,沙特阿拉伯);Mohammed VI Polytechnic University, Morocco(穆莱·易卜拉欣·聚technic大学,摩洛哥);King Fahd University of Petroleum and Minerals, Saudi Arabia(国王 Fahd石油和矿物大学,沙特阿拉伯)
针对阿拉伯酒店业对方言情感分析工具的需求,推出AHaSIS阿拉伯方言情感分析共享任务,构建经母语者校验的多方言酒店评论数据集,评估参赛系统性能,验证了跨方言情感分析的可行性与现存挑战。
2025-11-17 cs.AI cs.CL
OSN-MDAD: Machine Translation Dataset for Arabic Multi-Dialectal Conversations on Online Social Media
University of Ottawa(渥太华大学)
本文提出 OSN-MDAD 数据集,通过将英文推文语境化翻译为海湾、也门、伊拉克和黎凡特四种阿拉伯方言,并验证了基于该数据集训练的神经机器翻译模型性能优越,以缓解阿拉伯方言翻译资源不足的问题。
2023-09-21 cs.AI cs.CL
BARRAC: Adaptation of an English Aspect-based Sentiment Analysis Approach for Classification Tasks in Arabic Dialects
University of New South Wales(新南威尔士大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出BARRAC,将英文基于方面的情感分析框架适配至阿拉伯语分类任务,在五个方言数据集上平均宏F1达63.93%,优于现有少标签方法及GPT-4o,证明任务特定方法适配的有效性。
2026-10-01 cs.AI cs.CL
Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);IBM Research AI(IBM人工智能研究);American University in the Emirates(阿联酋美国大学)
本文提出ArabCulture-Dialogue数据集,涵盖13国阿拉伯语及方言,通过三种任务评估模型在文化推理、翻译和方言引导生成中的表现,发现方言设置下模型性能仍低于标准阿拉伯语。
2026-04-30 cs.AI cs.CL
Revisiting Common Assumptions about Arabic Dialects in NLP
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文重新审视了NLP中关于阿拉伯语方言的四个常见假设,通过扩展多标签数据集并由11国方言母语者人工评估句子有效性,发现这些假设过度简化现实且部分不准确,可能阻碍阿拉伯语NLP任务的进一步发展。
2025-05-27 cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington(华盛顿大学);SRI International(SRI国际研究所);LinkedIn(领英)
由于数据采集涉及口头语言的转录和翻译,因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中,我们开发的技术提取并行数据的一个特定的方言阿拉伯语(伊拉克阿拉伯语)从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略(基于交叉熵和子模块化选择),并证明了一个非常小的,但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Camelira: An Arabic Multi-Dialect Morphological Disambiguator
New York University Abu Dhabi(纽约大学阿布扎比分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们提出了Camelira,一个基于网络的阿拉伯语多方言形态消歧工具,涵盖了阿拉伯语的四个主要变体:现代标准阿拉伯语,埃及,海湾和黎凡特。Camelira提供了一个用户友好的Web界面,允许研究人员和语言学习者探索各种语言信息,如词性,形态特征和词元。我们的系统还提供了一个选项,自动选择一个适当的方言特定的消歧器的基础上预测的方言识别组件。Camelira可在http://camelira.camel-lab.com上公开访问。
2022-11-30 cs.CL
Bulbul: A Dataset for Dialectal Arabic Speech Recognition
KFUPM(法赫德国王石油和矿产大学);Taibah University(塔伊巴大学);UBC(不列颠哥伦比亚大学);PSUT(约旦理工大学);Birzeit University(比尔宰特大学);HBKU(哈马德·本·哈利法大学);Texas A&M University(德克萨斯农工大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);Zayed University(扎耶德大学);IAU(伊玛目阿卜杜勒拉赫曼·本·费萨尔大学);Symbiosis International University(共生国际大学);Taiz University(塔伊兹大学)
该研究针对阿拉伯语ASR的方言资源不足问题,构建了多方言数据集BULBUL并完成两级质量验证,还为相关ASR系统建立了强基线。
2026-08-25 cs.AI cs.CL
Similarities between Arabic Dialects: Investigating Geographical Proximity
Prince Sattam bin Abdulaziz University(萨塔姆·本·阿卜杜勒阿齐兹王子大学)
阿拉伯语方言的自动分类是一个持续的研究挑战,最近的工作已经探索了基于城市和省份等越来越有限的地理区域定义方言。本文着重于一个相关的,但相对未探讨的话题:位于阿拉伯国家的城市在地理上接近的辩证相似性的影响。我们的工作是双重的,依赖于:1)使用余弦相似性比较方言之间的文本相似性,2)测量位置之间的地理距离。我们研究了MADAR和NADI,这两个数据集来自许多城市和省份的阿拉伯方言。我们的研究结果表明,位于不同国家的城市实际上可能比同一国家的城市具有更多的辩证相似性,这取决于它们的地理位置。辩证相似性和城市邻近性之间的相关性表明,无论国家边界如何,距离较近的城市更有可能共享辩证属性。这种细微差别为阿拉伯语方言研究的重要进展提供了潜力,因为它表明,更细粒度的方言分类方法对于理解如何构建阿拉伯语方言识别问题至关重要。
2021-05-10 cs.CL
ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification
Northwestern University in Qatar(卡塔尔西北大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本研究构建了覆盖6种阿拉伯语变体的安全基准数据集,提出双任务评估框架,发现微调后的MARBERTv2性能最优,低资源马格里布方言仍存差距,前沿大语言模型不安全生成率低于5%。
2026-09-01 cs.CL
Romanized Arabic Across Dialects: Views, Usage Patterns, and Linguistic Variation
本研究针对不同方言使用者的阿拉伯语罗马化(Arabizi)展开调查,发布两项相关资源,开展大规模跨方言研究,揭示其使用模式与语言变异。
2026-10-26 cs.CL
Automatic Dialect Detection in Arabic Broadcast Speech
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)(麻省理工学院计算机科学与人工智能实验室);JHU Center for Language and Speech Processing (CLSP)(约翰斯·霍普金斯大学语言与语音处理中心);University of Edinburgh(爱丁堡大学)
我们调查不同的方法方言识别阿拉伯语广播讲话中,使用语音,词汇的特点,从语音识别系统,和声学特征,使用i-向量框架。我们研究了生成式和判别式分类器,并使用多类支持向量机(SVM)将这些特征结合起来。我们在阿拉伯语/英语语言识别任务上验证了我们的结果,准确率为100%。我们在二元分类器中使用这些特征来区分现代标准阿拉伯语(MSA)和方言阿拉伯语,准确率为100%。我们进一步报告使用所提出的方法来区分阿拉伯语的五种最广泛使用的方言之间的结果:即埃及,海湾,黎凡特,北非和MSA,准确率为52%。我们讨论了方言识别错误的背景下,方言阿拉伯语和MSA之间的方言代码切换,并比较手动标记的数据之间的错误模式,从我们的分类器的输出。我们还发布了训练和测试数据作为方言识别的标准语料。
2016-08-11 cs.CL
Self-Training Pre-Trained Language Models for Zero- and Few-Shot Multi-Dialectal Arabic Sequence Labeling
Cairo University(开罗大学);University of British Columbia(不列颠哥伦比亚大学);The British University in Dubai(迪拜英国大学)
通常需要足够量的注释数据来微调用于下游任务的预训练语言模型。不幸的是,获取标记数据的成本可能很高,特别是对于多种语言和方言。我们建议在零和Few-Shot场景中自我训练预先训练的语言模型,以仅使用来自数据丰富的资源来提高数据稀缺品种的性能。我们证明了我们的方法在阿拉伯语序列标签的上下文中使用的语言模型微调现代标准阿拉伯语(MSA)只预测命名实体(NE)和部分的语音(POS)标签的几个方言阿拉伯语(DA)品种。我们表明,自我训练确实是强大的,提高zero-shot MSA到DA的传输高达\texttildelow 10\ %F $_1$(NER)和2\ %的准确性(POS标记)。我们在标记数据量有限的Few-Shot场景中获得了更好的性能。我们进行了一项消融研究,并表明直接观察到的性能提升来自用于自我训练的未标记DA示例。我们的工作开辟了机会,开发DA模型只利用MSA资源,它可以扩展到其他语言和任务。我们的代码和微调模型可以在www.example.com上访问。
2021-02-02 cs.AI cs.CL cs.NE
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Learning the Arabic Dialect Continuum as a Continuous Space: A Regression Approach to Speaker Origin Prediction
Higher School of Communication of Tunis (SUP’COM)(突尼斯高等传播学院(SUP’COM));Prince Sultan University(苏丹王子大学)
该研究提出基于回归的方法预测阿拉伯语说话者起源,通过分层神经架构融合多种表示,用球面测地线损失优化距离,在特定协议下取得一定定位误差和预测准确率,为阿拉伯方言地理定位提供框架并量化其优缺点。
2026-07-23 cs.AI cs.CL cs.CY
Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);University of the Chinese Academy of Sciences(中国科学院大学)
Habibi提出一个统一多方言阿拉伯语语音合成框架,通过多步骤数据管道和语言指导课程学习策略,实现了跨方言零样本合成,并发布了首个标准化多方言评估基准,验证了模型在多个指标上的竞争力。
2026-03-31 cs.CL cs.SD eess.AS
A Survey of Large Language Models for Arabic Language and its Dialects
iWAN Research Group(iWAN研究组);College of Computer and Information Sciences(计算机与信息科学学院);King Saud University(沙特国王大学)
本文综述了针对阿拉伯语言及其方言设计的大型语言模型,涵盖关键架构、预训练数据集以及单语、双语和多语模型在下游任务中的性能,同时讨论了阿拉伯LLM的开放性及其对未来研究的挑战与机遇。
2025-02-24 cs.AI cs.CL
Overcoming Data Scarcity in Multi-Dialectal Arabic ASR via Whisper Fine-Tuning
Department of Internal Medicine, Division of Nephrology(内科学部,肾病科);Bernoulli Institute for Mathematics, Computer Science(伯努利数学、计算机科学研究所);Speech Technology Lab, Campus Fryslân(语音技术实验室,弗里西恩校区)
本研究通过微调 Whisper 模型,利用少量 MSA 数据及方言池化策略,有效提升了五种阿拉伯语方言的识别性能,缓解了数据稀缺问题。
2025-06-03 cs.CL cs.SD eess.AS
Ara-HOPE: Human-Centric Post-Editing Evaluation for Dialectal Arabic to Modern Standard Arabic Translation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Leids Universitair Medisch Centrum & LIACS, Universiteit Leiden(莱顿大学莱顿医学校区及LIACS);School of Computer Science, University of Manchester(曼彻斯特大学计算机科学学院)
Ara-HOPE提出了一种人本后编辑评估框架,用于评估方言阿拉伯语到标准阿拉伯语翻译的质量,揭示了方言特定术语和语义保持的挑战,为改进方言感知MT系统提供指导。
2026-02-14 cs.CL
Automatic Standardization of Arabic Dialects for Machine Translation
Jean Moulin Lyon 3 University(里昂第三大学);Linguistics Research Center - Corpus, Discourse and Societies(语言学研究中心 - 语料库、话语与社会);ILCEA4-CREO (Grenoble Alpes University)(格勒诺布尔阿尔卑斯大学ILCEA4-CREO)
基于2013年3月的一个多媒体语料库,我们深入研究了面向机器翻译的阿拉伯方言“自动翻译”问题。在这里,我们区分基于规则的机器翻译和统计机器翻译。阿拉伯语的机器翻译大部分时间都采用标准或现代阿拉伯语作为源语言,并由于训练模型所需的翻译记忆库的可用性而产生相当令人满意的翻译。阿拉伯语方言的翻译情况就不同了。生产效率低得多。在我们的研究中,我们尝试将机器翻译方法应用于方言/标准(或现代)阿拉伯语对,以从方言输入自动生成标准阿拉伯语文本,我们称之为“自动翻译”。我们在这里选择“统计模型”的应用,因为基于规则的“自动翻译”更加困难,一方面缺乏“双语”词典,另一方面难以为每种方言创建语言规则。进行这项研究可能会导致将“自动翻译”软件和自动翻译软件结合起来,这样我们就可以将第一个软件的输出作为输入引入第二个软件,最终获得高质量的机器翻译。这种方法也可能有教育应用,例如开发应用程序,通过将方言文本转换为标准阿拉伯语来帮助理解不同的阿拉伯方言。
2023-01-09 cs.CL
Diacritization of Maghrebi Arabic Sub-Dialects
Qatar Computing Research Institute(卡塔尔计算研究所);Google Inc.(谷歌公司);University of Düsseldorf(杜塞尔多夫大学)
变音符号化过程试图恢复阿拉伯语书面文本中的短元音;这些短元音通常被省略。这个过程对于文本到语音(TTS)等应用程序至关重要。现代标准阿拉伯语(MSA)的变音符号化仍然占据着最大的份额,而方言阿拉伯语(DA)的变音符号化研究非常有限。在本文中,我们提出了我们对马格里布阿拉伯语的两个子方言(即突尼斯语和摩洛哥语)的自动变音的贡献和结果,使用字符级深度神经网络架构,在CRF输出层上堆叠两个bi-LSTM层。该模型实现了摩洛哥语和突尼斯语的单词出错率分别为2.7%和3.6%,并且能够隐式地识别输入的子方言。
2019-05-30 cs.CL
Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis
Technical University of Dresden(德累斯顿工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究通过调整语言主导框架分析26种阿拉伯语变体,发现LLMs中MSA并非阿拉伯方言的内部主导表示,输出偏好与内部表示主导性无必然关联,需区分二者开展相关分析。
2026-10-09 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi(纽约大学阿布扎比分校);Ohio State University(俄亥俄州立大学);Carnegie Mellon University Qatar(卡内基梅隆大学卡塔尔分校)
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力,第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据,这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的,与罗曼语相当。我们的研究结果表明,建模的形态和语法显着提高方言到方言的翻译,虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上,未翻译的输入得分为6.5 BLEU,仅在并行数据上训练的模型达到14.6,枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia(不列颠哥伦比亚大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务(NADI)。该共享任务包括两个子任务:国家级方言识别(子任务1)和省级次方言识别(子任务2)。共享任务的数据涵盖来自21个阿拉伯国家的100个省份,并从Twitter域收集。因此,NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务,从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
JEEM: Vision-Language Understanding in Four Arabic Dialects
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Toloka AI(托洛卡人工智能公司)
JEEM基准评估四种阿拉伯方言的视觉-语言模型,发现开源模型表现不佳,GPT-4V虽最优但视觉理解仍落后,凸显文化多样性评估的重要性。
2025-03-27 cs.AI cs.CL
ALDi: Quantifying the Arabic Level of Dialectness of Text
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出将阿拉伯语方言化视为连续变量ALDi,构建AOC-ALDi数据集并训练模型有效识别方言化程度,为阿拉伯语社会语言学分析提供比传统二元系统更细致的视角。
2023-10-20 cs.CL
Dialectal Coverage And Generalization in Arabic Speech Recognition
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);STC
本文提出一套优化的开源阿拉伯语ASR模型,涵盖MSA、多种方言及语码转换,覆盖17国数据和至少11种变体,显著提升了方言覆盖与识别性能。
2025-05-29 cs.CL cs.SD eess.AS
Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects
New York University Abu Dhabi(纽约大学阿布扎比分校);Stony Brook University(石溪大学)
我们提出了国家的最先进的结果在不同品种的阿拉伯语使用微调预训练的Transformer语言模型的形态句法标记。我们的模型在现代标准阿拉伯语和我们研究的所有阿拉伯语方言中始终优于现有系统,在现代标准阿拉伯语中实现了2.6%的绝对改进,在海湾地区为2.8%,在埃及语中为1.6%,在黎凡特语中为8.3%。我们探索了不同的训练设置,用于微调预训练的Transformer语言模型,包括训练数据大小,外部语言资源的使用,以及在低资源场景中使用来自其他方言的注释数据。我们的研究结果表明,使用其他高资源方言的数据集进行战略微调对低资源方言是有益的。此外,我们表明,高质量的形态分析作为外部语言资源是有益的,特别是在低资源设置。
2022-03-21 cs.CL
Navigating Dialectal Bias and Ethical Complexities in Levantine Arabic Hate Speech Detection
Haverford College(哈弗福德学院);Brown University(布朗大学)
本文针对黎凡特阿拉伯语仇恨言论检测中的方言偏见与伦理问题,分析现有数据集局限,倡导开发文化语境敏感的NLP工具,以实现更包容的检测方法。
2024-12-14 cs.AI cs.CL cs.CY
AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs
Qatar Computing Research Institute(卡塔尔计算研究所);Qatar University(卡塔尔大学);University of New Brunswick(新不伦瑞克大学);American University of Sharjah(沙迦美国大学)
针对阿拉伯语方言和文化代表性不足,提出AraDiCE基准,含7个方言数据集和约45K后期编辑样本,评估发现阿拉伯语专用模型优于多语言模型,但仍面临方言识别与生成挑战。
2024-12-17 cs.AI cs.CL
BERT-based Multi-Task Model for Country and Province Level Modern Standard Arabic and Dialectal Arabic Identification
Mohammed VI Polytechnic University(穆罕默德六世理工大学);Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学);University of Sherbrooke(舍布鲁克大学)
方言和标准语言识别是许多阿拉伯语自然语言处理应用程序的关键任务。在本文中,我们介绍了我们的基于深度学习的系统,提交给第二个NADI共享任务,用于现代标准阿拉伯语(MSA)和方言阿拉伯语(DA)的国家级和省级识别。该系统基于端到端深度多任务学习(MTL)模型,以解决国家级和省级MSA/DA识别问题。后一种MTL模型由共享的双向编码器表示Transformers(BERT)编码器、两个特定于任务的注意力层和两个分类器组成。我们的主要思想是利用任务区分和任务间共享的功能,国家和省MSA/DA识别。实验结果表明,MTL模型在大多数子任务上都优于单任务模型。
2021-06-23 cs.CL
Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究揭示大型语言模型对非威望的上埃及阿拉伯语方言存在显著偏见,该偏见导致模型在句法评估和MMLU基准上的性能下降,凸显了亚方言变异对语言技术影响的重要性。
2026-09-22 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
针对高资源语言资源未有效用于低资源语言的问题,提出利用AI将高资源语言内容本地化到阿拉伯方言的框架,构建首个西/法语与非正式阿方言的平行数据集,验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
NADI 2024: The Fifth Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Edinburgh(爱丁堡大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
NADI 2024共享任务聚焦阿拉伯方言识别、方言程度等级识别和方言到MSA机器翻译,12支团队参赛,结果显示相关任务仍具挑战性。
2024-07-06 cs.AI cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);University of Düsseldorf(杜塞尔多夫大学);Google Inc.(谷歌公司)
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中,我们比较了两种方法分割四个主要的阿拉伯语方言,每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题,其中SVM排名器选择最佳分割,以及作为一个序列标记问题,其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明,采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
Dialect Identification in Nuanced Arabic Tweets Using Farasa Segmentation and AraBERT
Flipkart Private Limited(Flipkart私人有限公司)
本文介绍了我们解决EACL WANLP-2021共享任务1:细微差别的阿拉伯语方言识别(NADI)的方法。该任务旨在开发一个系统,以现代标准阿拉伯语或方言形式识别阿拉伯语推文的地理位置(国家/省)。我们分两部分解决这个任务。第一部分涉及通过清理、添加和分割文本的各个部分来预处理所提供的数据集。其次是进行实验,不同版本的两个Transformer为基础的模型,AraBERT和AraELECTRA。我们最终的方法在四个子任务中获得了0.216,0.235,0.054和0.043的宏观F1分数,并且我们在MSA识别子任务中排名第二,在DA识别子任务中排名第四。
2021-02-22 cs.CL
Towards Zero-Shot Text-To-Speech for Arabic Dialects
MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of British Columbia(不列颠哥伦比亚大学);Invertible AI(可逆人工智能公司)
本文针对阿拉伯语方言资源不足问题,通过适配数据集、引入方言识别标签并微调开源XTTS模型,实现了零样本多方言语音合成,并在未见说话者和内部方言数据上验证了有效性。
2024-07-07 cs.CL cs.SD eess.AS
Adapting MARBERT for Improved Arabic Dialect Identification: Submission to the NADI 2021 Shared Task
Microsoft(微软)
在本文中,我们解决了细微差别的阿拉伯语方言识别(NADI)共享任务(Abdul-Mageed等人,2021年),并在所有四个子任务上展示最先进的成果。任务是在国家和省两级确定短方言(DA)和现代标准阿拉伯语(MSA)话语的地理来源。我们的最终模型是建立在MARBERT之上的变量集合,在国家级发展集上实现了DA的34.03%的F1分数-比以前的工作提高了7.63%。
2021-03-01 cs.CL
Beyond MCQ: An Open-Ended Arabic Cultural QA Benchmark with Dialect Variants
Qatar Computing Research Institute, Qatar(卡塔尔计算研究所)
本文提出了一种方法,将现代标准阿拉伯语的多项选择题翻译成英文和阿拉伯方言,并转换为开放性问题,评估不同模型在不同设置下的表现,发现模型在阿拉伯方言上表现欠佳,CoT方法提高了正确性但指标混杂。
2026-04-16 cs.AI cs.CL
Ara-Best-RQ: Multi Dialectal Arabic SSL
ELYADATA;Laboratoire Informatique d'Avignon(阿维尼昂信息实验室)
本文提出Ara-Best-RQ模型,通过爬取的CC语音数据和公开数据集预训练,实现多方言阿拉伯语语音处理的SSL模型,在方言识别任务中取得最佳性能。
2026-03-23 cs.CL
Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究通过课程学习和伪标签方法构建多标签阿拉伯方言识别数据集,并训练BERT模型提升泛化能力,最终在排行榜上取得宏平均F1值0.69的优异成绩。
2026-02-17 cs.CL cs.LG
Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Tohoku University(东北大学);RIKEN(理化学研究所)
研究阿拉伯语NLP中方言数据稀缺致模型生成问题,通过神经元层面分析和向量引导方法,揭示方言知识几何结构,提供无需微调的方言控制框架。
2026-09-09 cs.CL