ViDia2Std: A Parallel Corpus and Methods for Low-Resource Vietnamese Dialect-to-Standard Translation
ViDia2Std是首个覆盖越南63个省份的方言到标准语翻译平行语料库，通过大量标注数据和模型测试，展示了方言规范化对提升越南语NLP性能的重要性。
2026-03-10 cs.CL
DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation
Institute for People-Centered AI, University of Surrey（萨里大学以人为本人工智能研究所）；University of New South Wales（新南威尔士大学）
研究英语方言适应中稳健性与生成的差距，通过DiaLLM持续预训练并结合多种策略对比不同英语变体。发现二者分离，特定变体适应产出受青睐但优化奖励方法未获评估者偏爱，缩小差距需丰富奖励设计和投入方言资源。
2026-09-11 cs.AI cs.CL
Arap-Tweet: A Large Multi-Dialect Twitter Corpus for Gender, Age and Language Variety Identification
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们提出了Arap-Tweet，这是一个大规模和多方言语料库的推文来自11个地区和16个国家在阿拉伯世界代表主要阿拉伯方言品种。为了构建这个语料库，我们从Twitter收集了数据，并为一个经验丰富的注释者团队提供了注释指南，他们用来注释语料库的年龄类别，性别和方言种类。在数据汇集过程中，我们根据不同阿拉伯方言的独特关键字进行搜索，并使用Twitter API验证位置。在本文中，我们报告了语料库数据汇集和注释工作。我们还提出了一些我们在这些阶段遇到的问题。然后，我们提出的结果进行评估，以确保注释的一致性。所提供的语料库将丰富阿拉伯语有限的可用语言资源，并将成为开发阿拉伯语作者分析工具和自然语言处理工具的宝贵推动力。
2018-08-23 cs.CL
Adversarial Multitask Learning for Joint Multi-Feature and Multi-Dialect Morphological Modeling
New York University Abu Dhabi（纽约大学阿布扎比分校）
形态标记对于形态丰富的语言是具有挑战性的，这是由于大的目标空间和需要更多的训练数据来最小化模型稀疏性。形态丰富的语言的方言变体遭受更多，因为它们往往更嘈杂，资源更少。在本文中，我们探讨了使用多任务学习和对抗训练，以解决形态丰富性和方言的变化，在完整的形态标记的背景下。我们使用多任务学习联合形态建模的功能在两个方言，并作为跨方言建模的知识转移计划。我们使用对抗训练来学习方言不变特征，这些特征可以帮助知识转移方案从高资源变体到低资源变体。我们使用两种方言变体：现代标准阿拉伯语（高资源“方言”）和埃及阿拉伯语（低资源方言）作为案例研究。我们的模型在这两方面都取得了最先进的结果。此外，对抗训练在使用较小的训练数据集时提供了更显着的改进。
2019-10-28 cs.CL cs.LG
NorDial: A Preliminary Corpus of Written Norwegian Dialect Use
University of Oslo（奥斯陆大学）
挪威有大量的方言变化，以及在公共领域使用其普遍容忍。然而，很少有可用的资源来研究这种变化及其随时间的变化，以及在更非正式的领域，社交媒体上的\eg。在本文中，我们提出了第一步，创造一个语料库的方言变化的书面挪威语。我们收集了一个小的tweet语料库，并手动将它们注释为Bokmål，Nynorsk，任何方言或混合。我们进一步使用最先进的模型进行初步实验，并对数据进行分析，以在未来扩展该语料库。最后，我们使注释和模型可用于未来的工作。
2021-04-11 cs.CL
WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing
Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所（TeleAI））；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；WeNet Open Source Community（WeNet开源社区）
本文提出WenetSpeech-Chuan，一个1万小时四川话开源语料库及Chuan-Pipeline处理框架，并发布人工验证的ASR/TTS基准，实验证明其性能达开源最优、可比商业服务，有力推动方言语音研究与AI公平。
2025-09-22 cs.CL cs.SD
Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；University of the Chinese Academy of Sciences（中国科学院大学）
Habibi提出一个统一多方言阿拉伯语语音合成框架，通过多步骤数据管道和语言指导课程学习策略，实现了跨方言零样本合成，并发布了首个标准化多方言评估基准，验证了模型在多个指标上的竞争力。
2026-03-31 cs.CL cs.SD eess.AS
Guidelines and Annotation Framework for Arabic Author Profiling
College of Humanities and Social Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学人文与社会科学学院）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
在本文中，我们介绍了注释管道和我们编写的指南，作为从各种社交媒体来源创建大型手动注释的阿拉伯语作者分析数据集的一部分，涵盖16个阿拉伯国家和11个方言地区。注释ARAP-推文语料库的目标大小超过240万字。我们说明和总结了我们的一般和方言的具体指导方针，为每个选定的方言地区。我们还提出了注释框架和物流。我们经常通过在注释过程中计算注释者之间的一致性来控制注释质量。最后，我们描述了在注释阶段遇到的问题，特别是那些与社会媒体中使用的阿拉伯方言品种的特点。
2018-08-23 cs.CL
Linear Semantic Segmentation for Low-Resource Spoken Dialects
Mohamed bin Zayed University of Artificial Intelligence（莫扎姆贝克·本·扎耶德人工智能大学）；IBM Research AI（IBM人工智能研究院）
本文提出一个多领域基准测试，用于评估阿拉伯语口语方言的语义分割，发现标准模型在低资源口语上表现不佳，并提出新的模型提升分割性能。
2026-05-07 cs.AI cs.CL
VALUE: Understanding Dialect Disparity in NLU
Georgia Institute of Technology（佐治亚理工学院）
英语自然语言理解（NLU）系统已经取得了很好的性能，甚至在GLUE和SuperGLUE等基准测试中超过了人类。然而，这些基准只包含教科书标准美国英语（SAE）。在NLP社区中，其他方言在很大程度上被忽视了。这导致了有偏见和不公平的NLU系统，只服务于一个亚群体的发言者。为了理解当前模型中的差异，并促进更多的方言能力的NLU系统，我们引入了VernAcular语言理解评估（VALUE）基准，这是一个具有挑战性的GLUE变体，我们使用一组词汇和形态句法转换规则创建。在这个初始版本（V.1）中，我们构建了11个功能的非裔美国人白话英语（AAVE）的规则，我们招募流利的AAVE扬声器，以验证每个功能转换通过语言的可接受性判断参与式设计的方式。实验表明，这些新的方言特征会导致模型性能下降。要运行转换代码并下载合成和黄金标准方言GLUE基准测试，请访问https://github.com/SALT-NLP/value
2022-09-13 cs.CL
RegSpeech12: A Regional Corpus of Bengali Spontaneous Speech Across Dialects
BRAC University（孟加拉国布拉克大学）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）；Khulna University（库尔纳大学）；Islamic University of Technology（伊斯兰科技大学）；Daffodil International University（达福迪尔国际大学）；Boston University（波士顿大学）；Rice University（莱斯大学）
针对孟加拉语方言丰富但计算处理研究不足的问题，本研究构建RegSpeech12方言口语语料库，分析各方言语音形态特征，探索适配区域变体的ASR系统可行性，数据集已开源。
2025-10-28 cs.CL
TMD-TTS: A Unified Tibetan Multi-Dialect Text-to-Speech Framework for Ü-Tsang, Amdo and Kham Speech Dataset Generation
School of Information Science and Technology, Tibet University, China（西藏大学信息科学与技术学院）；Department of Ophthalmology, University of Texas Southwestern Medical Center, USA（德克萨斯西南医学中心眼科部门）
本文提出TMD-TTS框架，通过融合模块和DSDR-Net实现多方言语音合成，验证了其在方言表达上的优越性。
2026-04-18 cs.AI cs.CL
Adapting MARBERT for Improved Arabic Dialect Identification: Submission to the NADI 2021 Shared Task
Microsoft（微软）
在本文中，我们解决了细微差别的阿拉伯语方言识别（NADI）共享任务（Abdul-Mageed等人，2021年），并在所有四个子任务上展示最先进的成果。任务是在国家和省两级确定短方言（DA）和现代标准阿拉伯语（MSA）话语的地理来源。我们的最终模型是建立在MARBERT之上的变量集合，在国家级发展集上实现了DA的34.03%的F1分数-比以前的工作提高了7.63%。
2021-03-01 cs.CL
Precision over Scale: A Polish-Silesian Benchmark and a Translation System Outperforming Open-Source and Commercial Models
NASK National Research Institute（NASK国家研究院）；University of Innsbruck（因斯布鲁克大学）
针对方言机器翻译数据稀缺和标准基准不足的问题，本文提出波兰-西里西亚基准SiLTT，并比较基于规则与神经翻译系统，发现基于规则系统在方言场景下表现最优，同时发布模型以促进研究。
2026-10-06 cs.CL
MD3: The Multi-Dialect Dataset of Dialogues
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出MD3数据集，通过信息共享任务平衡开放式对话与任务导向对话，支持印度、尼日利亚和美国英语的跨方言定量比较，包含超20小时音频和20万词元。
2023-05-19 cs.CL
A Catalog of Basque Dialectal Resources: Online Collections and Standard-to-Dialectal Adaptations
本文提出巴斯克方言数据目录，系统汇总现有在线方言数据及标准到方言的适应数据，通过手动和自动方法生成高质量评估数据集。
2026-03-26 cs.CL
NADI 2022: The Third Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡内基梅隆大学卡塔尔分校）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们描述了第三个细微差别的阿拉伯语方言识别共享任务（NADI 2022）的结果。NADI旨在推进阿拉伯语NLP的最新发展，包括阿拉伯语方言。它通过在一个标准化的环境中提供不同的数据集和建模机会来实现这一点，在这个环境中，模型和方法之间的有意义的比较是可能的。NADI 2022针对国家一级的方言识别（子任务1）和方言情感分析（子任务2）。共有41个独特的团队注册了共享任务，其中21个团队实际参与（105个有效提交）。其中，19个小组参加了分任务1，10个小组参加了分任务2。获胜团队在子任务1上获得了27.06 F1，在子任务2上获得了F1=75.16，这反映了这两个子任务仍然具有挑战性，并激励了该领域的未来工作。我们描述了参与团队所采用的方法，并提供了NADI的前景。
2022-10-20 cs.CL
AraDetox: A Multi-Dialect Arabic Detoxification Dataset
本文提出多方言阿拉伯语解毒数据集AraDetox，基于GPT-5和Gemini 2.5 Flash生成海量解毒文本，经评估验证其可有效去除有害语言并保留原意，为相关研究提供公开资源。
2026-08-25 cs.AI cs.CL
Idiom Understanding as a Tool to Measure the Dialect Gap
Group for Research in Artificial Intelligence of Laval University (GRAIL)（拉瓦尔大学人工智能研究组（GRAIL））；Université Laval（拉瓦尔大学）
本文提出结合成语理解和方言理解任务，构建三个新的法语方言基准数据集，发现模型在魁北克成语上表现显著逊色，证实了基准测试在量化方言差距中的有效性。
2026-04-06 cs.CL
Annotating Norwegian Language Varieties on Twitter for Part-of-Speech
University of Oslo（奥斯陆大学）；National Library of Norway（挪威国家图书馆）；University of Bergen（卑尔根大学）；University of the Basque Country（巴斯克大学）
挪威Twitter数据对自然语言处理（NLP）任务提出了一个有趣的挑战。这些文本对于在两种挪威书面形式（Bokmål和Nynorsk）之一的标准化文本上训练的模型来说是困难的，因为它们包含社交媒体文本的典型变体以及大量的方言变体。在本文中，我们提出了一个新的挪威Twitter数据集与POS标签注释。我们发现，在通用依赖（UD）数据上训练的模型在针对该数据集进行评估时表现较差，而在Bokmål上训练的模型通常比在Nynorsk上训练的模型表现更好。我们还看到，方言推文的性能与某些模型的书面标准相当。最后，我们对模型通常在这些数据上产生的错误进行了详细的分析。
2022-10-12 cs.CL
Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties
George Mason University（乔治梅森大学）；Archimedes/Athena RC, Greece（希腊阿基米德/雅典娜研究中心）
本文评估了LLM-as-a-Judge在跨10个语言簇和60种变体多方言数据集上的毒性检测一致性，发现其最弱环节为LLM与人类的一致性，其次为方言一致性。
2024-11-17 cs.CL
Make Every Letter Count: Building Dialect Variation Dictionaries from Monolingual Corpora
MaiNLP, Ludwig Maximilian University of Munich（MaiNLP，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文以巴伐利亚语为例，提出仅用单语数据构建方言变异词典的标注框架DiaLemma，并基于10万对人工标注词对评估九个LLMs的方言理解能力，揭示其在区分翻译与屈折变体方面的不足。
2025-09-22 cs.CL
DialectGram: Detecting Dialectal Variation at Multiple Geographic Resolutions
近年来，人们开发了几种计算模型来检测和分析方言变异。大多数这些模型假设一组预定义的地理区域，他们检测和分析方言的变化。然而，方言差异发生在多个地理分辨率级别，从一个州内的城市，一个国家内的州，以及跨大陆的国家之间。在这项工作中，我们提出了一个模型，使检测方言的变化在多个层次的地理分辨率消除了先验定义的分辨率水平的需要。我们的方法DialectGram学习方言敏感的词嵌入，同时不知道地理分辨率。具体来说，它只需要一次性训练，并能够在选定的分辨率事后分析方言变化-这与以前的模型有很大的不同，以前的模型在预定义的区域集发生变化时需要重新训练。此外，DialectGram明确地对感觉进行建模，从而使人们能够估计任何给定区域中每个感觉使用的比例。最后，我们在一个新的评估数据集DialectSim（英语）上对我们的模型进行了定量评估，并表明DialectGram可以有效地对语言变异进行建模。
2019-10-16 cs.CL
ALDi: Quantifying the Arabic Level of Dialectness of Text
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出将阿拉伯语方言化视为连续变量ALDi，构建AOC-ALDi数据集并训练模型有效识别方言化程度，为阿拉伯语社会语言学分析提供比传统二元系统更细致的视角。
2023-10-20 cs.CL
Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对巴伐利亚多方言 SID 数据稀缺问题，本文构建慕尼黑方言数据集并比较多种辅助任务与训练范式，发现中间任务训练及 NER 最有效，显著提升意图分类与槽位填充性能。
2025-01-07 cs.CL
CODET: A Benchmark for Contrastive Dialectal Evaluation of Machine Translation
George Mason University（乔治梅森大学）；University of Zurich（苏黎世大学）；RC Athena（雅典研究中心）；Archimedes AI Research Unit（阿基米德人工智能研究单元）
该论文提出CODET基准，涵盖12种语言的891种方言变异，用于评估机器翻译模型的方言鲁棒性，并定量证明大型模型在翻译方言变体时面临的挑战。
2024-02-02 cs.CL
FMSD-TTS: Few-shot Multi-Speaker Multi-Dialect Text-to-Speech Synthesis for Ü-Tsang, Amdo and Kham Speech Dataset Generation
本文提出FMSD-TTS框架，通过少量参考音频和方言标签实现多方言文本到语音合成，引入新颖的说话人-方言融合模块和方言专用动态路由网络，提升方言表达和说话人相似度，公开发布大规模合成藏语语音语料库及开源评估工具。
2026-04-24 cs.AI cs.CL cs.SD
DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects
The Pennsylvania State University（宾夕法尼亚州立大学）；Trinity College Dublin（都柏林圣三一大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
研究探讨了在50种英语方言中检测虚假信息的鲁棒性，发现人类生成的方言内容使检测性能下降1.4%-3.6%，而AI生成内容稳定。多语言模型在跨方言迁移中表现更佳，单语言模型则表现不佳。
2026-06-29 cs.CL
5-Dialects-BN: Unmasking the Impact of Transliteration on Bangla Dialectal LLMs
BRAC University（BRAC大学）；Penta Global Limited（Penta Global有限公司）；University of Central Florida（中佛罗里达大学）；Independent University, Bangladesh（孟加拉独立大学）
针对孟加拉语方言资源匮乏问题，构建首个多标注方言基准5-Dialects-BN，含6,000条五种方言数据，支持方言识别、归一化、翻译等任务，为方言感知NLP提供评估基础。
2026-09-10 cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington（华盛顿大学）；SRI International（SRI国际研究所）；LinkedIn（领英）
由于数据采集涉及口头语言的转录和翻译，因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中，我们开发的技术提取并行数据的一个特定的方言阿拉伯语（伊拉克阿拉伯语）从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略（基于交叉熵和子模块化选择），并证明了一个非常小的，但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；Ohio State University（俄亥俄州立大学）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力，第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据，这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的，与罗曼语相当。我们的研究结果表明，建模的形态和语法显着提高方言到方言的翻译，虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上，未翻译的输入得分为6.5 BLEU，仅在并行数据上训练的模型达到14.6，枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
NADI 2020: The First Nuanced Arabic Dialect Identification Shared Task
The University of British Columbia（不列颠哥伦比亚大学）；Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
我们提出的结果和发现的第一个细微差别的阿拉伯语方言识别共享任务（NADI）。该共享任务包括两个子任务：国家级方言识别（子任务1）和省级次方言识别（子任务2）。共享任务的数据涵盖来自21个阿拉伯国家的100个省份，并从Twitter域收集。因此，NADI是第一个针对国家以下一级自然发生的细粒度方言文本的共享任务。共有来自25个国家的61个小组登记参加这些任务，从而反映了社区对这一领域的兴趣。我们收到了来自18个团队的47个子任务1的提交和来自9个团队的9个子任务2的提交。
2020-11-09 cs.AI cs.CL
Some Dialects Are More Equal Than Others: Non-Prestigious Arabic Dialectal Bias in LLMs
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究揭示大型语言模型对非威望的上埃及阿拉伯语方言存在显著偏见，该偏见导致模型在句法评估和MMLU基准上的性能下降，凸显了亚方言变异对语言技术影响的重要性。
2026-09-22 cs.CL
The IgboAPI Dataset: Empowering Igbo Language Technologies through Multi-dialectal Enrichment
Lanfrica（兰非里亚）；Masakhane（马萨卡内）；UCREL（乌克雷尔）；Lancaster University（兰卡斯特大学）；Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）；University of Nigeria（尼日利亚大学）；University of Ibadan（伊巴丹大学）
针对伊博语濒危且缺乏多方言数据的问题，本文提出 IgboAPI 多方言词典数据集，并通过语义词典构建和机器翻译微调实验证明其能有效提升方言感知语言技术性能。
2024-05-02 cs.CL
Demographic Dialectal Variation in Social Media: A Case Study of African-American English
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尽管社交媒体上的方言越来越丰富，但用于开发NLP工具来处理此类语言的资源却很少。本文通过对Twitter上的非裔美国人英语（AAE）的调查，对网络会话文本中的方言进行了案例研究。我们提出了一个远程监督模型，以确定AAE类语言的人口统计与地理位置的消息，我们验证，这种语言如下著名的AAE语言现象。此外，我们分析了现有的语言识别和依存句法分析工具的质量AAE类文本，表明他们表现不佳，这样的文本相比，与白人扬声器的文本。我们还提供了一个集成分类器的语言识别，消除了这种差异，并发布了一个新的语料库的推文包含AAE类语言。
2016-08-31 cs.CL
ArabicDialectHub: A Cross-Dialectal Arabic Learning Resource and Platform
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
阿拉伯方言枢纽通过生成552个短语和交互式平台，提供跨方言阿拉伯语学习资源，包含翻译探索、自适应测验和文化背景等功能。
2026-01-30 cs.CL
Towards a Deep Multi-layered Dialectal Language Analysis: A Case Study of African-American English
Michigan State University（密歇根州立大学）
目前，自然语言处理（NLP）模型扩散了语言歧视，由于有偏见的结果而导致潜在有害的社会影响。例如，在主流美国英语（MAE）上训练的词性标注器在应用于非洲裔美国英语（AAE）时产生不可解释的结果，这是由于在训练期间没有看到语言特征。在这项工作中，我们结合了一个人在回路中的范例，以更好地了解AAE扬声器的行为和他们的语言使用，并强调方言语言包容性的需要，使母语AAE扬声器可以广泛地与NLP系统进行交互，同时减少被剥夺权利的感觉。
2022-06-03 cs.CL
DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
IBM Research AI（IBM人工智能研究院）；New York University Abu Dhabi（纽约大学迪拜分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出阿拉伯方言MMLU基准，通过手动翻译和适应3000个多项选择题答案对至五个主要方言，评估大语言模型在阿拉伯方言上的推理和理解能力，揭示方言泛化中的持续差距。
2026-03-21 cs.AI cs.CL
Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection
University of Toledo（托莱多大学）；Claremont Graduate University（克莱蒙特研究生大学）
本文提出一种上下文感知的阿拉伯语方言机器翻译框架，通过规则基于的数据增强生成多区域语料，提升翻译输出的方言和语域可控性。
2026-04-07 cs.CL
BERTwich: Extending BERT's Capabilities to Model Dialectal and Noisy Text
University of Notre Dame（圣母大学）
本文提出BERTwich方法，在BERT编码器堆栈中夹入针对噪声文本掩码语言建模训练的额外编码器层，以提升模型对方言和噪声文本的零样本迁移能力并缩小词嵌入空间距离。
2023-10-31 cs.CL
WERd: Using Social Text Spelling Variants for Evaluating Dialectal Speech Recognition
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
我们研究的问题，评估自动语音识别（ASR）系统的目标方言语音输入。在这种情况下，一个主要的挑战是，方言的正字法通常是不标准的。从ASR评估的角度来看，这意味着对于预期输出没有明确的黄金标准，并且根据不同的人类注释者，几种可能的输出可以被认为是正确的，这使得标准词出错率（WER）不足以作为评估度量。这种情况是典型的机器翻译（MT），因此，我们借用的思想从MT评估指标，即TERp，翻译出错率的扩展是密切相关的WER。特别是，在将假设与参考进行比较的过程中，我们使用单词和短语的拼写变体，这些变体是我们以无监督的方式从Twitter中挖掘出来的。我们对埃及阿拉伯语的ASR输出进行评估的实验以及进一步的手动分析表明，得到的WERd（即，方言的WER度量是TERP的一种变体，它比WER更适合于评估方言的ASR。
2017-09-21 cs.CL
Estimating the Level of Dialectness Predicts Interannotator Agreement in Multi-dialect Arabic Datasets
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究多方言阿拉伯语数据标注中ALDi得分与标注者一致性的关系，在15个公开数据集上验证了高ALDi样本更难标注的假设，并提出应优先将高ALDi样本路由给对应方言母语者以提升标注质量。
2024-06-06 cs.AI cs.CL
Multi-VALUE: A Framework for Cross-Dialectal English NLP
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
本文提出 Multi-VALUE 框架，通过覆盖 50 种英语方言的规则转换系统评估并提升 NLP 模型的方言不变性，并发布新的方言基准数据集。
2023-05-30 cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA（马斯特里赫特大学）
本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
DialUp! Modeling the Language Continuum by Adapting Models to Dialects and Dialects to Models
Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学，语言与语音处理中心）；University of Virginia（弗吉尼亚大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本文提出 DialUp，通过训练时模型适应方言与推理时方言适应模型两种互补策略，提升主流机器翻译模型对低资源方言及方言连续体的泛化能力。
2025-10-20 cs.CL
LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
Georgia Institute of Technology（佐治亚理工学院）；Nile University（尼罗大学）
本文提出NileTTS数据集，通过LLM生成埃及阿拉伯语内容并合成语音，用于训练多语言TTS模型，填补了埃及阿拉伯语语音合成的研究空白。
2026-02-17 cs.CL
Ara-Best-RQ: Multi Dialectal Arabic SSL
ELYADATA；Laboratoire Informatique d'Avignon（阿维尼昂信息实验室）
本文提出Ara-Best-RQ模型，通过爬取的CC语音数据和公开数据集预训练，实现多方言阿拉伯语语音处理的SSL模型，在方言识别任务中取得最佳性能。
2026-03-23 cs.CL
Phonetic Modeling of Dialectal Variation in Vietnamese Speech
Faculty of Computer Science（计算机科学系）；Faculty of Information Science and Engineering（信息科学与工程系）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（越南国家大学，胡志明市）
提出一种方言感知的语音框架，通过结构化语音成分和方言特定IPA映射，在词汇和解码层面显式建模越南语方言变体，在UIT-ViMD数据集上以更少参数和无外部预训练达到与最强预训练模型相当的性能。
2026-05-23 cs.CL
A Multi-Dialectal Dataset for German Dialect ASR and Dialect-to-Standard Speech Translation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Bayerischer Rundfunk（巴伐利亚广播电台）
本文构建德国东南部三大方言的 Betthupferl 语音评估数据集，提供方言与标准德语转写，并基准评测多语言 ASR 模型的方言转标准语能力。
2025-06-03 cs.CL eess.AS
DialectLLM: A Dialect-Aware Dialog[ue] Generation Framework Beyond Standard American English
KAIST（韩国科学技术院）；Amazon（亚马逊）
DialectLLM通过生成多方言对话数据，解决LLM对非标准方言识别不足的问题，验证了方言特征对生成质量的影响，展示了其在对话生成中的有效性。
2026-07-30 cs.AI cs.CL
Ara-HOPE: Human-Centric Post-Editing Evaluation for Dialectal Arabic to Modern Standard Arabic Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Leids Universitair Medisch Centrum & LIACS, Universiteit Leiden（莱顿大学莱顿医学校区及LIACS）；School of Computer Science, University of Manchester（曼彻斯特大学计算机科学学院）
Ara-HOPE提出了一种人本后编辑评估框架，用于评估方言阿拉伯语到标准阿拉伯语翻译的质量，揭示了方言特定术语和语义保持的挑战，为改进方言感知MT系统提供指导。
2026-02-14 cs.CL
A Comparative Study of Feature Selection Methods for Dialectal Arabic Sentiment Classification Using Support Vector Machine
Jazan University（贾赞大学）
与其他语言不同的是，阿拉伯语具有词法的复杂性，这使得阿拉伯语的情感分析是一项具有挑战性的任务。此外，阿拉伯语文本中方言的存在使得情感分析任务更具挑战性，因为缺乏管理书写或口语系统的具体规则。通常，情感分析的问题之一是特征向量的高维性。为了解决这个问题，已经提出了许多特征选择方法。与阿拉伯方言不同，这些选择方法在英语中得到了广泛的研究。本文研究了特征选择方法及其组合对方言阿拉伯语情感分类的影响。特征选择方法有信息增益（IG）、相关性、支持向量机（SVM）、基尼指数（GI）和卡方。一些实验进行了辩证的约旦评论与使用SVM分类。此外，不同的术语加权方案，词干，停止字删除，和功能模型的性能上的影响进行了研究。实验结果表明，将支持向量机和相关特征选择方法与unigram模型相结合，得到了最佳的SVM分类器性能。
2019-02-17 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
针对高资源语言资源未有效用于低资源语言的问题，提出利用AI将高资源语言内容本地化到阿拉伯方言的框架，构建首个西/法语与非正式阿方言的平行数据集，验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
Rosetta at AlexandriaX-2026: LoRA-Adapted NileChat for Context-Aware Dialectal Arabic Dialogue Translation
Tanta University（坦塔大学）；Alliance University（联盟大学）；Robusta Studio（罗布斯塔工作室）；Alexandria University（亚历山大大学）；Yale University（耶鲁大学）
本文介绍Rosetta系统，通过微调LoRA适配器于NileChat-3B，实现上下文感知的英语到阿拉伯语方言对话翻译，在共享任务中取得良好排名，并发现外部预训练可能导致负迁移。
2026-09-10 cs.CL
