CODET: A Benchmark for Contrastive Dialectal Evaluation of Machine Translation
George Mason University（乔治梅森大学）；University of Zurich（苏黎世大学）；RC Athena（雅典研究中心）；Archimedes AI Research Unit（阿基米德人工智能研究单元）
该论文提出CODET基准，涵盖12种语言的891种方言变异，用于评估机器翻译模型的方言鲁棒性，并定量证明大型模型在翻译方言变体时面临的挑战。
2024-02-02 cs.CL
SHAMI-MT: A Syrian Arabic Dialect to Modern Standard Arabic Bidirectional Machine Translation System
Prince Sultan University（普森大学）
本文提出SHAMI-MT，基于AraT5v2架构的双向机器翻译系统，用于现代标准阿拉伯语与叙利亚方言互译，在Nabra数据集微调，MADAR语料库评估，MSA到Shami模型GPT-4.1评分4.01/5.0，提供高保真翻译工具。
2025-08-04 cs.CL
LLM-Based Evaluation of Low-Resource Machine Translation: A Reference-less Dialect Guided Approach with a Refined Sylheti-English Benchmark
Islamic University of Technology（伊斯兰理工大学）；United International University（联合国际大学）
针对低资源多方言语言机器翻译无参考评估效果差的问题，提出方言引导的LLM评估框架，扩展Sylheti-英语基准数据集，优化分词器与提示策略，显著提升评估相关性。
2025-05-18 cs.CL
Machine Translation of Low-Resource Spoken Dialects: Strategies for Normalizing Swiss German
Idiap Research Institute（IDIAP研究所）
这项工作的目标是设计一个机器翻译（MT）系统的低资源家庭的方言，统称为瑞士德语，这是广泛使用的瑞士，但很少写。我们收集了大量的并行书面资源，总共约60k字。此外，我们还为瑞士德语确定了其他几个有前途的数据来源。然后，我们设计并比较了三种策略，以正常化瑞士德国的输入，以解决区域多样性。我们发现，基于字符的神经MT是文本规范化的最佳解决方案。结合基于短语的统计机器翻译，我们的解决方案在从伯尔尼方言翻译时达到了36%的BLEU分数。然而，随着测试数据在地理上和局部上与训练数据的距离越来越远，该值会减小。这些资源和规范化技术是迈向瑞士德语方言完整MT的第一步。
2018-02-06 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
针对高资源语言资源未有效用于低资源语言的问题，提出利用AI将高资源语言内容本地化到阿拉伯方言的框架，构建首个西/法语与非正式阿方言的平行数据集，验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection
University of Toledo（托莱多大学）；Claremont Graduate University（克莱蒙特研究生大学）
本文提出一种上下文感知的阿拉伯语方言机器翻译框架，通过规则基于的数据增强生成多区域语料，提升翻译输出的方言和语域可控性。
2026-04-07 cs.CL
A Semi-supervised Approach for a Better Translation of Sentiment in Dialectical Arabic UGT
University of Surrey（萨里大学）；University of Wolverhampton（伍尔弗汉普顿大学）；De Montfort University（德蒙福特大学）
针对方言阿拉伯语UGT到英语翻译中情感极性易反转且平行数据稀缺的问题，提出结合单语与平行数据、由跨语言语言模型初始化NMT的半监督方法，并以情感接近度和人工评估验证其纠错效果。
2023-06-08 cs.CL
Unified Multi-Dialectal Neural Machine Translation for Bangla Using the Dwadash Benchmark Corpus
SYLHET ENGINEERING COLLEGE（锡尔赫特工程学院）
针对孟加拉语方言翻译性能差的问题，本研究提出Poly-Dialectal神经机器翻译系统，构建含51531句对的最大多方言语料库，微调BanglaT5模型性能最优，还部署量化网络应用推动数字包容。
2026-09-02 cs.CL
Two Demonstrations of the Machine Translation Applications to Historical Documents
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
我们提出了我们的示范两个机器翻译应用历史文件。第一项任务是用原始语言的现代版本编写一份历史文件的新版本。第二个应用程序仅限于文档的正字法。它使文档的拼写适应现代标准，以实现拼写的一致性，并弥补拼写惯例的不足。我们遵循一个交互式的，自适应的框架，允许用户引入纠正系统的假设。系统通过生成考虑到这些修正的新假设来对这些修正做出反应。一旦用户对系统的假设感到满意并验证了它，系统就按照在线学习策略调整其模型。该系统是按照客户端-服务器架构实现的。我们开发了一个与神经模型通信的网站。所有代码都是开源的，并且是公开的。演示在http://demosmt.prhlt.upv.es/mthd/上进行。
2021-02-02 cs.CL
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
The IgboAPI Dataset: Empowering Igbo Language Technologies through Multi-dialectal Enrichment
Lanfrica（兰非里亚）；Masakhane（马萨卡内）；UCREL（乌克雷尔）；Lancaster University（兰卡斯特大学）；Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）；University of Nigeria（尼日利亚大学）；University of Ibadan（伊巴丹大学）
针对伊博语濒危且缺乏多方言数据的问题，本文提出 IgboAPI 多方言词典数据集，并通过语义词典构建和机器翻译微调实验证明其能有效提升方言感知语言技术性能。
2024-05-02 cs.CL
Translation as a Decision Space: A Multi-Agent Perspective on Low-Resource Dialect Generation
Sakarya University（萨卡里亚大学）；TU Clausthal（克劳斯塔尔工业大学）；University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
该研究将翻译视为多智能体探索的决策空间，针对土耳其语-叙利亚阿拉伯语翻译开展实证研究，提出可解释低资源方言生成的框架，轻量稳定化可提升方言标记使用量并降低结构不稳定性。
2026-09-04 cs.AI cs.CL
Dialectal and Low-Resource Machine Translation for Aromanian
Tudor Vianu National College of Computer Science（图多尔·维亚努国家计算机科学学院）；West University of Timișoara（蒂米什瓦拉西部大学）；Human Language Technologies Research Center, University of Bucharest（布加勒斯特大学人类语言技术研究中心）
该研究构建支持英语、罗马尼亚语和阿罗马尼亚语的神经机器翻译系统，发布79,000句对平行语料库及优化模型与辅助工具，促进低资源濒危语言保护。
2025-01-07 cs.CL
OSN-MDAD: Machine Translation Dataset for Arabic Multi-Dialectal Conversations on Online Social Media
University of Ottawa（渥太华大学）
本文提出 OSN-MDAD 数据集，通过将英文推文语境化翻译为海湾、也门、伊拉克和黎凡特四种阿拉伯方言，并验证了基于该数据集训练的神经机器翻译模型性能优越，以缓解阿拉伯方言翻译资源不足的问题。
2023-09-21 cs.AI cs.CL
Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
针对标准孟加拉语到多种地区方言的翻译缺口，本文在含32,500句的Vashantor数据集上微调BanglaT5、mT5和mBART50，发现BanglaT5以12.3% CER和15.7% WER表现最佳。
2025-01-10 cs.CL
Multi-VALUE: A Framework for Cross-Dialectal English NLP
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
本文提出 Multi-VALUE 框架，通过覆盖 50 种英语方言的规则转换系统评估并提升 NLP 模型的方言不变性，并发布新的方言基准数据集。
2023-05-30 cs.CL
Bengali to Assamese Statistical Machine Translation using Moses (Corpus Based)
Royal School of Engineering and Technology（皇家工程与技术学院）；Gauhati University（高哈蒂大学）
在自然语言处理中，机器方言解释在促进人-机对应和人-人对应方面发挥着重要作用。机器翻译（MT）指的是利用机器将一种方言转换成另一种方言。统计机器翻译是一种由语言模型、翻译模型和解码器组成的机器翻译。本文利用Moses语言建立了孟加拉语到阿萨姆语的统计机器翻译模型。其他翻译工具，如用于语言模型的IRSTLM和用于翻译模型的GIZA-PP-V1.0.7，都在这个框架中使用，在Linux环境中可以访问。LM的目的是鼓励流畅的输出，TM的目的是鼓励输入和输出之间的相似性，解码器增加了目标语言的翻译文本的概率。在孟加拉语和阿萨姆语的17100句平行语料库已被用于在此框架内准备。可测量的MT程序到目前为止还没有普遍调查印度方言。这可能是有趣的发现在多大程度上这些模型可以帮助巨大的持续MT审议在国家。
2015-04-06 cs.CL
AlexandriaX 2026: The First Shared Task on Dialectal Arabic Machine Translation
The University of British Columbia（不列颠哥伦比亚大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）；Lancaster University（兰卡斯特大学）；VinUniversity；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对阿拉伯语方言翻译挑战，提出AlexandriaX 2026共享任务，含三个子任务，最佳系统在受限和非受限轨道分别达30.42和33.49 spBLEU，资源公开。
2026-09-22 cs.AI cs.CL
Alexandria: A Multi-Domain Dialectal Arabic Machine Translation Dataset for Culturally Inclusive and Linguistically Diverse LLMs
The University of British Columbia（不列颠哥伦比亚大学）；Canada Research Chair in NLP and ML（自然语言处理和机器学习研究主席）；Mohammed VI Polytechnic University（穆莱·阿卜杜勒阿齐兹国王理工学院）；Birzeit University（比尔泽特大学）；Western Michigan University（西部密歇根大学）；Tuwaiq Academy（图瓦伊克学院）；King Khalid University（国王卡利德大学）；American University of Beirut（贝鲁特美国大学）；Ibb University（伊卜大学）；University of Hail（海勒大学）；University of Technology and Applied Sciences（技术与应用科学大学）；Arab Open University（阿拉伯开放大学）；Minia University（米尼亚大学）；Nantes University（南特大学）；Prince Sultan University（沙特王子大学）；Umm Al-Qura University（乌姆·阿勒·卡拉大学）；University of Nouakchott（努尔人大学）；Fatabyyano（法塔比亚诺）；Independent Researcher（独立研究者）；Hadhramout University（哈德拉姆大学）；Cairo University（开罗大学）；Misurata University（米斯拉塔大学）；Al-Balqa Applied University（巴勒斯坦应用大学）；University of Khartoum（喀土穆大学）；Sultan Qaboos Higher Centre for Culture and Science（穆罕默德·本·拉希德·阿勒马克图姆文化与科学高级中心）；Arab Center for Research and Policy Studies（阿拉伯研究中心）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Institut Supérieur du Numérique（数字高级学院）
Alexandria数据集通过多领域方言阿拉伯语对话数据，提升LLM在不同阿拉伯方言中的翻译能力，揭示现有模型在方言翻译中的挑战。
2026-04-20 cs.CL
What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Humanities, University of Luxembourg（卢森堡大学人文系）；Department of Computer Science, IT University of Copenhagen（哥本哈根信息技术大学计算机科学系）
本文通过调查327名德语方言使用者，发现他们更偏好能理解方言语音输入的NLP工具（如虚拟助手），而非生成方言输出的应用，揭示了非标准语言技术开发中的用户需求差异。
2024-06-07 cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Düsseldorf（杜塞尔多夫大学）；Google Inc.（谷歌公司）
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中，我们比较了两种方法分割四个主要的阿拉伯语方言，每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题，其中SVM排名器选择最佳分割，以及作为一个序列标记问题，其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明，采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
DialUp! Modeling the Language Continuum by Adapting Models to Dialects and Dialects to Models
Johns Hopkins University, Center for Language and Speech Processing（约翰霍普金斯大学，语言与语音处理中心）；University of Virginia（弗吉尼亚大学）；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本文提出 DialUp，通过训练时模型适应方言与推理时方言适应模型两种互补策略，提升主流机器翻译模型对低资源方言及方言连续体的泛化能力。
2025-10-20 cs.CL
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services（亚马逊云科技）
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来，阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体，但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据，这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题，有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先，我们表明，与我们的自定义单语阿拉伯语模型相比，在阿拉伯语单语数据上增量预训练的多语言BERT（mBERT）需要更少的训练时间，并产生相当的准确性，并击败现有模型（平均指标为+ $6.41$）。然后，我们探索了两种连续的预训练方法-（1）使用少量的辩证数据进行连续的微调，（2）并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明，这两种方法有助于提高方言分类任务（$+4.64$平均。gain），用于单语模型时。
2022-11-08 cs.CL cs.LG
Improving Neural Machine Translation of Indigenous Languages with Multilingual Transfer Learning
The University of British Columbia（不列颠哥伦比亚大学）
由于缺乏足够的并行数据，涉及土著语言（包括那些可能濒临灭绝的语言）的机器翻译（MT）具有挑战性。我们描述了一种方法，利用双语和多语言的预训练MT模型在迁移学习设置从西班牙语翻译到10个南美土著语言。我们的模型在我们考虑的十种语言对中的五种上设置了新的SOTA，甚至在这五种语言对中的一种上使性能加倍。与以前的SOTA执行数据增强，以扩大训练集，我们保留了低资源设置，以测试我们的模型在这种约束下的有效性。尽管有关土著语言的语言信息很少，但我们提供了一些定量和定性分析（例如，关于形态学、标记化和正字法）来将我们的结果上下文化。
2022-05-14 cs.CL
Robust Neural Machine Translation: Modeling Orthographic and Interpunctual Variation
Tilde（Tilde 公司）；University of Latvia（拉脱维亚大学）
神经机器翻译系统通常是在精选语料库上训练的，当遇到非标准的拼写或标点符号时会中断。然而，由于机器翻译系统被用于翻译聊天对话、社交媒体帖子和网页等非正式来源的文本，因此对拼写错误和错别字的适应能力至关重要。我们提出了一个简单的生成噪声模型来生成十种不同类型的对抗性示例。我们使用这些来增强机器翻译系统的训练数据，并表明，当在噪声数据上进行测试时，使用对抗性示例训练的系统在翻译干净数据时表现几乎一样好，而基线系统的性能下降了2 - 3个BLEU点。为了衡量机器翻译系统输出的鲁棒性和噪声不变性，我们使用原始句子及其噪声变体的翻译之间的平均翻译编辑率。使用这个指标，我们表明，与在干净数据上训练的基线相比，在对抗性示例上训练的系统平均产生50%的一致性改进。
2020-09-14 cs.CL
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta（马耳他大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距，本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强，显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL
Revisiting Syllables in Language Modelling and their Application on Low-Resource Machine Translation
University of Edinburgh（爱丁堡大学）；Pontificia Universidad Católica del Perú（秘鲁天主教教皇大学）
语言建模和机器翻译任务大多使用子词或字符输入，但很少使用音节。音节提供比字符更短的序列，需要比语素更少的专门提取规则，并且它们的分割不受语料库大小的影响。在这项研究中，我们首先探讨了21种语言中音节开放词汇语言建模的潜力。我们对六种语言使用基于规则的音节化方法，并使用断字处理其余语言，断字作为音节化代理。与一个可比的困惑，我们表明，音节优于字符和其他子词。此外，我们研究了神经机器翻译音节的重要性，为非相关和低资源的语言对（西班牙语-Shipibo-Konibo）。在成对和多语言系统中，当翻译成具有透明正字法的高度合成语言（Shipibo-Konibo）时，音节优于无监督子词和进一步的形态分割方法。最后，我们进行了一些人的评价，并讨论了限制和机会。
2022-10-05 cs.CL
Machine Translation between English and Syriac (East Syriac Dialect) using Statistical Machine Learning
University of Kurdistan Hewlêr（库尔德斯坦赫勒尔大学）
针对濒危的叙利亚语，利用Moses框架构建首个基于短语的英语-叙利亚语统计机器翻译模型，创建38,847句对数据集，最佳BLEU为23.54，并公开资源以推动该语言NLP研究。
2026-09-17 cs.CL
Leveraging Multilingual News Websites for Building a Kurdish Parallel Corpus
Insight Centre for Data Analytics（数据 analytics 洞察中心）；National University of Ireland Galway（爱尔兰国立高威大学）；University of Kurdistan Hewlêr（埃尔比勒库尔德斯坦大学）；Koya University（科亚大学）
机器翻译已经成为自然语言处理发展的主要动力。尽管由于深度学习方法，在创建更高效的机器翻译系统方面取得了迅速的成就，但平行语料库仍然是该领域进步不可或缺的。在试图创建平行语料库的库尔德语，在本文中，我们描述了我们的方法在检索潜在的可重复的新闻文章从多语言网站和手动对齐它们跨方言和语言的基础上的词汇相似性和音译脚本。我们提出了一个语料库，包含12,327翻译对库尔德语，索拉尼语和Kurmanji的两个主要方言。我们还提供1，797和650对英语-Kurmanji和英语-Sorani翻译。该语料库在CC BY-NC-SA 4.0许可证下公开可用。
2020-10-04 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）
本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。
2024-07-03 cs.CL
Using natural language prompts for machine translation
Google（谷歌）
我们探索使用自然语言提示来控制由机器翻译模型生成的输出的各个方面。我们证明，自然语言提示允许我们影响的输出像正式或特定方言的属性。我们表明，使用语言名称来控制多语言翻译模型的输出语言，可以为看不见的语言对实现正迁移。这解锁了通过使用他们的英文名字翻译成微调期间看不到的语言的能力。我们研究了规模，预训练步骤的数量，微调中的语言数量以及语言相似性如何影响这种现象。
2022-02-23 cs.CL
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University（泰夫大学）
阿拉伯语方言识别是自然语言处理的一项具体任务，旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用（例如机器翻译、多语言文本到语音合成和跨语言文本生成）的第一步。因此，在过去十年中，人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中，我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先，我们要明确问题及其挑战。然后，调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此，我们回顾了传统的机器学习方法，深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外，我们说明了文献中研究的阿拉伯方言的分类，阿拉伯方言识别进行的文本处理的各个层次（例如，标记、句子和文档级别），以及可用的注释资源，包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
A Universal Parent Model for Low-Resource Neural Machine Translation Transfer
USC Information Sciences Institute（南加州大学信息科学研究所）
从高资源语言对“父”的迁移学习已被证明是提高低资源语言对“子”的神经机器翻译质量的有效方法。然而，以前的方法为它们希望训练的每个子语言对构建定制父模型或至少更新现有父模型的词汇表，以努力对齐父词汇表和子词汇表。这不是一个实际的解决办法。将新语言对的大部分训练时间用于优化不相关数据集的参数是浪费的。此外，这种开销降低了神经机器翻译在人道主义援助场景中部署的实用性，其中部署新语言对的额外时间可能意味着生与死的区别。在这项工作中，我们提出了一个“通用”的预先训练的神经母模型与恒定的词汇，可以作为一个起点，几乎任何新的低资源的语言训练到一个固定的目标语言。我们证明，我们的方法，它利用正字法统一和广泛覆盖的方法来子字识别，以及推广到几种语言，从各种家庭，和翻译系统建立与我们的方法可以更快地建立比竞争的方法，以及更好的质量。
2019-09-20 cs.CL
Content-Localization based System for Analyzing Sentiment and Hate Behaviors in Low-Resource Dialectal Arabic: English to Levantine and Gulf
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
本文提出基于内容本地化的神经机器翻译与无监督主题分析系统，将英语资源适配到黎凡特和海湾阿拉伯方言，以提升情感与仇恨内容识别效果。
2023-11-27 cs.AI cs.CL
DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
IBM Research AI（IBM人工智能研究院）；New York University Abu Dhabi（纽约大学迪拜分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出阿拉伯方言MMLU基准，通过手动翻译和适应3000个多项选择题答案对至五个主要方言，评估大语言模型在阿拉伯方言上的推理和理解能力，揭示方言泛化中的持续差距。
2026-03-21 cs.AI cs.CL
A Survey of Orthographic Information in Machine Translation
Insight Centre for Data Analytics（洞察数据分析中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
机器翻译是自然语言处理的应用之一，它已经在不同的语言中得到了探索。近年来，研究人员开始关注资源贫乏语言和密切相关语言的机器翻译。这些机器翻译系统的一个普遍的和潜在的问题是在正字法惯例的变化，导致许多问题，以传统的方法。用两种不同的正字法书写的两种语言不容易比较，但是正字法信息也可以用来改进机器翻译系统。本文综述了正字法对资源不足语言的机器翻译的影响。它介绍了资源不足的语言方面的机器翻译和如何利用正字法信息，以改善机器翻译。我们描述了以前在这方面的工作，讨论了什么基本的假设，并显示了如何拼写知识提高性能的机器翻译资源不足的语言。我们讨论了不同类型的机器翻译，并展示了最近的趋势，寻求连接正字法信息与完善的机器翻译方法。相当多的注意力给予当前的努力同源信息在不同层次的机器翻译和经验教训，可以从中吸取。此外，密切相关语言的多语言神经机器翻译在本次调查中得到了特别关注。本文最后讨论了在机器翻译的正字法信息的发展方向，重点是多语言设置和双语词典归纳。
2020-08-04 cs.CL
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体，其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流，没有标准的正字法。这导致了注释数据集的缺乏，使得许多NLP方法的使用变得不可行。在本文中，我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言，加上标准德语参考。我们的目标是创建并提供一个基本的数据集，用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程，并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
Crowdsourcing Piedmontese to Test LLMs on Non-Standard Orthography
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics（查理大学数学与物理学院形式与应用语言学研究所）
通过众包皮埃蒙特语数据集测试LLM在非标准正写法上的表现，发现分词惩罚但分类性能接近主流语言，翻译结果存在不对称性。
2026-02-16 cs.CL
WERd: Using Social Text Spelling Variants for Evaluating Dialectal Speech Recognition
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
我们研究的问题，评估自动语音识别（ASR）系统的目标方言语音输入。在这种情况下，一个主要的挑战是，方言的正字法通常是不标准的。从ASR评估的角度来看，这意味着对于预期输出没有明确的黄金标准，并且根据不同的人类注释者，几种可能的输出可以被认为是正确的，这使得标准词出错率（WER）不足以作为评估度量。这种情况是典型的机器翻译（MT），因此，我们借用的思想从MT评估指标，即TERp，翻译出错率的扩展是密切相关的WER。特别是，在将假设与参考进行比较的过程中，我们使用单词和短语的拼写变体，这些变体是我们以无监督的方式从Twitter中挖掘出来的。我们对埃及阿拉伯语的ASR输出进行评估的实验以及进一步的手动分析表明，得到的WERd（即，方言的WER度量是TERP的一种变体，它比WER更适合于评估方言的ASR。
2017-09-21 cs.CL
Towards Machine Translation for the Kurdish Language
Insight Centre for Data Analytics（洞察数据 analytics 中心）；National University of Ireland Galway（爱尔兰国立高威大学）
机器翻译是使用计算机将文本从一种语言翻译成另一种语言的任务。它一直是自然语言处理和计算语言学的主要任务之一，并一直在促进人类的交流。库尔德语是一种印欧语言，由于语言资源较少，在这一领域很少受到关注。因此，在本文中，我们正在解决的主要问题，在创建一个机器翻译系统的库尔德语，重点是索拉尼方言。我们描述了适用于训练神经机器翻译模型索拉尼库尔德语-英语翻译可用的稀缺并行数据。我们还讨论了库尔德语翻译中的一些主要挑战，并演示了基本的文本处理任务（如标记化）如何提高翻译性能。
2020-10-12 cs.CL
The Effect of Domain and Diacritics in Yorùbá-English Neural Machine Translation
Saarland University（萨尔大学）；Masakhane NLP（Masakhane自然语言处理团队）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Alamoja Yoruba（阿拉莫贾约鲁巴组织）；Yobamoodua Cultural Heritage (YMCH)（约巴穆杜阿文化遗产（YMCH））；Defence Space Administration（国防太空管理局）；University of Ibadan（伊巴丹大学）；DFKI GmbH（德国人工智能研究中心（DFKI））
大规模多语言机器翻译（MT）已经显示出令人印象深刻的能力，包括低资源语言对之间的零和Few-Shot翻译。然而，这些模型通常在高资源语言上进行评估，并假设它们可以推广到低资源语言。在低资源对上评估MT模型的困难通常是由于缺乏标准化的评估数据集。在本文中，我们提出了MENYO-20k，第一个多域并行语料库，特别关注Yorkebá-英语的干净正字法，并使用标准化的训练测试分割进行基准测试。我们提供了几个神经MT基准测试，并将它们与流行的预训练（大规模多语言）MT模型在异构测试集及其子域中的性能进行了比较。由于这些预先训练的模型使用了大量质量不确定的数据，我们还分析了训练数据中的变音符号的影响，这是Yorkebá的一个主要特征。我们调查如何以及何时这种训练条件影响翻译的最终质量和可理解性。我们的模型在翻译为Yorkebá时优于Google（$+8.7$ BLEU）和Facebook M2M（$+9.1$ BLEU）等大规模多语言模型，为未来的研究建立了高质量的基准。
2021-08-14 cs.CL
Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation
Chung-Ang University, Seoul, Republic of Korea（Chung-Ang大学，首尔，大韩民国）
本文提出DIA-REFINE框架，通过翻译、验证和反馈的迭代循环提升大语言模型的方言翻译准确性，引入方言保真度评分和目标方言比例指标，实验表明该框架能有效提升方言翻译的忠实度。
2026-03-17 cs.CL
TARJAMAT: Evaluation of Bard and ChatGPT on Machine Translation of Ten Arabic Varieties
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文评估了 Bard 和 ChatGPT 在十种阿拉伯语变体机器翻译上的能力，发现 LLMs 在方言翻译上优于商业系统但在标准语上落后，且 Bard 遵循人类指令能力有限，整体包容性不足。
2023-10-23 cs.CL cs.LG
Egyptian Arabic to English Statistical Machine Translation System for NIST OpenMT'2015
Qatar Computing Research Institute（卡塔尔计算研究所）；Columbia University（哥伦比亚大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文描述了QCRI-Columbia-NYUAD（QCN）小组提交给NIST OpenMT'2015竞赛的埃及阿拉伯语到英语统计机器翻译（SMT）系统。比赛的重点是非正式的阿拉伯方言，如短信，聊天和演讲中使用的。因此，我们的工作重点是处理和标准化阿拉伯语，例如，使用3arrib和MADAMIRA等工具。我们进一步训练了一个基于短语的SMT系统，使用最先进的功能和组件，如操作序列模型，基于类的语言模型，稀疏特征，神经网络联合模型，基于体裁的分层插值语言模型，无监督音译挖掘，短语表合并，和假设组合。我们的系统在所有三个流派中排名第二。
2016-06-18 cs.CL
Neural Machine Translation into Language Varieties
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
到目前为止，无论是研究还是商业机器翻译都忽视了正确处理语言变体之间拼写、词汇和语法差异的重要性。值得注意的例子是标准的国家品种，如巴西和欧洲葡萄牙语，加拿大和欧洲法语，流行的在线机器翻译服务没有保持区分。我们表明，一个明显的副作用，建模等品种独特的类是产生不一致的翻译。在这项工作中，我们研究了从英语到特定语言变体对的神经机器翻译的训练问题，假设标记和未标记的并行文本以及低资源条件。我们报告的实验，从英语到两对方言，欧洲巴西葡萄牙语和欧洲加拿大法语，和两对标准化的品种，塞尔维亚语和马来语。当翻译成类似的语言被学习为具有共享表示的多语言任务时，我们显示出比基线系统显著的BLEU分数改善。
2018-11-02 cs.CL
Make Every Letter Count: Building Dialect Variation Dictionaries from Monolingual Corpora
MaiNLP, Ludwig Maximilian University of Munich（MaiNLP，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文以巴伐利亚语为例，提出仅用单语数据构建方言变异词典的标注框架DiaLemma，并基于10万对人工标注词对评估九个LLMs的方言理解能力，揭示其在区分翻译与屈折变体方面的不足。
2025-09-22 cs.CL
Challenging Language-Dependent Segmentation for Arabic: An Application to Machine Translation and Part-of-Speech Tagging
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
分词在改进任何阿拉伯语NLP应用程序中起着关键作用。因此，大量的研究已经花费在提高其准确性。然而，现成的工具是：i）使用复杂和ii）域/方言相关的。我们探索了三种独立于语言的形态分割方法：i）数据驱动的子词单元，ii）字符作为学习单元，iii）使用字符CNN（卷积神经网络）学习的词嵌入。在机器翻译和词性标注的任务中，我们发现这些方法可以实现接近，有时甚至超过最先进的性能。在我们的分析中，我们表明神经机器翻译系统对源和目标标记的比率很敏感，并且比率接近1或更大，给出了最佳性能。
2017-09-02 cs.CL
English-to-Prakrit Machine Translation via Multilingual Transfer Learning
Sardar Vallabhbhai National Institute of Technology（萨达尔·瓦拉布尔·尼西特国家理工学院）
针对低资源目标语言普拉克里特语，通过将普拉克里特语映射到印地语标签并利用多语言模型，在少量平行语料上实现可行的机器翻译，揭示了脚本兼容的语言路由对未支持古典语言的迁移潜力及数据稀缺和方言不匹配的限制。
2026-06-04 cs.CL
The Generator-Eraser Paradox: Community Guidelines for Responsible LLM-Assisted Dialect Resource Creation
Northwestern University in Qatar（卡塔尔西北大学）
本文提出生成器-擦除器悖论理论框架，推导出12条社区指南，并通过阿拉伯方言案例展示如何在大语言模型辅助方言资源创建中平衡效率与语言多样性保护。
2026-06-04 cs.CL
Towards Finite-State Morphology of Kurdish
Insight Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校Insight数据分析中心）；University of Kurdistan Hewlêr（库尔德斯坦埃尔比勒大学）
词法分析是对词的构成和结构的研究。它在自然语言处理（NLP）和计算语言学（CL）的各种任务中发挥着至关重要的作用，例如机器翻译以及文本和语音生成。库尔德语是一种资源较少的多方言印欧语言，具有高度曲折的形态。本文首次尝试从计算的角度对库尔德语（索拉尼方言）的词法进行描述。我们提取的形态规则被转换成有限状态转换器生成和分析的话。这项研究的结果有助于进行语言生成的库尔德语的研究，并提高了信息检索（IR）的语言能力，同时利用库尔德语的NLP和CL到一个更先进的计算水平。
2020-05-21 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich（慕尼黑大学）
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
Improving Robustness of Machine Translation with Synthetic Noise
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
现代机器翻译（MT）系统在干净的域内文本上表现一贯良好。然而，大多数人类生成的文本，特别是在社交媒体领域，充满了错别字，俚语，方言，习语和其他噪音，这可能对输出翻译的准确性产生灾难性的影响。在本文中，我们利用机器翻译的噪声文本（MTNT）数据集，以提高机器翻译系统的鲁棒性，通过模仿自然发生的噪音，否则干净的数据。以这种方式合成噪声，我们最终能够使普通MT系统对自然发生的噪声有弹性，并部分减轻由此导致的准确性损失。
2019-04-10 cs.CL cs.LG
Curated Datasets and Neural Models for Machine Translation of Informal Registers between Mayan and Spanish Vernaculars
Universitat d’Alacant（阿利坎特大学）
本文构建并发布聚焦玛雅语与西班牙语日常非正式表达的 MayanV 平行语料，并训练神经翻译模型，证明通用资源难以反映真实语域。
2024-04-11 cs.CL cs.LG
Congolese Swahili Machine Translation for Humanitarian Response
Translators without Borders（无国界翻译者组织）
在本文中，我们描述了我们的努力，使一个双向刚果斯瓦希里语（SWC）法语（FRA）神经机器翻译系统的动机，改善人道主义翻译工作流程。为了进行训练，我们创建了一个25，302句的通用领域平行语料库，并将其与公开可用的数据相结合。通过使用跨方言迁移和半监督学习等低资源方法进行实验，我们在SWC-FRA和FRA-SWC方向上分别记录了高达2.4和3.5个BLEU点的改进。我们进行了人工评估，以评估模型在刚果民主共和国（DRC）运营的COVID域聊天机器人中的可用性。在SWC-FRA方向的直接评估表明，平均质量排名为6.3的10与75%的目标字符串传达的主要信息的源文本。对于FRA-SWC方向，我们对编辑后评估的初步测试显示了其对机器辅助翻译的潜在有用性。我们将我们的模型、包含多达100万个句子的数据集、我们的开发管道和翻译器网络应用程序提供给公众使用。
2021-03-19 cs.CL
