Sentence-level dialects identification in the greater China region
Jiangxi Normal University（江西师范大学）
识别同一种语言的不同变体比识别不相关的语言更具挑战性。本文提出了一种区分中国大陆、香港、台湾、澳门、马来西亚和新加坡普通话语言变体或方言的方法，大中华区（GCR）。将其应用于大湄公河次区域的方言识别时，我们发现，由于大湄公河次区域方言中的词语存在歧义性和上下文相关性等问题，常用的字级或词级单字特征识别效率不高。为了克服这些挑战，我们不仅使用了字符级n-gram等常规特征，还使用了许多新的单词级特征，包括基于PMI和基于单词标注的特征。在维基百科的新闻和开放域数据集上的一系列评测结果表明了该方法的有效性。
2017-01-08 cs.CL
Content-Localization based System for Analyzing Sentiment and Hate Behaviors in Low-Resource Dialectal Arabic: English to Levantine and Gulf
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
本文提出基于内容本地化的神经机器翻译与无监督主题分析系统，将英语资源适配到黎凡特和海湾阿拉伯方言，以提升情感与仇恨内容识别效果。
2023-11-27 cs.AI cs.CL
Exploiting Out-of-Domain Data Sources for Dialectal Arabic Statistical Machine Translation
University of Washington（华盛顿大学）；SRI International（SRI国际研究所）；LinkedIn（领英）
由于数据采集涉及口头语言的转录和翻译，因此用于方言阿拉伯语的统计机器翻译的特征在于缺乏数据。在这项研究中，我们开发的技术提取并行数据的一个特定的方言阿拉伯语（伊拉克阿拉伯语）从域外语料库在不同的方言阿拉伯语或现代标准阿拉伯语。我们比较了两种不同的数据选择策略（基于交叉熵和子模块化选择），并证明了一个非常小的，但高度有针对性的数据量可以提高基线机器翻译系统的性能。我们还报告了使用自动翻译的语音数据作为额外的训练数据的初步实验。
2015-09-07 cs.CL
Exploring Diachronic and Diatopic Changes in Dialect Continua: Tasks, Datasets and Challenges
University of Heidelberg（海德堡大学）；University of Aberdeen（阿伯丁大学）
本文从统一视角系统梳理方言自然语言处理中历时与地域变化研究，评估三个语系五种方言的九项任务与数据集，并提出五个开放性挑战，为包容性方言计算方法与数据集研究指明方向。
2024-07-04 cs.CL
Cross-Dialect NER for Bangla Regional Dialects Using Leave-One-Dialect-Out Cross-Validation and Explainable AI
Ahsanullah University of Science and Technology（阿赫萨努拉科技大学）；Southeast University（东南大学）；Technische Universität Dresden（德累斯顿工业大学）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
针对孟加拉语五种区域方言，提出基于LODOCV策略的跨方言NER框架，Multilingual-E5 Large取得最佳性能（F1最高97.26%），并利用LIME揭示模型决策依赖实体词表面形式。
2026-09-22 cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology（谢里夫理工大学）
由于缺乏资源和标记化问题，识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言：古巴比伦语，中巴比伦语外围语，标准巴比伦语，新巴比伦语，晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成，两者都工作在字符级特征上，宏观平均F1分数为72.10%。
2020-09-22 cs.CL
Diacritization of Maghrebi Arabic Sub-Dialects
Qatar Computing Research Institute（卡塔尔计算研究所）；Google Inc.（谷歌公司）；University of Düsseldorf（杜塞尔多夫大学）
变音符号化过程试图恢复阿拉伯语书面文本中的短元音;这些短元音通常被省略。这个过程对于文本到语音（TTS）等应用程序至关重要。现代标准阿拉伯语（MSA）的变音符号化仍然占据着最大的份额，而方言阿拉伯语（DA）的变音符号化研究非常有限。在本文中，我们提出了我们对马格里布阿拉伯语的两个子方言（即突尼斯语和摩洛哥语）的自动变音的贡献和结果，使用字符级深度神经网络架构，在CRF输出层上堆叠两个bi-LSTM层。该模型实现了摩洛哥语和突尼斯语的单词出错率分别为2.7%和3.6%，并且能够隐式地识别输入的子方言。
2019-05-30 cs.CL
Different Perturbations, Different Mechanisms: Understanding Continued Pre-training for Zero-Shot Dialect Robustness
University of Notre Dame（圣母大学）
本研究针对大型语言模型，系统对比6种训练条件下的6种扰动持续预训练策略，发现字符噪声CPT可提升零样本方言鲁棒性且保留标准性能，不同策略的鲁棒机制存在差异，为相关策略选择提供指导。
2026-08-07 cs.CL
Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
针对标准孟加拉语到多种地区方言的翻译缺口，本文在含32,500句的Vashantor数据集上微调BanglaT5、mT5和mBART50，发现BanglaT5以12.3% CER和15.7% WER表现最佳。
2025-01-10 cs.CL
Romanized Arabic Across Dialects: Views, Usage Patterns, and Linguistic Variation
本研究针对不同方言使用者的阿拉伯语罗马化（Arabizi）展开调查，发布两项相关资源，开展大规模跨方言研究，揭示其使用模式与语言变异。
2026-10-26 cs.CL
Unsupervised Neural Dialect Translation with Commonality and Diversity Modeling
University of Macau（澳门大学）
方言翻译作为一种特殊的机器翻译任务，具有两个主要特点：1）缺乏平行的训练语料; 2）翻译双方具有相似的语法。在本文中，我们研究如何利用方言之间的共性和差异，从而建立无监督的翻译模型，只访问单语数据。具体来说，我们利用私有嵌入，层协调，以及参数共享充分建模的共性和多样性之间的源和目标，从词汇，通过句法，语义水平。为了检验所提出的模型的有效性，我们收集了2000万单语语料库的普通话和粤语，这是官方语言和最广泛使用的方言在中国。实验结果表明，我们的方法优于基于规则的简体中文和繁体中文转换和传统的无监督翻译模型超过12 BLEU分数。
2019-12-11 cs.CL
The Generator-Eraser Paradox: Community Guidelines for Responsible LLM-Assisted Dialect Resource Creation
Northwestern University in Qatar（卡塔尔西北大学）
本文提出生成器-擦除器悖论理论框架，推导出12条社区指南，并通过阿拉伯方言案例展示如何在大语言模型辅助方言资源创建中平衡效率与语言多样性保护。
2026-06-04 cs.CL
Including Dialects and Language Varieties in Author Profiling
University of Bucharest（布加勒斯特大学）；University of Cologne（科隆大学）；Harvard Medical School（哈佛医学院）
本文提出了一种计算方法，作者分析考虑到性别和语言的多样性。我们应用集成系统与字符和单词$n$ -gram训练的多个线性SVM分类器的输出。我们使用2017年PAN实验室组织者提供的关于作者分析的数据集来评估该系统。我们的方法实现了75%的平均准确性性别识别的推文写在四种语言和97%的准确性语言品种识别葡萄牙语。
2017-07-03 cs.CL
Examining Language Modeling Assumptions Using an Annotated Literary Dialect Corpus
Center for Digital Humanities（数字人文中心）；Johns Hopkins University（约翰霍普金斯大学）
本文通过标注的文学方言语料库，探讨了不同语言建模假设对正写法变化信息提取的影响，发现词标注方案对模型表现有显著影响。
2024-10-03 cs.CL
Fine-Tuning BERT with Character-Level Noise for Zero-Shot Transfer to Dialects and Closely-Related Languages
University of Notre Dame（圣母大学）
本研究提出在微调BERT时引入字符级噪声以实现向未见方言和语言的零样本跨语言迁移，发现当任务依赖表面线索且源-目标语言对词汇重叠度较高时该方法尤为有效。
2023-03-30 cs.AI cs.CL
Saar-Voice: A Multi-Speaker Saarbrücken Dialect Speech Corpus
本文提出Saar-Voice语料库，用于研究低资源环境下方言-aware的文本到语音系统，通过收集萨尔布吕肯方言文本和语音数据，探讨正字法和说话人变异等方法学挑战。
2026-04-13 cs.CL
Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect
University of Zurich（苏黎世大学）
针对书面瑞士德语数据稀缺问题，本文通过持续预训练和模块化适配器适配多语言编码器，证明适配器可达到单体适配97.5%的性能，并发现字符级模型最适合跨方言句子检索。
2024-01-25 cs.CL
SHAMI-MT: A Syrian Arabic Dialect to Modern Standard Arabic Bidirectional Machine Translation System
Prince Sultan University（普森大学）
本文提出SHAMI-MT，基于AraT5v2架构的双向机器翻译系统，用于现代标准阿拉伯语与叙利亚方言互译，在Nabra数据集微调，MADAR语料库评估，MSA到Shami模型GPT-4.1评分4.01/5.0，提供高保真翻译工具。
2025-08-04 cs.CL
UnibucKernel Reloaded: First Place in Arabic Dialect Identification for the Second Year in a Row
University of Bucharest（布加勒斯特大学）
我们提出了一种机器学习方法，该方法在2018年VarDial评估活动的阿拉伯语方言识别（ADI）封闭共享任务中排名第一。所提出的方法结合了多个内核使用多核学习。虽然我们的大多数内核都是基于从语音或音标中提取的字符p-gram（也称为n-gram），但我们也使用基于组织者从音频记录中生成的方言嵌入的内核。在学习阶段，我们独立地使用核判别分析（KDA）和核岭回归（KRR）。初步实验表明，KRR提供了更好的分类结果。我们的方法是肤浅和简单的，但在2018年ADI封闭共享任务中获得的经验结果证明，它实现了最佳性能。此外，根据组织者进行的统计显著性检验，我们的宏观F1得分（58.92%）明显优于2018年ADI共享任务中的第二好得分（57.59%）。尽管如此，我们使用组织者在比赛结束后发布的音频嵌入获得了更好的赛后成绩（62.28%的宏观F1分数）。使用非常相似的方法（不包括语音特征），我们在2017年VarDial评估活动的ADI封闭共享任务中排名第一，超过第二名4.62%。因此，我们得出结论，我们的多核学习方法是迄今为止阿拉伯语方言识别的最佳方法。
2018-07-28 cs.CL
dziribot: rag based intelligent conversational agent for algerian arabic dialect
CESI, ATM Mobilis（CESI、ATM Mobilis）
Dziribot是一种基于RAG的智能对话代理，专门针对阿尔及利亚阿拉伯语方言的挑战，通过多层架构和微调模型实现高效自然交互。
2026-02-02 cs.CL
Towards One Model to Rule All: Multilingual Strategy for Dialectal Code-Switching Arabic ASR
Qatar Computing Research Institute（卡塔尔计算研究所）；KanarI AI
随着全球化的到来，对多语种自动语音识别（ASR）、处理口语内容的语言和方言变化的需求日益增加。最近的研究表明，它的功效超过单语系统。在这项研究中，我们设计了一个大型的多语言端到端的ASR使用自我注意基于构象架构。我们使用阿拉伯语（Ar），英语（En）和法语（Fr）训练系统。我们评估了系统的性能处理：（i）单语（Ar，En和Fr）;（ii）多方言（现代标准阿拉伯语，以及方言的变化，如埃及和摩洛哥）;（iii）代码切换-跨语言（Ar-En/Fr）和方言（MSA-埃及方言）测试用例，并与当前最先进的系统进行比较。此外，我们研究了不同的嵌入/字符表示的影响，包括字符与词片;共享与不同的输入符号每种语言。我们的研究结果证明了这样一个模型的优势，表现优于最先进的单语方言阿拉伯语和代码转换阿拉伯语ASR。
2021-07-05 cs.CL cs.HC cs.SD
Crowdsourcing Dialect Characterization through Twitter
Aix-Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
我们使用地理标记的微博数据集进行大规模的语言方言变异分析。通过收集两年多来用西班牙语写的所有Twitter消息，我们建立了一个语料库，从中精心挑选的概念列表使我们能够在全球范围内描述西班牙语品种。聚类分析证明存在定义明确的宏区域共享共同的词汇属性。值得注意的是，我们发现西班牙语分为两个超级方言，即在美国和西班牙主要城市使用的城市语言和包括农村地区和小城镇的多样化形式。后者可进一步聚类为较小的品种，具有较强的区域性。
2014-07-26 cs.CL cs.SI physics.soc-ph
The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline
University of Oxford（牛津大学）
本研究在自然语言处理全流程追踪“方言税”，发现现代语言模型在分词、预训练等各环节均存在方言偏见，且字符级分词器无法消除相关差距，方言税由流程各环节共同累积而成。
2026-08-27 cs.AI cs.CL cs.LG
Learning about Spanish dialects through Twitter
本文映射的西班牙语的大规模变化，采用语料库的基础上地理标记的Twitter消息。词汇方言是从几十个概念的变体分析中提取出来的。由此产生的地图显示了全球范围内前所未有的语言差异。我们讨论的属性内的主要方言的机器学习的方法，并发现在城市地区的方言表现出更多的区域统一性的国家地区相比，在城市地区的品种具有国际性。
2017-02-06 cs.CL cs.CY physics.soc-ph
FAD-SA-GRU: Enhancing Hate Speech Detection in Algerian Dialect Through Feature-Augmented Self-Attention GRU Networks
USTHB（阿尔及尔科学技术大学）；ATM Mobilis Algiers（阿尔及尔移动ATM公司）
研究阿尔及利亚方言社交媒体上的仇恨言论检测，提出FAD-SA-GRU混合架构，通过多嵌入融合结合多种语义表示，经自注意力增强GRU编码器检测。实验表明该方法在多指标上优于基线，有效提升低资源方言仇恨言论检测效果。
2026-07-14 cs.CL
Towards a World-English Language Model for On-Device Virtual Assistants
AppTek GmbH（AppTek有限公司）；Apple（苹果公司）
本研究针对虚拟助手NNLMs扩展维护成本高的问题，结合英语区域变体构建端侧“世界英语”NNLM，利用adapter瓶颈建模方言特征，提出满足精度、延迟和内存限制的新架构。
2024-03-27 cs.CL
North Sámi Dialect Identification with Self-supervised Speech Models
University of Helsinki（赫尔辛基大学）；UiT The Arctic University of Norway（挪威UiT北极大学）
本文研究北萨米语四种方言变体的自动识别，比较了MFCC、韵律特征及XLS-R、WavLM和HuBERT等自监督表征，发现方言受国家语言影响且可高准确率分类，XLS-R表现最佳。
2023-05-19 cs.CL eess.AS
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
Dialects of Translationese Shape Language Model Learning
Department of Computer and Information Science（计算机与信息科学系）；Linköping University（林雪平大学）
本文研究了在不同源语言翻译的机器翻译数据上训练模型，探讨词汇多样性和源-目标句法相似性如何影响模型学习与语言建模。
2026-10-12 cs.CL
Automatic Dialect Density Estimation for African American English
UCLA（加州大学洛杉矶分校）；University of Washington（华盛顿大学）
在本文中，我们探讨了自动预测的方言密度的非洲裔美国人英语（AAE）方言，方言密度被定义为话语中包含的非标准方言的特征的单词的百分比。我们研究了几个声学和语言建模功能，包括常用的X-向量表示和CompParE功能集，除了从音频文件的ASR成绩单和韵律信息中提取的信息。为了解决有限的标记数据的问题，我们使用弱监督模型来将韵律和X向量特征投影到低维任务相关表示中。然后使用XGBoost模型从这些特征中预测说话者的方言密度，并显示在推理过程中哪些是最重要的。我们评估这些功能单独和组合对于给定任务的实用性。这项工作不依赖于手工标记的成绩单，是从CORAAL数据库的音频片段进行。我们在这个数据库中的AAE语音的预测和地面真实方言密度测量之间存在显着的相关性，并提出这项工作作为解释和减轻语音技术偏见的工具。
2022-04-03 cs.CL cs.SD eess.AS
Multi-Dialectal Representation Learning of Sinitic Phonology
No.2 High School of East China Normal University（华东师范大学第二附属中学）
本文通过构建汉语音系知识图谱并应用BoxE技术学习多方言音节表征，结合聚类与分类实验验证其能捕捉音位对立并推断中古汉语特征，为方言比较和原始语言重建提供支持。
2023-06-30 cs.CL cs.LG cs.SI
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
TArC: Incrementally and Semi-Automatically Collecting a Tunisian Arabish Corpus
LIG（信息学实验室）；University of Rome Sapienza（罗马大学（萨皮恩扎））
本文介绍了第一个形态句法注释的突尼斯阿拉伯语语料库（TArC）的建立过程。阿拉伯语，也被称为Arabizi，是阿拉伯方言在拉丁字符和算术（数字用作字母）中的自发编码。这个代码系统是由社交媒体的阿拉伯语用户开发的，以方便在计算机介导的通信（CMC）和短信非正式框架中的写作。阿拉伯语在方言中的表现是多样的，每个阿拉伯语代码系统都是资源不足的，就像大多数阿拉伯语方言一样。在过去的几年里，NLP领域对阿拉伯语方言的关注大大增加。考虑到这一点，TArC将成为不同类型的分析，计算和语言，以及NLP工具培训的有用支持。在这篇文章中，我们将描述TArC半自动构建过程的初步工作，以及我们在TArC上开发的一些初步分析。此外，为了提供在建设过程中所面临的挑战的一个完整的概述，我们将提出主要突尼斯方言的特点和突尼斯阿拉伯语编码。
2020-03-24 cs.CL cs.LG
Dialect prejudice predicts AI decisions about people's character, employability, and criminality
Stanford University（斯坦福大学）；The University of Chicago（芝加哥大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
研究揭示语言模型对非裔美国英语使用者存在隐蔽方言偏见，并将其转化为就业、定罪和死刑决策偏差，且人类反馈训练等方法无法消除该偏见。
2024-03-01 cs.AI cs.CL cs.CY
A Multilingual Encoding Method for Text Classification and Dialect Identification Using Convolutional Neural Network
Arab Academy for Science, Technology, and Maritime Transport（阿拉伯科学、技术与海运学院）；College of Computing & Information Technology（计算与信息技术学院）；Columbus State University（哥伦布州立大学）；TSYS School of Computer Science（TSYS计算机学院）
本文提出了一种独立于语言的文本分类模型，引入了两种新的编码方法“BUNOW”和“BUNOC”，用于将原始文本数据馈送到一个新的CNN空间架构中，该架构具有垂直和水平卷积过程，而不是常用的方法，如一个热向量或单词表示（即word2vec）与时间CNN架构。所提出的模型可以被归类为混合词字符模型在其工作方法，因为它消耗更少的内存空间，通过使用更少的神经网络参数在字符级表示，除了提供更快的计算与更少的网络层深度，在词级表示。在两个不同的形态基准数据集阿拉伯语和英语语言之一，一个有希望的结果相比，最先进的模型。
2019-03-18 cs.CL cs.LG
From `Snippet-lects' to Doculects and Dialects: Leveraging Neural Representations of Speech for Placing Audio Signals in a Language Landscape
Langues et Civilisations à Tradition Orale (LACITO)（口头传统语言与文明研究所（LACITO））；CNRS（法国国家科学研究中心）；Université Sorbonne Nouvelle（索邦新大学）；Institut National des Langues et Civilisations Orientales (INALCO)（法国国立东方语言文化学院（INALCO））；Université de Paris Cité（巴黎西岱大学）；Laboratoire de Linguistique Formelle (LLF)（形式语言学实验室（LLF））
本文利用XLSR-53语音神经表征，通过最大池化将5秒音频片段的表征逐级聚合到文档、方言和语言层面，在5种低资源语言的11个方言语料上验证了该方法能有效估计语音/音系接近程度并区分方言与语言。
2023-05-29 cs.CL cs.SD eess.AS
Arabizi vs LLMs: Can the Genie Understand the Language of Aladdin?
Université de Genève（日内瓦大学）
本研究针对Arabizi（阿拉伯语口语的混合书写形式）的机器翻译挑战，评估不同LLM解码并翻译多种少被研究的阿拉伯方言Arabizi的能力，对比其译成现代标准阿拉伯语与英语的效果，回应要点翻译需求。
2025-04-17 cs.CL
Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition
QCRI, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；UDST（多哈科技大学）；Algo AI；UCL（伦敦大学学院）；University of Tripoli（的黎波里大学）；AUC（开罗美国大学）；KAUST（阿卜杜拉国王科技大学）；CMU-Q（卡内基梅隆大学卡塔尔分校）；KFUPM（法赫德国王石油与矿产大学）；Alfaisal University（费萨尔大学）；Damascus University（大马士革大学）；Princeton University（普林斯顿大学）；ENSIAS, Mohammed V University（穆罕默德五世大学国家计算机科学与系统分析学院）；Sultan Qaboos University（苏丹卡布斯大学）；DFKI（德国人工智能研究中心）；University of Waterloo（滑铁卢大学）；USTHB（阿尔及尔科技大学）
本文提出ALMIEYAR，一个覆盖17种阿拉伯语方言、基于文化场景录音的ASR基准，零样本评测12个系统，发现GPT-4o-transcribe最优（WER 35.0%），并揭示WER/CER差距，推动联合报告。
2026-09-29 cs.AI cs.CL
Vulgaris: Analysis of a Corpus for Middle-Age Varieties of Italian Language
DINFO, University of Florence（佛罗伦萨大学DINFO学院）；DIISM, University of Siena（锡耶纳大学DIISM学院）
意大利语是一种罗曼语，起源于通俗拉丁语。现代意大利语的诞生始于14世纪左右的托斯卡纳，主要归功于但丁·阿利吉耶里、弗朗切斯科·彼得拉卡和乔瓦尼·薄伽丘的作品，他们是托斯卡纳中世纪最受欢迎的作家之一。然而，意大利的特点是各种各样的方言，由于过去的领土分裂，这些方言往往彼此之间关系松散。意大利语吸收了许多这些方言的影响，也由于其他国家（如西班牙和法国）统治该国部分地区而受到其他语言的影响。在这项工作中，我们提出了Vulgaris，一个项目，旨在研究语料库的意大利语文本资源，从不同地区的作者，在1200和1600之间的时间段。每个作品都与其作者相关联，作者也被分组在家庭中，即共享相似的风格/时间特征。因此，该数据集不仅是研究意大利语历时演变及其方言之间差异的宝贵资源，而且对于研究单个作者之间的风格方面也很有用。我们提供了一个详细的数据统计分析，并在方言和历时品种语料库驱动的研究。
2020-10-12 cs.AI cs.CL
chDzDT: Word-level morphology-aware language model for Algerian social media text
Laboratoire de la Communication dans les Systèmes Informatiques, Ecole Nationale Supérieure d’Informatique（信息通信系统通信实验室，国家高等信息学院）
针对阿尔及利亚方言资源稀缺、形态复杂导致传统NLP方法效果不佳的问题，研究提出字符级预训练语言模型chDzDT，基于孤立单词训练以稳健编码形态模式，还完成了方言形态分析、多语言词汇数据集构建及模型评估，为低资源形态丰富方言的NLP研究提供了新方向。
2025-09-01 cs.AI cs.CL
Distinguishing Fictional Voices: a Study of Authorship Verification Models for Quotation Attribution
Deezer Research（Deezer 研究院）；Loria（洛里亚研究所）
针对现有直接引语说话者检测依赖局部语境信息的问题，本研究用预训练作者验证模型在小说语料库构建人物风格表征，发现风格加主题信息可区分人物但未提升引语归属效果，且结果因作品而异，需适配文学文本的文体模型。
2024-01-30 cs.CL
Curras + Baladi: Towards a Levantine Corpus
University of Strasbourg（斯特拉斯堡大学）；Birzeit University（比尔宰特大学）；American University of Beirut（贝鲁特美国大学）
阿拉伯语的处理是一个复杂的研究领域。这是由于许多因素，包括阿拉伯语的复杂和丰富的形态，其高度的模糊性，以及需要处理的几个区域品种的存在，同时考虑到其独特的特点。当考虑到它的方言时，这种语言推动了NLP的极限，以找到解决其固有性质所带来的问题的方法。它是一种双语语言;标准语言在正式场合和教育中使用，与不同地区使用的本地语言有很大不同，并受到这些地区历史上使用的古老语言的影响。这应该鼓励NLP专家创建方言特定的语料库，如比尔宰特大学的巴勒斯坦形态注释Curras语料库。在这项工作中，我们提出了黎巴嫩语料库Baladi，由大约9.6K的形态注释的令牌。由于黎巴嫩和巴勒斯坦方言是同一个黎凡特方言连续体的一部分，因此高度相互理解，我们提出的语料库被构建用于（1）丰富Curras并将其转换为更一般的黎凡特语料库，（2）通过解决检测到的错误来改进Curras。
2022-05-19 cs.AI cs.CL
An MLIR-Based Compilation Method for Large Language Models
Sophgo Inc（算能科技有限公司）
针对大语言模型在专用硬件部署的挑战，提出基于MLIR的编译方法，用TopOp和TpuOp方言表示模型，分阶段编译，在TPU-MLIR编译器等项目实现，支持多种模型及量化部署形式。
2026-07-28 cs.CL
Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets
University of Bucharest（布加勒斯特大学）；Romanian Young Academy（罗马尼亚青年科学院）
在这项工作中，我们介绍了UnibucKernel团队在解决2020年VarDial评估活动中的社交媒体多样性地理定位任务时提出的方法。我们只处理第二个子任务，它的目标是由近3万瑞士德语约德尔组成的数据集。方言识别任务是准确预测测试样本的纬度和经度。我们将该任务视为一个双重回归问题，采用各种机器学习方法来预测纬度和经度。从简单的回归模型（如支持向量回归）到深度神经网络（如长短期记忆网络和字符级卷积神经网络），最后到基于元学习器的集成模型（如XGBoost），我们的兴趣集中在从几个不同的角度来处理问题，试图最大限度地减少预测误差。考虑到同样的目标，我们还考虑了许多类型的特征，从高级特征（如BERT嵌入）到低级特征（如字符n-gram），这些特征在方言识别中具有良好的效果。我们的实证结果表明，基于字符串内核的手工模型优于深度学习方法。尽管如此，我们最好的性能是由集成模型提供的，该模型结合了手工制作和深度学习模型。
2020-10-07 cs.CL
Sonorant spectra and coarticulation distinguish speakers with different dialects
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Cyprus University of Technology（塞浦路斯理工大学）；University of Oslo（奥斯陆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究的目的是确定语言品种的压力和非压力的响音（鼻音/m，n/，横向近似音/l/，和rhotics /r/）的频谱分布的影响，并对他们的coarticulatory相邻的声音的影响。为了量化频谱分布的形状，我们计算了雅典希腊语和塞浦路斯希腊语扬声器产生的鼻音/m，n/，横向近似音/l/和旋转音/r/的响音频谱的频谱矩。为了估计辅音发音对相邻元音F1 - F4共振峰频率的协同发音效应，我们建立了相邻元音共振峰轮廓的多项式模型。我们发现显着的影响，语言的多样性（社会语言学信息）的频谱矩的每个sonorant /m/，/n/，/l/，/r/（除了/m/和/n/）和相邻元音的共振峰轮廓。所有辅音（包括/m/和/n/）对相邻元音的共振峰轮廓都有明显的影响，尤其是F3和F4。该研究强调了响音的频谱矩和协同发音效应的结合决定了响音的语言学（重音和音位范畴）和社会语言学（语言多样性）特征。它还提供了第一个比较声学分析雅典希腊和塞浦路斯希腊响音。
2021-10-07 cs.CL cs.SD eess.AS
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而，目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略，以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据，以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进：从芬兰语，西日耳曼语和北日耳曼语，以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性，简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Exploring Retrieval Augmented Generation in Arabic
Newgiza University（新吉萨大学）
针对阿拉伯语RAG应用研究不足的问题，本文通过全面案例研究探索检索阶段的多种语义嵌入模型与生成阶段的若干LLM，还涉及方言差异问题，证实现有模型可有效构建阿拉伯语RAG流水线。
2024-08-14 cs.AI cs.CL
Arabizi Detection and Conversion to Arabic
Qatar Computing Research Institute（卡塔尔计算研究所）；Qatar Foundation（卡塔尔基金会）
Arabizi是使用拉丁字符书写的阿拉伯语文本。Arabizi用于表示现代标准阿拉伯语（MSA）或阿拉伯语方言。它通常用于非正式场合，如社交网站，并经常与英语混合使用。在本文中，我们解决的问题：识别文本中的阿拉伯语，并将其转换为阿拉伯字符。我们使用单词和序列级别的特征来识别与英语混合的Arabizi。识别准确率达到98.5%。至于转换，我们使用音译挖掘与语言建模生成等效的阿拉伯语文本。我们实现了88.7%的转换准确率，其中大约三分之一的错误是地面真实形式的拼写和形态变体。
2013-06-28 cs.CL cs.IR
StyloAI: Distinguishing AI-Generated Content with Stylometric Analysis
Teesside University（提赛德大学）
针对AI生成文本特征不明确的问题，本研究提出StyloAI模型，利用31项文体计量特征和随机森林分类器识别AI生成文本，在两个数据集上准确率分别达81%和98%，性能超越现有最优模型。
2024-05-16 cs.AI cs.CL
