Evaluating Geographic Lexical Knowledge in Large Language Models Across 21 Spanish-Speaking Countries
University of Tokyo(东京大学)
本研究通过评估LLMs对西班牙语地域词形变异的识别能力,揭示了模型在不同方言表现上的系统性差异,并指出数据量之外的因素影响方言表征。
2026-10-28 cs.CL
From Words to Proverbs: Evaluating LLMs Linguistic and Cultural Competence in Saudi Dialects with Absher
Department of Computer Science, King Khalid University(国王 Khalid 大学计算机科学系);Department of Computer Science and Artificial Intelligence, Umm Al-Qura University(乌姆·阿勒·库拉大学计算机科学与人工智能系);Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·法伊萨尔大学)
本文提出Absher基准,用于评估LLMs在沙特方言中的语言和文化能力,揭示了模型在文化推断和语境理解上的性能差距。
2025-12-21 cs.AI cs.CL
Dialect Normalization using Large Language Models and Morphological Rules
Archimedes, Athena Research Center, Greece(阿基米德,雅典娜研究中心,希腊);Department of Informatics and Telecommunications, NKUA(信息与电信系,NKUA);Department of Informatics, Athens University of Economics and Business, Greece(信息系,雅典经济与商业大学,希腊);Department of Computer Science, George Mason University(计算机科学系,乔治·梅森大学)
本文提出结合形态规则与少样本提示LLM的希腊方言规范化方法,无需平行数据,并在谚语数据集上验证其对下游语义分析的作用。
2025-06-10 cs.CL
The Generator-Eraser Paradox: Community Guidelines for Responsible LLM-Assisted Dialect Resource Creation
Northwestern University in Qatar(卡塔尔西北大学)
本文提出生成器-擦除器悖论理论框架,推导出12条社区指南,并通过阿拉伯方言案例展示如何在大语言模型辅助方言资源创建中平衡效率与语言多样性保护。
2026-06-04 cs.CL
LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
Georgia Institute of Technology(佐治亚理工学院);Nile University(尼罗大学)
本文提出NileTTS数据集,通过LLM生成埃及阿拉伯语内容并合成语音,用于训练多语言TTS模型,填补了埃及阿拉伯语语音合成的研究空白。
2026-02-17 cs.CL
BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization
North South University(北南大学);Apurba Technologies(阿普尔巴科技);Fordham University(福特汉姆大学)
本研究提出端到端流水线BanglaDialecto,通过构建大规模方言数据集微调Whisper ASR和BanglaT5模型,实现Noakhali方言语音到标准孟加拉语文本的转换,CER达0.8%,BLEU达41.6%。
2024-11-16 cs.AI cs.CL cs.LG
Interpreting Arabic Transformer Models
阿拉伯语是一种闪米特语言,广泛使用,有许多方言。鉴于预先训练的语言模型的成功,许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然这些模型已经与下游NLP任务进行了比较,但没有进行直接比较内部表示的评估。我们探讨了语言信息是如何在阿拉伯语预训练模型中编码的,这些模型是在不同种类的阿拉伯语上训练的。我们使用三个内在任务对模型进行层和神经元分析:基于MSA(现代标准阿拉伯语)和方言POS标记的两个形态标记任务和方言识别任务。我们的分析启发了有趣的发现,例如:i)单词形态在较低层和中间层学习,ii)方言识别需要更多的知识,因此即使在最后一层也会保留,iii)尽管它们的词汇有很大的重叠,但基于MSA的模型无法捕捉阿拉伯方言的细微差别,iv)我们发现嵌入层中的神经元本质上是多义的,而中间层中的神经元专用于特定属性。
2022-10-19 cs.CL
Post-hoc analysis of Arabic transformer models
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Dalhousie University(达尔豪斯大学)
阿拉伯语是一种闪米特语言,广泛使用,有许多方言。鉴于预先训练的语言模型的成功,许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然已经有一个外部评估这些模型相对于下游NLP任务,没有工作已经进行了分析和比较其内部表示。我们探讨如何在Transformer模型中编码语言信息,并在不同的阿拉伯方言上进行训练。我们进行了一个层次和神经元分析的模型,使用形态标记任务,不同的方言的阿拉伯语和方言识别任务。我们的分析启发了有趣的发现,例如:i)单词形态是在较低和中间层学习的,ii)虽然句法依赖性主要在较高层捕获,iii)尽管它们的词汇有很大的重叠,但基于MSA的模型未能捕获阿拉伯方言的细微差别,iv)我们发现嵌入层中的神经元本质上是多义的,而中间层的神经元对特定的属性是专有的,
2022-10-18 cs.CL
Task-Agnostic Low-Rank Adapters for Unseen English Dialects
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
针对LLM偏向标准美式英语且难扩展适配新兴方言的问题,本文提出HyperLoRA,利用语言学知识和超网络解耦方言信息,以任务无关方式提升未见方言的零样本性能。
2023-11-02 cs.CL
Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation
Chung-Ang University, Seoul, Republic of Korea(Chung-Ang大学,首尔,大韩民国)
本文提出DIA-REFINE框架,通过翻译、验证和反馈的迭代循环提升大语言模型的方言翻译准确性,引入方言保真度评分和目标方言比例指标,实验表明该框架能有效提升方言翻译的忠实度。
2026-03-17 cs.CL
Vuyko Mistral: Adapting LLMs for Low-Resource Dialectal Translation
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"(乌克兰国家技术大学 "伊戈尔·西科斯基基土夫技术学院");Ukrainian Catholic University(乌克兰天主教大学)
针对低资源胡楚尔方言翻译,研究构建平行语料与词典,利用RAG生成合成数据,并基于LoRA微调开源LLM,证明7B模型可超过GPT-4o零样本基线。
2025-06-09 cs.CL
From a River in Gilead to the Inference Distributions of Large Language Models: Covert Dialect Bias and Linguistic Profiling at Scale
Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机科学学院)
本研究通过匹配伪装范式探测十个大语言模型,发现其推理分布中沿种族与声望维度存在隐性方言偏见,且各变体受不同刻板印象簇影响。
2026-09-17 cs.AI cs.CL
Large Language Models Discriminate Against Speakers of German Dialects
Johannes Gutenberg University Mainz(明斯特-贾格施泰因大学);Data Science Group, University of Hamburg(汉堡大学数据科学组);Allen Institute for AI(人工智能研究所);University of Washington(华盛顿大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究发现大型语言模型在关联和决策任务中对德语方言使用者表现出显著的方言命名和使用偏见,且明确标注语言人口统计信息比隐式线索更能放大这种偏见。
2025-09-17 cs.CL
Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Faculty of Computer Science MSA Univeristy(计算机科学学院 MSA大学)
本研究针对QADI数据集中18种阿拉伯语推文方言分类问题,比较了RNN、Transformer和LLM模型,发现MARBERTv2表现最佳(65%准确率),并揭示了方言识别的语言学挑战及应用潜力。
2025-06-28 cs.AI cs.CL
Dialect vs Demographics: Quantifying LLM Bias from Implicit Linguistic Signals vs. Explicit User Profiles
University of Washington(华盛顿大学)
研究通过对比显式身份声明与隐含方言信号,揭示LLM在不同敏感领域中的偏见来源,发现隐含方言可降低拒绝率但影响内容安全。
2026-04-22 cs.AI cs.CL cs.CY
Building Ontologies to Understand Spoken Tunisian Dialect
University of Sfax(斯法克斯大学)
本文提出了一种基于词汇语义的突尼斯方言口语理解方法。这种方法考虑到突尼斯方言的特殊性,因为它没有语言处理工具。该方法是基于本体的,它允许利用本体概念进行语义标注和本体关系进行语音解释。这种结合提高了理解速度,限制了对语言资源的依赖。本文还详细介绍了在受限领域对话系统的语音理解背景下,构建用于突尼斯方言注释和解释的本体的过程。
2011-09-03 cs.CL
Synthetic Data for Neural Machine Translation of Spoken-Dialects
Microsoft AI & Research(微软人工智能与研究事业部)
在本文中,我们介绍了一种新的方法来生成训练神经机器翻译系统的合成数据。该方法将书面语和目标语言之间的平行语料库转换为方言口语变体和目标语言之间的平行语料库。我们的方法是独立于语言的,可以用来生成数据的任何变体的源语言,如俚语或口语方言,甚至是一个不同的语言是密切相关的源语言。该方法基于分布式表示的局部嵌入投影,利用单语嵌入来转换跨语言变体的并行数据。我们报告了使用神经机器翻译进行黎凡特语到英语翻译的实验结果。我们表明,所生成的数据可以提高一个非常大的规模的系统超过2.8蓝点使用合成口语数据,这表明它可以用来提供一个可靠的翻译系统口语方言,没有足够的并行数据。
2017-11-28 cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA(马斯特里赫特大学)
本文通过LoRA微调和MBR解码技术,提升方言阿拉伯语的生成与翻译性能,实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect
Johannes Gutenberg University Mainz, Germany(莱茵河畔摩泽尔大学);Marburg University, Germany(马堡大学);University of Colorado Boulder, USA(科罗拉多大学波德分校)
本研究首次探讨梅恩语的NLP应用,发现大语言模型在生成方言词汇定义和生成方面表现不佳,需更多资源和研究支持。
2026-03-04 cs.CL
Quantifying the Dialect Gap and its Correlates Across Languages
University of Cambridge(剑桥大学)
该研究全面评估了大型语言模型在机器翻译和自动语音识别中处理多语言区域方言的表现,发现方言鸿沟与经济、社会及语言因素相关,且训练数据的影响因模型和语言而异,为方言NLP领域的发展奠定了基础。
2023-10-23 cs.CL cs.LG
Hierarchical Classification for Spoken Arabic Dialect Identification using Prosody: Case of Algerian Dialects
Université Amar Telidji Laghouat(阿马尔·泰利吉·拉格瓦特大学);Université Normandie Rouen(鲁昂诺曼底大学)
在日常交流中,阿拉伯人使用当地方言,这些方言很难用传统的分类方法自动识别。当处理属于同一个县/地区的资源不足的方言时,方言识别的挑战性任务变得更加复杂。在本文中,我们开始通过统计分析阿尔及利亚方言,以捕捉其相关的韵律信息提取后,粗粒度的辅音/元音分割在话语水平的特异性。根据这些分析结果,我们提出了一个层次分类方法,阿拉伯语阿尔及利亚方言识别(HADID)。它充分利用了方言具有自然层次结构的内在属性。在HADID中,应用自顶向下的分层分类,其中我们使用深度神经网络(DNN)方法为每个父结点构建一个局部分类器,使其成为分层方言结构。我们的框架实施和评价阿尔及利亚阿拉伯语方言语料库。而方言的等级结构则是从历史和语言学知识中推导出来的。结果表明,在{ \HD }中,与支持向量机相比,最好的分类器是DNN。此外,与基线Flat分类系统相比,我们的HADID在精度方面提高了63.5%。此外,整体结果证明了我们的基于韵律的HADID的适合性,说话人独立的方言识别,而需要不到6s的测试话语。
2017-03-29 cs.CL
An Investigation of Linguistic Biases in LLM-Based Recommendations
University of Florida(佛罗里达大学)
研究通过不同方言提示分析LLM在餐厅和产品推荐中的偏见,发现印度英语和混合英语提示对推荐结果有显著影响。
2026-04-28 cs.AI cs.CL
Normalization of Different Swedish Dialects Spoken in Finland
University of Helsinki(赫尔辛基大学);Rootroo
我们的研究提出了一个方言规范化方法,不同的芬兰瑞典语方言覆盖六个地区。我们测试了5种不同的模型,最好的模型将单词错误率出错率从76.45提高到28.58。与早期关于芬兰方言的研究结果相反,我们发现一次用一个单词训练模型的效果最好。我们认为这是由于模型可用的训练数据的大小。我们的模型可以作为Python包访问。这项研究提供了关于这些方法在不同情况下的适应性的重要信息,并为进一步研究提供了重要的基线。
2020-12-09 cs.CL
SD-QA: Spoken Dialectal Question Answering for the Real World
George Mason University(乔治梅森大学)
问答(QA)系统现在可通过用于各种领域的众多商业应用获得,为经由语音接口与它们交互的数百万用户提供服务。然而,目前在QA研究的基准不占的错误,语音识别模型可能会引入,他们也不考虑用户的语言变化(方言)。为了解决这一差距,我们增加了现有的QA数据集,以构建一个多方言,口语QA基准五种语言(阿拉伯语,孟加拉语,英语,斯瓦希里语,韩语),超过68k的音频提示,24种方言,来自255个扬声器。我们提供了基线结果,展示了QA系统的真实性能,并分析了语言多样性和其他敏感的扬声器属性对下游性能的影响。最后,我们研究了ASR和QA模型相对于底层用户群体的公平性。数据集、模型输出和用于重现我们所有实验的代码都可以在https://github.com/ffaisal93/SD-QA上找到。
2021-09-24 cs.CL
SpokenNativQA: Multilingual Everyday Spoken Queries for LLMs
Qatar Computing Research Institute(卡塔尔计算研究所);Qatar University of New Brunswick(卡塔尔新 Brunswick大学);Canada(加拿大)
本文提出SpokenNativQA,首个多语言文化对齐的口语问答数据集,含约3.3万自然口语问答,用于基准测试LLM在语音交互中的性能,并评估不同ASR系统和LLM。
2025-05-25 cs.AI cs.CL
Machine Translation of Low-Resource Spoken Dialects: Strategies for Normalizing Swiss German
Idiap Research Institute(IDIAP研究所)
这项工作的目标是设计一个机器翻译(MT)系统的低资源家庭的方言,统称为瑞士德语,这是广泛使用的瑞士,但很少写。我们收集了大量的并行书面资源,总共约60k字。此外,我们还为瑞士德语确定了其他几个有前途的数据来源。然后,我们设计并比较了三种策略,以正常化瑞士德国的输入,以解决区域多样性。我们发现,基于字符的神经MT是文本规范化的最佳解决方案。结合基于短语的统计机器翻译,我们的解决方案在从伯尔尼方言翻译时达到了36%的BLEU分数。然而,随着测试数据在地理上和局部上与训练数据的距离越来越远,该值会减小。这些资源和规范化技术是迈向瑞士德语方言完整MT的第一步。
2018-02-06 cs.CL
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体,其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流,没有标准的正字法。这导致了注释数据集的缺乏,使得许多NLP方法的使用变得不可行。在本文中,我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言,加上标准德语参考。我们的目标是创建并提供一个基本的数据集,用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程,并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
Low-Resource Dialect Adaptation of Large Language Models: A French Dialect Case-Study
1\,Computational Linguistics at Concordia (CLaC) Laboratory Department of Computer Science
本文研究了通过持续预训练和参数高效微调方法,将大语言模型适应到低资源方言,以魁北克法语为例,展示了在有限数据和计算资源下提升方言识别性能的方法与成果。
2026-02-27 cs.AI cs.CL
SLURP-TN : Resource for Tunisian Dialect Spoken Language Understanding
ELYADATA;Laboratoire Informatique d’Avignon(阿维尼翁信息实验室)
本文提出SLURP-TN数据集,包含55名本地说话者用突尼斯方言说出的4165个句子,用于改进口语理解任务,同时提供自动语音识别和SLU模型。
2026-03-23 cs.CL
Cem Mil Podcasts: A Spoken Portuguese Document Corpus For Multi-modal, Multi-lingual and Multi-Dialect Information Access Research
Spotify(声田);Silo AI(希洛人工智能公司)
本研究发布了葡萄牙语播客数据集Cem Mil Podcasts,介绍其采样、统计及方言分布情况,验证了多语言摘要和文本元数据分类的有效性,为多模态多语言多方言播客信息获取研究提供支持。
2023-12-13 cs.CL
Linear Semantic Segmentation for Low-Resource Spoken Dialects
Mohamed bin Zayed University of Artificial Intelligence(莫扎姆贝克·本·扎耶德人工智能大学);IBM Research AI(IBM人工智能研究院)
本文提出一个多领域基准测试,用于评估阿拉伯语口语方言的语义分割,发现标准模型在低资源口语上表现不佳,并提出新的模型提升分割性能。
2026-05-07 cs.AI cs.CL
Standard-to-Dialect Transfer Trends Differ across Text and Speech: A Case Study on Intent and Topic Classification in German Dialects
MaiNLP lab, CIS, LMU Munich, Germany(慕尼黑大学自然语言处理实验室、计算机研究所、慕尼黑大学,德国);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心,德国)
研究比较了标准到方言的文本和语音转移效果,发现语音处理在方言数据上表现最佳,而文本处理在标准数据上更优,同时提出了首个方言语音意图分类数据集。
2026-04-16 cs.CL
Spoken dialect identification in Twitter using a multi-filter architecture
EPFL(洛桑联邦理工学院)
本文介绍了SwissText和KONVENS 2020共享任务2的方法,这是一个用于Twitter上瑞士德语(GSW)识别的多阶段神经模型。我们的模型输出GSW或非GSW,并不意味着被用作通用语言标识符。我们的架构由两个独立的过滤器组成,其中第一个过滤器有利于召回,第二个过滤器有利于精度(都朝向GSW)。此外,我们在过滤器中不使用二元模型(GSW与非GSW),而是使用多类分类器,其中GSW是可能的标签之一。我们的模型在共享任务的测试集上达到了0.982的F1分数。
2020-06-05 cs.CL cs.LG
Can Linguistic Distance help Language Classification? Assessing Hawrami-Zaza and Kurmanji-Sorani
University of Kurdistan Hewlêr(库尔德斯坦赫勒大学)
考虑Hawrami和Zaza(Zazaki)独立的语言或语言的方言已经在积极研究伊朗语言的语言学家中讨论和辩论了一段时间。这些语言/方言是否属于库尔德语,或者它们是否是伊朗语言的独立后裔,这个问题由麦肯齐(1961)回答。然而,大多数说方言的人反对这个答案。他们的不赞成主要是基于社会学,文化和历史的方言之间的关系。虽然Hawrami和Zaza的情况仍然没有得到探讨和研究,但对于Kurmanji和Sorani作为库尔德方言的分类几乎存在一致的意见。针对上述案例的相关研究主要是定性研究。然而,计算语言学可以从定量的角度来处理这个问题。在这项研究中,我们从语言距离的角度来研究三个问题。首先,考虑到两者之间没有共同的地理共存,Hawrami和Zaza是多么相似或不同。第二,Kurmanji和Sorani在地理上有重叠。最后,所有这些方言之间的距离是多少?我们基于我们的计算这些方言(语言)的语音表示,我们计算各种语言之间的距离对。我们分析数据并讨论结果以得出结论。
2021-10-27 cs.CL
Dialect and Gender Bias in YouTube's Spanish Captioning System
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究探讨YouTube西班牙语自动字幕系统在不同方言和性别中的偏见问题,并通过实验揭示系统性差异。
2026-02-27 cs.CL
Romanized Arabic Across Dialects: Views, Usage Patterns, and Linguistic Variation
本研究针对不同方言使用者的阿拉伯语罗马化(Arabizi)展开调查,发布两项相关资源,开展大规模跨方言研究,揭示其使用模式与语言变异。
2026-10-26 cs.CL
Transfer Learning for an Endangered Slavic Variety: Dependency Parsing in Pomak Across Contact-Shaped Dialects
University of Chicago(芝加哥大学)
本文提出新的资源和基线,用于在濒危的东南斯拉夫语Pomak中进行依赖解析。研究了在土耳其(Uzunköprü)方言中,基于希腊方言构建的UD树库训练的依赖解析器在方言间迁移的效果。
2026-03-30 cs.CL
Towards spoken dialect identification of Irish
Trinity College Dublin(都柏林三一学院)
针对爱尔兰语 ASR 的方言性能不均问题,本文测试 XLS-R、ECAPA-TDNN 与爱尔兰语 BERT 文本分类器,融合后方言识别准确率达 76%。
2023-07-14 cs.CL cs.SD eess.AS
Dialectal Layers in West Iranian: a Hierarchical Dirichlet Process Approach to Linguistic Relationships
University of Zurich(苏黎世大学)
本文探讨了西伊朗诸语言历史音系学中一系列复杂而悬而未决的问题。西伊朗语(波斯语、库尔德语、俾路支语和其他语言)表现出高度的非劳特格塞兹里希行为。大多数这种不规则性无疑是由于语言接触,我们认为,但是,一个过于简单化的工作过程中的看法已经在西伊朗方言学的文献中盛行,与专家假设偏离预期的结果在一个给定的非波斯语是由于词汇借用从一些波斯语的时间顺序阶段。它表明,这种定性的方法有时产生问题的结论,缺乏明确的概率推理的分布数据:波斯语可能不是唯一的捐助者的语言,此外,在词汇水平的借款并不总是引入不规则的机制。在许多情况下,西伊朗语言在不同的条件反射环境中表现出不同反应的可能性仍然没有得到充分的探索。我们采用了一种新的贝叶斯方法,旨在克服这些问题,梳理除了不规则的模式,西伊朗的声音变化的不同决定因素。我们的方法使我们能够暂时解决一些悬而未决的问题,在文献中对西伊朗方言学有关的方言归属某些声音的变化。我们概述了这类工作的未来方向。
2022-02-17 cs.CL
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
The University of British Columbia(不列颠哥伦比亚大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学);Avignon Université(阿维尼翁大学);ELYADATA(ELYADATA公司);King Abdullah University of Science & Technology(阿卜杜拉国王科技大学);NYU Abu Dhabi(纽约大学阿布扎比分校)
NADI 2026作为第二届多方言阿拉伯语语音处理共享任务,涵盖五个任务八个子任务,引入TTS、SLT和SLU,强调现实评估,发现域外泛化是主要瓶颈,并验证了专用模型与集成方法的有效性。
2026-09-24 cs.CL
Bhasacitra: Visualising the dialect geography of South Asia
Georgetown University(乔治城大学);San Mateo High School(圣马特奥高中);EFL University, Hyderabad(海得拉巴英语外语大学);University of North Carolina – Chapel Hill(北卡罗来纳大学教堂山分校)
提出Bhasacitra,一个基于标注主题与位置数据的南亚语言学研究数据库构建的方言映射系统,用于特征映射并为语言学家提供新型交互式参考书目。
2023-10-19 cs.CL
Lexical Diversity in Kinship Across Languages and Dialects
University of Trento(特伦托大学);IMT Atlantique(IMT大西洋大学);Lab-STICC CNRS UMR 628(Lab-STICC法国国家科学研究中心联合研究单元628)
本文提出一种在计算词典中表征语言多样性的方法,并通过阿拉伯方言与印尼语言的亲属称谓案例研究验证其有效性,揭示了相近社区内部的词汇多样性。
2023-10-26 cs.CL
DialUp! Modeling the Language Continuum by Adapting Models to Dialects and Dialects to Models
Johns Hopkins University, Center for Language and Speech Processing(约翰霍普金斯大学,语言与语音处理中心);University of Virginia(弗吉尼亚大学);Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学)
本文提出 DialUp,通过训练时模型适应方言与推理时方言适应模型两种互补策略,提升主流机器翻译模型对低资源方言及方言连续体的泛化能力。
2025-10-20 cs.CL
Founding a mathematical diffusion model in linguistics. The case study of German syntactic features in the North-Eastern Italian dialects
University of Trento(特伦托大学)
本文以意大利东北部方言中的德语语法特征为案例,用地理数据科学和扩散-对流方程建立数学扩散模型,并证明施密特波属于该方程的解。
2023-09-16 cs.CL
Flow-SLM: Joint Learning of Linguistic and Acoustic Information for Spoken Language Modeling
Toyota Technological Institute at Chicago(芝加哥技术学院);Stony Brook University(石溪大学)
针对无文本口语语言模型缺乏声学上下文与细节控制的问题,提出Flow-SLM,通过流匹配目标联合建模语义token与连续声学表示,在语言性能相当的同时提升了生成语音的声学细节。
2025-10-21 cs.CL
Voice Conversion Improves Cross-Domain Robustness for Spoken Arabic Dialect Identification
Saarland University(萨尔兰大学);Language Science and Technology(语言科学与技术)
针对阿拉伯语方言识别系统对域外语音泛化差的问题,提出基于语音转换的训练方法,在跨域场景下实现高达+34.1%的准确率提升并缓解说话人偏差。
2025-05-30 cs.CL cs.SD eess.AS
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Sentiment Analysis in Poems in Misurata Sub-dialect -- A Sentiment Detection in an Arabic Sub-dialect
Montclair State University(蒙特克莱尔州立大学)
近几十年来,阿拉伯语自然语言处理的资源显著增加和发展。这包括探索阿拉伯语情感分析(ALSA)从阿拉伯语的话语在现代标准阿拉伯语(MSA)和不同的阿拉伯语方言的任务。本研究的重点是检测在米苏拉塔,利比亚的米苏拉塔阿拉伯语方言写的诗歌中的情感。用于从数据集中检测情感的工具是Sklearn和Mazajak sentiment tool 1。逻辑回归,随机森林,朴素贝叶斯(NB)和支持向量机(SVM)分类器与Sklearn一起使用,而卷积神经网络(CNN)则与Mazajak一起实现。结果表明,传统分类器的准确度高于Mazajak,后者是基于包含深度学习技术的算法构建的。更多的研究建议分析阿拉伯语次方言诗歌,以调查这些多行文本中的情感方面,例如,使用比喻语言,如隐喻。
2021-09-15 cs.CL
Dialectal Coverage And Generalization in Arabic Speech Recognition
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);STC
本文提出一套优化的开源阿拉伯语ASR模型,涵盖MSA、多种方言及语码转换,覆盖17国数据和至少11种变体,显著提升了方言覆盖与识别性能。
2025-05-29 cs.CL cs.SD eess.AS
Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models
Ahsanullah University of Science and Technology(阿赫桑乌拉科技大学)
针对标准孟加拉语到多种地区方言的翻译缺口,本文在含32,500句的Vashantor数据集上微调BanglaT5、mT5和mBART50,发现BanglaT5以12.3% CER和15.7% WER表现最佳。
2025-01-10 cs.CL
BanglaDial-Abuse: A Corpus-Grounded Dataset for Regional Dialect Identification in Abusive Bangla Text
American International University-Bangladesh(美国国际大学孟加拉分校)
针对孟加拉语滥用文本的区域方言识别挑战,构建了包含四种方言各250句的平衡数据集,并采用基于语料库的合成方法生成,主要贡献在于提供方言识别任务资源。
2026-10-02 cs.CL
From Local to Global: Navigating Linguistic Diversity in the African Context
Makerere University(马凯雷雷大学)
本研究针对非洲受关注较少的本土方言与阿拉伯语方言的NLP处理难题,提出改进方法并验证其有效性,可为相关企业优化客户体验与产品开发提供支持,还可作为教学工具助力激发学习兴趣与科技创业。
2023-05-02 cs.CL cs.LG
Towards dialect-inclusive recognition in a low-resource language: are balanced corpora the answer?
Trinity College Dublin(都柏林圣三一大学)
针对爱尔兰语三大方言,本文通过训练12个ASR系统并增减方言材料,检验平衡语料库是否能实现公平的跨方言识别。
2023-07-14 cs.CL cs.SD eess.AS
Geolocation-Aware Robust Spoken Language Identification
Carnegie Mellon University(卡内基梅隆大学)
针对现有基于自监督学习(SSL)的口语语言识别(LID)模型难以统一分类同一语言方言和口音的问题,提出融入地理定位信息的方法,通过辅助地理定位预测并注入条件信号,提升了模型对语言内变体和未知域的鲁棒性,在多个数据集上取得新的最先进结果。
2025-08-23 cs.CL cs.SD