Sebastian, Basti, Wastl?! Recognizing Named Entities in Bavarian Dialectal Data
MaiNLP, Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心MaiNLP项目);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出首个德语方言NER数据集BarNER,含161K标注令牌,通过多任务学习等方法在巴伐利亚语料上取得SOTA,证实低资源方言数据及多样性对模型性能提升的重要性。
2024-03-19 cs.CL
A Multi-Dialectal Dataset for German Dialect ASR and Dialect-to-Standard Speech Translation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Bayerischer Rundfunk(巴伐利亚广播电台)
本文构建德国东南部三大方言的 Betthupferl 语音评估数据集,提供方言与标准德语转写,并基准评测多语言 ASR 模型的方言转标准语能力。
2025-06-03 cs.CL eess.AS
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体,其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流,没有标准的正字法。这导致了注释数据集的缺乏,使得许多NLP方法的使用变得不可行。在本文中,我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言,加上标准德语参考。我们的目标是创建并提供一个基本的数据集,用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程,并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
Dialect Transfer for Swiss German Speech Translation
University of Applied Sciences and Arts Northwestern Switzerland(西北瑞士应用科学与艺术大学);Zurich University of Applied Sciences(苏黎世应用科学大学)
本研究探讨瑞士德语语音翻译中方言多样性与语言差异带来的挑战,通过训练模型分析方言纳入与排除的影响,证实了语言学假设。
2023-10-13 cs.AI cs.CL
STT4SG-350: A Speech Corpus for All Swiss German Dialect Regions
University of Applied Sciences and Arts Northwestern Switzerland(瑞士西北应用科学与艺术大学);Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学)
本文发布STT4SG-350语料库,包含343小时覆盖所有瑞士德语方言区的语音及标准德语标注,并通过训练ASR模型取得74.7 BLEU分数,验证了其在多方言语音技术研究中的价值。
2023-05-30 cs.AI cs.CL
Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect
Johannes Gutenberg University Mainz, Germany(莱茵河畔摩泽尔大学);Marburg University, Germany(马堡大学);University of Colorado Boulder, USA(科罗拉多大学波德分校)
本研究首次探讨梅恩语的NLP应用,发现大语言模型在生成方言词汇定义和生成方面表现不佳,需更多资源和研究支持。
2026-03-04 cs.CL
A Deep Learning Approach for Similar Languages, Varieties and Dialects
Amrita School of Engineering(阿姆里塔工程学院)
深度学习机制是近年来用于自然语言处理、语音识别、图像处理和许多其他任务中的各种任务的流行方法。为了利用这一点,我们使用基于深度学习的机制,特别是双向长短期记忆(B-LSTM)用于阿拉伯语和德语广播语音中的辩证识别任务,以及长短期记忆(LSTM)用于区分类似语言。使用基于大词汇量连续语音识别(LVCSR)的词汇特征和由i-vector框架生成的每个话语400个固定长度的瓶颈特征来创建两个独特的B-LSTM模型。这些模型在VarDial 2017数据集上进行了评估,用于阿拉伯语,德语方言识别与埃及,海湾,黎凡特,北非的方言,以及阿拉伯语和巴塞尔,伯尔尼,卢塞恩和苏黎世德语的MSA。此外,还负责区分波斯尼亚语、克罗地亚语和塞尔维亚语等类似语言的任务。B-LSTM模型在词汇特征上的准确率为0.246,在i-Vector框架的瓶颈特征上的准确率为0.577。
2019-01-02 cs.CL
SwissGPC v1.0 -- The Swiss German Podcasts Corpus
Centre for Artificial Intelligence(人工智能研究中心);Zurich University of Applied Sciences (ZHAW)(苏黎世应用科学大学)
本文介绍SwissGPC v1.0,首个中大规模自发瑞士德语语音语料库,含约5000小时语音,覆盖七大方言区,用于ASR、TTS等研究。
2025-09-24 cs.CL
Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021
Microsoft(微软)
本文介绍了SwissText 2021年关于瑞士德语语音到标准德语文本的共享任务3中的获胜方法,这是一项关于方言识别和翻译的公开竞赛。瑞士德语是指在瑞士德语区使用的众多阿勒曼尼方言。瑞士德语在发音、词汇和语法上与标准德语有很大的不同。这对以德语为母语的人来说是难以理解的。此外,它缺乏标准化的书面文字。为了解决具有挑战性的任务,我们提出了一个混合自动语音识别系统的词典,包括翻译,第一遍的语言模型,处理瑞士德国的特殊性,一个转移学习声学模型和一个强大的神经语言模型的第二遍重新评分。我们的提交在盲对话测试集上达到46.04%的BLEU,并以12%的相对优势优于第二大竞争对手。
2021-07-01 cs.CL cs.LG cs.SD
SDS-200: A Swiss German Speech to Standard German Text Corpus
University of Applied Sciences and Arts Northwestern Switzerland(西北瑞士应用科学与艺术大学);Zurich University of Applied Sciences(苏黎世应用科学大学);SpinningBytes AG(SpinningBytes公司)
我们提出SDS-200,语料库的瑞士德语方言语音与标准德语文本翻译,注释方言,年龄和性别信息的扬声器。该数据集允许训练语音翻译、方言识别和语音合成系统等。这些数据是使用向公众开放的网络记录工具收集的。每个参与者都得到了一段标准德语的文本,并被要求在录制之前将其翻译成瑞士德语方言。为了提高语料库质量,其他参与者对录音进行了验证。这些数据由大约4000个不同的说话者的200小时的语音组成,涵盖了瑞士-德国方言的大部分。我们发布了SDS-200以及基线语音翻译模型,该模型在SDS-200测试集上实现了30.3的单词出错率(WER)和53.1的BLEU得分。此外,我们使用SDS-200来微调预训练的XLS-R模型,实现21.6 WER和64.0 BLEU。
2022-05-19 cs.AI cs.CL
Classifier Ensembles for Dialect and Language Variety Identification
University of Bucharest(布加勒斯特大学);University of Wolverhampton(伍尔弗汉普顿大学);Harvard Medical School(哈佛医学院)
在本文中,我们使用2018年VarDial评估活动组织者提供的数据集,提出了基于集合的方言和语言种类识别系统。我们提出了一个系统,开发区分佛兰芒语和荷兰语的字幕和系统训练区分四种阿拉伯方言:埃及,黎凡特,海湾,北非和现代标准阿拉伯语的语音广播。最后,我们将这两个系统的性能与提交给VarDial 2018的区分荷兰语和佛兰芒语字幕(DFS)和阿拉伯语方言识别(ADI)共享任务的其他系统进行了比较。
2018-08-14 cs.CL
Founding a mathematical diffusion model in linguistics. The case study of German syntactic features in the North-Eastern Italian dialects
University of Trento(特伦托大学)
本文以意大利东北部方言中的德语语法特征为案例,用地理数据科学和扩散-对流方程建立数学扩散模型,并证明施密特波属于该方程的解。
2023-09-16 cs.CL
A Swiss German Dictionary: Variation in Speech and Writing
University of Zurich(苏黎世大学);University of Fribourg(弗里堡大学);Swisscom AG(瑞士电信公司)
我们介绍了一个字典,其中包含各种瑞士德语方言的常见单词的形式规范化为高地德语。由于瑞士德语目前是一种主要的口头语言,即使在同一方言的使用者之间,书面形式也有很大的差异。为了减轻与这种多样性相关的不确定性,我们补充了瑞士德语-高地德语单词与瑞士德语音标(SAMPA)。这本词典因此成为第一个将大规模自发翻译与语音翻译相结合的资源。此外,我们控制区域分布,并确保主要瑞士方言的平等代表性。瑞士德语的语音和书面形式的结合是强大的。我们表明,他们是足够的训练一个变压器为基础的音素字形模型,产生可信的小说瑞士德语作品。此外,我们表明,逆映射-从字素到音素-可以建模与Transformer训练与新的字典。这种生成以前未知单词的发音是训练可扩展自动语音识别(ASR)系统的关键,ASR系统是本词典的主要受益者。
2020-03-31 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich(慕尼黑大学)
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳,分析基于 LLM 的无监督流程,并从词频和编辑距离评估输出,发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
Spaiche: Extending State-of-the-Art ASR Models to Swiss German Dialects
ETH Zürich(苏黎世联邦理工学院)
针对瑞士德语方言低资源语音识别问题,提出考虑预测与真实标签语义距离的新损失函数,通过微调OpenAI Whisper模型超越现有最优ASR性能。
2023-09-13 cs.CL cs.LG cs.SD
Voice Adaptation for Swiss German
Centre for Artificial Intelligence(人工智能中心);ZHAW
本研究通过预处理约5000小时瑞士播客数据并微调XTTSv2模型,实现了标准德语文本到瑞士德语方言语音的转换,在人工和自动评估中表现良好,推进了语音克隆技术在低资源语言上的应用。
2025-05-28 cs.CL cs.SD eess.AS
MaiBaam: A Multi-Dialectal Bavarian Universal Dependency Treebank
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);IT University of Copenhagen(哥本哈根信息技术大学)
本文构建了首个多方言巴伐利亚语UD树库MaiBaam,含1.5万词元,覆盖多体裁与三国方言,揭示其与德语的形态句法差异,并公开数据与基线结果以促进研究。
2024-03-15 cs.CL
Extracting Lexical Features from Dialects via Interpretable Dialect Classifiers
Duke University(杜克大学);George Mason University(乔治梅森大学);University of Washington(华盛顿大学)
本文提出一种利用可解释方言分类器提取方言区分性词汇特征的新方法,无需专家知识即可在普通话、意大利语和低地撒克逊语上成功识别导致方言变化的关键词汇特征。
2024-03-23 cs.AI cs.CL
Cross-Dialect Information Retrieval: Information Access in Low-Resource and High-Variance Languages
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出首个含七种德语方言的 WikiDIR 数据集,评估词汇方法、零样本多语言迁移与翻译策略,揭示低资源高变异方言检索的困难并证明文档翻译有效。
2025-01-06 cs.CL cs.IR
Automatic Dialect Detection in Arabic Broadcast Speech
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)(麻省理工学院计算机科学与人工智能实验室);JHU Center for Language and Speech Processing (CLSP)(约翰斯·霍普金斯大学语言与语音处理中心);University of Edinburgh(爱丁堡大学)
我们调查不同的方法方言识别阿拉伯语广播讲话中,使用语音,词汇的特点,从语音识别系统,和声学特征,使用i-向量框架。我们研究了生成式和判别式分类器,并使用多类支持向量机(SVM)将这些特征结合起来。我们在阿拉伯语/英语语言识别任务上验证了我们的结果,准确率为100%。我们在二元分类器中使用这些特征来区分现代标准阿拉伯语(MSA)和方言阿拉伯语,准确率为100%。我们进一步报告使用所提出的方法来区分阿拉伯语的五种最广泛使用的方言之间的结果:即埃及,海湾,黎凡特,北非和MSA,准确率为52%。我们讨论了方言识别错误的背景下,方言阿拉伯语和MSA之间的方言代码切换,并比较手动标记的数据之间的错误模式,从我们的分类器的输出。我们还发布了训练和测试数据作为方言识别的标准语料。
2016-08-11 cs.CL
Hierarchical Classification for Spoken Arabic Dialect Identification using Prosody: Case of Algerian Dialects
Université Amar Telidji Laghouat(阿马尔·泰利吉·拉格瓦特大学);Université Normandie Rouen(鲁昂诺曼底大学)
在日常交流中,阿拉伯人使用当地方言,这些方言很难用传统的分类方法自动识别。当处理属于同一个县/地区的资源不足的方言时,方言识别的挑战性任务变得更加复杂。在本文中,我们开始通过统计分析阿尔及利亚方言,以捕捉其相关的韵律信息提取后,粗粒度的辅音/元音分割在话语水平的特异性。根据这些分析结果,我们提出了一个层次分类方法,阿拉伯语阿尔及利亚方言识别(HADID)。它充分利用了方言具有自然层次结构的内在属性。在HADID中,应用自顶向下的分层分类,其中我们使用深度神经网络(DNN)方法为每个父结点构建一个局部分类器,使其成为分层方言结构。我们的框架实施和评价阿尔及利亚阿拉伯语方言语料库。而方言的等级结构则是从历史和语言学知识中推导出来的。结果表明,在{ \HD }中,与支持向量机相比,最好的分类器是DNN。此外,与基线Flat分类系统相比,我们的HADID在精度方面提高了63.5%。此外,整体结果证明了我们的基于韵律的HADID的适合性,说话人独立的方言识别,而需要不到6s的测试话语。
2017-03-29 cs.CL
Improving the results of string kernels in sentiment analysis and Arabic dialect identification by adapting them to your test set
University of Bucharest(布加勒斯特大学)
最近,字符串内核已经在各种文本分类任务中获得了最先进的结果,例如阿拉伯语方言识别或母语识别。在本文中,我们采用两种简单而有效的转导学习方法,以进一步改善字符串内核的结果。第一种方法基于将训练集中的样本和测试集中的样本之间的成对字符串内核相似性解释为特征。我们的第二种方法是基于两次学习迭代的简单自训练方法。在第一次迭代中,像往常一样,在训练集上训练分类器并在测试集上测试。在第二次迭代中,将多个测试样本(分类器与其相关联的置信度分数较高)添加到训练集中以进行另一轮训练。然而,添加的测试样本的地面实况标签是不必要的。相反,我们使用分类器在第一次训练迭代中预测的标签。通过调整字符串内核的测试集,我们报告显着更好的准确率在英语极性分类和阿拉伯语方言识别。
2018-08-31 cs.CL
Evaluating Pixel Language Models on Non-Standardized Languages
Universidade da Coruña(拉科鲁尼亚大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究以德语为案例,探究像素语言模型从标准语言向方言迁移学习的潜力,发现其在零样本方言的词性标注等任务上优于词元模型,部分场景优势达26个百分点,但主题分类表现欠佳,为方言数据处理提供了新方向。
2024-12-12 cs.CL
Can LLM Agents Identify Spoken Dialects like a Linguist?
Department of Computer Science, University of Bonn(波恩大学计算机科学系);Research Center Deutscher Sprachatlas, Marburg University(马尔堡大学德语语言地图研究中心);Bonn-Aachen International Center for Information Technology, University of Bonn(波恩大学波恩-亚琛国际信息技术中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本文研究大语言模型在识别口音方面的能力,对比了LLM与HuBERT等模型的性能,并提供LLM和人类语言学家的基线方法。
2026-03-31 cs.CL
Language Model Adaptation for Language and Dialect Identification of Text
University of Helsinki(赫尔辛基大学)
本文描述了一种无监督的语言模型自适应方法,可用于提高语言识别方法的性能。该方法适用于当前版本的HeLI语言识别方法,现在称为HeLI 2.0。我们详细描述了HeLI 2.0方法。使用2017年和2018年VarDial研讨会的德语方言识别和印度-雅利安语识别共享任务的数据集对所产生的系统进行评估。新的方法与语言识别提供了相当高的F1分数比以前的HeLI方法或参与共享任务的其他系统。结果表明,无监督的语言模型适应应被视为所有语言识别任务的一种选择,特别是在那些遇到域外数据是可能的。
2019-03-26 cs.CL
WEKA-Based: Key Features and Classifier for French of Five Countries
本文介绍了一个法语方言识别系统,将适当区分不同地区的法语方言。五个地区的语料库-摩纳哥,法语,比利时,法语瑞士,法语加拿大和法国,这是针对由素描引擎建设。语料的内容涉及到吃、喝、睡、住四大主题,与大众生活息息相关。实验结果是通过Python编码的预处理器和Waikato知识分析环境(WEKA)数据分析工具的处理获得的,该工具包含许多用于机器学习的过滤器和分类器。
2022-11-10 cs.CL
White-Box Attacks on Hate-speech BERT Classifiers in German with Explicit and Implicit Character Level Defense
在这项工作中,我们评估了在德国仇恨语音数据集上训练的BERT模型的对抗鲁棒性。我们还补充了我们的评估与两个新的白盒字符和单词级攻击,从而有助于攻击的范围。此外,我们还进行了两个新的字符级防御策略的比较,并评估其鲁棒性与彼此。
2022-02-14 cs.CL
Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets
University of Bucharest(布加勒斯特大学);Romanian Young Academy(罗马尼亚青年科学院)
在这项工作中,我们介绍了UnibucKernel团队在解决2020年VarDial评估活动中的社交媒体多样性地理定位任务时提出的方法。我们只处理第二个子任务,它的目标是由近3万瑞士德语约德尔组成的数据集。方言识别任务是准确预测测试样本的纬度和经度。我们将该任务视为一个双重回归问题,采用各种机器学习方法来预测纬度和经度。从简单的回归模型(如支持向量回归)到深度神经网络(如长短期记忆网络和字符级卷积神经网络),最后到基于元学习器的集成模型(如XGBoost),我们的兴趣集中在从几个不同的角度来处理问题,试图最大限度地减少预测误差。考虑到同样的目标,我们还考虑了许多类型的特征,从高级特征(如BERT嵌入)到低级特征(如字符n-gram),这些特征在方言识别中具有良好的效果。我们的实证结果表明,基于字符串内核的手工模型优于深度学习方法。尽管如此,我们最好的性能是由集成模型提供的,该模型结合了手工制作和深度学习模型。
2020-10-07 cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology(谢里夫理工大学)
由于缺乏资源和标记化问题,识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言:古巴比伦语,中巴比伦语外围语,标准巴比伦语,新巴比伦语,晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成,两者都工作在字符级特征上,宏观平均F1分数为72.10%。
2020-09-22 cs.CL
Stability of Syntactic Dialect Classification Over Space and Time
New Zealand Institute for Language, Brain and Behaviour(新西兰语言、大脑与行为研究所);University of Canterbury(坎特伯雷大学);Geospatial Research Institute Toi Hangarau(Toi Hangarau地理空间研究所)
本文分析了基于句法表征的方言量词在时空上的稳定程度。虽然以前的工作已经表明,语法归纳和地理空间文本分类的组合产生强大的方言模型,我们不知道什么影响变化的语法和变化的人口对方言模型。本文为12种英语方言构建了一个测试集,时间跨度为三年,每月一次,在1,120个城市中具有固定的空间分布。句法表征是在基于用法的构式语法范式(CxG)内制定的。随着时间的推移,每种方言的分类性能的衰减率,使我们能够确定正在发生语法变化的地区。分类准确率在方言区域内的分布使我们能够确定方言语法内部异质性的程度。本文的主要贡献是表明,严格的评估方言分类模型可以用来找到随时间的变化,随空间的变化。
2022-09-11 cs.CL
Data Collection and Analysis of French Dialects
University of Leeds(利兹大学)
本文讨论了创建和分析一个新的数据集的数据采掘和文本分析研究,有助于联合利兹大学研究项目的语料库的国家方言。本报告调查了机器学习分类器,用于对各个法语国家的法语方言文本样本进行分类。按照CRISP-DM方法的步骤,本报告探讨了数据汇集过程、数据质量问题和文本分析的数据转换。最后,应用适当的数据采掘技术,评价方法,最佳的整体特征和分类器和结论进行了讨论。
2022-08-01 cs.AI cs.CL
Including Dialects and Language Varieties in Author Profiling
University of Bucharest(布加勒斯特大学);University of Cologne(科隆大学);Harvard Medical School(哈佛医学院)
本文提出了一种计算方法,作者分析考虑到性别和语言的多样性。我们应用集成系统与字符和单词$n$ -gram训练的多个线性SVM分类器的输出。我们使用2017年PAN实验室组织者提供的关于作者分析的数据集来评估该系统。我们的方法实现了75%的平均准确性性别识别的推文写在四种语言和97%的准确性语言品种识别葡萄牙语。
2017-07-03 cs.CL
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales(新南威尔士大学);National Institute of Information and Communications Technology(信息通信技术研究所);University of Surrey(萨里大学);Monash University(莫纳什大学)
该综述聚焦方言NLP领域,从数据集和方法梳理相关研究,划分NLU和NLG任务类别,覆盖多语言,介绍经典与深度学习方法,为构建公平语言技术提供参考。
2024-12-06 cs.CL
Measuring Geographic Performance Disparities of Offensive Language Classifiers
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
文本分类器以一刀切的解决方案的形式大规模应用。然而,许多研究表明,量词对不同的语言和方言有偏见。在衡量和发现这些偏见时,存在一些差距,应该加以解决。第一,“语言、方言和主题内容是否因地理区域而异?第二,如果各地区之间存在差异,它们是否会影响模型的性能?''.我们引入了一个名为GeoOLID的新数据集,其中包含15个地理和人口统计学上不同的城市的14000多个示例,以解决这些问题。我们进行了全面的分析,地理相关的内容和他们的影响,性能差异的攻击性语言检测模型。总的来说,我们发现,目前的模型并没有推广到各地。同样,我们表明,虽然进攻性语言模型对非裔美国人英语产生误报,但模型性能与每个城市的少数民族人口比例无关。警告:本文含有攻击性语言。
2022-09-15 cs.CL
dzNLP at NADI 2024 Shared Task: Multi-Classifier Ensemble with Weighted Voting and TF-IDF Features
LCPTS-FGE;USTHB(阿尔及利亚科学技术大学);CRSTDLA;University of Algiers 01(阿尔及尔大学01)
dzNLP团队在NADI 2024子任务1中采用基于TF-IDF特征和加权投票的多分类器集成方法,虽取得最高精确率63.22%,但F1分数约21%,因召回率仅12.87%,需改进对多样方言的识别。
2024-07-18 cs.CL
AustroTox: A Dataset for Target-Based Austrian German Offensive Language Detection
TU Wien(维也纳技术大学);University of Zurich(苏黎世大学);University of Vienna(维也纳大学)
本文提出AustroTox数据集,包含4,562条奥地利德语新闻论坛评论,标注攻击性及粗俗语言和目标片段,并比较微调模型与大型语言模型在攻击性检测上的表现。
2024-06-12 cs.AI cs.CL cs.CY
Spoken dialect identification in Twitter using a multi-filter architecture
EPFL(洛桑联邦理工学院)
本文介绍了SwissText和KONVENS 2020共享任务2的方法,这是一个用于Twitter上瑞士德语(GSW)识别的多阶段神经模型。我们的模型输出GSW或非GSW,并不意味着被用作通用语言标识符。我们的架构由两个独立的过滤器组成,其中第一个过滤器有利于召回,第二个过滤器有利于精度(都朝向GSW)。此外,我们在过滤器中不使用二元模型(GSW与非GSW),而是使用多类分类器,其中GSW是可能的标签之一。我们的模型在共享任务的测试集上达到了0.982的F1分数。
2020-06-05 cs.CL cs.LG
Improving Low-Resource Dialect Classification Using Retrieval-based Voice Conversion
Research Center Deutscher Sprachatlas(德国语言地图研究中心)
本文提出用基于检索的语音转换(RVC)进行数据增强,通过统一说话人减少说话人变异,并结合频率掩蔽等方法提升低资源德语方言分类性能。
2025-07-04 cs.AI cs.CL cs.SD
Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究通过课程学习和伪标签方法构建多标签阿拉伯方言识别数据集,并训练BERT模型提升泛化能力,最终在排行榜上取得宏平均F1值0.69的优异成绩。
2026-02-17 cs.CL cs.LG
Voxlect: A Speech Foundation Model Benchmark for Modeling Dialects and Regional Languages Around the Globe
Voxlect是一个用于全球方言和地区语言建模的语音基础模型基准,通过评估多种模型在30个语料库上的分类性能,并展示其在ASR增强和语音生成评估中的应用。
2025-08-03 cs.CL cs.SD eess.AS
Experiments in Cuneiform Language Identification
Universidade Tecnológica Federal do Paraná(巴拉那联邦理工大学);University of Wolverhampton(伍尔弗汉普顿大学)
楔形文字是世界上最早的文字系统之一,本文介绍了用楔形文字区分语言和方言的方法。我们报告了PZ团队在2019年VarDial评估活动范围内组织的楔形文字语言识别(CLI)共享任务中获得的结果。这项任务包括两种语言,苏美尔语和阿卡德语。后者分为六种方言:古巴比伦语、中巴比伦语、标准巴比伦语、新巴比伦语、晚巴比伦语和新亚述语。我们使用在各种SVM模型上训练的元分类器来处理任务,并展示了该系统在此任务中的有效性。我们的参赛作品在区分七种语言和方言方面取得了0.738的F1分数,在八支队伍中排名第四。
2019-04-27 cs.CL
FreCDo: A Large Corpus for French Cross-Domain Dialect Identification
University of Bucharest(布加勒斯特大学);Aix-Marseille Université(艾克斯-马赛大学)
我们提出了一个新的语料库法语方言识别包括413,522法语文本样本收集公共新闻网站在比利时,加拿大,法国和瑞士。为了确保模型的方言识别性能的准确估计,我们设计了语料库,以消除与主题,写作风格和出版物来源相关的潜在偏见。更准确地说,训练、验证和测试分割是从不同的新闻网站收集的,同时搜索不同的关键字(主题)。这导致了法语跨域(FreCDo)方言识别任务。我们进行实验与四个有竞争力的基线,微调CamemBERT模型,XGBoost的基础上微调CamemBERT功能,一个支持向量机(SVM)分类器的基础上微调CamemBERT功能,和一个SVM的基础上字n-gram。除了给出定量结果外,我们还分析了CamemBERT学习到的最具鉴别力的特征。我们的语料库可以在https://github.com/MihaelaGaman/FreCDo上找到。
2022-12-15 cs.CL cs.LG
Advancing STT for Low-Resource Real-World Speech
Institute of Computer Science, Zurich University of Applied Sciences(计算机科学研究所,应用科学大学)
本文构建包含300小时真实长音频的 SRB-300 瑞士德语语料库,并微调多个 OpenAI Whisper 模型,显著降低 WER、提升 BLEU,增强低资源方言语音转写能力。
2025-06-10 cs.CL cs.HC
UnibucKernel: Geolocating Swiss German Jodels Using Ensemble Learning
University of Bucharest(布加勒斯特大学);Romanian Young Academy(罗马尼亚青年科学院)
在这项工作中,我们描述了我们解决2021年VarDial评估活动中的社交媒体多样性地理定位任务的方法。我们重点关注第二个子任务,该任务基于由大约30,000个瑞士德语约德尔组成的数据集。方言识别任务是准确预测测试样本的纬度和经度。我们将任务框架为双重回归问题,采用XGBoost元学习器,结合各种机器学习方法来预测纬度和经度。我们集成中包含的模型范围从简单的回归技术(如支持向量回归)到深度神经模型(如混合神经网络和神经Transformer)。为了最大限度地减少预测误差,我们从几个不同的角度来处理这个问题,并考虑各种类型的功能,从低级字符n-gram到高级BERT嵌入。结合上述方法的力量产生的XGBoost集合在测试数据上实现了23.6公里的中值距离,这使我们在排名中排名第三,与第一和第二名的提交分别相差6.05公里和2.9公里。
2021-02-26 cs.CL
Assessing In-context Learning and Fine-tuning for Topic Classification of German Web Data
University of Konstanz(康斯坦茨大学);Cluster of Excellence “The Politics of Inequality”(卓越集群“不平等政治”)
本文将德语网页主题检测建模为二元分类任务,比较微调预训练编码器与上下文学习策略,发现少量标注数据即可训练有效分类器,微调效果优于上下文学习,结合URL与内容特征表现最佳。
2024-07-23 cs.CL
Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News
University of Graz(格拉茨大学);Technical University of Graz(格拉茨技术大学)
针对德语气候新闻句子级框架检测,比较了微调BERT(句子对分类)与少样本LLM提示(Llama 4)方法,BERT在F1上达到0.83,优于LLM的0.78。
2026-06-26 cs.CL
Unsupervised Out-of-Distribution Dialect Detection with Mahalanobis Distance
SHL Labs, India(印度SHL实验室)
针对方言分类中的分布外样本检测问题,提出一种基于wav2vec 2.0中间层嵌入与马氏距离的无监督检测方法,显著优于现有最先进方法。
2023-08-09 cs.CL cs.CV cs.SD
Computational Linguistics Meets Libyan Dialect: A Study on Dialect Identification
Sebha University(塞卜哈大学);Trine University(特莱恩大学)
本研究利用多项式朴素贝叶斯模型,通过词和字符n-gram表示实现利比亚方言识别,达到85.89%的准确率。
2025-12-03 cs.CL cs.LG
Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios
Bernoulli Institute(伯努利研究所);University of Groningen(格罗宁根大学);CLCG(语言与认知中心)
本文研究多语言场景下人类与机器翻译的自动判别,证明源文本融入多语言分类器可提升准确率与跨系统鲁棒性,多源语言训练数据和更长文本序列训练均能进一步改善分类性能。
2023-05-31 cs.CL
Towards spoken dialect identification of Irish
Trinity College Dublin(都柏林三一学院)
针对爱尔兰语 ASR 的方言性能不均问题,本文测试 XLS-R、ECAPA-TDNN 与爱尔兰语 BERT 文本分类器,融合后方言识别准确率达 76%。
2023-07-14 cs.CL cs.SD eess.AS
Multilingual Modal Sense Classification using a Convolutional Neural Network
Heidelberg University(海德堡大学)
情态意义分类(MSC)是一个特殊的WSD任务,它依赖于命题在情态范围内的意义。我们探索一个CNN架构分类英语和德语的模态意义。我们证明了CNN优于手动设计的基于特征的分类器和标准NN分类器。我们分析由CNN学习的特征图,并识别已知的和以前未证实的语言特征。我们在一个标准的WSD任务上对CNN进行了基准测试,与使用意义消除的目标向量的模型相比,它是有利的。
2016-08-18 cs.CL
Linguistic Features of Genre and Method Variation in Translation: A Computational Perspective
University of Wolverhampton(伍尔弗汉普顿大学);Saarland University(萨尔大学)
在本文中,我们描述了使用文本分类方法来调查体裁和方法的变化,在英语-德语翻译语料库。为了这个目的,我们使用的语言动机的功能,表示文本使用的组合部分的语音标记排列在bigram,trigram,和4-grams。本文所用的分类方法是一种带有拉普拉斯平滑的贝叶斯分类器。我们利用分类器的输出对体裁和翻译方法之间的主要差异进行了广泛的特征分析。
2017-09-13 cs.CL
Classification of Human- and AI-Generated Texts for English, French, German, and Spanish
IU International University of Applied Sciences(IU国际应用科学大学)
本研究构建多语言文本语料库,分析人类与AI生成文本的分类特征,对比两种检测场景下的特征效果,验证了特征的跨语言迁移性并得出各语言最优特征组合。
2023-12-08 cs.AI cs.CL
Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer Models
ITMO University(圣彼得堡国立信息技术机械与光学大学)
Zero-shot跨语言迁移是现代NLP模型和架构中支持低资源语言的重要特征。本文研究了多标签文本分类中英语到法语和德语的zero-shot跨语言迁移问题,使用英语训练集训练分类器,使用法语和德语测试集进行测试。我们扩展了EURLEX 57 K数据集,英语数据集的主题分类的法律文件,法语和德语的官方翻译。我们研究了使用一些训练技术,即逐步解冻和语言模型微调,对zero-shot跨语言迁移质量的影响。我们发现,多语言预训练模型(M-DistilBERT,M-BERT)的语言模型微调分别导致法语和德语测试集的32.0- 34.94%,76.15-87.54%的相对改善。此外,在训练过程中,预训练模型的层的逐渐解冻导致法语的38-45%和德语的58-70%的相对提高。与使用英语、法语和德语训练集在联合训练方案中训练模型相比,基于zero-shot BERT的分类模型达到了联合训练的BERT分类模型的86%。
2021-12-11 cs.AI cs.CL