Balanced End-to-End Monolingual pre-training for Low-Resourced Indic Languages Code-Switching Speech Recognition
Kanari AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
语码转换ASR的成功设计往往取决于转换后语码资源的可用性。这种依赖性损害了ASR在孟加拉语和印地语等低资源语言中的发展。在本文中，我们利用迁移学习的方法来设计端到端（E2 E）CS ASR系统的两个低资源的语言对使用不同的单语语音数据和一小部分嘈杂的CS数据。我们训练CS-ASR，遵循两个步骤：（i）使用基于卷积增强的Transformer（Conformer）的声学模型和n-gram语言模型构建一个健壮的双语ASR系统，以及（ii）用有限的噪声CS数据微调整个E2 E ASR。我们在MUCS 2021挑战赛上测试了我们的方法，并在CS赛道上获得了第三名。然后，我们使用在低资源印度语言的多语言和代码转换ASR挑战（MUCS 2021）中为印度语-英语和孟加拉语-英语对发布的嘈杂CS数据测试了所提出的方法，并在CS轨道中获得了第三名。与从抓取YouTube和学习音译对中受益的领先的两个系统不同，我们提出的迁移学习方法专注于只使用有限的CS数据，而不进行数据清理或数据重新分割。我们的方法在印地语-英语和孟加拉语-英语中分别实现了14.1%和27.1%的单词出错率（WER）相对增益。我们提供了详细的指导方针的步骤，以微调自我注意力为基础的模型有限的数据ASR。此外，我们发布了本文中使用的代码和配方。
2022-02-15 cs.CL cs.SD eess.AS
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research（摩根大通人工智能研究院）
口语对话系统正慢慢成为人类体验的一部分，这是由于它们比文本界面具有各种优势。口语语言理解（SLU）系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中，我们无法获得足够的数据来构建自动语音识别（ASR）技术，这是任何SLU系统的基础。此外，基于ASR的SLU系统不推广到非书面语言。在本文中，我们提出了一系列实验来探索资源极其匮乏的环境，在这些环境中，我们使用每个意图低至一个数据点的系统进行意图分类，并且数据集中只有一个说话者。我们还在低资源环境中工作，在这种环境中，我们不使用特定于语言的ASR系统来转录输入语音，这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语（佛兰芒语）和英语，并发现使用语音音标，使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说，当使用基于语音的系统在基于特征的系统，我们看到平均改善12.37%和13.08%的二进制和四类分类问题，分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
Multi-Graph Decoding for Code-Switching ASR
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）
在FAME！项目，一个代码转换（CS）自动语音识别（ASR）系统的弗里斯兰语-荷兰语的语音开发，可以准确地转录本地广播公司的双语档案与CS语音。该档案包含单语弗里斯兰语和荷兰语语音片段以及弗里斯兰语-荷兰语CS语音的录音，因此单语片段的识别性能对于准确的翻译也至关重要。在这项工作中，我们提出了一个多图解码和rescoring策略，使用双语和单语图与一个统一的声学模型CS ASR。建议的解码方案给出了自由设计和采用替代搜索空间为每个（单语或双语）识别任务，并使单语资源的高资源的混合语言在低资源的CS场景的有效利用。在我们的场景中，荷兰语是高资源语言，弗里斯兰语是低资源语言。因此，我们使用额外的单语荷兰语文本资源，以改善荷兰语语言模型（LM）和比较荷兰段使用较大的荷兰LM的单和多图CS ASR系统的性能。ASR结果表明，该方法优于基线单图CS ASR系统，提供更好的性能单语荷兰段没有任何准确性损失单语弗里斯兰语和代码混合段。
2019-06-28 cs.CL cs.SD eess.AS
Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在本文中，我们研究了自动语音识别领域中层冻结对模型转移有效性的影响。我们在德语和瑞士德语语音数据集上使用Mozilla的DeepSpeech架构进行了实验，并比较了从头开始训练与传输预训练模型的结果。我们比较了不同的层冻结方案，发现即使只冻结一层也能显著改善结果。
2022-10-04 cs.CL
Semi-supervised Development of ASR Systems for Multilingual Code-switched Speech in Under-resourced Languages
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文报道了半监督开发的声学和语言模型资源不足，代码转换语音在五种南非语言。考虑两种方法。第一个构造四个独立的双语自动语音识别器（ASR）对应于四个不同的语言对之间的扬声器切换频繁。第二个系统使用一个单一的、统一的、五种语言的ASR系统，代表所有的语言（英语、祖鲁语、科萨语、塞萨语和西语）。我们评估了这两种方法在用于将额外数据添加到极其稀疏的训练集时的有效性。结果表明，分批半监督训练比非分批方法产生更好的结果。此外，虽然单独的双语系统实现了更好的识别性能比统一的系统，他们受益于伪标签产生的五种语言的系统比那些产生的双语系统。
2020-03-06 cs.LG cs.SD eess.AS
Improved ASR for Under-Resourced Languages Through Multi-Task Learning with Acoustic Landmarks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Novumind Inc（Novumind公司）
福瑞首先证明了辅音和元音的同一性可以从C-V转换中感知;后来，史蒂文斯提出声学地标是语音感知的主要线索，稳态区域是次要或补充的。声学地标在感知上是突出的，即使在一种语言中，人们不会说，并且已经证明，不使用该语言的人可以识别地标的主要发音器官等特征。这些因素表明，开发语言无关的自动语音识别的策略：地标可以从适当标记的语料库中学习一次，并迅速应用于许多其他语言。本文提出了通过使用地标作为多任务学习（MTL）中的次要任务来增强神经网络的跨语言可移植性。该网络在资源丰富的源语言中进行训练，其中包括电话和地标标签（英语），然后适应资源不足的目标语言，只有单词标签（Iban）。地标任务MTL将源语言音素出错率相对降低2.9%，并根据目标语言训练数据的量将目标语言单词出错率降低1.9%-5.9%。这些结果表明，地标任务MTL导致DNN学习对跨语言适应有用的隐藏节点特征。
2018-05-15 cs.CL cs.SD eess.AS
Multilingual acoustic word embeddings for zero-resource languages
Stellenbosch University（斯泰伦博斯大学）
针对零资源语言语音处理，本文提出多语言迁移的新型声学词嵌入模型，提升零资源语言表示、关键词检出和语义示例查询性能。
2024-01-23 cs.CL cs.SD eess.AS
Compression of end-to-end non-autoregressive image-to-speech system for low-resourced devices
Saarland University（萨尔大学）；Intel Corporation（英特尔公司）；Intel Labs（英特尔实验室）；Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）
本文提出一种基于视觉变换器和知识蒸馏的端到端非自回归图像转语音压缩方法，将模型参数从610万降至246万，在保持性能的同时使推理速度提升22%，适用于低资源嵌入式设备。
2023-11-30 cs.AI cs.CL cs.CV
cantnlp@LT-EDI-2024: Automatic Detection of Anti-LGBTQ+ Hate Speech in Under-resourced Languages
University of Canterbury（坎特伯雷大学）；Geospatial Research Institute（地理空间研究所）
本研究针对低资源语言下的反LGBTQ+仇恨言论检测问题，采用基于transformer的多分类模型，通过引入语码转换数据进行领域适配，在LT-EDI-2024共享任务的古吉拉特语、泰卢固语赛道获第二名，验证了副语言特征对低资源语言检测的提升作用。
2024-01-28 cs.CL
Investigating Transcription Normalization in the Faetar ASR Benchmark
Department of Linguistics（语言学系）；Department of Computer Science（计算机科学系）；Department of French（法语系）
针对低资源Faetar ASR基准，研究转录不一致的影响，发现其并非主要挑战；双词语言建模无额外益处，但有限词典解码有益，任务仍极具难度。
2025-08-20 cs.CL
Automatic Speech Recognition And Limited Vocabulary: A Survey
University Institute of Technology, University of Ngaoundere（恩冈代雷大学技术学院）；Faculty of Science, University of Ngaoundere（恩冈代雷大学理学院）；Rhodes University（罗兹大学）
自动语音识别（ASR）由于其大量的应用和可以支持语音处理的接口或计算设备的激增而成为活跃的研究领域。然而，大部分应用程序都是基于资源丰富的语言，而资源不足的语言则黯然失色。然而，ASR代表了推广这些语言的不可否认的手段，特别是在设计涉及文盲的人对人或人对机器系统时。设计针对资源不足语言的ASR系统的方法是从有限的词汇开始。使用有限词汇表的ASR是语音识别问题的一个子集，它侧重于识别少量单词或句子。本文旨在提供一个全面的视图ASR系统背后的机制，以及技术，工具，项目，最近的贡献，并在ASR使用有限的词汇未来可能的方向。因此，这项工作提供了一个前进的方向时，设计一个ASR系统使用有限的词汇。尽管重点是词汇量有限，但本调查中报告的大多数工具和技术总体上都可以应用于ASR系统。
2022-03-02 cs.AI cs.SD eess.AS
Swedish Whispers; Leveraging a Massive Speech Corpus for Swedish Speech Recognition
KBLab
本工作利用前所未有的大规模瑞典语语音数据集微调Whisper模型，在FLEURS、Common Voice和NST数据集上较OpenAI的whisper-large-v3将词错率平均降低47%，显著提升了中等资源语言的语音识别性能。
2025-08-14 cs.CL cs.SD eess.AS
A Deep Learning Automatic Speech Recognition Model for Shona Language
Zimbabwe National Defense University（津巴布韦国防大学）；Harare Institute of Technology（哈拉雷理工学院）
针对低资源语言绍纳语语音识别数据少、声调复杂的问题，研究构建了结合CNN声学建模、LSTM语言建模的混合深度学习ASR系统，采用数据增强、迁移学习和注意力机制，准确率达74%，优于传统统计模型，助力低资源语言语音技术发展。
2025-07-28 cs.CL cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成一个大型注释语音语料库仍然很困难，但是为这些语言收集一个相对较大的未标记数据集是更容易实现的。这就是为什么一些最初的努力已经报道了完全无监督的语音识别学习从未标记的数据，虽然相对较高的出错率。在本文中，我们开发了一个生成对抗网络（GAN）来实现这一目的，其中生成器和鉴别器迭代地相互学习以提高性能。我们进一步使用一组隐马尔可夫模型（HMRM），从机器生成的标签中迭代改进，以与GAN协调工作。在TIMIT数据集上的初步实验实现了33.1%的电话出错率，这比以前的最先进水平低8.5%。
2019-08-23 cs.CL cs.SD eess.AS
From Statistical Methods to Pre-Trained Models; A Survey on Automatic Speech Recognition for Resource Scarce Urdu Language
Shenzhen University（深圳大学）；School of Artificial Intelligence, CAS Institute of Automation（中国科学院自动化研究所人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文综述了资源稀缺的乌尔都语自动语音识别研究，梳理从统计方法到预训练模型的技术演进，分析现有数据集与算法工具，并指出未来研究方向。
2026-10-30 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
BUT Opensat 2019 Speech Recognition System
BUT（布尔诺理工大学）
本文介绍了BUT自动语音识别（ASR）系统提交的OpenSAT评估两个领域的类别，如低资源的语言和公共安全通信。由于缺乏训练数据，第一个是具有挑战性的，因此采用了各种架构和多语言方法。这种组合带来了卓越的性能。第二个领域是具有挑战性的，由于在极端条件下录制，如特定的通道，扬声器压力和高水平的噪音。数据扩充过程是不可避免的，以获得合理的良好性能。
2020-01-30 cs.LG cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Learning from Real Stuttering: Synthetic Mandarin Stuttering Speech for Data Augmentation in Speech Recognition
TMCC, College of Computer Science, Nankai University, Tianjin, China（天津南开大学计算机科学与技术学院TMCC）
提出基于离散语音令牌的框架DisSpeech，通过显式口吃事件标签控制不同不流畅模式，结合非自回归掩码生成Transformer和韵律感知声学重建，在少于50小时数据下实现高质量可控口吃语音合成，有效提升ASR性能。
2026-10-14 cs.SD eess.AS
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
语音特征（PF）的使用潜在地允许特定语言的音素在训练中保持链接，这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是，以自底向上的方式提取声学到PF本身是困难的。在本文中，我们建议将音位驱动的音素嵌入（自上而下）和基于深度神经网络（DNN）的声学特征提取（自下而上）结合起来，以计算音素概率。这种新方法被称为JoinAP（Joining of Acoustics and Phonology）。值得注意的是，语音识别不需要从声学特征到音位特征的反演。对于IPA（International Phonetic Alphabet）表中的每个音素，我们将其音素特征编码为一个音素向量，然后对该音素向量进行线性或非线性变换，得到音素嵌入。在CommonVoice数据集（德语、法语、西班牙语和意大利语）和AISHLL-1数据集（普通话）上进行了一系列多语种和跨语种（包括zero-shot和Few-Shot）语音识别实验，证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
Improving speaker de-identification with functional data analysis of f0 trajectories
University of Eastern Finland（东芬兰大学）；National University of Singapore（新加坡国立大学）
由于存储在不同类型数据库中的语音数据量不断增加，语音隐私已成为一个主要问题。为了回应这种关注，语音研究者已经开发了各种说话人去识别的方法。最先进的解决方案利用深度学习解决方案，这些解决方案可能有效，但对于例如资源不足的语言来说可能不可用或不切实际。Forcenter修正是一种简单而有效的说话人去识别方法，它不需要训练数据。尽管如此，共振峰匿名语音中剩余的语调模式可能包含说话者相关的线索。本研究提出一种新的说话人去辨识方法，除了简单的共振峰位移外，还基于功能性数据分析来操纵f0轨迹。所提出的说话人去识别方法将以语音可控的方式隐藏可识别的音高特征，并将基于共振峰的说话人去识别提高到25%。
2022-03-31 cs.CL cs.SD eess.AS
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
On the Effectiveness of Neural Text Generation based Data Augmentation for Recognition of Morphologically Rich Speech
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
近年来，先进的神经网络模型已经渗透到自动语音识别（ASR）中，然而在语言建模中，许多系统仍然部分或全部依赖于传统的Back-off N-gram语言模型（BNLM）。其原因是训练和使用神经语言模型的高成本和复杂性，主要是通过添加第二次解码（重新评分）来实现。在我们最近的工作中，我们通过将知识从递归神经网络语言模型（RNNLM）转移到具有基于文本生成的数据增强的单通道BNLM，显着提高了会话语音转录系统的在线性能。在本文中，我们分析了可转移知识的数量，并证明了神经增强LM（RNN-BNLM）可以通过丢弃第二次解码并使系统具有实时能力来帮助捕获RNNLM的近50%的知识。我们还系统地比较了词和子词LM，并表明基于子词的神经文本增强在资源不足的情况下特别有益。此外，我们还表明，在第一遍使用RNN-BNLM，然后是神经第二遍，离线ASR结果甚至可以显着改善。
2020-06-09 cs.CL cs.SD eess.AS
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University（国立台湾师范大学）
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性，这一ASR共享任务变得更具挑战性。在封闭式评估的环境下，所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题，我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统，同时利用各种数据增强策略的协同作用，包括话语和单词级别的速度扰动和语谱图增强，以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分，该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好，排在第二位，字错误率（WER）为17.59%，而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
多语言语言模型是一个关键的突破，因为它们大大减少了资源不足语言的数据需求。尽管如此，语言特定模型的优越性已经被证明可以访问大量数据的语言。在这项工作中，我们专注于加泰罗尼亚语的目的是探讨在何种程度上一个中等规模的单语语言模型是最先进的大型多语言模型的竞争力。为此，我们：（1）建立一个干净，高质量的文本加泰罗尼亚语语料库（CaText），迄今为止最大的（但只有以前在单语语言模型中工作的通常大小的一小部分），（2）训练加泰罗尼亚语（BERTA）的基于transformer的语言模型，以及（3）在多种设置中设计彻底的评估，包括一系列完整的下游任务，即，词性标记，命名实体识别和分类、文本分类、问答和语义文本相似性，大多数相应的数据集都是从头创建的。结果是一个新的基准，加泰罗尼亚语语言理解基准（CLUB），我们将其作为开放资源与干净的文本语料库，语言模型和清理管道一起发布。使用最先进的多语言模型和仅在维基百科上训练的单语模型作为基线，我们始终观察到我们的模型在任务和设置中的优越性。
2021-07-16 cs.CL
Improved acoustic word embeddings for zero-resource languages using multilingual transfer
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。当传统的语音识别不可能时，这种嵌入可以形成语音搜索、索引和发现系统的基础。在零资源设置中，未标记的语音是唯一可用的资源，我们需要一种方法，可以在任意语言上提供鲁棒的嵌入。在这里，我们探索多语言传输：我们训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。我们考虑了三种多语言递归神经网络（RNN）模型：一个分类器，在所有训练语言的联合词汇表上训练;一个Siamese RNN，训练用于区分来自多种语言的相同和不同单词;以及一个对应的自编码器（CAE）RNN，训练用于重建单词对。在六种目标语言的单词识别任务中，所有这些模型的表现都优于在零资源语言本身上训练的最先进的无监督模型，平均精度相对提高了30%以上。当只使用少数几种训练语言时，多语言CAE的性能更好，但使用更多的训练语言时，其他多语言模型的性能相似。使用更多的训练语言通常是有益的，但在某些语言上的改进是微不足道的。我们目前的探测实验表明，CAE编码更多的语音，词的持续时间，语言身份和说话人的信息比其他多语言模型。
2021-02-05 cs.CL cs.SD eess.AS
Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages
AI4Bharat；WSAI；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Sarvam AI
本文提出了一种面向正交信息的印度语言语音识别系统评估框架，通过考虑正交变异，有效提高了评估准确性并缩小了模型性能差距。
2026-03-01 cs.CL cs.SD
Data and knowledge-driven approaches for multilingual training to improve the performance of speech recognition systems of Indian languages
Indian Institute of Science（印度科学理工学院）
我们提出了数据和知识驱动的方法，通过汇集来自多个源语言的语音数据，为目标语言的自动语音识别（ASR）系统的多语言训练。利用印度语言之间的声学相似性，我们实现了两种方法。在音素/音素映射中，深度神经网络（DNN）学习将音素或音素从一种语言映射到另一种语言，并且修改源语言的翻译，使得它们可以与目标语言数据一起用于训练和微调目标语言ASR系统。在另一种方法中，我们通过训练多任务DNN（MTDNN）来同时对所有语言的声学信息进行建模，以预测不同输出层中每种语言的senone。修改交叉熵损失和权重更新过程，使得如果特征向量属于特定语言，则在训练期间仅更新负责预测语言的senone类的共享层和输出层。在低资源环境下，使用泰米尔语、泰卢固语和古吉拉特语各40小时的转录数据进行培训。基于DNN的senone映射技术在泰米尔语、古吉拉特语和泰卢固语的单词错误率（WER）上分别比基线系统提高了9.66%、7.2%和15.21%。在中等资源设置（MRS），160，275和135小时的数据，泰米尔语，卡纳达语和印地语，其中，同样的技术提供了更好的相对改善13.94%，10.28%和27.24%，分别为泰米尔语，卡纳达语和印地语。在LRS中基于senone映射的MTDNN训练，对于泰米尔语，古吉拉特语和泰卢固语分别给出了15.0%，17.54%和16.06%的相对WER改进，而在MRS中，我们看到泰米尔语，…
2022-01-24 cs.CL cs.SD eess.AS
Speaker Diarization for Low-Resource Languages Through Wav2vec Fine-Tuning
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler（库尔德斯坦 Hewler 大学人工智能与创新中心）；College of Science, University of Halabja（哈拉布贾大学理学院）；Komar University of Science and Technology（科马尔科技大学）；Technical College of Informatics, Sulaimani Polytechnic University（苏莱曼尼理工大学信息技术学院）
本研究针对库尔德语等低资源语言的说话人分离挑战，通过在专门语料库上微调Wav2Vec 2.0模型并利用迁移学习，使分离错误率降低7.2%、聚类纯度提高13%，为低资源语言语音技术发展奠定基础。
2025-04-23 cs.CL cs.SD eess.AS
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Semi-supervised acoustic model training for five-lingual code-switched ASR
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文介绍了在声学建模的资源不足的代码切换（CS）语音在多种南非语言的最新进展。我们考虑两种方法。第一个构造单独的双语声学模型，对应于语言对（英语-isiZulu，英语-isiXhosa，英语-Sethem和英语-Seshem）。第二个构建了一个统一的五种语言的声学模型，代表所有的语言（英语，isiZulu，isiXhosa，Seturan和Sesuran）。对于这两种方法，我们考虑半监督训练的有效性，以增加非常稀疏的声学训练集的大小。使用大约11个小时的未转录语音，我们表明这两种方法都受益于半监督训练。双语TDNN-F声学模型也受益于添加CNN层（CNN-TDNN-F），而五种语言系统没有显示出任何显著的改进。此外，由于英语对我们数据中的所有语言对都是通用的，因此在训练统一的语言模型时，它占主导地位，从而以牺牲其他语言为代价提高英语ASR性能。尽管如此，五种语言模型提供了灵活性，因为它可以同时处理两种以上的语言，因此作为半监督训练管道中的自动转录系统是一个有吸引力的选择。
2019-10-15 cs.CL cs.SD eess.AS
Code-Switched Urdu ASR for Noisy Telephonic Environment using Data Centric Approach with Hybrid HMM and CNN-TDNN
Pakistan Navy Engineering College（巴基斯坦海军工程学院）；National University of Science and Technology（国立科技大学）；Bahria University Karachi Campus（巴哈里亚大学卡拉奇校区）
针对嘈杂呼叫中心场景下乌尔都语语码切换ASR资源受限的问题，本文提出混合HMM与CNN-TDNN的高效框架，结合数据标注优化，在干净/嘈杂环境的孤立词与连续语音中均实现5.2%的WER。
2023-07-24 cs.CL cs.SD eess.AS
Mispronunciation Detection Without L2 Pronunciation Dataset in Low-Resource Setting: A Case Study in Finland Swedish
Department of Information and Communications Engineering（信息与通信工程系）；Department of Language and Communication Studies（语言与交流研究系）；Department of Education（教育系）
针对芬兰瑞典语等低资源语言缺乏错音检测工具的问题，提出基于多语言wav2vec 2.0并结合熵正则化等适配方法的模型，仅需少量L2数据，实现召回率与精确率的平衡，且具有语言无关性。
2025-06-01 cs.CL cs.SD eess.AS
Towards End-to-End Training of Automatic Speech Recognition for Nigerian Pidgin
本文针对尼日利亚皮钦英语开发端到端语音识别系统，评估多种预训练架构，发现Wav2Vec2 XLSR-53最优（WER 29.6%），并通过适应微调大幅降低错误率，公开数据集和模型以促进资源匮乏语言研究。
2025-05-26 cs.AI cs.CL cs.LG
Machine Assisted Analysis of Vowel Length Contrasts in Wolof
Laboratoire d'Informatique de Grenoble (LIG), Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室（LIG））
不断增长的数字档案和改进的文本和语音自动分析算法为语音学的基础研究创造了新的研究机会。这样的经验方法允许统计评估的一个更大的一套假设语音变异及其制约因素（其中包括地理/方言变体）。本文阐述了这一愿景，并提出了挑战自动方法分析一个不容易观察到的现象：元音长度的对比。我们专注于沃洛夫语，这是一种来自撒哈拉以南非洲的资源不足的语言。特别是，我们提出了多个功能，使不同的因素下，如：阅读与半自发的讲话，标准与方言沃洛夫语的长度对比度的程度作出一个很好的评价。我们的措施，完全自动超过20 k元音令牌表明，我们提出的功能可以突出不同程度的对比度为每个元音考虑。我们发现，在半自发言语和不规范的半自发方言中，对比度较弱。
2017-06-01 cs.CL
End-to-End Code-Switching ASR for Low-Resourced Language Pairs
Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）
尽管在端到端（E2 E）自动语音识别（ASR）方面取得了重大进展，但针对低资源代码切换（CS）语音的E2 E ASR尚未得到很好的研究。在这项工作中，我们描述了一个E2 E ASR管道识别CS语音，其中低资源的语言是混合了高资源的语言。声学数据的低资源性比传统的ASR系统更严重地阻碍了E2 E ASR系统的性能。为了缓解这个问题，在转录档案与代码切换弗里斯兰语-荷兰语语音，我们集成了指定的解码方案，并与基于神经网络的语言模型进行重新评分，以使更好地利用可用的文本资源。我们首先采用了多图解码方法，该方法为每个单语和混合识别任务创建并行搜索空间，以最大限度地利用每种语言的文本资源。此外，使用用跨语言嵌入预训练的递归神经网络来执行语言模型重新评分，并进一步用有限量的域内CS文本来适配。ASR实验证明了所描述的技术在低资源场景中提高E2 E CS ASR系统的识别性能的有效性。
2019-09-30 cs.CL eess.AS
The Zeno's Paradox of `Low-Resource' Languages
UC Berkeley（加州大学伯克利分校）；MBZUAI（Mohamed bin Zayed 人工智能大学）；Lelapa AI（莱拉帕人工智能公司）；University of the Witwatersrand（金山大学）；University of Houston（休斯顿大学）
本文通过定性分析150篇提及“low-resource”的NLP与语音处理论文，指出低资源性由多个相互作用维度构成，并呼吁明确术语定义。
2024-10-28 cs.CL
Data Quality Issues in Multilingual Speech Datasets: The Need for Sociolinguistic Awareness and Proactive Language Planning
Google（谷歌）
本文审计了三个多语言语音数据集的质量问题，将其分为微观和宏观两类，发现宏观问题在资源不足语言中更普遍，通过台湾闽南语案例强调主动语言规划与质量控制的重要性，并提出改进建议。
2025-06-27 cs.AI cs.CL
Universal Phone Recognition with a Multilingual Allophone System
Carnegie Mellon University（卡内基梅隆大学）；SIL International（SIL国际）；National Research Council Canada（加拿大国家研究委员会）；ByteDance AI Lab（字节跳动人工智能实验室）
多语言模型可以通过跨语言共享参数来改善语言处理，特别是在资源不足的情况下。然而，多语言声学模型通常忽略音素（可以支持特定语言中词汇对比的声音）及其对应音素（实际说出的声音，与语言无关）之间的差异。这可能导致在组合各种训练语言时性能下降，因为相同注释的音素实际上可以对应于几个不同的底层语音实现。在这项工作中，我们提出了一个联合模型的语言独立的电话和语言相关的音素分布。在11种语言的多语言ASR实验中，我们发现该模型在低资源条件下将测试性能提高了2%的音素出错率绝对值。此外，由于我们是显式建模语言无关的电话，我们可以构建一个（几乎）通用的电话识别器，当与PHOIBLE大型手动管理的电话库存数据库相结合时，可以自定义为2,000种语言相关的识别器。两个低资源的土著语言，Inuktitut和Tusom的实验表明，我们的识别器实现了电话的准确率提高了17%以上，移动一步接近语音识别的所有语言在世界上。
2020-02-26 cs.CL cs.SD eess.AS
Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages
University of Oxford（牛津大学）；Bocconi University（博科尼大学）；Stanford University（斯坦福大学）
仇恨言论是一种全球现象，但迄今为止，大多数仇恨言论数据集都集中在英语内容上。这阻碍了在世界各地数十亿人使用的数百种语言中开发更有效的仇恨言论检测模型。需要更多的数据，但注释仇恨内容是昂贵的，耗时的，并可能对注释者有害。为了缓解这些问题，我们探索数据高效的策略，将仇恨言论检测扩展到资源不足的语言中。在五种非英语语言的单语言和多语言模型的一系列实验中，我们发现：1）需要少量的目标语言微调数据才能实现强大的性能，2）使用更多此类数据的好处呈指数级下降，3）对现成的英语数据进行初始微调可以部分替代目标语言数据并提高模型的通用性。基于这些发现，我们制定了可操作的建议，在低资源的语言设置仇恨言论检测。
2022-10-20 cs.CL
Language model integration based on memory control for sequence to sequence speech recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Brno University of Technology（布尔诺理工大学）；Kyoto University（京都大学）
本文提出几种基于记忆单元和隐状态控制的 seq2seq 与预训练 LM 融合新方案，在 Librispeech 和低资源语言迁移学习实验中显著降低了 WER 和 CER。
2025-03-04 cs.SD eess.AS
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies（广东外语外贸大学）
2020年云山杯的重点是创建一个评估不同词性（POS）方法的框架。这条赛道有两个任务：（1）印度尼西亚语的POS标记，以及（2）老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%，表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Mixture of LoRA Experts for Low-Resourced Multi-Accent Automatic Speech Recognition
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息与自动化研究所）
针对低资源多口音非母语语音识别鲁棒性不足的问题，提出MAS-LoRA微调方法，通过混合不同口音的LoRA专家实现推理时口音已知/未知场景下的适配，在L2-ARCTIC语料库上基于Whisper取得优于常规LoRA和全微调的词错误率，且灾难性遗忘更少。
2025-05-26 cs.CL
Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean
Department of Big Data, Chungbuk National University（Chungbuk National University大数据系）；Institute of Digital Research and Innovation, Cambodia Academy of Digital Technology（柬埔寨数字技术研究院）；Department of Management Information Systems, Chungbuk National University（Chungbuk National University管理信息系）；BigData Labs Co., Ltd.（BigData Labs公司）
针对高棉语和韩语，使用LoRA微调VoxCPM2模型，在仅训练0.19%-3.03%参数的情况下，高棉语MOS从3.85提升至4.23，而韩语无提升，表明适配主要帮助基础模型表现差的语言。
2026-09-25 cs.CL
Hope Speech detection in under-resourced Kannada language
Indian Institute of Information Technology Tiruchirappalli（印度信息技术学院蒂鲁吉拉帕利分校）；ULTRA Arts and Science College, Madurai Kamaraj University（马杜赖卡马拉吉大学 ULTRA 文理学院）；Kongu Engineering College（孔古工程学院）；Sultan Idris Education University（苏丹依德里斯教育大学）；Mu Sigma Inc.（穆西格玛公司）；Insight SFI Research Centre for Data Analytics, Data Science Institute, National University of Ireland Galway（爱尔兰国立高威大学数据科学研究所 Insight SFI 数据分析研究中心）
近年来，通过消除社交媒体平台上的粗俗，攻击性和激烈的评论，已经开发了许多方法来监控负面情绪的传播。然而，有相对较少的研究集中在拥抱积极性，加强在线论坛中的支持性和令人放心的内容。因此，我们建议创建一个英语卡纳达语希望语音数据集，KanHope和比较几个实验来基准数据集。该数据集由6，176个用户生成的评论组成，这些评论混合了从YouTube上抓取的卡纳达语代码，并手动注释为带有希望的语音或没有希望的语音。此外，我们还介绍了DC-BERT4HOPE，这是一种双通道模型，它使用KanHope的英文翻译进行额外的训练，以促进希望语音检测。该方法的加权F1得分为0.756，优于其他模型。虽然如此，KanHope旨在鼓励卡纳达语的研究，同时广泛促进研究人员对鼓励，积极和支持的在线内容采取务实的方法。
2021-12-05 cs.CL
DeepHateExplainer: Explainable Hate Speech Detection in Under-resourced Bengali Language
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Noakhali Science and Technology University（诺亚克利科技大学）；Begum Rokeya University（贝古姆·罗凯亚大学）；The University of Alabama（阿拉巴马大学）；National University of Ireland, Galway（爱尔兰国立高威大学）；Islamic University of Technology（伊斯兰科技大学）
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台，而且使人们能够表达反社会行为，如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用文本数据进行社会和反社会行为分析，通过预测主要是像英语这样的高资源语言的上下文。然而，有些语文资源不足，例如，南亚语言，如孟加拉语，缺乏精确的自然语言处理（NLP）的计算资源。在本文中，我们提出了一种可解释的方法，用于从资源不足的孟加拉语中检测仇恨言论，我们称之为DeepHateExplainer。首先对孟加拉语文本进行全面的预处理，然后使用基于transformer的神经架构的神经集成方法将其分类为政治，个人，地缘政治和宗教仇恨（即，单语孟加拉语BERT-基础，多语言BERT-大小写/非大小写，和XLM-RoBERTa）。然后使用敏感性分析和逐层相关传播（LRP）识别重要（最重要和最不重要）术语，然后提供人类可解释的解释。最后，我们计算全面性和充分性分数来衡量解释的质量w.r.t的忠实性。针对机器学习~（线性和基于树的模型）和神经网络（即，具有词嵌入基线的CNN，Bi-LSTM和Conv-LSTM分别为政治，个人，地缘政治和宗教仇恨产生了78%，91%，89%和84%的F1分数，优于ML和DNN基线。
2021-08-06 cs.CL cs.LG
Efficient acoustic feature transformation in mismatched environments using a Guided-GAN
North-West University（西北大学）；Centre for Artificial Intelligence Research（人工智能研究中心）；National Institute for Theoretical and Computational Sciences（国家理论与计算科学研究所）；Saigen（Saigen公司）
我们提出了一个新的框架，以提高自动语音识别（ASR）系统在资源稀缺的环境中使用生成对抗网络（GAN）的声学输入功能。GAN用于在解码之前增强失配数据的特征，或者可以可选地用于微调声学模型。我们实现了与多风格训练（MTR）相当的改进，但计算成本更低。在不到一个小时的数据下，在高质量数据上训练并在不匹配的音频上评估的ASR系统的相对字出错率（WER）提高了11.5%到19.7%。实验表明，该框架可以是非常有用的资源不足的环境中，训练数据和计算资源有限。GAN不需要并行训练数据，因为它利用基线声学模型来提供额外的损失项，该损失项引导生成器创建通过基线更好地分类的声学特征。
2022-10-06 cs.LG cs.SD eess.AS
Understanding the effects of word-level linguistic annotations in under-resourced neural machine translation
该研究针对低资源神经机器翻译中词级语言标注的作用，通过多语言对、多架构、多标注类型的实验对比源/目标端不同标注的效果差异并分析原因。
2024-01-29 cs.CL
Exploratory Data Analysis on Code-mixed Misogynistic Comments
School of Informatics and Creative Arts（信息与创意艺术学院）；Dundalk Institute of Technology（唐道克理工学院）
针对资源匮乏语言中厌女检测研究的缺乏，本文构建了混合代码印地语YouTube评论数据集，并应用预处理与EDA技术，通过情感分数和词云等洞察数据特征。
2024-03-09 cs.CL
MotàMot project: conversion of a French-Khmer published dictionary for building a multilingual lexical system
GETALP-LIG Laboratory（GETALP-LIG实验室）
与信息处理技术有关的经济问题非常重要。这些技术的发展是柬埔寨和老挝等发展中国家以及越南、马来西亚和泰国等新兴国家的重要资产。MotAMot项目的目的是计算一种资源不足的语言：高棉语，主要在柬埔寨使用。该项目的主要目标是开发一个针对高棉语的多语种词汇系统。宏观结构是一个枢纽结构，每种语言的每个词义都与一个枢纽轴相连。微观结构来源于解释性和组合性词典的简化。词汇系统已经初始化，数据主要来自Denis Richer的法语-高棉语双语词典从Word格式到XML格式的转换。法语部分的发音和词性来自FEM法语-英语-马来语词典。在Richer词典中以IPA标注的高棉语词目用OpenFST（一种有限状态转换器工具）转换为高棉语书写。由此产生的资源可通过Jibiki平台上的REST API在线查找，编辑，下载和远程编程。
2014-05-22 cs.CL
Acoustics Based Intent Recognition Using Discovered Phonetic Units for Low Resource Languages
Carnegie Mellon University（卡内基梅隆大学）
随着语言技术的进步，人类现在可以对着设备说话。扩大口语技术的覆盖范围需要用当地语言建立系统。这里的一个主要瓶颈是构成此类系统的底层数据密集型部分，包括需要大量标记数据的自动语音识别（ASR）系统。为了帮助开发低资源语言的口语对话系统，我们提出了一种新的基于声学的意图识别系统，该系统使用发现的语音单元进行意图分类。该系统由两个块组成-第一块是通用音素识别系统，其生成输入音频的所发现的语音单元的转录本，并且第二块从所生成的语音转录本执行意图分类。我们提出了一个基于CNN+LSTM的架构，并针对两种不同的意图识别任务，为两种语言家族-印度语和罗曼语提供了结果。我们还对我们的意图分类器进行多语言训练，并在同一语言家族中的未知语言上显示出改进的跨语言迁移和zero-shot性能。
2021-02-19 cs.AI cs.CL
Bengali-Loop: Community Benchmarks for Long-Form Bangla ASR and Speaker Diarization
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（计算机科学与工程系，孟加拉国工程与技术大学）
Bengali-Loop提出两个社区基准，用于长文本孟加拉语ASR和说话人辨识，包含大量录音和标注数据，提供评估协议和标准化方法支持可重复的基准测试和模型开发。
2026-02-15 cs.SD eess.AS
