The Zero Resource Speech Challenge 2020: Discovering discrete subword and word units
CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Brno Univ. of Technology（布尔诺理工大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Facebook A.I. Research（脸书人工智能研究院）
我们提出了零资源语音挑战2020，其目的是从没有任何标签的原始音频信号中学习语音表示。它结合了之前两个基准测试（2017年和2019年）的数据集和指标，并具有两个任务，可以利用两个级别的语音表示。第一个任务是发现优化语音合成质量的低比特率子字表示;第二个任务是从未分割的原始语音中发现类字单元。我们提出了20个提交的模型的结果，并讨论了无监督语音学习的主要研究结果的影响。
2020-10-12 cs.AI cs.CL
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；University of Toronto（多伦多大学）
提出零资源语码转换语音基准，通过离散单元语言建模评估自监督编码器，发现多语种预训练（如XLSR）优于单语种，但仍有提升空间。
2024-03-18 cs.CL cs.SD eess.AS
TTSDS2: Resources and Benchmark for Evaluating Human-Quality Text to Speech Systems
Centre for Speech Technology Research University of Edinburgh（语音技术研究中心爱丁堡大学）
TTSDS2是一种改进的TTS评估基准，通过高相关性指标和持续更新的资源，提升对合成语音真实性的评估能力。
2026-03-02 cs.CL cs.SD eess.AS
Giving Voice to the Constitution: Low-Resource Text-to-Speech for Quechua and Spanish Using a Bilingual Legal Corpus
Northeastern University, USA（东北大学）；Universitat Pompeu Fabre, Spain（庞培法布雷大学）；Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）
本文提出统一管道，利用三种先进文本到语音架构生成高质量的秘鲁宪法Quechua和西班牙语音频，通过双语和多语TTS能力提升两种语言的合成质量，缓解Quechua数据稀缺问题，同时保持西班牙语音的自然性。
2026-04-14 cs.AI cs.CL cs.DL
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
Building African Voices
Carnegie Mellon University（卡内基梅隆大学）；Inspired Cognition（Inspired Cognition公司）
现代语音合成技术可以在给定足够的高质量数据和计算资源的情况下产生听起来自然的语音。然而，许多语文的这类数据并不容易获得。本文主要研究非洲低资源语言的语音合成，从语料库的创建到文本到语音（TTS）系统的共享和部署。我们首先创建了一套通用的指令建设语音合成系统与最低限度的技术资源和主题的专业知识。接下来，我们通过参与式方法创建新的数据集并从“发现”数据（现有记录）中管理数据集，同时考虑可访问性，质量和广度。我们证明，我们可以开发合成器，生成清晰的语音与25分钟的创建语音，即使在次优环境中记录。最后，我们发布了12种非洲语言的语音数据、代码和训练语音，以支持研究人员和开发人员。
2022-07-01 cs.CL cs.SD eess.AS
Self-supervised language learning from raw audio: Lessons from the Zero Resource Speech Challenge
University of Toronto（多伦多大学）；École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；École des Hautes Études en Sciences Sociales（巴黎高等社会科学研究学院）；Meta AI
自监督或无监督机器学习的最新进展已经开启了从原始音频构建完整语音处理系统的可能性，而不使用任何文本表示或专家标签，如音素、字典或解析树。自2015年以来，零资源语音挑战系列的贡献是将这一长期目标分解为四个定义明确的任务-声学单元发现，口语术语发现，离散再合成和口语建模-并引入相关的指标和基准，使模型比较和累积进展成为可能。我们概述了自2015年以来该挑战系列的六个版本，讨论了经验教训，并概述了需要更多工作或给出令人困惑的结果的领域。
2022-10-27 cs.CL cs.SD eess.AS
The Zero Resource Speech Challenge 2019: TTS without T
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)（认知机器学习实验室（巴黎高等师范学院 - 法国国家科学研究中心 - 法国高等社会科学研究院 - 法国国家信息与自动化研究所 - PSL研究大学））；Brno Univ. of Technology（布尔诺理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Facebook A.I. Research（脸书人工智能研究部）
我们提出了2019年零资源语音挑战赛，该挑战赛建议构建一个没有任何文本或语音标签的语音合成器：因此，TTS没有T（没有文本的文本到语音）。我们为未知语言的目标语音（语音数据集）提供原始音频，但没有对齐，文本或标签。参与者必须以无监督的方式（使用Unit Discovery数据集）发现子词单元，并将它们与语音记录对齐，以便最好地合成来自新说话者的新话语，类似于目标说话者的声音。我们描述了用于评估的指标，一个基线系统，包括无监督的子字单元发现加上一个标准的TTS系统，和一个背线TTS使用黄金音素transmittance。我们提出了一个概述的19个提交的系统从10个团队，并讨论了主要结果。
2019-07-07 cs.CL cs.SD eess.AS
Tools and resources for Romanian text-to-speech and speech-to-text applications
Research Institute for Artificial Intelligence “Mihai Draganescu”, Romanian Academy（罗马尼亚科学院“米哈伊·德勒格内斯库”人工智能研究所）
在本文中，我们介绍了一组资源和工具，旨在提供支持自然语言处理，文本到语音合成和语音识别罗马尼亚。虽然这些工具是通用的，可以用于任何语言（我们成功地为50多种语言训练了我们的系统，并参与了通用语言共享任务），但这些资源只与罗马尼亚语处理相关。
2018-02-15 cs.CL
Gender Representation in Open Source Speech Resources
LIG, Univ. Grenoble Alpes, CNRS, Grenoble INP（LIG实验室，格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔理工学院）
随着人工智能（AI）的兴起和深度学习架构的日益广泛使用，AI系统的道德、透明度和公平性问题已成为研究界的核心问题。我们通过提出一项关于通过开放语音和语言资源平台提供的语音资源中性别代表性的研究，来解决口语系统的透明度和公平性问题。我们发现，在开源语料库中找到性别信息并不简单，性别平衡取决于其他语料库特征（引发/非引发的讲话，低/高资源语言，语音任务有针对性）。最后，本文提出了元数据和性别信息的建议，以确保更好的透明度，使用这样的语料库建立的语音系统。
2020-03-18 cs.CL
Pre-training on high-resource speech recognition improves low-resource speech-to-text translation
University of Edinburgh（爱丁堡大学）；Stellenbosch University（斯泰伦博斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
当源语言资源不足时，我们提出了一种简单的方法来改进直接语音到文本翻译（ST）：我们在高资源自动语音识别（ASR）任务上预训练模型，我们证明了我们的方法是有效的预训练300小时的英语ASR数据，以提高西班牙语-当只有20小时的西班牙语-英语ST训练数据可用时，英语ST从10.8到20.2 BLEU。通过消融研究，我们发现预训练的编码器（声学模型）占了大部分的改进，尽管这些任务中的共享语言是目标语言文本，而不是源语言音频。应用这一见解，我们表明，即使ASR语言与源语言和目标ST语言不同，ASR的预训练也有助于ST：法语ASR的预训练也可以提高西班牙语-英语ST。对英语ASR和法语ASR的组合进行预训练将只有4小时数据可用的Mboshi-French ST从3.5 BLEU提高到7.1 BLEU。
2019-02-27 cs.CL
Google Crowdsourced Speech Corpora and Related Open-Source Resources for Low-Resource Languages and Dialects: An Overview
Google（谷歌）
本文介绍了一个程序的概述，旨在解决日益增长的需求，开发免费的语音资源，代表性不足的语言。目前，我们已经发布了38个数据集，用于为南亚和东南亚，非洲，欧洲和南美洲的语言和方言构建文本到语音和自动语音识别应用程序。本文介绍了用于开发这样的语料库的方法，并提出了一些我们的研究结果，可以受益于代表性不足的语言社区。
2020-10-14 cs.CL
Transferring Knowledge via Neighborhood-Aware Optimal Transport for Low-Resource Hate Speech Detection
Universite de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用实验室）
在线平台上仇恨内容的令人担忧的增长增加了对自动仇恨言论检测的关注，通常被制定为监督分类任务。最先进的基于深度学习的方法通常需要大量的标记资源进行训练。然而，注释仇恨言论资源是昂贵的，耗时的，并且往往对注释者有害。这就迫切需要将知识从现有的标记资源转移到低资源仇恨言论语料库，以提高系统性能。在这方面，基于社区的框架已被证明是有效的。但灵活性有限。在我们的论文中，我们提出了一种新的训练策略，可以灵活地对从资源丰富的语料库中检索到的邻居的相对接近度进行建模，以学习迁移量。特别是，我们将邻域信息与最优传输，这允许利用数据嵌入空间的几何形状。通过调整邻居的联合嵌入和标签分布，我们在低资源情况下，在不同的公开可用的仇恨言论语料库上展示了强基线的实质性改进。
2022-10-17 cs.CL
Distant Supervision from Disparate Sources for Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
我们介绍DsD：一个跨语言的神经词性标记器，从不同的远程监督来源学习，并实际扩展到数百种低资源语言。该模型利用注释投影，实例选择，标记字典，形态词典，和分布式表示，所有在一个统一的框架。这种方法很简单，但令人惊讶的有效，导致了一个新的最先进的状态，而无需访问任何黄金注释的数据。
2018-08-29 cs.CL
Leveraging translations for speech transcription in low-resource settings
University of Notre Dame（圣母大学）
最近提出的濒危语言文献的数据汇集框架的目的不仅是收集语音在感兴趣的语言，但也收集翻译成一个高资源的语言，将使收集到的资源可解释。我们专注于这种情况下，并探讨我们是否可以提高转录质量在这些极低的资源设置与文本翻译的协助下。我们提出了一个神经多源模型，并在三个低资源数据集上评估了它的几个变体。我们发现，我们的多源模型与共享注意优于基线，降低转录字符出错率高达12.3%。
2018-06-11 cs.CL
Speech-to-Speech Translation Pipelines for Conversations in Low-Resource Languages
HEIG-VD / HES-SO；Bhaasha Sàrl；EPFL（苏黎世联邦理工学院）
本文针对土耳其语、普什图语与法语之间的低资源语言对话翻译，构建并评估了60多条语音到语音翻译流水线，结合自动指标与人工评估确定了各方向最优方案，并发现组件排名具有相对独立性。
2025-06-02 cs.CL
An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages
University of Notre Dame（圣母大学）；University of Melbourne（墨尔本大学）
对于许多低资源的语言，口语资源更有可能用翻译而不是translation来注释。翻译后的语音数据对于记录濒危语言或训练语音翻译系统具有潜在的价值。利用这些数据的第一步是自动将口语与其翻译对齐。我们提出了一个模型，结合戴尔等人。的IBM Model 2（快速对齐）和k-means聚类的重新参数化，使用Dynamic Time Warping作为距离度量。这两个组件使用期望最大化联合训练。在资源极其匮乏的情况下，我们的模型的表现明显优于神经模型和强基线。
2016-09-26 cs.CL
Effects of Layer Freezing on Transferring a Speech Recognition System to Under-resourced Languages
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在本文中，我们研究了自动语音识别领域中层冻结对模型转移有效性的影响。我们在德语和瑞士德语语音数据集上使用Mozilla的DeepSpeech架构进行了实验，并比较了从头开始训练与传输预训练模型的结果。我们比较了不同的层冻结方案，发现即使只冻结一层也能显著改善结果。
2022-10-04 cs.CL
The Zero Resource Speech Challenge 2017
ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Elsa Corp.（Elsa公司）
我们描述了一个新的挑战，旨在从原始语音中发现子词和词单元。本次挑战赛是2015年零资源演讲挑战赛的后续活动。它旨在构建跨语言泛化并适应新说话者的系统。的设计特点和评估指标的挑战，十七个模型的结果进行了讨论。
2017-12-12 cs.CL
DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition
University of Notre Dame（圣母大学）
该研究提出DonorRank学习排序框架，用于低资源跨语言语音识别的源语言选择，在两大语族语料库上验证其能准确预测源语言排名，提升选择效果，还可分析源语言选择并识别实用迁移模式。
2026-11-10 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages
University of Oxford（牛津大学）；Bocconi University（博科尼大学）；Stanford University（斯坦福大学）
仇恨言论是一种全球现象，但迄今为止，大多数仇恨言论数据集都集中在英语内容上。这阻碍了在世界各地数十亿人使用的数百种语言中开发更有效的仇恨言论检测模型。需要更多的数据，但注释仇恨内容是昂贵的，耗时的，并可能对注释者有害。为了缓解这些问题，我们探索数据高效的策略，将仇恨言论检测扩展到资源不足的语言中。在五种非英语语言的单语言和多语言模型的一系列实验中，我们发现：1）需要少量的目标语言微调数据才能实现强大的性能，2）使用更多此类数据的好处呈指数级下降，3）对现成的英语数据进行初始微调可以部分替代目标语言数据并提高模型的通用性。基于这些发现，我们制定了可操作的建议，在低资源的语言设置仇恨言论检测。
2022-10-20 cs.CL
Dziri Voicebot: An End-to-End Low-Resource Speech-to-Speech Conversational System for Algerian Dialect
ATM Mobilis, Saad Dahlab Blida 1 University（ATM Mobilis，萨阿德·达赫拉布·布利达第一大学）
针对阿尔及利亚方言的低资源挑战，提出模块化流水线集成ASR、NLU、RAG和TTS的端到端语音对话系统，在电信领域数据集上微调模型，实现低词错误率、高意图分类和实体识别性能。
2026-06-25 cs.CL
Cross-lingual topic prediction for speech using translations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Stellenbosch University（斯泰伦博斯大学）
在低资源语言中有大量未注释的语音，我们能否按主题对语音进行分类？我们在低资源语言的少量语音与高资源语言的文本翻译配对的情况下考虑这个问题。我们开发了一个有效的跨语言主题分类器，通过使用最近的直接语音到文本翻译模型，对20小时的翻译语音进行训练。虽然翻译很差，但它们仍然足够好，可以在70%的时间内正确分类1分钟语音片段的主题-比多数类基线提高20%。这样的系统可能对人道主义应用有用，如危机应对，在这种情况下，必须快速评估以外国低资源语言输入的语音，以便采取进一步行动。
2020-03-29 cs.CL
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft（微软）
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的，这是由于（1）低资源语言的数据稀缺，（2）训练和刷新100多个单语模型的昂贵计算成本，以及（3）考虑到稀疏流量，托管效率低下。在这项研究中，我们提出了一种新的方法来组多个低资源的地区在一起，并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外，对于低资源，但高流量的地区，部署单语模型是可行的，我们表明，微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
A Very Low Resource Language Speech Corpus for Computational Language Documentation Experiments
LIMSI（法国语言与信息系统实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LPP（巴黎语言实验室）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；KIT（卡尔斯鲁厄理工学院）
大多数语音和语言技术都是用大量的语音和文本信息训练的。然而，世界上大多数语言都没有这样的资源或稳定的正字法。在这些几乎为零的资源条件下构建的系统不仅对语音技术，而且对计算语言文档都很有前途。计算语言文档的目标是帮助领域语言学家（半）自动分析和注释濒危和不成文语言的录音。示例任务是从语音信号中自动音素发现或词典发现。本文介绍了一个语音语料库收集过程中的一个现实的语言文件。它由Mboshi（Bantu C25）中的5k语音话语组成，与法语文本翻译对齐。语音音译也是可用的：它们对应于接近语言音位的非标准字形形式。我们提出了如何收集，清理和处理数据，我们说明了它的使用通过零资源的任务：口语术语发现。该数据集可供社区用于可重复的计算语言文档实验及其评估。
2018-02-15 cs.CL
Low-Resource Speech-to-Text Translation
University of Edinburgh（爱丁堡大学）；Stellenbosch University（斯泰伦博斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
语音到文本翻译对于低资源语言具有许多潜在的应用，但是将语音识别与机器翻译级联的典型方法通常是不可能的，因为训练语音识别器所需的转录通常不适用于低资源语言。最近的工作发现，神经编码器-解码器模型可以学习在高资源场景中直接翻译外语，而无需中间转录。我们调查这种方法是否也适用于数据和计算都有限的设置。为了使该方法有效，我们进行了几个架构更改，包括从字符级到单词级解码的更改。我们发现，这种选择产生了至关重要的速度改进，使我们能够用更少的计算资源进行训练，但在频繁的单词上仍然表现良好。我们研究了在20到160小时的数据上训练的模型，发现尽管在较少的数据上训练的模型具有相当低的BLEU分数，但它们仍然可以以相对较高的准确率和召回率预测单词-在50小时的数据上训练的模型约为50%，而在160小时的数据上训练的模型约为60%。因此，它们对某些资源不足的情况可能仍然有用。
2018-06-18 cs.CL
Fast transcription of speech in low-resource languages
University of Illinois（伊利诺伊大学）；University of Washington（华盛顿大学）
我们提出的软件，在短短几个小时内，转录40小时的语音记录在一个惊喜的语言，使用只有几十兆字节的嘈杂的文字在该语言，和零资源字素音素（G2 P）表。预先训练的声学模型将声学特征映射到音素;反向G2 P将这些映射到字素;然后语言模型将这些映射到最可能的字素序列，即，抄本该软件已成功地与阿拉伯语，阿萨姆语，基尼亚卢旺达语，俄语，僧伽罗语，斯瓦希里语，塔格什语和泰米尔语语料库。
2019-09-16 cs.CL
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University（斯坦福大学）
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题，提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型，使绝对词错率最多降低 20%，是数据有限时的更优方案。
2023-11-25 cs.CL
Automated Gradient-Driven Parameter Sharing for Low-Resource Multilingual Speech-to-Text Translation
School of Data Science（数据科学学院）
本文提出通过挖掘训练梯度信息自动确定层间共享模式的方法，提升多语言语音翻译的收敛性与翻译质量。
2026-09-18 cs.CL
A Survey of Text and Speech Resources for Hausa and Fongbe: Availability, Quality, and Gaps for NLP Development
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Centre for Text Technology, North-West University（文本技术中心，北开普大学）
本文系统调查了豪萨语和丰贝语的公开文本与语音资源，对比分析其可用性、质量及差距，为低资源语言NLP发展提供建议。
2026-04-13 cs.CL
The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
在自然语言处理中，深度学习革命已经将焦点从传统的手工符号表示转移到密集输入，这是从语料库自动学习的适当表示。然而，特别是在使用低资源语言时，即使黄金标准语料库不存在，也通常可以使用少量的符号词汇资源，例如用户生成的词典。这种额外的语言信息，但往往被忽视，最近的神经方法跨语言标记通常只依赖于词和子词嵌入。虽然这些表示是有效的，但我们最近的工作表明，结合两个世界的优点有明显的好处：整合传统的词汇信息可以改善神经跨语言词性（PoS）标记。然而，人们对这些补充资料的互补性以及改进在多大程度上取决于这些外部资源的覆盖面和质量知之甚少。本文试图填补这一空白，提供了第一个全面的分析，在神经时代的词汇资源的跨语言PoS标注的贡献。
2018-11-21 cs.CL
Low resource cross-modal alignment using HGNN to enhance speech representation
University of Yaounde I（雅温得第一大学）；IRD（法国发展研究所）；UMMISCO；Le Mans Université（勒芒大学）；LIUM（勒芒大学计算机科学实验室）
针对低资源语音-文本对齐，提出基于异构图神经网络和链接预测的数据高效方法，在TIMIT和Yemba语词级任务上达到或超越SAMU-XLSR，且资源消耗更少。
2026-09-22 cs.CL
Applying Wav2vec2.0 to Speech Recognition in Various Low-resource Languages
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
有几个领域拥有相应的广泛使用的特征提取器，例如ResNet，BERT和GPT-x。这些模型通常通过自我监督在大量未标记的数据上进行预训练，可以有效地应用于下游任务。在语音领域，wav2vec2.0在属于有声读物领域的Librispeech语料库上开始展现其强大的表示能力和超低资源语音识别的可行性。然而，wav2vec2.0还没有在真实的口语场景和英语以外的语言上进行过测试。为了验证其在语言上的通用性，我们应用预先训练的模型来解决各种口语中的低资源语音识别任务。与以前的工作相比，我们在六种语言中实现了20%以上的相对改进。在这些语言中，英语获得了52.4%的增长。此外，使用粗粒度的建模单元（如子字或字符）比细粒度的建模单元（如电话或字母）获得更好的结果。
2021-01-17 cs.CL
Bridging Gaps in Hate Speech Detection: Meta-Collections and Benchmarks for Low-Resource Iberian Languages
IRLab, CITIC Research Centre（IRLab、CITIC研究中心）；Universidade da Coruña（圣地亚哥-德孔波斯特拉大学）；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
本研究针对低资源伊比利亚语言仇恨言论检测资源匮乏的问题，编译了统一标签的欧洲西班牙语数据集元集合，并翻译为欧洲葡萄牙语和两种加利西亚变体构建多语言语料库，进而建立新基准评估大型语言模型，强调了多语言与变体感知方法的重要性。
2025-10-13 cs.CL
From Emotion to Expression: Theoretical Foundations and Resources for Fear Speech
GESIS - Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）；Heinrich-Heine University（海因里希·海涅大学）；RWTH Aachen University（亚琛工业大学）；Complexity Science Hub（复杂性科学中心）
本文从跨学科视角探讨恐惧言论的理论基础，提出分类法以整合恐惧的不同维度，为研究恐惧言论提供理论和实践指导。
2026-01-23 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Raytheon BBN Technologies（雷神BBN技术公司）
自动语音识别（ASR）系统通常需要针对资源极低的语言来开发，以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时，考虑通用电话识别是很自然的，但是还需要研究使用非常少量（几分钟而不是几小时）的转录语音来适应通用电话模型，特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架，并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序，它采用了通用的电话建模方法ASR，并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Investigations on Speech Recognition Systems for Low-Resource Dialectal Arabic-English Code-Switching Speech
University of Stuttgart（斯图加特大学）；Raisa Energy LLC（Raisa Energy 有限责任公司）；The German University in Cairo（开罗德国大学）
语码转换（CS），即语言在会话中的混合，已经成为一种世界性的现象。CS的流行最近已经满足了越来越多的需求和兴趣，以建立CS ASR系统。在本文中，我们提出了我们的工作代码切换埃及阿拉伯语-英语自动语音识别（ASR）。我们首先通过收集、分析和发布我们自发的CS埃及语阿拉伯语-英语语音语料库来填补资源的巨大缺口。我们使用基于DNN的混合模型和基于Transformer的端到端模型构建我们的ASR系统。在本文中，我们提出了一个彻底的比较两种方法的设置下的低资源，正字法不标准化，丰富的语言对。我们表明，虽然这两个系统提供了可比的整体识别结果，每个系统提供了互补的优势点集。我们表明，识别可以通过结合这两个系统的输出得到改善。我们提出了几种有效的系统组合方法，其中两个系统的假设合并的句子和词的水平。我们的方法导致整体WER相对改善4.7%，超过32.1% WER的基线性能。在内部的CS句子的情况下，我们实现了4.8%的WER相对改善。我们的最佳性能系统在ArzEn测试集上实现了30.6%的WER。
2021-08-29 cs.CL
Analysis of Data Augmentation Methods for Low-Resource Maltese ASR
University of Malta（马耳他大学）；Reykjavik University（雷克雅未克大学）；Utrecht University（乌得勒支大学）；Idiap Research Institute（Idiap研究所）
近年来，人们对马耳他语的计算语音处理越来越感兴趣，但资源仍然稀少。在本文中，我们认为数据增强技术，以提高低资源语言的语音识别，重点是马耳他作为一个测试案例。我们考虑三种不同类型的数据增强：无监督训练，多语种训练和使用合成语音作为训练数据。我们的目标是确定这些技术中的哪一种或它们的组合，对于改进语言的语音识别是最有效的，其中起点是大约7小时的转录语音的小语料库。我们的研究结果表明，结合这里研究的数据增强技术，使我们在不使用语言模型的情况下，绝对WER提高了15%。
2023-01-20 cs.CL
Fine-Grained Chinese Hate Speech Understanding: Span-Level Resources, Coded Term Lexicon, and Enhanced Detection Frameworks
School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）
针对中文仇恨言论检测可解释性研究面临的片段级标注数据稀缺和暗语识别不足两大挑战，本文提出了首个片段级中文仇恨言论数据集STATE ToxiCN，全面研究了LLMs对中文暗语仇恨词汇的语义解释能力，并提出一种整合标注词典的方法显著提升了检测性能。
2025-07-15 cs.CL
GMU Systems for the IWSLT 2025 Low-Resource Speech Translation Shared Task
George Mason University（乔治·马歇尔大学）
本文介绍了GMU用于IWSLT 2025低资源语音翻译共享任务的系统，通过微调SeamlessM4T-v2构建ASR、MT、E2E ST及级联系统，发现直接微调效果强劲，ASR编码器初始化能提升未训练语言的性能，多任务训练略有帮助。
2025-05-27 cs.CL
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
Leveraging Twitter for Low-Resource Conversational Speech Language Modeling
University of Washington（华盛顿大学）
在涉及会话语音的应用中，数据稀疏性是构建更好的语言模型的限制因素。我们提出了一种简单的，独立于语言的方法，可以快速从Twitter中收集大量数据，以补充与该领域更紧密匹配的较小训练集。这些技术导致四种低资源语言的困惑显着减少，即使这些语言在Twitter上的存在相对较小。我们还发现，Twitter的文本是更有用的学习词类比域中的文本，使用这些词类导致进一步减少困惑。此外，我们介绍了一种方法，使用社会和文本信息，优先级的下载队列在Twitter的爬行。这最大化了可以收集的有用数据的数量，影响了困惑度和词汇覆盖率。
2015-04-09 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame（圣母大学）；University of Ioannina（约阿尼纳大学）；ICREA（加泰罗尼亚高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
大多数词性标注的工作都集中在高资源语言上，或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言，Griko的POS标记技术。我们提出了一个资源，其中包含114个故事在Griko，随着意大利语的翻译水平，并提供黄金注释的测试集。基于以前收集的小语料库，我们研究了几种传统的方法，以及利用单语数据或项目跨语言的POS标签的方法。我们发现，半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置，最好的标记器实现了72.9%的准确率。通过应用主动学习方案，我们使用该方案在测试集上收集高级注释，我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
SGHateCheck: Functional Tests for Detecting Hate Speech in Low-Resource Languages of Singapore
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出面向新加坡及东南亚多语言环境的 SGHateCheck 框架，通过大语言模型翻译改写与本地标注扩展功能测试，揭示现有仇恨言论检测模型在低资源语言内容审核中的关键缺陷。
2024-05-03 cs.CL
Improving Low Resource Code-switched ASR using Augmented Code-switched TTS
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Microsoft India Development Center（微软印度研发中心）
由于语音技术在全球多语言社区的广泛使用，为代码切换语音构建自动语音识别（ASR）系统最近重新获得关注。端到端ASR系统是一个自然的建模选择，因为它们易于使用，在单语环境中性能优越。然而，众所周知，端到端系统需要大量的标记语音。在这项工作中，我们研究通过使用代码交换的文本到语音（TTS）合成的数据增强，在低资源设置提高代码交换的ASR。我们提出了两个有针对性的技术，有效地利用TTS语音样本：1）混合，现有的技术，通过现有的样本的线性插值创建新的训练样本，应用于TTS和真实的语音样本，和2）一个新的损失函数，与TTS样本一起使用，以鼓励代码切换预测。我们报告显着改善ASR性能实现绝对字出错率（WER）减少高达5%，和可衡量的改善代码切换使用我们提出的技术在印度语-英语代码切换ASR任务。
2020-10-12 cs.CL
OC16-CE80: A Chinese-English Mixlingual Database and A Speech Recognition Baseline
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；SpeechOcean（海天瑞声）
OC 16-CE 80中英混合语言语音数据库是O-COCOSDA 2016上发布的中英混合语言语音识别（MixASR-CHEN）挑战赛的主要训练、开发和测试资源。该数据库由1,400多人80小时的语音信号组成，这些语音信号是汉语的，但每个语音信号都包含一个或几个英语单词。基于该数据库和另外两个免费数据源（THCHS 30和CMU词典），采用深度神经网络-隐马尔可夫模型（DNN-HMM）混合系统构建了语音识别（ASR）基线。然后，我们根据MixASR-CHEN评估规则报告了基线结果，并证明OC 16-CE 80是混合语言研究的合理数据源。
2016-09-27 cs.CL
Subtitles to Segmentation: Improving Low-Resource Speech-to-Text Translation Pipelines
Columbia University（哥伦比亚大学）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们专注于改善ASR输出分割的背景下，低资源的语言语音到文本的翻译。ASR输出分段是至关重要的，因为ASR系统使用纯声学信息对输入音频进行分段，并且不能保证输出类似音乐的分段。由于大多数机器翻译系统都希望将句子作为输入，因此输入较长的未分段段落可能会导致次优性能。我们探讨了使用电视节目和电影的字幕数据集来训练更好的ASR分割模型的可行性。我们进一步将词性（POS）标签和依赖标签信息（来自未分割的ASR输出）纳入我们的分割模型。我们表明，这种嘈杂的句法信息可以提高模型的准确性。我们评估我们的模型内在的分割质量和extramination上下游MT性能，以及下游任务，包括跨语言信息检索（CLIR）任务和人类相关性评估。我们的模型显示立陶宛语和保加利亚语的下游任务性能有所提高。
2020-10-19 cs.CL
Gradient Masters at BLP-2025 Task 1: Advancing Low-Resource NLP for Bengali using Ensemble-Based Adversarial Training for Hate Speech Detection
SUST（斯瓦希里大学）
本文提出基于集成的对抗训练方法，用于孟加拉语低资源NLP中的仇恨言论检测，提升了子任务的分类性能。
2025-11-23 cs.CL
Enhancing speech representation learning with cross-modal knowledge transfer with HGNN under low resource settings: the case study of Yemba
University of Yaounde I（雅温得第一大学）；Le Mans Université（勒芒大学）；LIUM（勒芒大学计算机科学实验室）；IRD（法国发展研究所）；UMMISCO
针对低资源语言声学表示学习数据稀缺问题，提出基于异构图神经网络（HGNN）的跨模态知识迁移方法，通过消息传递实现语言知识向声学节点迁移，实验证明其有效提升声学表示质量。
2026-09-22 cs.CL
Automatic Speech Recognition of Low-Resource Languages Based on Chukchi
Higher School of Economics（高等经济大学）
本文介绍了一个项目，重点是研究和创建一个新的自动语音识别（ASR）的基础上楚科奇语。没有一个完整的楚科奇语语料库，因此大部分工作包括从公开来源收集楚科奇语的音频和文本，并对其进行处理。我们设法收集了21：34：23小时的录音和楚科奇语的112，719个句子（或2，068，273个单词）。在所获得的数据上训练XLSR模型，即使使用少量数据也显示出良好的结果。除了楚科奇语是一种低资源语言之外，它也是一种多合成语言，这使得任何自动处理都变得非常复杂。因此，用于评估ASR的通常WER度量对于多合成语言变得不那么指示性。然而，CER指标显示出良好的结果。多合成语言的度量问题仍然是开放的。
2022-10-11 cs.CL
LoASR-Bench: Evaluating Large Speech Language Models on Low-Resource Automatic Speech Recognition Across Language Families
Kyoto University（京都大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（信息通信研究机构，科技研究局）
本文提出LoASR-Bench，评估最新SpeechLM在低资源语言上的ASR性能，涵盖25种语言9个语系，揭示最新SpeechLM在低资源语言处理中的局限性。
2026-03-20 cs.AI cs.CL
Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders
针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。
2026-08-07 cs.AI cs.CL
Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy
Fast Nuces
语音情感识别是从音频数据中提取情感的问题。低资源语言语料库的落后和跨语料库的情感识别是一个困难的任务。我们提出了一种方法，在这种方法中，模型在高资源语言上进行训练，并进行微调以识别低资源语言中的影响。我们训练模型在相同的语料库设置上SAVEE，EMOVO，乌尔都语，IEMOCAP分别达到基线准确率60.45%，68.05%，80.34%，和56.58%。为了捕捉语言中情感的多样性，本文详细讨论了跨语料库评价。我们发现，通过将域目标数据添加到训练数据中，精度得到提高。最后，我们表明，低资源语言语音影响识别的性能得到改善，实现乌尔都语和意大利语语音影响的UAR为69.32和68.2。
2021-03-04 cs.AI cs.CL
