J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo（东京大学）
在本文中，我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功，其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子，它需要跨句子、表达力等。与阅读式语音不同，有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究，我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中，我们的方法可以自动提取和提炼数据，而不依赖于任何语言。具体来说，我们使用声乐乐器分离来提取干净的数据，连接主义的时间分类来粗略对齐文本和音频，语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估，结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
RyanSpeech: A Corpus for Conversational Text-to-Speech Synthesis
University of Denver（丹佛大学）；DreamFace Technologies, LLC（DreamFace科技有限公司）
本文介绍了RyanSpeech，一个新的语音语料库的研究自动文本到语音（TTS）系统。公开可用的TTS语料库通常是嘈杂的，记录多个扬声器，或缺乏高质量的男性语音数据。为了满足语音识别领域对高质量、公开可用的男性语音语料库的需求，我们设计并创建了RyanSpeech，其中包含来自真实世界会话设置的文本材料。这些材料包含超过10个小时的专业男声演员的讲话记录在44.1千赫。该语料库的设计和流水线使RyanSpeech成为在现实世界应用中开发TTS系统的理想选择。为了为未来的研究、协议和基准测试提供基线，我们在RyanSpeech上训练了4个最先进的语音模型和一个声码器。结果显示，在我们最好的模型中，平均意见得分（MOS）为3.36。我们已经制作了语料库和训练模型供公众使用。
2021-06-15 cs.CL cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（埃里沙实验室）
目前，使用端到端神经模型用高质量转录语音数据训练的文本到语音（TTS）系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练，通常从有声读物中提取。同时，由于这类免费语音语料库的稀缺，阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练，因为它们包含多说话者的随意语音，其记录条件和质量存在差异，而为语音合成策划的语料库通常尺寸较小，不适合训练最先进的端到端模型。为了填补这一资源缺口，我们提出了一个语音语料库古典阿拉伯文文本到语音（ClArTTS），以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的，然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中，我们描述了语料库创建的过程，并提供了语料库统计的细节，并与现有资源进行了比较。此外，我们开发了两个TTS系统的基础上，梯度TTS和辉光TTS，并说明了所产生的系统的性能，通过主观和客观的评价。该语料库将在www.clartts.com上公开提供，用于研究目的，以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
LibriTTS-R: A Restored Multi-Speaker Text-to-Speech Corpus
Google（谷歌）；Tokyo University of Agriculture & Technology（东京农工大学）
本文提出LibriTTS-R语料库，通过对LibriTTS进行语音修复提升音质，使神经端到端TTS的语音自然度达到真实样本水平，并免费开放下载。
2023-05-30 cs.SD eess.AS
STUDIES: Corpus of Japanese Empathetic Dialogue Speech Towards Friendly Voice Agent
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出的研究，一个新的语音语料库开发的语音代理，可以说在一个友好的方式。人类自然地控制他们的言语韵律来相互同情。通过将这种“移情对话”行为整合到口语对话系统中，我们可以开发出一种能够更自然地响应用户的语音代理。我们设计的研究语料库，包括一个发言者谁说话的同情对话者的情绪明确。我们描述了我们的方法来构建一个移情对话语音语料库和报告的研究语料库的分析结果。我们进行了一个文本到语音的实验，初步探讨如何我们可以开发更自然的语音代理，可以调整其说话风格对应于对话者的情绪。结果表明，使用对话者的情感标签和会话上下文嵌入可以产生与使用智能体的情感标签合成的语音相同程度的自然度。我们的研究语料库的项目页面是http://sython.org/Corpus/STUDIES。
2022-06-16 cs.AI cs.CL cs.HC
GLOBE: A High-quality English Corpus with Global Accents for Zero-shot Speaker Adaptive Text-to-Speech
University of New South Wales（新南威尔士大学）
针对零样本说话人自适应TTS对口音说话人泛化性差的问题，研究者构建了含23519名说话人、164种口音的高质量英语语料库GLOBE，实验证明该语料库训练的模型合成语音说话人相似度更优，自然度相当。
2024-06-21 cs.SD eess.AS
Building speech corpus with diverse voice characteristics for its prompt-based representation
The University of Tokyo（东京大学）；Graduate School of Information Science and Technology（信息科学技术研究院）
针对语音特征多样性受限问题，构建配对语音特征描述与样本的日语语料库，并提出结合对比学习与特征预测学习的模型以实现基于提示的语音检索。
2024-03-20 cs.SD eess.AS
Active Learning for Text-to-Speech Synthesis with Informative Sample Collection
The University of Tokyo, Japan（东京大学）；Keio University, Japan（庆应大学）
针对文本到语音系统中数据规模增长带来的存储挑战，提出一种基于主动学习的语料库构建方法，通过数据采集与模型训练迭代交替获取高信息量数据，在同等规模下实现了更高质量的语音合成。
2025-07-11 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis
School of Electrical and Computer Engineering, University of Tehran（塔里哈大学电气与计算机工程学院）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
提出ParsVoice，目前最大的公开波斯语语音-文本语料库，通过可扩展的流水线从长篇有声读物构建高质量数据，用于训练多说话人TTS系统，并验证了其在零样本多说话人TTS中的有效性。
2026-09-15 cs.AI cs.HC cs.LG
JIS: A Speech Corpus of Japanese Idol Speakers with Various Speaking Styles
NTT Corporation（NTT公司）
本文构建了日本偶像语音语料库JIS，通过提供特定类别的年轻女性偶像语音数据，以促进语音生成AI中TTS和VC系统的严格评估及听众偏好研究。
2025-07-15 cs.SD eess.AS
IMaSC -- ICFOSS Malayalam Speech Corpus
Government Engineering College（政府工程学院）；A P J Abdul Kalam Technological University（阿卜杜勒·卡拉姆技术大学）；IIIT（印度信息技术学院）；State Project Facilitation Unit（邦项目促进单位）
现代文本到语音（TTS）系统使用深度学习来合成越来越接近人类质量的语音，但它们需要高质量音频文本句子对的数据库进行训练。马拉雅拉姆语是印度喀拉拉邦的官方语言，有3500多万人使用，就TTS系统的可用语料库而言，马拉雅拉姆语是一种低资源语言。在本文中，我们提出了IMASC，马拉雅拉姆语文本和语音语料库，包含约50小时的录音讲话。IMASC拥有8个扬声器和34，473个文本音频对，比其他任何公开可用的替代方案都要大。我们评估了数据库，使用它来基于现代深度学习架构为每个说话者训练TTS模型。通过主观评价，我们表明，与以前的研究和公开的模型相比，我们的模型在自然度方面表现得更好，平均意见得分为4.50，表明合成语音接近人类质量。
2022-11-23 cs.CL cs.SD eess.AS
ArVoice: A Multi-Speaker Dataset for Arabic Speech Synthesis
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文介绍ArVoice，一个含83.52小时语音、11个说话人的多说话人现代标准阿拉伯语语音合成数据集，并训练TTS与语音转换系统验证其用途。
2025-05-26 cs.AI cs.CL cs.SD
Balalaika-Longform: A Russian Speech Corpus for Continuous Long-Form Text-to-Speech
BitmanagerAI；lab260；MTUCI（莫斯科通信与信息技术大学）
本文提出俄语长篇语音语料库Balalaika-Longform，通过长单元微调显著降低长文本合成中的词错误率，验证了训练序列长度对连续生成质量的关键作用。
2026-10-02 cs.SD
FT Speech: Danish Parliament Speech Corpus
IT University of Copenhagen（哥本哈根信息技术大学）；Interactions LLC（Interactions有限责任公司）
本文介绍了FT演讲，一个新的语音语料库创建的记录会议的丹麦议会，也被称为Folketing（FT）。该语料库包含超过1，800小时的转录语音，共有434名发言者。它是显着更大的持续时间，词汇量和自发的讲话量比现有的公共语音语料库丹麦，这在很大程度上是有限的朗读和听写数据。我们概述了设计考虑，包括预处理方法和对齐过程。为了评估语料库的质量，我们训练自动语音识别系统上的新资源，并将它们与丹麦部分Språkbanken，丹麦最大的公共ASR语料库培训的系统进行比较。我们的基线结果表明，我们在新语料库上实现了14.01 WER。FT Speech与域内语言数据的组合提供了与专门在Sprakbanken上训练的模型相当的结果，表明FT Speech可以很好地转移到这个数据集。有趣的是，我们的研究结果表明，情况并非相反。这表明FT Speech为促进更多自发语音的丹麦语ASR研究提供了宝贵的资源。
2020-10-28 cs.CL cs.LG cs.SD
AV Speech Enhancement Challenge using a Real Noisy Corpus
Edinburgh Napier University（爱丁堡龙比亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）；University of Stirling（斯特林大学）；Sonova AG（索诺瓦公司）
本文首次提出了在真实噪声环境中的视听（AV）语音增强挑战。详细描述的AV挑战，一个新的真正嘈杂的AV语料库（ASPIRE），基准语音增强任务，和基线性能结果进行了概述。后者基于在Grid语料库和ChiME3噪声（包括公共汽车、行人、咖啡馆和街道噪声）的合成混合物上训练深度神经架构，并在ASPIRE语料库上进行测试。五种不同的语音增强算法（包括SEAGN，谱减法（SS），对数最小均方误差（LMMSE），音频只CochleaNet，AV CochleaNet）的主观评价作为基线结果。多模态挑战的目的是提供一个及时的机会，全面评估新的AV语音增强算法，使用我们的新基准，真实的噪音AV语料库和指定的性能指标。这将促进全球音视频语音处理研究，刺激新的突破性多模态方法，并吸引从事音视频语音技术和应用的公司、学者和研究人员的兴趣。我们鼓励来自语音和听力研究社区的参与者（通过挑战网站注册），从他们对噪声处理中的AV语音的补充方法中受益。
2019-09-30 cs.LG cs.SD eess.AS
CUCHILD: A Large-Scale Cantonese Corpus of Child Speech for Phonology and Articulation Assessment
The Chinese University of Hong Kong（香港中文大学）
本文介绍了大规模粤语儿童语音语料库CUCHILD的设计与开发。该语料库包含从1,986名3至6岁的儿童说话者收集的口语单词。语音材料包括130个单词，长度为1至4个音节。演讲者涵盖了典型发育（TD）儿童和言语障碍儿童。语料库的预期用途是支持科学和临床研究，以及与儿童语音评估相关的技术开发。本文详细介绍了语料库的设计，包括语料库的选词、参与者的招募、数据的采集过程以及数据的预处理。声学分析的结果来说明儿童语音的属性。讨论了该语料库在自动语音识别、语音检错和说话人分类等方面的潜在应用。
2020-08-07 cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
EmoNet: A Transfer Learning Framework for Multi-Corpus Speech Emotion Recognition
本文从深层迁移学习的角度研究了多语料语音情感识别问题。EmoSet是一个大型情感语音数据库，由许多现有的SER语料库组成。总的来说，录音集包含来自26个SER语料库的84181个录音，总时长超过65小时。然后，语料库被用来创建一个新的框架，多语料库语音情感识别，即神经网络。将深度ResNet架构和残差适配器的组合从多域视觉识别领域转移到TMS320Set上的多语料库SER。与ResNet的两个合适的基线和更传统的训练和传输设置相比，残差适配器方法能够在所有26个语料库上对多域SER模型进行参数有效训练。一个共享模型的参数数量仅为在单个数据库上训练的模型的参数数量的$3.5$倍，这导致了对RISTOSet中26个语料库中的21个的性能提高。通过McNemar检验测量，这些改进对于$p<0.05$的10个数据集是进一步显著的，而只有两个语料库在残余衔接子转移实验中仅看到显著降低。最后，我们在https://github.com/EIHW/EmoNet上向用户和开发人员公开了我们的WARNET框架。CNET提供了一个广泛的命令行界面，该界面具有全面的文档记录，可用于各种多语料库迁移学习设置。
2021-03-10 cs.LG cs.SD eess.AS
Improving Cross-Corpus Speech Emotion Recognition with Adversarial Discriminative Domain Generalization (ADDoG)
自动语音情感识别为计算机提供了关键的上下文，使用户能够理解。虽然在同一数据集内训练和测试的方法已被证明是成功的，但当应用于看不见的数据集时，它们往往会失败。为了解决这个问题，最近的工作集中在对抗性方法上，以找到情感语音的更一般化的表示。然而，这些方法中的许多都存在收敛问题，并且只涉及在实验室条件下收集的数据集。在本文中，我们引入了对抗性判别领域泛化（ADDoG），它遵循一种更容易训练的“中间相遇”方法。该模型迭代地移动为每个数据集学习的表示，使其彼此更接近，从而提高了跨数据集的泛化能力。我们还引入了多类ADDoG或MADDoG，它能够同时将所提出的方法扩展到两个以上的数据集。我们的结果表明，所介绍的方法具有一致的收敛性，当不使用目标数据集的标签时，结果得到了显着改善。我们还展示了在大多数情况下，当添加目标数据集标签并考虑野外数据时，ADDoG和MADDoG如何用于改进基线最先进的方法。尽管我们的实验集中在跨语料库的语音情感，这些方法可以用来消除不必要的因素，在其他设置的变化。
2019-11-03 cs.LG cs.SD eess.AS
Transfer Learning Framework for Low-Resource Text-to-Speech using a Large-Scale Unlabeled Speech Corpus
Seoul National University（首尔国立大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）
文本转语音（TTS）模型的训练需要大量的文本标记语音语料，这是一个收集起来很麻烦的问题。通过利用wav2vec2.0表示，未标记语音可以大大提高性能，特别是在缺乏标记语音的情况下。我们还将所提出的方法扩展到zero-shot多说话人TTS（ZH-TTS）。实验结果验证了该方法在自然度、可懂度和说话人泛化方面的有效性。我们强调，在仅10分钟的标记数据集上微调的单说话人TTS模型优于其他基线，并且在仅30分钟的单说话人数据集上微调的MST-TTS模型可以通过在未标记的多说话人语音语料库上进行预训练来生成任意说话人的语音。
2022-10-06 cs.LG eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
DiDiSpeech: A Large Scale Mandarin Speech Corpus
本文介绍了一个新的开放源代码的汉语语音语料库，称为DiDiSpeech。它包括约800小时的语音数据在48kHz采样率从6000说话人和相应的文本。语料库中的所有语音数据都是在安静的环境中记录的，适用于各种语音处理任务，如语音转换，多说话人文本到语音和自动语音识别。我们进行了多个语音任务的实验，并评估了性能，表明它是有希望使用语料库的学术研究和实际应用。该语料库可在https://outreach.didichuxing.com/research/opendata/上获得。
2021-02-08 eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
Attention based on-device streaming speech recognition with large speech corpus
Samsung Electronics Co., Ltd.（三星电子有限公司）
在本文中，我们提出了一个新的设备上的自动语音识别（ASR）系统的基础上训练的大型（> 10 K小时）语料库的单调块式注意（MoChA）模型。我们主要通过使用连接主义时间分类器（CTC）和交叉熵（CE）损失的联合训练，最小单词错误率（MWER）训练，逐层预训练和数据增强方法，获得了大约90%的一般领域的单词识别率。此外，我们使用迭代超低秩近似（LRA）方法将我们的模型压缩了3.4倍以上，同时最大限度地减少了识别精度的下降。通过8位量化进一步减少了内存占用，将最终模型大小降至39 MB以下。对于按需自适应，我们将MoChA模型与统计n-gram模型相融合，并且我们可以在目标域（包括一般域）的平均单词错误率（WER）方面实现相对36%的改善。
2020-01-02 cs.LG cs.SD eess.AS
BENYO-S2ST-Corpus-1: A Bilingual English-to-Yoruba Direct Speech-to-Speech Translation Corpus
Covenant University（圣约大学）；Durban University of Technology（德班理工大学）；Walter Sisulu University（沃尔特·西苏鲁大学）；Summit University（萨米特大学）；International University of Grand-Bassam（大巴萨姆国际大学）
本研究提出BENYO-S2ST-Corpus-1，一种双语英语到约鲁巴语音到语音翻译语料库，通过混合架构和音频增强技术生成大规模数据，用于构建预训练模型和改进现有模型，以解决高资源到低资源语言对的翻译缺口。
2026-01-07 cs.SD eess.AS
A Crowdsourced Open-Source Kazakh Speech Corpus and Initial Speech Recognition Baseline
Institute of Smart Systems and Artificial Intelligence (ISSAI)（智能系统与人工智能研究所（ISSAI））；Nazarbayev University（纳扎尔巴耶夫大学）
我们提出了一个哈萨克语的开源语音语料库。哈萨克语语音语料库（KSC）包含约332小时的转录音频，其中包括来自不同地区和年龄组以及性别的参与者所说的153，000多句话。它由哈萨克族母语人士仔细检查，以确保高质量。KSC是最大的公开数据库，旨在推进各种哈萨克语语音和语言处理应用程序。在本文中，我们首先描述了数据收集和预处理程序，然后描述了数据库规格。我们也分享我们的经验和面临的挑战，在数据库建设，这可能会有益于其他研究人员计划建立一个低资源的语言语音语料库。为了证明数据库的可靠性，我们进行了初步的语音识别实验。实验结果表明，音频和成绩单的质量是有希望的（2.8%的字符错误率和8.7%的单词错误率的测试集）。为了实现实验的可重复性并简化语料库的使用，我们还为我们的语音识别模型发布了ESPnet配方。
2021-01-13 cs.CL cs.SD eess.AS
On Cross-Corpus Generalization of Deep Learning Based Speech Enhancement
The Ohio State University（俄亥俄州立大学）
近年来，使用深度神经网络（DNN）的监督方法已经成为语音增强的主流。已经确定的是，如果使用大量的噪声和扬声器进行训练，DNN可以很好地推广到未经训练的噪声和扬声器。然而，我们发现DNN未能推广到新的语音语料库在低信噪比（SNR）条件。在这项工作中，我们确定缺乏泛化主要是由于通道失配，即训练和未训练语料库之间的不同记录条件。此外，我们观察到，传统的通道归一化技术在提高跨语料库泛化方面是无效的。此外，我们评估了有希望推广的公开数据集。我们发现一个特定的语料库明显优于其他语料库。最后，我们发现在语音的短时处理中使用较小的帧移可以显著提高跨语料库的泛化能力。提出的解决跨语料泛化的技术包括通道归一化、更好的训练语料和短时傅立叶变换（STFT）中较小的帧移位。这些技术共同提高了未经训练的语料库的客观可懂度和质量分数显着。
2020-08-10 cs.SD eess.AS
Deep Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University（东南大学）
本文提出了一种新的深度迁移学习方法--深度隐式分布对齐网络（DIDAN）来处理跨语料库语音情感识别（SER）问题，其中标记的训练（源）和未标记的测试（目标）语音信号来自不同的语料库。具体来说，DIDAN首先采用由一组卷积层和全连接层组成的简单深度回归网络，将源语音频谱直接回归到情感标签中，从而使提出的DIDAN具有情感辨别能力。然后，这种能力被转移到也适用于目标语音样本，而不管语料库的方差，通过诉诸一个精心设计的正则化术语称为隐式分布对齐（IDA）。与广泛使用的最大平均差异（MMD）及其变体不同，建议IDA吸收了样本重构的思想，以隐式地对齐分布间隙，这使得DIDAN能够从语音频谱中学习情感判别和语料库不变特征。为了评估所提出的DIDAN，广泛的跨语料库SER实验上广泛使用的语音情感语料库进行。实验结果表明，DIDAN在处理跨语料库的SER任务时，性能优于许多最新的方法。
2023-02-17 cs.CL cs.SD eess.AS
Comprehending Real Numbers: Development of Bengali Real Number Speech Corpus
Shahjalal University of Science and Technology（沙贾拉尔科技大学）
由于缺乏全面的数据集，语音识别在孟加拉语文献中受到的关注较少。在本文中，我们描述了第一个全面的孟加拉语语音数据集实数的发展过程。它排除了在说出任何孟加拉实数时可能出现的所有可能的单词。该语料库有来自不同地区的孟加拉土著人民的十个发言者。它包括两千多个语音样本，总持续时间接近四个小时。我们还提供了一个深入的分析，我们的语料库，突出了一些显着的特点，最后评估的性能，两个显着的孟加拉语语音识别器上。
2018-03-27 cs.AI cs.SD eess.AS
TTS-Portuguese Corpus: a corpus for speech synthesis in Brazilian Portuguese
Federal University of Technology – Paraná（巴拉那联邦理工大学）；DefinedCrowd Corp.（DefinedCrowd公司）；Federal University of Mato Grosso（马托格罗索联邦大学）；Research Center in Digitalization and Intelligent Robotics (CEDRI)（数字化与智能机器人研究中心（CEDRI））
语音为人机交互提供了一种自然的方式。特别地，语音合成系统在不同的应用中是流行的，例如个人助理、GPS应用、屏幕阅读器和辅助工具。然而，就用于语音合成的资源和系统而言，并非所有语言都处于同一水平。这项工作包括以新数据集的形式为巴西葡萄牙语创建公开可用的资源，以及用于端到端语音合成的深度学习模型。这样的数据集具有来自单个扬声器的10.5小时，其中具有RTISI-LA声码器的Tacotron 2模型表现出最佳性能，达到4.03 MOS值。所获得的结果与涵盖英语和葡萄牙语的最新技术的相关作品相当。
2022-01-29 cs.CL cs.LG eess.AS
BASPRO: a balanced script producer for speech corpus collection based on the genetic algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Columbia University（哥伦比亚大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
语音处理模型的性能在很大程度上受到用于训练和评估的语音语料库的影响。在这项研究中，我们提出了平衡脚本PROducer（BASPRO）系统，它可以自动构建一个语音平衡和丰富的中文句子集，用于收集汉语普通话语音数据。首先，我们使用预先训练好的自然语言处理系统，从一个大型中文新闻文本语料库中提取十个字符的候选句子。然后，我们应用了一种基于遗传算法的方法来选择20个语音平衡的句子集，每个句子集包含20个句子，从候选句子。使用BASPRO，我们获得了一个名为TMNews的录音脚本，其中包含400个十字句。TMNews涵盖了现实世界中使用的84%的音节。此外，音节分布与真实世界的音节分布具有0.96余弦相似度。我们使用两个文本到语音系统将脚本转换为语音语料库。使用设计的语音语料库，我们测试的性能语音增强（SE）和自动语音识别（ASR），这是最重要的回归和分类为基础的语音处理任务，分别。实验结果表明，在设计的语音语料库上训练的SE和ASR模型的性能优于在随机合成的语音语料库上训练的模型。
2022-12-11 cs.AI cs.CL cs.LG
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
FeruzaSpeech: A 60 Hour Uzbek Read Speech Corpus with Punctuation, Casing, and Context
Redmond High School（雷德蒙高中）；University of Washington（华盛顿大学）
本文构建了含西里尔与拉丁转写的60小时乌兹别克语单人朗读语料库FeruzaSpeech，并验证其整合后可改善多个乌兹别克语数据集上的语音识别WER。
2024-09-23 cs.CL cs.LG eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Learning Nigerian accent embeddings from speech: preliminary results based on SautiDB-Naija corpus
AI Saturdays Lagos（拉各斯AI星期六）；Niger-Volta Language Technologies Institute（尼日尔-沃尔特语言技术研究所）
本文介绍了与SautiDB-Naija，一个新的语料库的非母语（L2）尼日利亚英语语音的基础工作。我们描述了语料库是如何创建和策划的，以及口音分类和学习尼日利亚口音嵌入的初步实验。语料库的初始版本包括来自尼日利亚语言的L2英语使用者的900多个录音，如约鲁巴语，伊博语，江户语，Efik-Ibibio和Igala。我们进一步展示了如何对wav 2 vec这样的预训练模型进行微调，以产生适合相关语音任务（如口音分类）的表示。SautiDB-Naija已发布给Zenodo，以灵活的知识共享许可证进行一般使用。
2021-12-12 cs.CL cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University（卡内基梅隆大学）
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起，并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而，这种方法未能利用训练集中语料库之间的相关性和相似性。例如，目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中，我们提出了一个简单但有用的抽样策略，利用这种相关性。我们首先计算语料库级嵌入，并估计每个语料库之间的相似性。接下来，我们首先从每个语料库中均匀采样来训练多语言模型，然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后，模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外，我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Voices Obscured in Complex Environmental Settings (VOICES) corpus
In-Q-Tel Laboratories（In-Q-Tel实验室）；Lab41（Lab41实验室）；SRI International（斯坦福国际研究院）
本文介绍了在复杂环境设置（VOICES）语料库，一个免费的数据集下的知识共享BY 4.0。该数据集将促进在嘈杂的房间条件下由远场麦克风记录的语音和信号处理研究。公开的语音语料库大多由近距离的孤立语音组成。更好地表示真实场景的典型方法是将干净的语音与噪声和模拟的房间响应进行卷积以用于模型训练。尽管有这些努力，但在自然条件下对未经策划的语音进行测试时，模型性能会下降。对于该语料库，音频是在带家具的房间中录制的，背景噪音与从LibriSpeech语料库中选择的前景语音一起播放。在每个房间记录多个会话，以适应所有前景语音-背景噪声组合。录音时使用了12个麦克风，每个麦克风可以录制120小时的音频。这项工作是由SRI International和Lab 41领导的多组织努力，旨在推动信号处理和语音识别中最先进的远距离麦克风方法。
2018-05-15 cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Self-attending RNN for Speech Enhancement to Improve Cross-corpus Generalization
The Ohio State University（俄亥俄州立大学）
深度神经网络（DNN）代表了监督语音增强的主流方法，这主要是因为它们能够使用分层表示对复杂函数进行建模。然而，最近的一项研究表明，在单个语料库上训练的DNN无法推广到未经训练的语料库，特别是在低信噪比（SNR）条件下。开发一种与噪声、说话人和语料库无关的语音增强算法对于实际应用是必不可少的。在这项研究中，我们提出了一个自关注递归神经网络，或关注递归网络（ARN），时域语音增强，以提高跨语料库的泛化。ARN由递归神经网络（RNN）组成，并增加了自注意块和前馈块。我们评估ARN在不同的语料库与非平稳噪声在低信噪比条件下。实验结果表明，ARN大大优于竞争的时域语音增强方法，如RNN和双路径ARN。此外，我们还报告了一个重要的发现，即两种流行的语音增强方法：复谱映射和时域增强，在大规模训练的情况下，RNN和ARN获得了类似的结果。我们还提供了一个具有挑战性的子集的测试集在这项研究中使用的评估未来的算法，并促进直接比较。
2022-03-18 cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Mouth Articulation-Based Anchoring for Improved Cross-Corpus Speech Emotion Recognition
National Tsing Hua University（国立清华大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语料库语音情感识别中声学特征不稳定、易受干扰的问题，本文提出以情感特定的嘴部发音动作作为锚定约束，并在CREMA-D和MSP-IMPROV基准上验证其能有效提升跨领域情感迁移识别性能。
2024-12-27 cs.LG cs.SD eess.AS
PoCaP Corpus: A Multimodal Dataset for Smart Operating Room Speech Assistant using Interventional Radiology Workflow Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Radiologisches Institut Universitätsklinikum Erlangen（埃尔朗根大学医院放射科研究所）
本文提出了一种新的多模式介入放射学数据集，称为PoCaP（Port Catheter Placement）语料库。该语料库由德语语音和音频信号、X射线图像和系统命令组成，这些信号是从6名外科医生的31次PoCaP干预中收集的，平均持续时间为81.4 $\pm$ 41.0分钟。该语料库旨在为开发手术室智能语音助手提供资源。特别是，它可以用于开发语音控制系统，使外科医生能够控制手术参数，如C形臂运动和床的位置。为了记录数据集，我们获得了Erlangen大学医院的机构审查委员会和工人委员会以及患者的同意，以保护数据隐私。我们描述了录音设置，数据结构，工作流程和预处理步骤，并报告了第一个PoCaP语料库语音识别分析结果与11.52 $\%$字出错率使用预训练模型。研究结果表明，这些数据有可能建立一个强大的命令识别系统，并将允许在医疗领域使用语音和图像处理开发一种新的干预支持系统。
2022-06-24 cs.AI cs.SD eess.AS
3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
3D-Speaker构建了超1万名说话人在多设备、多距离、多方言条件下的受控语音语料库，用于研究语音表示解耦，并支持通用语音模型评估及域外学习与自监督学习方法实验。
2023-09-25 cs.CL cs.SD eess.AS
Cross-Corpus Validation of Speech Emotion Recognition in Urdu using Domain-Knowledge Acoustic Features
本研究在跨语料库设置下调查了乌尔都语语音情感识别，使用eGeMAPS和ComParE声学特征及逻辑回归和多层感知机分类器，证明跨语料库评估比同语料库验证更能真实反映模型鲁棒性。
2025-10-28 cs.AI cs.SD eess.AS
