Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs（Facebook现实实验室）
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下，所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中，我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估（3QUEST）的语音平均意见分数（SMOS）和噪声MOS（NMOS）的近场和远场应用的指标。此外，所提出的语音增强方法大大提高了信噪比（SNR）和主观听觉体验。相比之下，传统的语音增强方法虽然增加了NMOS和SNR，但降低了SMOS。此外，所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Speech Enhancement In Multiple-Noise Conditions using Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在本文中，我们考虑的问题，语音增强在现实世界中的条件下，多个噪声可以同时损坏的语音。目前大多数关于语音增强的文献主要集中在远离真实世界环境的受损语音中存在的单个噪声。具体来说，我们处理在办公室环境中，多个固定以及非固定噪声可以同时存在于语音中，以提高语音质量。我们提出了几种基于深度神经网络（DNN）的语音增强策略。我们还研究了一种基于语音编码心理声学模型的DNN训练策略，用于增强带噪语音
2016-05-09 cs.SD
Spoken Speech Enhancement using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们演示了使用生成对抗网络（GAN）为基础的模型，门控递归单元（GRU）回归为基础的模型，时间卷积网络（TCN）回归模型，最后使用混合TCN GRU回归模型使用脑电图（EEG）信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差（MMSE）语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比，传统的方法。我们的总体结果表明，EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知，这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech
Google AI（谷歌人工智能）
本文介绍了一个新的语音语料库称为“LibriTTS”设计的文本到语音的使用。它来自LibriSpeech语料库的原始音频和文本材料，该语料库已用于训练和评估自动语音识别系统。新的语料库继承了LibriSpeech语料库所需的属性，同时解决了一些问题，使LibriSpeech不太理想的文本到语音的工作。发布的语料库由2,456个说话人的585小时24 kHz采样率的语音数据和相应的文本组成。实验结果表明，从LibriTTS语料库中训练的神经端到端TTS模型在六个评价说话人中的五个中的自然度平均意见得分达到4.0以上。该语料库可从http://www.openslr.org/60/免费下载。
2019-04-05 cs.SD eess.AS
JSSS: free Japanese speech corpus for summarization and simplification
The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
在本文中，我们构建了一个新的日语语音语料库的语音为基础的摘要和简化，“JSSS”（发音为“j-triple-s”）。鉴于阅读风格的语音合成的成功，从简短的句子，我们的目标是设计更困难的任务，提供信息给人类。我们的语料库包含两个任务，有一个作用，在提供信息的约束下记录的声音：持续时间约束的文本到语音摘要和说话风格的简化。它还包含长形式的句子作为一个可选的任务的话语。本文介绍了我们如何设计语料库，这是在我们的项目页面。
2020-10-05 cs.SD eess.AS
CUCHILD: A Large-Scale Cantonese Corpus of Child Speech for Phonology and Articulation Assessment
The Chinese University of Hong Kong（香港中文大学）
本文介绍了大规模粤语儿童语音语料库CUCHILD的设计与开发。该语料库包含从1,986名3至6岁的儿童说话者收集的口语单词。语音材料包括130个单词，长度为1至4个音节。演讲者涵盖了典型发育（TD）儿童和言语障碍儿童。语料库的预期用途是支持科学和临床研究，以及与儿童语音评估相关的技术开发。本文详细介绍了语料库的设计，包括语料库的选词、参与者的招募、数据的采集过程以及数据的预处理。声学分析的结果来说明儿童语音的属性。讨论了该语料库在自动语音识别、语音检错和说话人分类等方面的潜在应用。
2020-08-07 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
JVS corpus: free Japanese multi-speaker voice corpus
由于包括深度学习在内的机器学习技术的改进，语音合成正在成为一项机器学习任务。为了加速语音合成的研究，我们正在开发日语语音语料库，不仅学术机构，而且商业公司合理访问。2017年，我们发布了JSUT语料库，其中包含单个扬声器发出的10小时阅读式语音，用于端到端的文本到语音合成。对于语音合成研究中更一般的用途，例如，语音转换和多说话人建模，本文构建了JVS语料库，其中包含三种风格（正常，耳语，假声）的100个说话人的语音数据。语料库包含30小时的语音数据，其中包括22小时的平行正常语音。本文介绍了我们如何设计的语料库，并总结了规格。语料库可在我们的项目页面上找到。
2019-08-17 cs.SD eess.AS
J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo（东京大学）
在本文中，我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功，其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子，它需要跨句子、表达力等。与阅读式语音不同，有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究，我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中，我们的方法可以自动提取和提炼数据，而不依赖于任何语言。具体来说，我们使用声乐乐器分离来提取干净的数据，连接主义的时间分类来粗略对齐文本和音频，语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估，结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
BENYO-S2ST-Corpus-1: A Bilingual English-to-Yoruba Direct Speech-to-Speech Translation Corpus
Covenant University（圣约大学）；Durban University of Technology（德班理工大学）；Walter Sisulu University（沃尔特·西苏鲁大学）；Summit University（萨米特大学）；International University of Grand-Bassam（大巴萨姆国际大学）
本研究提出BENYO-S2ST-Corpus-1，一种双语英语到约鲁巴语音到语音翻译语料库，通过混合架构和音频增强技术生成大规模数据，用于构建预训练模型和改进现有模型，以解决高资源到低资源语言对的翻译缺口。
2026-01-07 cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research（谷歌研究院）
我们介绍了CVSS，一个大规模的多语言到英语的语音到语音翻译（S2 ST）语料库，涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译（ST）语料库，通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音：1）CVSS-C：所有翻译语音都是单个高质量的规范语音; 2）CVSS-T：翻译语音是从相应的源语音转移的语音。此外，CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上，我们分别建立了多语种直接S2 ST模型和级联S2 ST模型，验证了语料库的有效性。为了构建强大的级联S2 ST基线，我们在CoVoST 2上训练了一个ST模型，它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此，直接S2 ST模型的性能在从头开始训练时接近强级联基线，并且在从匹配ST模型初始化时，ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
TALCS: An Open-Source Mandarin-English Code-Switching Corpus and a Speech Recognition Baseline
TAL Education Group（好未来教育集团）
本文介绍了一个新的用于语码转换语音识别的语料库--TALCS语料库，它适用于语码转换语音识别系统的训练和评估。TALCS语料来源于TAL教育集团真实的在线一对一英语教学场景，包含约587小时16 kHz的语音样本。据我们所知，TALCS语料库是目前世界上最大的具有良好标注的中英文语码转换的开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录音过程，包括音频捕获设备和语料库环境。TALCS语料库可以在许可证下免费下载。利用TALCS语料库，我们在两个流行的语音识别工具包ESPnet和Wenet上进行了ASR实验，建立了一个基线系统。在TALCS语料库上比较了两种语音识别工具包的混合出错率（MER）性能。实验结果表明，音频记录和传输的质量是有希望的，基线系统是可行的。
2022-06-27 cs.CL cs.SD eess.AS
LibriTTS-R: A Restored Multi-Speaker Text-to-Speech Corpus
Google（谷歌）；Tokyo University of Agriculture & Technology（东京农工大学）
本文提出LibriTTS-R语料库，通过对LibriTTS进行语音修复提升音质，使神经端到端TTS的语音自然度达到真实样本水平，并免费开放下载。
2023-05-30 cs.SD eess.AS
Voices Obscured in Complex Environmental Settings (VOICES) corpus
In-Q-Tel Laboratories（In-Q-Tel实验室）；Lab41（Lab41实验室）；SRI International（斯坦福国际研究院）
本文介绍了在复杂环境设置（VOICES）语料库，一个免费的数据集下的知识共享BY 4.0。该数据集将促进在嘈杂的房间条件下由远场麦克风记录的语音和信号处理研究。公开的语音语料库大多由近距离的孤立语音组成。更好地表示真实场景的典型方法是将干净的语音与噪声和模拟的房间响应进行卷积以用于模型训练。尽管有这些努力，但在自然条件下对未经策划的语音进行测试时，模型性能会下降。对于该语料库，音频是在带家具的房间中录制的，背景噪音与从LibriSpeech语料库中选择的前景语音一起播放。在每个房间记录多个会话，以适应所有前景语音-背景噪声组合。录音时使用了12个麦克风，每个麦克风可以录制120小时的音频。这项工作是由SRI International和Lab 41领导的多组织努力，旨在推动信号处理和语音识别中最先进的远距离麦克风方法。
2018-05-15 cs.SD eess.AS
GLOBE: A High-quality English Corpus with Global Accents for Zero-shot Speaker Adaptive Text-to-Speech
University of New South Wales（新南威尔士大学）
针对零样本说话人自适应TTS对口音说话人泛化性差的问题，研究者构建了含23519名说话人、164种口音的高质量英语语料库GLOBE，实验证明该语料库训练的模型合成语音说话人相似度更优，自然度相当。
2024-06-21 cs.SD eess.AS
RyanSpeech: A Corpus for Conversational Text-to-Speech Synthesis
University of Denver（丹佛大学）；DreamFace Technologies, LLC（DreamFace科技有限公司）
本文介绍了RyanSpeech，一个新的语音语料库的研究自动文本到语音（TTS）系统。公开可用的TTS语料库通常是嘈杂的，记录多个扬声器，或缺乏高质量的男性语音数据。为了满足语音识别领域对高质量、公开可用的男性语音语料库的需求，我们设计并创建了RyanSpeech，其中包含来自真实世界会话设置的文本材料。这些材料包含超过10个小时的专业男声演员的讲话记录在44.1千赫。该语料库的设计和流水线使RyanSpeech成为在现实世界应用中开发TTS系统的理想选择。为了为未来的研究、协议和基准测试提供基线，我们在RyanSpeech上训练了4个最先进的语音模型和一个声码器。结果显示，在我们最好的模型中，平均意见得分（MOS）为3.36。我们已经制作了语料库和训练模型供公众使用。
2021-06-15 cs.CL cs.SD eess.AS
LibriS2S: A German-English Speech-to-Speech Translation Corpus
Maastricht University（马斯特里赫特大学）
最近，我们看到人们对语音到文本翻译的兴趣越来越大。这导致了这一领域令人惊讶的进步。相比之下，语音翻译领域的活动仍然有限，尽管克服语言障碍至关重要。我们认为，限制因素之一是能否获得适当的训练数据。我们通过创建LibriS2S来解决这个问题，据我们所知，LibriS2S是第一个公开的德语和英语之间的语音到语音训练语料库。对于这个语料库，我们使用了独立创建的德语和英语音频，从而使两种语言的文本发音没有偏见。这允许创建新的文本到语音和语音到语音翻译模型，其直接学习以基于源语言的发音来生成语音信号。使用这个创建的语料库，我们提出了文本到语音模型的基础上，最近提出的FastSpeech 2模型，集成了源语言信息的例子。我们通过调整模型来实现这一点，以将源语音中的音高、能量或转录等信息作为额外的输入。
2022-04-22 cs.CL cs.SD eess.AS
SpeechMatrix: A Large-Scale Mined Corpus of Multilingual Speech-to-Speech Translations
Meta AI Research（Meta人工智能研究院）；Inria（法国国家信息与自动化研究所）
我们提出了SpeechMatrix，一个大规模的多语言语料库的语音到语音翻译挖掘从欧洲议会录音的真实讲话。它包含136个语言对的语音对齐，总共41.8万小时的语音。为了评估这种并行语音的质量，我们仅在挖掘数据上训练双语语音到语音翻译模型，并在EuroParl-ST，VoxPopuli和FLEURS测试集上建立广泛的基线结果。通过SpeechMatrix的多语言性，我们还探索了多语言语音到语音翻译，这是一个很少有其他作品涉及的主题。我们还证明了使用混合专家的模型预训练和稀疏缩放可以大大提高翻译性能。挖掘的数据和模型是免费提供的。
2022-11-08 cs.CL cs.SD eess.AS
Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
语音分割是将长语音分割成短语音段的过程，是语音翻译的关键。流行的VAD工具，如WebRTC VAD，通常依赖于基于暂停的分段。不幸的是，语音中的停顿不一定与句子边界匹配，句子可以通过很短的停顿连接起来，这很难被VAD检测到。在这项研究中，我们提出了一种语音分割方法，使用二进制分类模型训练使用分割的双语语音语料库。我们还提出了一种混合的方法，结合VAD和上述语音分割方法。实验结果表明，该方法更适合级联和端到端ST系统比传统的分割方法。混合方法进一步提高了翻译性能。
2022-07-13 cs.CL cs.SD eess.AS
MUSAN: A Music, Speech, and Noise Corpus
The Johns Hopkins University（约翰斯·霍普金斯大学）
这份报告介绍了一个新的音乐，语音和噪音语料库。该数据集适用于语音活动检测（VAD）和音乐/语音识别的训练模型。我们的语料库在灵活的知识共享许可下发布。该数据集包括几种类型的音乐，12种语言的语音，以及各种各样的技术和非技术噪音。我们演示了使用此语料库的音乐/语音歧视广播新闻和VAD说话人辨识。
2015-10-28 cs.SD
FLEURS-R: A Restored Multilingual Speech Corpus for Generation Tasks
Google DeepMind（谷歌DeepMind）
本文提出语音修复后的多语言并行语料库FLEURS-R，基于FLEURS用Miipher模型提升102种语言语音的质量与保真度，可推动低资源语言语音生成研究，且已公开发布。
2024-08-12 cs.AI cs.CL cs.SD
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
Building speech corpus with diverse voice characteristics for its prompt-based representation
The University of Tokyo（东京大学）；Graduate School of Information Science and Technology（信息科学技术研究院）
针对语音特征多样性受限问题，构建配对语音特征描述与样本的日语语料库，并提出结合对比学习与特征预测学习的模型以实现基于提示的语音检索。
2024-03-20 cs.SD eess.AS
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（埃里沙实验室）
目前，使用端到端神经模型用高质量转录语音数据训练的文本到语音（TTS）系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练，通常从有声读物中提取。同时，由于这类免费语音语料库的稀缺，阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练，因为它们包含多说话者的随意语音，其记录条件和质量存在差异，而为语音合成策划的语料库通常尺寸较小，不适合训练最先进的端到端模型。为了填补这一资源缺口，我们提出了一个语音语料库古典阿拉伯文文本到语音（ClArTTS），以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的，然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中，我们描述了语料库创建的过程，并提供了语料库统计的细节，并与现有资源进行了比较。此外，我们开发了两个TTS系统的基础上，梯度TTS和辉光TTS，并说明了所产生的系统的性能，通过主观和客观的评价。该语料库将在www.clartts.com上公开提供，用于研究目的，以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
A Crowdsourced Open-Source Kazakh Speech Corpus and Initial Speech Recognition Baseline
Institute of Smart Systems and Artificial Intelligence (ISSAI)（智能系统与人工智能研究所（ISSAI））；Nazarbayev University（纳扎尔巴耶夫大学）
我们提出了一个哈萨克语的开源语音语料库。哈萨克语语音语料库（KSC）包含约332小时的转录音频，其中包括来自不同地区和年龄组以及性别的参与者所说的153，000多句话。它由哈萨克族母语人士仔细检查，以确保高质量。KSC是最大的公开数据库，旨在推进各种哈萨克语语音和语言处理应用程序。在本文中，我们首先描述了数据收集和预处理程序，然后描述了数据库规格。我们也分享我们的经验和面临的挑战，在数据库建设，这可能会有益于其他研究人员计划建立一个低资源的语言语音语料库。为了证明数据库的可靠性，我们进行了初步的语音识别实验。实验结果表明，音频和成绩单的质量是有希望的（2.8%的字符错误率和8.7%的单词错误率的测试集）。为了实现实验的可重复性并简化语料库的使用，我们还为我们的语音识别模型发布了ESPnet配方。
2021-01-13 cs.CL cs.SD eess.AS
Towards Domain-Specific Cross-Corpus Speech Emotion Recognition Approach
Southeast University（东南大学）
针对跨语料库SER中的特征分布失配问题，提出融合声学知识双稀疏约束的AKTLR迁移子空间方法，并在EmoDB、eNTERFACE和CASIA上验证其优于现有方法。
2023-12-11 cs.SD eess.AS
FT Speech: Danish Parliament Speech Corpus
IT University of Copenhagen（哥本哈根信息技术大学）；Interactions LLC（Interactions有限责任公司）
本文介绍了FT演讲，一个新的语音语料库创建的记录会议的丹麦议会，也被称为Folketing（FT）。该语料库包含超过1，800小时的转录语音，共有434名发言者。它是显着更大的持续时间，词汇量和自发的讲话量比现有的公共语音语料库丹麦，这在很大程度上是有限的朗读和听写数据。我们概述了设计考虑，包括预处理方法和对齐过程。为了评估语料库的质量，我们训练自动语音识别系统上的新资源，并将它们与丹麦部分Språkbanken，丹麦最大的公共ASR语料库培训的系统进行比较。我们的基线结果表明，我们在新语料库上实现了14.01 WER。FT Speech与域内语言数据的组合提供了与专门在Sprakbanken上训练的模型相当的结果，表明FT Speech可以很好地转移到这个数据集。有趣的是，我们的研究结果表明，情况并非相反。这表明FT Speech为促进更多自发语音的丹麦语ASR研究提供了宝贵的资源。
2020-10-28 cs.CL cs.LG cs.SD
JVNV: A Corpus of Japanese Emotional Speech with Verbal Content and Nonverbal Expressions
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Informatics（信息学研究所）
本研究提出首个用大语言模型自动生成脚本的日语情感语音语料库JVNV，包含言语内容与非言语发声，经筛选得到514个音素覆盖均衡的脚本，在音素覆盖度、情感可识别性上优于现有语料库，为情感语音合成带来新挑战与宝贵资源。
2023-10-09 cs.SD eess.AS
RUSLAN: Russian Spoken Language Corpus for Speech Synthesis
Institute of Computational Mathematics and Information Technologies（计算数学与信息技术研究所）；Kazan Federal University（喀山联邦大学）
我们提出了RUSLAN -一个新的开放式俄语口语语料库的文本到语音的任务。RUSLAN包含22200个带有文本注释的音频样本-一个人超过31小时的高质量语音-就单个说话者的语音持续时间而言，是最大的注释俄语语料库。我们在我们的语料库上训练了一个端到端的神经网络来完成文本到语音的任务，并使用平均意见得分测试来评估合成语音的质量。合成语音达到4.05分的自然度和3.78分的可懂度的5点MOS量表。
2019-06-26 cs.LG cs.SD eess.AS
Deep Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University（东南大学）
本文提出了一种新的深度迁移学习方法--深度隐式分布对齐网络（DIDAN）来处理跨语料库语音情感识别（SER）问题，其中标记的训练（源）和未标记的测试（目标）语音信号来自不同的语料库。具体来说，DIDAN首先采用由一组卷积层和全连接层组成的简单深度回归网络，将源语音频谱直接回归到情感标签中，从而使提出的DIDAN具有情感辨别能力。然后，这种能力被转移到也适用于目标语音样本，而不管语料库的方差，通过诉诸一个精心设计的正则化术语称为隐式分布对齐（IDA）。与广泛使用的最大平均差异（MMD）及其变体不同，建议IDA吸收了样本重构的思想，以隐式地对齐分布间隙，这使得DIDAN能够从语音频谱中学习情感判别和语料库不变特征。为了评估所提出的DIDAN，广泛的跨语料库SER实验上广泛使用的语音情感语料库进行。实验结果表明，DIDAN在处理跨语料库的SER任务时，性能优于许多最新的方法。
2023-02-17 cs.CL cs.SD eess.AS
Comprehending Real Numbers: Development of Bengali Real Number Speech Corpus
Shahjalal University of Science and Technology（沙贾拉尔科技大学）
由于缺乏全面的数据集，语音识别在孟加拉语文献中受到的关注较少。在本文中，我们描述了第一个全面的孟加拉语语音数据集实数的发展过程。它排除了在说出任何孟加拉实数时可能出现的所有可能的单词。该语料库有来自不同地区的孟加拉土著人民的十个发言者。它包括两千多个语音样本，总持续时间接近四个小时。我们还提供了一个深入的分析，我们的语料库，突出了一些显着的特点，最后评估的性能，两个显着的孟加拉语语音识别器上。
2018-03-27 cs.AI cs.SD eess.AS
Emotion-Aware Contrastive Adaptation Network for Source-Free Cross-Corpus Speech Emotion Recognition
Southeast University（东南大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
针对无源跨语料库SER中无法访问源数据的问题，本文提出ECAN，结合最近邻对比学习与监督对比学习实现局部一致性和类别级适应，并在多个语料库上显著优于现有方法。
2024-01-23 cs.SD eess.AS
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
Active Learning for Text-to-Speech Synthesis with Informative Sample Collection
The University of Tokyo, Japan（东京大学）；Keio University, Japan（庆应大学）
针对文本到语音系统中数据规模增长带来的存储挑战，提出一种基于主动学习的语料库构建方法，通过数据采集与模型训练迭代交替获取高信息量数据，在同等规模下实现了更高质量的语音合成。
2025-07-11 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
Learning Nigerian accent embeddings from speech: preliminary results based on SautiDB-Naija corpus
AI Saturdays Lagos（拉各斯AI星期六）；Niger-Volta Language Technologies Institute（尼日尔-沃尔特语言技术研究所）
本文介绍了与SautiDB-Naija，一个新的语料库的非母语（L2）尼日利亚英语语音的基础工作。我们描述了语料库是如何创建和策划的，以及口音分类和学习尼日利亚口音嵌入的初步实验。语料库的初始版本包括来自尼日利亚语言的L2英语使用者的900多个录音，如约鲁巴语，伊博语，江户语，Efik-Ibibio和Igala。我们进一步展示了如何对wav 2 vec这样的预训练模型进行微调，以产生适合相关语音任务（如口音分类）的表示。SautiDB-Naija已发布给Zenodo，以灵活的知识共享许可证进行一般使用。
2021-12-12 cs.CL cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University（卡内基梅隆大学）
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起，并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而，这种方法未能利用训练集中语料库之间的相关性和相似性。例如，目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中，我们提出了一个简单但有用的抽样策略，利用这种相关性。我们首先计算语料库级嵌入，并估计每个语料库之间的相似性。接下来，我们首先从每个语料库中均匀采样来训练多语言模型，然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后，模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外，我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN（雷神BBN技术公司）
本文构建了123小时汉英电话会话语音翻译语料库，通过微调通用翻译模型，目标域BLEU提升超8点，验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
JIS: A Speech Corpus of Japanese Idol Speakers with Various Speaking Styles
NTT Corporation（NTT公司）
本文构建了日本偶像语音语料库JIS，通过提供特定类别的年轻女性偶像语音数据，以促进语音生成AI中TTS和VC系统的严格评估及听众偏好研究。
2025-07-15 cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Layer-Adapted Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University（东南大学）
针对跨语料库语音情感识别的语料差异难题，提出层自适应隐式分布对齐网络LIDAN，通过分层设置不同粒度的隐式分布对齐项学习鲁棒特征，在三个语料库上性能超越现有显式无监督域自适应方法。
2023-10-06 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
Self Supervised Adversarial Domain Adaptation for Cross-Corpus and Cross-Language Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究所）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管最近在语音情感识别（SER）在一个单一的语料库设置的进步，这些SER系统的性能显着降低跨语料库和跨语言的情况。关键原因是SER系统对看不见的条件缺乏泛化能力，这导致它们在跨语料库和跨语言环境中表现不佳。最近的研究集中在利用对抗方法来学习领域广义表示，以提高跨语料库和跨语言SER来解决这个问题。然而，这些方法中的许多方法仅关注跨语料库SER，而没有解决由于源和目标语言数据之间的较大域间隙而导致的跨语言SER性能下降。这篇文章提出了一个对抗性的双重网络（ADDi），它使用三个玩家的对抗性游戏来学习一般化的表示，而不需要任何目标数据标签。我们还引入了一个自监督ADDi（sADDi）网络，该网络利用未标记数据进行自监督预训练。我们提出合成数据生成作为sADDi中的一个借口任务，使网络能够产生情感上有区别的和域不变的表示，并提供互补的合成数据来增强系统。该模型使用5个公开可用的数据集在3种语言进行了严格的评估，并与跨语料库和跨语言SER的多项研究进行了比较。实验结果表明，该模型实现了改进的性能相比，国家的最先进的方法。
2022-04-19 cs.SD eess.AS
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
本文提出日语客服中心共情对话语音语料库CALLS，通过模拟电话接线员场景扩展共情对话语音合成的应用范围，并实验证明混合不同领域语料会导致合成语音质量出现有偏差的改善。
2023-05-23 cs.CL cs.LG cs.SD
PoCaP Corpus: A Multimodal Dataset for Smart Operating Room Speech Assistant using Interventional Radiology Workflow Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Radiologisches Institut Universitätsklinikum Erlangen（埃尔朗根大学医院放射科研究所）
本文提出了一种新的多模式介入放射学数据集，称为PoCaP（Port Catheter Placement）语料库。该语料库由德语语音和音频信号、X射线图像和系统命令组成，这些信号是从6名外科医生的31次PoCaP干预中收集的，平均持续时间为81.4 $\pm$ 41.0分钟。该语料库旨在为开发手术室智能语音助手提供资源。特别是，它可以用于开发语音控制系统，使外科医生能够控制手术参数，如C形臂运动和床的位置。为了记录数据集，我们获得了Erlangen大学医院的机构审查委员会和工人委员会以及患者的同意，以保护数据隐私。我们描述了录音设置，数据结构，工作流程和预处理步骤，并报告了第一个PoCaP语料库语音识别分析结果与11.52 $\%$字出错率使用预训练模型。研究结果表明，这些数据有可能建立一个强大的命令识别系统，并将允许在医疗领域使用语音和图像处理开发一种新的干预支持系统。
2022-06-24 cs.AI cs.SD eess.AS
3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
DAMO Academy（达摩院）；Alibaba Group（阿里巴巴集团）
3D-Speaker构建了超1万名说话人在多设备、多距离、多方言条件下的受控语音语料库，用于研究语音表示解耦，并支持通用语音模型评估及域外学习与自监督学习方法实验。
2023-09-25 cs.CL cs.SD eess.AS
Cross-Corpus Validation of Speech Emotion Recognition in Urdu using Domain-Knowledge Acoustic Features
本研究在跨语料库设置下调查了乌尔都语语音情感识别，使用eGeMAPS和ComParE声学特征及逻辑回归和多层感知机分类器，证明跨语料库评估比同语料库验证更能真实反映模型鲁棒性。
2025-10-28 cs.AI cs.SD eess.AS
A study on cross-corpus speech emotion recognition and data augmentation
Toshiba Europe Limited（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
在语音情感识别（SER）中，能够处理各种说话人和声学条件的模型是必不可少的。通常，这些模型在呈现训练期间不可见的扬声器或声学条件时往往会显示混合结果。本文研究了跨语料库数据补充和数据增强对SER模型在匹配（测试集来自同一语料库）和不匹配（测试集来自不同语料库）条件下性能的影响。调查使用六个情感语音语料库，包括单个和多个扬声器，以及在情感风格（代理，引发，自然）和记录条件的变化。观察结果表明，正如预期的那样，在单个语料库上训练的模型在匹配条件下表现最好，而在不匹配条件下性能下降10-40%，具体取决于语料库的特定特征。在混合语料库上训练的模型在不匹配的上下文中可以更稳定，与匹配条件下的单语料库模型相比，性能降低范围从1%到8%。数据增强产生高达4%的额外增益，并且似乎比匹配条件更有利于不匹配条件。
2022-01-10 cs.CL cs.SD eess.AS
DSSCNet: A Transfer Learning Framework for Cross-Corpus Dysarthric Speech Severity Classification
Department of Computer Science and Engineering, Sikkim Manipal Institute of Technology, India（计算机科学与工程系，西基姆曼普尔理工学院，印度）；Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，西基姆国家理工学院，印度）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），南加州大学，美国洛杉矶）
提出DSSCNet深度学习模型，利用迁移学习和多语料库学习，在TORGO和UA-Speech数据集上分别达到75.80%和68.25%的准确率，优于现有模型。
2026-06-23 cs.AI cs.SD eess.AS
