Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
RealClass: A Framework for Classroom Speech Simulation with Public Datasets and Game Engines
University of Maryland（马里兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Education（教育学院）
针对课堂语音数据匮乏的问题，该研究提出用游戏引擎合成课堂噪声与RIR的可扩展方法，构建了结合合成噪声与公开语音的RealClass数据集，实验验证其能高度模拟真实课堂语音，可弥补真实数据不足。
2025-10-01 cs.AI cs.SD eess.AS
DEPAC: a Corpus for Depression and Anxiety Detection from Speech
Winterlight Labs（温特莱特实验室）
本文提出抑郁焦虑语音检测语料库DEPAC，含多语音任务与人口统计信息，并验证其与手工特征在预测抑郁严重程度上的有效性。
2023-06-20 cs.CL cs.LG cs.SD
JVNV: A Corpus of Japanese Emotional Speech with Verbal Content and Nonverbal Expressions
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Informatics（信息学研究所）
本研究提出首个用大语言模型自动生成脚本的日语情感语音语料库JVNV，包含言语内容与非言语发声，经筛选得到514个音素覆盖均衡的脚本，在音素覆盖度、情感可识别性上优于现有语料库，为情感语音合成带来新挑战与宝贵资源。
2023-10-09 cs.SD eess.AS
From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；North-West University（北开普大学）
研究利用ASR管道为低资源非洲语言Fongbe（声调语言）和豪萨语（非声调语言）扩展文本语料，通过微调MMS-300M和Whisper-Small模型，在Fongbe上实现9.48%的词错误率（相对降低78%），并评估转录质量，发现豪萨语接近可用而Fongbe需后处理。
2026-06-23 cs.AI cs.CL cs.LG
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动语音识别（ASR）训练过程中，应用场景匹配数据的选取是一个重要环节，但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度（SCD）的无监督目标感知数据选择方法，该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列，并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后，我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比，SCD数据选择方法可以关注更多的声学细节，并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明，提出的SCD数据选择可以实现14.8%的相对改善随机选择，相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
SmoothConv and DuplexConv: Complementary Mandarin Multi-Party Conversational Speech Corpora for Speech Interaction
本研究发布了总计2100小时的两个互补中文多方对话语音语料库SmoothConv与DuplexConv，含同步语音轨道与细粒度标注，经SmoothConv基准在多项任务上验证了其用于多方语音交互建模的实用性。
2026-10-09 eess.AS
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Enhancing Code-switched Text-to-Speech Synthesis Capability in Large Language Models with only Monolingual Corpora
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
本文提出CS-LLM，通过多语言语音任务和单语语料拼接构建语码转换数据，在仅用单语数据的情况下提升大语言模型的语码转换语音合成能力。
2025-08-22 cs.CL cs.SD eess.AS
A Persian ASR-based SER: Modification of Sharif Emotional Speech Database and Investigation of Persian Text Corpora
语音情感识别（SER）是人类理解环境和如何与他人交互的基本感知方法之一，因此，近年来，人们一直试图将情感识别能力添加到人机通信系统中。由于SER过程依赖于标记数据，数据库是必不可少的。不完整，低质量或有缺陷的数据可能会导致不准确的预测。在本文中，我们固定谢里夫情感语音数据库（ShEMO），作为一个波斯语数据库，通过使用自动语音识别（ASR）系统和调查的效果，波斯语语言模型获得可访问的波斯语文本语料库。我们还介绍了一个基于波斯语/波斯语ASR的SER系统，该系统使用ASR输出的语言特征和基于深度学习的模型。
2022-11-18 cs.AI cs.SD eess.AS
Adaptive Multi-Corpora Language Model Training for Speech Recognition
Meta AI
神经网络语言模型（NNLM）在自动语音识别（ASR）系统中起着至关重要的作用，特别是在纯文本数据的自适应任务中。在实践中，NNLM通常是在从多个语料库中采样的数据的组合上训练的。因此，数据采样策略是重要的自适应性能。现有的大多数工作集中在设计静态采样策略。然而，每个语料库可能会在不同的NNLM训练阶段表现出不同的影响。在本文中，我们介绍了一种新的自适应多语料库训练算法，动态学习和调整采样概率的每个语料库沿训练过程。该算法对语料库大小和领域相关性具有鲁棒性。与静态采样策略基线相比，所提出的方法分别在域内和域外适应任务上实现了相对7%和9%的字错误率（WER）降低，从而产生了显着的改善。
2022-11-09 cs.CL cs.LG eess.AS
Training Multi-Speaker Neural Text-to-Speech Systems using Speaker-Imbalanced Speech Corpora
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（简称SOKENDAI））；KDDI Research Inc.（KDDI研究株式会社）；University of Edinburgh（爱丁堡大学）
当目标说话人的可用数据不足以训练高质量的说话人相关神经文本转语音（TTS）系统时，我们可以将来自多个说话人的数据合并，训练多说话人TTS模型。许多研究表明，用少量多个说话人的数据训练的神经网络多说话人TTS模型可以产生比依赖于说话人的合成语音质量更好、稳定性更好的合成语音。然而，当来自每个说话者的数据量高度不平衡时，利用过量数据的最佳方法仍然未知。我们的实验表明，简单地结合所有可用的数据，从每个扬声器训练多扬声器模型产生更好的或至少类似的性能，其扬声器相关的副本。此外，通过使用集成多说话人模型，其中每个子系统在可用数据的子集上进行训练，我们可以进一步提高合成语音的质量，特别是对于训练数据有限的代表性不足的说话人。
2019-04-07 cs.CL cs.SD eess.AS
Speech collage: code-switched audio generation by collaging monolingual corpora
Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）；University of Edinburgh（爱丁堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出Speech Collage，通过拼接单语音频片段并采用重叠相加技术合成语码转换数据，在领域内与零样本ASR场景中分别显著降低混合错误率和词错误率。
2023-09-27 cs.CL cs.LG cs.SD
EmoNet: A Transfer Learning Framework for Multi-Corpus Speech Emotion Recognition
本文从深层迁移学习的角度研究了多语料语音情感识别问题。EmoSet是一个大型情感语音数据库，由许多现有的SER语料库组成。总的来说，录音集包含来自26个SER语料库的84181个录音，总时长超过65小时。然后，语料库被用来创建一个新的框架，多语料库语音情感识别，即神经网络。将深度ResNet架构和残差适配器的组合从多域视觉识别领域转移到TMS320Set上的多语料库SER。与ResNet的两个合适的基线和更传统的训练和传输设置相比，残差适配器方法能够在所有26个语料库上对多域SER模型进行参数有效训练。一个共享模型的参数数量仅为在单个数据库上训练的模型的参数数量的$3.5$倍，这导致了对RISTOSet中26个语料库中的21个的性能提高。通过McNemar检验测量，这些改进对于$p<0.05$的10个数据集是进一步显著的，而只有两个语料库在残余衔接子转移实验中仅看到显著降低。最后，我们在https://github.com/EIHW/EmoNet上向用户和开发人员公开了我们的WARNET框架。CNET提供了一个广泛的命令行界面，该界面具有全面的文档记录，可用于各种多语料库迁移学习设置。
2021-03-10 cs.LG cs.SD eess.AS
Spoken Language Corpora Augmentation with Domain-Specific Voice-Cloned Speech
本文研究领域特定合成样本增强口语语料库对语音识别系统的影响，对比传统神经TTS与零样本语音克隆生成的不同语音数量合成数据，发现高多语音性的语音克隆数据更有效，且高可变性数据能持续提升ASR质量。
2024-07-29 eess.AS
A Pilot Study of GSLM-based Simulation of Foreign Accentuation Only Using Native Speech Corpora
Graduate School of Engineering, The University of Tokyo（东京大学工学研究院）
本研究提出仅用母语语料库，通过GSLM模型模拟外语口音形成，实验证明合成口音自然且程度可控。
2024-07-16 cs.CL cs.SD eess.AS
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学与技术研究院）；Japan Kyoto University（京都大学）
针对仅用母语数据合成外语口音语音的现有方法无法再现时长口音的问题，本文整合时长修改，提出韵律增强方法，实验证明能成功复现真实L2语音中的时长口音。
2025-05-22 cs.SD eess.AS
CTC-Segmentation of Large Corpora for German End-to-end Speech Recognition
最近的端到端自动语音识别（ASR）系统展示了优于传统混合DNN/ HMM ASR的能力。除了这些系统的结构改进外，这些模型在深度、参数和模型容量方面都有所增加。然而，这些模型也需要更多的训练数据来实现可比的性能。在这项工作中，我们结合了德国语音识别，包括尚未标记的语音数据，超过$1700$ h的语音数据的大数据集免费提供的语料库。对于数据准备，我们提出了一种两阶段的方法，该方法使用用连接主义时间分类（CTC）预训练的ASR模型，从未分割或未标记的训练数据中引导更多的训练数据。然后，从CTC训练的网络获得的标签概率中提取话语，以确定片段对齐。利用这些训练数据，我们训练了一个混合CTC/attention Transformer模型，该模型在Tuda-DE测试集上实现了$12.8\%$ WER，超过了传统混合DNN/HMM ASR的$14.4\%$的先前基线。
2020-10-05 eess.AS
Exploring the limits of decoder-only models trained on public speech recognition corpora
IBM Research（IBM研究院）
本研究探究仅用公开英文ASR语料训练纯解码器模型的性能上限，提出的DOTA模型在多数基准上优于开源Whisper复刻版，部分测试集超过Whisper large-v3，并开源相关资源。
2024-01-31 cs.CL cs.SD eess.AS
Updated Corpora and Benchmarks for Long-Form Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
本文更新并重新发布TED-LIUM 3、Gigapeech和VoxPopuli-en以支持长语音ASR研究，分析训练-测试切分不匹配，并验证简单长语音训练可增强模型鲁棒性。
2023-09-26 cs.CL cs.SD eess.AS
Voice Conversion for Likability Control via Automated Rating of Speech Synthesis Corpora
National Institute of Advanced Industrial Science and Technology (AIST)（日本先进工业科学和技术研究所）；Keio University（庆应大学）；The University of Tokyo（东京大学）
本文提出一种语音转换方法，通过训练好感度预测器自动标注大型语音合成语料库，在保留说话人身份和语言内容的同时有效控制语音好感度，实验验证了其有效性。
2025-07-02 cs.SD eess.AS
DRSpeech: Degradation-Robust Text-to-Speech Synthesis with Frame-Level and Utterance-Level Acoustic Representation Learning
LINE Corporation（LINE公司）；The University of Tokyo（东京大学）
大多数文本到语音（TTS）方法使用在精心设计的环境中记录的高质量语音语料库，这会导致很高的数据汇集成本。为了解决这个问题，现有的噪声鲁棒TTS方法旨在使用带噪语音语料库作为训练数据。然而，它们仅解决时不变或时变噪声。我们提出了一种退化鲁棒的TTS方法，它可以在包含加性噪声和环境失真的语音语料库上进行训练。它联合表示时变加性噪声与帧级编码器和时不变的环境失真与话语级编码器。我们还提出了一种正则化方法，以获得清洁的环境嵌入，是从话语相关的信息，如语言内容和说话人的特征。实验结果表明，在同时存在加性噪声和混响的情况下，该方法的合成语音质量明显高于以往的方法。
2022-06-29 cs.SD eess.AS
Scenario Aware Speech Recognition: Advancements for Apollo Fearless Steps & CHiME-4 Corpora
University of Texas at Dallas（得克萨斯大学达拉斯分校）
在这项研究中，我们建议调查三重损失的目的，替代功能表示ASR。我们考虑一个一般的非语义语音表示，这是训练与自我监督的标准的基础上三重损失称为TRILL，声学建模，以代表每个音频的声学特性。然后将该策略应用于CHiME-4语料库和CRSS-UTDallas Fearless Steps语料库，重点是由5个选定的NASA Apollo-11通道组成的100小时挑战语料库。对提取的嵌入的分析提供了基于声学区分属性将训练话语表征为不同组所需的基础。此外，我们还证明了基于三重损失的嵌入在声学建模中的性能优于i-Vector，证实了三重损失比说话人特征更有效。通过额外的技术，如发音和沉默概率建模，再加上多风格的训练，我们实现了+5.42%和+3.18%的相对WER改善的无畏步骤语料库的开发和评估集。为了探索推广，我们在CHiME-4的1通道轨道上进一步测试了相同的技术，并观察到真实测试数据的相对WER改善了+11.90%。
2021-09-23 cs.LG cs.SD eess.AS
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Towards Interpretable and Transferable Speech Emotion Recognition: Latent Representation Based Analysis of Features, Methods and Corpora
Technical University of Denmark（丹麦技术大学）；Copenhagen University Hospital（哥本哈根大学医院）；Copenhagen University（哥本哈根大学）
近年来，语音情感识别（SER）已被广泛应用于从医疗保健到商业部门。除了信号处理方法之外，用于SER的方法现在还使用深度学习技术。然而，在语言，语料库和记录条件的概括仍然是该领域的一个公开的挑战。此外，由于深度学习算法的黑箱性质，一个新的挑战是模型和决策过程缺乏解释和透明度。当SER系统部署在影响人类生活的应用中时，这一点至关重要。在这项工作中，我们解决这个差距，提供了一个深入的分析，建议SER系统的决策过程。为此，我们提出了低复杂性SER的基础上不完全和去噪自动编码器，实现了平均分类精度超过55%的四类情感分类。在此之后，我们调查的集群的情绪在潜在的空间，了解语料库的影响模型的行为，并获得一个物理解释的潜在嵌入。最后，我们探讨了每个输入功能对SER性能的作用。
2021-05-05 cs.AI cs.SD eess.AS
Text-to-speech synthesis from dark data with evaluation-in-the-loop data selection
The University of Tokyo（东京大学）
本文提出了一种从暗数据中选择用于文语合成的训练数据的方法。TTS模型通常在高质量的语音语料库上训练，这花费了大量的时间和金钱用于数据汇集，这使得增加说话人变异非常具有挑战性。相比之下，有大量数据的可用性是未知的（也称为“暗数据”），例如YouTube视频。为了利用TTS语料库以外的数据，以前的研究已经从语料库中选择语音数据的声学质量的基础上。然而，考虑到已经提出了对数据噪声鲁棒的TTS模型，我们应该基于其作为给定TTS模型的训练数据的重要性来选择数据，而不是语音本身的质量。我们的方法与一个循环的训练和评估选择训练数据的基础上自动预测的质量的合成语音的一个给定的TTS模型。使用YouTube数据的评估结果表明，我们的方法优于传统的基于声学质量的方法。
2022-10-26 cs.SD eess.AS
VoxTubeS: Distributable Speaker-Anonymized Synthetic Speech Corpora and Their Analysis
National Institute of Informatics（国立情报学研究所）；University of Science and Technology of China（中国科学技术大学）
VoxTubeS提出可再分发的说话人匿名合成语音语料库家族，基于VoxTube构建七个变体，通过多维度评估揭示隐私、实用性与多样性间的权衡，无单一最优方法。
2026-09-14 eess.AS
UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo（东京大学）
我们提出UTDUSS，UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道：声码器和声学+声码器。我们的系统采用了神经音频编解码器（NAC）只在语音语料库上进行预训练，这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨，我们训练了一个基于Transformer编码器-解码器的声学模型，该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略，例如数据选择，下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
Gender Representation in French Broadcast Corpora and Its Impact on ASR Performance
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文分析了法语广播四个主要语料库中的性别表征。这些语料库在语音处理社区中被广泛使用，它们是训练自动语音识别（ASR）系统的主要材料。由于性别偏见已在众多的自然语言处理（NLP）的应用程序中突出显示，我们研究的ASR系统的性能上的电视和广播中的性别不平衡的影响。这一分析表明，在我们的数据中，女性在发言者和发言轮数方面的代表性不足。我们引入了演讲者角色的概念来完善我们的分析，发现女性在与杰出演讲者相对应的锚类别中甚至更少。两性现有数据的差异导致妇女的业绩下降。然而，当有足够的数据时，这一全球趋势可以对习惯于在媒体上发言的发言者进行平衡。
2019-08-23 cs.CL cs.SD eess.AS
Mix and Match: An Empirical Study on Training Corpus Composition for Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon（亚马逊Alexa人工智能部门）
使用单语语料库训练多语言神经文本转语音（NTTS）模型已经成为构建基于语音克隆的多语言NTTS系统的流行方式。为了训练这些模型，了解训练语料库的组成如何影响多语言语音合成的质量是至关重要的。在这种情况下，经常会听到这样的问题：“考虑到两种语言的接近性，包括更多的西班牙语数据是否有助于我的意大利语合成？".不幸的是，我们发现关于这一主题的现有文献在这方面缺乏完整性。在目前的工作中，我们进行了广泛的消融研究，旨在了解各种因素的培训语料库，如语言的家庭关系，性别组成，和扬声器的数量，有助于多语言合成的质量。我们的研究结果包括观察到，女性说话者数据在大多数情况下是首选的，它并不总是有益的，有更多的发言者从目标语言变体的训练语料库。本文的研究结果对语料的获取和语料库的建立有一定的参考价值。
2022-07-04 cs.CL cs.LG eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University（根特大学）；imec（比利时微电子研究中心）
已知自动语音识别（ASR）系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型，以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中，我们提出了多项增强功能来缓解这些问题。首先，我们提出了一种基于语音源过滤器模型的数据增强技术，以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性，使这些样本在感知上类似于儿童的语音。其次，使用这种增强策略，我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构，这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型，用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务，使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
A Transfer Learning End-to-End ArabicText-To-Speech (TTS) Deep Architecture
Ain Shams University（艾因夏姆斯大学）
语音合成是人类语音的人工产生。典型的文本到语音系统将语言文本转换成波形。有许多英语TTS系统，产生成熟的，自然的，和人类一样的语音合成器。相比之下，包括阿拉伯语在内的其他语言直到最近才得到考虑。现有的阿拉伯语语音合成解决方案速度慢、质量低，并且合成语音的自然度不如英语合成器。他们也缺乏必要的语音关键因素，如语调，重音和节奏。提出了不同的工作来解决这些问题，包括使用连接方法，如单位选择或参数方法。然而，它们需要大量的艰苦工作和领域专业知识。阿拉伯语语音合成器性能如此之差的另一个原因是缺乏语音语料库，不像英语有许多公开的语料库和有声读物。这项工作描述了如何使用端到端神经深度网络架构生成高质量，自然和人性化的阿拉伯语语音。这项工作只使用$\langle$文本，音频$\rangle$对与相对少量的录音音频样本，共2.41小时。它说明了如何使用英语字符嵌入，尽管使用变音阿拉伯字符作为输入，以及如何预处理这些音频样本，以达到最佳效果。
2020-07-22 cs.LG cs.SD eess.AS
Automated speech tools for helping communities process restricted-access corpora for language revival efforts
Stanford University（斯坦福大学）；Australian National University（澳大利亚国立大学）；University of Groningen（格罗宁根大学）
许多濒危语言的语音档案记录仍然没有注释，社区成员和语言学习计划无法访问。一个瓶颈是注释的时间密集性。对于具有访问限制的录音，会出现更窄的瓶颈，例如在注释开始之前必须由授权社区成员审查或过滤的语言。我们提出了一个隐私保护的工作流程，以扩大两个瓶颈的录音中，在濒危语言的语音与更广泛使用的语言，如英语的元语言的评论和问题（例如，什么是“树”这个词？）。我们集成了语音活动检测（VAD）、口语识别（SLI）和自动语音识别（ASR）来转录元语言内容，授权人员可以快速扫描这些元语言内容，以分类记录，这些记录可以由访问级别较低的人员进行注释。我们报告正在进行的工作处理136小时档案音频包含英语和Muruwari的混合。我们与Muruwari档案材料保管人的合作工作表明，即使只有最少量的注释训练数据，这种工作流程也可以将元语言转录时间减少20%：SLI和ASR每种语言10个发音最多39分钟，可能只有39秒。
2022-04-24 cs.CL cs.SD eess.AS
FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised Learning Features in Robust End-to-end Speech Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
自监督学习表示（SSLR）在许多领域中为下游任务提供了鲁棒的功能。最近，几个SSLR在自动语音识别（ASR）基准语料库上显示出有希望的结果。然而，以前的研究只显示了作为ASR模型输入特征的孤立SSLR的性能。在这项研究中，我们建议调查不同的SSLR组合使用各种融合方法在端到端（E2E）ASR模型的有效性。此外，我们将展示这些提取的SSLR之间的相关性。因此，我们进一步提出了去相关的特征细化损失，以有效地组合输入特征集。对于评估，我们表明，建议的“FeaRLESS学习功能”比系统更好地执行没有建议的功能细化损失的华尔街日报和无畏的步骤挑战（FSC）语料库。
2022-06-30 cs.LG cs.SD eess.AS
Impact of Speech Mode in Automatic Pathological Speech Detection
Idiap Research Institute（Idiap研究所）
本文比较经典机器学习与深度学习在受控言语和自发言语上的病理性言语检测效果，发现深度学习更能捕捉自发言语中的判别线索。
2024-06-14 cs.LG cs.SD eess.AS
Leveraging Large Text Corpora for End-to-End Speech Summarization
NTT Corporation（日本电报电话公司）
端到端语音摘要（E2E SSum）是一种直接从语音中生成摘要句子的技术。与结合了自动语音识别（ASR）和文本摘要模型的级联方法相比，E2 E方法更有前途，因为它减轻了ASR错误，结合了非语言信息，并简化了整个系统。然而，由于收集大量成对数据（即，语音和摘要）是困难的，训练数据通常不足以训练健壮的E2E SSum系统。在本文中，我们提出了两种新的方法，利用大量的外部文本摘要数据的E2E SSum训练。第一种技术是利用文本到语音（TTS）系统来生成合成语音，该合成语音用于具有文本摘要的E2E SSum训练。第二种是TTS自由的方法，直接输入音素序列，而不是合成语音的E2E SSum模型。实验表明，我们提出的TTS和音素为基础的方法提高了几个指标的How2数据集。特别是，我们最好的系统比以前最先进的系统性能好得多（即，METEOR评分改善超过6分）。据我们所知，这是E2E SSum使用外部语言资源的第一个工作。此外，我们报告了How2数据集的详细分析，以确认我们提出的E2E SSUM系统的有效性。
2023-03-02 cs.CL eess.AS
A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近的文本到语音（TTS）系统在阅读或表演语料库的训练已经达到接近人类水平的自然。然而，人类语言的多样性往往超出了这些语料库的覆盖范围。我们认为，处理这种多样性的能力对于人工智能系统实现人类水平的沟通至关重要。我们的工作探索了使用更丰富的真实世界的数据来构建语音合成器。我们使用来自YouTube和播客的真实语音来训练TTS系统。我们观察到基于梅尔谱图的自回归模型中训练和推理对齐之间的不匹配，导致难以理解的合成，并证明多个代码组中的学习离散代码有效地解决了这个问题。我们介绍我们的MQTTS系统，其架构是专为多个代码生成和单调对齐，随着使用一个干净的沉默提示，以提高合成质量。我们进行消融分析，以确定我们的方法的有效性。我们表明，MQTTS优于现有的TTS系统在几个客观和主观的措施。
2023-02-08 cs.AI cs.LG cs.SD
End-to-End ASR for Code-switched Hindi-English Speech
Microsoft Research India（微软印度研究院）
端到端（E2 E）模型已被探索用于大型语音语料库，并已被发现在某些语言中匹配或优于传统的基于流水线的系统。然而，大多数端到端模型的先前工作使用超过数百或数千小时的语音语料库。在这项研究中，我们探索了端到端的代码转换印地语-英语语言的模型，不到50小时的数据。我们利用两个具体的措施，以提高网络的性能在低资源设置，即多任务学习（MTL）和平衡的语料库来处理固有的类不平衡问题，即倾斜的频率分布超过字素。我们将所提出的方法与传统的级联ASR系统的结果进行比较。虽然缺乏数据会对端到端模型的性能产生不利影响，但我们看到MTL和平衡语料库的改进是有希望的。
2019-06-22 cs.CL cs.LG cs.SD
Multilingual Bottleneck Features for Improving ASR Performance of Code-Switched Speech in Under-Resourced Languages
Stellenbosch University（斯泰伦博斯大学）
在这项工作中，我们探讨的好处，使用多语言瓶颈功能（MBNF）在声学建模的自动语音识别的代码切换（CS）语音在非洲语言。在为这种资源严重不足的语音类型开发语音识别系统时，感兴趣语言的注释语料库的不可用性一直是主要挑战。因此，值得研究的潜力，使用语音语料库可用于其他资源更好的语言，以提高语音识别性能。为了实现这一目标，我们训练的mBNF提取器使用九个南部班图语言的一部分，免费提供的多语言NCHLT语料库。我们将这些mBNF附加到现有的MFCC、音高特征和i向量上，以训练声学模型，用于目标代码切换语言的自动语音识别（ASR）。我们的研究结果表明，包含的mBNF功能导致明显的性能改善基线训练没有mBNF代码切换英语-isiZulu，英语-isiXhosa，英语-Sesperium和英语-Setperium语音。
2020-10-31 cs.CL cs.LG cs.SD
Language model fusion for streaming end to end speech recognition
Google Inc.（谷歌公司）
语音音频的流处理是当前许多实际语音识别任务所需要的。即使今天有大量的手动转录语音数据语料库，这样的语料库也不可能充分覆盖语言内容的长尾，这对开放式听写和语音搜索等任务很重要。我们试图通过使用在未配对文本数据上训练的语言模型（LM）来解决流和尾部识别的挑战，以增强端到端（E2E）模型。我们将浅融合和冷融合方法扩展到流式递归神经网络传感器（RNNT），并提出了两种新的竞争性融合方法，进一步增强了RNNT架构。我们对不同训练集大小的多种语言的研究结果表明，这些融合方法通过引入额外的语言特征来提高流RNNT的性能。冷聚变在流RNNT上的效果始终更好，WER提高高达8.5%。
2021-04-09 cs.CL cs.LG cs.SD
A Semi-Automatic Approach to Create Large Gender- and Age-Balanced Speaker Corpora: Usefulness of Speaker Diarization & Identification
French National Institute of Audiovisual (INA)（法国国家视听研究院）；CNRS（法国国家科学研究中心）；LISN（计算机科学与数字技术交叉科学实验室）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出一种半自动流水线方法，结合语音检测、去噪与说话人日志技术，高效构建性别、年龄与时期均衡的大规模说话人语料库，将人工处理量减少十倍并保证高输出质量。
2024-04-26 cs.CL cs.DL cs.LG
TTS-by-TTS 2: Data-selective augmentation for neural speech synthesis using ranking support vector machine with variational autoencoder
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
合成语音质量的最新进展使我们能够通过使用合成语料库来训练文本到语音（TTS）系统。然而，仅仅增加合成数据的量并不总是有利于提高训练效率。我们在这项研究中的目的是选择性地选择有利于训练过程的合成数据。在所提出的方法中，我们首先采用变分自动编码器，其后验分布被用来提取潜在的特征，代表录音和合成语料库之间的声学相似性。通过使用这些学到的功能，然后我们训练排名支持向量机（RankSVM），这是众所周知的有效排名二进制类之间的相对属性。通过将记录的和合成的语音设置为两个相反的类，RankSVM用于确定合成的语音在声学上如何与记录的数据相似。然后，从大规模合成语料库中选择分布与记录数据接近的合成TTS数据。通过使用这些数据对TTS模型进行再训练，可以显著提高合成质量。客观和主观评价结果表明，该方法优于传统的方法。
2022-06-30 cs.SD eess.AS
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
本文提出自监督语音质量评估模型S3QA，利用WavLM嵌入余弦距离作为训练目标，在多种退化条件下预测语音质量，并与MOS和ASR性能对齐，实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）；Xiaomi Corp.（小米公司）
针对人工标注语音语料中转写错误损害 ASR 性能的问题，本文提出扩展 CTC 的 BTC 准则，通过 WFST 组合增强训练图以显式建模转写不确定性，从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
A study on cross-corpus speech emotion recognition and data augmentation
Toshiba Europe Limited（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
在语音情感识别（SER）中，能够处理各种说话人和声学条件的模型是必不可少的。通常，这些模型在呈现训练期间不可见的扬声器或声学条件时往往会显示混合结果。本文研究了跨语料库数据补充和数据增强对SER模型在匹配（测试集来自同一语料库）和不匹配（测试集来自不同语料库）条件下性能的影响。调查使用六个情感语音语料库，包括单个和多个扬声器，以及在情感风格（代理，引发，自然）和记录条件的变化。观察结果表明，正如预期的那样，在单个语料库上训练的模型在匹配条件下表现最好，而在不匹配条件下性能下降10-40%，具体取决于语料库的特定特征。在混合语料库上训练的模型在不匹配的上下文中可以更稳定，与匹配条件下的单语料库模型相比，性能降低范围从1%到8%。数据增强产生高达4%的额外增益，并且似乎比匹配条件更有利于不匹配条件。
2022-01-10 cs.CL cs.SD eess.AS
Realistic multi-microphone data simulation for distant speech recognition
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
逼真的模拟语料库的可用性对未来远程语音识别技术的发展至关重要。数据模拟过程的可靠性、灵活性和低计算成本最终可能允许研究人员在各种声学场景中训练、调整和测试不同的技术，从而避免直接记录来自目标环境的真实数据的费力工作。在过去的十年中，一些模拟语料库已经发布给研究界，包括在项目和国际挑战的背景下分布的数据集，如CHiME和REVERB。这些努力对于为比较目的确定基线和共同评价框架极为有用。与此同时，在许多情况下，他们强调需要在真实和模拟条件之间建立更好的一致性。在本文中，我们研究这个问题，我们描述了我们的方法来生成现实语料库在国内的背景下。在多麦克风场景中进行的实验验证表明，在不同的识别框架、声学模型以及多麦克风处理技术中，可以观察到具有可比性的性能趋势。
2017-11-26 cs.SD eess.AS
Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation
East China University of Science and Technology（华东理工大学）；University of St.Gallen（圣加仑大学）
本文提出一种仅用两个增强函数即可自动将语音解缠为内容、音色、节奏和音高四部分的语音转换模型，无需手工特征或瓶颈调优，实验证明其在解缠有效性和自然度上优于基线。
2023-06-21 cs.LG cs.SD eess.AS
Multilingual Speech Recognition with Corpus Relatedness Sampling
Carnegie Mellon University（卡内基梅隆大学）
多语言声学模型已成功地应用于低资源语音识别。现有的大多数工作都是将许多小语料库结合在一起，并通过从每个语料库中统一采样来预训练多语言模型。该模型最终在每个目标语料库上进行微调。然而，这种方法未能利用训练集中语料库之间的相关性和相似性。例如，目标语料库可能从相同领域的语料库或来自接近语言的语料库中受益更多。在这项工作中，我们提出了一个简单但有用的抽样策略，利用这种相关性。我们首先计算语料库级嵌入，并估计每个语料库之间的相似性。接下来，我们首先从每个语料库中均匀采样来训练多语言模型，然后根据相关语料库与目标语料库的相似度逐渐增加从相关语料库中采样的概率。最后，模型将在目标语料库上自动微调。我们的抽样策略在16个低资源任务上优于基线多语言模型。此外，我们证明了我们的语料库嵌入捕获每个语料库的语言和域信息。
2019-08-02 cs.CL cs.SD eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义，而自动语音识别（ASR）技术是实现这一目标的有力工具。然而，由于濒危语言通常不具有具有许多说话者的大型语料库，因此在它们上训练的ASR模型的性能通常相当差。然而，我们经常会留下大量需要转录的自发语音数据记录。在这项工作中，为了减轻这种扬声器稀疏性问题，我们建议转换整个训练语音数据，使其听起来像测试扬声器，以便为该扬声器开发一个高度准确的ASR系统。为此，我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法，即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善，在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法，即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
Automatic and perceptual discrimination between dysarthria, apraxia of speech, and neurotypical speech
Idiap Research Institute（伊迪亚普研究所）；Geneva University Hospital（日内瓦大学医院）；University of Geneva（日内瓦大学）
在运动性言语障碍（MSD）的背景下，自动技术通常是两类技术，旨在区分构音障碍和神经型言语或构音障碍和言语失用症（AoS）。此外，尽管提出了这样的技术来支持临床医生的感知评估，但从未比较过自动分类准确度和感知分类准确度。在本文中，我们研究了一个三级自动技术和一组手工制作的功能，用于区分构音障碍，AOS和神经型语音。针对多类分类问题，本文提出了一种层次化的方法，而不是采用通常使用的一对一或一对其余的方法。此外，进行知觉研究，其中要求言语和语言病理学家听构音障碍、AoS和神经典型言语的录音，并决定录音属于哪一类。建议的自动技术进行评估相同的录音和自动和感知分类性能进行了比较。所呈现的结果表明，分层分类方法产生了更高的分类精度比基线一对一和一对休息的方法。此外，所呈现的结果表明，自动方法产生了更高的分类精度比语音和语言病理学家的感知评估，展示了在临床实践中集成自动工具的潜在优势。
2021-06-02 cs.SD eess.AS
