Domain Expansion in DNN-based Acoustic Models for Robust Speech Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
用顺序输入的数据训练声学模型--同时利用新数据并避免遗忘效应--是在语音识别中达到人类智能水平的一个重要障碍。利用来自新域的数据的一种显而易见的方法（例如，新的重音语音）是首先通过组合所有可用数据来生成所有域的综合数据集，然后使用该数据集来重新训练声学模型。然而，随着训练数据量的增长，在如此大规模的数据集上进行存储和再训练几乎是不可能的。为了解决这个问题，在这项研究中，我们研究了几个域扩展技术，只利用新领域的数据，以建立一个更强大的模型，为所有领域。这些技术旨在以最小的遗忘效应（即，它们保持原始模型性能）。这些技术通过施加新的约束来修改自适应过程，包括（1）权重约束自适应（WCA）：保持模型参数接近原始模型参数;（2）弹性权重合并（EWC）：减慢对先前建立的域重要的参数的训练;（3）软KL发散（SKLD）：限制原始模型输出分布和适应模型输出分布之间的KL发散;以及（4）混合SKLD-EWC：结合SKLD和EWC约束。我们在口音适应任务中评估了这些技术，在该任务中，我们将用母语英语训练的深度神经网络（DNN）声学模型适应于三种不同的英语口音：澳大利亚人，西班牙人和印度人。实验结果表明，SKLD算法的性能明显优于EWC算法，而EWC算法的性能优于WCA算法。混合SKLD-EWC技术可实现最佳的整体性能。
2019-10-01 cs.CL cs.LG eess.AS
Speaker Cluster-Based Speaker Adaptive Training for Deep Neural Network Acoustic Modeling
Sony Computer Entertainment America（索尼电脑娱乐美国公司）
提出了一种基于深度神经网络-隐马尔可夫模型（DNN-HMM）的说话人自适应训练（SAT）方法。在训练期间，使用基于i向量的距离度量来对声学上彼此相邻的扬声器进行分层聚类。然后，针对每个扬声器集群自适应地训练具有扬声器相关层的DNN。在解码开始之前，通过比较基于i向量的距离，将测试集中的未见过的说话人匹配到最近的说话人聚类。匹配的说话人聚类的先前训练的DNN用于解码测试说话人的话语。所提出的方法在大词汇量自发语音识别任务上的性能在具有1500小时语音的训练集和具有1774个话语的24个说话者的测试集上进行评估。与具有11.6%的基线字出错率的说话人无关DNN相比，从所提出的方法观察到字出错率相对降低6.8%。
2016-04-20 cs.CL
DNN-Based Semantic Model for Rescoring N-best Speech Recognition List
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林信息学研究实验室）
自动语音识别（ASR）系统的字出错率（WER）在由于噪声等而在训练条件和测试条件之间发生失配时增加。在这种情况下，声学信息可能不太可靠。这项工作的目的是改善ASR建模长期的语义关系，以补偿失真的声学特征。我们建议通过对ASR N-最佳假设列表进行重新评分来执行此操作。为了实现这一点，我们训练一个深度神经网络（DNN）。我们的DNN重新评分模型旨在选择具有更好语义一致性的假设，从而降低WER。我们研究了两种类型的表示作为DNN模型的输入特征的一部分：静态词嵌入（来自word 2 vec）和动态上下文嵌入（来自BERT）。声学和语言特征也包括在内。我们在公开的数据集TED-LIUM上进行实验，混合了真实的噪声。所提出的rescoring方法给出了显着改善的WER的ASR系统没有rescoring模型在两个嘈杂的条件下，与n-gram和RNNLM。
2020-11-02 cs.CL
Small-footprint Highway Deep Neural Networks for Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；The University of Edinburgh（爱丁堡大学）
现有技术的语音识别系统通常采用神经网络声学模型。然而，与高斯混合模型相比，基于深度神经网络（DNN）的声学模型通常具有更多的模型参数，使得它们难以部署在资源受限的平台（诸如移动设备）上。在本文中，我们研究了最近提出的高速公路深度神经网络（HDNN）训练小足迹声学模型的应用。HDNN是一种深度门控前馈神经网络，它包括两种类型的门函数，以促进通过不同层的信息流。我们的研究表明，对于声学建模，HDNN比常规DNN更紧凑，即，它们可以用少得多的模型参数实现相当的识别精度。此外，HDNN比DNN更可控：HDNN的门函数可以使用非常少量的模型参数控制整个网络的行为。最后，我们证明了HDNN比DNN更具适应性。例如，使用自适应数据简单地更新门函数可以导致准确度的相当大的增益。我们证明了这些方面的实验使用公开的AMI语料库，其中有大约80小时的训练数据。
2017-04-25 cs.CL cs.LG
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Transferring Knowledge from a RNN to a DNN
Carnegie Mellon University（卡内基梅隆大学）
深度神经网络（DNN）声学模型在自动语音识别（ASR）任务中产生了许多最先进的结果。最近，递归神经网络（RNN）模型已被证明优于DNN模型。然而，最先进的DNN和RNN模型往往无法部署在计算能力有限的嵌入式系统上。传统上，嵌入式平台的方法是直接训练一个小型DNN，或者训练一个学习大型DNN输出分布的小型DNN。在本文中，我们利用最先进的RNN将知识转移到小型DNN。我们使用RNN模型来生成软比对，并最小化针对小DNN的Kullback-Leibler分歧。在软RNN比对上训练的小型DNN在华尔街日报（WSJ）eval 92任务中实现了3.93 WER，而基线为4.54 WER或相对改善超过13%。
2015-04-07 cs.CL cs.LG cs.NE
Differentiable Pooling for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）
我们提出了一个深度神经网络（DNN）的声学模型，包括参数化和可微池运营商。无监督声学模型自适应被转换为更新由每个池化算子实现的决策边界的问题。特别是，我们实验了两种类型的池参数化：学习$L_p$ -范数池和加权高斯池，其中两个运营商的权重被视为扬声器相关。我们使用三种不同的大词汇量语音识别语料库进行调查：AMI会议，TED演讲和总机会话电话语音。我们证明了可微分池算子提供了一种鲁棒且相对低维的方式来适应声学模型，相对于未适应的系统，相对字出错率降低了5- 20%，其本身优于基线完全连接的基于DNN的声学模型。我们还研究了所提出的技术如何在各种适应条件下工作，包括适应数据的质量和与其他特征和模型空间适应方法的互补性，以及提供对每个方法的特性的分析。
2016-07-13 cs.CL cs.LG
Kaldi+PDNN: Building DNN-based ASR Systems with Kaldi and PDNN
Carnegie Mellon University（卡内基梅隆大学）
Kaldi工具包在构建自动语音识别（ASR）系统方面越来越受欢迎。与此同时，近年来，深度神经网络（DNN）在各种ASR任务上表现出最先进的性能。本文档描述了我们使用Kaldi和PDNN实现成熟DNN声学建模的开源方法。PDNN是在Theano环境下开发的轻量级深度学习工具包。使用这些配方，我们可以建立多个系统，包括DNN混合系统，卷积神经网络（CNN）系统和瓶颈特征系统。这些食谱直接基于Kaldi Switchboard 110小时设置。然而，使它们适应新的数据集很容易实现。
2014-01-27 cs.CL cs.LG
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Attentive Adversarial Learning for Domain-Invariant Training
Microsoft Corporation（微软公司）
对抗性域不变训练（ADIT）被证明可以有效地抑制声学建模中的域可变性的影响，并提高了自动语音识别（ASR）的性能。在ADIT中，辅助域分类器从深度神经网络（DNN）声学模型中获取等权重的深度特征，并通过优化对抗性损失函数来训练辅助域分类器以提高其域不变性。在这项工作中，我们提出了一个专注的ADIT（AADIT），在其中，我们提出了一个注意力机制的域分类器自动加权输入的深度功能，根据其在域分类的重要性。通过这种精心的重新加权，AADIT可以专注于更容易受到域变化影响的语音成分的域标准化，并生成具有ADIT改进的域不变性和句音区分度的深度特征。最重要的是，注意力块仅作为DNN声学模型的外部组件，不参与ASR，因此AADIT可用于改进任何DNN架构的声学建模。更一般地说，相同的方法可以通过辅助鉴别器改进任何对抗学习系统。在CHiME-3数据集上进行评估，AADIT在多条件模型和强ADIT基线上分别实现了13.6%和9.3%的相对WER改进。
2019-04-28 cs.CL cs.LG cs.SD
Analyzing deep CNN-based utterance embeddings for acoustic model adaptation
University of Edinburgh（爱丁堡大学）
我们探讨了为什么具有小的二维核的深度卷积神经网络（CNN），主要用于建模图像中的空间关系，在语音识别中也是有效的。我们分析了深度CNN学习的表示，并在声学模型自适应的背景下将其与深度神经网络（DNN）表示和i向量进行了比较。为了探索是否可以从学习的表示中解码可解释的信息，我们使用Aurora-4数据集来评估它们区分说话者、声学条件、噪声类型和性别的能力。我们提取了整个模型嵌入（以捕获整个网络中学习到的信息）和特定于层的嵌入，从而能够理解整个网络中的信息流。我们还使用学习表示作为额外的输入的时间延迟神经网络（TDNN）的极光-4和MGB-3英语数据集。我们发现深度CNN嵌入在声学模型自适应方面优于DNN嵌入，并且基于深度CNN嵌入的辅助特征导致与i向量相似的单词出错率。
2018-11-12 cs.CL
Batch-normalized joint training for DNN-based distant speech recognition
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））
改进远距离语音识别是实现灵活的人机界面的关键一步。然而，当前的技术仍然表现出缺乏鲁棒性，特别是当满足不利的声学条件时。尽管在过去几年中在语音增强和语音识别方面都取得了显著的进展，但是现有技术的一个潜在限制在于组成不匹配的模块，因为它们没有被联合训练。为了解决这个问题，一种有前途的方法包括将语音增强和语音识别深度神经网络连接起来，并联合更新它们的参数，就好像它们在一个更大的网络中一样。不幸的是，联合训练可能是困难的，因为语音增强系统的输出分布可能在优化过程期间发生实质性变化。语音识别模块将不得不处理非平稳和非标准化的输入分布。为了缓解这个问题，我们提出了一种基于完全批量归一化架构的联合训练方法。使用不同的数据集，任务和声学条件进行的实验表明，所提出的框架显着超过其他竞争解决方案，特别是在具有挑战性的环境中。
2017-03-24 cs.CL cs.LG
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Spatial Diffuseness Features for DNN-Based Speech Recognition in Noisy and Reverberant Environments
我们提出了一种用于基于深度神经网络（DNN）的自动语音识别的空间扩散特征，以提高混响和噪声环境中的识别精度。该特征是从多个麦克风信号实时计算的，而不需要知道或估计到达方向，并且表示每个时间和频率区间中的扩散噪声的相对量。结果表明，使用扩散功能作为一个额外的输入到一个基于DNN的声学模型导致减少字出错率的REVERB挑战语料库，无论是相比logmelspec功能提取的噪声信号，和功能增强谱减法。
2015-02-16 cs.CL cs.NE cs.SD
Empirical Evaluation of Parallel Training Algorithms on Acoustic Modeling
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
深度学习模型（DLM）是语音识别中最先进的技术。然而，训练良好的DLM可能非常耗时，特别是对于生产规模的模型和语料库。虽然已经提出了几种并行训练算法来提高训练效率，但由于缺乏系统和公平的比较，因此没有明确的指导来选择哪一种。在本文中，我们旨在通过比较语音识别中四种流行的并行训练算法来填补这一空白，即异步随机梯度下降（ASGD），分块模型更新滤波（BMUF），批量同步并行（BSP）和弹性平均随机梯度下降（EASGD），在1000小时的LibriSpeech语料库上使用前馈深度神经网络（DNN）和卷积，长短期记忆，DNN（CLDNN）。根据我们的实验，我们建议使用BMUF作为训练声学模型的首选，因为它最稳定，可随GPU数量扩展，可以实现可重现的结果，并且在许多情况下甚至优于单GPU SGD。在某些情况下，ASGD可用作替代品。
2017-07-26 cs.CL cs.LG cs.SD
Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University（香港理工大学）
本文构建了基于音节声学模型的粤语语音转文本系统，采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术，实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
Interpreting DNN output layer activations: A strategy to cope with unseen data in speech recognition
University of Maryland（马里兰大学）；SRI International（斯坦福国际研究院）；Apple Inc.（苹果公司）
看不见的数据会降低深度神经网络声学模型的性能。为了应对看不见的数据，部署了适应技术。对于未标记的未知数据，必须在给定现有模型的情况下生成一些假设，这些假设用作模型自适应的标签。然而，评估假设的好坏可能很困难，错误的假设可能会导致训练不佳的模型。在这种情况下，选择具有可靠假设的数据的策略可以确保更好的模型适应性。这项工作提出了一种DNN模型自适应的数据选择策略，其中DNN输出层激活用于确定生成的假设的良好性。在DNN声学模型中，输出层激活用于生成目标类别概率。在看不见的数据条件下，最可能的目标和下一个最可能的目标之间的差异与看到的数据相比有所减少，这表明模型在生成其假设时可能是不确定的。这项工作提出了一种策略来评估模型的性能，通过分析输出层的激活，通过使用最有可能的目标和下一个最有可能的目标，这是用于执行无监督适应的数据选择之间的距离测量。
2018-02-16 cs.CL cs.SD eess.AS
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research（微软人工智能与研究部）
我们提出了一种新的对抗性多任务学习方案，旨在主动减少说话者间的特征变异性，同时最大化其senone可区分性，以提高基于深度神经网络（DNN）的ASR系统的性能。我们称该方案为说话人不变训练（SIT）。在SIT中，DNN声学模型和说话人分类器网络被联合优化，以最小化senone（绑三音子状态）分类损失，同时最小化说话人分类损失。通过这种对抗性多任务学习，学习了说话人不变和senone区分的深度特征。使用SIT，可以学习输出概率方差显著降低的规范DNN声学模型，而无需在训练或测试中使用显式的说话者独立（SI）变换或特定于说话者的表示。在CHiME-3数据集上进行评估，SIT比传统的SI声学模型实现了4.99%的相对字错误率（WER）改善。通过额外的无监督说话人自适应，说话人自适应（SA）SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Small-footprint Deep Neural Networks with Highway Connections for Speech Recognition
Centre for Speech Technology Research, The University of Edinburgh（爱丁堡大学语音技术研究中心）
对于语音识别，深度神经网络（DNN）在大多数基准数据集和应用领域中显著提高了识别准确率。然而，与传统的高斯混合模型相比，基于DNN的声学模型通常具有更大数量的模型参数，使得其在资源受限平台中的应用具有挑战性，例如，移动设备.在本文中，我们研究了最近提出的高速公路网络的应用程序，训练小足迹DNN，这是{ \it薄}和{ \it深}，并具有显着较少的模型参数相比，传统的DNN。我们研究了这种方法的AMI会议语音转录语料库，其中有大约70小时的音频数据。高速公路神经网络的性能一直优于普通的DNN网络，并且可以在不牺牲识别精度的情况下显著减少模型参数的数量。
2017-06-14 cs.CL cs.LG cs.NE
Kernel Approximation Methods for Speech Recognition
INRIA（法国国家信息与自动化研究所）；Dept. of Computer Science, Stanford University（斯坦福大学计算机科学系）；Dept. of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Inc.（谷歌公司）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Dept. of Computer Science, University of Southern California（南加州大学计算机科学系）
我们研究了语音识别中声学建模的大规模核方法，并将其性能与深度神经网络（DNN）进行了比较。我们在四个语音识别数据集上进行了实验，包括TIMIT和广播新闻基准任务，并比较了这两种模型的帧级性能指标（准确性，交叉熵），以及识别指标（单词/字符错误率）。为了将核方法扩展到这些大型数据集，我们使用Rahimi和Recht（2007）的随机傅立叶特征方法。我们提出了两种新的技术，以提高性能的内核声学模型。首先，为了减少核模型所需的随机特征的数量，我们提出了一种简单而有效的特征选择方法。该方法能够探索大量的非线性特征，同时比现有方法更有效地保持紧凑的模型。其次，我们提出了一些帧级指标，当在heldout集上计算时，这些指标与识别性能非常密切相关;我们通过在训练期间监控这些指标来利用这些相关性，以便决定何时停止学习。这种技术可以显著提高DNN和内核模型的识别性能，同时缩小它们之间的差距。此外，我们还证明了Sainath et al.（2013）的线性瓶颈方法显著提高了我们的内核模型的性能，此外还加快了训练速度，使模型更加紧凑。总之，这三种方法极大地提高了内核声学模型的性能，使其在我们探索的任务中的性能与DNN相当。
2017-01-13 cs.AI cs.CL cs.LG
Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network
Lingban Technology Co., Ltd.（灵伴科技有限公司）
本文介绍了第三届“CHiME”语音分离与识别挑战赛的Lingban参赛情况。提出了一种基于时频掩蔽的语音增强前端，利用多通道相干性和空间信息抑制环境噪声。最先进的语音识别技术，即基于循环神经网络的声学和语言建模、基于状态空间最小贝叶斯风险的判别声学建模和基于i向量的声学条件建模，被仔细地集成到语音识别后端中。为了充分发挥不同技术的优势，进一步提高系统性能，通过格点合并和重评分得到最终的识别结果。在官方数据集上进行的评估证明了所提出的系统的有效性。与最佳基线结果相比，该系统在真实数据测试集上获得了超过57%的相对字出错率降低的一致改进。
2015-09-24 cs.CL cs.SD
Sequence Training of DNN Acoustic Models With Natural Gradient
Cambridge University（剑桥大学）
深度神经网络（DNN）声学模型通常使用区分序列训练，其优化比基于帧的训练更好地近似单词出错率（WER）的目标函数。序列训练通常使用随机梯度下降（SGD）或Hessian Free（HF）训练来实现。本文提出了一种替代批处理风格的优化框架，采用自然梯度（NG）的方法来遍历参数空间。通过根据KL发散的局部曲率校正梯度，NG优化过程比HF更快地收敛。此外，所提出的NG方法可以应用于任何序列判别训练标准。NG方法的有效性使用多类型广播（MGB）转录任务上的实验来显示，该任务展示了所得到的DNN模型的计算效率和准确性。
2018-04-06 cs.CL cs.LG stat.ML
First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs
Stanford University（斯坦福大学）
提出了一种仅用神经网络和语言模型进行首遍大词汇量连续语音识别的方法。深度神经网络声学模型现在在基于HMM的语音识别系统中很常见，但构建这样的系统是一项复杂的特定于领域的任务。最近的工作证明了通过直接从音频预测转录文本来丢弃HMM序列建模框架的可行性。本文从两个方面扩展了这种方法。首先，我们证明了一个简单的递归神经网络架构可以达到很高的精度。其次，我们提出并评估了一种改进的前缀搜索解码算法。这种解码方法能够利用语言模型进行第一遍语音识别，完全不受基于HMM的系统的繁琐基础设施的帮助。在华尔街日报语料库上的实验证明了相当有竞争力的单词出错率，以及双向网络重现的重要性。
2014-12-08 cs.CL cs.LG cs.NE
A Survey of Recent DNN Architectures on the TIMIT Phone Recognition Task
University of West Bohemia（西波希米亚大学）
在这篇调查论文中，我们在TIMIT电话识别任务中评估了几种最近的深度神经网络（DNN）架构。我们选择TIMIT语料库是因为它在社区中的流行和广泛可用性。它还模拟了一个低资源的场景，这对小语言很有帮助。此外，我们更喜欢电话识别任务，因为它比大词汇量连续语音识别（LVCSR）任务对声学模型质量更敏感。近年来，许多DNN发表的论文报道了TIMIT的结果。然而，报告的电话出错率（PER）通常比简单前馈（FF）DNN的PER高得多。这就是本文的主要动机：提供一个带有开源脚本的基准DNN，以便轻松复制未来论文的基准结果，并获得最低的PER。据我们所知，本次调查中最好的PER优于迄今为止最好的PER。
2018-06-19 cs.CL cs.HC
Recurrent Deep Stacking Networks for Speech Recognition
本文介绍了我们将递归深度堆叠网络（RDSNs）应用于鲁棒自动语音识别（ASR）任务的工作。在本文中，我们还提出了一种更有效的替代RDSN的方法，即双向堆叠网络（BPSN）.这两种模型的主要思想是在声学模型中加入音素级信息，将声学模型转化为声学模型和音素级N-gram模型的结合。实验表明，RDSN和BPsn可以大大提高传统DNN的性能。
2020-11-11 cs.CL cs.SD
Recurrent DNNs and its Ensembles on the TIMIT Phone Recognition Task
University of West Bohemia（西波希米亚大学）
在本文中，我们研究了递归深度神经网络（DNN）与正则化技术（如dropout，zoneout和正则化后层）的组合。作为基准，我们选择TIMIT电话识别任务，因为它在社区中的流行和广泛可用性。它还模拟了一个低资源的场景，这对小语言很有帮助。此外，我们更喜欢电话识别任务，因为它比大词汇量连续语音识别任务对声学模型质量更敏感。近年来，反复出现的DNN降低了自动语音识别的出错率。但是，在提出的架构中没有明显的赢家。在大多数情况下，dropout被用作正则化技术，但省略了与其他正则化技术和模型集成的组合。然而，根据我们的知识，仅仅是循环DNN的集合表现最好，并且在核心测试集上从10次实验中获得了14.84%（最小14.69%）的平均电话出错率，这略低于迄今为止最好的PER。最后，与大多数论文相比，我们发布了开源脚本，以便轻松复制结果并帮助继续开发。
2018-06-19 cs.CL
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
A Mixture of Expert Based Deep Neural Network for Improved ASR
Reverie Language Technologies（Reverie语言技术公司）
本文提出了一种用于自动语音识别（ASR）背景下声学模型的新型深度学习架构，称为MixNet。除了传统的层，如DNN-HMM中的全连接层和LSTM-HMM中的存储单元，该模型使用了两个额外的层的混合专家（MoE）。在输入处操作的第一MoE层基于预定义的广义语音类别，并且在倒数第二层处操作的第二层基于自动学习的声学类别。在自然语音中，不同声学类别之间的分布重叠是不可避免的，这会导致类间误分类。如果修改声学模型的传统架构以使其更适合于考虑这种重叠，则预期ASR准确性会提高。MixNet的开发正是考虑到了这一点。通过散点图进行的分析验证了MoE确实改善了类别之间的分离，从而转化为更好的ASR准确性。在大词汇量ASR任务上进行的实验表明，与使用sMBR标准训练的传统模型（即DNN和LSTM）相比，所提出的架构分别提供了13.6%和10.0%的字错误率相对降低。与现有的语音分类方法（Eigen等人）相比，我们提出的方法产生了显着的改进。
2021-12-02 cs.CL cs.SD eess.AS
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California（南加利福尼亚大学）
儿童语音识别是具有挑战性的，主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段，这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络（DNN）框架下，利用从成人模型到儿童模型的迁移学习，解决儿童自动语音识别（ASR）任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估（i）早期GMM-HMM和较新的DNN模型的比较，（ii）标准自适应技术与迁移学习的有效性，（iii）各种自适应配置在解决儿童语音中存在的变化方面，（a）声学频谱变化，（b）发音变化和语言约束。我们的分析涵盖了（i）DNN模型参数的数量（用于适应），（ii）适应数据的数量，（iii）儿童的年龄，（iv）年龄依赖-独立适应。最后，我们提供了建议（i）在各种上述分析参数的有利策略，和（ii）潜在的未来研究方向和相关的挑战/问题，坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
Domain Adaptation Using Class Similarity for Robust Speech Recognition
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；China Mobile Online Services Company Limited（中国移动在线服务有限公司）
当只有有限的目标域数据可用时，域自适应可以通过利用经过良好训练的源模型和目标域数据来提高深度神经网络（DNN）声学模型的性能。然而，受领域失配和数据稀疏性的影响，领域自适应是非常具有挑战性的。提出了一种基于类相似度的DNN声学模型自适应方法。由于DNN模型的输出分布包含了类之间的相似性知识，这些知识适用于源域和目标域，因此可以将其从源模型转移到目标模型以提高性能。在我们的方法中，我们首先使用源模型计算源样本的帧级后验概率。然后，对于每个类，该类的概率用于计算均值向量，我们称之为均值软标签。在自适应期间，这些平均软标签用于正则化项中以训练目标模型。实验表明，我们的方法优于微调使用一个热标签的口音和噪音适应任务，特别是当源和目标域高度不匹配。
2020-11-05 cs.CL cs.SD eess.AS
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
在自动语音识别中，GMM-HMM被广泛用于声学建模。随着当前深度学习的发展，声学模型中的高斯混合模型（GMM）已经被深度神经网络所取代，即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对，从而使得创建精确比对成为一项重要任务。许多因素，例如训练数据集大小、训练数据增强、模型超参数等，影响模型学习。传统上，在机器学习中，较大的数据集往往具有更好的性能，而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战，因语言而异，在大多数情况下，它可能仅限于大型组织。此外，在可用的大型数据集的情况下，使用此类数据训练模型需要额外的时间和计算资源，而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布，但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Retrieving Speaker Information from Personalized Acoustic Models for Speech Recognition
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
能够收集其用户的语音的功能强大的个人设备的广泛使用为构建说话者自适应语音识别系统（ASR）或参与ASR的协作学习提供了机会。在这两种情况下，可以构建个性化的声学模型（AM），即具有特定扬声器数据的微调AM。一个自然出现的问题是，个性化声学模型的传播是否会泄露个人信息。在本文中，我们表明，它是可以检索的性别的扬声器，而且他的身份，只是利用权矩阵的变化，神经声学模型本地适应这个扬声器。顺便说一句，我们观察到的现象可能有助于在语音处理的背景下解释深度神经网络。性别几乎可以肯定地确定，只有使用第一层和说话人验证时，使用中间层。我们在TED-LIUM 3数据集上使用HMM/TDNN模型进行的实验研究表明，性别检测的准确率为95%，并且通过仅利用可以交换的个性化模型而不是用户数据的权重进行说话人验证任务的相等出错率为9.07%。
2021-11-07 cs.CL cs.SD eess.AS
A Multi-layered Acoustic Tokenizing Deep Neural Network (MAT-DNN) for Unsupervised Discovery of Linguistic Units and Generation of High Quality Features
National Taiwan University（台湾大学）
本文总结了作者为Interspeech 2015技术计划中组织的零资源语音挑战所做的工作。挑战的目标是直接从未标记的语音数据中发现语言单位。在这项工作中提出的多层声学标记器（MAT）自动发现多组声学标记从给定的语料库。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带给定语料库的不同特征，因此可以相互加强背后的语言。然后，将多组标记标签用作在低级声学特征上训练的多目标DNN（MDNN）的目标。从MDNN中提取的瓶颈特征被用作MAT和MDNN本身的反馈。我们将该迭代系统称为多层声学标记化深度神经网络（MAT-DNN），其为挑战的轨道1生成高质量特征，并为挑战的轨道2生成声学标记。
2015-06-07 cs.CL cs.LG cs.NE
Exploiting Beam Search Confidence for Energy-Efficient Speech Recognition
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
随着计算机在我们的日常生活中变得越来越强大和集成，焦点越来越转向更人性化的界面，使自动语音识别（ASR）成为与机器交互的理想手段。因此，对语音技术的兴趣在过去几年中已经增长，提出了更多的系统并且实现了更高的准确度水平，甚至超过了\textit{Human Accuracy}。随着ASR系统的功能日益强大，其计算复杂性也在增加，硬件支持也必须跟上。在本文中，我们提出了一种提高ASR系统能效和性能的技术，重点关注边缘设备的低功耗硬件。我们专注于优化基于DNN的声学模型评估，因为我们已经观察到它是最先进的ASR系统中的主要瓶颈，通过利用来自束搜索的运行时信息。通过这样做，我们将声学模型评估的能量和执行时间分别减少了25.6%和25.9%，而精度损失可以忽略不计。
2021-01-22 cs.CL cs.SD eess.AS
Improving Generalization of Deep Neural Network Acoustic Models with Length Perturbation and N-best Based Label Smoothing
IBM Research AI（IBM研究院人工智能部）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM Research Tokyo（IBM东京研究院）
我们引入了两种技术，长度扰动和基于n-best的标签平滑，以提高自动语音识别（ASR）的深度神经网络（DNN）声学模型的泛化能力。长度扰动是一种数据增强算法，它随机地丢弃和插入话语的帧以改变语音特征序列的长度。基于N-best的标签平滑在训练期间随机地将噪声注入到地面真实标签，以避免过拟合，其中噪声标签是从N-best假设生成的。我们评估这两种技术广泛的300小时总机（SWB 300）数据集和内部500小时的日本（JPN 500）数据集使用循环神经网络换能器（RNNT）声学模型的ASR。我们表明，这两种技术分别提高了RNNT模型的泛化能力，它们也可以是互补的。特别是，它们在强大的SWB 300基线上产生了良好的改进，并使用RNNT模型在SWB 300上提供了最先进的性能。
2022-03-29 cs.CL cs.SD eess.AS
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型，以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来，人们提出了多种神经网络自适应方法。但是，仍然缺乏不同的方法之间的实验比较，特别是当基于DNN的声学模型已经取得了很大进展。在本文中，我们的目标是通过提供三个典型的说话人自适应方法：LIN，LHUC和KLD的实证评估，以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是，本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon（阿维尼翁大学）；STC-innovations Ltd（STC创新有限公司）
在本文中，我们研究了用于深度神经网络（DNN）声学模型自适应的GMM衍生（GMMD）特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验（MAP）适应来完成的。我们探讨融合的适应GMMD功能与传统的功能，如瓶颈和MFCC功能，在两个不同的神经网络架构：DNN和时间延迟神经网络（TDNN）。我们分析和比较不同类型的自适应技术，如i-向量和特征空间自适应技术的基础上最大似然线性回归（fMLLR）与建议的适应方法，并探讨其互补性，使用各种类型的融合，如特征级，后验级，格级和其他，以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明，所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中，并在识别性能方面提供额外的增益：相对于基于最大似然线性回归（fMLLR）说话者自适应DNN基线的强特征空间自适应技术，相对字错误率降低（WERR）高达6%，与在传统特征上训练的说话人独立（SI）DNN基线模型相比，相对WERR高达18%。对于TDNN模型，与SI基线相比，所提出的方法实现了高达26%的相对WERR，并且与通过使用i向量调整的模型相比，该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析，证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
An Iterative Deep Learning Framework for Unsupervised Discovery of Speech Features and Linguistic Units with Applications on Spoken Term Detection
National Taiwan University（台湾大学）
在这项工作中，我们的目标是发现高质量的语音特征和语言单位直接从无标记的语音数据在零资源的情况下。使用Interspeech 2015组织的零资源语音挑战中提出的指标和语料库对结果进行评估。提出了一种多层声学标记器（MAT），用于从给定的语料库中自动发现多组声学标记。每个声学标记集由描述模型配置的一组超参数指定。这些声学标记集携带了语料库和语言的不同特征，因此可以相互加强。然后，将多组标记标签用作在低级声学特征上训练的多目标深度神经网络（MDNN）的目标。从MDNN中提取的瓶颈特征然后在下一次迭代中用作MAT和MDNN本身的反馈输入。我们将这种迭代深度学习框架称为多层声学标记化深度神经网络（MAT-DNN），它为挑战赛的轨道1生成高质量的语音特征，并为挑战赛的轨道2生成声学标记。此外，我们在相同的语料库上进行了额外的实验，以应用于按实例查询的口语术语检测。实验结果表明，MAT-DNN的迭代深度学习框架由于更好的底层语音特征和声学标记而提高了检测性能。
2016-02-01 cs.CL cs.LG
Non-Linear Pairwise Language Mappings for Low-Resource Multilingual Acoustic Model Fusion
University of Sheffield（谢菲尔德大学）
多语言语音识别作为一种有效的方法来弥补低资源语言的数据不足，已经引起了人们的极大关注。端到端（e2 e）建模优于传统的混合系统，主要是因为没有词典要求。然而，在有限的数据场景中，混合DNN-Hacking仍然优于e2 e模型。此外，手动词典创建的问题已经通过许多语言的字素到音素（G2 P）和文本到IPA音译的公开可用的训练模型得到缓解。本文提出了一种新的混合DNN-HMM声学模型融合的方法，在一个多语言的低资源的语言设置。针对目标语言语音信号，将来自不同单语声学模型的后验分布融合在一起。为每个源-目标语言对训练单独的回归神经网络，以将后验从源声学模型转换为目标语言。与ASR训练相比，这些网络需要非常有限的数据。与多语言和单语言基线相比，后路融合分别产生了14.65%和6.5%的相对增益。跨语言的模型融合表明，可比的结果可以实现不使用后验的语言相关的ASR。
2022-07-07 cs.CL eess.AS
Knowledge Distillation for Small-footprint Highway Networks
The University of Edinburgh（爱丁堡大学）
在过去的几年里，深度学习极大地推进了语音识别的发展。然而，与传统的高斯混合声学模型相比，神经网络模型通常要大得多，并且因此在嵌入式设备中不是非常可部署的。在此之前，我们研究了一种用于声学建模的紧凑型高速公路深度神经网络（HDNN），它是一种深度门控前馈神经网络。我们已经表明，基于HDNN的声学模型可以实现相当的识别精度与更少的模型参数相比，平原深神经网络（DNN）的声学模型。在本文中，我们通过利用知识蒸馏技术进一步推动边界，该技术也被称为{ \it师生}培训，即，在高精度冗余模型的监督下，对紧凑型HDNN模型进行训练。此外，我们还探讨了师生培训背景下的序列培训和适应。我们的实验是在AMI会议语音识别语料库上进行的。通过这项技术，我们显著提高了HDNN声学模型的识别精度，参数不到80万，缩小了该模型与3000万参数的普通DNN之间的差距。
2016-12-20 cs.CL
Recurrent Neural Network Postfilters for Statistical Parametric Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）
在过去的两年中，有许多论文研究使用深度神经网络来取代传统统计参数语音合成中的声学模型。然而，很少有人关注基于DNN的后置滤波等方法，其中DNN与传统的声学模型结合使用。在本文中，我们研究使用递归神经网络作为一个潜在的后置滤波器的合成。我们探讨了替换现有后置过滤器的可能性，并强调了可以将任意新功能作为输入添加到后置过滤器的方便性。我们还尝试了一种联合训练分类和回归树和后过滤器的新方法，而不是独立训练它们的传统方法。
2016-01-26 cs.CL
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）；Univ. Savoie Mont Blanc（萨瓦勃朗峰大学）；LPNC（认知神经科学实验室）
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数，基于DNN的内部正向模型预测发音命令的感官后果，和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价，显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Improving Trajectory Modelling for DNN-based Speech Synthesis by using Stacked Bottleneck Features and Minimum Generation Error Training
University of Edinburgh（爱丁堡大学）
我们提出了两种新的技术--堆叠瓶颈特征和最小生成错误训练标准--来提高基于深度神经网络（DNN）的语音合成的性能。这些技术解决了当前典型的基于DNN的合成框架内的逐帧独立性和忽略静态和动态特征之间的关系的相关问题。堆叠瓶颈特征，这是一个声学通知的语言表示，提供了一种有效的方法，包括在输入更详细的语言背景。最小生成误差训练准则最小化跨话语的总体输出轨迹误差，而不是独立地最小化每帧的误差，并且因此考虑静态和动态特征之间的相互作用。这两种技术可以很容易地结合起来，以进一步提高性能。我们提出了客观和主观的结果，证明了所提出的技术的有效性。主观结果表明，将这两种技术相结合，可以产生比传统DNN或长短期记忆（LSTM）递归神经网络（RNN）系统更自然的合成语音。
2016-04-05 cs.CL cs.NE cs.SD
Exploiting Cross-Lingual Speaker and Phonetic Diversity for Unsupervised Subword Modeling
The Chinese University of Hong Kong（香港中文大学）
本研究解决了低资源语言的转录训练数据是缺席的声学建模的问题。我们的目标是学习鲁棒的帧级特征表示，可用于识别和区分子字级语音单元。所提出的特征表示包括通过深度神经网络（MTL-DNN）的多任务学习获得的各种类型的多语言瓶颈特征（BNF）。其中一个关键问题是如何为未转录的训练数据获取高质量的框架标签，以促进有监督的DNN训练。它表明，学习强大的BNF表示可以实现有效地利用转录的语音数据和训练有素的自动语音识别（ASR）系统从一个或多个域外（资源丰富）的语言。域外ASR系统可以应用于使用目标语言的未转录训练数据来执行说话人自适应，并将训练语音解码为用于DNN训练的帧级标签。它也被发现，更好的帧标签，可以通过考虑语音的时间依赖性时，执行帧聚类生成。在ZeroSpeech 2017挑战赛的第1轨道中，对所提出的特征学习方法进行了无监督子词建模的标准任务评估。我们的系统实现的最佳性能是$9.7\%$在跨扬声器三音子最小对ABX错误率，这是最近报道的最好的系统相媲美。最后，我们的调查表明，目标语言和域外语言之间的接近程度以及单个目标语言的可用训练数据量可能对学习特征的良好性产生重大影响。
2019-09-29 cs.CL eess.AS
