Additional Shared Decoder on Siamese Multi-view Encoders for Learning Acoustic Word Embeddings
KAIST（韩国科学技术院）
声学词嵌入-任意长度词的固定维向量表示-在逐例查询口语词检测中引起了越来越多的兴趣。最近，基于文本标签的正字法部分地反映了单词发音之间的语音相似性的事实，已经引入了联合学习声学和文本嵌入的多视图方法。这表明，它是可能的，通过设计的目标，以文本标签以及词段学习判别嵌入。在本文中，我们提出了一种网络架构，扩展了多视图的方法相结合的暹罗多视图编码器与共享的解码器网络，以最大限度地提高嵌入空间中的声学和文本嵌入之间的关系的效果。在多视图三元组丢失和解码丢失的情况下进行区分训练，我们提出的方法在WSJ数据集的声学单词区分任务上取得了更好的性能，平均精度相对提高了11.1%。我们还提出了跨视图字歧视和字级语音识别任务的实验结果。
2019-10-01 cs.IR cs.LG cs.SD
Multilingual acoustic word embeddings for zero-resource languages
Stellenbosch University（斯泰伦博斯大学）
针对零资源语言语音处理，本文提出多语言迁移的新型声学词嵌入模型，提升零资源语言表示、关键词检出和语义示例查询性能。
2024-01-23 cs.CL cs.SD eess.AS
Learning acoustic word embeddings with phonetically associated triplet network
Korea Advanced Institute of Science and Technology（韩国科学技术院）
以往的研究中使用的声学词嵌入查询的例子口语词检测时，使用三元组网络表现出显着的性能改善。然而，三元组网络仅使用关于词之间的声学相似性的有限信息来训练。在本文中，我们提出了一种新的架构，语音相关的三元组网络（PATN），其目的是提高辨别能力的声学词嵌入，利用语音信息以及字的身份。所提出的模型学习，以最小化的组合损失函数，这是通过引入交叉熵损失的LSTM为基础的三元组网络的下层。我们观察到，所提出的方法在WSJ数据集的单词识别任务上的表现明显优于基线三联体网络，从而在每小时1.0次误报的情况下，召回率相对提高了20%以上。最后，我们通过在RM数据集上进行域外测试来检验泛化能力。
2018-11-28 cs.AI cs.CL cs.SD
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Modular End-to-end Automatic Speech Recognition Framework for Acoustic-to-word Model
Shanghai Jiao Tong University（上海交通大学）
端到端（E2 E）系统在自动语音识别（ASR）中扮演着越来越重要的角色，并取得了很好的性能。然而，E2 E系统直接用输入声学特征识别输出单词序列，其只能在有限的声学数据上训练。在传统的人工神经网络-隐马尔可夫模型（ANN-HMM）混杂系统中，大量的文本数据被用来改善混合系统的性能。标准E2 E ASR系统涉及额外的文本数据可能在解码期间破坏E2 E属性。本文提出了一种新型的模块化E2 E ASR系统。模块化E2 E ASR系统由两部分组成：声学到音素（A2 P）模型和音素到单词（P2 W）模型。A2 P模型在声学数据上训练，而包括大规模文本数据的额外数据可以用于训练P2 W模型。该附加数据使得模块化E2 E ASR系统不仅能够对声学部分而且还能够对语言部分进行建模。在解码阶段，这两个模型将被集成，并作为一个标准的声学到字（A2 W）模型。换句话说，所提出的模块化E2 E ASR系统可以容易地用额外的文本数据训练，并且以与标准E2 E ASR系统相同的方式解码。在总机语料库上的实验结果表明，模块化E2 E模型比标准A2 W模型实现了更好的词错误率（WER）。
2020-07-31 cs.SD eess.AS
Neural approaches to spoken content embedding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文提出基于循环神经网络的判别性声学词嵌入和声学基础词嵌入方法，改进训练效率与性能，扩展至低资源多语言，并应用于语音搜索和识别任务，与自监督模型互补。
2023-08-28 cs.CL cs.SD eess.AS
Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs
Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
我们提出了两个基于多模态融合的深度学习模型，这些模型同时使用ASR转录的语音和声学数据来分类结构化诊断任务中的说话者是否患有阿尔茨海默病以及在多大程度上患有阿尔茨海默病，评估ADReSSo挑战2021数据。我们的最佳模型是一个BiLSTM，它具有使用单词、单词概率、不流利特征、停顿信息和各种声学特征的高速公路层，在MMSE认知评分上实现了84%的准确率和4.26的RSME错误预测。虽然预测认知能力下降更具挑战性，但我们的模型显示出使用多模态方法和单词概率，不流利和停顿信息的改进。我们使用多模态融合和门控，可以有效地处理来自声学特征和ASR假设的噪声输入，从而显示出相当大的收益。
2021-06-29 cs.CL cs.SD eess.AS
On Modular Training of Neural Acoustics-to-Word Model for LVCSR
Shanghai Jiao Tong University（上海交通大学）
端到端（E2 E）自动语音识别（ASR）系统使用统一模型直接将声学映射到单词。以往的研究大多集中在E2 E训练一个单一的模型，它将声学模型和语言模型整合为一个整体。虽然E2 E训练受益于序列建模和简化的解码管道，但通常需要大量转录的声学数据，并且无法利用传统的声学和语言建模技术。本文提出了一种新的E2 E ASR模块化训练框架，在训练阶段分别训练神经声学模型和语言模型，而在解码阶段仍然执行端到端的推理。这里，分别使用声学数据和文本数据来训练声学-音素模型（A2 P）和音素-单词模型（P2 W）。在A2 P和P2 W之间插入电话同步解码（PSD）模块，以在不损失精度的情况下减少序列长度。最后，模块被集成到一个acousticsto-word模型（A2 W），并使用声学数据进行联合优化，以保留序列建模的优势。在300小时的Switchboard任务上的实验表明，直接A2 W模型有显着的改善。训练和解码的效率也受益于所提出的方法。
2018-03-03 cs.CL
Modeling Acoustic-Prosodic Cues for Word Importance Prediction in Spoken Dialogues
Rochester Institute of Technology（罗切斯特理工学院）
会话中的韵律提示有助于听者辨别信息。我们调查是否可以使用口语对话中的声学线索，以确定个别单词的重要性的意义的谈话转向。聋人和听力困难的人通常依赖于现场会议中的实时字幕。单词出错率是一个传统的用于评估自动语音识别的度量标准，它未能捕捉到某些单词对于系统正确转录比其他单词更重要。我们提出并评估使用声学特征进行3类单词重要性预测的神经架构。我们的模型与最先进的基于文本的单词重要性预测模型相比具有竞争力，并且在不完美的ASR输出上运行时表现出特别的优势。
2019-07-16 cs.CL
Improved acoustic word embeddings for zero-resource languages using multilingual transfer
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。当传统的语音识别不可能时，这种嵌入可以形成语音搜索、索引和发现系统的基础。在零资源设置中，未标记的语音是唯一可用的资源，我们需要一种方法，可以在任意语言上提供鲁棒的嵌入。在这里，我们探索多语言传输：我们训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。我们考虑了三种多语言递归神经网络（RNN）模型：一个分类器，在所有训练语言的联合词汇表上训练;一个Siamese RNN，训练用于区分来自多种语言的相同和不同单词;以及一个对应的自编码器（CAE）RNN，训练用于重建单词对。在六种目标语言的单词识别任务中，所有这些模型的表现都优于在零资源语言本身上训练的最先进的无监督模型，平均精度相对提高了30%以上。当只使用少数几种训练语言时，多语言CAE的性能更好，但使用更多的训练语言时，其他多语言模型的性能相似。使用更多的训练语言通常是有益的，但在某些语言上的改进是微不足道的。我们目前的探测实验表明，CAE编码更多的语音，词的持续时间，语言身份和说话人的信息比其他多语言模型。
2021-02-05 cs.CL cs.SD eess.AS
Timestamped Embedding-Matching Acoustic-to-Word CTC ASR
Apple（苹果公司）
提出一种嵌入匹配词级CTC ASR训练方法，直接输出词时间戳，分段精度与DNN-HMM相当，误差小于3ms，词错误率相对增加小于5%。
2023-06-20 cs.CL eess.AS
Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元，而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络（CNN）：一对绑定的网络，将两个语音片段作为输入并产生它们的嵌入，训练时使用铰链损失，将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似，但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
Improving OOV Detection and Resolution with External Language Models in Acoustic-to-Word ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
声学到字（A2 W）端到端自动语音识别（ASR）系统由于极其简化的架构和快速解码而引起关注。为了缓解数据稀疏的问题，由于不频繁的话，与声学字符（A2 C）模型的组合进行了研究。此外，A2 C模型可以用于恢复A2 W模型未覆盖的词汇表外（OOV）单词，但这需要准确检测OOV单词。A2 W模型通过声学和转录来学习上下文;因此它们倾向于错误地将OOV单词识别为词汇表中的单词。在本文中，我们通过使用外部语言模型（LM）来解决这个问题，该模型仅使用transmittance进行训练，并且具有更好的语言信息来检测OOV单词。A2 C模型用于解决这些OOV词。实验结果表明，外部LM不仅能减少错误率，还能增加OOV词的检测数量，该方法在英语会话和日语演讲语料库中的检测效果显著，尤其是在域外场景下。我们还研究了A2 W模型的词汇量和训练LM的数据量的影响。此外，我们的方法可以减少词汇量的大小几倍，边际性能下降。
2019-09-22 cs.CL
Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
声学词嵌入-可变长度口语词段的固定维矢量表示-已经开始被考虑用于诸如语音识别和逐例查询搜索之类的任务。这样的嵌入可以有区别地学习，使得它们对于对应于相同单词的语音段是相似的，而对于对应于不同单词的段是不相似的。最近的研究发现，声学词嵌入可以优于动态时间扭曲查询的例子搜索和相关的词的歧视任务。然而，嵌入模型和训练方法的空间仍然相对未被探索。在本文中，我们提出了新的歧视性嵌入模型的基础上循环神经网络（RNNs）。我们考虑在先前的工作中已经成功的训练损失，特别是词分类的交叉熵损失和明确旨在在“连体网络”训练设置中分离相同词和不同词对的对比损失。我们发现，基于分类器和Siamese RNN嵌入都比以前报道的单词识别任务的结果有所改善，Siamese RNN的性能优于分类模型。此外，我们提出的学习嵌入和变量的影响，如维数和网络结构的分析。
2016-11-08 cs.CL
Context-based out-of-vocabulary word recovery for ASR systems in Indian languages
Zapr Media Labs（扎普尔媒体实验室）
词汇表外词汇的检测和恢复一直是自动语音识别系统的难点。许多现有的方法侧重于通过修改声学和语言模型以及巧妙地将上下文词集成到模型中来对OOV词进行建模。为了训练这种复杂的模型，我们需要大量的数据和上下文词，额外的训练时间，并增加模型的大小。然而，在获得ASR转录恢复基于上下文的OOV词，后处理方法还没有探索太多。在这项工作中，我们提出了一个后处理技术，以提高基于上下文的OOV恢复的性能。我们创建了一个声学增强的语言模型，其中在电话级别使用OOV单词列表制作了一个子图。我们提出了两种方法来确定一个合适的代价函数，以检索基于上下文的OOV词。代价函数是基于语音学和声学知识定义的，用于在解码中匹配和恢复正确的上下文单词。建议的代价函数的有效性进行评估，在两个字的水平和水平。测试结果表明，该方法可以在多个类别中平均恢复50%的基于上下文的OOV词。
2022-06-09 cs.CL cs.SD eess.AS
Improvements to Embedding-Matching Acoustic-to-Word ASR Using Multiple-Hypothesis Pronunciation-Based Embeddings
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
在嵌入匹配声学到词（A2W）ASR中，词汇表中的每个词都由固定维度的嵌入向量表示，该嵌入向量可以独立于系统的其余部分添加或删除。该方法可能是一个优雅的解决方案的动态词汇表（OOV）的话的问题，其中扬声器和上下文相关的命名实体，如联系人姓名必须纳入ASR的飞行在测试时的每一个语音话语。然而，在提高嵌入匹配A2W的整体精度方面仍然存在挑战。在本文中，我们贡献了两种方法，提高嵌入匹配A2W的准确性。首先，我们建议在每个时刻内部产生多个嵌入，而不是单个嵌入，这允许A2W模型在音频中的多个时间段上提出更丰富的假设集。其次，我们建议使用单词发音嵌入，而不是单词拼写嵌入，以减少歧义的话，有一个以上的声音。我们表明，在动态OOV词起关键作用的情况下，上述想法在相同的训练数据和几乎相同的模型大小下，可以显着提高准确性。在一个基于语音的数字助理的查询数据集上，其中包括许多依赖于用户的联系人姓名，我们观察到使用所提出的改进，单词错误率降低了18%。
2023-02-19 cs.SD eess.AS
On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era
University of Augsburg（奥格斯堡大学）；Huawei Technologies（华为技术有限公司）；HSE University（俄罗斯国家研究型高等经济大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）；Imperial College London（伦敦帝国理工学院）
从那时起，来自自动语音识别（ASR）转录和音频表示的文本编码在语音情感识别（SER）中显示出了希望。然而，它是具有挑战性的解释的影响，每个信息流的SER系统。此外，需要更多的澄清，以分析ASR的单词出错率（WER）对语言情感识别本身的影响，并在融合的背景下与声学信息开发的时代，深ASR系统。为了解决上述问题，我们通过应用三个现代ASR系统从原始语音创建成绩单，包括用递归神经网络-换能器损失训练的端到端模型，连接主义时间分类损失模型，以及用于自监督学习的wav 2 vec框架。然后，我们使用预训练的文本模型从ASR输出和黄金标准中提取文本表示。对于声学语音特征的提取和学习，我们利用openSMILE，openXBoW，DeepSpectrum和auDeep。最后，我们进行决策级融合的两个信息流-声学和语言学。使用最佳的开发配置，我们实现了最先进的未加权平均召回值的$73.6\,\%$和$73.8\,\%$的说话人无关的发展和测试分区的IEMOCAP，分别。
2021-04-20 cs.CL cs.SD eess.AS
Lexical Access Model for Italian -- Modeling human speech processing: identification of words in running speech toward lexical access based on the detection of landmarks and other acoustic cues to features
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Sapienza University of Rome（罗马大学）；Radcliffe Institute for Advanced Study, Harvard University（哈佛大学拉德克利夫高级研究所）
为了模拟听者在推导出说话者想要表达的词语时所激发的过程，需要对词汇项如何存储在记忆中设定一个假设。这项工作的目的是开发一个系统，模仿人类识别运行语音中的单词，并以这种方式，提供一个框架，以更好地理解人类的语音处理。我们建立了一个语音识别器为意大利语的基础上史蒂文斯的词汇访问模型的原则，其中单词存储为层次安排的区别性特征（史蒂文斯，K。n.（2002年）的报告。"Toward a model for lexical access based on acoustic landmarks and distinct features，" J. Acoust. Soc. Am.，111（4）：1872 - 1891）。在过去的几十年里，麻省理工学院（MIT）的语音通信组基于这种方法开发了一个英语语音识别系统。意大利语将是英语之外的第一种语言;扩展到另一种语言提供了一个机会来测试假设，即单词在记忆中表示为一组分层排列的独特特征，并揭示哪些潜在机制可能具有语言独立性。本文还介绍了一个新的词汇访问语料库，LaMIT数据库，创建和标记专门为这项工作，将免费提供给语音研究社区。未来的发展将测试这一假设，即特定的声学不连续性-称为地标-作为特征的线索，是语言独立的，而其他线索可能是语言依赖的，这对理解人类大脑如何识别语音具有重要意义。
2021-06-24 cs.CL cs.SD eess.AS
Information Theoretic Analysis of DNN-HMM Acoustic Modeling
本文提出了一个信息论框架，用于定量评估基于隐马尔可夫模型（HMM）的自动语音识别（ASR）的声学建模。声学建模针对语音声学特征的短时间窗口产生HMM子词状态的概率。我们将ASR转换为一个通信信道，其中输入子字概率传达有关输出HMM状态序列的信息。因此，声学模型的质量根据通过该信道传输的信息来量化。从子字概率推断最可能的HMM状态序列的过程称为解码。基于HMM的解码假设声学模型产生精确的状态级概率，并且给定潜在隐藏状态的数据分布独立于序列中的任何其他状态。我们量化1）声学模型的准确性和2）它的鲁棒性数据和HMM条件独立性假设之间的失配的一些互信息量。在这种情况下，利用深度神经网络（DNN）后验概率导致一个简单而直接的分析框架，以评估基于HMM的解码的声学模型的缺点。这种分析使我们能够评估高斯混合声学模型（GMM）和DNN中许多隐藏层的重要性，而无需任何显式语音识别。此外，它揭示了低维模型的贡献，以提高声学建模更好地遵守基于HMM的解码要求。
2017-11-08 cs.CL cs.LG cs.SD
Direct Acoustics-to-Word Models for English Conversational Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；IBM
端到端自动语音识别（ASR）的最新研究表明，连接主义时间分类（CTC）损失可用于将声学转换为音素或字符序列。这样的系统与字典和单独训练的语言模型（LM）一起使用以产生单词序列。然而，它们并不是真正的端到端，因为它们将声学直接映射到单词，而不需要中间的音素表示。在本文中，我们提出了第一个结果，采用直接声学字CTC模型上两个著名的公共基准任务：总机和CallHome。这些模型在运行时不需要LM甚至解码器，因此以最小的复杂度识别语音。然而，由于大量的字输出单元，与传统系统相比，CTC字模型需要数量级更多的数据来可靠地训练。我们提出了一些技术来缓解这个问题。我们的CTC字模型实现了一个字的出错率的13.0%/18.8%的集线器5 -2000交换机/CallHome测试集没有任何LM或解码器相比，9.6%/16.0%的电话为基础的CTC与4克LM。我们还提出了CTC字模型格子的重新评分结果，以量化LM的性能优势，并对比字和电话CTC模型的性能。
2017-03-22 cs.CL cs.NE stat.ML
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
A Deliberation-based Joint Acoustic and Text Decoder
Google Inc.（谷歌公司）
我们提出了一种新的两遍E2 E语音识别模型，通过对配对数据和未配对文本数据的组合进行训练来提高ASR性能。以前，联合声学和文本解码器（JATD）通过在模型训练期间使用文本数据显示出有希望的结果，最近引入的审议架构通过利用第一遍解码结果减少了识别错误。我们的方法，被称为审议JATD，结合审议的拼写纠正能力与JATD的使用不成对的文本数据，以进一步提高性能。所提出的模型在多个测试集上产生了实质性的收益，特别是那些专注于罕见单词的测试集，它将单词错误率（WER）相对降低了12%至22.5%。这是在不增加模型大小或不需要多阶段训练的情况下完成的，使得Deliberation-JATD成为设备上应用的有效候选者。
2023-03-23 cs.CL cs.LG cs.SD
Word Order Does Not Matter For Speech Recognition
Facebook AI Research（脸书人工智能研究院）
在本文中，我们研究的自动语音识别系统在弱监督设置的音频训练数据的转录标签中的单词的顺序是未知的训练。我们训练一个单词级声学模型，该模型使用LogSumExp操作聚合所有输出帧的分布，并使用交叉熵损失来与地面实况单词分布匹配。在训练集上使用从该模型生成的伪标签，然后使用连接主义时间分类损失训练基于字母的声学模型。我们的系统在LibriSpeech的测试-清洁/测试-其他子集上实现了2.3%/4.6%，这与监督基线的性能非常匹配。
2021-10-18 cs.CL cs.SD eess.AS
Confusion2Vec: Towards Enriching Vector Space Word Representations with Representational Ambiguities
University of Southern California（南加州大学）
词向量表示是自然语言处理和人机交互的重要组成部分。在本文中，我们提出了一种新的词向量表示，混淆2 Vec，从人类的语音生产和感知编码的代表性歧义的动机。人类采用声学相似性线索和上下文线索来解码信息，我们专注于一个模型，将这两个信息源。声学的表征模糊性，表现在单词混淆中，通常由人类和机器通过上下文线索来解决。一系列的代表性的模糊性可以出现在各个领域进一步的声学感知，如形态变换，释义的自然语言处理任务，如机器翻译等。在这项工作中，我们提出了一个案例研究中的应用程序自动语音识别（ASR），其中的单词混淆与声学相似性。我们提出了几种技术来训练声学感知相似性表示歧义。我们称之为Confusion 2 Vec，并从ASR混淆网络或类格子结构中学习无监督生成的数据。适当的评价Confusion 2 Vec制定测量声学相似性，除了语义-句法和单词相似性评价。Confusion 2 Vec能够有效地对单词混淆进行建模，而不会影响语义-句法单词关系，从而有效地丰富了单词向量空间与额外任务相关的歧义信息。我们提供了一个直观的探索的2维Confusion 2 Vec空间使用主成分分析的嵌入和语义，句法和声学关系。通过与ASR错误校正相关的小示例，证明了Confusion 2 Vec在利用晶格中存在的不确定性方面的潜力。
2019-03-28 cs.CL
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，自我监督预训练在端到端（E2 E）自动语音识别（ASR）中取得了令人印象深刻的结果。然而，占主导地位的序列到序列（S2 S）E2 E模型仍然难以充分利用自监督预训练方法，因为其解码器以声学表示为条件，因此无法单独进行预训练。在本文中，我们提出了一个预训练的Transformer（Preformer）S2 S ASR架构的基础上混合CTC/注意力E2 E模型，充分利用预训练的声学模型（AM）和语言模型（LM）。在我们的框架中，编码器使用预训练的AM（wav2vec2.0）初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外，我们设计了一个单交叉解码器（OCD），它放松了对声学表示的依赖，以便可以使用预训练的LM（DistilGPT 2）进行初始化。在AISHELL-1语料库上进行了实验，并在测试集上获得了$4.6\%$字符错误率（CER）。与我们的香草混合CTC/注意力Transformer基线相比，我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知，这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR
Apple（苹果公司）
准确预测用户与设备上（例如，电话上）的语音助理（VA）交互的意图对于实现与VA的自然的、有吸引力的和以隐私为中心的交互至关重要。为此，我们提出了一种新的方法来预测用户的意图（用户说话的设备或不）直接从声学和文本信息编码的子字令牌，这是通过一个端到端的ASR模型。与音素和/或完整词的建模相比，直接对子词标记建模具有至少两个优点：（i）与音素级表示相比，它提供了唯一的词汇表表示，其中每个标记具有语义意义，（ii）每个子词标记具有可重用的“子”词声学模式（其可用于构造多个完整单词），从而导致比完整单词大大减少的词汇空间。为了学习音频到意图分类的子词表示，我们提取：（i）来自E2 E-ASR模型的声学信息，该模型为子词令牌提供帧级CTC后验概率，以及（ii）来自预先训练的连续词袋模型的文本信息，该模型捕获子词令牌的语义含义。我们的方法的关键是，它结合了声学子词级后验与文本信息的位置编码的概念，以同时考虑多个ASR假设的方式。我们表明，我们的方法为音频到意图的分类提供了更强大和更丰富的表示，并且具有高度的准确性，能够以99%的真阳性率正确地减轻93.3%的非预期用户音频调用智能助手。
2022-10-21 cs.CL cs.HC cs.SD
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington（华盛顿大学）
本文提出用 absement 量化语音时间序列间的声学差异，并通过基于动态时间规整的孤立词模板识别实验验证其有效性，取得 57.9% 的识别准确率，探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition
Tianjin University（天津大学）；Baidu, Inc.（百度公司）；Kyoto University（京都大学）；Huiyan Technology (Tianjin) Co., Ltd（汇研科技（天津）有限公司）
提出一种非自回归语音错误纠正方法，利用置信度模块和声学特征作为参考，通过交叉注意力融合信息，在ASR基础上降低21%错误率。
2024-06-29 cs.CL cs.SD eess.AS
Word Error Rate Estimation Without ASR Output: e-WER2
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；University of Edinburgh（爱丁堡大学）
测量自动语音识别（ASR）系统的性能需要手动转录数据以计算单词错误率（WER），这通常是耗时且昂贵的。在本文中，我们继续我们的努力，估计WER使用声学，词汇和语音特征。我们的新方法来估计WER使用多流端到端架构。我们报告的结果，系统使用内部语音解码器功能（玻璃盒），系统没有语音解码器功能（黑盒），系统没有访问的ASR系统（无框）。无框系统从音素识别结果以及MFCC声学特征中学习联合声学词汇表示以估计WER。考虑到每个句子的WER，我们的无框系统在1,400个句子中实现了与参考评估的0.56 Pearson相关性和0.24均方根误差（RMSE）。e-WER 2估计的三小时测试集的总体WER为30.9%，而使用参考透射率计算的WER为28.5%。
2020-08-08 cs.CL cs.SD eess.AS
Confusion2vec 2.0: Enriching Ambiguous Spoken Language Representations with Subwords
University of Southern California（南加州大学）
词向量表示使机器能够对人类语言进行编码以用于口语语言理解和处理。Confusion 2 vec是一种词向量表示方法，它从人类的语音产生和感知出发，除了语义和句法信息外，还对人类口语中存在的歧义进行编码。Confusion 2 vec通过考虑固有的人类语言歧义来提供鲁棒的口语表示。在本文中，我们提出了一种新的词向量空间估计的无监督学习的格子输出的自动语音识别（ASR）系统。我们在confusion 2 vec向量空间中通过其组成子字字符n-gram对每个字进行编码。我们表明，子字编码有助于更好地代表人类口语中的声学感知模糊性，通过网格结构的ASR输出建模的信息。使用语义，句法和声学类比和单词相似性任务的有用性进行评估，建议的Confusion 2 vec表示。我们还展示了子词建模的好处，声学歧义表示的任务，口语意图检测。当对错误的ASR输出进行评估时，结果显着优于现有的词向量表示。我们证明了Confusion 2 vec子词建模消除了对ASR成绩单上的自然语言理解模型进行再训练/调整的需要。
2021-02-19 cs.CL cs.SD eess.AS
Predicting word error rate for reverberant speech
Microsoft Research（微软研究院）
混响对自动语音识别（ASR）的性能有负面影响。关于量化混响效果的先前工作已经表明，清晰度（C50）（可以从声学脉冲响应估计的参数）与ASR性能相关。在本文中，我们提出预测ASR性能的字错误率（WER）直接从声学参数通过多项式，S形，或神经网络拟合，以及盲目地从混响语音样本使用卷积神经网络（CNN）。我们进行了两个国家的最先进的ASR模型和一个大的声学脉冲响应（AIR）的实验。结果证实C50和C80与WER高度相关，允许WER用所提出的拟合方法进行预测。所提出的非侵入式CNN模型优于基于C50的WER预测，表明WER可以被盲估计，即，直接从混响语音样本中提取，而无需了解声学参数。
2020-02-14 cs.SD eess.AS
Transformer-based Acoustic Modeling for Hybrid Speech Recognition
Facebook（脸书）
我们提出并评估基于变换的声学模型（AM）的混合语音识别。在这项工作中讨论了几种建模选择，包括各种位置嵌入方法和迭代损失，以训练深度Transformers。我们还提出了一个初步的研究，使用有限的权利的上下文中的Transformer模型，这使得它可能的流式应用程序。我们证明，在广泛使用的Librispeech基准，我们的基于变换的AM优于最好的发表的混合结果19%至26%相对使用标准的n元语言模型（LM）。结合神经网络LM的重新评分，我们提出的方法取得了国家的最先进的结果Librispeech。我们的发现也在更大的内部数据集上得到了证实。
2020-04-30 cs.CL eess.AS
A Transformer with Interleaved Self-attention and Convolution for Hybrid Acoustic Models
Microsoft Speech（微软语音）
具有自注意力的Transformer在自然语言处理领域取得了巨大的成功。近年来，Transformer在端到端语音识别中的研究比较少，而在混合声学模型中的应用还很有限。在本文中，我们重新审视了基于transformer的混合声学模型，并提出了一个模型结构与交错的自注意和一维卷积，这是被证明具有更快的收敛速度和更高的识别精度。我们还研究了Transformer模型的几个方面，包括位置编码功能的影响，dropout正则化，以及有时间限制和无时间限制的训练。在交叉熵训练和序列训练阶段，与Kaldi基线相比，我们在公共Librispeech数据集上显示了具有竞争力的识别结果。对于可重复的研究，我们在PyKaldi2工具箱中发布了我们的源代码和配方。
2019-10-23 cs.CL eess.AS stat.ML
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Towards Consistent Hybrid HMM Acoustic Modeling
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
高性能的混合自动语音识别（ASR）系统通常用聚类的三音素输出来训练，并且因此需要复杂的训练流水线来生成聚类。通常使用相同的复杂流水线来生成用于逐帧交叉熵训练的对齐。在这项工作中，我们提出了一个平坦的开始因子混合模型训练的三音子状态明确建模，而不依赖于聚类方法。这大大简化了新模型的训练。此外，我们研究了用于Viterbi训练的不同对齐的效果。我们提出的模型实现竞争力的性能相比，系统使用集群三音子和其他平启动模型在文献中的开关板任务。
2021-10-12 cs.SD eess.AS
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Building competitive direct acoustics-to-word models for English conversational speech recognition
IBM（IBM公司）；Carnegie Mellon University（卡内基梅隆大学）
与使用音素、字符或上下文相关隐马尔可夫模型状态的传统的基于子词的自动语音识别模型相比，端到端范例中的直接声学到词（A2 W）模型已经受到越来越多的关注。这是因为A2 W模型从语音中识别单词，而无需任何解码器、发音词典或外部训练的语言模型，从而使使用此类模型的训练和解码变得简单。先前的工作表明，A2 W模型需要数量级更多的训练数据，以执行传统模型的训练。我们的工作也显示了这种准确性差距时，使用英语开关板费舍尔数据集。本文描述了一种训练A2 W模型的方法，该方法可以缩小这一差距，并与最先进的基于子字的模型相媲美。在没有任何解码器或语言模型的情况下，我们在Hub 5 -2000 Switchboard/CallHome测试集上实现了8.8%/13.9%的字出错率。我们发现，模型初始化，训练数据顺序，和正则化的A2 W模型的性能影响最大。接下来，我们提出了一个单词-字符联合A2 W模型，该模型首先学习拼写单词，然后识别它。该模型为用户提供了丰富的输出，而不是简单的单词假设，这使得它在训练过程中看不见或很少看到的单词的情况下特别有用。
2017-12-08 cs.AI cs.CL cs.NE
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited（特兰尼克斯私人有限公司）
SW-ASR通过结合上下文感知和轻量验证机制，提升单字语音识别在噪声和压缩信道中的鲁棒性，适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
Approaches to Improving Recognition of Underrepresented Named Entities in Hybrid ASR Systems
Xinjiang University（新疆大学）；Nanyang Technological University（南洋理工大学）；Nazarbayev University（纳扎尔巴耶夫大学）；ISSAI
在本文中，我们提出了一系列的补充方法，以提高识别的代表性不足的命名实体（NE）在混合ASR系统，而不影响整体的字错误率性能。代表性不足的单词对应于训练数据中的罕见或词汇表外（OOV）单词，因此无法可靠地建模。我们从字形词典开始，它允许在混合ASR中放弃语音模型的必要性。我们研究它在不同的设置，并证明其有效性，在处理代表性不足的NE。接下来，我们研究了神经语言模型（LM）的影响，其中基于字母的特征用于处理不常见的单词。在此之后，我们试图通过借用丰富代表词的嵌入表示来丰富预训练神经LM中代表性不足的NE的表示。这让我们在代表性不足的NE识别方面获得了显着的性能改进。最后，我们提高了由神经LM重新评分的词格中包含NE的话语的似然分数，并获得进一步的性能改善。上述方法的组合相对提高了高达42%的NE识别。
2020-05-18 cs.CL cs.SD eess.AS
Joint Speech Recognition and Speaker Diarization via Sequence Transduction
Google（谷歌）
处理对话的语音应用程序不仅需要识别所说的话，还需要确定谁在什么时候说话。将单词分配给说话者的任务通常通过合并两个独立系统的输出来解决，这两个独立系统即自动语音识别（ASR）系统和说话者日志化（SD）系统。这两个系统是用不同的目标函数独立训练的。通常，SD系统直接在声学上操作，并且不限于尊重单词边界，并且以特别的方式克服该缺陷。受序列到序列学习的最新进展的启发，我们提出了一种新的方法来解决这两个任务的联合ASR和SD系统使用递归神经网络换能器。我们的方法利用语言和声学线索来推断扬声器的角色，而不是典型的SD系统，只使用声学线索。我们评估了我们的方法在医生和患者之间的大型医学对话语料库上的性能。与传统的基线相比，我们的方法将单词级日志化的错误率出错率从15.8%提高到2.2%。
2019-07-09 cs.CL cs.SD eess.AS
Spoken Language Intent Detection using Confusion2Vec
University of Southern California（南加州大学）
解读说话人的意图是口语语言理解的重要组成部分。在现实生活中，文本传输中存在的噪声或错误使任务更具挑战性。在本文中，我们解决了口语意图检测的自动语音识别（ASR）系统施加的噪声条件下。我们建议采用confusion2vec字特征表示来补偿ASR所造成的错误，并增加SLU系统的鲁棒性。由人类语音产生和感知激发的混淆向量，除了模拟人类语言中单词的语义和句法关系外，还模拟单词之间的声学关系。我们假设，ASR经常犯错误的声学相似的话，和confusion2vec与固有模型的声学关系的话是能够补偿的错误。我们通过在ATIS基准数据集上的实验证明了所提出的模型在噪声ASR条件下实现最先进结果的鲁棒性。我们的系统将分类出错率（CER）降低了20.84%，并相对于以前的最先进的从干净到嘈杂的成绩单，提高了37.48%（较低的CER退化）的鲁棒性。在嘈杂的成绩单上训练意图检测模型时也证明了改进。
2019-07-02 cs.CL cs.SD eess.AS
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS（巴黎高等师范学院）；EHESS（社会科学高等研究院）；CNRS（法国国家科学研究中心）
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络，发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词，第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Speaker Diarization with Lexical Information
University of Southern California（南加州大学）；JD AI Research（京东人工智能研究院）
本文提出了一种利用自动语音识别提供的词汇信息进行说话人日志化的新方法。我们提出了一个说话人日记系统，可以将单词级说话人转向概率与说话人嵌入到说话人聚类过程中，以提高整体日记的准确性。为了在聚类过程中全面地整合词汇和声学信息，我们引入了一种邻接矩阵整合的谱聚类方法。由于单词和单词边界信息的单词级说话人转向概率估计提供的语音识别系统，我们提出的方法的工作原理，没有任何人为干预的手动transmittance。我们表明，所提出的方法提高了各种评估数据集上的日志化性能相比，基线日志化系统只使用声学信息在扬声器嵌入。
2020-04-13 cs.CL cs.SD eess.AS
Toward Cross-Domain Speech Recognition with End-to-End Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在多域语音识别领域，过去的研究主要集中在混合声学模型上，以建立跨域和域不变的语音识别系统。在本文中，我们经验性地研究了混合声学模型和神经端到端系统在混合来自多个域的声学训练数据时的行为差异。对于这些实验，我们从公共来源组成了一个多域数据集，语料库中的不同域涵盖了各种各样的主题和声学条件，如电话交谈，讲座，阅读语音和广播新闻。我们表明，对于混合模型，提供额外的训练数据，从其他领域与不匹配的声学条件不会增加特定领域的性能。然而，我们的端到端模型优化与基于序列的标准推广比不同领域的混合模型。在单词错误率性能方面，我们在多域数据集上训练的实验声学到单词和基于注意力的模型达到了特定于域的长短期记忆（LSTM）混合模型的性能，从而导致多域语音识别系统的性能不会受到特定于域的影响。此外，神经端到端模型的使用消除了在识别期间对域适应语言模型的需要，这在输入域未知时是一个很大的优势。
2020-03-09 cs.CV cs.LG cs.SD
Quantifying Consonant Contributions to Word Intelligibility via Acoustic Masking
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于声学掩蔽的可扩展方法，通过自动语音识别模型计算掩蔽诱导误识别率来量化辅音对单词可懂度的贡献，并验证其与音素频率和功能负荷的相关性，发现辅音贡献具有语言依赖性。
2026-09-22 cs.CL
Faster, Simpler and More Accurate Hybrid ASR Systems Using Wordpieces
Facebook AI（Facebook人工智能）
在这项工作中，我们首先表明，在广泛使用的LibriSpeech基准，我们的基于变换的上下文相关的连接主义时间分类（CTC）系统产生的最先进的结果。然后，我们表明，使用词片作为建模单元结合CTC训练，与传统的基于帧的交叉熵训练相比，我们可以通过排除所有的GMM自举，决策树构建和力对齐步骤来大大简化工程管道，同时仍然实现非常有竞争力的单词错误率。此外，使用字段作为建模单元可以显着提高运行时效率，因为我们可以使用更大的步幅而不会失去准确性。我们在两个内部VideoASR数据集上进一步证实了这些发现：德语，类似于英语作为融合语言，土耳其语，这是一种粘着语言。
2020-08-16 cs.CL eess.AS
Techniques for Vocabulary Expansion in Hybrid Speech Recognition Systems
STC-innovations Ltd（STC创新有限公司）；Higher School of Economics（高等经济学院）；ITMO University（ITMO大学）；University of London（伦敦大学）
词汇表外单词（OOV）的问题对于任何语音识别系统都是典型的，混合系统通常被构造成识别固定的单词集合，并且很少能够包括在系统开发期间将遇到的所有单词。覆盖OOV的流行方法之一是使用子字单元而不是单词。这种系统可以潜在地识别任何先前看不见的词，如果该词可以从当前子词单元构建的话，但是也可以识别不存在的词。另一种流行的方法是修改系统的HMM部分，以便它可以轻松有效地扩展我们想要添加到系统中的自定义单词集。在本文中，我们探讨了不同的现有方法，这种解决方案的图的建设和搜索方法的水平。我们还提出了一种新的词汇扩展技术，解决了一些常见的内部子程序识别图形处理的问题。
2020-03-19 cs.CL cs.LG
Acoustic Neighbor Embeddings
Apple（苹果公司）
本文提出了一种新的声学字嵌入称为声学邻居嵌入语音或文本的任意长度被映射到一个向量空间的固定，减少尺寸通过适应随机邻居嵌入（SNE）顺序输入。嵌入空间中坐标之间的欧氏距离反映了其对应序列之间的语音混淆性。训练两个编码器神经网络：声学编码器，其接受从声学模型获得的逐帧子字后验概率形式的语音信号，以及文本编码器，其接受子字transmittance形式的文本。与三重损失准则相比，所提出的方法具有更有效的神经网络训练梯度。在实验上，当两个编码器网络在单词（名称）识别任务中串联使用时，以及当文本编码器网络在近似语音匹配任务中独立使用时，它也给出了更准确的低维嵌入结果。特别是，在一个孤立的名称识别任务，仅依赖于建议的嵌入向量之间的欧几里德最近邻搜索，识别精度是相同的传统的有限状态转换器（FST）的解码使用测试数据与多达1万个名称的词汇和40个维度的嵌入。
2022-01-06 cs.LG cs.SD eess.AS
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University（台湾大学）
声学模式的无监督发现技术正变得越来越有吸引力，因为大量的语音数据变得可用，但手动注释仍然很难获得。在本文中，我们提出了一种方法，无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式（类子词和类词）、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式，模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤，其次是三个级联阶段的声学，语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中，模型训练和解码产生更新的标签，词典和障碍可以进一步更新。通过这种方式，在每次迭代中分别优化模型参数和解码标签，并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验，对所提出的方法进行了测试，其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明，该系统不仅产生合理的性能本身，但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
Optimizing expected word error rate via sampling for speech recognition
Google Inc.（谷歌公司）
状态级最小贝叶斯风险（sMBR）训练已经成为语音识别声学模型序列级训练的事实标准。它有一个优雅的公式使用的期望半环，并给出了很大的改善字出错率（WER）的模型训练单独使用交叉熵（CE）或连接时间分类（CTC）。sMBR训练优化了参考声学状态和假设声学状态不同的预期帧数。优化期望WER可能是优选的，但是WER与期望半环不能很好地相互作用，并且基于计算期望WER的先前方法确切地涉及扩展在训练期间使用的格。在本文中，我们展示了如何通过从传统sMBR训练期间使用的网格中采样路径来优化预期的WER。预期WER的梯度本身是一个预期，因此可以使用蒙特卡洛采样来近似。我们的实验表明，在声学模型训练过程中优化WER，在2通道查询识别任务（Google Home）上，WER相对于调整良好的sMBR基线有5%的相对改善。
2017-06-08 cs.CL cs.LG cs.NE
Beyond WER: A Paired Acoustic Stress Test for Ambient Clinical Scribes
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Co., Ltd.（iFLYTEK公司）
提出配对声学压力测试方法，通过注入噪声并冻结下游模型，揭示噪声对临床推理的安全影响，发现轻微声学扰动可逆转临床意义而不显著增加词错误率，并展示轻量级缓解策略。
2026-06-04 cs.SD eess.AS
Subword and Crossword Units for CTC Acoustic Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的方法来创建一个基于CTC的语音识别系统的单元集。通过使用字节对编码，我们在给定的训练文本上学习任意大小的单元集。与使用字符或单词作为单位相比，这使我们能够在单位集的大小和可用的训练数据之间找到一个很好的折衷。我们评估填字游戏单位，这可能会跨越多个字，和子字单位。通过将这种方法与使用单独的语言模型的解码方法相结合，我们能够实现基于字素的CTC系统的最新结果。
2018-06-18 cs.CL
Acoustic data-driven lexicon learning based on a greedy pronunciation selection framework
The Johns Hopkins University（约翰斯·霍普金斯大学）
用于不规则拼写的语言（如英语）的语音识别系统通常需要手写发音。在本文中，我们描述了一个系统，用于自动获得发音的单词的发音是不可用的，但转录数据存在。我们的方法集成了来自字母序列和声学证据的信息。我们解决的问题的新颖方面是如何从这样的词典中修剪条目的问题（因为，根据经验，具有太多条目的词典往往不利于ASR性能）。各种ASR任务的实验表明，与所提出的框架，从几千个单词的初始词典，我们能够学习的词典执行接近一个完整的专家词典的WER性能方面的测试数据，是优于单独使用G2P或基于发音概率的修剪标准建立的词典。
2017-06-12 cs.CL
Cumulative Adaptation for BLSTM Acoustic Models
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文将鲁棒语音识别问题作为一个自适应任务。具体来说，我们研究适应方法的累积应用。基于双向长短期记忆（BLSTM）的神经网络能够学习时间关系和平移不变表示，用于稳健的声学建模。此外，i-向量被用作神经网络的输入，以执行瞬时扬声器和环境适应，在NIST Hub 5 2000评估测试集上提供8\%的字出错率的相对改善。通过使用网络内的说话人和环境相关变换来增强第一遍基于i向量的自适应与第二遍自适应，实现了字出错率的进一步相对改善5\%。我们重新评估了用于估计i向量的特征及其归一化，以在现代大规模自动语音识别系统中实现最佳性能。
2019-06-14 cs.CL stat.ML
