Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
FOOCTTS: Generating Arabic Speech with Acoustic Environment for Football Commentator
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出FOOCTTS足球解说语音生成流水线，整合语音识别标注、CTC分割、文本元音化与TTS微调，仅用15分钟录音即可生成带背景噪声的阿拉伯语解说语音，且可跨领域跨语言迁移。
2023-06-07 cs.CL cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University（清华大学）；Peng Cheng Lab（鹏城实验室）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题，提出下采样声学表征对齐文本模态的策略，引入CIF模块生成匹配词元长度的声学表征，提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs
Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
我们提出了两个基于多模态融合的深度学习模型，这些模型同时使用ASR转录的语音和声学数据来分类结构化诊断任务中的说话者是否患有阿尔茨海默病以及在多大程度上患有阿尔茨海默病，评估ADReSSo挑战2021数据。我们的最佳模型是一个BiLSTM，它具有使用单词、单词概率、不流利特征、停顿信息和各种声学特征的高速公路层，在MMSE认知评分上实现了84%的准确率和4.26的RSME错误预测。虽然预测认知能力下降更具挑战性，但我们的模型显示出使用多模态方法和单词概率，不流利和停顿信息的改进。我们使用多模态融合和门控，可以有效地处理来自声学特征和ASR假设的噪声输入，从而显示出相当大的收益。
2021-06-29 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago（芝加哥信息技术研究所）
分段模型是序列预测模型，其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字（“声学到字”）语音识别，使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的，因为路径的数量与词汇量大小成比例，这可能比使用子字单元（如音素）时大几个数量级。我们描述了一种有效的方法，端到端的全词分段模型，与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能，降低了空间的复杂性。此外，我们还研究了通过联合训练的声学词嵌入（AWE）和声学接地词嵌入（AGWE）的书面词标签进行预训练的使用。我们发现，字错误率可以通过使用AWE预训练声学段表示来大幅降低，并且可以通过使用AGWE预训练字预测层来获得额外的（较小的）增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition
Sun Yat-sen University（中山大学）；Dark Matter AI Research（暗物质人工智能研究院）；Sea AI Lab（冬海人工智能实验室）
统一声学和语言表示学习对于将在丰富的高资源语言数据上学到的知识转移到低资源语音识别变得越来越重要。现有的方法简单地级联预训练的声学和语言模型来学习从语音到文本的转换。然而，如何解决语音和文本的表征差异还没有被探索，这阻碍了声学和语言信息的利用。此外，以前的工作简单地用声学特征替换预训练语言模型的嵌入层，这可能会导致灾难性遗忘问题。在这项工作中，我们介绍了Wav-BERT，一个合作的声学和语言表示学习方法融合和利用语音和文本的上下文信息。具体来说，我们将预先训练的声学模型（wav 2 vec 2.0）和语言模型（BERT）统一到端到端的可训练框架中。设计了一个表示聚合模块来聚合声学和语言表示，并引入了一个嵌入注意模块来将声学信息融入到BERT中，这可以有效地促进两个预训练模型的合作，从而促进表示学习。大量的实验表明，我们的Wav-BERT显着优于现有的方法，并达到国家的最先进的低资源语音识别的性能。
2021-10-09 cs.CL eess.AS
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington（华盛顿大学）
本文提出用 absement 量化语音时间序列间的声学差异，并通过基于动态时间规整的孤立词模板识别实验验证其有效性，取得 57.9% 的识别准确率，探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
Acoustic Landmarks Contain More Information About the Phone String than Other Frames for Automatic Speech Recognition with Deep Neural Network Acoustic Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Novumind；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
大多数主流的自动语音识别（ASR）系统认为所有特征帧同等重要。然而，声学地标理论是基于一个矛盾的想法，即一些帧比其他帧更重要。声学地标理论利用发音声学和声学感知关系中的量子非线性来定义语音频谱突然改变或达到极值的地标时间;已证明与地标重叠的帧足以用于语音感知。在这项工作中，我们进行实验的TIMIT语料库，与GMM和DNN为基础的ASR系统，并发现，包含地标的帧比其他人的ASR信息。我们发现，通过重新加权声学可能性来改变对地标的强调程度往往会降低电话错误率（PER）。此外，通过利用地标作为启发式算法，我们的一种混合DNN丢帧策略在对不到一半（精确地说是45.8%）的帧进行评分时，将PER保持在最佳的0.44%以内。这种混合策略优于其他非启发式的方法，并展示了潜在的地标，以减少计算。
2018-03-21 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Combination of Time-domain, Frequency-domain, and Cepstral-domain Acoustic Features for Speech Commands Classification
University of Yamanashi（山梨大学）；Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences（医学、工学与农学综合研究生院）
在语音相关的分类任务中，经常使用诸如对数Mel滤波器组系数（FBANK）的频域声学特征和诸如Mel频率倒谱系数（MFCC）的倒谱域声学特征。然而，时域特征在一些包含非声乐或弱语音相关声音的声音分类任务中表现得更有效。我们之前提出了一种称为位序列表示（BSR）的特征，这是一种基于原始波形的时域二进制声学特征。与MFCC相比，BSR在环境声音检测方面表现更好，并且在有限词汇量的语音识别任务中表现出相当的准确性。在本文中，我们提出了一种新的改进BSR功能称为BSR-float 16更精确地表示浮点值。我们使用Google提出的Speech Commands数据集，通过实验证明了时域，频域和倒谱域特征之间的互补性。因此，我们使用了一个简单的后端分数融合方法，以提高最终的分类精度。融合结果也表现出较好的噪声鲁棒性。
2022-06-17 cs.SD eess.AS
An Investigation on Applying Acoustic Feature Conversion to ASR of Adult and Child Speech
The Chinese University of Hong Kong（香港中文大学）
由于训练数据量有限，儿童语音识别的性能通常不如成人语音令人满意。当将在成人语音上训练的自动语音识别（ASR）系统直接应用于儿童语音时，由于域失配，预期性能显著下降。本研究的重点是成人到儿童的声学特征转换，以减轻这种不匹配。不同的声学特征转换方法，包括基于深度神经网络和基于信号处理，在公平的实验设置下进行了研究和比较，其中从相同数量的标记成人语音转换的声学特征用于从头开始训练ASR模型。实验结果表明，并不是所有的转换方法导致ASR性能增益。具体地说，作为经典的无监督域自适应方法，统计匹配没有表现出有效性。基于解纠缠的自动编码器（DAE）转换框架被发现是有用的，并且F0归一化的方法实现了最佳性能。值得注意的是，转换特征的F0分布是反映转换质量的重要属性，而利用成人-儿童深度分类模型进行判断是不合适的。
2022-05-25 cs.SD eess.AS
Acoustic models of Brazilian Portuguese Speech based on Neural Transformers
Universidade de São Paulo（圣保罗大学）
本研究基于Transformer构建巴西葡萄牙语语音声学模型，经800余小时语音预训练后，在呼吸功能不全检测等任务上微调，性能较无预训练模型显著提升，部分任务达最优水平。
2023-12-14 cs.CL cs.LG cs.SD
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple（苹果公司）
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers（BERT）和隐藏单元BERT（HuBERT）的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪，例如激活，效价和优势，从语音中。我们观察到，虽然效价可能在很大程度上依赖于词汇表征，激活和优势主要依赖于声学信息。在这项工作中，我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计，与标准声学和词汇基线相比，我们在一致性相关系数（CCC）上显示出100%和30%的相对改善。最后，我们研究了预训练模型表示对噪声和混响退化的鲁棒性，并注意到词汇和声学表示受到不同的影响。我们发现，词汇表示是更强大的失真相比，声学表示，并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
无声语音接口（SSI）是最近人们感兴趣的一个令人兴奋的领域。在本文中，我们提出了一种非侵入性的无声语音接口，使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架，它结合了CNN和基于注意力的编码器-解码器网络。有限词汇（54句）的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%，在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.（苹果公司）
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式，但一种强大的方法是使用深度神经网络（DNN）。然而，一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据，特别是对于与说话者无关的模型。在本文中，我们探讨适应自动语音识别（ASR）的声学模型（AM）的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试，我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明，观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是，视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Learning Speech Representation From Contrastive Token-Acoustic Pretraining
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对细粒度语音任务中中间表示冗余且现有对比学习不适用的问题，提出 CTAP，在帧级对齐音素与语音，并基于 21 万对数据实现最小监督 TTS、VC 和 ASR。
2023-12-18 cs.AI cs.CL cs.SD
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
在自动语音识别中，GMM-HMM被广泛用于声学建模。随着当前深度学习的发展，声学模型中的高斯混合模型（GMM）已经被深度神经网络所取代，即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对，从而使得创建精确比对成为一项重要任务。许多因素，例如训练数据集大小、训练数据增强、模型超参数等，影响模型学习。传统上，在机器学习中，较大的数据集往往具有更好的性能，而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战，因语言而异，在大多数情况下，它可能仅限于大型组织。此外，在可用的大型数据集的情况下，使用此类数据训练模型需要额外的时间和计算资源，而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布，但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
鲁棒自动语音识别（ASR）的一个挑战性问题是如何在不计算误词率（WER）的情况下衡量语音增强算法（SEA）的优劣，因为人工翻译、语言建模和解码过程的成本很高。传统的评价语音质量和可懂度的指标如PESQ和STOI与WER的相关性较低。在这项研究中，提出了一种新的声学引导评估（AGE）措施估计性能的稳健ASR的SEAs。AGE由三个连续的步骤组成，即通过特征提取的低级别表示，通过声学模型（AM）的非线性映射的高级别表示，以及干净语音和退化语音的表示之间的最终AGE计算。具体地说，状态后验概率从神经网络的AM采用的高级表示和交叉熵准则用于计算AGE。实验表明，AGE可以产生一致的最高相关性与WER，并给出最准确的估计ASR性能相比，PESQ，STOI，声学置信度测量熵。潜在地，AGE可以用于指导基于深度学习的SEA的参数优化，以进一步提高识别性能。
2018-11-28 cs.SD eess.AS
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Erik Jonsson School of Engineering（埃里克·琼森工程学院）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心（CRSS））
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制，从而只识别期望的说话人。仿射变换层被插入到声学模型网络中，以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法，可以应用于任何声学模型架构。在这里，我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明，该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法，与原始ResNet声学模型基线相比，在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Improving Reverberant Speech Training Using Diffuse Acoustic Simulation
University of Maryland（马里兰大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一种有效的和现实的几何声学模拟方法，用于生成和增强语音相关的机器学习任务中的训练数据。我们的基于物理的声学模拟方法能够在复杂的声学环境中模拟声音的遮挡，镜面反射和漫反射，而经典的图像方法只能在简单的房间设置中模拟镜面反射。我们表明，通过使用我们的合成训练数据，相同的神经网络在远场语音识别中的真实测试集上获得了1.58%的显着性能提高，关键字识别提高了21%，而无需使用真实脉冲响应进行微调。
2020-04-02 cs.LG cs.SD eess.AS
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
数据隐私和保护是任何自动语音识别（ASR）服务提供商在与客户打交道时的关键问题。在本文中，我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上，并且客户端仅与中央服务器通信模型参数，而不是其数据。通信不频繁地发生，以减少通信成本。为了缓解非iid问题，提出了客户端自适应联邦训练（CAFT）来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型，并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明，CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Adversarial Learning of Raw Speech Features for Domain Invariant Speech Recognition
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Synaptitude Brain Health（Synaptitude大脑健康公司）；Verisk Analytics（Verisk分析公司）
基于神经网络的声学建模的最新进展已经显示出自动语音识别（ASR）性能的显著改进。为了使声学模型能够处理大的声学变化，大量的标记数据是必要的，这通常是昂贵的获得。本文探讨了对抗性训练的应用，以从原始语音中学习对声学变化不变性的特征。这种声学变化在本文中被称为域移位。本文提出的实验研究利用了域对抗神经网络（DANN）的架构[1]，该架构使用来自两个不同域的数据。DANN是一个Y形网络，由一个多层CNN特征提取器模块组成，该模块对标签（senone）分类器和所谓的域分类器是通用的。在多个数据集上评估DANN的效用，这些数据集具有由于性别和说话者口音差异而引起的域偏移。有前途的实证结果表明，对抗训练的强度在ASR中的无监督域适应，从而强调了DANN从原始语音学习域不变特征的能力。
2018-05-21 cs.SD eess.AS
Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation
PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；ENS（巴黎高等师范学院）；Meta AI Research（Meta人工智能研究院）；Duke University（杜克大学）；Université de Toulouse（图卢兹大学）
本文提出多任务神经网络Brouhaha，联合估计语音活动、信噪比和C50房间声学参数，用于分析含噪/混响语音并评估分离与识别模型的可靠性。
2023-05-25 cs.SD eess.AS
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University（卡内基梅隆大学）
会话上下文信息，跨越句子的更高层次的知识，可以帮助识别长对话。然而，现有的语音识别模型通常是在句子级别构建的，因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息（例如，声学、语言资源）和直接从语音识别单词。在这项工作中，我们提出了一个直接的声学到词，端到端的语音识别模型，能够利用会话上下文，以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库，并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求，本文开发了一个模拟数据集，通过将音频transanimation转换为音素，并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络，用于识别西班牙语和英语音素（可在github.com/muelitas/keywordRec获得）。当在41个英语音素上训练时，在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音，0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好，后者使用了15到1,635倍的参数，并在300到27,500小时的真实数据上进行了训练，而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
3-D Feature and Acoustic Modeling for Far-Field Speech Recognition
Samsung Research India（三星印度研究院）
多通道混响条件下的自动语音识别是一项具有挑战性的任务。抑制混响伪影的常规方式涉及多声道语音信号的基于波束成形的增强，其用于提取用于神经网络声学模型的基于频谱图的特征。在本文中，我们提出了直接从多通道语音信号中提取特征，使用多变量自回归（MAR）建模方法，其中所有三个维度的时间，频率和通道之间的相关性被利用。MAR特征被馈送到卷积神经网络（CNN）架构，该架构对三个维度执行联合声学建模。3-D CNN架构允许多通道特征的组合，与专注于增强任务的传统波束形成模型相比，这些特征优化了语音识别成本。在CHiME-3和REVERB Challenge数据集上使用多通道混响语音进行实验。在这些实验中，所提出的3-D特征和声学建模方法提供了比用波束成形音频训练的ASR系统显著的改进（CHiME-3和REVERB挑战数据集的单词错误率分别平均相对改进10%和9%。
2020-01-27 cs.LG cs.SD eess.AS
Speech Pre-training with Acoustic Piece
Microsoft Research Asia（微软亚洲研究院）
之前的语音预训练方法，例如wav2vec2.0和HuBERT，预训练Transformer编码器以从音频数据学习深度表示，目标是预测来自潜在向量量化空间的元素或使用离线聚类的预生成标签（称为目标代码）。然而，这些训练信号（量化元素或代码）在不同的令牌之间是独立的，而不考虑它们的关系。根据我们的观察和分析，目标代码与语音化文本数据有明显的模式。在此基础上，我们建议利用这些模式来更好地预训练模型，考虑代码之间的关系。我们提取的模式，称为“声学片段”，是从HuBERT码的句子片段结果中提取的。利用声学片段作为训练信号，我们可以隐式地桥接输入音频和自然语言，这有利于音频到文本任务，例如自动语音识别（ASR）。简单但有效，我们的方法“HuBERT-AP”在LibriSpeech ASR任务上的表现明显优于强基线。
2022-04-07 cs.SD eess.AS
Developing Acoustic Models for Automatic Speech Recognition in Swedish
Kungliga Tekniska Högskolan (KTH)（皇家理工学院（KTH））
本文旨在为瑞典语构建基于隐马尔可夫模型和SpeechDat数据库的声学模型，通过测试多种音素模型与二元语言模型并评估不同说话人子集性能，在数字与自然数识别任务上取得了显著改进。
2024-04-25 cs.AI cs.SD eess.AS
Robust Estimation of Hypernasality in Dysarthria with Acoustic Model Likelihood Features
Visvesvaraya National Institute of Technology（维斯瓦瓦拉亚国立技术学院）；Arizona State University（亚利桑那州立大学）
鼻音过重是许多运动语言障碍的共同特征症状。对于有声声音，鼻音过重在较低频率中引入了额外的共振，对于无声声音，由于空气通过鼻腔逸出而降低了发音精度。然而，这些症状的声学表现是高度可变的，使得鼻音估计对于人类专家和自动化系统都非常具有挑战性。这一领域以前的工作依赖于基于统计信号处理的工程特征或基于临床评级训练的机器学习模型。工程特征通常无法捕获与鼻音过强相关的复杂声学模式，而基于机器学习的度量容易过拟合到它们所训练的小型疾病特定语音数据集。在这里，我们提出了一套新的声学特征，捕捉这些互补的尺寸。这些功能是基于两个声学模型训练的健康语音的大型语料库。第一声学模型旨在测量来自有声声音的鼻共振，而第二声学模型旨在测量来自无声声音的发音不精确。为了证明这些声学模型的特点是特定的鼻音语音，我们评估他们在不同的构音障碍语料库。我们的研究结果表明，即使在训练来自一种疾病的鼻音过强的语音并评估来自另一种疾病的鼻音过强的语音时（例如，训练帕金森氏病，评估亨廷顿氏病），以及在训练神经疾病的语音但评估腭裂语音时，这些特征也会泛化。
2020-08-06 cs.SD eess.AS eess.SP
Acoustic and Textual Data Augmentation for Improved ASR of Code-Switching Speech
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们描述了几种技术，以改善声学和语言模型的自动语音识别（ASR）系统上的代码切换（CS）的语音。我们的重点是确认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，是一种资源不足的语言。在以前的工作中，我们已经提出了几个自动转录策略CS语音，以增加可用的训练语音数据量。在这项工作中，我们将探讨如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们训练国家的最先进的AM，这是无效的，由于缺乏训练数据，对显着增加量的CS语音和单语荷兰语语音。此外，我们改进的语言模型（LM），通过创建代码转换文本，这是在实践中几乎不存在的，通过（1）生成文本使用经常性的LM训练的训练CS语音数据的转录，（2）添加自动转录的CS语音数据的转录和（3）翻译荷兰语文本提取的大型荷兰语语音语料库的转录。我们报告称，由于声学和文本训练数据的增加，CS ASR性能显着提高。
2018-07-28 cs.CL
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Acoustic Model Optimization Based On Evolutionary Stochastic Gradient Descent with Anchors for Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
进化随机梯度下降（ESGD）是一种基于种群的优化方法，它结合了梯度感知和无梯度优化算法的优点，具有较好的全局优化性能。在本文中，我们研究了一个变种的ESGD优化的声学模型自动语音识别（ASR）。在这个变体中，我们假设存在一个经过良好训练的声学模型，并将其用作亲本种群中的锚，其良好的“基因”将在进化中传播给后代。我们提出了一个ESGD算法，利用锚模型，使它保证人口的最佳适应度永远不会从锚模型退化。在50小时广播新闻（BN 50）和300小时交换台（SWB 300）上的实验表明，与现有的训练良好的声学模型相比，带锚的ESGD可以进一步改善损失和ASR性能。
2019-07-10 cs.CL cs.LG eess.AS
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
MAM: Masked Acoustic Modeling for End-to-End Speech-to-Text Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
端到端语音到文本翻译（E2 E-ST）直接将源语言语音翻译成目标语言文本，在实践中有着广泛的应用，但传统的级联方法（ASR+MT）在流水线中容易产生错误传播。另一方面，现有的端到端解决方案严重依赖于用于预训练或具有自动语音识别（ASR）的多任务训练的源语言translation。相反，我们提出了一种简单的技术来学习一个强大的语音编码器在一个自我监督的方式只在语音侧，它可以利用语音数据没有转录。该技术被称为掩蔽声学建模（MAM），它不仅提供了一种改进E2 E-ST的替代方案，而且可以对任何声学信号（包括非语音信号）进行预训练而无需标注。我们在8个不同的平移方向上进行实验。在不使用任何transmittance的情况下，我们的技术实现了+1.1 BLEU的平均改进，以及使用MAM预训练的+2.3 BLEU。使用任意声学信号对MAM进行预训练，这些语言的平均BLEU也有+1.6的改善。与ASR多任务学习解决方案（在训练期间回复转录）相比，我们的预训练MAM模型（不使用转录）实现了类似的准确性。
2021-02-08 cs.CL
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
NOPE-HYPE: A Structured Simulation Workflow for Robust Speech-to-Text Across Diverse Acoustic Environments
IISER Bhopal（印度科学教育与研究院博帕尔分院）；IIT Bombay（印度理工学院孟买分校）；IIT Roorkee（印度理工学院鲁尔基分校）
NOPE-HYPE提出结合可控环境模拟器、PSD覆盖缩减和超参数搜索的结构化训练工作流，提升语音转文本在多样声学环境中的鲁棒性。
2026-09-10 cs.AI cs.CL cs.LG
Improved low-resource Somali speech recognition by semi-supervised acoustic and language model training
Stellenbosch University（斯泰伦博斯大学）
我们提出了改进的自动语音识别（ASR）索马里，目前资源极其不足的语言。这是联合国（UN）继续努力使用基于ASR的关键字识别系统来支持非洲农村地区的人道主义救济计划的一部分。仅使用1.57小时的注释语音数据作为种子语料库，我们通过将半监督训练应用于17.55小时的未转录语音来增加训练数据的池。我们利用因式分解的时间延迟神经网络（TDNN-F）的声学建模，因为这些最近被证明是有效的资源稀缺的情况下。执行三个半监督训练通道，其中来自每个通道的解码输出用于后续通道中的声学模型训练。从表现最好的一遍中自动转换用于语言模型增强。为了保证自动翻译的质量，采用了解码器置信度作为阈值。从半监督方法获得的声学和语言模型在WER和困惑度方面与基线相比显示出显著的改善。对自动生成的transmittance进行验证，语言模型的复杂度提高了6.55%.在半监督训练中使用17.55小时的索马里声学数据显示相对于基线的7.74%的改进。
2019-07-06 cs.CL cs.LG eess.AS
Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition
LORIA-CNRS & INRIA（LORIA-CNRS与INRIA）
在本文中，我们提出了几种适应方法的非母语语音识别。我们已经测试了发音建模，MLLR和MAP非母语发音适应和HMM模型再培训的HIWIRE外国口音的英语语音数据库。我们开发的"语音混淆“方案包括将每个语音音素与几个混淆音素序列相关联。在我们的实验中，我们使用了不同的组合的声学模型代表的规范和外国的发音：口语和本地模型，模型适应非本地口音与MAP和MLLR。发音建模和声学适应的联合使用导致识别准确性的进一步提高。上述技术的最佳组合导致相对字错误减少46%至71%。
2007-11-06 cs.CL
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University（斯泰伦博斯大学）
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu，英语-isiXhosa，英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明，TDNN-F声学模型受益于额外的半监督数据，并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型，半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低，第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的，但当所有自动转录的数据都用于训练时，而不仅仅是被归类为英语-祖鲁语的话语时，获得了最好的结果。尽管减少了困惑，半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Unsupervised Domain Discovery using Latent Dirichlet Allocation for Acoustic Modelling in Speech Recognition
University of Sheffield（谢菲尔德大学）
语音识别系统通常是高度依赖于域的，这是文献中广泛报道的事实。然而，域的概念是复杂的，不受明确标准的约束。因此，通常不清楚数据是否应被视为域外数据。虽然声学模型和语言模型都可以是特定于领域的，但本文的工作集中在声学建模上。我们提出了一种新的方法来执行无监督发现域使用潜在狄利克雷分配（LDA）建模。这里，假设数据中存在一组隐藏域，由此每个音频片段可以被认为是域属性的加权混合。将音频段分类到域中允许创建用于自动语音识别的域特定声学模型。实验是在一个包含广播电视、电话交谈、会议、讲座和朗读等多种语音数据的数据集上进行的，联合训练集为60小时，测试集为6小时。最大后验概率（MAP）适应LDA为基础的领域，以产生相对字出错率（WER）的改善高达16%的相对，相比，汇集的培训，和高达10%，与人类标记的领域知识适应的模型。
2015-09-08 cs.CL
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Acoustic Data-Driven Subword Modeling for End-to-End Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
针对端到端语音识别中缺乏完全面向声学的子词建模方法的问题，提出声学数据驱动的子词建模（ADSM）方法，生成声学结构化子词单元，在LibriSpeech上优于BPE和PASM，适用于时间与标签同步模型。
2021-08-27 cs.CL
