A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Heterogeneous Reservoir Computing Models for Persian Speech Recognition
Meybod University（梅博德大学）；University Medical Center Hamburg-Eppendorf (UKE)（汉堡-埃彭多夫大学医学中心）
在过去的十年中，深度学习方法已逐渐融入传统的自动语音识别（ASR）框架，以创建声学、发音和语言模型。虽然它导致了ASR识别准确性的显著提高，但由于它们与硬件要求相关的硬约束（例如，计算能力和存储器使用），但不清楚这些方法是否是嵌入式ASR应用程序的计算效率和能量效率最高的选项。储备池计算（RC）模型（例如，另一方面，回声状态网络（ESN）和液态机（LSM））已经被证明训练便宜，具有少得多的参数，并且与新兴的硬件技术兼容。然而，它们在语音处理任务中的表现相对不如基于深度学习的模型。为了提高ASR应用中RC的准确性，我们提出了异构的单层和多层ESN来创建输入的非线性变换，以不同的尺度捕获时间上下文。为了测试我们的模型，我们在Farsdat波斯语数据集上执行了一个语音识别任务。由于据我们所知，标准RC尚未用于执行任何波斯语ASR任务，因此我们还训练了传统的单层和深层ESN，以提供比较基线。此外，我们将RC性能与标准的长短期记忆（LSTM）模型进行了比较。异构RC模型（1）表现出比标准RC模型更好的性能;（2）在识别准确性方面与LSTM不相上下，（3）大大减少了训练时间。
2022-05-25 cs.LG cs.SD eess.AS
Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
National Taiwan Normal University（国立台湾师范大学）
针对语码转换场景下端到端ASR系统性能下降的问题，提出融入语言识别信息、应用语言边界对齐损失、利用语言后验促进编码器深度交互的方法，在SEAME语料库上性能优于D-MoE方法。
2024-11-26 cs.CL cs.LG cs.SD
Cross-Utterance Language Models with Acoustic Error Sampling
Cambridge University（剑桥大学）
如何有效地利用语言模型中丰富的上下文信息是自动语音识别的一个长期研究课题。本文提出了一种跨话语LM（CULM），它通过使用提取网络从过去和未来话语中获得上下文向量来增加标准长短期记忆（LSTM）LM的输入。提取网络使用另一个LSTM将周围的话语编码成向量，这些向量使用LSTM最终隐藏状态的投影或多头自关注层集成到上下文向量中。此外，提出了一种声学误差采样技术，以减少训练和测试时间之间的不匹配。这是通过将可能的ASR错误考虑到模型训练过程中来实现的，并且因此可以改善字出错率（WER）。在AMI和Switchboard数据集上进行的实验表明，CULM优于LSTM LM基线WER。特别是，CULM与自我关注的基于层的提取网络和声学误差采样实现了0.6%的绝对WER减少AMI，0.3%的WER减少交换机部分和0.9%的WER减少Eval2000测试集的Callhome部分在各自的基线。
2020-08-19 cs.CL cs.LG cs.SD
Improving RNN-T ASR Accuracy Using Context Audio
我们提出了一种基于递归神经网络换能器（RNN-T）的流自动语音识别（ASR）的训练方案，该方案允许编码器网络在训练期间使用流的分段或部分标记序列来学习利用来自流的上下文音频。我们表明，在训练和推理过程中使用上下文音频可以导致语音助理ASR系统在现实生产环境中的单词错误率降低6%以上。我们研究了所提出的训练方法对包含背景语音的声学挑战性数据的影响，并提出了数据点，这些数据点表明这种方法有助于网络学习说话人和环境适应。为了进一步了解基于长短期记忆（LSTM）的ASR编码器利用长期上下文的能力，我们还可视化了RNN-T相对于输入的损失梯度。
2021-06-15 cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.（微软公司）
本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
Samba-ASR: State-Of-The-Art Speech Recognition Leveraging Structured State-Space Models
SandLogic Technologies Pvt Ltd（SandLogic科技私人有限公司）
提出以 Mamba SSM 同时作为编码器和解码器的 Samba ASR，在公开基准上以更高效率和更低 WER 超越开源 transformer ASR。
2025-01-08 cs.AI cs.CL cs.SD
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
RWTH ASR Systems for LibriSpeech: Hybrid vs Attention -- w/o Data Augmentation
RWTH（亚琛工业大学）
我们提出了最先进的自动语音识别（ASR）系统采用标准的混合DNN/HMM架构相比，基于注意力的编码器-解码器设计的LibriSpeech任务。系统开发的详细描述，包括模型设计，预训练方案，培训计划，和优化方法提供了两个系统架构。混合DNN/HMM和基于注意力的系统都采用双向LSTM进行声学建模/编码。对于语言建模，我们采用基于LSTM和Transformer的架构。我们所有的系统都使用RWTH的开源工具包RASR和RETURNN构建。据作者所知，在完整的LibriSpeech训练集上训练时获得的结果是目前发表的最好的，无论是对于混合DNN/HMM还是基于注意力的系统。我们的单混合动力系统甚至优于以前的结果，从8个单一的系统相结合。我们的比较表明，在LibriSpeech 960 h任务上，混合DNN/HMM系统在单词出错率方面比基于注意力的系统在干净的测试集上表现出15%的相对优势，在其他测试集上表现出40%的相对优势。此外，在LibriSpeech训练语料库的减少的100 h子集上的实验甚至显示出混合DNN/HMM和基于注意力的架构之间的更明显的裕度。
2019-07-25 cs.CL cs.SD eess.AS
The RWTH ASR System for TED-LIUM Release 2: Improving Hybrid HMM with SpecAugment
Swiss AI Lab, IDSIA（瑞士人工智能实验室（IDSIA））；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用科学大学）
我们提出了一个完整的训练管道，以建立一个国家的最先进的混合HMM为基础的ASR系统的第二次发布的TED-LIUM语料库。使用SpecAugment的数据增强成功地应用于使用i-vectors的最佳SAT模型之上，以提高性能。通过研究不同掩蔽的效果，我们在不增加模型大小和训练时间的情况下，实现了SpecAugment对混合HMM模型的改进。随后的sMBR训练被应用于微调最终的声学模型，LSTM和Transformer语言模型都被训练和评估。我们最好的系统在测试集上实现了5.6%的WER，相对于以前的最先进的系统高出27%。
2020-04-02 cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
利用上下文信息是提高会话式自动语音识别（ASR）性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境，由于历史认知错误的不可避免，这可能会使当前公认的假设产生偏差。为了避免这个问题，我们提出了一个音频文本跨模态表示提取器，直接从前面的语音学习上下文表示。具体来说，它由两个模态相关编码器和一个跨模态编码器组成，前者从语音和相应的文本中提取高级潜在特征，后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此，该模型不仅捕获特定模态中的双向上下文依赖性，而且捕获不同模态之间的关系。然后，在会话式ASR系统的训练期间，提取器将被冻结以提取先前语音的文本表示，而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性，并在MagicData数据集上实现了高达16%的字符错误率（CER）降低。
2022-07-03 cs.CL cs.SD eess.AS
Leveraging Domain Features for Detecting Adversarial Attacks Against Deep Speech Recognition in Noise
Aalborg University（奥尔堡大学）
近年来，基于深度模型的自动语音识别（ASR）取得了重大进展，导致其在现实世界中的广泛部署。同时，针对深度ASR系统的对抗性攻击非常成功。已经提出了各种方法来保护ASR系统免受这些攻击。然而，现有的基于分类的方法专注于深度学习模型的设计，而缺乏对领域特定特征的探索。这项工作利用基于滤波器组的特征来更好地捕获攻击的特征，以改进检测。此外，本文分析了分别使用语音和非语音部分检测对抗性攻击的潜力。最后，考虑到ASR系统可能部署的不利环境，我们研究了各种类型的声学噪声和信噪比的影响。大量的实验表明，逆滤波器组的功能通常在清洁和噪声环境中表现得更好，检测是有效的，无论是使用语音或非语音部分，和声学噪声可以大大降低检测性能。
2022-11-03 cs.CR cs.LG cs.SD
Deep LSTM Spoken Term Detection using Wav2Vec 2.0 Recognizer
University of West Bohemia（西波西米亚大学）
近年来，端到端语音识别系统的性能远远超过标准的混合DNN-HMM语音识别器。其中一个非常有前途的方法是字素Wav 2 Vec 2.0模型，它使用自监督预训练方法结合微调语音识别器的迁移学习。由于它缺乏发音词汇和语言模型，该方法适用于获得这样的模型是不容易或几乎不可能的任务。在本文中，我们使用的Wav 2 Vec语音识别器在一个大的口语文档集的口语术语检测的任务。该方法采用深度LSTM网络，将识别的假设和搜索的术语映射到共享的发音嵌入空间中，在该空间中，术语出现和分配的分数很容易计算。本文描述了一种自举方法，允许将DNN-HMM混合ASR的传统发音词汇中包含的知识转移到基于图素的Wav 2 Vec的上下文中。所提出的方法优于先前公布的系统的基础上的组合的DNN-HMM混合ASR和音素识别器的大幅度的MALACH数据在英语和捷克语。
2022-10-21 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling
NVIDIA（英伟达）
本文提出用 ASR 预训练编码器初始化端到端 Conformer-Transformer，并结合 Adapter 实现高效 SICSF，在 SLURP 上达到新最优且首次追平 oracle ASR 级联模型。
2023-07-13 cs.CL cs.CV cs.SD
A higher order Minkowski loss for improved prediction ability of acoustic model in ASR
Reverie Language Technologies（Reverie语言技术公司）
传统的自动语音识别（ASR）系统在推理时间期间使用二阶Minkowski损失，这是次优的，因为它在后验估计中仅结合了一阶统计量[2]。在本文中，我们提出了在推理时间内的高阶Minkowski损失（4阶和6阶），在训练时间内没有任何变化。本文的主要贡献在于，高阶损失利用高阶统计量进行后验估计，提高了ASR系统声学模型的预测能力。我们在数学上证明了由于高阶损失而获得的后验概率是二阶后验概率的函数，因此该方法可以以简单的方式并入标准ASR系统中。需要注意的是，所有的更改都是在测试（推理）期间提出的，我们不会在任何训练管道中进行任何更改。开发了多个基线系统，即TDNN 1，TDNN 2，DNN和LSTM，以验证由于高阶Minkowski损失而引起的改进。所有实验都在LibriSpeech数据集上进行，性能指标是“dev-clean”、“test-clean”、“dev-other”和“test-other”数据集上的单词错误率（WER）。
2021-12-02 cs.SD eess.AS
ASR Adaptation for E-commerce Chatbots using Cross-Utterance Context and Multi-Task Language Modeling
Amazon AWS AI（亚马逊AWS人工智能部门）
对插槽实体的自动语音识别（ASR）鲁棒性在涉及货币交易和购买的电子商务语音助理中至关重要。随着有效的领域适应，它是直观的，跨话语上下文线索在消歧领域特定的内容词从语音中起着重要的作用。在本文中，我们研究了各种技术，以提高上下文，内容词的鲁棒性和域自适应的transformer-XL神经语言模型（NLM），以rescore ASR N-best假设。为了提高语境化，我们利用轮级对话行为以及跨话语语境结转。此外，为了使我们的域通用NLM适应电子商务的运行，我们在域内数据上使用来自微调掩码LM的嵌入。最后，为了提高对域内内容词的鲁棒性，我们提出了一个多任务模型，可以联合执行内容词检测和语言建模任务。与非上下文LSTM LM基线相比，我们表现最好的NLM重新评分器在电子商务音频测试集上的内容WER减少了19.2%，插槽标签F1提高了6.4%。
2021-06-15 cs.CL cs.LG cs.SD
Continuous Streaming Multi-Talker ASR with Dual-path Transducers
Microsoft（微软）
到目前为止，多说话者对话的流识别仅针对2个说话者的单回合会话进行了评估。在本文中，我们调查它的多回合会议包含多个扬声器使用流式分离和识别传感器（SURT）模型，并表明，天真地扩展单回合模型，这个更难的设置会导致性能损失。作为解决方案，我们提出了双路径（DP）建模策略首先用于时域语音分离。我们对基于LSTM和Transformer的DP模型进行了实验，结果表明它们提高了字错误率（WER）性能，同时加快了收敛速度。我们还探讨了这些模型的训练策略，如组块宽度随机化和课程学习，并通过消融研究证明了它们的重要性。最后，我们在LibriCSS会议数据上评估了我们的模型，在那里它们与基于离线分离的方法具有竞争力。
2022-01-22 cs.SD eess.AS
Bifocal Neural ASR: Exploiting Keyword Spotting for Inference Optimization
我们提出了Bifocal RNN-T，这是一种新的递归神经网络转换器（RNN-T）架构变体，旨在改善语音识别任务的推理时间延迟。该架构为其运行时计算路径启用动态枢轴，即利用关键字定位来选择针对给定音频帧执行网络的哪个组件。为了实现这一点，我们利用了一个称为Bifocal LSTM（BFLSTM）的递归单元，我们将在本文中详细介绍。该架构与其他优化策略（如量化、稀疏化和应用时间减少层）兼容，使其特别适用于部署的实时语音识别设置。我们提出的架构和报告语音助理语音识别任务的比较实验结果。具体来说，我们提出的Bifocal RNN-T可以在匹配单词错误率的情况下将推理成本提高29.1%，而内存大小只增加了一点点。
2021-08-03 cs.SD eess.AS
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
Automatic speech recognition for the Nepali language using CNN, bidirectional LSTM and ResNet
Tribhuvan University（特里布万大学）
本文提出一种结合双向 LSTM、ResNet 和一维 CNN 的端到端深度学习模型，用于尼泊尔语自动语音识别，在 OpenSLR 数据集上实现了 17.06% 的字符错误率。
2024-06-25 cs.CL cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Knowledge Transfer for Efficient On-device False Trigger Mitigation
Apple（苹果公司）
在本文中，我们解决的任务，确定是否一个给定的话语是针对一个语音智能助理设备或不。无定向话语被称为“错误触发”，并且错误触发缓解（FTM）对于设计以隐私为中心的非侵入式智能助理至关重要。可以通过对其运行自动语音识别（ASR）并通过分析ASR转录本来确定用户意图来识别话语的指向性。但是在错误触发的情况下，使用ASR本身转录音频是非常不期望的。为了缓解这个问题，我们提出了一种基于LSTM的FTM架构，它直接从声学特征确定用户意图，而无需从音频显式生成ASR成绩单。所提出的模型占用空间小，可以在计算资源有限的设备上运行。在训练过程中，使用知识转移方法优化模型参数，其中更准确的自注意图神经网络模型作为教师。考虑到整个音频片段，我们的方法以99%的真阳性率（TPR）减轻了87%的错误触发，并且在流式音频场景中，系统在拒绝它之前只监听1.69s的错误触发音频，同时实现相同的TPR。
2020-10-20 cs.LG cs.SD eess.AS
Leveraging LLM for Stuttering Speech: A Unified Architecture Bridging Recognition and Event Detection
Beijing Fosafer Information Technology Co., Ltd.（北京福赛弗信息技术有限公司）；China Institute of Forensic Science, Ministry of Public Security（中国公安部 forensic 科学研究院）；The Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
本文提出一种 LLM 驱动的 ASR-SED 多任务学习框架，通过动态交互机制联合优化口吃语音识别与事件检测，在 AS-70 数据集上将 ASR CER 降至 5.45% 并提升 SED F1 至 73.63%。
2025-05-28 cs.SD eess.AS
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Cross-utterance ASR Rescoring with Graph-based Label Propagation
Amazon（亚马逊）
提出基于图标签传播的跨语句声学相似性重打分方法，提升ASR性能与口音公平性，低成本缓解多数偏见。
2023-03-27 cs.CL cs.LG cs.SD
A Language Agnostic Multilingual Streaming On-Device ASR System
Google（谷歌）
设备端到端（E2E）模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别（ASR）方面也显示出了有希望的结果。在本文中，我们扩展了我们以前的容量解决方案，流媒体应用程序，并提出了一个流媒体多语言E2E ASR系统，完全运行在设备上，具有可比的质量和延迟个别单语模型。为了实现这一目标，我们提出了一个编码器端指针模型和一个结束的话语（EOU）联合层，以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式，使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题，我们进行了设备上的分析，并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改，我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Leveraging Large Language Models for Exploiting ASR Uncertainty
Apple（苹果公司）
针对ASR词错率限制LLM口语理解的问题，提出向LLM输入n-best假设列表并结合提示工程与LoRA微调，有效利用ASR不确定性提升语音意图分类性能。
2023-09-12 cs.CL cs.HC cs.SD
kNN-CTC: Enhancing ASR via Retrieval of CTC Pseudo Labels
Nankai University（南开大学）；Beijing University of Technology（北京工业大学）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
kNN-CTC利用CTC伪标签构建帧级音频-文本数据存储，结合k近邻检索和跳过空白策略，显著提升预训练CTC语音识别系统的性能。
2024-02-03 cs.SD eess.AS
BrainWhisperer: Leveraging Large-Scale ASR Models for Neural Speech Decoding
本文提出BrainWhisperer，结合高分辨率MEA记录与预训练ASR模型，通过改进的CTC和交叉熵损失实现跨受试者语音解码，展示出前所未有的泛化能力。
2026-03-04 cs.SD eess.AS
Building state-of-the-art distant speech recognition using the CHiME-4 challenge with a setup of speech enhancement baseline
Johns Hopkins University（约翰斯·霍普金斯大学）
本文描述了CHiME-4挑战赛中用于自动语音识别（ASR）的新基线系统，通过提供1）具有与挑战赛中复杂的顶级系统相当的简化单个系统的最先进系统，2）通过Kaldi语音识别工具包中的主存储库公开可用且可再现的配方，来促进语音处理社区中的噪声ASR的发展。该系统采用广义特征值波束形成和双向长短期记忆（LSTM）掩模估计。我们还建议使用一个时间延迟神经网络（TDNN）的基础上的无格版本的最大互信息（LF-MMI）训练增强所有六个麦克风加上增强后的数据波束成形。最后，我们使用LSTM语言模型进行格和n-best重新评分。最终系统在6通道轨道中的真实测试集上获得了2.74\%的WER，相当于挑战赛的第二名。此外，所提出的基线配方包括四种不同的语音增强措施，短时客观可懂度测量（STOI），扩展的STOI（eSTOI），语音质量的感知评估（PESQ）和语音失真比（SDR）的模拟测试集。因此，配方也提供了一个实验平台，语音增强研究与这些性能指标。
2018-03-27 cs.LG cs.SD eess.AS
Echotune: A Modular Extractor Leveraging the Variable-Length Nature of Speech in ASR Tasks
Blockchain Industry School, Chengdu University of Information Technology（成都信息工程大学区块链产业学院）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学技术学院）；Department of Computer Science, Victoria University（维多利亚大学计算机科学系）
本文提出Echo-MSA模块，通过可变长度注意力机制解决ASR中固定长度注意力窗口的局限，结合动态门控并行注意力架构，在保持模型稳定性的同时显著提升词错误率性能。
2024-04-08 cs.CL cs.SD eess.AS
An Analysis of Speech Enhancement and Recognition Losses in Limited Resources Multi-talker Single Channel Audio-Visual ASR
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；University of Padova（帕多瓦大学）
在本文中，我们分析了如何视听语音增强可以帮助执行的ASR任务在鸡尾酒会的情况下。因此，我们考虑了两个简单的端到端基于LSTM的模型，分别执行单通道视听语音增强和电话识别。然后，我们研究了这两个模型是如何相互作用的，以及如何对它们进行训练共同影响最终的结果。我们分析了不同的训练策略，揭示了一些有趣和意想不到的行为。实验表明，在ASR任务的优化过程中，该模型的语音增强能力显着下降，反之亦然。然而，这两个任务的联合优化显示了显着下降的电话错误率（PER）相比，视听基线模型训练只执行电话识别。我们通过使用两个有限大小的数据集分析了所提出的模型的行为，特别是我们使用了混合语音版本的GRID和TCD-TIMIT。
2019-11-27 cs.CL cs.SD eess.AS
Leveraging Cross-Utterance Context For ASR Decoding
University of Sheffield（谢菲尔德大学）
本文研究在 ASR 解码中引入长上下文 transformer LM，通过束搜索利用跨话语信息，并在 AMI 与 Tedlium-1 上验证其相对 n-best 重打分和单话语解码的词错率改进。
2023-06-29 cs.CL cs.SD eess.AS
Distributed Deep Learning Strategies For Automatic Speech Recognition
IBM Research（IBM研究院）
在本文中，我们提出并研究了各种用于自动语音识别（ASR）的分布式深度学习策略，并在2000小时总机（SWB 2000）上使用最先进的长短期记忆（LSTM）声学模型对其进行评估，SWB 2000是ASR性能基准测试中使用最广泛的数据集之一。我们首先研究什么是适当的超参数（例如，学习率），以使得能够在不损害模型精度的情况下以足够大的批量进行训练。然后，我们实现各种分布式策略，包括同步（SYNC），异步分散并行SGD（ADPSGD）和两个混合的HYBRID的混合，研究他们的运行时间/精度的权衡。我们表明，我们可以使用ADPSGD在14小时内使用16个NVIDIA P100 GPU训练LSTM模型，以在Hub 5 - 2000 Switchboard（SWB）测试集上达到7.6%的WER，并在CallHome（CH）测试集上达到13.1%的WER。此外，我们可以在11.5小时内使用32个NVIDIA V100 GPU使用HYBRID对模型进行训练，而不会损失准确性。
2019-04-10 cs.CL cs.LG cs.SD
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Transcending Controlled Environments Assessing the Transferability of ASRRobust NLU Models to Real-World Applications
NUCES（巴基斯坦国立计算机与新兴科学大学）
本文研究乌尔都语智能家居场景下ASR鲁棒NLU模型从受控环境到真实应用的迁移能力，基于UrduBERT结合迁移学习与领域自适应等方法评估其鲁棒性和适应性。
2024-01-12 cs.AI cs.SD eess.AS
MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对现有SA-ASR方法适应性与效率受限的问题，提出MSA-ASR方法，基于冻结多语种ASR模型与弱标签训练的说话人模块实现说话人归因，仅用单语种数据训练仍在多语种场景取得媲美强基线的效果。
2025-01-15 cs.CL cs.SD eess.AS
FANS: Fusing ASR and NLU for on-device SLU
Amazon（亚马逊）；Alexa Machine Learning（Alexa机器学习）
口语语言理解（SLU）系统将语音输入命令翻译成语义，该语义被编码为意图以及成对的槽标签和值。大多数当前的SLU系统部署了两个神经模型的级联，其中第一个将输入音频映射到转录本（ASR），第二个从转录本（NLU）预测意图和槽。在本文中，我们介绍了FANS，这是一种新的端到端SLU模型，它将ASR音频编码器融合到多任务NLU解码器中，直接从给定的输入音频中推断意图，插槽标签和插槽值，从而避免了转录的需要。FANS由一个共享的音频编码器和三个解码器组成，其中两个是seq-to-seq解码器，它们并行地并以自回归方式预测非空时隙标签和时隙值。FANS神经编码器和解码器架构非常灵活，允许我们利用LSTM、自我注意和参与者的不同组合。我们的实验表明，与最先进的端到端SLU模型相比，FANS在内部SLU数据集上测试时，ICER和IRER误差分别相对减少了30%和7%，在公共SLU数据集上测试时，绝对减少了0.86%和2%。
2021-10-31 cs.CL cs.SD eess.AS
Contextualizing ASR Lattice Rescoring with Hybrid Pointer Network Language Model
Facebook（脸书）
在社交媒体上上传的视频通常附有文字描述。在为视频构建自动语音识别（ASR）系统时，我们可以利用由这样的视频元数据提供的上下文信息。在本文中，我们探索ASR格rescoring有选择地参加视频描述。我们首先使用基于注意力的方法来提取视频元数据的上下文矢量表示，并使用这些表示作为输入的一部分，以神经语言模型在格重新评分。其次，我们提出了一种混合指针网络的方法来显式地插入元数据中的词出现的词概率。我们对语言建模和ASR任务进行了实验评估，并证明了这两种方法通过选择性地利用视频元数据来提高性能。
2020-05-15 cs.CL cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department（自然语言处理部门）
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现，发现LLM增强解码能利用语言约束恢复音素和纠正语法，有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
StableEmit: Selection Probability Discount for Reducing Emission Latency of Streaming Monotonic Attention ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
虽然基于注意力的编码器-解码器（AED）模型已经成功地扩展到用于流式传输自动语音识别（ASR）的在线变体，例如单调分块注意力（MoChA），但是由于不受约束的端到端训练目标，模型仍然具有大的标签发射延迟。以前的工作通过利用对齐信息来控制训练期间发出令牌的时间来解决这个问题。在这项工作中，我们提出了一个简单的无约束正则化方法StableEmit，以鼓励MoChA更早地发出令牌。StableEmit通过一个常数因子来折扣硬单调注意中的选择概率，并将其正则化以恢复训练期间的总注意质量。因此，选择概率的规模增加，并且值可以更早地达到令牌发射的阈值，从而减少发射延迟和删除错误。此外，StableEmit可以与约束对齐的方法相结合，以进一步提高准确性和延迟。使用LSTM和Conformer编码器的实验评估表明，StableEmit可以同时显著降低识别错误和发射延迟。我们还表明，使用对齐信息是互补的，在这两个指标。
2021-07-15 cs.CL cs.SD eess.AS
Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））
针对汉语方言ASR数据稀缺的问题，采用Data2vec2自监督预训练结合LLM的范式，经大规模数据训练后在多方言数据集取得SOTA结果，将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
DistriBlock: Identifying adversarial audio samples by leveraging characteristics of the output distribution
Ruhr University Bochum（波鸿鲁尔大学）；Technische Universität Berlin（柏林工业大学）
提出DistriBlock，利用ASR输出概率分布的特征，通过二元分类器高效检测对抗性音频样本，在多个ASR系统上达到99%和97%的AUC，且自适应攻击更易被滤波检测。
2024-11-06 cs.CR cs.LG cs.SD
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers
Toshiba Research Europe Limited（东芝欧洲研究有限公司）
虽然深度神经网络的较低层学习跨数据集可转移的特征，但这些层在同一数据集内不可转移。也就是说，一般来说，在同一数据集上冻结训练的特征提取器（下层）和重新训练分类器（上层）会导致更差的性能。在本文中，我们首次证明了冻结分类器在同一数据集内是可转移的。我们开发了一种新的自上而下的训练方法，它可以被看作是一种搜索高质量分类器的算法。我们测试了这种方法的自动语音识别（ASR）的任务和语言建模任务。该方法持续改进了《华尔街日报》上的递归神经网络ASR模型、Switchboard上的自注意力ASR模型和WikiText-2上的AWD-LSTM语言模型。
2021-02-09 cs.AI cs.SD eess.AS
ManWav: The First Manchu ASR Model
Seoul National University（首尔大学）
针对高资源与极低资源语言的ASR研究差距，聚焦濒危满语，基于Wav2Vec2-XLSR-53构建首个满语ASR模型ManWav，经增强数据训练后CER和WER均有下降。
2024-06-19 cs.CL cs.SD eess.AS
Breaking Down Power Barriers in On-Device Streaming ASR: Insights and Solutions
Meta；Iowa State University（爱荷华州立大学）；Google（谷歌公司）
本研究揭示语音识别模型权重参数配置对功耗的影响，提出按能量敏感性调整组件的设计原则，在保持精度的同时实现高达47%的能耗降低。
2025-02-26 cs.LG cs.SD eess.AS
Leveraging Broadcast Media Subtitle Transcripts for Automatic Speech Recognition and Subtitling
KU Leuven（鲁汶大学）
本文研究将电视字幕弱监督转录与逐字转录作为不同领域联合建模，提出级联编码器和分离解码器的端到端ASR架构，在弗拉芒语上同时提升语音识别准确率和字幕质量。
2025-02-05 cs.SD eess.AS
VQ-T: RNN Transducers using Vector-Quantized Prediction Network States
IBM Research AI（IBM人工智能研究院）
束搜索是端到端模型的主要ASR解码算法，它生成树结构假设。然而，最近的研究表明，假设合并的解码可以实现更有效的搜索，具有相当或更好的性能。但是，循环网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量量化的长短期记忆单元（VQ-LSTM）。通过与ASR网络联合训练离散表示，可以主动合并假设以生成格。我们在Switchboard语料库上的实验表明，所提出的VQ RNN换能器比具有常规预测网络的换能器提高了ASR性能，同时还产生了更密集的网格，对于相同的波束大小，具有非常低的甲骨文错误率出错率（WER）。附加的语言模型重评分实验也证明了所提出的格生成方案的有效性。
2022-08-03 cs.CL cs.SD eess.AS
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University（石溪大学）；Amazon.com Inc（亚马逊公司）
提出PATCorrect，一种基于文本与音素多模态融合的非自回归ASR纠错模型，在英文语料上实现11.62%的WER降低，推理延迟仅数十毫秒，满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition
Northwestern Polytechnical University（西北工业大学）
dLLM-ASR通过将扩散大语言模型的解码过程转化为先验引导的去噪流程，实现高效的语音识别，达到与自回归模型相当的准确率并提升4.44倍推理速度。
2026-01-25 cs.SD eess.AS
ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems
Indian Institute of Technology, Kharagpur India（印度理工学院，克哈格布尔分校）
本文提出 ASR-FAIRBENCH 排行榜，利用 Fair-Speech 数据集、混合效应 Poisson 回归和 FAAS 综合评估 ASR 模型的准确性与群体公平性。
2025-05-16 cs.CL cs.SD eess.AS
Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis
JD AI（京东人工智能）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
构建对自动语音识别（ASR）错误鲁棒的口语语言理解（SLU）是各种启用语音的虚拟助理的基本问题。考虑到大多数ASR错误是由发音相似的表达之间的语音混淆引起的，直观地，利用语音的音素序列可以补充ASR假设，并增强SLU的鲁棒性。提出了一种新的带交叉注意的SLU模型（CASLU）.交叉注意块的设计是为了捕捉音素和词嵌入之间的细粒度的相互作用，以使联合表示捕捉输入的语音和语义特征的同时，克服在下游的自然语言理解（NLU）任务的ASR错误。在三个数据集上进行了大量的实验，显示了我们的方法的有效性和竞争力。此外，我们还验证了CASLU的通用性，并证明了它与其他鲁棒SLU技术相结合时的互补性。
2022-03-22 cs.CL cs.SD eess.AS
