Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
最近，Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而，它们的高度复杂性使得它们很难在在线系统的第一（单）遍中应用。最近的研究表明，神经网络语言模型（LM）的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中，我们在一般文本语料库上预训练GPT-2 Transformer LM，并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明，虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好，但它会导致形态丰富的语言中的词汇爆炸。因此，我们提出了一种新的方法，称为基于子词的神经文本增强，我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器，并表明这两种方法可以显着提高WER，同时大大减少词汇量和内存需求。最后，我们还证明了基于子词的神经文本增强优于基于词的方法，不仅在整体WER方面，而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
Pushing the Limits of Beam Search Decoding for Transducer-based ASR models
NVIDIAArmenia（NVIDIA Armenia）；NVIDIAUSA（NVIDIA USA）
本文提出一种加速Transducer模型beam search的通用方法，通过批处理、树结构和CUDA graph等技术，将beam与贪婪解码速度差缩小至10-20%，同时显著提升WER和浅层融合性能。
2025-05-30 cs.AI cs.CL cs.LG
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Joint Beamforming and Speaker-Attributed ASR for Real Distant-Microphone Meeting Transcription
iFLYTEK Co., Ltd.（iFLYTEK公司）
本文提出联合波束成形与说话人属性ASR的方法，在真实AMI语料库上通过微调SA-ASR与神经波束成形器，将词错误率相对降低8%和9%。
2025-07-08 cs.CL
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Exploiting Beam Search Confidence for Energy-Efficient Speech Recognition
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
随着计算机在我们的日常生活中变得越来越强大和集成，焦点越来越转向更人性化的界面，使自动语音识别（ASR）成为与机器交互的理想手段。因此，对语音技术的兴趣在过去几年中已经增长，提出了更多的系统并且实现了更高的准确度水平，甚至超过了\textit{Human Accuracy}。随着ASR系统的功能日益强大，其计算复杂性也在增加，硬件支持也必须跟上。在本文中，我们提出了一种提高ASR系统能效和性能的技术，重点关注边缘设备的低功耗硬件。我们专注于优化基于DNN的声学模型评估，因为我们已经观察到它是最先进的ASR系统中的主要瓶颈，通过利用来自束搜索的运行时信息。通过这样做，我们将声学模型评估的能量和执行时间分别减少了25.6%和25.9%，而精度损失可以忽略不计。
2021-01-22 cs.CL cs.SD eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Data-independent Beamforming for End-to-end Multichannel Multi-speaker ASR
Research and Development Group（研发小组）；iFLYTEK Co., Ltd.（iFLYTEK公司）
本文提出一种与数据无关且无需训练的波束成形方法，通过处理特定角度扇区提升多通道多说话人ASR性能，在AMI语料库上词错误率最高降11%，说话人计数准确率最高升27%。
2025-09-12 cs.SD
Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation
OriginAI
自动语音识别（ASR）系统经常使用基于搜索的解码策略，旨在通过考虑多个候选来找到最佳可达到的转录本。一个突出的语音识别解码启发是束搜索，其寻找具有使用预测分布计算的最大似然的转录本。虽然在各种任务中显示出实质性的性能增益，但是当预测的概率是高度可信的时，即，针对单个或非常少的类聚集预测的分布。我们表明，最近提出的基于自监督学习（SSL）的ASR模型往往会产生非常自信的预测，可能会妨碍束搜索真正考虑一组不同的候选人。我们进行了一个层分析，揭示和可视化预测如何演变，并提出了一个解码过程，提高了微调ASR模型的性能。我们提出的方法不需要在原始微调之外进行进一步的训练，也不需要额外的模型参数。事实上，我们发现，我们提出的方法需要显着减少推理计算比目前的方法。我们建议聚合顶部M层，潜在地利用中间层中编码的有用信息，并放松模型置信度。我们通过对不同数量的标记资源和不同模型大小进行实证研究来证明我们方法的有效性，特别是当应用于低资源场景时，表现出一致的改进。
2022-12-27 cs.CL cs.SD eess.AS
Korean Tokenization for Beam Search Rescoring in Speech Recognition
Seoul National University（首尔国立大学）；Department of Electrical and Computer Engineering, Seoul National University, Korea（首尔国立大学电气与计算机工程系）
利用外部语言模型进行波束搜索解码可以大大提高自动语音识别模型的性能。韩国语语音识别的研究越来越受到人们的关注，但对解码过程的研究还不多。在本文中，我们提出了一个朝鲜语标记化方法的神经网络为基础的LM用于朝鲜语ASR。虽然常见的方法是使用相同的标记化方法为外部LM的ASR模型，我们表明，它可能不是最好的选择韩国。我们提出了一种新的标记化方法，插入一个特殊的令牌，SkipTC，当没有尾随辅音在韩国音节。通过利用所提出的SkipTC令牌，LM的输入序列变得非常规则，使得LM可以更好地学习语言特征。我们的实验表明，该方法实现了较低的字出错率相比，相同的LM模型没有SkipTC。此外，我们是第一个报告ASR性能为最近推出的大规模7,600小时韩国语音数据集。
2022-03-28 cs.CL cs.SD eess.AS
NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding
NVIDIA, Armenia（英伟达，亚美尼亚）；NVIDIA, USA（英伟达，美国）
本文提出NGPU-LM，通过重新设计统计n元语言模型的数据结构实现GPU并行推理，为各类ASR模型提供低开销的贪婪解码，有效缩小域外场景下贪婪搜索与束搜索的准确率差距。
2025-05-28 cs.AI cs.CL cs.LG
Unsupervised Neural Mask Estimator For Generalized Eigen-Value Beamforming Based ASR
Samsung Research India（三星印度研究院）
用于多通道ASR中的声学波束形成的最新方法基于预测语音和噪声的存在的神经掩模估计器。这些模型使用干净和嘈杂录音的配对语料库（教师模型）进行训练。在本文中，我们试图摆脱有监督的干净的录音训练掩模估计的要求。基于信号增强和使用多通道线性预测的波束形成的模型用作所需的掩模估计。通过这种方式，模型训练也可以在嘈杂语音的真实记录上进行，而不是在典型的教师模型中单独进行的模拟记录。在CHiME-3语料库和REVERB挑战语料库中的噪声和混响环境中进行的几个实验突出了所提出的方法的有效性。所提出的方法的ASR结果提供的性能明显优于在域外数据集上训练的教师模型，并且与在域内数据集上训练的Oracle掩码估计器相当。
2019-11-28 cs.LG cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
TurboBias: Universal ASR Context-Biasing powered by GPU-accelerated Phrase-Boosting Tree
NVIDIA
本文提出TurboBias，一种基于GPU加速短语提升树的通用ASR上下文偏置框架，支持CTC、Transducers和Attention Encoder-Decoder模型，在无显著速度损失下处理最多20K关键短语，并在准确率和解码速度上超越现有开源方案。
2025-08-12 cs.AI cs.CL cs.SD
An Investigation of End-to-End Multichannel Speech Recognition for Reverberant and Mismatch Conditions
Johns Hopkins University（约翰斯·霍普金斯大学）；Yahoo Japan Corporation（雅虎日本公司）
序列到序列（Sequence-to-Sequence，S2S）建模正成为自动语音识别（Automatic Speech Recognition，ASR）的流行范例，因为其能够以端到端（End-to-End，E2E）方式联合优化所有常规ASR组件。本报告通过涵盖S2S模型中的整个多通道语音增强和ASR组件，研究了E2E ASR从标准近距离通话到远场应用的能力。之前已经有关于联合优化神经波束成形和E2E ASR去噪的研究。从最近的挑战结果和成功的产品中可以清楚地看出，如果不同时解决去噪和去混响，远场系统将是不完整的。本报告使用了最近开发的远场ASR架构，将去混响和波束成形模块的神经扩展与S2S ASR模块组成一个可区分的神经网络，并明确定义了每个子网络的作用。该架构的原始实现成功地应用于嘈杂的语音识别任务（CHiME-4），而我们将此实现应用于嘈杂的混响任务（DIRHA和REVERB）。我们的调查表明，该方法实现了更好的性能比传统的管道方法的DIRHA英语数据集和REVERB数据集的性能相当。它还具有既不迭代也不需要并行的噪声和干净的语音数据的额外优点。
2019-04-28 cs.CL cs.SD eess.AS
Improved Dysarthric Speech to Text Conversion via TTS Personalization
Department of Telecommunications and Artificial Intelligence, Budapest University of Technology, Hungary（电信与人工智能系，布达佩斯技术大学）；Division of Speech, Music and Hearing, KTH Royal Institute of Technology, Sweden（语音、音乐与听觉 division，皇家理工学院）；Hungarian Research Centre for Linguistics, HUN-REN, Hungary（匈牙利语言研究与应用中心）；SpeechTex Ltd., Hungary（SpeechTex有限公司）；Institute of Informatics, University of Szeged, Hungary（信息学院，塞格德大学）
本研究为严重构音障碍的匈牙利语使用者开发定制语音转文本系统，通过个性化TTS生成可控严重程度的合成语音来微调ASR模型，将字符错误率从36-51%降至7.3%，显著优于Whisper-turbo。
2025-08-08 cs.HC cs.SD
SUTA-LM: Bridging Test-Time Adaptation and Language Model Rescoring for Robust ASR
Graduate Institute of Communication Engineering National Taiwan University（通信工程研究所 国家台湾大学）
针对测试时自适应（TTA）与语言模型重打分结合时的干扰问题，提出融合自动步长选择机制的SUTA-LM方法，在18个ASR数据集上实现跨域鲁棒识别。
2025-06-10 cs.AI cs.CL cs.SD
Transsion TSUP's speech recognition system for ASRU 2023 MADASR Challenge
Transsion TSUP（传音TSUP）
本研究针对低资源印度语言ASR适配问题，为ASRU 2023 MADASR挑战赛开发了覆盖四赛道的识别系统，通过不同架构模型搭配优化解码策略，在孟加拉语、博杰普尔语上取得了较低的词错误率。
2023-07-20 cs.CL cs.SD eess.AS
Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions
LINE Corporation（LINE公司）；Kyoto University（京都大学）
提出了一种放松基于连接主义时态分类（CTC）的自动语音识别（ASR）模型条件独立性假设的方法。我们训练一个基于CTC的ASR模型，除了最后一层的原始CTC损失外，中间层中还具有辅助CTC损失。在训练和推理期间，中间层中生成的每个预测都被求和到下一层的输入，以使最后一层的预测取决于这些中间预测。该方法易于实现，并保留了基于CTC的ASR的优点：模型结构简单，解码速度快。我们在三个不同的ASR语料库上进行实验。我们提出的方法显著改进了标准CTC模型（例如，在WSJ语料库上超过20%的相对单词错误率降低）而具有一点计算开销。此外，对于TEDLIUM 2语料库和AISHELL-1语料库，它实现了与具有波束搜索的强自回归模型相当的性能，但解码速度至少快30倍。
2021-10-08 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
End-to-End Multi-speaker ASR with Independent Vector Analysis
LINE Corporation（LINE公司）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
我们开发了一个端到端的多通道、多说话人自动语音识别系统。提出了一种基于独立向量分析（IVA）范式的联合源分离和去混响前端。它使用快速和稳定的迭代源转向算法与神经源模型。来自ASR模块和神经源模型的参数从ASR损失本身联合优化。我们证明了与以前的系统使用神经波束成形前端的竞争力。首先，我们探讨了使用不同数量的通道进行训练和测试时的权衡。其次，我们证明了所提出的IVA前端在噪声数据上表现良好，即使只在干净的混合物上训练。此外，它扩展到没有再培训的分离更多的扬声器，这是证明了三个和四个扬声器的混合物。
2022-04-01 cs.CL cs.SD eess.AS
Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices
Google, Inc（谷歌公司）
提出一种基于FST的CTC词格重写拼写纠错技术，直接从词片段进行G2P转换，无需重训ASR模型，在上下文实体测试集上实现15.2%的SER相对降低。
2024-09-24 cs.CL cs.SD eess.AS
Joint Unsupervised and Supervised Training for Multilingual ASR
Google（谷歌）
自监督训练在预训练模型和促进语音识别的下游微调（如多语言ASR）方面显示出了有希望的收益。大多数现有的方法采用2阶段方案，其中在第一预训练阶段优化自监督损失，在第二阶段恢复标准监督微调。在本文中，我们提出了一种端到端（E2 E）联合无监督和监督训练（JUST）方法，将监督RNN-T损失和自监督对比和掩蔽语言建模（MLM）损失结合起来。我们在公共数据集多语言LibriSpeech（MLS）上验证了它的性能，该数据集包括8种语言，并且非常不平衡。在MLS上，我们探索（1）从头开始训练，（2）从预训练的检查点进行微调。实验表明，JUST可以始终优于其他现有的最先进的方法，并击败单语基线的显着保证金，展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%，最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上，我们的WER不到单语基线的一半，甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Exploring End-to-End Multi-channel ASR with Bias Information for Meeting Transcription
Microsoft Corp.（微软公司）
多通道前端与自动语音识别（ASR）的联合优化已经引起了广泛的关注。虽然已经报道了各种任务的有希望的结果，但过去对其会议转录应用的研究仅限于小规模实验。目前还不清楚这种联合框架是否有利于更实际的设置，其中可以利用大量的单通道训练数据来构建强大的ASR后端。在这项工作中，我们提出了我们的调查联合建模的掩模为基础的波束形成器和基于注意编码器解码器的ASR在设置中，我们有75k小时的单通道数据和相对少量的真实多通道数据的模型训练。我们探索有效的训练程序，包括模拟和真实的多通道训练数据的比较。为了引导识别对目标说话人和处理重叠的语音，我们还探讨了各种组合的偏见信息，如波达方向和扬声器配置文件。我们提出了一种有效的位置偏差集成方法称为深度级联的波束形成器网络。在我们对各种会议记录的评估中，我们表明所提出的框架实现了大幅降低字错误率。
2020-11-25 cs.SD eess.AS
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA（英伟达）；University of London（伦敦大学）
本文提出基于CTC词识别器的快速上下文偏置方法，通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果，结合混合Transducer-CTC模型，在加速推理的同时提升F-score并降低WER，已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA（英伟达）
本文提出面向生产环境的TurboBias 2.0框架，通过GPU加速的不区分大小写增强图与每流批量解码，在兼顾低延迟高吞吐量的同时，提升了ASR系统的上下文短语识别效果，支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
VQ-T: RNN Transducers using Vector-Quantized Prediction Network States
IBM Research AI（IBM人工智能研究院）
束搜索是端到端模型的主要ASR解码算法，它生成树结构假设。然而，最近的研究表明，假设合并的解码可以实现更有效的搜索，具有相当或更好的性能。但是，循环网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量量化的长短期记忆单元（VQ-LSTM）。通过与ASR网络联合训练离散表示，可以主动合并假设以生成格。我们在Switchboard语料库上的实验表明，所提出的VQ RNN换能器比具有常规预测网络的换能器提高了ASR性能，同时还产生了更密集的网格，对于相同的波束大小，具有非常低的甲骨文错误率出错率（WER）。附加的语言模型重评分实验也证明了所提出的格生成方案的有效性。
2022-08-03 cs.CL cs.SD eess.AS
Promising Accurate Prefix Boosting for sequence-to-sequence ASR
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软）；Amazon（亚马逊）；Google（谷歌）；Facebook（脸书）；MERL/Mitsubishi Electric（三菱电机研究实验室/三菱电机）
在本文中，我们提出了有前途的准确前缀提升（PAPB），基于注意力的序列到序列（seq2seq）ASR的判别训练技术。PAPB的设计是为了有效地统一培训和测试计划。训练过程涉及使在波束搜索期间获得的每个部分正确序列的分数与其他假设相比最大化。训练目标还包括最小化令牌（字符）错误率。PAPB算法在华尔街日报数据集上的WER分别为10.8%和3.8%。
2018-11-07 cs.CL cs.LG cs.SD
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Leveraging Cross-Utterance Context For ASR Decoding
University of Sheffield（谢菲尔德大学）
本文研究在 ASR 解码中引入长上下文 transformer LM，通过束搜索利用跨话语信息，并在 AMI 与 Tedlium-1 上验证其相对 n-best 重打分和单话语解码的词错率改进。
2023-06-29 cs.CL cs.SD eess.AS
Semi-supervised ASR by End-to-end Self-training
Amazon Alexa（亚马逊 Alexa）
虽然基于深度学习的端到端自动语音识别（ASR）系统极大地简化了建模流程，但它们存在数据稀疏性问题。在这项工作中，我们提出了一个自我训练的方法与半监督ASR的端到端系统。从在监督数据上训练的连接主义时间分类（CTC）系统开始，我们使用当前模型在一小批无监督话语上迭代生成伪标签，并使用伪标签来增强监督数据以立即更新模型。我们的方法保留了端到端ASR系统的简单性，并且可以被视为在定义良好的学习目标上执行交替优化。我们还进行实证调查，我们的方法，关于数据增强的效果，解码波束大小的伪标签生成，和新鲜的伪标签。在一个常用的半监督ASR设置与华尔街日报语料库，我们的方法给出了14.4%的相对WER改善了一个精心训练的基础系统与数据增强，减少了基础系统和Oracle系统之间的性能差距50%。
2020-07-30 cs.CL cs.LG cs.SD
Large-Scale Pre-Training of End-to-End Multi-Talker ASR for Meeting Transcription with Single Distant Microphone
Microsoft Corp.（微软公司）
用单个远距离麦克风（SDM）转录包含重叠语音的会议一直是自动语音识别（ASR）最具挑战性的问题之一。虽然已经提出了各种各样的方法，所有以前的单声道重叠语音识别问题的研究是基于模拟数据或小规模的实际数据。在本文中，我们广泛研究了一种两步方法，首先使用大规模模拟数据预训练基于序列化输出训练（SOT）的多说话者ASR，然后使用少量真实会议数据微调模型。实验是通过利用我们内部的7.5万（K）小时的单说话者录音来模拟总共90万小时的多说话者音频片段进行监督预训练。通过对AMI-SDM 70小时的训练数据进行微调，我们的SOT ASR模型在自动计算每个测试段中的扬声器的同时，对AMI-SDM评估集实现了21.2%的单词错误率（WER）。该结果不仅显著优于先前的具有oracle话语边界信息的36.4%的最新WER，而且优于通过应用于波束成形音频的类似微调的单说话者ASR模型的结果。
2021-04-12 cs.CL cs.SD eess.AS
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能，发现其在多数实验设置中优于束搜索，显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation
Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Università Politecnica delle Marche（马尔凯理工大学）
本研究针对混响及噪声混响场景下多说话人ASR的前端语音分离问题，探究多通道分离方法与SSLR特征，提出结合TF-GridNet复谱映射和WavLM SSLR的训练策略，大幅降低词错误率。
2023-07-23 cs.CL cs.SD eess.AS
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
Phoneme-BERT: Joint Language Modelling of Phoneme Sequence and ASR Transcript
近年来，在识别口语的ASR系统中已经见证了显著的改进。然而，它仍然是一个具有挑战性的任务，噪声和域外数据，其中替换和删除错误是普遍存在的转录文本。这些错误会显著降低下游任务的性能。在这项工作中，我们提出了一个BERT风格的语言模型，称为PhonemeBERT，学习一个联合语言模型与音素序列和ASR成绩单学习语音感知表示，是强大的ASR错误。我们表明，PhonemeBERT可以用于下游任务使用音素序列作为附加功能，也可以在低资源设置，我们只有ASR转录的下游任务没有可用的音素信息。我们通过为三个基准数据集生成噪声数据来广泛评估我们的方法-斯坦福情绪树库，TREC和ATIS分别用于情绪，问题和意图分类任务。所提出的方法的结果在每个数据集上全面击败了最先进的基线。
2021-06-15 cs.CL eess.AS
MAC: A unified framework boosting low resource automatic speech recognition
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个统一的框架，低资源自动语音识别任务命名为Meta音频级联（MAC）。它易于实施，可以在资源极其有限的环境中进行。在数学上，我们给出了一个清晰的描述MAC框架的角度来看，baker-sampling。在这个框架中，我们利用一个新的拼接合成文本到语音系统，以提高低资源ASR任务。通过拼接合成的文语转换系统，可以整合语言发音规则，调整文语转换过程。此外，我们提出了一个广义的Meta音频集的概念，以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式，MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外，在ASR任务中，MAC在粤语的常见语音数据集上击败了wav 2 vec 2（微调），并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中，值得一提的是，我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率（CER），带来了\textbf{30\%}相对wav 2 vec 2的改善（微调）。
2023-02-15 cs.CL cs.SD eess.AS
Robust Multi-channel Speech Recognition using Frequency Aligned Network
Amazon（亚马逊）
诸如波束成形的常规语音增强技术对于远场语音识别具有已知的益处。我们自己在频域多通道声学建模中的工作已经通过在声学模型内联合训练空间滤波层而显示出额外的改进。在本文中，我们进一步发展了这一思想，并使用频率对齐网络的鲁棒多通道自动语音识别（ASR）。与频域中的仿射层不同，所提出的频率对准组件防止一个频率仓影响其他频率仓。我们表明，这种修改不仅减少了模型中的参数数量，而且显着提高了ASR性能。我们通过ASR实验研究了频率对齐网络对真实远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的多通道声学模型与频率对齐的网络显示高达18%的字出错率相对减少。
2020-02-06 cs.CL cs.SD eess.AS
Class LM and word mapping for contextual biasing in End-to-End ASR
Apple（苹果公司）
近年来，全神经端到端（E2E）ASR系统在语音识别界获得了迅速的兴趣。它们将语音输入转换为单个可训练神经网络模型中的文本单元。在ASR中，许多话语包含丰富的命名实体。这样的命名实体可以是用户或位置特定的，并且在训练期间看不到它们。单一的模型使得在推理过程中利用动态上下文信息变得不灵活。在本文中，我们提出了训练上下文感知的E2E模型，并允许束搜索在推理过程中遍历到上下文FST。我们还提出了一种简单的方法来调整上下文FST和基础模型之间的成本差异。该算法能够减少命名实体话语WER的57%，而对规则话语的准确性几乎没有下降。虽然E2E模型不需要发音字典，但利用现有的发音知识来提高准确性是很有趣的。在本文中，我们提出了一种算法，通过发音映射到常见的词，并把映射的词作为替代形式的原始词在识别过程中。该算法进一步将命名实体话语上的WER降低了另外31%。
2020-08-10 cs.CL cs.SD eess.AS
Directional Source Separation for Robust Speech Recognition on Smart Glasses
University of Southern California（南加州大学）；Meta Platforms, Inc.（Meta平台公司）
针对智能眼镜语音识别受环境噪声干扰的问题，研究多麦克风阵列定向源分离，探索传统与神经波束形成并联合训练分离与ASR模型，提升佩戴者语音识别性能。
2025-06-14 cs.HC cs.SD eess.AS
A Comparative Study on Multichannel Speaker-Attributed Automatic Speech Recognition in Multi-party Meetings
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
多方会议场景中的说话人归属自动语音识别（SA-ASR）是最有价值和最具挑战性的自动语音识别任务之一。结果表明，单通道帧级日志化与串行输出训练（SC-FD-SOT）、单通道词级日志化与SOT（SC-WD-SOT）以及单通道目标语者分离与ASR联合训练（SC-TS-ASR）可以部分解决这一问题。在本文中，我们提出了三个相应的多通道（MC）SA-ASR方法，即MC-FD-SOT，MC-WD-SOT和MC-TS-ASR。针对不同的任务/模型，考虑了不同的多通道数据融合策略，包括MC-FD-SOT的通道级跨通道关注、MC-WD-SOT的帧级跨通道关注和MC-TS-ASR的神经波束形成。AliMeeting语料库上的结果表明，我们提出的模型在与说话人相关的字符错误率方面始终优于相应的单通道模型。
2023-03-02 cs.SD eess.AS
Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于连接主义时态分类（CTC）的模型由于其非自回归特性而在自动语音识别（ASR）中受到广泛关注。为了充分利用纯文本数据，语言模型（LM）集成方法，如重评分和浅层融合已被广泛用于CTC。然而，由于需要束搜索，它们失去了CTC的非自回归性质，这降低了推理速度。在这项研究中，我们提出了一个错误纠正方法与音素条件掩蔽LM（PC-MLM）。在所提出的方法中，不太自信的词令牌在一个贪婪的解码输出CTC被掩盖。PC-MLM然后预测这些屏蔽词令牌给出未屏蔽的单词和电话从CTC预测。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM都是非自回归模型，因此该方法能够实现快速LM积分。在领域自适应环境下对自然日语语料库（CSJ）和TED-LIUM 2进行的实验结果表明，该方法在推理速度和识别准确率方面均优于再评分和浅层融合。
2022-09-08 cs.CL cs.SD eess.AS
'Beach' to 'Bitch': Inadvertent Unsafe Transcription of Kids' Content on YouTube
Manipal University（马尼帕尔大学）；Rochester Institute of Technology（罗切斯特理工学院）；Indian School of Business（印度商学院）
在过去的几年里，YouTube Kids已经成为儿童娱乐电视的极具竞争力的替代品之一。因此，YouTube Kids的内容应该受到额外的审查，以确保儿童的安全。虽然关于检测儿童攻击性或不适当内容的研究正在取得进展，但目前很少或根本没有研究人工智能应用程序在多大程度上可以（意外地）引入不适合儿童的内容。在本文中，我们提出了一个新的（和令人不安的）发现，众所周知的自动语音识别（ASR）系统可能会产生文本内容非常不适合孩子们，而转录YouTube儿童的视频。我们把这种现象称为\emph{inappropriate content hallucination}。我们的分析表明，这种幻觉远非偶然，ASR系统通常会以很高的信心产生它们。我们发布了首个此类音频数据集，现有的最先进的ASR系统会为儿童产生不适当的内容。此外，我们还证明了其中一些错误可以使用语言模型来修复。
2022-02-17 cs.CL cs.CY eess.AS
Lead2Gold: Towards exploiting the full potential of noisy transcriptions for speech recognition
Facebook AI Research（Facebook人工智能研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
用于对自动语音识别（ASR）系统进行训练的翻译可能包含错误。通常，质量控制阶段丢弃具有太多错误的瞬变信号，或者噪声瞬变信号被原样使用。我们介绍了Lead2Gold，一种训练ASR系统的方法，它充分利用了噪声传输的潜力。基于转录错误的噪声模型，Lead2Gold使用考虑该噪声模型的束搜索来搜索训练数据的更好的转录。束搜索是可微分的，并且不需要强制对准步骤，因此整个系统是端到端训练的。Lead2Gold可以被视为一种新的损失函数，可以用于任何序列到序列的深度神经网络。我们进行了概念验证实验，从不同的噪声水平的字母腐败产生的噪声transmittance。我们表明，Lead2Gold获得了比竞争性基线更好的ASR准确性，该基线不考虑（人工引入的）转录噪声。
2019-10-16 cs.AI cs.CL cs.LG
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）
多解码器（MD）端到端语音翻译模型通过搜索更好的中间自动语音识别（ASR）解码器状态作为隐藏中间体（HI）来展示高翻译质量。它是一个两遍解码模型，将整个任务分解为ASR和机器翻译子任务。然而，解码速度对于现实世界的应用来说不够快，因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD，一个快速MD模型，产生HI的非自回归（NAR）解码的基础上连接主义时间分类（CTC）的输出，然后由ASR解码器。我们研究了两种类型的NAR HI：（1）使用自回归Transformer ASR解码器的并行HI和（2）使用Mask-CTC的掩码HI，该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配，我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明，Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍，翻译质量相当。采用Conformer编码器和中间CTC损失，在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
Spell my name: keyword boosted speech recognition
Naver Corporation（NAVER公司）
识别不常见的单词，如名称和技术术语，对于理解上下文中的对话非常重要。然而，在现代自动语音识别（ASR）系统中，识别这样的单词的能力仍然是一个挑战。在本文中，我们提出了一种简单但功能强大的ASR解码方法，可以更好地识别这些不常见的关键字，从而使结果具有更好的可读性。该方法基于声学模型预测提高了束搜索中给定关键字的概率。该方法不需要事先进行任何训练。我们证明了我们的方法的有效性LibriSpeeech测试集和内部数据的真实世界的对话。我们的方法显着提高了测试集上的关键字准确性，同时保持了其他单词的准确性，并提供了显着的定性改进。该方法适用于其他任务，例如机器翻译，或者在束搜索中需要识别看不见的和困难的关键字的任何地方。
2021-10-06 cs.CL cs.SD eess.AS
Multi-Geometry Spatial Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
利用多个麦克风的空间信息可以提高远场自动语音识别（ASR）的准确性。然而，当在设计和测试条件之间存在阵列几何形状失配时，常规麦克风阵列技术降低了语音增强性能。此外，由于语音增强和ASR优化目标之间的差异，这样的语音增强技术并不总是产生ASR准确度的改进。在这项工作中，我们提出通过优化多通道（MC）输入的空间滤波和长短期记忆（LSTM）层来统一声学模型框架。我们的声学模型包含具有多种阵列几何形状的波束形成器。与将神经网络视为黑盒工具的深度聚类方法相比，对空间滤波器进行编码的网络可以实时处理流式音频数据，而无需累积目标信号统计数据。我们证明了这种MC神经网络的有效性，通过ASR实验的真实世界的远场数据。我们表明，我们的双通道声学模型可以平均降低字错误率（WER）的~13.4和~12.7%相比，一个单通道ASR系统的对数梅尔滤波器组能量（LFBE）功能匹配和不匹配的麦克风放置条件下，分别。我们的研究结果还表明，我们的双通道网络实现了超过7.0%的相对WER减少相比，传统的波束成形与7个麦克风的整体。
2019-04-28 cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Graph-Based Phonetic Error Correction of Noisy ASR
Sony Research India（索尼印度研究院）
提出G-SPIN框架，结合图神经网络构建音近候选集，并用掩码语言模型和指令调优大语言模型进行上下文重排序，以纠正ASR中结构化的音近错误。
2026-06-25 cs.CL cs.SD
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
