asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC(西伯利亚神经网络有限公司)
asr_eval提出改进语音识别评估的算法和工具,包括多参考标注、词对齐和流式识别评估工具,用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Reducing the gap between streaming and non-streaming Transducer-based ASR by adaptive two-stage knowledge distillation
iFLYTEK Research(讯飞研究院);Zhejiang University(浙江大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出自适应两阶段知识蒸馏方法,通过隐层均方误差学习与输出层幂变换自适应平滑,缩小流式与非流式Transducer ASR性能差距,在LibriSpeech上实现19%相对词错率降低及更快首token响应。
2023-06-27 cs.CL
Word Salad Chopper: Reasoning Models Waste A Ton Of Decoding Budget On Useless Repetitions, Self-Knowingly
University of Minnesota(明尼苏达大学);Rice University(里士满大学);Stevens Institute of Technology(史蒂文斯理工学院);Lambda, Inc(Lambda公司)
本文发现大型推理模型(LRM)会自我意识到地陷入无用的“word salad”重复循环,并提出轻量级组件 WordSaladChopper,通过单层线性分类器检测并截断冗余 token,在最小质量损失下大幅节省解码预算。
2025-11-01 cs.CL
Analyzing the Quality and Stability of a Streaming End-to-End On-Device Speech Recognizer
Google(谷歌)
随着自动语音识别(ASR)应用的激增,对快速且准确的增量式语音识别的需求也在增加。增量语音识别器在用户仍在说话时输出部分识别的单词块。在ASR最终确定其假设之前,可能会修改部分结果,从而导致不稳定问题。我们分析了设备上流媒体端到端(E2 E)ASR模型的质量和稳定性。我们首先介绍了一套新的指标,量化的不稳定性,在字和段的水平。我们研究了几种模型训练技术的影响,这些技术提高了E2 E模型的质量,但降低了模型的稳定性。我们对不稳定性的原因进行了分类,并探索了各种解决方案,以减轻它们在流E2 E ASR系统。索引术语:ASR、稳定性、端到端、文本规范化、设备上、RNN-T
2020-08-14 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University(首尔大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
StreamAlign提出流式文本对齐语音分词框架,结合字符级RNN-T与词级ASR指导,降低延迟并缓解词汇不匹配,在LibriSpeech上取得最优WER和UTMOS,其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.(谷歌公司)
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法,其使用外部低延迟声学模型来惩罚预测的单词边界。相反,最近提出的FastEmit是一个序列级延迟正则化方案,鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟,ASR字错误率(WER)往往严重恶化后,应用这些延迟约束计划。在本文中,我们提出了一种新的延迟约束方法,称为自对准。自对准不需要外部对准模型。相反,它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估,自对齐优于现有方案:在相似的单词错误率下,与FastEmit和约束对齐相比,延迟减少了25%和56%。对于语音搜索评估,与FastEmit和约束对齐相比,实现了12%和25%的延迟减少,WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC(谷歌公司)
流自动语音识别(ASR)的目的是尽可能快速和准确地发出每个假设的单词。然而,在不降低质量的情况下快速发射,如通过字错误率(WER)测量的,是非常具有挑战性的。现有的方法,包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟,但这些方法遭受显著的准确性回归,并且还需要来自现有模型的附加单词对齐信息。在这项工作中,我们提出了一种序列级发射正则化方法,名为FastEmit,它直接在训练传感器模型中对每个序列的概率应用延迟正则化,并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络,包括RNN-换能器,换能器-换能器,ConvNet-换能器和Conformer-换能器,证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少,在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER,同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的,这些用例不能很好地推广到开放域场景,不能扩展到大型偏置列表,或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制,该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比,一个强大的混合基线上的开放域和受约束的上下文任务,其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的,允许快速修改,而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University(西北工业大学)
针对流式语音识别中个性化词偏置损害常用词识别的问题,提出基于CATT的自适应上下文偏置方法,动态开关偏置列表,显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
High Performance Sequence-to-Sequence Model for Streaming Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
最近,当以批处理模式处理音频数据时,序列到序列模型已经开始在标准语音识别任务上实现最先进的性能,即,当开始处理时,完整的音频数据是可用的。然而,当涉及到在音频数据的输入流上执行连续识别,同时实时地产生识别结果并且具有低的基于单词的延迟时,这些模型面临若干挑战。对于许多技术,要解码的整个音频序列需要在处理开始时可用,例如,注意力机制或双向LSTM(BLSTM)。在本文中,我们提出了几种技术来缓解这些问题。我们引入了一个额外的损失函数来控制注意力机制的不确定性,一个改进的波束搜索来识别部分稳定的假设,在编码器中使用BLSTM的方法,以及分块BLSTM的使用。我们的实验表明,与这些技术的正确组合,它是可能的,以低字为基础的延迟,而不牺牲字错误率的性能,执行运行的语音识别。
2020-07-26 cs.CL cs.SD eess.AS
Reading Less While Writing: A Closed-Form Bandwidth Dial for Streaming Multimodal Decoders
University of Engineering and Technology (UET)(工程技术大学(UET))
提出ZENDAYA调度,用单一参数γ闭式控制流式解码器源读取量,使离线与实时统一,实验证明少读源可提升文本质量,并在三个语料库上显著优于固定调度。
2026-09-21 cs.CL cs.LG
RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams
Department of Computer Science, University of Chile(智利大学计算机科学系);National Center for Artificial Intelligence (CENIA)(人工智能国家中心);Millennium Institute for Foundational Research on Data (IMFD)(数据基础研究千年研究所)
针对传统静态词嵌入难以适应动态语言模式的问题,提出Python库RiverText,基于PyTorch实现Skip-gram等增量词嵌入算法,并提供流式评估模块,为流式场景下的词嵌入训练与评估提供标准化框架。
2025-06-29 cs.CL cs.LG
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
SENS-ASR通过结合语义信息提升流式ASR转录质量,有效降低小块流式场景中的词错误率。
2026-03-12 cs.AI cs.CL
Streaming End-to-End Multilingual Speech Recognition with Joint Language Identification
Google LLC(谷歌有限责任公司)
语言识别对于自动语音识别(ASR)中的许多下游任务至关重要,并且有利于作为附加任务集成到多语言端到端ASR中。在本文中,我们建议修改的级联编码器为基础的递归神经网络传感器(RNN-T)模型的结构,通过整合每帧语言标识符(LID)预测。具有级联编码器的RNN-T可以使用没有右上下文的第一遍解码来实现低延迟的流式ASR,并使用具有较长右上下文的第二遍解码来实现较低的字错误率(WER)。通过利用右上下文中的这种差异和统计池的流式实现,所提出的方法可以实现精确的流式LID预测,而几乎没有额外的测试时间成本。在一个包含9种语言的语音搜索数据集上的实验结果表明,该方法实现了平均96.2%的LID预测准确率和与在输入中包含Oracle LID所获得的相同的第二遍WER。
2022-09-13 cs.CL eess.AS
Streaming Align-Refine for Non-autoregressive Deliberation
Google, Inc.(谷歌公司)
我们提出了一种流非自回归(non-AR)解码算法来审议流RNN-T模型的假设对齐。该算法不仅简化了贪心解码过程,而且能够在有限的正确上下文下产生每帧的解码结果,从而具有高效率和低延迟的优点。这些优点是通过将离线Align-Refine算法转换为流媒体兼容来实现的,具有新颖的Transformer解码器架构,该架构对文本和音频执行本地自关注,并且在每一层执行时间对齐的交叉关注。此外,我们执行我们的模型与最小字出错率(MWER)的标准,这还没有做在非AR解码文献的判别训练。在语音搜索数据集和Librispeech上的实验表明,在合理的正确上下文下,我们的流模型表现得和离线模型一样好,当第一遍模型容量较小时,区分性训练会导致WER进一步增益。
2022-04-15 cs.CL cs.LG eess.AS
Listen with Intent: Improving Speech Recognition with Audio-to-Intent Front-End
Amazon Alexa, USA(亚马逊Alexa(美国));Amazon Alexa, India(亚马逊Alexa(印度))
理解话语的整体意图有助于听者识别所讲的各个单词。受这一事实的启发,我们进行了一项新的研究的影响,明确纳入意图表示作为额外的信息,以改善基于递归神经网络换能器(RNN-T)的自动语音识别(ASR)系统。音频到意图(A2 I)模型以嵌入或后验的形式对话语的意图进行编码,这些被用作RNN-T训练和推理的辅助输入。这项研究使用50千小时的远场英语语音语料库进行实验,结果表明,当系统在非流模式下运行时,从整个话语中提取意图表示,然后从一开始就用于偏向流RNN-T搜索,它提供了5.56%的相对单词错误率降低(WERR)。另一方面,使用每帧意图后验作为RNN-T ASR系统的额外输入的流系统产生3.33%的相对WERR。对流媒体系统的进一步详细分析表明,我们提出的方法在媒体播放相关意图上带来了特别好的增益(例如,PlayMusicIntent上的9.12%相对WERR)。
2021-06-16 cs.CL cs.SD eess.AS
TopicBERT: A Transformer transfer learning based memory-graph approach for multimodal streaming social media topic detection
University of Tabriz(大不里士大学);Université du Littoral Côte D’Opale(滨海大学)
具有突发短消息的社交网络的实时的性及其各自的大数据规模分布在各种各样的主题中是许多研究者的研究兴趣。被称为大数据的5 'V的社交网络的这些属性导致了许多独特的和启发性的算法和技术应用于大型社交网络数据集和数据流。这些研究中的许多都是基于对热点话题和社交媒体事件的检测和跟踪,这些热点话题和社交媒体事件有助于揭示许多悬而未决的问题。这些算法和某些软件产品主要依赖于语言本身的性质。虽然,其他技术,如无监督数据采掘方法是语言无关的,但许多要求,一个全面的解决方案没有得到满足。许多研究问题,如嘈杂的句子,不利的语法和新的在线用户发明的话是具有挑战性的维护一个良好的社会网络主题检测和跟踪方法,词之间的语义关系,在大多数情况下,同义词也被许多这些研究忽视。在这项研究中,我们使用Transformers结合增量社区发现算法。Transformer一方面提供了不同语境中词与词之间的语义关系;另一方面,所提出的图挖掘技术增强了所产生的主题与简单的结构规则的援助。从多模态数据(图像和文本)中识别命名实体识别,用实体类型标记命名实体,并使用它们调整提取的主题。该系统的所有操作都应用于NoSQL技术下的大社会数据视角。为了提出一个有效的系统化解决方案,我们将MongoDB和Neo4j作为我们工作的两个主要数据库系统。该系统在三个不同的数据集上显示出更高的准确率和召回率。
2020-08-16 cs.CL cs.IR cs.LG
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近,人们越来越关注双通道流式传输端到端语音识别(ASR),其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型,以提高识别准确性,同时保持低延迟。最新的第二遍重新评分模型之一,Transformer Rescorer,从第一遍模型中获取n个最佳初始输出和音频嵌入,然后通过重新评分n个最佳初始输出来选择最佳输出。然而,训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据,因为该模型使用音频嵌入作为输入。在这项工作中,我们提出了我们的联合音频/文本训练方法的Transformer Rescorer,利用未配对的纯文本数据,这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer,并表明与标准Transformer Rescorer相比,我们的训练方法可以显着提高单词出错率(WER),而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
U2++: Unified Two-pass Bidirectional End-to-end Model for Speech Recognition
Mobvoi Inc.(出门问问公司);WeNet Open Source Community(WeNet开源社区)
用于语音识别的统一流和非流两遍(U2)端到端模型在流能力、准确性、实时因素(RTF)和延迟方面表现出了出色的性能。在本文中,我们提出了U2++,U2的增强版本,以进一步提高准确性。U2++的核心思想是在训练时同时利用标签序列的前向和后向信息来学习更丰富的信息,在解码时结合前向和后向预测来给出更准确的识别结果。我们还提出了一种新的数据增强方法SpecSub来帮助U2++模型更准确和鲁棒。我们的实验表明,与U2相比,U2++在训练时具有更快的收敛速度,对解码方法具有更好的鲁棒性,并且与U2相比,字出错率降低了5%-8%。在AISHELL-1实验平台上,采用U2++,在320 ms延迟下,非流式设置的字符出错率为4.63%,流式设置的字符错误率为5.05%。据我们所知,5.05\%是AISHELL-1测试集上发布的最佳流结果。
2021-12-30 cs.CL cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX(Typhoon团队,SCB DataX)
提出可部署的流式泰语ASR系统,通过缓存感知编码器和浅融合实现低延迟,在基准上降低字符错误率4.3-4.5倍,解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
On Comparison of Encoders for Attention based End to End Speech Recognition in Standalone and Rescoring Mode
Flipkart Internet Pvt. Ltd.(Flipkart互联网私人有限公司)
流式自动语音识别(ASR)模型更受欢迎,适合于基于语音的应用。然而,非流模型提供更好的性能,因为它们查看整个音频上下文。为了在语音搜索等流媒体应用中利用非流媒体模型的优势,它通常用于第二遍重新评分模式。使用非流模型对使用流模型生成的候选假设进行重新评分。在这项工作中,我们在独立和重新评分模式下评估了Flipkart语音搜索任务上基于非流注意力的端到端ASR模型。这些模型基于Listen-Attend-Spell(LAS)编码器-解码器架构。我们使用基于LSTM、Transformer和Conformer的不同编码器变体进行实验。我们比较了这些模型的延迟要求及其性能。总体而言,我们表明,Transformer模型提供了可接受的WER与最低的延迟要求。我们报告了约16%的相对WER改进,第二遍LAS重新评分,延迟开销低于5 ms。我们还强调了CNN前端与Transformer架构的重要性,以实现可比的字出错率(WER)。此外,我们观察到,在第二遍重新评分模式下,所有编码器都提供了类似的好处,而在独立文本生成模式下,性能差异非常突出。
2022-06-26 cs.CL cs.LG cs.SD