Improving Scheduled Sampling for Neural Transducer-based ASR
本文针对RNNT自回归训练中曝光偏差问题,提出适用于RNNT的计划采样方法,通过采样模型自身分布生成的令牌提升鲁棒性,在三个数据集上取得最佳ASR性能。
2023-05-25 eess.AS
Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system
Shanghai Normal University(上海师范大学)
本文提出语音辅助多目标单元(PMU)建模方法,通过融合发音辅助子词建模与BPE单元,在CTC和Transducer多任务训练中增强Conformer编码器,在LibriSpeech及带口音ASR任务上显著降低词错误率。
2023-07-07 cs.SD eess.AS
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation(日本电报电话公司);Tokyo Institute of Technology(东京工业大学)
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别(ASR)性能,但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而,前端模块的额外计算成本是快速响应的关键障碍,特别是对于流式ASR。在本文中,我们提出了一个目标扬声器ASR(TS-ASR)系统,隐式地集成了流端到端(E2 E)ASR系统,即递归神经网络换能器(RNNT)内的目标语音提取功能。我们的系统使用了类似的想法,通过目标语音提取,但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意,这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型,而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实,我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能,同时降低计算成本,实现流TS-ASR。
2022-09-19 cs.SD eess.AS
Head-synchronous Decoding for Transformer-based Streaming ASR
基于在线转换器的自动语音识别(ASR)系统由于流媒体应用需求的增加而得到广泛研究。最近提出的解码器端自适应计算步骤(DACS)算法的在线Transformer ASR被证明达到最先进的性能和优于其他现有的方法。然而,与任何其他在线方法一样,每个Transformer解码器层中的基于DAC的注意力头独立地(或异步地)操作,并导致分散的参与位置。由于DACS使用截断阈值来确定停止位置,因此一些注意力权重被过早地截断,并且可能影响解码的稳定性和精度。为了克服这些问题,在这里,我们提出了一个头同步(HS)版本的DACS算法,其中注意力的边界是由所有的DACS头在每个解码器层联合检测。在华尔街日报(WSJ),AIShell-1和Librispeech上的ASR实验表明,该方法始终优于vanilla DACS,并达到了最先进的性能。我们还将证明,HS-DACS降低了解码成本相比,香草DACS。
2021-04-26 eess.AS
CUSIDE-T: Chunking, Simulating Future and Decoding for Transducer based Streaming ASR
China Unicom (Guangdong) Industrial Internet Co., Ltd.(中国联通(广东)工业互联网有限公司);Tsinghua University(清华大学)
针对流式ASR的性能与延迟平衡难题,提出适配RNN-T架构、融入语言模型重打分的CUSIDE-T方法,在多数据集上以相同延迟实现了优于U2++的识别准确率。
2024-09-16 cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI(Facebook人工智能)
与传统的混合语音识别器相比,具有单个神经网络的端到端自动语音识别(ASR)模型最近已经展示了最先进的结果。具体而言,循环神经网络传感器(RNN-T)在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中,我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议(i)使用与主要RNN-T ASR任务相同的辅助任务,以及(ii)像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时,我们首先评估三种语言的流式ASR性能:罗马尼亚语,土耳其语和德语。我们发现,这两种方法提供了一致的改进。接下来,我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性,从而与之前的顶级模型相比,在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS
Knowledge Distillation for Neural Transducer-based Target-Speaker ASR: Exploiting Parallel Mixture/Single-Talker Speech Data
本文提出利用知识蒸馏方法,通过预训练的单说话人 RNNT 系统生成伪标签,以充分利用并行混合/单说话人语音数据来改进 TS-RNNT 训练,实验证明该方案优于基线系统。
2023-05-25 eess.AS
Continuous Streaming Multi-Talker ASR with Dual-path Transducers
Microsoft(微软)
到目前为止,多说话者对话的流识别仅针对2个说话者的单回合会话进行了评估。在本文中,我们调查它的多回合会议包含多个扬声器使用流式分离和识别传感器(SURT)模型,并表明,天真地扩展单回合模型,这个更难的设置会导致性能损失。作为解决方案,我们提出了双路径(DP)建模策略首先用于时域语音分离。我们对基于LSTM和Transformer的DP模型进行了实验,结果表明它们提高了字错误率(WER)性能,同时加快了收敛速度。我们还探讨了这些模型的训练策略,如组块宽度随机化和课程学习,并通过消融研究证明了它们的重要性。最后,我们在LibriCSS会议数据上评估了我们的模型,在那里它们与基于离线分离的方法具有竞争力。
2022-01-22 cs.SD eess.AS
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA(英伟达);University of London(伦敦大学)
本文提出基于CTC词识别器的快速上下文偏置方法,通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果,结合混合Transducer-CTC模型,在加速推理的同时提升F-score并降低WER,已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU(杰斯罗大学计算机科学与工程系);HLTCOE JHU(杰斯罗大学人类语言技术与计算机工程系);Xiaomi(小米公司)
提出HENT-SRT框架,通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚,在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization
NVIDIA, Armenia(亚美尼亚NVIDIA公司);NVIDIA, USA(美国NVIDIA公司)
本文提出统一ASR框架,通过一致性正则化缩小离线与流媒体性能差距,提升低延迟流媒体准确率同时保持离线性能。
2026-04-21 cs.AI cs.CL cs.HC
Label-Synchronous Neural Transducer for E2E Simultaneous Speech Translation
University of Cambridge(剑桥大学)
本文提出标签同步神经转导器LS-Transducer-SST,通过自回归积分发放机制和延迟可控AIF实现同声传译中的流式与重排序,并利用单语文本缓解数据稀疏,在质量-延迟权衡上优于现有方法。
2024-06-06 cs.CL eess.AS
FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization
Google LLC(谷歌公司)
流自动语音识别(ASR)的目的是尽可能快速和准确地发出每个假设的单词。然而,在不降低质量的情况下快速发射,如通过字错误率(WER)测量的,是非常具有挑战性的。现有的方法,包括早期和晚期惩罚和约束对齐惩罚发射延迟通过操纵每令牌或每帧的概率预测序列换能器模型。虽然成功地减少了延迟,但这些方法遭受显著的准确性回归,并且还需要来自现有模型的附加单词对齐信息。在这项工作中,我们提出了一种序列级发射正则化方法,名为FastEmit,它直接在训练传感器模型中对每个序列的概率应用延迟正则化,并且不需要任何对齐。我们通过将FastEmit应用于各种端到端流式ASR网络,包括RNN-换能器,换能器-换能器,ConvNet-换能器和Conformer-换能器,证明FastEmit更适合于流式ASR换能器模型的序列级优化。我们实现了150-300毫秒的延迟减少,在语音搜索测试集上比以前的技术有更好的准确性。FastEmit还将流ASR准确性从4.4%/8.9%提高到3.1%/7.5% WER,同时将LibriSpeech上的第90百分位延迟从210 ms降低到仅30 ms。
2021-02-03 cs.AI cs.CL cs.LG
Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and Self-training of Neural Transducer
Cambridge Research Laboratory, Toshiba Europe Limited(东芝欧洲有限公司剑桥研究实验室)
针对递归神经网络(RNN)-转换器(RNN-T)端到端(E2 E)自动语音识别(ASR)系统,提出了一种利用未标记语音数据进行无监督微调和自训练的新方法。传统系统在使用未标记的音频数据时使用ASR假设作为目标来执行微调/自训练,并且易受基础模型的ASR性能的影响。在这里,为了减轻使用未标记数据时ASR错误的影响,我们提出了一种多假设RNN-T损失,将多个ASR 1-最佳假设纳入损失函数。对于微调任务,在Librispeech上的ASR实验表明,与单假设方法相比,在test_other集上,多假设方法实现了14.2%的单词出错率(WER)的相对降低。对于自训练任务,ASR模型使用来自华尔街日报(WSJ)的监督数据,Aurora-4以及CHiME-4真实噪声数据作为未标记数据进行训练。与单假设方法相比,多假设方法在CHiME-4的单通道真实噪声评估集上产生3.3%的WER相对降低。
2022-07-29 cs.CL cs.SD eess.AS
Combining Frame-Synchronous and Label-Synchronous Systems for Speech Recognition
通常使用的自动语音识别(ASR)系统可以基于语音是基于每帧还是基于每标签来解码而被分类为帧同步和标签同步类别。帧同步系统,如传统的隐马尔可夫模型系统,可以很容易地结合现有的知识,并可以支持流ASR应用。基于注意力的编码器-解码器模型的标签同步系统可以用单个模型联合学习声学和语言信息,可以被视为基于音频的语言模型。在本文中,我们提出了重新评分的N-最好的假设或格产生的第一次通过帧同步系统与标签同步系统在第二次通过。通过利用不同方法的互补建模,组合的双通道系统在两个标准ASR任务上不使用任何额外的语音或文本数据的情况下实现了有竞争力的性能。对于80小时AMI IHM数据集,组合系统在评估集上具有13.7%的字错误率(WER),这比单个系统相对WER降低了29%。对于300小时的Switchboard数据集,组合系统的WER在Hub 5 '00的Switchboard和CallHome子集上分别为5.7%和12.1%,在RT 03的Switchboard Cellular和Fisher子集上分别为13.2%和7.6%,相对于单个系统,WER相对降低高达33%。
2021-07-01 eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft(微软)
神经传感器在自动语音识别(ASR)中得到了广泛的应用。在本文中,我们将其引入流端到端语音翻译(ST),其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译(MT)的级联ST相比,所提出的基于Transformer transducer(TT)的ST模型大大减少了推理延迟,利用了语音信息,并避免了从ASR到MT的错误传播。为了提高建模能力,我们提出了注意力池的联合网络在TT。此外,我们扩展了基于TT的ST多语言ST,它产生的文本在同一时间的多种语言。在大规模5万(K)小时伪标记训练集上的实验结果表明,基于TT的ST不仅显著减少了推理时间,而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
A Study of Transducer based End-to-End ASR with ESPnet: Architecture, Auxiliary Loss and Decoding Strategies
Airudit;LaBRI(波尔多计算机科学实验室);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);Yahoo Japan Corporation(雅虎日本公司);Kyoto University(京都大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项研究中,我们介绍了ESPnet中使用RNN-T损失训练的模型的最新发展。它涉及到使用各种架构,如最近提出的Conformer,具有不同辅助标准的多任务学习和多种解码策略,包括我们自己的命题。通过实验和基准测试,我们表明,我们提出的系统可以与其他国家的最先进的系统在知名的数据集,如LibriSpeech和AISHELL-1的竞争。此外,我们证明了这些模型在性能和解码速度方面对ESPnet中其他已经实现的系统是有希望的,从而有可能拥有强大的流任务系统。通过这些补充,我们希望扩展ESPnet工具包对研究社区的有用性,并为ASR行业提供工具,以便在现实和生产环境中部署我们的系统。
2022-01-14 cs.SD eess.AS
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Zurich(苏黎世大学);Brno University of Technology(布尔诺理工大学);Uniphore(尤尼福公司)
针对传统语音对话智能级联流水线流程繁琐的问题,提出基于Transducer的TokenVerse模型,通过在ASR训练中融入任务特定token统一处理语音与NLP任务,在多任务上性能优于级联方案,ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Pushing the Limits of Beam Search Decoding for Transducer-based ASR models
NVIDIAArmenia(NVIDIA Armenia);NVIDIAUSA(NVIDIA USA)
本文提出一种加速Transducer模型beam search的通用方法,通过批处理、树结构和CUDA graph等技术,将beam与贪婪解码速度差缩小至10-20%,同时显著提升WER和浅层融合性能。
2025-05-30 cs.AI cs.CL cs.LG
Promptformer: Prompted Conformer Transducer for ASR
Amazon AGI(亚马逊AGI)
本文提出Promptformer,通过超提示机制将文本上下文融入Conformer Transducer的注意力模块,在多轮ASR交互中实现5.9%的相对词错误率降低,且无上下文时性能不退化。
2024-01-14 cs.CL cs.SD eess.AS
VQ-T: RNN Transducers using Vector-Quantized Prediction Network States
IBM Research AI(IBM人工智能研究院)
束搜索是端到端模型的主要ASR解码算法,它生成树结构假设。然而,最近的研究表明,假设合并的解码可以实现更有效的搜索,具有相当或更好的性能。但是,循环网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量量化的长短期记忆单元(VQ-LSTM)。通过与ASR网络联合训练离散表示,可以主动合并假设以生成格。我们在Switchboard语料库上的实验表明,所提出的VQ RNN换能器比具有常规预测网络的换能器提高了ASR性能,同时还产生了更密集的网格,对于相同的波束大小,具有非常低的甲骨文错误率出错率(WER)。附加的语言模型重评分实验也证明了所提出的格生成方案的有效性。
2022-08-03 cs.CL cs.SD eess.AS
LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers
Microsoft(微软)
提出LAMASSU模型,基于神经转换器实现流式语言无关的多语言语音识别与翻译,通过四种方法大幅减小模型尺寸并达到单语ASR和双语ST模型的性能。
2023-10-19 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group(阿里巴巴集团);DAMO Academy(达摩院)
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR,在 100 至 10000 小时数据上验证其准确率相当或更优,并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法,基于预训练Voxtral Realtime模型构建帧同步双头结构,联合预测ASR token与细粒度轮次状态,在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation(NTT公司)
本文提出内部声学模型训练策略和双空白阈值方法,通过联合训练HAT与IAM同步发出空白并跳过非空白计算,在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Integrating Text Inputs For Training and Adapting RNN Transducer ASR Models
IBM Research AI(IBM研究院人工智能部门)
与使用模块化架构的混合自动语音识别(ASR)系统(其中每个组件可以独立地适应于新的领域)相比,最近的端到端(E2 E)ASR系统由于其全神经单片构造而难以定制。在本文中,我们提出了一种新的文本表示和E2 E ASR模型的训练框架。通过这种方法,我们证明了经过训练的RNN转换器(RNN-T)模型的内部LM组件可以有效地适应纯文本数据。使用语音和文本输入训练的RNN-T模型比仅使用语音训练的基线模型有所改进,在NIST Hub 5 2000评估的Switchboard和CallHome测试集上,单词出错率(WER)降低了近13%。通过将这种通用RNN-T模型定制为三个独立的数据集,进一步证明了所提出方法的有用性。我们观察到20-45%的相对字出错率(WER)减少在这些设置与这种新的LM风格的定制技术,只使用不成对的文本数据从新的域。
2022-02-26 cs.CL cs.SD eess.AS
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation(索尼公司);Johns Hopkins University(约翰斯·霍普金斯大学)
在端到端(E2 E)自动语音识别(ASR)系统中,Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而,Transformer有一个缺点,即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中,使用块边界检测技术同步对齐编码特征块,其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话,LibriSpeech英语和CSJ日本的任务的评估表明,建议的流Transformer算法优于传统的在线方法,包括单调块注意(MoChA),特别是当使用知识蒸馏技术。一项消融研究表明,我们的流方法有助于减少响应时间,重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab(华为诺亚方舟实验室)
Transformer在自动语音识别(ASR)中实现了与最先进的端到端模型竞争的性能,并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构,仅适用于离线ASR。它依赖于注意力机制来学习对齐,并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR,我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码,我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模,这对性能很重要。为了降低计算成本,我们逐渐降低声音输入的采样,也使用交织卷积层。此外,我们限制了自注意中的历史上下文的长度,以保持每个解码步骤的计算成本恒定。我们表明,这种架构,名为Conv-Transformer Transducer,在LibriSpeech数据集上实现了有竞争力的性能(3.6\% WER on test-clean),而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当,并且以更小的前瞻窗口(140 ms)、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Knowledge Distillation for Neural Transducers from Large Self-Supervised Pre-trained Models
自监督预训练是利用大量未标记数据降低自动语音识别(ASR)系统误词率的有效方法。由于对于许多真实世界的ASR应用使用大型预训练模型是不切实际的,因此希望具有小得多的模型,同时保留预训练模型的性能。在本文中,我们提出了一个简单的知识蒸馏(KD)神经传感器的损失函数,专注于流和非流设置下输出概率格中的最佳路径,这使得一个小的学生模型接近大型预训练教师模型的性能。LibriSpeech数据集上的实验表明,尽管比教师模型小10倍,但与使用标记的100小时干净数据在没有KD的情况下训练的基线传感器相比,所提出的损失导致非流和流学生模型的测试其他集的相对WER减少(WERR)为11.5%和6.8%。对于KD额外的860小时未标记数据,WERR增加到48.2%,对于非流和流学生增加到38.5%。如果使用语言模型浅融合来产生蒸馏目标,则观察到学生模型的进一步改进。
2022-03-02 eess.AS
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.(小米公司);Meaning.Team Inc(Meaning.Team公司)
在流式传输自动语音识别(ASR)中,期望尽可能地减少等待时间,同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标,但由于它们依赖于外部对齐,因此难以实现。在本文中,我们提出了一种简单的方法来惩罚传感器模型中的符号延迟,这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地,我们的方法将一个小的常数倍(T/2 - t)(其中T是帧的数量,t是当前帧)添加到被馈送到二维换能器递归中的所有非空白对数概率(归一化后)。对于流式Conformer模型和单向长短期记忆(LSTM)模型,实验结果表明,它可以显着减少符号延迟,同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit,但我们相信我们的方法是更可取的,因为它有一个更好的理由:它相当于惩罚平均符号延迟。我们的工作是开源和公开的(https://github.com/k2-fsa/k2)。
2022-10-31 cs.CL cs.LG cs.SD
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute(Idiap研究所);University of Zurich(苏黎世大学);EPFL(洛桑联邦理工学院);Brno University of Technology(布尔诺理工大学);Uniphore(Uniphore公司)
针对低/无监督数据的ASR训练难题,提出利用基础语音模型Whisper的伪标记,在消费级GPU上单阶段从零训练流式Transformer-Transducer模型,经多维度消融和6种语言验证有效,还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟,与非流传输ASR模型相比,流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明,RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架,这两个编码器可以在不同的音频间隔(例如,快速和慢速)产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器,其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少,在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后,我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Towards Maximum Likelihood Training for Transducer-based Streaming Speech Recognition
XL8 Inc.(XL8公司);Seoul National University(首尔大学);Chung-Ang University(中央大学)
针对传统流式Transducer模型因训练推理不匹配导致的似然变形与准确率次优问题,提出前向变量因果补偿(FoCC)量化差距并设计估计器FoCCE,在LibriSpeech数据集验证其可提升模型准确率。
2024-11-26 cs.LG eess.AS
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI(Facebook人工智能实验室)
诸如用于自动语音识别(ASR)的RNN传感器(RNN-T)的基于神经传感器的系统将传统混合ASR系统的各个组件(声学模型、语言模型、标点模型、反向文本规范化)混合成一个单个模型。这大大简化了训练和推理,因此使RNN-T成为ASR系统的理想选择。在这项工作中,我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统,结果表明,与经过良好调整的混合ASR基线相比,神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Self-Supervised Learning for Multi-Channel Neural Transducer
Advanced Media, Inc.(Advanced Media公司)
本文研究基于 wav2vec 2.0 的多通道神经转录器自监督学习方法,比较三种特征量化策略,发现逐特征量化最优,在远场内部数据集上字符错误率相对降低 66%。
2024-08-06 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科)
在这项工作中,我们提出了新的解码算法,使流自动语音识别(ASR)的未分割的长形式的录音没有语音活动检测(VAD),基于单调块注意(MoChA)与辅助连接时间分类(CTC)的目标。我们提出了一种块同步波束搜索解码,以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法,利用CTC概率来确定一个合适的时间来重置模型状态,以解决长格式数据的脆弱性。实验结果表明,块同步解码达到相当的精度标签同步之一。此外,无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Alignment-Free Training for Transducer-based Multi-Talker ASR
NTT Corporation(NTT公司)
本文提出MT-RNNT-AFT无对齐训练方案,通过在转录开头附加说话人提示标记,使标准RNNT架构无需精确时间戳即可实现多说话人ASR,性能与最先进方法相当且训练过程大幅简化。
2024-09-30 cs.CL cs.SD eess.AS
Factorized Neural Transducer for Efficient Language Model Adaptation
Microsoft Speech and Language Group(微软语音与语言组)
近年来,基于端到端(E2 E)的自动语音识别(ASR)系统由于其简单性和有前途的性能而获得了巨大的成功。基于神经传感器的模型在基于流E2 E的ASR系统中越来越受欢迎,并且据报道在某些场景中优于传统的混合系统。然而,神经换能器中声学模型、词典和语言模型的联合优化也给利用纯文本进行语言模型自适应带来了挑战。这一缺点可能会阻碍它们在实践中的潜在应用。为了解决这一问题,本文提出了一种新的模型--因子化神经传感器,通过对空白和词汇预测进行因子化,并采用独立的语言模型进行词汇预测。预计这种分解可以将独立语言模型的改进转移到用于语音识别的换能器,这允许应用各种语言模型自适应技术。我们表明,建议的因子分解神经换能器产生15%至20%的WER改进时,域外的文本数据用于语言模型适应,在WER的一般测试集上的一个小的退化的成本。
2021-10-18 cs.CL eess.AS
Multi-mode Transformer Transducer with Stochastic Future Context
ASAPP;Carnegie Mellon University(卡内基梅隆大学)
自动语音识别(ASR)模型在更多的周围语音信息被呈现为上下文时错误更少。不幸的是,获取更大的未来上下文会导致更高的延迟。在速度和准确性之间存在不可避免的权衡。为了适应不同的延迟要求,人们必须存储多个模型,并在约束条件下选择最佳模型。相反,更理想的方法是拥有一个可以根据不同约束动态调整其延迟的单一模型,我们称之为多模式ASR。多模式ASR模型可以在推理期间满足各种延迟要求-当更大的延迟变得可接受时,模型可以处理更长的未来上下文以实现更高的准确性,并且当延迟预算不灵活时,模型可以更少地依赖于未来上下文,但仍然实现可靠的准确性。为了追求多模式ASR,我们提出了随机未来上下文,这是一个简单的训练过程,在每次迭代中对一个流配置进行采样。通过对AISHELL-1和LibriSpeech数据集的广泛实验,我们表明多模式ASR模型可以与一组使用不同延迟预算训练的竞争性流媒体基线相媲美。
2021-06-17 cs.CL cs.SD eess.AS
Conformer with dual-mode chunked attention for joint online and offline ASR
在本文中,我们提出了一个深入的研究在线注意机制和蒸馏技术的双模的【形】(即,联合在线和离线)使用Conformer传感器的ASR。在双模的【形】Conformer Transducer模型中,各层可以在线或离线工作,同时共享参数,并在训练中应用从离线到在线模式的就地知识蒸馏,以提高在线精度。在我们的研究中,我们首先证明了在Conformer编码器中使用分块注意力与有和没有前瞻的自回归注意力相比的准确性提高。此外,我们探讨了有效的KLD和1-最好的KLD损失与不同的移动之间的在线和离线输出的知识蒸馏。最后,我们表明,一个简化的双模的【形】构象,只有模式特定的自注意力,以及一个也有模式特定的卷积和归一化。我们的实验是基于两个非常不同的数据集:Librispeech任务和医疗对话的内部语料库。结果表明,所提出的双模式系统,使用组块注意力产生5%和4%的相对WER改善的Librispeech和医疗任务,相比,双模的【形】系统,使用自回归注意力与类似的平均前瞻。
2022-06-22 eess.AS
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别(ASR)系统的流式推理对于减少延迟是重要的,这对于交互式用例是必要的。为此,我们提出了一种新的块同步解码算法,结合端点预测和端点后确定的混合方法。在端点预测中,我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值,解码器预测端点以实现连续块同步,作为运行缝合。同时,端点后确定概率检测源-目标注意的后跳,这是由端点的错误预测。然后,它通过丢弃这些假设来恢复解码,如回缝。我们将这些方法结合成一个混合的方法,即运行和返回缝合搜索,这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率,该算法实现了延迟减少,例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数,同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple(苹果公司)
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中,我们研究如何优化基于神经传感器的双语自动语音识别(ASR)模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况,我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能,并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率(MER)的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比,以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Neural Transducer Training: Reduced Memory Consumption with Sample-wise Computation
Apple(苹果公司)
神经换能器是用于自动语音识别(ASR)的端到端模型。虽然该模型非常适合流式ASR,但训练过程仍然具有挑战性。在训练过程中,内存需求可能会很快超过最先进的GPU的容量,从而限制批量大小和序列长度。在这项工作中,我们分析了一个典型的传感器训练设置的时间和空间复杂度。我们提出了一种记忆高效的训练方法,计算换能器损耗和梯度样本的样本。我们提出了优化,以提高效率和并行性的样本明智的方法。在一组彻底的基准测试中,我们表明,我们的样本明智的方法显着减少内存使用,并在竞争力的速度相比,默认的批处理计算。作为一个亮点,我们设法计算换能器损失和梯度的批量大小为1024,音频长度为40秒,仅使用6 GB的内存。
2023-03-13 cs.CL cs.SD eess.AS
Improved Robustness to Disfluencies in RNN-Transducer Based Speech Recognition
Amazon(亚马逊)
基于递归神经网络传感器(RNN-T)的自动语音识别(ASR)在语音界越来越受到关注。我们研究了数据选择和准备选择,旨在提高RNN-T ASR对语音不流利的鲁棒性,重点是部分单词。为了进行评估,我们使用干净的数据,不流利的数据和一个单独的数据集与口吃影响的语音。我们表明,在训练集中包含少量不流利的数据后,不流利和口吃测试的识别准确率提高了。增加具有不流畅性的训练数据的量提供额外的增益,而不会降低干净数据的质量。我们还表明,用专用标记替换部分单词有助于在不流利和口吃的话语上获得更好的准确性。我们的最佳模型的评估显示,这两个评估集的相对WER减少22.5%和16.4%。
2020-12-11 cs.CL eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa(亚马逊 Alexa)
端到端(E2 E)自动语音识别(ASR)系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法,以提高识别精度的罕见的话,是锁存到个性化/上下文信息的推理。在这项工作中,我们提出了一种新的上下文感知的Transformer换能器(CATT)网络,提高了国家的最先进的变压器为基础的ASR系统,利用这样的上下文信号。具体来说,我们提出了一个基于多头注意力的上下文偏置网络,该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据,并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集,我们表明,CATT,使用基于BERT的上下文编码器,提高了基线Transformer传感器的单词出错率,并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation(LINE公司)
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别(ASR)。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同,该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐,受益于最先进的基于注意力的编码器-解码器模型的强推理能力,这不能应用于传统方法。两种不同的Transformer模型,即前向Transformer和后向Transformer,分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语(CSJ)的实验表明,所提出的方法提供了一个准确的话语明智的对齐,匹配手动注释对齐的误差只有0.2%。实验结果表明,基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据,可以将字符错误率降低到59.0%,明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
循环神经网络转换器(RNN-T)是一种突出的流式端到端(E2 E)ASR技术。在RNN-T中,声学编码器通常由LSTM堆栈组成。最近,作为LSTM层的替代方案,引入了Conformer架构,其中RNN-T的编码器被修改后的Transformer编码器所取代,该编码器由前端和注意力层之间的卷积层组成。在本文中,我们介绍了一种新的流式ASR模型,卷积增强循环神经网络传感器(ConvRNN-T),其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T,Conformer和ContextNet。此外,与Conformer相比,ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
SALSA: Speedy ASR-LLM Synchronous Aggregation
IBM Research(IBM研究院);IIT Bombay(印度理工学院孟买分校)
本文提出 SALSA 方法,通过简单投影将 ASR 解码器与 LLM 解码器同步耦合,并采用级联分词解决词表不匹配问题,在 8 种低资源语言上实现最高 38% 的 WER 降低。
2024-08-29 cs.CL cs.LG cs.SD
ASR-Synchronized Speaker-Role Diarization
本文提出一种改进的ASR+RD方法,通过冻结ASR转录器并训练辅助RD转录器,提升角色辨识性能,减少计算资源消耗。
2025-12-20 cs.AI cs.LG eess.AS
Lookahead When It Matters: Adaptive Non-causal Transformers for Streaming Neural Transducers
本文提出自适应非因果注意力转导器(ANCAT),通过动态选择未来上下文依赖时机,在保持流式低延迟的同时实现与非因果模型相当的准确性,显著缩小了与因果模型的延迟差距。
2023-05-09 eess.AS
Federated Domain Adaptation for ASR with Full Self-Supervision
Meta AI
跨设备联邦学习(FL)通过在用户设备上协作训练模型来保护用户隐私,因此无需收集、存储和手动标记用户数据。虽然FL训练算法、非IID性和差分隐私等重要主题在文献中已经得到了很好的研究,但本文重点讨论了提高设备上ASR的两个具有实际意义的挑战:缺乏地面真实传输以及边缘设备上计算资源和网络带宽的稀缺。首先,我们提出了一个FL系统的设备上ASR领域自适应与完全自我监督,它使用自标记连同数据增强和过滤技术。该系统可以改进基于Emformer-Transducer的强大ASR模型,该模型是在域外数据上预训练的,使用域内音频而无需任何地面真实转录。其次,为了降低训练成本,我们提出了一种自限制RNN转换器(SR-RNN-T)损失,这是一种使用自监督Viterbi对齐的自限制RNN-T的变体。为了进一步降低计算和网络成本,我们系统地探索只调整Emformer-Transducer中的权重子集。我们的最佳训练配方在强域外基线上实现了$12.9\%$相对WER降低,这等于完全人工监督和集中训练可实现的降低的$70\%$。
2022-04-05 cs.CL cs.SD eess.AS
Right Label Context in End-to-End Training of Time-Synchronous ASR Models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
针对时间同步 ASR 中右标签上下文导致的梯度归一化问题,提出含辅助左右标签上下文的全求和因子化损失,并证明其在低资源场景及纯全求和混合 HMM 构建中的有效性。
2025-01-09 cs.SD eess.AS
Improving ASR Contextual Biasing with Guided Attention
ASAPP
本文提出引导注意力辅助训练损失,在不增加参数的情况下提升ASR上下文偏置效果,并缓解偏置短语增多时WER降低效果减弱的问题。
2024-01-16 cs.CL eess.AS