Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
Transformer在自动语音识别（ASR）中实现了与最先进的端到端模型竞争的性能，并且比基于RNN的模型需要更少的训练时间。原始的Transformer采用编码器-解码器架构，仅适用于离线ASR。它依赖于注意力机制来学习对齐，并对输入音频进行双向编码。Transformer解码的高计算成本也限制了其在生产流传输系统中的使用。为了使Transformer适用于流式ASR，我们探索了Transducer框架作为学习对齐的可流式方式。对于音频编码，我们应用具有交错卷积层的单向Transformer。交错的卷积层用于对未来的上下文进行建模，这对性能很重要。为了降低计算成本，我们逐渐降低声音输入的采样，也使用交织卷积层。此外，我们限制了自注意中的历史上下文的长度，以保持每个解码步骤的计算成本恒定。我们表明，这种架构，名为Conv-Transformer Transducer，在LibriSpeech数据集上实现了有竞争力的性能（3.6\% WER on test-clean），而无需外部语言模型。该性能与先前发布的可流式传输的Transformer Transducer和强混合流式ASR系统相当，并且以更小的前瞻窗口（140 ms）、更少的参数和更低的帧速率实现。
2020-08-13 cs.CL cs.SD eess.AS
Multi-mode Transformer Transducer with Stochastic Future Context
ASAPP；Carnegie Mellon University（卡内基梅隆大学）
自动语音识别（ASR）模型在更多的周围语音信息被呈现为上下文时错误更少。不幸的是，获取更大的未来上下文会导致更高的延迟。在速度和准确性之间存在不可避免的权衡。为了适应不同的延迟要求，人们必须存储多个模型，并在约束条件下选择最佳模型。相反，更理想的方法是拥有一个可以根据不同约束动态调整其延迟的单一模型，我们称之为多模式ASR。多模式ASR模型可以在推理期间满足各种延迟要求-当更大的延迟变得可接受时，模型可以处理更长的未来上下文以实现更高的准确性，并且当延迟预算不灵活时，模型可以更少地依赖于未来上下文，但仍然实现可靠的准确性。为了追求多模式ASR，我们提出了随机未来上下文，这是一个简单的训练过程，在每次迭代中对一个流配置进行采样。通过对AISHELL-1和LibriSpeech数据集的广泛实验，我们表明多模式ASR模型可以与一组使用不同延迟预算训练的竞争性流媒体基线相媲美。
2021-06-17 cs.CL cs.SD eess.AS
Mobile Keyboard Input Decoding with Finite-State Transducers
Google（谷歌）
我们提出了一个有限状态转换器（FST）表示用于解码移动设备上的键盘输入的模型。从学习领域的语音识别，我们描述了一个解码框架，可以满足严格的记忆和延迟限制的键盘输入。我们扩展了这个框架，以支持通常不存在于语音识别，如文字解码，自动更正，单词补全和下一个单词的预测功能。我们描述的一般框架，我们称之为短的键盘“FST解码器”，以及实现的细节，是新的语音FST解码器相比。我们证明了FST解码器能够实现新的UX功能，如后期校正。最后，我们概述了这个解码器如何支持高级功能，如个性化和上下文。
2017-04-13 cs.CL
Delay-penalized transducer for low-latency streaming ASR
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
在流式传输自动语音识别（ASR）中，期望尽可能地减少等待时间，同时对识别准确性具有最小的影响。虽然一些现有的方法能够实现这一目标，但由于它们依赖于外部对齐，因此难以实现。在本文中，我们提出了一种简单的方法来惩罚传感器模型中的符号延迟，这样我们就可以平衡符号延迟和准确性之间的权衡流模型没有外部对齐。具体地，我们的方法将一个小的常数倍（T/2 - t）（其中T是帧的数量，t是当前帧）添加到被馈送到二维换能器递归中的所有非空白对数概率（归一化后）。对于流式Conformer模型和单向长短期记忆（LSTM）模型，实验结果表明，它可以显着减少符号延迟，同时性能下降可接受。我们的方法实现了类似的延迟精度权衡先前公布的FastEmit，但我们相信我们的方法是更可取的，因为它有一个更好的理由：它相当于惩罚平均符号延迟。我们的工作是开源和公开的（https：//github.com/k2-fsa/k2）。
2022-10-31 cs.CL cs.LG cs.SD
Typhoon ASR Real-time: FastConformer-Transducer for Thai Automatic Speech Recognition
Typhoon, SCB 10X（Typhoon，SCB 10X）
Typhoon ASR Real-time提出了一种低延迟的泰语ASR模型，通过文本规范化和课程学习方法提升转录准确性，并发布基准数据集促进研究
2026-01-19 cs.CL
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Improved Neural Language Model Fusion for Streaming Recurrent Neural Network Transducer
Facebook AI（脸书人工智能研究院）
与大多数端到端语音识别模型架构一样，循环神经网络转换器（RNN-T）具有隐式神经网络语言模型（NNLM），并且在训练期间无法轻松利用不成对的文本数据。以前的工作已经提出了各种融合方法，将外部NNLM合并到端到端ASR中，以解决这一弱点。在本文中，我们提出了对这些技术的扩展，允许RNN-T在训练和推理时间内利用外部NNLM，与强基线相比，Librispeech的相对单词出错率提高了13-18%。此外，我们的方法不会产生额外的算法延迟，并且允许灵活地即插即用不同的NNLM，而无需重新训练。我们还分享了深入的分析，以更好地了解不同NNLM融合方法的好处。我们的工作提供了一种可靠的技术，可以利用未配对的文本数据来显着改进RNN-T，同时保持系统的可流化，灵活和轻量级。
2020-10-26 cs.CL
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa（亚马逊Alexa）
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中，我们解决了在以前的工作中发现的挑战，多圈递归神经网络传感器（MT-RNN-T）与一种新的方法，分离器-传感器-分割器（STS），使语音分离，识别和分割更紧密地集成在一个单一的模型。首先，我们提出了一种新的分割建模策略，通过开始的回合和结束的回合令牌，提高了分割识别精度不下降。其次，我们进一步提高了语音识别和分割精度，通过发射正则化方法，FastEmit，和多任务训练与语音活动信息作为一个额外的训练信号。第三，我们实验结束轮发射延迟惩罚，以提高端点检测每个扬声器轮。最后，我们建立了一个新的框架，通过发射延迟指标的多方会话分割分析。我们最好的模型，我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率（WER）与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization
NVIDIA, Armenia（亚美尼亚NVIDIA公司）；NVIDIA, USA（美国NVIDIA公司）
本文提出统一ASR框架，通过一致性正则化缩小离线与流媒体性能差距，提升低延迟流媒体准确率同时保持离线性能。
2026-04-21 cs.AI cs.CL cs.HC
RNN-T For Latency Controlled ASR With Improved Beam Search
Facebook AI（Facebook人工智能实验室）
诸如用于自动语音识别（ASR）的RNN传感器（RNN-T）的基于神经传感器的系统将传统混合ASR系统的各个组件（声学模型、语言模型、标点模型、反向文本规范化）混合成一个单个模型。这大大简化了训练和推理，因此使RNN-T成为ASR系统的理想选择。在这项工作中，我们研究了RNN-T在推理时间期间需要可调延迟预算的应用程序中的使用。我们还提高了原来提出的RNN-T束搜索算法的解码速度。我们在英语视频ASR数据集上评估了我们提出的系统，结果表明，与经过良好调整的混合ASR基线相比，神经RNN-T模型可以实现相当的WER和更好的计算效率。
2020-01-16 cs.CL cs.LG eess.AS
Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
Microsoft（微软）
神经传感器在自动语音识别（ASR）中得到了广泛的应用。在本文中，我们将其引入流端到端语音翻译（ST），其目的是将音频信号直接转换为其他语言的文本。与执行ASR然后执行基于文本的机器翻译（MT）的级联ST相比，所提出的基于Transformer transducer（TT）的ST模型大大减少了推理延迟，利用了语音信息，并避免了从ASR到MT的错误传播。为了提高建模能力，我们提出了注意力池的联合网络在TT。此外，我们扩展了基于TT的ST多语言ST，它产生的文本在同一时间的多种语言。在大规模5万（K）小时伪标记训练集上的实验结果表明，基于TT的ST不仅显著减少了推理时间，而且在英-德翻译中的性能优于非流式级联ST。
2022-07-01 cs.CL eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
Variable Attention Masking for Configurable Transformer Transducer Speech Recognition
Apple（苹果公司）
本文提出在 Transformer Transducer 中采用训练时从目标分布采样的可变注意力掩码，构建单一可配置模型，以支持流式识别与声学重打分，并改善准确率-延迟权衡。
2023-04-18 cs.CL cs.SD eess.AS
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft（微软）
近年来，递归神经网络转换器（RNN-T）结构由于其能够进行在线流式语音识别的优点，成为端到端自动语音识别研究的一个新兴趋势。然而，RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类（CTC）模型以及RNN语言模型（RNNLM）来初始化RNN-T参数。在这项工作中，我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索，分别称为编码器预训练，和全网络预训练。在微软65,000小时的匿名生产数据上进行评估，删除了个人身份信息，我们提出的方法可以获得显着的改善。特别地，当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时，编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Attention-based Transducer for Online Speech Recognition
LAIX Inc.（LAIX公司）
最近的研究揭示了递归神经网络转换器（RNN-T）用于端到端（E2 E）语音识别的潜力。在一些最流行的E2 E系统中，包括RNN-T，注意力编码器-解码器（AED）和连接主义时间分类（CTC），RNN-T具有一些明显的优势，因为它支持流识别并且没有帧独立性假设。尽管RNN-T研究取得了重大进展，但在训练速度和准确性方面仍面临性能挑战。我们提出了基于注意力的传感器与修改RNN-T在两个方面。首先，我们在联合网络中引入块式注意。其次，在编码器中引入自注意。我们提出的模型在训练速度和准确性方面都优于RNN-T。对于训练，我们实现了超过1.7倍的加速。使用500小时的LAIX非母语英语训练数据，基于注意力的传感器比基线RNN-T产生约10.6%的WER降低。使用超过10，000小时的完整数据进行训练，我们的最终系统比使用最佳Kaldi TDNN-f配方训练的系统减少了约5.5%的WER。在不降低WER的情况下进行8位权重量化后，在生产服务器的单个CPU核心上，RTF和延迟分别下降到0.34~0.36和268~409毫秒。
2020-05-18 cs.CL cs.SD eess.AS
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
SENS-ASR通过结合语义信息提升流式ASR转录质量，有效降低小块流式场景中的词错误率。
2026-03-12 cs.AI cs.CL
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.（微软公司）
端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
Dual-Attention Neural Transducers for Efficient Wake Word Spotting in Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出Dual-Attention Neural Biasing架构，通过WW spotting动态选择注意力网络分支，在仅增加1%参数的情况下将WW音频帧计算成本降低90%，WW F1分数相对提升16%。
2023-04-05 cs.CL cs.LG cs.SD
TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
Tsinghua Univ.（清华大学）；Horizon Inc.（地平线公司）；WeNet Open Source Community（WeNet开源社区）
在本文中，我们提出了TrimTail，一个简单但有效的发射正则化方法，以改善流ASR模型的延迟。TrimTail的核心思想是应用长度惩罚（即，通过修整尾帧，参见图1-（b））直接在输入话语的频谱图上，这不需要任何对准。我们证明了TrimTail在计算上很便宜，可以在线应用并在任何数据集上使用任何训练损失或任何模型架构进行优化，而无需任何额外的努力，方法是将其应用于各种端到端流式ASR网络，无论是使用CTC损失[1]还是传感器损失[2]进行训练。我们实现了100 $\sim$ 200毫秒的延迟减少，在Aishell-1和Librispeech上具有相同或甚至更好的准确性。此外，通过使用TrimTail，我们可以实现400 ms的用户敏感延迟（USD）算法改进，准确性损失小于0.2。
2023-01-22 cs.CL cs.SD eess.AS
Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
Sony Group Corporation（索尼集团）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别分块处理编码延迟优化不足的问题，提出结合循环层跳过与早退的Spiralformer编码器，在相近计算成本与词错误率下显著降低token发射延迟。
2025-10-01 cs.CL cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
Two-Pass End-to-End Speech Recognition
Google, Inc.（谷歌公司）
对现有技术的语音识别系统的许多应用的要求不仅包括低字出错率（WER），而且包括低等待时间。具体而言，对于许多用例，系统必须能够以流式方式并且比实时更快地解码话语。最近，流式递归神经网络换能器（RNN-T）端到端（E2 E）模型已被证明是设备上语音识别的良好候选，与传统的设备上模型相比，具有改进的WER和延迟度量[1]。然而，该模型在质量上仍然落后于大型最先进的传统模型[2]。另一方面，非流式E2 E监听、参与和拼写（LAS）模型已经显示出与大型传统模型相当的质量[3]。这项工作的目的是通过将LAS网络作为第二通道组件，同时仍然遵守延迟约束，使E2 E流媒体模型的质量更接近传统系统的质量。与单独的RNN-T相比，我们提出的两次通过模型实现了WER的17%-22%的相对减少，并且比RNN-T增加了一小部分延迟。
2019-08-29 cs.CL cs.SD eess.AS
Transcribing and Translating, Fast and Slow: Joint Speech Translation and Recognition
Meta AI
提出基于快-慢级联编码器和多目标训练的联合语音翻译与识别模型 JSTAR，在智能眼镜双语对话场景中同时实现高质量流式 ASR 和 ST，性能优于级联模型。
2024-12-19 cs.CL eess.AS
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa（亚马逊Alexa）
最近的研究表明，端到端ASR系统可以识别多个说话人的重叠语音。然而，所有已发表的作品都假设在推理期间没有延迟约束，这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上，已被证明是在低延迟的在线识别制度，以提供高的识别精度的递归神经网络传感器（RNN-T）。我们研究了RNN-T的两种多说话人模型训练方法：确定性输出目标分配和排列不变训练。我们表明，在前一种情况下，使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外，通过对单说话者和多说话者话语的多风格训练，所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER，这与先前报道的最先进的非流模型（10.3%）具有竞争力，而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition
NVIDIA（英伟达）
本文提出一种基于FastConformer的流式语音识别模型，通过约束上下文和引入激活缓存机制消除训练与推理差异，并采用共享编码器的混合CTC/RNNT架构，在LibriSpeech和多领域数据集上以更低延迟和推理时间实现更高准确率，且单模型可支持多种延迟。
2024-05-02 cs.CL eess.AS
PolySwarm: A Multi-Agent Large Language Model Framework for Prediction Market Trading and Latency Arbitrage
Department of Computer Science, State University of New York, Binghamton（纽约州立大学宾汉姆顿分校计算机科学系）；Department of Software Engineering, Arizona State University（亚利桑那州立大学软件工程系）
本文提出PolySwarm框架，通过多智能体大语言模型实时预测市场交易和去中心化平台上的延迟套利，结合贝叶斯方法和信息论分析，展示其在概率校准上的优越性能。
2026-04-04 cs.AI cs.CL cs.MA
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架，通过结合连续语音分离前端、双模型/双遍架构及分段SOT，平衡多说话人语音识别的延迟与准确率，适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
HMM-Free Encoder Pre-Training for Streaming RNN Transducer
ByteDance（字节跳动）
本文描述了一种编码器预训练过程，使用逐帧标签来改进流式递归神经网络换能器（RNN-T）模型的训练。从头开始训练的流式RNN-T通常比非流式RNN-T表现更差。虽然通常通过RNN-T的预训练组件与其他标准或逐帧对齐指导来解决这个问题，但这种对齐并不容易以端到端的方式实现。在这项工作中，用于预训练流式RNN-T编码器的逐帧对齐在不使用基于HMM的系统的情况下生成。因此，一个全神经网络框架配备HMM自由编码器的预训练的构建。该方法通过将CTC模型的尖峰信号扩展到其左右空白帧来实现，并提出了两种扩展策略。据我们所知，这是第一个使用CTC模型进行预训练来模拟基于HMM的逐帧标签的工作。在LibriSpeech和MLS英语任务上进行的实验表明，与随机初始化相比，该预训练方法可使WER降低5%~11%，发射延迟降低60 ms，并且该方法不依赖于词典，对新语言友好，无需人工设计词典.
2021-06-11 cs.CL cs.SD eess.AS
Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression
Institute of Advanced Technology University of Science；Supercomputing Center University of Science
本文提出一种有序流程，结合剪枝、量化训练和知识蒸馏，以提高模型压缩的效率和准确性，在CIFAR-10/100数据集上验证了该流程在精度、大小和延迟方面的优势。
2026-04-05 cs.AI cs.CL cs.LG
