VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
An Investigation of Monotonic Transducers for Large-Scale Automatic Speech Recognition
Meta AI
流传输端到端自动语音识别（ASR）的两个最流行的损失函数是RNN转换器（RNN-T）和连接主义时间分类（CTC）。在这两种损失类型之间，我们可以将单调RNN-T（MonoRNN-T）和最近提出的类CTC换能器（CTC-T）分类。单调换能器具有一些优点。首先，RNN-T可能会遭受失控的幻觉，其中一个模型不断发出非空白符号，而没有及时推进。其次，单调换能器每个时间步长消耗一个模型分数，因此与传统的基于FST的ASR解码器更兼容。然而，到目前为止，MonoRNN-T的准确性比RNN-T差。它不一定是这样的：通过联合LAS训练或RNN-T的参数初始化来正则化训练，MonoRNN-T和CTC-T的性能与RNN-T一样好或更好。这是证明LibriSpeech和一个大规模的内部数据集。
2022-10-21 cs.SD eess.AS
Align, Write, Re-order: Explainable End-to-End Speech Translation via Operation Sequence Generation
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
端到端语音翻译（E2 E ST）系统的黑盒性质使得难以理解如何将源语言输入映射到目标语言。为了解决这个问题，我们希望同时生成自动语音识别（ASR）和ST预测，使得每个源语言单词被明确地映射到目标语言单词。一个主要的挑战来自于这样一个事实，即翻译是一个非单调的序列转换任务，由于语言之间的单词顺序差异-这与ASR的单调性相冲突。因此，我们建议无序生成ST令牌，同时记住稍后如何重新排序它们。我们通过预测一个由源词、相应的目标词和编辑后操作组成的元组序列来实现这一点，这些元组决定了目标词的正确插入点。我们研究两个变种，这样的操作序列，使生成的单调transanterior和非单调的翻译从相同的语音输入同时。我们将我们的方法应用于离线和实时流模型，证明我们可以在不牺牲质量或延迟的情况下提供可解释的翻译。事实上，我们的方法的延迟重新排序能力提高了流式传输期间的性能。作为一个额外的好处，我们的方法同时执行ASR和ST，比使用两个单独的系统执行这些任务更快。
2022-11-11 cs.CL eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
CIF: Continuous Integrate-and-Fire for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了一种新的软和单调的对齐机制用于序列转导。它的灵感来自于脉冲神经网络中的积分激发模型，并在编码器-解码器框架中使用，该框架由连续函数组成，因此被命名为：连续积分激发（CIF）。将CIF应用于ASR任务，不仅计算简洁，而且支持在线识别和声学边界定位，适用于各种ASR场景。针对CIF模型存在的问题，提出了相应的支持策略。在这些方法的共同作用下，基于CIF的模型表现出了较强的竞争力。值得注意的是，它实现了一个字的出错率（WER）为2.86%的测试清洁的Librispeech和创造新的国家的最先进的结果，对普通话电话ASR基准。
2020-02-12 cs.CL cs.LG cs.NE
Sequence Transduction with Graph-based Supervision
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
递归神经网络转换器（RNN-T）目标在构建当今最好的生产自动语音识别（ASR）系统中发挥着重要作用。与连接主义时间分类（CTC）目标类似，RNN-T损失使用特定的规则来定义如何生成一组对齐以形成用于全和训练的网格。然而，这些规则是否是最佳的，是否确实导致最佳的ASR结果，在很大程度上还不清楚。在这项工作中，我们提出了一个新的转换器目标函数，它将RNN-T损失推广到接受标签的图形表示，从而提供了一个灵活有效的框架来操纵训练格，例如，用于研究不同的转换规则、实现不同的换能器损耗或限制对准。我们证明了与标准RNN-T相比，具有CTC样网格的基于传感器的ASR实现了更好的结果，同时还确保了严格的单调对齐，这将允许更好地优化解码过程。例如，相对于等效的基于RNN-T的系统，所提出的类CTC换能器在LibriSpeech的测试其他条件上实现了4.8%的改进。
2022-03-31 cs.CL cs.LG cs.SD
Streaming Transformer ASR with Blockwise Synchronous Beam Search
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在端到端（E2 E）自动语音识别（ASR）系统中，Transformer自注意网络作为递归神经网络的替代已经显示出有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自我注意力和源-目标注意力。本文提出了一种基于编码器分块处理的分块同步波束搜索算法来实现流媒体E2 E Transformer ASR。在波束搜索中，使用块边界检测技术同步对齐编码特征块，其中基于序列结束和假设中的重复标记来评估每个预测假设的可靠性得分。HKUST和AISHELL-1普通话，LibriSpeech英语和CSJ日本的任务的评估表明，建议的流Transformer算法优于传统的在线方法，包括单调块注意（MoChA），特别是当使用知识蒸馏技术。一项消融研究表明，我们的流方法有助于减少响应时间，重复标准在某些任务中有显着贡献。我们的流ASR模型在所有考虑的任务中实现了与批处理模型和其他基于流的Transformer方法相当或更高的性能。
2020-11-18 cs.SD eess.AS
Investigating the Effect of Label Topology and Training Criterion on ASR Performance and Alignment Quality
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek 公司）
本研究对比了不同标签拓扑和训练准则的ASR模型，评估对齐质量与性能，实验于LibriSpeech和Switchboard数据集进行。
2024-07-16 cs.SD eess.AS
Towards Online End-to-end Transformer Automatic Speech Recognition
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络的替代方案的有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自注意力。我们提出了一个块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。在本文中，我们将其扩展到一个完整的在线E2 E ASR系统，通过引入一个在线解码过程的启发单调块注意（MoChA）到Transformer解码器。我们的新型MoChA训练和推理算法利用了Transformer的独特属性，其注意力并不总是单调或峰值的，并且具有解码器层的多个头和剩余连接。华尔街日报（WSJ）和AISHELL-1的评估表明，我们提出的在线Transformer解码器优于传统的分块方法。
2019-10-25 cs.CL cs.SD eess.AS
Local Monotonic Attention Mechanism for End-to-End Speech and Language Processing
Graduate School of Information Science（信息科学研究科）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
最近，编码器-解码器神经网络在许多序列相关任务上表现出令人印象深刻的性能。该架构通常使用注意力机制，该机制允许模型学习源序列和目标序列之间的比对。今天使用的大多数注意力机制是基于全局注意力属性，其需要计算由编码器状态生成的整个输入序列的加权摘要。然而，它在计算上是昂贵的，并且经常在较长的输入序列上产生不对准。此外，它不适合单调或从左到右的性质，在一些任务，如自动语音识别（ASR），字素到音素（G2P），在本文中，我们提出了一种新的注意力机制，具有本地和单调的属性。还探讨了控制这些属性的各种方法。在ASR、G2P和句子结构相似的两种语言之间的机器翻译上的实验结果表明，与采用标准全局注意结构的编码器-解码器模型相比，采用局部单调注意结构的编码器-解码器模型能够显著提高性能，降低计算复杂性.
2017-11-03 cs.CL
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）任务上取得了令人印象深刻的结果。然而，对于低资源的ASR任务，标记数据很难满足端到端模型的需求。自监督声学预训练已经显示出惊人的ASR性能，而转录仍然不足以在端到端模型中进行语言建模。在这项工作中，我们将预先训练的声学编码器（wav2vec2.0）和预先训练的语言编码器（BERT）融合到端到端ASR模型中。融合模型只需要在有限的标记数据上进行微调时学习从语音到语言的转换。两种模态的长度由单调的注意力机制匹配，而不需要额外的参数。此外，一个全连接层被引入到模态之间的隐藏映射。我们进一步提出了一个预定的微调策略，以保留和利用预先训练的语言编码器的文本上下文建模能力。实验表明，我们有效地利用了预训练模块。我们的模型在CALLHOME语料库（15小时）上取得了比其他端到端模型更好的识别性能。
2021-01-24 cs.CL cs.SD eess.AS
Transformer-based Online CTC/attention End-to-End Speech Recognition Architecture
University of Chinese Academy of Sciences（中国科学院大学）
近年来，Transformer在自动语音识别（ASR）领域取得了成功。然而，部署基于Transformer的端到端（E2 E）模型用于在线语音识别具有挑战性。本文提出了一种基于transformer的在线CTC/attention E2 E ASR体系结构，该体系结构包含块自注意编码器（chunk-SAE）和基于单调截断注意（MTA）的自注意解码器（SAD）。首先，组块SAE将语音分割成孤立的组块。为了减少计算开销，提高性能，我们提出了状态重用块SAE。其次，基于MTA的SAD单调地截断语音特征，并对截断的特征进行关注。为了支持在线识别，我们将状态重用块SAE和基于MTA的SAD集成到在线CTC/注意力架构中。我们在HKUST Mandarin ASR基准测试中评估了所提出的在线模型，并在320 ms的延迟下实现了23.66%的字符错误率（CER）。与离线基线相比，我们的在线模型产生的绝对CER下降仅为0.19%，并且比我们先前基于长短期记忆（LSTM）的在线E2 E模型的工作有了显着的改进。
2020-02-11 cs.LG cs.NE cs.SD
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
CTC-synchronous Training for Monotonic Attention Model
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于序列到序列框架，研究了用于在线流式自动语音识别（ASR）的单调组块注意（MoChA）。与连接主义时间分类（CTC）相比，由于解码器中的左到右依赖性，在训练期间的对齐边缘化过程中不能利用后向概率。这导致对齐的错误传播到后续的令牌生成。为了解决这个问题，我们提出了CTC同步训练（CTC-ST），其中MoChA使用CTC对齐来学习最佳单调对齐。参考CTC对齐是从与解码器共享相同编码器的CTC分支中提取的。整个模型被联合优化，使得来自MoChA的预期边界与比对同步。TEDLIUM Release-2和Librispeech语料库的实验评估表明，该方法显着提高了识别，特别是对于长的话语。我们还表明，CTC-ST可以发挥SpecAugment对MoChA的全部潜力。
2020-08-06 cs.CL cs.LG
An Online Attention-based Model for Speech Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Sogou Inc.（搜狗公司）
基于注意力的端到端模型，如听、注意和拼写（LAS），简化了传统自动语音识别（ASR）系统的整个流水线，并且在语音识别领域中变得流行。在以前的工作中，研究人员已经证明，这种架构可以获得与最先进的ASR系统相当的结果，特别是在使用双向编码器和全局软注意（GSA）机制时。然而，双向编码器和GSA是实现实时语音识别的两大障碍。在这项工作中，我们的目标是通过消除上述两个障碍流LAS基线。在编码器端，我们使用延迟控制（LC）的双向结构，以减少前向计算的延迟。同时，提出了一种自适应单调块式注意（AMoChA）机制，以取代GSA的注意力权重分布的计算。此外，我们提出了两种方法，以减轻巨大的性能下降时，结合LC和AMoChA。最后，我们成功地获得了一个在线LAS模型，LC-AMoChA，它只有3.5%的相对性能降低到LAS基线在我们的内部汉语语料库。
2019-04-25 cs.CL cs.LG cs.SD
CLAR: CIF-Localized Alignment for Retrieval-Augmented Speech LLM-Based Contextual ASR
BRVoice Team, Bairong, Inc., China（BRVoice团队，百融云创，中国）
CLAR通过CIF学习单调性token级对齐，提升语音识别中专有名词和长尾词的识别效果，减少表示稀释和注意力漂移，提高检索准确率。
2026-03-26 cs.SD
Ruby-ASR: Evidence-Preserving Supervision for Joint Orthographic and Lexical-Reading Recognition
Ruby-ASR通过将识别目标细化为跨度绑定的正字法-词汇读音序列，在五个日语基准上提升了词汇读音恢复，同时保持正字法转录质量。
2026-09-24 cs.AI cs.CL
Boundary and Context Aware Training for CIF-based Non-Autoregressive End-to-end ASR
Northwestern Polytechnical University（西北工业大学）；China Mobile Research Institute（中国移动研究院）
基于连续积分激发（CIF）模型的非自回归（NAR）语音识别方法采用了一种软的、单调的对齐机制，与其他NAR方法相比，具有很好的性能。然而，这样的对准学习策略可能遭受错误的声学边界估计，严重阻碍收敛速度以及系统性能。在本文中，我们提出了一个边界和上下文感知的训练方法CIF基于NAR模型。首先，利用连接主义时间分类（CTC）锋电位信息指导CIF中的声学边界学习。此外，在CIF解码器之后引入了额外的上下文解码器，旨在捕获句子内的语言依赖。最后，我们采用了最近提出的Conformer架构，以提高声学建模的能力。在开源汉语AISHELL-1语料库上的实验表明，该方法与现有的AR模型相比，在只有1/24延迟的情况下，字符出错率达到了4.9%.然而，当评估内部7500小时的汉语语料库，我们的模型仍然优于其他NAR方法，甚至达到AR Conformer模型在一个具有挑战性的现实世界的噪音测试集。
2021-09-26 cs.SD eess.AS
Rethinking Processing Distortions: Disentangling the Impact of Speech Enhancement Errors on Speech Recognition Performance
NTT Corporation（NTT公司）；Doshisha University（同志社大学）
本研究提出基于正交投影分解SE误差的分析方案，发现伪影误差对ASR性能危害最大，并提出观察相加后处理和AB-SDR训练目标两种方法减少伪影误差，显著提升了噪声条件下的ASR性能。
2024-04-23 cs.SD eess.AS
Comparing the Benefit of Synthetic Training Data for Various Automatic Speech Recognition Architectures
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
最近的出版物自动语音识别（ASR）有一个强烈的关注编码器-解码器（AED）的架构，往往遭受过拟合在低资源的情况下。解决这个问题的一个解决方案是，如果有额外的文本可用，则使用经训练的文本到语音系统（TTS）生成合成数据。这在AED系统的许多出版物中得到了成功应用，但在其他ASR架构的背景下非常有限。我们调查的效果不同的预处理，说话人嵌入和输入编码的TTS系统w.r.t.合成数据对AED-ASR训练的有效性。此外，我们还首次考虑了内部语言模型减法，结果相对提高了38%。我们比较AED的结果，一个国家的最先进的混合ASR系统，一个单音系统使用连接时间分类（CTC）和单调换能器为基础的系统。我们表明，对于后来的系统，添加合成数据没有相关的影响，但他们仍然优于AED系统LibriSpeech-100 h。我们在干净/嘈杂的测试集上使用混合系统实现了3.3%/10.0%的最终单词错误率，超过了之前任何不包括未标记音频数据的Librispeech-100 h系统。
2021-07-13 cs.CL cs.LG
M-CIF: Multi-Scale Alignment For CIF-Based Non-Autoregressive ASR
School of Computer Science and Engineering, Northeastern University, Shenyang, China（计算机科学与工程学院，东北大学，沈阳，中国）；NiuTrans Research（NiuTrans研究院）；Kunming University of Science and Technology, China（昆明理工大学，中国）
针对CIF机制在非自回归语音识别中对齐稳定性不足的问题，提出多尺度CIF（M-CIF），通过逐步蒸馏字符和音素监督到子词表示实现多级对齐，在CommonVoice上德语和法语WER分别降低4.21%和3.05%。
2026-09-22 cs.CL cs.SD
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
提出无需外部硬对齐监督的 SR-MLT，通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer，在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
Multi-Stream End-to-End Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
基于注意力的方法和连接主义时间分类（CTC）网络是端到端（E2 E）自动语音识别（ASR）的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构，取得了很大的成功。在这项工作中，我们提出了一个多流框架的基础上联合CTC/注意力E2 E ASR的并行流表示的单独的编码器，旨在捕捉不同的信息。在常规注意力网络之上，引入了分层注意力网络（HAN），以将解码器转向信息量最大的编码器。一个单独的CTC网络被分配给每个流，以强制单调对齐。提出并讨论了两种具有代表性的框架，分别是多编码器多分辨率（MEM-Res）框架和多编码器多阵列（MEM-Array）框架。在MEM-Res框架中，具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作，以从相同声学中提取互补信息。实验在华尔街日报（WSJ）和CHiME-4上进行，导致相对字错误率（WER）降低18.0-32.1%，并且在WSJ eval 92测试集中最好的WER为3.6%。MEM-Array框架旨在使用由单独编码器激活的多个麦克风阵列来提高远场ASR鲁棒性。与最好的单阵列结果相比，所提出的框架在AMI和DIRHA多阵列语料库中分别实现了3.7%和9.7%的相对WER降低，这也优于传统的融合策略。
2019-10-18 cs.CL cs.SD eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本研究提出融合Transducer与注意力编码器-解码器的TAED框架，共享语音编码器、用AED解码器替换Transducer预测器，兼顾非单调学习优势与流式特性，在MuST-C数据集上多数任务性能优于纯Transducer模型。
2023-05-04 cs.CL cs.SD eess.AS
A comparison of end-to-end models for long-form speech recognition
Google（谷歌）
端到端的自动语音识别（ASR）模型，包括基于注意力的模型和递归神经网络换能器（RNN-T），与传统系统相比已经显示出优越的性能。然而，以前的研究主要集中在通常持续几秒钟或最多几十秒的短话语上。这种架构是否适用于从几分钟到几小时的长时间发言仍然是一个悬而未决的问题。在本文中，我们都调查和改进长形式转录的端到端模型的性能。我们首先在现实世界的长形式任务上对不同的端到端模型进行了实证比较，并证明了RNN-T模型在这种情况下比基于注意力的系统更鲁棒。接下来，我们将探讨两个改进的注意力为基础的系统，显着提高其性能：限制注意力是单调的，并应用一种新的解码算法，打破长的话语成较短的重叠段。结合这两个改进，我们证明了基于注意力的端到端模型在长形式语音识别上与RNN-T非常有竞争力。
2019-11-06 cs.CL cs.LG cs.SD
Attention based on-device streaming speech recognition with large speech corpus
Samsung Electronics Co., Ltd.（三星电子有限公司）
在本文中，我们提出了一个新的设备上的自动语音识别（ASR）系统的基础上训练的大型（> 10 K小时）语料库的单调块式注意（MoChA）模型。我们主要通过使用连接主义时间分类器（CTC）和交叉熵（CE）损失的联合训练，最小单词错误率（MWER）训练，逐层预训练和数据增强方法，获得了大约90%的一般领域的单词识别率。此外，我们使用迭代超低秩近似（LRA）方法将我们的模型压缩了3.4倍以上，同时最大限度地减少了识别精度的下降。通过8位量化进一步减少了内存占用，将最终模型大小降至39 MB以下。对于按需自适应，我们将MoChA模型与统计n-gram模型相融合，并且我们可以在目标域（包括一般域）的平均单词错误率（WER）方面实现相对36%的改善。
2020-01-02 cs.LG cs.SD eess.AS
SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech
Mila - Quebec AI Institute（魁北克AI研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出SpeechJBB数据集，通过代码切换有害音频和伪词插入方法，揭示大型音频语言模型在多语言和口语设置下的安全漏洞。
2026-09-01 cs.CL cs.SD eess.AS
Beyond Acoustic Sparsity and Linguistic Bias: A Prompt-Free Paradigm for Mispronunciation Detection and Diagnosis
Graduate School of Engineering, The University of Tokyo, Japan（东京大学工学系研究生院）
本文提出无提示框架，通过CROTTC模型和IF策略实现误发音检测与诊断，实验显示在L2-ARCTIC和Iqra'Eval2上F1得分达71.77%和71.70%。
2026-04-24 cs.SD eess.AS
Unidirectional Memory-Self-Attention Transducer for Online Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
自注意模型已经成功地应用于端到端的语音识别系统中，大大提高了识别的准确率。然而，这种基于注意力的模型不能用于在线语音识别，因为这些模型通常必须利用整个声学序列作为输入。一种常见的方法是通过固定的左右窗口来限制注意视野，这使得计算成本可管理，但也引入了性能下降。在本文中，我们提出了记忆自我注意（MSA），它增加了历史信息的限制自我注意单元。MSA只需要本地时间特征作为输入，并通过关注记忆状态有效地建模长时间上下文。同时，递归神经网络转换器（RNN-T）已被证明是一个伟大的方法，在线ASR任务，因为RNN-T的对齐是局部和单调的。我们提出了一种新的网络结构，称为记忆自我注意（MSA）换能器。MSA传感器的编码器和解码器均包含建议的MSA单元。实验结果表明，在SWBD数据集上，我们提出的模型相对于限制性自注意模型WER结果提高了$13.5 on WSJ and $ 7.1，并且计算量没有太大增加.
2021-02-23 cs.SD eess.AS
Speech Vecalign: an Embedding-based Method for Aligning Parallel Speech Documents
George Mason University（乔治·马歇尔大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出基于嵌入的平行语音文档对齐方法 Speech Vecalign，无需文本转写即可单调对齐语音片段，在 VoxPopuli 英德数据上获得高质量对齐并提升语音到语音翻译性能，以更少数据达到或超过 SpeechMatrix。
2025-09-22 cs.CL
Alignment-Path Distillation from Non-streaming ASR-LLMs for Streaming Speech Recognition
Xiaohongshu Inc.（小红书公司）
提出从非流式ASR-LLM提取对齐路径并蒸馏给流式模型，改善对齐一致性，相对错误率降低16.6%。
2026-09-18 eess.AS
Online Hybrid CTC/Attention End-to-End Automatic Speech Recognition Architecture
本文提出首个全栈在线混合CTC/attention端到端ASR架构，通过sMoChA、MTA、T-CTC前缀分数、DWJD算法和LC-BLSTM将离线组件流式化，在LibriSpeech和HKUST任务上以适度性能下降换取实时因子的显著提升。
2023-07-05 eess.AS
On the Prediction Network Architecture in RNN-T for ASR
Nuance Communications, Inc.（Nuance通讯公司）
RNN-T模型因其竞争力和在线流媒体模式下运行的能力而在文献和商业系统中受到欢迎。在这项工作中，我们进行了广泛的研究，比较了单调和原始RNN-T模型的几种预测网络架构。我们比较了4种类型的预测网络的基础上，一个共同的国家的最先进的构象编码器和报告的结果Librispeech和内部医疗会话数据集。我们的研究涵盖了离线批处理模式和在线流媒体场景。与以前的一些工作相比，我们的结果表明，当与Conformer编码器一起用作预测网络时，Transformer并不总是优于LSTM。我们的记分牌的启发，我们提出了一个新的简单的预测网络架构，N-Concat，优于其他在我们的在线流基准。Transformer和n-gram简化架构的性能非常相似，但在先前的上下文方面具有一些重要的不同行为。总体而言，与LSTM基线相比，我们获得了高达4.1%的相对WER改进，同时将预测网络参数减少了近一个数量级（8.4倍）。
2022-06-29 cs.AI eess.AS
Towards Effective and Efficient Non-autoregressive decoders for Conformer and LLM-based ASR using Block-based Attention Mask
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Tsinghua University（清华大学）；National Research Council Canada（加拿大国家研究委员会）；Nanyang Technological University（南洋理工大学）
针对ASR中AR解码器并行化效率低的问题，提出块基注意力掩码解码器（AMD），在Conformer和LLM-based ASR系统上平衡性能与效率，实现解码加速且无精度损失，还能灵活权衡性能效率。
2025-11-12 eess.AS
