SALSA: Speedy ASR-LLM Synchronous Aggregation
IBM Research（IBM研究院）；IIT Bombay（印度理工学院孟买分校）
本文提出 SALSA 方法，通过简单投影将 ASR 解码器与 LLM 解码器同步耦合，并采用级联分词解决词表不匹配问题，在 8 种低资源语言上实现最高 38% 的 WER 降低。
2024-08-29 cs.CL cs.LG cs.SD
A Comparison of Label-Synchronous and Frame-Synchronous End-to-End Models for Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
端到端模型在自动语音识别（ASR）领域得到了广泛的关注。它们的优点之一是构造简单，直接用神经网络将语音帧序列识别为文本标签序列。根据识别过程中驱动端的不同，端到端的ASR模型可以分为标签同步和帧同步两类，每一类模型都有其独特的行为和特征。在这项工作中，我们做了详细的比较，一个代表性的标签同步模型（Transformer）和软帧同步模型（连续集成和火灾（CIF）为基础的模型）。在三个公共数据集和一个12000小时训练数据的大规模数据集上的实验结果表明，两类模型各有优势，这与它们的同步模式是一致的。
2020-05-25 cs.CL cs.SD eess.AS
Emotion recognition by fusing time synchronous and time asynchronous representations
Cambridge University（剑桥大学）
本文提出了一种新的用于多模态情感识别的双分支神经网络模型结构，它由一个时间同步分支（TSB）和一个时间异步分支（TAB）组成。为了捕获每个单词与其声学实现之间的相关性，TSB在每个输入窗口帧处组合语音和文本模态，然后跨时间进行池化以形成单个嵌入向量。相比之下，TAB通过将来自多个上下文话语的句子文本嵌入到另一个嵌入向量中来提供跨话语信息。最终的情感分类使用TSB和TAB嵌入。IEMOCAP数据集上的实验结果表明，两个分支结构实现了最先进的结果，在4路分类与所有常见的测试设置。当使用自动语音识别（ASR）输出，而不是手动转录的参考文本，它示出的跨话语信息大大提高了对ASR错误的鲁棒性。此外，通过为所有其他情绪合并额外的类，具有ASR假设的最终5路分类系统可以被视为更现实的情绪识别系统的原型。
2021-07-22 cs.CL cs.LG cs.SD
Transformer-based Streaming ASR with Cumulative Attention
Cambridge Research Laboratory, Toshiba Europe Ltd（东芝欧洲有限公司剑桥研究实验室）
在本文中，我们提出了一个在线的注意力机制，称为累积注意力（CA），流转换器为基础的自动语音识别（ASR）。受单调分块注意（MoChA）和头同步解码器端自适应计算步骤（HS-DACS）算法的启发，CA基于在每个编码时间步累积的声学信息触发ASR输出，其中使用可训练设备（称为停止选择器）做出决策。在CA中，同一解码器层的所有注意头被同步以具有统一的停止位置。该特征有效地消除了由各个头部的不同行为引起的问题，否则可能引起MoChA遇到的严重延迟问题。在AIShell-1和Librispeech数据集上进行的ASR实验表明，与文献中的其他流式Transformer系统相比，所提出的基于CA的Transformer系统可以实现同等或更好的性能，并且在推理期间显著减少延迟。
2022-03-11 cs.SD eess.AS
Autosegmental Neural Nets: Should Phones and Tones be Synchronous or Asynchronous?
University of Illinois（伊利诺伊大学）；Beckman Institute（贝克曼研究所）
音素是国际音标（IPA）的音段单位，在大多数人类语言中用于词汇区分;声调是国际音标的超音段单位，约占70%。许多先前的研究探讨了跨语言适应的自动语音识别（ASR）的手机模型，但很少有探讨的多语言和跨语言迁移的同步之间的手机和音调。在本文中，我们测试了四个连接主义时间分类（CTC）为基础的声学模型，不同的同步程度，他们之间施加的电话和音调。模型用三种语言进行多语言训练和测试，然后用第四种语言进行跨语言调整和测试。同步和异步模型在多语言和跨语言环境中都是有效的。同步模型在联合音素+音调层中实现较低的错误率，但异步训练导致较低的音调错误率。
2020-07-28 cs.SD eess.AS
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Statistical Testing on ASR Performance via Blockwise Bootstrap
Facebook AI（脸书人工智能实验室）
在自动语音识别（ASR）评估中提出的一个常见问题是，比较两个ASR系统，观察到的字错误率（WER）改善的可靠性如何，其中统计假设检验和置信区间（CI）可以用于判断这种改善是真实的还是仅仅由于随机机会。Bootstrap回归方法具有直观、易用的特点，在显著性分析中得到了广泛的应用。然而，这种方法无法处理语音世界中普遍存在的相关数据-例如，来自同一说话人的话语的ASR性能可能是相关的。在本文中，我们提出了分块自举方法-通过将评价话语分为不重叠的块，这种方法重新采样这些块，而不是原始数据。我们证明了在温和的条件下，两个ASR系统之间的绝对WER差的方差估计是一致的。我们还证明了分块自举方法在合成语音数据和真实语音数据上的有效性。
2020-05-20 cs.LG eess.AS stat.ML
Mutually-Constrained Monotonic Multihead Attention for Online ASR
KAIST（韩国科学技术院）
尽管具有实时解码的特征，但在机器翻译和自动语音识别（ASR）任务中，单调多头注意力（MMA）表现出与最先进的离线方法相当的性能。然而，MMA的延迟仍然是ASR中的一个主要问题，并且应该与可以在推断时间减少测试延迟的技术相结合，例如磁头同步束搜索解码，其强制所有未激活的磁头在从第一磁头激活起的小的固定延迟之后激活。在本文中，我们考虑到，在MMA的训练中，将发生在测试时间的多个头之间的相互作用，消除训练和测试阶段之间的差异。具体来说，我们通过考虑其他头部的边界，并反映在学习过程中，从单调的注意力得到预期的对齐。我们在ASR的两个标准基准数据集上验证了我们提出的方法，并表明我们的方法，MMA与训练阶段的相互约束的头部，提供了比基线更好的性能。
2021-03-26 cs.CL cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于注意力的端到端自动语音识别（ASR）系统最近已经展示了用于许多任务的最先进的结果。然而，自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性，其中每个单词必须在说出后不久被识别。在这项工作中，我们提出了双重因果/非因果自我注意力（DCN）架构，与限制自我注意力相比，它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较，示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果，同时提供了帧同步处理的优点。结合触发注意力，所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Enhancing Monotonic Multihead Attention for Streaming ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
我们研究了单调多头注意力（MMA），通过扩展硬单调注意力到基于transformer的自动语音识别（ASR）的在线流媒体应用。对于流式推理，所有单调注意力（MA）头应该学习正确的对齐，因为直到所有头检测到相应的令牌边界才生成下一个令牌。然而，我们发现并不是所有的MA头都能通过简单的实现来学习对齐。为了鼓励每个头部正确学习对齐，我们提出了HeadDrop正则化，在训练过程中屏蔽了一部分头部随机对齐。此外，我们建议修剪冗余的头部，以提高边界检测的头部之间的共识，并防止延迟令牌生成所造成的这种头部。每个MA头上的分块注意力扩展到多头对应物。最后，我们提出了头部同步波束搜索解码，以保证稳定的流推理。
2020-09-30 cs.CL cs.LG cs.SD
Meta Auxiliary Learning for Low-resource Spoken Language Understanding
China Mobile Research Institute（中国移动研究院）
口语理解（SLU）将自动语音识别（ASR）和自然语言理解（NLU）视为统一的任务，并且通常遭受数据稀缺。我们开发了一种基于Meta辅助学习的ASR和NLU联合训练方法，仅利用大量的语音数据的人工翻译来提高低资源SLU任务的性能。这种方法的一个明显优点是，它提供了一个灵活的框架来实现低资源SLU训练任务，而不需要访问任何进一步的语义注释。特别地，NLU模型被用作标签生成网络以从文本预测意图和槽标签;多任务网络从语音同步训练ASR任务和SLU任务;并且标签生成网络的预测被递送到多任务网络作为语义目标。在公共CATSLU数据集上的实验证明了该算法的有效性，为下游NLU任务提供了更合适的ASR假设。
2022-06-26 cs.CL cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Streaming parallel transducer beam search with fast-slow cascaded encoders
Meta AI
在许多语音识别应用中需要具有严格延迟约束的流式ASR。为了实现所需的延迟，与非流传输ASR模型相比，流传输ASR模型由于缺乏未来的输入上下文而牺牲了准确性。以前的研究表明，RNN传感器的流和非流ASR可以通过级联因果和非因果编码器来统一。这项工作通过利用两个具有可变输入上下文大小的流传输非因果编码器来改进这种级联编码器框架，这两个编码器可以在不同的音频间隔（例如，快速和慢速）产生输出。我们提出了一种新的并行时间同步束搜索算法的传感器解码的快慢编码器，其中慢编码器纠正从快速编码器产生的错误。该算法实现了高达20%的WER减少，在公共Librispeech数据集和内部数据集上的令牌发射延迟略有增加。我们还探讨了通过在快速和慢速编码器之间分配处理来减少计算的技术。最后，我们探讨在快速编码器中共享参数以减少内存占用。这使得边缘设备上的低延迟处理具有低计算成本和低内存占用。
2022-03-29 cs.CL cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Accurate and Reliable Confidence Estimation Based on Non-Autoregressive End-to-End Speech Recognition System
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出基于Paraformer和CIF机制的CA-CEM模型，通过生成token同步声学嵌入解决端到端置信度估计中删除与插入错误导致的不可靠问题，在ECE-U、AUC和RMSE指标上均取得显著提升。
2023-05-25 cs.CL cs.SD eess.AS
TDT-KWS: Fast And Accurate Keyword Spotting Using Token-and-duration Transducer
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）；NVIDIA（英伟达公司）
本文提出TDT-KWS，利用token-and-duration Transducers进行关键词检索，并设计了流式语音场景下的帧异步KWS解码算法，相比RNN-T和传统TDT-ASR在准确率、推理速度和噪声鲁棒性上均有提升。
2024-03-20 cs.SD eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition
IBM Research（IBM研究院）
现代自动语音识别（ASR）系统依靠分布式深度学习来快速完成训练。为了实现有效的分布式训练，训练算法必须能够以大的小批量收敛。在这项工作中，我们发现，异步分散并行随机梯度下降（ADPSGD）可以工作在更大的批量比常用的同步SGD（SSGD）算法。在常用的公共SWB-300和SWB-2000 ASR数据集上，ADPSGD可以收敛到SSGD中使用的批量大小的3倍，从而实现更大规模的训练。此外，我们提出了一个层次的ADPSGD（H-ADPSGD）系统中，在同一个计算节点上的学习者通过快速allreduce实现构建一个超级学习者，和超级学习者部署ADPSGD算法之间。在通过100 Gb/s以太网连接的64个Nvidia V100 GPU集群上，我们的系统能够在5.2小时内训练SWB-2000，以达到在集线器5 -2000交换机（SWB）测试集上7.6%的WER和在呼叫中心（CH）测试集上13.2%的WER。据我们所知，这是最快的ASR训练系统，达到这个水平的模型准确性的SWB-2000任务是以往任何时候都在文献中报道。
2019-07-10 cs.DC cs.LG cs.SD
Head-synchronous Decoding for Transformer-based Streaming ASR
基于在线转换器的自动语音识别（ASR）系统由于流媒体应用需求的增加而得到广泛研究。最近提出的解码器端自适应计算步骤（DACS）算法的在线Transformer ASR被证明达到最先进的性能和优于其他现有的方法。然而，与任何其他在线方法一样，每个Transformer解码器层中的基于DAC的注意力头独立地（或异步地）操作，并导致分散的参与位置。由于DACS使用截断阈值来确定停止位置，因此一些注意力权重被过早地截断，并且可能影响解码的稳定性和精度。为了克服这些问题，在这里，我们提出了一个头同步（HS）版本的DACS算法，其中注意力的边界是由所有的DACS头在每个解码器层联合检测。在华尔街日报（WSJ），AIShell-1和Librispeech上的ASR实验表明，该方法始终优于vanilla DACS，并达到了最先进的性能。我们还将证明，HS-DACS降低了解码成本相比，香草DACS。
2021-04-26 eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
Distributed Deep Learning Strategies For Automatic Speech Recognition
IBM Research（IBM研究院）
在本文中，我们提出并研究了各种用于自动语音识别（ASR）的分布式深度学习策略，并在2000小时总机（SWB 2000）上使用最先进的长短期记忆（LSTM）声学模型对其进行评估，SWB 2000是ASR性能基准测试中使用最广泛的数据集之一。我们首先研究什么是适当的超参数（例如，学习率），以使得能够在不损害模型精度的情况下以足够大的批量进行训练。然后，我们实现各种分布式策略，包括同步（SYNC），异步分散并行SGD（ADPSGD）和两个混合的HYBRID的混合，研究他们的运行时间/精度的权衡。我们表明，我们可以使用ADPSGD在14小时内使用16个NVIDIA P100 GPU训练LSTM模型，以在Hub 5 - 2000 Switchboard（SWB）测试集上达到7.6%的WER，并在CallHome（CH）测试集上达到13.1%的WER。此外，我们可以在11.5小时内使用32个NVIDIA V100 GPU使用HYBRID对模型进行训练，而不会损失准确性。
2019-04-10 cs.CL cs.LG cs.SD
MFA-KWS: Effective Keyword Spotting with Multi-head Frame-asynchronous Decoding
X-LANCE Lab, School of Computer Science & MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院及教育部人工智能重点实验室，上海交通大学）；Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）；Department of Electrical and Computer Engineering, National University of Singapore（电气与计算机工程系，新加坡国立大学）
本文提出MFA-KWS框架，通过结合CTC与Token-and-Duration Transducer的多头帧异步解码及分数融合策略，在多个数据集上取得SOTA结果并实现47%至63%加速，兼顾了准确性与效率，适合设备端部署。
2025-06-30 cs.SD eess.AS
Label-Synchronous Neural Transducer for End-to-End ASR
本文提出标签同步神经转换器（LS-Transducer），通过AIF机制生成标签级编码器表示，消除空白标记，实现文本数据自适应，并在多个数据集上显著降低词错误率。
2023-10-11 eess.AS
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法，基于预训练Voxtral Realtime模型构建帧同步双头结构，联合预测ASR token与细粒度轮次状态，在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
State-of-the-art Speech Recognition With Sequence-to-Sequence Models
Google（谷歌）
基于注意力的编码器-解码器架构（诸如听、注意和拼写（LAS））将传统自动语音识别（ASR）系统的声学、发音和语言模型组件细分为单个神经网络。在以前的工作中，我们已经表明，这种架构与听写任务的最新ASR系统相当，但尚不清楚这种架构是否适用于更具挑战性的任务，如语音搜索。在这项工作中，我们探讨了各种结构和优化改进我们的LAS模型，显着提高性能。在结构方面，我们表明，词片模型可以用来代替字素。我们还介绍了一个多头注意力架构，它提供了改进，通常使用的单头注意。在优化方面，我们探索了同步训练、预定采样、标签平滑和最小单词出错率优化，这些都被证明可以提高准确率。我们使用单向LSTM编码器进行流识别。在一个12500小时的语音搜索任务，我们发现，所提出的变化提高了WER从9.2%到5.6%，而最好的传统系统达到6.7%;在听写任务，我们的模型达到了4.1%的WER相比，传统系统的5%。
2018-02-23 cs.CL cs.SD eess.AS
Combining Frame-Synchronous and Label-Synchronous Systems for Speech Recognition
通常使用的自动语音识别（ASR）系统可以基于语音是基于每帧还是基于每标签来解码而被分类为帧同步和标签同步类别。帧同步系统，如传统的隐马尔可夫模型系统，可以很容易地结合现有的知识，并可以支持流ASR应用。基于注意力的编码器-解码器模型的标签同步系统可以用单个模型联合学习声学和语言信息，可以被视为基于音频的语言模型。在本文中，我们提出了重新评分的N-最好的假设或格产生的第一次通过帧同步系统与标签同步系统在第二次通过。通过利用不同方法的互补建模，组合的双通道系统在两个标准ASR任务上不使用任何额外的语音或文本数据的情况下实现了有竞争力的性能。对于80小时AMI IHM数据集，组合系统在评估集上具有13.7%的字错误率（WER），这比单个系统相对WER降低了29%。对于300小时的Switchboard数据集，组合系统的WER在Hub 5 '00的Switchboard和CallHome子集上分别为5.7%和12.1%，在RT 03的Switchboard Cellular和Fisher子集上分别为13.2%和7.6%，相对于单个系统，WER相对降低高达33%。
2021-07-01 eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出 AVGER，通过多模态同步编码器和跨模态提示让 LLM 再读音视信号并纠正 AVSR 的 N-Best 假设，辅以多层级一致性约束，在 LRS3 上将 WER 较主流系统降低 24%。
2025-01-03 cs.AI cs.MM cs.SD
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Label-Synchronous Neural Transducer for Adaptable Online E2E Speech Recognition
提出LS-Transducer，通过AIF生成标签级编码器表示并使预测网络成为可纯文本自适应的语言模型，结合流式联合解码，在域内和跨域ASR任务上显著降低WER。
2023-11-19 eess.AS
