Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments
Microsoft（微软）
提出单解码器流式 Transformer-Transducer 与词元级序列化训练，借助文本对齐交错源/目标词元，在低延迟下联合输出 ASR 和 ST，质量持平或优于独立模型。
2023-10-02 cs.CL cs.SD eess.AS
Serialized Output Training by Learned Dominance
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出一种基于学习主导度的序列化策略，通过在注意力编码器-解码器中引入辅助模块自动确定多说话人语音输出顺序，在LibriSpeech和LibriMix上显著优于PIT和FIFO基线。
2024-07-04 cs.AI cs.SD eess.AS
Joint ASR and Speaker Role Tagging with Serialized Output Training
Viterbi School of Engineering University of Southern California Los Angeles, USA（维特比工程学院 华盛顿大学南加州分校 洛杉矶 USA）
针对现有ASR系统无法识别说话人角色的问题，提出为Whisper添加角色专属token并结合SOT微调的方法，实现单次解码生成角色感知转写，多方WER降低超10%。
2025-06-12 cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型，通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
Unified Modeling of Multi-Talker Overlapped Speech Recognition and Diarization with a Sidecar Separator
The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（国立台湾大学）
本文提出在冻结的ASR模型中插入带说话人分离分支的挎斗分离器，以仅768个参数的极小开销统一建模重叠语音识别与说话人分离，并在多个数据集上验证了有效性。
2023-05-25 cs.AI cs.CL cs.LG
Streaming Multi-Talker ASR with Token-Level Serialized Output Training
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个令牌级串行输出训练（t-SOT），一个新的框架，流多说话人自动语音识别（ASR）。与使用多个输出分支的现有流传输多讲话者ASR模型不同，t-SOT模型仅具有生成识别令牌的单个输出分支（例如，字、子字）。一个特殊的令牌，表明“虚拟”输出通道的变化被引入到跟踪重叠的话语。与现有的流式多说话者ASR模型相比，t-SOT模型具有推理成本低和模型结构简单的优点。此外，在我们使用LibriSpeechMix和LibriCSS数据集的实验中，基于t-SOT的Transformer换能器模型实现了最先进的字错误率，与先前的结果相比有很大的差距。对于非重叠语音，t-SOT模型在准确性和计算成本方面与单说话者ASR模型相当，为单说话者和多说话者场景部署一个模型打开了大门。
2022-07-14 cs.CL cs.SD eess.AS
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft（微软）
本文提出了一种新的流式自动语音识别（ASR）框架，用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA，利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离，或VarArray，以及基于令牌级序列化输出训练（t-SOT）的流式多说话者ASR。为了结合这两种技术的优点，我们新设计了一个基于t-SOT的ASR模型，该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案，这样的ASR模型，我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明，该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集，在多个远程麦克风设置，同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation
Microsoft（微软）
提出一种流式 Transformer-Transducer 模型，利用基于时间戳的词元级序列化输出训练方法，首次实现单解码器生成多对一和一对多联合 ASR 与 ST 输出。
2023-10-23 cs.CL cs.SD eess.AS
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Beyond Acoustic Prefixes: Persistent Access to Serialized Acoustic Memory for LLM-Based Multi-Talker Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
针对LLM在多说话人ASR中性能下降的问题，提出持久接地于序列化声学记忆的方法，通过解纠缠说话人表征和门控残差交叉注意力，显著提升三说话人混合场景的识别效果。
2026-09-30 cs.SD
BA-SOT: Boundary-Aware Serialized Output Training for Multi-Talker ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对多说话人ASR中SOT方法说话人切换预测难的问题，提出BA-SOT方法，通过边界相关任务与损失、两阶段CTC策略优化，结合新指标UD-CER验证，显著降低了字符错误率。
2023-10-05 cs.CL cs.SD eess.AS
Progressive Joint Modeling in Unsupervised Single-channel Overlapped Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；Microsoft AI and Research（微软人工智能与研究事业部）
无监督单通道重叠语音识别是自动语音识别（ASR）的难点之一。排列不变训练（Permutation Invariant Training，PIT）是一种基于模型的方法，它应用单个神经网络来解决这种单输入、多输出的建模问题。我们建议通过在神经网络上施加模块化结构，应用渐进的预训练方案，并使用迁移学习和判别训练标准改进目标函数来推进当前的技术水平。模块化结构将问题分为三个子任务：逐帧解释、话语级说话人跟踪和语音识别。预训练方案使用这些模块来解决越来越难的任务。迁移学习利用并行干净语音来改进网络的训练目标。我们的判别训练公式是标准公式的修改，也惩罚了系统的竞争输出。在人工重叠的Switchboard和hub 5e-swb数据集上进行了实验。与强大的联合训练系统（用于ASR的PIT）和单独优化的系统（用于使用干净语音ASR模型进行语音分离的PIT）相比，所提出的框架实现了WER 30%以上的相对改进。改进来自更好的模型泛化能力、训练效率和序列级语言知识集成。
2017-10-20 cs.AI cs.CL
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
2020-11-03 cs.CL cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.（微软公司）
本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
Large-Scale Pre-Training of End-to-End Multi-Talker ASR for Meeting Transcription with Single Distant Microphone
Microsoft Corp.（微软公司）
用单个远距离麦克风（SDM）转录包含重叠语音的会议一直是自动语音识别（ASR）最具挑战性的问题之一。虽然已经提出了各种各样的方法，所有以前的单声道重叠语音识别问题的研究是基于模拟数据或小规模的实际数据。在本文中，我们广泛研究了一种两步方法，首先使用大规模模拟数据预训练基于序列化输出训练（SOT）的多说话者ASR，然后使用少量真实会议数据微调模型。实验是通过利用我们内部的7.5万（K）小时的单说话者录音来模拟总共90万小时的多说话者音频片段进行监督预训练。通过对AMI-SDM 70小时的训练数据进行微调，我们的SOT ASR模型在自动计算每个测试段中的扬声器的同时，对AMI-SDM评估集实现了21.2%的单词错误率（WER）。该结果不仅显著优于先前的具有oracle话语边界信息的36.4%的最新WER，而且优于通过应用于波束成形音频的类似微调的单说话者ASR模型的结果。
2021-04-12 cs.CL cs.SD eess.AS
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架，通过结合连续语音分离前端、双模型/双遍架构及分段SOT，平衡多说话人语音识别的延迟与准确率，适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition
Università Politecnica delle Marche（马尔凯理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出名为SLIDAR的联合说话人日记化与语音识别框架，采用滑动窗口和端到端日记化增强转录模型，经说话人嵌入聚类得到全局结果，在AMI语料库的近讲和远场场景中均有效。
2023-10-02 cs.CL cs.SD eess.AS
Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
Tencent AI Lab（腾讯人工智能实验室）
多通道多说话人重叠语音的自动语音识别一直是语音学界最具挑战性的课题之一。在本文中，我们期待这一挑战，利用目标说话人在三维空间中的位置信息的第一次。为了探索提出的3D空间特征的强度，研究了两种范式。1)流水线系统，其具有多通道语音分离模块，随后是最先进的单通道ASR模块; 2）“一体化”模型，其中3D空间特征直接用作ASR系统的输入，而没有显式分离模块。它们都是完全可微的，可以端到端反向传播。我们在模拟重叠语音和真实录音上测试它们。实验结果表明：1）所提出的ALL-In-One模型实现了与流水线系统相当的出错率，同时减少了一半的推理时间; 2）所提出的3D空间特征显著优于（31% CERR）所有先前在两种范例中使用1D方向信息的工作。
2021-11-22 cs.CL cs.HC cs.LG
SA-SOT: Speaker-Aware Serialized Output Training for Multi-Talker ASR
Bytedance Research（字节跳动研究院）
针对多说话人 ASR 中 t-SOT 频繁切换说话人导致解码器上下文利用不足的问题，本文提出 SA-SOT，通过掩码标签辅助损失和说话人相似度约束自注意力，在 LibrispeechMix 上取得 3.41% cpWER 的新最优结果。
2024-03-04 cs.SD eess.AS
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.（日立有限公司）
本文提出了一种新的框架，会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化，使得系统能够处理重叠语音，而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明，我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率（CER），而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明，我们的框架实现了21.8%的CER，仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
Hypothesis Clustering and Merging: Novel MultiTalker Speech Recognition with Speaker Tokens
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对未知人数且语音重叠的多说话人识别问题，提出基于说话人聚类token的编码器-解码器方法，通过AHC合并假设，在LibriMix 3-mix环境中相比传统方法显著降低错误率。
2024-09-24 cs.CL cs.SD eess.AS
Speaker-Distinguishable CTC: Learning Speaker Distinction Using CTC for Multi-Talker Speech Recognition
NHK Science and Technology Research Laboratories（日本国立放送理事会科学技术研究所）；Waseda University（早稻田大学）
本文提出 SD-CTC 并将其集成到 SOT 框架中，使多人语音识别无需时间戳等辅助信息即可学习说话人区分性，错误率降低 26%。
2025-06-09 cs.CL cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而，高字错误率（WER）仍然阻止这些系统在实际应用中使用。另一方面，多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中，我们提出了一种新的神经序列到序列（seq 2seq）的架构，MIMO-Speech，它扩展了原来的seq 2seq处理多通道输入和多通道输出，使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架，仅通过ASR标准进行优化。它包括：1）单耳掩蔽网络，2）多源神经波束形成器，和3）多输出语音识别模型。通过这种处理，输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略，充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明，与单通道系统相比，该模型可以实现60%以上的WER降低，并具有高质量的增强信号（SI-SDR = 23.1 dB）。
2019-10-16 cs.CL cs.SD eess.AS
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Multi-talker ASR for an unknown number of sources: Joint training of source counting, separation and ASR
Paderborn University（帕德博恩大学）；NTT Corporation（日本电信电话株式会社）
大多数多说话人重叠语音分离和识别方法都假设同时活动的说话人的数量是已知的，但在实际情况下，它通常是未知的。为了应对这一点，我们扩展了一个迭代语音提取系统的机制来计算源的数量，并将其与单说话者的语音识别器，以形成第一个端到端的多说话者自动语音识别系统的数量未知的活动扬声器。我们的实验表明，非常有前途的性能在计数精度，源分离和语音识别模拟干净的混合从WSJ 0 - 2 mix和WSJ 0 - 3 mix。其中，我们在WSJ 0 - 2 mix数据库上设置了一个新的最先进的单词错误率。此外，我们的系统可以很好地推广到比训练过程中看到的更多的说话者，如WSJ 0 - 4 mix数据库的实验所示。
2020-12-21 cs.CL cs.SD eess.AS
Cracking the cocktail party problem by multi-beam deep attractor network
Microsoft AI and Research（微软人工智能与研究院）
虽然神经网络方法在单通道语音分离，或更一般的鸡尾酒会问题，取得了显着的改善，其性能复杂的混合物仍然不能令人满意。在这项工作中，我们提出了一种新的多通道框架多说话者分离。在该模型中，输入的多通道混合信号首先被转换成一组波束形成的信号使用固定的波束方向图。对于这种波束形成，我们建议使用差分波束形成器，因为它们更适合语音分离。然后将每个波束形成的信号馈送到单通道锚定深度吸引子网络以生成分离的信号。最后通过对各光束的分离输出进行后选，得到最终的分离结果。为了评估所提出的系统，我们创建了一个具有挑战性的数据集，包括2，3或4个扬声器的混合物。我们的研究结果表明，该系统大大提高了语音分离的最新技术水平，实现了11.5 dB，11.76 dB和11.02 dB的平均信号失真比改善4，3和2重叠扬声器混合，这是一个最小方差无失真响应波束形成器，使用预言机的位置，源和噪声信息的性能相媲美。我们还运行语音识别与一个干净的训练声学模型上分离的语音，实现相对字出错率（WER）减少45.76%，59.40%和62.80%的完全重叠的语音4，3和2扬声器，分别。利用远距离通话声学模型，WER被进一步降低。
2018-03-29 cs.SD eess.AS
Prompting Whisper for Joint Speech Transcription and Diarization
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究如何高效结合Whisper与说话人识别，通过提示和微调提高转录准确性与一致性，解决重叠语音和时间戳问题。
2026-04-24 cs.SD eess.AS
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue
Amazon Alexa AI（亚马逊Alexa AI）
本文提出ParalinGPT，通过序列化多任务多模态框架融合文本、语音嵌入和副语言属性，在Switchboard-1上显著提升口语对话的情感预测与响应生成性能。
2024-01-17 cs.CL eess.AS
End-to-End Joint Target and Non-Target Speakers ASR
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）
针对多说话人重叠语音需同时转写目标与非目标说话人的问题，提出利用目标说话人注册语音并递归生成文本及说话人身份标记的端到端自回归ASR方法，实验验证了其有效性。
2023-06-04 cs.CL cs.SD eess.AS
A Comparative Study on Multichannel Speaker-Attributed Automatic Speech Recognition in Multi-party Meetings
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
多方会议场景中的说话人归属自动语音识别（SA-ASR）是最有价值和最具挑战性的自动语音识别任务之一。结果表明，单通道帧级日志化与串行输出训练（SC-FD-SOT）、单通道词级日志化与SOT（SC-WD-SOT）以及单通道目标语者分离与ASR联合训练（SC-TS-ASR）可以部分解决这一问题。在本文中，我们提出了三个相应的多通道（MC）SA-ASR方法，即MC-FD-SOT，MC-WD-SOT和MC-TS-ASR。针对不同的任务/模型，考虑了不同的多通道数据融合策略，包括MC-FD-SOT的通道级跨通道关注、MC-WD-SOT的帧级跨通道关注和MC-TS-ASR的神经波束形成。AliMeeting语料库上的结果表明，我们提出的模型在与说话人相关的字符错误率方面始终优于相应的单通道模型。
2023-03-02 cs.SD eess.AS
An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）；Northwestern Polytechnical University（西北工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；National Taiwan University（国立台湾大学）
语音数据的自监督预训练已经取得了很大的进展。从大量的非转录数据中学习到语音信号的高保真表示，并显示出良好的性能。最近，有几项工作专注于评估各种任务的自监督预训练表示的质量，而没有域限制，例如SUPERB。然而，这样的评价并没有提供一个全面的比较，许多ASR基准语料库。在本文中，我们重点关注预训练语音表示的一般应用，以及高级端到端自动语音识别（E2 E-ASR）模型。我们选择了几个预训练的语音表示，并在各种开源和公开可用的语料库上为E2 E-ASR提供实验结果。在不对后端模型架构或训练策略进行任何修改的情况下，一些使用预训练表示的实验，例如，WSJ、WSJ 0 - 2与HuBERT的混合，达到或超过当前最先进的（SOTA）识别性能。此外，我们还进一步探索了预训练表示是否有效的更多场景，例如跨语言或重叠语音。脚本，配置和训练模型已经在ESPnet中发布，让社区重现我们的实验并改进它们。
2021-10-09 cs.CL cs.SD eess.AS
UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training
Microsoft（微软公司）
自监督学习（SSL）是语音处理的一个长期目标，因为它利用了大规模的未标记数据，避免了大量的人工标记。近年来，自监督学习在语音识别中的应用取得了巨大的成功，而SSL在说话人特征建模方面的探索还很有限。在本文中，我们的目标是改善现有的SSL框架的说话人表示学习。介绍了两种增强无监督说话人信息抽取的方法。首先，我们将多任务学习应用到当前的SSL框架中，其中我们将话语对比损失与SSL目标函数相结合。第二，为了更好地区分说话人，我们提出了一种用于数据增强的话语混合策略，其中额外的重叠话语在训练过程中被无监督地创建和合并。我们将所提出的方法集成到HuBERT框架中。在SUPERB基准测试上的实验结果表明，该系统在通用表示学习，特别是面向说话人辨识的任务中，取得了较好的性能.进行消融研究，验证每种方法的有效性。最后，我们将训练数据集扩展到9.4万小时的公共音频数据，并在所有SUPERB任务中实现了进一步的性能提升。
2021-10-12 cs.CL cs.SD eess.AS
Cross-Speaker Encoding Network for Multi-Talker Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
提出跨说话人编码网络，结合SIMO与SOT优势，在LibrispeechMix上较SIMO降低WER 8%，较SOT降低10%，高重叠语音降低16%。
2024-07-22 cs.AI cs.CL cs.SD
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题，提出在多种相似几何结构上训练以实现几何无关泛化，并采用非线性约束最小方差准则改进波束形成，已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出端到端多任务的说话人轮次感知对话语音翻译模型，融合 ASR、ST 与轮次检测，并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits
AI Lab, Lenovo Research（联想研究院人工智能实验室）
目标语音分离是根据所提供的附加说话人身份信息从语音混合物中滤除特定说话人的语音的过程。最近的工作已经取得了相当大的改进，直接在时域中处理信号。它们中的大多数采用完全重叠的语音混合进行训练。然而，由于大多数现实生活中的对话是随机发生的，并且重叠很少，因此我们认为使用不同重叠率的数据进行训练是有益的。要做到这一点，一个不可避免的问题是，普遍使用的SI-SNR损失没有定义的沉默源。本文提出了加权SI-SNR损失，以及目标语音分离和个人VAD的联合学习。加权SI-SNR损失施加与目标说话者的持续时间成比例的权重因子，并且当目标说话者不存在时返回零。同时，个人VAD生成掩码并将非目标语音设置为静音。实验表明，我们提出的方法优于基线的SDR完全重叠的语音，以及由4.17 dB和0.9 dB的稀疏重叠的语音的清洁和嘈杂的条件下，1.73 dB。此外，在性能略有下降的情况下，我们的模型可以减少推理的时间开销。
2021-09-27 cs.CL cs.SD eess.AS
Combining TF-GridNet and Mixture Encoder for Continuous Speech Separation for Meeting Transcription
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Paderborn University（帕德博恩大学）
本文提出结合 TF-GridNet 与混合编码器的方法，用于会议转录中的连续语音分离，在 LibriCSS 单麦克风上取得最先进性能，并分析了改进空间。
2025-02-26 cs.CL cs.LG cs.SD
Investigation of End-To-End Speaker-Attributed ASR for Continuous Multi-Talker Recordings
Microsoft（微软）
近年来，针对单声道重叠语音，提出了一种端到端（E2 E）说话人属性自动语音识别（SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。它显示了有前途的结果，由不同数量的扬声器的模拟语音混合物。然而，该模型需要说话人轮廓的先验知识来进行说话人识别，这极大地限制了该模型的应用。在本文中，我们扩展了以前的工作，解决的情况下，没有扬声器配置文件。具体来说，我们使用E2 E SA-ASR模型的内部扬声器表示来进行扬声器计数和聚类，以将扬声器库存中缺少配置文件的扬声器的话语进行diarize。我们还对E2 E SA-ASR训练的参考标签提出了一个简单的修改，这有助于很好地处理连续的多说话者录音。我们对原始E2 E SA-ASR和单耳LibriCSS数据集上的所提出的方法进行了全面的调查。与原始的E2 E SA-ASR与相关的扬声器配置文件相比，所提出的方法实现了接近的性能，没有任何先验扬声器知识。我们还表明，在E2 E SA-ASR模型中的源-目标注意力提供了关于假设的开始和结束时间的信息。
2020-08-11 cs.CL cs.SD eess.AS
LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization
Department of Telecommunications and Artificial Intelligence, Budapest University of Technology and Economics（电信与人工智能系，布达佩斯技术与经济大学）；Speechtex Ltd.（Speechtex公司）；ELTE Research Centre for Linguistics（ELTE语言研究所）
提出LibriConvo合成对话语音语料库，基于说话人感知模拟对话框架构建，用于说话人日志和ASR基准测试，包含240.1小时音频，基线实验显示Sortformer在日志中优于pyannote，Fast Conformer-CTC在ASR中优于Whisper。
2026-06-11 cs.CL cs.SD eess.AS
Adapting Multi-Lingual ASR Models for Handling Multiple Talkers
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
本文提出通过增强版序列化输出训练和轻量级适配器模块适配通用语音模型，使其在保持多语言能力的同时实现多说话人ASR与时间戳预测。
2023-05-30 cs.CL eess.AS
Disentangling Speakers in Multi-Talker Speech Recognition with Speaker-Aware CTC
The Chinese University of Hong Kong（香港中文大学）
本文提出说话人感知CTC训练目标，通过约束编码器在特定时间帧表示不同说话人token，与SOT结合后显著降低多说话人语音识别词错误率。
2025-01-03 cs.AI cs.SD eess.AS
Multitask Detection of Speaker Changes, Overlapping Speech and Voice Activity Using wav2vec 2.0
University of West Bohemia（西波西米亚大学）
本文利用 wav2vec 2.0 自监督模型，提出多任务系统同时检测说话人变化、重叠语音和语音活动，在四个语料库上超越先前结果，并在 AMI 语料库上达到最先进性能。
2023-03-10 cs.SD eess.AS
Asymmetric Classifier-Free Guidance for Target-Speaker ASR
Worcester Polytechnic Institute（伍斯特理工学院）
针对目标说话人ASR在域偏移下性能下降的问题，提出基于Whisper的非对称分类器无关引导，通过单一引导尺度调整说话人条件贡献，并训练轻量级预测器逐句优化尺度，实现最高21.8%的相对词错误率降低。
2026-09-28 cs.CL cs.SD eess.AS
VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
我们介绍VoiceFilter-Lite，一个单通道源分离模型，在设备上运行，只保留来自目标用户的语音信号，作为流语音识别系统的一部分。交付这样一个模型提出了许多挑战：当输入信号由重叠语音组成时，它应该提高性能，并且在所有其他声学条件下不得损害语音识别性能。此外，该模型必须小巧，快速，并以流式方式执行推理，以便对CPU，内存，电池和延迟的影响最小。我们提出了新的技术，以满足这些多方面的要求，包括使用一个新的非对称损失，并采用自适应运行时抑制强度。我们还表明，这样的模型可以量化为8位整数模型，并在实时运行。
2020-09-09 cs.LG cs.SD eess.AS
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft（微软）
最近提出了一种端到端（E2 E）的说话人属性自动语音识别（SA-ASR）模型，用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率（SA-WER）的单声道重叠语音包括一个未知数量的扬声器。然而，E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录，还有待研究。在这项工作中，我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务，该解码技术是为长格式音频执行单扬声器ASR而开发的。然后，我们提出了一种新的方法，使用一个序列到序列的模型，称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设，然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型，并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明，该方法显着提高SA-WER，特别是对于长形式的多说话人录音。
2021-01-06 cs.CL cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa（亚马逊Alexa）
最近的研究表明，端到端ASR系统可以识别多个说话人的重叠语音。然而，所有已发表的作品都假设在推理期间没有延迟约束，这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上，已被证明是在低延迟的在线识别制度，以提供高的识别精度的递归神经网络传感器（RNN-T）。我们研究了RNN-T的两种多说话人模型训练方法：确定性输出目标分配和排列不变训练。我们表明，在前一种情况下，使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外，通过对单说话者和多说话者话语的多风格训练，所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER，这与先前报道的最先进的非流模型（10.3%）具有竞争力，而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Bayesian Neural Network Language Modeling for Speech Recognition
the Chinese University of Hong Kong（香港中文大学）
以长短期记忆递归神经网络（LSTM-RNN）和Transformers为代表的最先进的神经网络语言模型（NNLM）正变得高度复杂。当给定有限的训练数据时，它们容易过拟合和泛化能力差。为此，本文提出了一个涵盖三种方法的总体完整贝叶斯学习框架，以解决LSTM-RNN和Transformer LM中的潜在不确定性。其模型参数的不确定性，神经激活和隐藏的输出表示的选择分别使用贝叶斯，高斯过程和变分LSTM-RNN或Transformer LM建模。使用有效的推理方法来自动选择最佳的网络内部组件，使用神经结构搜索进行贝叶斯学习。还使用了低至1的最小数量的Monte Carlo参数样本。这些允许在贝叶斯NNLM训练和评估中产生的计算成本最小化。实验进行了两个任务：AMI会议转录和牛津-BBC唇读句子2（LRS 2）重叠语音识别使用国家的最先进的LF-MMI训练因子TDNN系统具有数据增强，说话人自适应和视听多通道波束形成重叠的语音。在困惑度和单词出错率（WER）方面，在两个任务中获得了与基线LSTM-RNN和具有点估计模型参数和丢弃正则化的Transformer LM一致的性能改进。特别是，在LRS 2数据上，在贝叶斯NNLM与其各自基线之间的模型组合后，分别在基线LSTM-RNN和Transformer LM上获得了高达1.3%和1.2%的绝对（12.1%和11.3%的相对）统计学显著WER…
2022-08-28 cs.AI cs.CL
Improved Speaker-Dependent Separation for CHiME-5 Challenge
Tencent AI Lab（腾讯人工智能实验室）
本文总结了几个后续的贡献，以改善我们提交的NWPU说话人相关的系统CHiME-5的挑战，其目的是解决多通道，高度重叠的会话语音识别的问题，在一个晚宴的情况下，混响和非平稳噪声。我们采用一种说话人感知的训练方法，使用i向量作为多说话人语音分离的目标说话人信息。只有一个统一的分离模型的所有扬声器，我们实现了10%的绝对改善字错误率（WER）在以前的基线80.28%的发展集，利用我们新提出的数据处理技术和波束形成的方法。通过我们改进的后端声学模型，我们进一步将WER降低到60.15%，这超过了我们提交的CHiME-5挑战系统的结果，而没有应用任何融合技术。
2019-04-08 cs.SD eess.AS
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University（山东大学）；North Carolina State University（北卡罗来纳州立大学）；Shandong Normal University（山东师范大学）
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR，仅用约 1% 的任务特定参数即可达到与完全训练相当的性能，并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS
