Speaker Change Detection for Transformer Transducer ASR
Microsoft（微软）
说话人改变检测（SCD）是通过在说话人改变点处将单词序列分成段落来提高来自自动语音识别（ASR）系统的所识别单词的可读性的重要特征。现有的SCD解决方案或者需要用于基于时间的决策和识别的单词序列的附加集成，或者实现ASR和SCD之间的紧密集成，从而限制了两个任务的潜在最佳性能。为了解决这些问题，我们提出了一个新的框架SCD任务，其中一个额外的SCD模块是建立在现有的Transformer传感器ASR（TT-ASR）网络的顶部。SCD网络的两种变体在这个框架中进行了探索，自然地估计每个单词的说话人变化概率，同时允许ASR和SCD具有独立的优化方案以获得最佳性能。实验表明，与联合SCD和ASR基线相比，我们的方法可以显着提高LibriCSS和Microsoft呼叫中心数据集的F1得分，而不会降低ASR。
2023-02-16 cs.SD eess.AS
STAM-ASR: Speaker-Temporal Anchoring with Memory for Multi-Speaker ASR
Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
STAM-ASR通过说话人-时间锚定与记忆机制，在不依赖外部日志和语音分离的情况下扩展预训练AudioLLM，实现多说话人ASR，并在多个基准上验证了其有效性。
2026-09-25 cs.SD
End-to-End Joint Target and Non-Target Speakers ASR
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）
针对多说话人重叠语音需同时转写目标与非目标说话人的问题，提出利用目标说话人注册语音并递归生成文本及说话人身份标记的端到端自回归ASR方法，实验验证了其有效性。
2023-06-04 cs.CL cs.SD eess.AS
Error-driven Fixed-Budget ASR Personalization for Accented Speakers
IIT Bombay（印度理工学院孟买分校）
我们认为个性化的ASR模型的任务，而被限制在一个固定的预算上记录扬声器特定的话语。给定一个扬声器和一个ASR模型，我们提出了一种方法来识别句子的扬声器的话语很可能是困难的给定的ASR模型来识别。我们假设少量的特定于说话人的数据来学习音素级错误模型，帮助我们选择这样的句子。我们表明，扬声器的话语选择使用我们的错误模型的句子确实有较大的出错率相比，扬声器的话语随机选择的句子。我们发现，微调的ASR模型的帮助下选择的句子话语产生更高的WER的改善相比，微调的随机选择的句子话语的数量相等。因此，我们的方法提供了一个有效的方式收集扬声器的话语下的预算限制个性化的ASR模型。
2021-06-02 cs.CL cs.SD eess.AS
Effects of Speaker Count, Duration, and Accent Diversity on Zero-Shot Accent Robustness in Low-Resource ASR
Brown University（布朗大学）；Meta FAIR
本文研究低资源ASR训练中说话人数量、单说话人时长和口音多样性对未见口音鲁棒性的影响，发现增加说话人数量比增加单说话人时长更有效，且口音多样性在控制说话人数量时收益有限。
2025-06-04 cs.CL cs.SD eess.AS
Speaker consistency loss and step-wise optimization for semi-supervised joint training of TTS and ASR using unpaired text data
NTT Corporation（日本电报电话公司）
在本文中，我们研究了文本到语音（TTS）和自动语音识别（ASR）的半监督联合训练，其中有少量的成对数据和大量的非成对文本数据。传统的研究形成了一个称为TTS-ASR管道的循环，其中多说话者TTS模型从具有参考语音的文本合成语音，ASR模型从合成语音中重建文本，之后两个模型都经过训练，具有循环一致性损失。然而，合成语音并不反映参考语音的说话人特征，并且合成语音在训练后变得过于容易用于ASR模型识别。这不仅降低了TTS模型的质量，而且限制了ASR模型的改进。为了解决这个问题，我们提出了改进基于循环一致性的训练与扬声器一致性损失和逐步优化。说话人一致性损失使得合成语音的说话人特征更接近参考语音的说话人特征。在逐步优化中，我们首先在训练两个模型之前冻结TTS模型的参数，以避免TTS模型对ASR模型的过度适应。实验结果证明了该方法的有效性。
2022-07-11 cs.SD eess.AS
Elevating Robust Multi-Talker ASR by Decoupling Speaker Separation and Speech Recognition
The Ohio State University（俄亥俄州立大学）；Center for Cognitive and Brain Sciences, The Ohio State University（俄亥俄州立大学认知与脑科学中心）
针对多说话人场景下ASR前端分离引入伪影导致性能下降的问题，提出分离前端与ASR后端训练解耦、后端仅用干净语音训练的方法，在多个基准数据集上取得了最优词错误率，为鲁棒多说话人ASR提供了有效方案。
2025-03-23 cs.SD eess.AS
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization
Johns Hopkins University（约翰斯·霍普金斯大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出了一种新的范式，用于处理远场多说话人数据在一个端到端的神经网络的方式，称为定向自动语音识别（D-ASR），明确的模型源说话人的位置。在D-ASR中，源相对于麦克风阵列的方位角被定义为潜在变量。该角度控制分离的质量，这反过来又决定了ASR性能。D-ASR的所有三个功能：定位，分离和识别都连接为一个可微神经网络，并仅基于ASR错误最小化目标进行训练。与现有方法相比，D-ASR的优点有三个方面：（1）它提供了显式的说话人位置，（2）它提高了可解释性因子，（3）由于过程更加精简，它实现了更好的ASR性能。此外，D-ASR不需要像现有数据驱动的定位模型那样的显式波达方向（DOA）监督，这使得它更适合于现实数据。对于两个源混合的情况下，D-ASR实现了小于3度的平均DOA预测误差。它在分离质量和ASR性能方面也优于强大的远场多扬声器端到端系统。
2020-10-30 cs.CL cs.SD eess.AS
Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR
MERL（三菱电机研究实验室）
基于图的时态分类（GTC）是联结主义时态分类损失的一种推广形式，最近被提出来改进基于图监督的自动语音识别（ASR）系统。例如，GTC首先用于将伪标签序列的N最佳列表编码到图中以用于半监督学习。在本文中，我们提出了一个扩展的GTC模型的标签和标签转换的后验的神经网络，它可以应用到更广泛的任务。作为一个应用实例，我们使用扩展的GTC（GTC-e）的多扬声器语音识别任务。多说话人语音的转换和说话人信息用图表示，其中说话人信息与转换相关联，ASR输出与节点相关联。使用GTC-e，多说话者ASR建模变得与单说话者ASR建模非常相似，因为多个说话者的令牌被识别为按时间顺序的单个合并序列。为了进行评估，我们在来自LibriSpeech的模拟多说话者语音数据集上进行实验，获得了与任务的经典基准接近的性能。
2022-03-01 cs.CL cs.SD eess.AS
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen（西波西米亚大学）
提出一种轻量级基于目标说话人的流式ASR扩展方法，结合SI与SC模型及紧凑重叠检测器，在计算量仅增44%下将重叠语音WER从68.0%降至35.78%，实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA（英伟达）
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题，仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
A Comparative Study on Multichannel Speaker-Attributed Automatic Speech Recognition in Multi-party Meetings
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
多方会议场景中的说话人归属自动语音识别（SA-ASR）是最有价值和最具挑战性的自动语音识别任务之一。结果表明，单通道帧级日志化与串行输出训练（SC-FD-SOT）、单通道词级日志化与SOT（SC-WD-SOT）以及单通道目标语者分离与ASR联合训练（SC-TS-ASR）可以部分解决这一问题。在本文中，我们提出了三个相应的多通道（MC）SA-ASR方法，即MC-FD-SOT，MC-WD-SOT和MC-TS-ASR。针对不同的任务/模型，考虑了不同的多通道数据融合策略，包括MC-FD-SOT的通道级跨通道关注、MC-WD-SOT的帧级跨通道关注和MC-TS-ASR的神经波束形成。AliMeeting语料库上的结果表明，我们提出的模型在与说话人相关的字符错误率方面始终优于相应的单通道模型。
2023-03-02 cs.SD eess.AS
End-to-end Multichannel Speaker-Attributed ASR: Speaker Guided Decoder and Input Feature Analysis
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Vivoka（Vivoka公司）
本文提出一种端到端多通道说话人归属ASR系统，结合Conformer编码器与说话人引导解码器，在模拟和真实数据上显著降低词错误率，并分析了输入特征的影响。
2023-10-16 cs.CL cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University（山东大学）；North Carolina State University（北卡罗来纳州立大学）；Shandong Normal University（山东师范大学）
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR，仅用约 1% 的任务特定参数即可达到与完全训练相当的性能，并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS
Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR
MERL（三菱电机研究实验室）
我们提出了一种无监督的说话人自适应方法的启发神经图灵机的端到端（E2 E）自动语音识别（ASR）。该模型包含一个内存块，该内存块保存从训练数据中提取的说话者i向量，并通过注意力机制从内存中读取相关的i向量。所得到的记忆向量（M向量）被连接到声学特征或E2 E神经网络模型的隐藏层激活。E2 E ASR系统基于联合连接主义时间分类和基于注意力的编码器-解码器架构。使用WSJ和TED-LIUM 2 ASR基准测试将M向量和i向量结果进行比较，以将它们插入编码器神经网络的不同层。我们表明，M-向量，这不需要一个辅助扬声器嵌入提取系统在测试时，实现类似的词错误率（WRs）相比，i-向量的单扬声器的话语和显着降低WRs的话语中，有扬声器的变化。
2020-02-14 cs.CL cs.LG cs.SD
On-Device Speaker Anonymization of Acoustic Embeddings for ASR based onFlexible Location Gradient Reversal Layer
Samsung Research（三星研究院）；Samsung Electronics（三星电子）
提出一种针对ASR的说话人匿名化框架，通过在设备端执行模型初始层并传输匿名化声学嵌入至云端，利用灵活梯度反转层去除说话人身份，同时保持识别性能，实验显示说话人识别准确率降低33%，WER降低6.2%。
2023-07-25 cs.CR cs.SD eess.AS
Auxiliary Interference Speaker Loss for Target-Speaker Speech Recognition
Hitachi Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种新的辅助损失函数用于目标-说话人自动语音识别。我们的方法自动提取和转录目标扬声器的话语从单声道混合多个扬声器语音给定的目标扬声器的短样本。所提出的辅助损失函数试图在训练期间额外最大化干扰扬声器ASR准确性。这将正则化网络，以实现更好的说话人分离表示，从而实现更好的目标说话人ASR准确性。我们评估了我们提出的方法，使用两个扬声器混合语音在各种信号干扰比条件。我们首先建立了一个强大的目标说话人的ASR基线的基础上，最先进的无格最大互信息。该基线在测试集上实现了18.06%的单词出错率（WER），而使用干净数据训练的正常ASR产生了完全损坏的结果（WER为84.71%）。然后，我们提出的损失进一步降低了6.6%的WER相对于这个强大的基线，实现WER为16.87%。除了准确性的提高，我们还表明，所提出的损失的辅助输出分支，甚至可以用于二次ASR干扰扬声器的语音。
2019-06-26 cs.CL cs.SD eess.AS
SA-Paraformer: Non-autoregressive End-to-End Speaker-Attributed ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
本文提出非自回归端到端 SA-Paraformer，通过单步并行解码、说话人填充和 inter-CTC 提升 SA-ASR 效率与性能。
2023-10-07 cs.SD eess.AS
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft（微软）
最近提出了一种端到端（E2 E）的说话人属性自动语音识别（SA-ASR）模型，用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率（SA-WER）的单声道重叠语音包括一个未知数量的扬声器。然而，E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录，还有待研究。在这项工作中，我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务，该解码技术是为长格式音频执行单扬声器ASR而开发的。然后，我们提出了一种新的方法，使用一个序列到序列的模型，称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设，然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型，并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明，该方法显着提高SA-WER，特别是对于长形式的多说话人录音。
2021-01-06 cs.CL cs.SD eess.AS
Speaker-Smoothed kNN Speaker Adaptation for End-to-End ASR
Huawei Translation Services Center（华为翻译服务中心）
针对 E2E ASR 中目标说话人数据有限导致的声音失配问题，提出 Speaker-Smoothed kNN，结合数据存储检索与 x-vector 动态插值，在 KeSpeech 和 MagicData 上达到稳定且全域最优的自适应效果。
2024-07-02 cs.SD eess.AS
Thinking in cocktail party: Chain-of-Thought and reinforcement learning for target speaker automatic speech recognition
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）；MiLM Plus, Xiaomi Inc., China（MiLM Plus，小米公司，中国）
本文提出结合链式思维和强化学习的新型框架，提升目标说话人自动语音识别的性能。
2026-01-30 cs.SD eess.AS
You don't understand me!: Comparing ASR results for L1 and L2 speakers of Swedish
KTH Royal Institute of Technology（皇家理工学院）；Heriot-Watt University（赫瑞瓦特大学）
本研究比较了不同ASR服务对瑞典语母语者和非母语者朗读及自发语音的识别性能，使用词错误率量化差距，并分析导致转录错误的语言因素，以揭示ASR在非典型说话者场景下的局限性。
2024-05-22 cs.CL cs.SD eess.AS
Asymmetric Classifier-Free Guidance for Target-Speaker ASR
Worcester Polytechnic Institute（伍斯特理工学院）
针对目标说话人ASR在域偏移下性能下降的问题，提出基于Whisper的非对称分类器无关引导，通过单一引导尺度调整说话人条件贡献，并训练轻量级预测器逐句优化尺度，实现最高21.8%的相对词错误率降低。
2026-09-28 cs.CL cs.SD eess.AS
Joint ASR and Speaker Role Tagging with Serialized Output Training
Viterbi School of Engineering University of Southern California Los Angeles, USA（维特比工程学院 华盛顿大学南加州分校 洛杉矶 USA）
针对现有ASR系统无法识别说话人角色的问题，提出为Whisper添加角色专属token并结合SOT微调的方法，实现单次解码生成角色感知转写，多方WER降低超10%。
2025-06-12 cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa（亚马逊Alexa）
最近的研究表明，端到端ASR系统可以识别多个说话人的重叠语音。然而，所有已发表的作品都假设在推理期间没有延迟约束，这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上，已被证明是在低延迟的在线识别制度，以提供高的识别精度的递归神经网络传感器（RNN-T）。我们研究了RNN-T的两种多说话人模型训练方法：确定性输出目标分配和排列不变训练。我们表明，在前一种情况下，使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外，通过对单说话者和多说话者话语的多风格训练，所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER，这与先前报道的最先进的非流模型（10.3%）具有竞争力，而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
SQ-Whisper: Speaker-Querying based Whisper Model for Target-Speaker ASR
针对语音基础模型难以处理多说话人重叠语音的问题，提出SQ-Whisper模型，通过可训练说话人查询引导模型提取目标说话人特征，在多个数据集上实现词错误率显著下降并刷新最优性能。
2024-12-07 cs.SD eess.AS
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR，并设计自适应梯度反转层以稳定训练，实验验证了最优应用位置及组合策略，在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
End-to-End Multi-speaker ASR with Independent Vector Analysis
LINE Corporation（LINE公司）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
我们开发了一个端到端的多通道、多说话人自动语音识别系统。提出了一种基于独立向量分析（IVA）范式的联合源分离和去混响前端。它使用快速和稳定的迭代源转向算法与神经源模型。来自ASR模块和神经源模型的参数从ASR损失本身联合优化。我们证明了与以前的系统使用神经波束成形前端的竞争力。首先，我们探讨了使用不同数量的通道进行训练和测试时的权衡。其次，我们证明了所提出的IVA前端在噪声数据上表现良好，即使只在干净的混合物上训练。此外，它扩展到没有再培训的分离更多的扬声器，这是证明了三个和四个扬声器的混合物。
2022-04-01 cs.CL cs.SD eess.AS
Tandem Multitask Training of Speaker Diarisation and Speech Recognition for Meeting Transcription
Cambridge University（剑桥大学）
基于自监督学习的语音数据预训练模型，如Wav 2 Vec 2.0（W2 V2），已成为许多语音任务的骨干。在本文中，实现说话人diarisation和语音识别使用一个单一的模型，串联多任务训练（TMT）的方法，提出了微调W2 V2。对于说话人区分，语音活动检测（VAD）和说话人分类（SC）的任务是必需的，和连接主义时间分类（CTC）用于ASR。多任务框架使用W2 V2的早期层、中间层和后期层来实现VAD、SC和ASR，这与使用VAD分割音频、基于扬声器嵌入对片段进行聚类以及使用ASR转录每个片段的顺序一致。增强多方（AMI）数据集上的实验结果表明，使用不同的W2 V2层VAD，SC和ASR从早期到后期层TMT不仅节省了计算成本，而且还降低了diarisation错误率（DER）。与单独微调模型的基线相比，VAD，SC和ASR的联合微调分别使手动/自动分割的DER相对降低了16%/17%，并且说话人归因的单词错误率一致降低。
2022-07-08 cs.SD eess.AS
Unified Target-Speaker ASR with Text and Enrollment Speech Cues
Shanghai Normal University（上海师范大学）；Baidu（百度）；Unisound（云知声）
提出统一双线索TS-ASR框架，融合文本与注册语音线索，在30,000混合语音上实现8.80% CER，优于单一线索方法。
2026-09-29 cs.SD eess.AS eess.SP
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）；University of Maryland, College Park（马里兰大学帕克分校）；Pindrop；SRI International（SRI国际）
人口快速老龄化刺激了辅助设备的发展，为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统，其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别（ASR）技术以能够提供准确的发音反馈。与长期的目标，开发现成的ASR系统，可以纳入临床背景下，没有事先的扬声器信息，我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型，已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能，这些系统上的两个构音障碍的语音数据集的不同特征，以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距，显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
2020-11-03 cs.CL cs.SD eess.AS
Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection
Google（谷歌）
在嘈杂的条件下，自动语音识别（ASR）可以大大受益于来自说话者面部视频的视觉信号的添加。然而，当多个候选说话者可见时，这传统上需要解决单独的问题，即主动说话者检测（ASD），其需要在每个时刻选择哪个可见面部对应于音频。最近的工作表明，我们可以同时解决这两个问题，通过采用一个注意力机制的竞争视频轨道的发言人的脸，在牺牲一些准确性的代价，积极的发言人检测。这项工作通过提出一个可以与多任务损失联合训练的单一模型来缩小主动说话人检测准确性的差距。通过在训练过程中结合这两项任务，我们将ASD分类准确率降低了约25%，同时与专门针对ASR训练的多人基线相比，提高了ASR性能。
2022-05-10 cs.CV cs.LG cs.SD
Investigating data partitioning strategies for crosslinguistic low-resource ASR evaluation
Boston College（波士顿学院）；University of California, Davis（加州大学戴维斯分校）
许多自动语音识别（ASR）数据集包括单个预定义的测试集，该测试集由其语音从未出现在训练集中的一个或多个说话者组成。然而，这种“保持说话者”的数据划分策略对于说话者的数量非常少的数据集可能不是理想的。本研究调查了五种语言的十种不同的数据分割方法，使用最少的ASR训练资源。我们发现：（1）模型的性能随说话人的不同而有很大的差异;（2）所有说话人的平均单词出错率（WER）不仅与多个随机分割的平均WER相当，而且与任何给定的单个随机分割的平均WER相当;（3）当数据被反向或反向分割时，WER也具有一般的可比性;（4）无论数据如何分割，话语持续时间和强度都是相对更具有预测性的变异性因素。这些结果表明，广泛使用的保持扬声器的ASR数据分区的方法可以产生的结果，不反映模型的性能看不见的数据或扬声器。当面对数据稀疏时，随机分裂可以产生更可靠和更普遍的估计。
2022-08-26 cs.CL cs.SD eess.AS
Listen, Attend, Spell and Adapt: Speaker Adapted Sequence-to-Sequence ASR
Nuance Communications, Inc.（Nuance通信公司）
基于序列到序列（seq 2seq）的ASR系统已经显示出最先进的性能，同时在简单性方面具有明显的优势。然而，比较主要是在与说话者无关（SI）的ASR系统上进行的，尽管说话者自适应的常规系统在实践中通常用于提高对说话者和环境变化的鲁棒性。在本文中，我们将说话人自适应应用到seq 2seq模型中，目标是匹配传统ASR自适应的性能。具体来说，我们调查Kullback-Leibler分歧（KLD）以及线性隐藏网络（LHN）为seq 2seq ASR的适应，每个扬声器使用不同量（最多20小时）的适应数据。我们的SI模型在大量听写数据上进行训练，并获得了最先进的结果。我们通过seq 2seq模型的KLD适应获得了25%的相对字错误率（WER）改善，而传统系统中的声学模型适应获得了18.7%的增益。我们还表明，seq 2seq模型的WER随着适应数据量的增加而呈对数线性下降。最后，我们分析了基于最小WER准则的自适应，并将语言模型（LM）与说话人自适应seq 2seq模型进行分数融合，从而进一步提高了seq 2seq系统的性能。
2019-07-08 cs.CL cs.LG cs.SD
Data-independent Beamforming for End-to-end Multichannel Multi-speaker ASR
Research and Development Group（研发小组）；iFLYTEK Co., Ltd.（iFLYTEK公司）
本文提出一种与数据无关且无需训练的波束成形方法，通过处理特定角度扇区提升多通道多说话人ASR性能，在AMI语料库上词错误率最高降11%，说话人计数准确率最高升27%。
2025-09-12 cs.SD
Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Shanghai Lingguang Zhaxian Technology（上海灵光乍现科技）
本文提出Speaker-Reasoner，一种端到端的语音大语言模型，通过迭代分析音频结构和自主预测时间边界，提升了多说话人对话的转录和理解能力，尤其在处理重叠语音和复杂轮次转换方面表现优异。
2026-04-03 cs.CL cs.SD eess.AS
Speech Recognition and Multi-Speaker Diarization of Long Conversations
UC San Diego（加州大学圣迭戈分校）
传统上，语音识别（ASR）和说话者日记（SD）模型被分别训练以产生具有说话者标签的丰富对话转录。最近的进展表明，联合ASR和SD模型可以学习利用音频词汇相互依赖性来提高单词日记化性能。我们引入了一个新的基准，从每周一次的This American Life广播节目中收集的长达一小时的播客，以更好地比较这些方法时，适用于扩展的多扬声器对话。我们发现，当话语边界已知时，训练单独的ASR和SD模型表现得更好，但否则联合模型可以表现得更好。为了处理具有未知话语边界的长对话，我们引入了一种跨越注意解码算法和数据增强技术，结合模型预训练，提高了ASR和SD。
2020-11-05 cs.LG cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.（微软公司）
本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
The second multi-channel multi-party meeting transcription challenge (M2MeT) 2.0): A benchmark for speaker-attributed ASR
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Singapore Institute of Technology（新加坡理工学院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
ASRU2023举办的M2MeT 2.0挑战赛聚焦SA-ASR任务，设固定与开放训练两个子赛道，发布10小时新测试集，本文概述相关数据、设置、结果与系统分析，形成该领域现状基准。
2023-10-05 cs.SD eess.AS
SAML: Speaker Adaptive Mixture of LoRA Experts for End-to-End ASR
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出SAML方法，将LoRA模块作为MoE专家以减少可训练参数，并结合测试时说话人自适应，在模型压缩7倍的情况下显著降低了量化ASR模型的词错误率。
2024-06-28 cs.SD eess.AS
The JHU Multi-Microphone Multi-Speaker ASR System for the CHiME-6 Challenge
JHU（约翰斯·霍普金斯大学）
本文总结了JHU团队在CHiME-6挑战赛的第1和第2轨道上所做的努力，该挑战赛旨在实现日常家庭环境中的远程多麦克风对话语音日记和识别。我们探索了流水线每个阶段的多阵列处理技术，例如用于增强和声学模型训练数据的多阵列引导源分离（GSS），用于语音活动检测的后验融合，用于日志化的PLDA分数融合，以及用于自动语音识别（ASR）的格组合。我们还报告了不同的声学模型架构的结果，并集成了其他技术，如在线多通道加权预测误差（WPE）去混响和变分贝叶斯隐马尔可夫模型（VB-HMM）的重叠分配，分别处理混响和重叠扬声器。作为这些努力的结果，我们的ASR系统实现了40.5%和67.5%的字错误率的轨道1和2，分别对评估集。相对于相应赛道的挑战基线，这是10.8%和10.4%的绝对改善。
2020-06-14 cs.SD eess.AS
Balancing ASR and diarization in end-to-end LLMs for multi-talker speech recognition
Huawei Technologies, China（华为技术有限公司）
提出双编码器架构、特征交错格式、长度感知说话人ID损失和自适应阈值ASR损失策略，在有限真实数据下高效训练LLM系统，平衡ASR与说话人日志任务，在AliMeeting和Aishell4语料库上分别实现18%和24%的相对改进。
2026-06-12 cs.SD eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
在本文中，我们进行了一个比较研究的说话人属性的自动语音识别（SA-ASR）在多方会议的情况下，会议丰富的转录越来越受到关注的话题。具体而言，在这项研究中，三种方法进行了评估。第一种方法，FD-SOT，包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对，得到说话人属性的transmittance。然而，这种对齐策略可能会遭受错误的时间戳，由于模块的独立性，严重阻碍了模型的性能。因此，我们提出了第二种方法，WD-SOT，通过引入一个字级的日志模型，它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法，在一个真实的会议场景语料库，AliMeeting，实验结果表明，WD-SOT方法实现了10.7%的平均说话人相关字符出错率（SD-CER）的相对减少，相比FD-SOT方法。此外，TS-ASR方法也优于FD-SOT方法，并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Speaker Adaptation for Quantised End-to-End ASR Models
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出P4Q策略，通过结合NF4量化和LoRA说话人自适应，在模型缩小7倍且仅增加1%参数的情况下，使量化Whisper和Conformer ASR模型的WER分别相对降低15.1%和23.3%。
2024-08-07 cs.SD eess.AS
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.（本田研究院日本株式会社）；Carnegie Mellon University（卡内基梅隆大学）
CALM通过端到端框架整合目标说话人条件和上下文偏差，降低多说话人语音识别的词错误率和字符错误率，验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
Inference-Time Target Speaker Unlearning in LLM-Based Automatic Speech Recognition
Indiana University（印第安纳大学）
提出推理时目标说话人遗忘任务及轻量级注册条件门控模块，在冻结的语音LLM上动态实现新说话人退出转写，在AMI和AliMeeting上显著降低退出词准确率且不影响保留说话人性能。
2026-09-28 cs.CL cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Speaker adaptation for Wav2vec2 based dysarthric ASR
Brno University of Technology（布尔诺理工大学）
由于缺乏训练数据和说话人特征严重失配，构音障碍语音识别面临着重大挑战。最近的ASR系统受益于现成的预训练模型，如wav2vec2，以提高识别性能。使用fMLLR和xvectors的说话者自适应为构音障碍语音提供了主要增益，而自适应数据非常少。然而，在wav2vec2微调期间，wav2vec2与fMLLR功能或xvectors的集成还有待探索。在这项工作中，我们提出了一个简单的自适应网络微调wav2vec2使用fMLLR功能。自适应网络还可以灵活地处理其他扬声器自适应功能，如xvectors。实验分析表明，使用我们提出的方法在所有损伤严重程度上都有稳定的改善，并且在UASpeech数据集上达到了57.72\%WER。我们还在德国数据集上进行了实验，以证实我们提出的方法在不同领域的一致性。
2022-04-02 cs.AI cs.LG cs.SD
TTS Skins: Speaker Conversion via ASR
Tel Aviv University（特拉维夫大学）
我们提出了一个完全卷积的wav-to-wav网络，用于在说话者的声音之间进行转换，而不依赖于文本。我们的网络是基于一个编码器-解码器架构，其中的编码器是预先训练的自动语音识别的任务，和多扬声器波形解码器进行训练，以重建原始信号的自回归方式。我们训练讲述有声读物的网络，并在这些声音中演示多语音TTS，通过转换语音的TTS机器人。
2020-07-26 cs.LG cs.SD stat.ML
End-to-End Monaural Multi-speaker ASR System without Pretraining
Johns Hopkins University（约翰斯·霍普金斯大学）
近年来，端到端模型已成为自动语音识别（ASR）中传统混合模型的一种替代方法。多说话人语音分离与识别是鸡尾酒会问题的核心任务。在本文中，我们提出了一个国家的最先进的单耳多说话人端到端的自动语音识别模型。与以往单耳多说话人语音识别的研究相比，该端到端框架完全从头开始训练识别多个标签序列。该系统只需要语音混合和相应的标签序列，而不需要从非混合语音或相应的标签/对齐获得任何不确定的监督。此外，我们利用每个单独的扬声器和定时采样的个人注意力模块，以进一步提高性能。最后，我们评估所提出的模型上的2扬声器混合语音从WSJ语料库和wsj 0 - 2 mix数据集，这是一个语音分离和识别的基准。实验结果表明，该方法可以提高端到端模型在分离重叠语音和识别分离流方面的性能。从结果来看，所提出的模型导致约10.0%的相对性能增益CER和WER分别。
2018-11-05 cs.CL cs.SD eess.AS
