SA-SOT: Speaker-Aware Serialized Output Training for Multi-Talker ASR
Bytedance Research（字节跳动研究院）
针对多说话人 ASR 中 t-SOT 频繁切换说话人导致解码器上下文利用不足的问题，本文提出 SA-SOT，通过掩码标签辅助损失和说话人相似度约束自注意力，在 LibrispeechMix 上取得 3.41% cpWER 的新最优结果。
2024-03-04 cs.SD eess.AS
A CTC Triggered Siamese Network with Spatial-Temporal Dropout for Speech Recognition
Siamese网络在无监督视觉表征学习中表现出了有效的结果。这些模型旨在通过最大化它们的相似性来学习一个输入的两个增强的不变表示。本文提出了一种有效的Siamese网络来提高端到端自动语音识别（ASR）的鲁棒性。我们引入时空dropout来支持Siamese-ASR框架的更剧烈的扰动。此外，我们还放松了相似性正则化，以最大限度地提高关联时间分类（CTC）尖峰出现的帧上的分布的相似性，而不是在所有的帧上。在AISHELL-1和Librispeech两个基准测试上，该架构的效率分别降低了7.13%和6.59%。分析表明，我们提出的方法带来了更好的均匀性的训练模型，并扩大了CTC尖峰明显。
2022-06-22 eess.AS
Joint ASR and Speaker Role Tagging with Serialized Output Training
Viterbi School of Engineering University of Southern California Los Angeles, USA（维特比工程学院 华盛顿大学南加州分校 洛杉矶 USA）
针对现有ASR系统无法识别说话人角色的问题，提出为Whisper添加角色专属token并结合SOT微调的方法，实现单次解码生成角色感知转写，多方WER降低超10%。
2025-06-12 cs.SD eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
在本文中，我们进行了一个比较研究的说话人属性的自动语音识别（SA-ASR）在多方会议的情况下，会议丰富的转录越来越受到关注的话题。具体而言，在这项研究中，三种方法进行了评估。第一种方法，FD-SOT，包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对，得到说话人属性的transmittance。然而，这种对齐策略可能会遭受错误的时间戳，由于模块的独立性，严重阻碍了模型的性能。因此，我们提出了第二种方法，WD-SOT，通过引入一个字级的日志模型，它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法，在一个真实的会议场景语料库，AliMeeting，实验结果表明，WD-SOT方法实现了10.7%的平均说话人相关字符出错率（SD-CER）的相对减少，相比FD-SOT方法。此外，TS-ASR方法也优于FD-SOT方法，并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Advancing Multi-talker ASR Performance with Large Language Models
Tencent AI Lab（腾讯AI实验室）
本文提出基于大语言模型的序列化输出训练方法用于多说话人ASR，通过微调预训练语音编码器和LLM，在LibriMix和AMI数据集上超越传统AED方法并取得最先进性能。
2024-08-30 cs.AI eess.AS
SA-Paraformer: Non-autoregressive End-to-End Speaker-Attributed ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
本文提出非自回归端到端 SA-Paraformer，通过单步并行解码、说话人填充和 inter-CTC 提升 SA-ASR 效率与性能。
2023-10-07 cs.SD eess.AS
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI（微软云计算与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种流说话人属性的自动语音识别（SA-ASR）模型，可以识别"谁说了什么“，即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练（t-SOT），这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份，我们提出了一个基于编码器-解码器的说话人嵌入提取器，可以估计每个识别的令牌，不仅从非重叠的语音，但也从重叠的语音的说话人表示。所提出的说话人嵌入，命名为t-vector，与t-SOT ASR模型同步提取，使说话人识别（SID）或说话人日记（SD）与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性，并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
最近，神经结构搜索（NAS）已被成功地用于图像分类，自然语言处理，和自动语音识别（ASR）的任务，寻找国家的最先进的（SOTA）的架构比那些人类设计的架构。NAS可以通过搜索算法从预定义的搜索空间中获得验证数据上的SOTA和数据特定架构。受NAS在ASR任务中的成功启发，我们提出了一个基于NAS的ASR框架，该框架包含一个搜索空间和一个可区分的搜索算法，称为可区分的架构搜索（DARTS）。我们的搜索空间遵循卷积增强的Transformer（Conformer）主干，这是一个比现有的基于NAS的ASR框架中使用的更具表现力的ASR架构。为了提高算法的性能，采用了动态搜索调度（DSS）的调整方法。在一个广泛使用的普通话基准AISHELL-1上，我们的最佳搜索架构明显优于基线一致模型，约11%的CER相对改善，我们的方法被证明是非常有效的搜索成本比较。
2021-04-13 cs.SD eess.AS
Spike-Triggered Contextual Biasing for End-to-End Mandarin Speech Recognition
Northwestern Polytechnical University（西北工业大学）；WeNet Open Source Community（WeNet开源社区）
针对深度上下文偏置方法偏置程度难控的问题，提出支持显式隐式偏置的尖峰触发深度偏置方法，搭配采样增强与短语过滤改进，在WenetSpeech数据集上CER相对降32.0%，上下文短语降68.6%。
2023-10-07 cs.SD eess.AS
Enhancing AAC Software for Dysarthric Speakers in e-Health Settings: An Evaluation Using TORGO
Northeastern University（东北大学）；University of Victoria（维多利亚大学）
本研究针对构音障碍者在医疗场景中ASR识别率低的问题，提出打破TORGO数据集提示重叠的算法，并评估n-gram和LLM错误纠正方法，以提升非典型语音识别，促进公平医疗访问。
2024-11-08 cs.CL cs.HC cs.SD
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA（英伟达）
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题，仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus
Department of Telecommunications and Artificial Intelligence（电信与人工智能系）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Speechtex Ltd.（Speechtex公司）；ELTE Research Centre for Linguistics（ELTE语言学研究中心）
针对匈牙利语对话语音识别训练数据不足的问题，本文通过放宽分割标准扩展BEA-Dialogue语料库至200小时，并评估基于Whisper和FastConformer的模型，证明基于序列化输出训练的微调能持续改善识别性能。
2026-05-29 cs.AI cs.CL cs.SD
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
MFCCA:Multi-Frame Cross-Channel attention for multi-speaker ASR in Multi-party meeting scenario
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
最近，跨通道注意力，更好地利用来自麦克风阵列的多通道信号，在多方会议场景中显示出有希望的结果。跨通道的注意力集中在学习不同通道序列之间的全局相关性或在每个时间步有效地利用细粒度的通道信息。考虑到麦克风阵列接收声音的延迟，我们提出了一种多帧跨通道注意力，它模型相邻帧之间的跨通道信息，利用帧和通道的知识互补。此外，我们还提出了一种多层卷积机制来融合多通道输出和通道掩蔽策略，以解决训练和推理之间的通道数不匹配问题。在AliMeeting真实语料库上的实验表明，该模型在Eval和Test集上的CER降低率分别比单通道模型提高了31.7%和37.0%。此外，具有可比的模型参数和训练数据，我们提出的模型实现了一个新的SOTA性能的AliMeeting语料库相比，在ICASSP2022 M2MeT挑战赛，最近举行的多声道多扬声器ASR挑战赛的顶级系统。
2022-10-11 cs.SD eess.AS
VINP: Variational Bayesian Inference with Neural Speech Prior for Joint ASR-Effective Speech Dereverberation and Blind RIR Identification
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering（工程学院）；Westlake Institute for Advanced Study（西湖研究学院）
提出VINP框架，将神经语音先验融入变分贝叶斯推断，联合实现语音去混响与盲RIR识别，在MOS、WER及RT60估计上达到SOTA性能。
2025-09-09 cs.AI cs.LG eess.AS
Diarization-Aware Multi-Speaker Automatic Speech Recognition via Large Language Models
本文提出一种融合说话人分离与大语言模型的多说话人语音识别系统，通过结构化分离输入和帧级嵌入实现片段级转录，在高重叠会议场景中表现优异。
2025-06-06 eess.AS
TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Johns Hopkins University（约翰霍普金斯大学）
研究提出TagSpeech框架，利用时间锚点定位技术联合多说话人ASR与说话人分离。通过关键设计解决细粒度对齐挑战，端到端建模“谁在何时说了什么”。实验显示其在DER上优于基线，采用参数高效训练范式，低计算成本获强性能。
2026-07-14 cs.CL eess.AS
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架，通过结合连续语音分离前端、双模型/双遍架构及分段SOT，平衡多说话人语音识别的延迟与准确率，适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Cross-Speaker Encoding Network for Multi-Talker Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
提出跨说话人编码网络，结合SIMO与SOT优势，在LibrispeechMix上较SIMO降低WER 8%，较SOT降低10%，高重叠语音降低16%。
2024-07-22 cs.AI cs.CL cs.SD
Lattice-based Improvements for Voice Triggering Using Graph Neural Networks
Apple（苹果公司）
语音触发的智能助理通常依赖于在开始监听用户请求之前检测到一个短语。减少错误触发是构建以隐私为中心的非侵入式智能助理的一个重要方面。在本文中，我们解决了错误触发缓解（FTM）的任务，使用一种新的方法的基础上分析自动语音识别（ASR）格使用图神经网络（GNN）。所提出的方法使用的事实是，解码晶格的错误触发的音频表现出不确定性方面的许多替代路径和意想不到的词的晶格弧相比，晶格的正确触发的音频。纯粹的短语检测器模型不能充分利用用户语音的意图，而通过使用用户音频的完整解码网格，我们可以有效地减轻不针对智能助理的语音。在本文中，我们分别基于1）图卷积层和2）自注意机制部署了两种GNN变体。我们的实验表明，GNN在FTM任务中具有高度的准确性，在99%的真阳性率（TPR）下减少了约87%的错误触发。此外，所提出的模型是快速的训练和有效的参数要求。
2020-01-25 cs.CL cs.LG cs.SD
