In this paper, we propose a novel approach for the transcription of speech conversations with natural speaker overlap, from single channel speech recordings. The proposed model is a combination of a speaker diarization system and a hybrid automatic speech recognition (ASR) system. The speaker conditioned acoustic model (SCAM) in the ASR system consists of a series of embedding layers which use the speaker activity inputs from the diarization system to derive speaker specific embeddings. The output of the SCAM are speaker specific senones that are used for decoding the transcripts for each speaker in the conversation. In this work, we experiment with the automatic speaker activity decisions generated using an end-to-end speaker diarization system. A joint learning approach is also proposed where the diarization model and the ASR acoustic model are jointly optimized. The experiments are performed on the mixed-channel two speaker recordings from the Switchboard corpus of telephone conversations. In these experiments, we show that the proposed acoustic model, incorporating speaker activity decisions and joint optimization, improves significantly over the ASR system with explicit source filtering (relative improvements of 12% in word error rate (WER) over the baseline system).
From Who Said What to Who They Are: Modular Training-free Identity-Aware LLM Refinement of Speaker Diarization
The Fu Foundation School of Engineering and Applied Science, Columbia University(哥伦比亚大学富工程学院与应用科学学院);School of Nursing, Columbia University(哥伦比亚大学护理学院)
MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);School of Intelligent Science and Technology, Nanjing University(南京大学智能科学与技术学院);Shenzhen Loop Area Institute(深圳河套学院);Base Model, Li Auto(理想汽车基础模型)
Scaling Multi-Talker ASR with Speaker-Agnostic Activity Streams
Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系);Faculty of Information Technology, Brno University of Technology(布拉格技术大学信息科技学院);Human Language Technology Center of Excellence, Johns Hopkins University(约翰霍普金斯大学人机语言技术中心卓越中心)
Investigation of End-To-End Speaker-Attributed ASR for Continuous Multi-Talker Recordings
Microsoft(微软)
近年来,针对单声道重叠语音,提出了一种端到端(E2 E)说话人属性自动语音识别(SA-ASR)模型,作为说话人计数、语音识别和说话人识别的联合模型。它显示了有前途的结果,由不同数量的扬声器的模拟语音混合物。然而,该模型需要说话人轮廓的先验知识来进行说话人识别,这极大地限制了该模型的应用。在本文中,我们扩展了以前的工作,解决的情况下,没有扬声器配置文件。具体来说,我们使用E2 E SA-ASR模型的内部扬声器表示来进行扬声器计数和聚类,以将扬声器库存中缺少配置文件的扬声器的话语进行diarize。我们还对E2 E SA-ASR训练的参考标签提出了一个简单的修改,这有助于很好地处理连续的多说话者录音。我们对原始E2 E SA-ASR和单耳LibriCSS数据集上的所提出的方法进行了全面的调查。与原始的E2 E SA-ASR与相关的扬声器配置文件相比,所提出的方法实现了接近的性能,没有任何先验扬声器知识。我们还表明,在E2 E SA-ASR模型中的源-目标注意力提供了关于假设的开始和结束时间的信息。
Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR
Microsoft(微软)
本文提出了一种新的神经说话人日志化方法,即Transcribe-to-Diarize,它使用端到端(E2 E)说话人属性自动语音识别(SA-ASR)。E2 E SA-ASR是最近提出的用于说话者计数、多说话者语音识别和来自包含重叠语音的单声道音频的说话者识别的联合模型。虽然E2 E SA-ASR模型最初不估计任何与时间相关的信息,但我们表明,通过添加少量可学习的参数,可以从E2 E SA-ASR的内部状态以足够的精度估计每个单词的开始和结束时间。与基于目标说话人语音活动检测(TS-VAD)的日志化方法类似,E2 E SA-ASR模型被应用于估计每个说话人的语音活动,同时它具有以下优点:(i)处理无限数量的说话人,(ii)利用语言信息进行说话人日志化,以及(iii)同时生成说话人属性transmittance。在LibriCSS和AMI语料库上的实验结果表明,当说话人数目未知时,该方法的语音识别错误率明显优于现有的各种说话人语音识别方法;当说话人数目预先给定时,该方法的语音识别性能与TS-VAD相当.所提出的方法同时生成扬声器属性的转录与国家的最先进的准确性。
From Independence to Interaction: Speaker-Aware Simulation of Multi-Speaker Conversational Timing
Dept. of Telecommunications and Artificial Intelligence(电信与人工智能系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Speechtex Ltd.(Speechtex有限公司)
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-国立科技大学全球可持续发展公司实验室);Nanyang Technological University(国立科技大学);College of Computing and Data Science(计算与数据科学学院)
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.(微软公司)
说话人属性自动语音识别(SA-ASR)是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面,考虑到联合优化,最近提出了一种端到端(E2 E)SA-ASR模型,并在仿真数据上取得了令人满意的结果。在本文中,我们提出了我们最近的研究比较真实的单声道录音,这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据,包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库,为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道,执行E2 E SA-ASR模型后,扬声器聚类。在AMI会议语料库上的评价表明,经过少量的实际数据微调后,联合系统的准确率比最好的模块系统提高了8.9- 29.9%,而模块系统在微调前的准确率更高。我们还进行了各种误差分析,以显示单耳SA-ASR的剩余问题。
Hypothesis Stitcher for End-to-End Speaker-attributed ASR on Long-form Multi-talker Recordings
Microsoft(微软)
最近提出了一种端到端(E2 E)的说话人属性自动语音识别(SA-ASR)模型,用于联合执行说话人计数、语音识别和说话人辨识。该模型实现了一个低的扬声器归因字出错率(SA-WER)的单声道重叠语音包括一个未知数量的扬声器。然而,E2 E建模方法容易受到训练和测试条件之间的不匹配的影响。E2 E SA-ASR模型是否适用于比训练期间看到的样本长得多的记录,还有待研究。在这项工作中,我们首先将一种已知的解码技术应用于我们的E2 E SA-ASR任务,该解码技术是为长格式音频执行单扬声器ASR而开发的。然后,我们提出了一种新的方法,使用一个序列到序列的模型,称为hypothesis prischer。该模型采用从原始长形式输入中提取的短音频片段获得的多个假设,然后输出融合的单个假设。我们提出了几个架构的变化的假设的解码器模型,并比较它们与传统的解码方法。使用LibriSpeech和LibriCSS语料库的实验表明,该方法显着提高SA-WER,特别是对于长形式的多说话人录音。
ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion
Coqui(Coqui公司);QuintoAndar(QuintoAndar公司);Darmstadt University of Applied Sciences(达姆施塔特应用技术大学);São Paulo State University(圣保罗州立大学);Federal University of Goiás(戈亚斯联邦大学);Mercado Livre(自由市场公司)
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation(日本电报电话公司);Tokyo Institute of Technology(东京工业大学)
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别(ASR)性能,但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而,前端模块的额外计算成本是快速响应的关键障碍,特别是对于流式ASR。在本文中,我们提出了一个目标扬声器ASR(TS-ASR)系统,隐式地集成了流端到端(E2 E)ASR系统,即递归神经网络换能器(RNNT)内的目标语音提取功能。我们的系统使用了类似的想法,通过目标语音提取,但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意,这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型,而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实,我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能,同时降低计算成本,实现流TS-ASR。