首页/论文/1704.01985

arXiv 1704.019852017-04cs.SDcs.LGeess.AS

基于排列不变训练的多说话人语音识别

Recognizing Multi-talker Speech with Permutation Invariant Training

Microsoft Research（微软研究院）；Shanghai Jiao Tong University（上海交通大学）

Dong Yu, Xuankai Chang, Yanmin Qian

备注：: 5 pages, 6 figures, InterSpeech2017

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们提出了一种新的技术，直接识别多个语音流的混合语音的单通道，而不首先分离它们。我们的技术是基于自动语音识别（ASR）的排列不变训练（PIT）。在PIT-ASR中，我们为每个可能的输出目标分配计算整个话语中所有帧的平均交叉熵（CE），选择具有最小CE的一个，并为该分配进行优化。PIT-ASR强制同一扬声器的所有帧与同一输出层对齐。这种策略优雅地解决了标签排列问题和说话人跟踪问题。人工混合AMI数据的实验表明，该方法是非常有前途的。

英文摘要：

In this paper, we propose a novel technique for direct recognition of multiple speech streams given the single channel of mixed speech, without first separating them. Our technique is based on permutation invariant training (PIT) for automatic speech recognition (ASR). In PIT-ASR, we compute the average cross entropy (CE) over all frames in the whole utterance for each possible output-target assignment, pick the one with the minimum CE, and optimize for that assignment. PIT-ASR forces all the frames of the same speaker to be aligned with the same output layer. This strategy elegantly solves the label permutation problem and speaker tracing problem in one shot. Our experiments on artificially mixed AMI data showed that the proposed approach is very promising.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

单通道多人语音识别的排列不变训练

Single-Channel Multi-talker Speech Recognition with Permutation Invariant Training

Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）

虽然自动语音识别（ASR）取得了很大的进展，但在识别多说话人混合语音时，性能仍有很大的下降。在本文中，我们提出并评估了几种架构来解决这个问题的假设下，只有一个通道的混合信号是可用的。我们的技术通过引入具有最小均方误差（MSE）标准的前端特征分离模块和具有最小交叉熵（CE）标准的后端识别模块来扩展排列不变训练（PIT）。更具体地说，在训练过程中，我们为每个可能的话语级输出目标分配计算整个话语的平均MSE或CE，选择具有最小MSE或CE的一个，并为该分配进行优化。该策略优雅地解决了在基于深度学习的多说话者混合语音分离和识别系统中观察到的标签排列问题。建议的架构进行评估和比较人工混合AMI数据集与两个和三个说话者混合语音。实验结果表明，我们提出的架构可以削减45.0%和25.0%的字出错率（WER）相对于国家的最先进的单说话者语音识别系统在所有发言者时，他们的能量是可比的，两个和三个说话者的混合语音，分别。据我们所知，这是第一个工作的多说话人混合语音识别具有挑战性的非特定人自发大词汇量连续语音任务。

2017-07-19cs.CLcs.LGcs.SD

流式端到端多说话者语音识别

Streaming end-to-end multi-talker speech recognition

Microsoft Corp.（微软公司）

端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。

2021-03-12cs.CLcs.SDeess.AS

基于深度循环神经网络的话语级置换不变训练的多说话人语音分离

Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks

Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Research（微软研究院）；Oticon A/S（奥迪康公司）

在本文中，我们提出了话语级排列不变训练（uPIT）技术。uPIT是一种实际适用的、端到端的、基于深度学习的解决方案，用于与说话者无关的多说话者语音分离。具体而言，uPIT扩展了最近提出的Permutation Invariant Training（PIT）技术与话语级成本函数，从而消除了在推理过程中解决额外的置换问题的需要，否则需要帧级PIT。我们使用循环神经网络（RNN）来实现这一点，该网络在训练期间最小化话语级分离误差，从而迫使属于同一说话者的分离帧与同一输出流对齐。在实践中，这允许使用uPIT训练的RNN在没有任何关于信号持续时间、说话者数量、说话者身份或性别的先验知识的情况下分离多说话者混合语音。我们在WSJ0和丹麦的两个和三个说话者的混合语音分离任务上评估了uPIT，发现uPIT优于基于非负矩阵分解（NMF）和计算听觉景物分析（CASA）的技术，并与深度聚类（DPCL）和深度吸引子网络（DANet）相媲美。此外，我们发现用uPIT训练的模型可以很好地推广到看不见的说话者和语言。最后，我们发现使用uPIT训练的单个模型可以处理两个扬声器和三个扬声器的语音混合。

2017-07-11cs.LGcs.SDeess.AS

基于时延控制BLSTM的单通道多说话人语音分离的话语级置换不变训练

Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation

Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；North China Power Engineering CO., LTD. of China Power Engineering Consulting Group（中国电力工程顾问集团华北电力设计院有限公司）

语音级置换不变训练（uPIT）在单通道多人语音分离任务中取得了可喜的进展。长短期记忆（LSTM）和双向LSTM（BLSTM）被广泛用作uPIT的分离网络，即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM具有更低的延迟但性能更差，而uPIT-BLSTM具有更好的性能但延迟更高。在本文中，我们提出使用延迟控制的BLSTM（LC-BLSTM）在推理过程中，以实现低延迟和高性能的语音分离。为了寻找更好的BLSTM分离网络的训练策略，比较了块级PIT（cPIT）和uPIT。实验结果表明，当在推理过程中使用LC-BLSTM时，uPIT的性能优于cPIT。研究还发现，语块间说话人跟踪（ST）可以进一步提高uPIT-LC-BLSTM的分离性能。在WSJ 0双说话人混合语音分离实验中，uPIT-BLSTM和uPIT-LC-BLSTM的信号失真比（SDR）的绝对差距减小到0.7dB以内。

2019-12-25cs.LGcs.SDeess.AS

用于非特定人多说话人语音分离的深度模型的排列不变训练

Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation

Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）

我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。

2017-01-03cs.CLcs.LGcs.SD

基于学习主导度的序列化输出训练

Serialized Output Training by Learned Dominance

Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）

本文提出一种基于学习主导度的序列化策略，通过在注意力编码器-解码器中引入辅助模块自动确定多说话人语音输出顺序，在LibriSpeech和LibriMix上显著优于PIT和FIFO基线。

2024-07-04cs.AIcs.SDeess.AS

更多相关论文收起更多论文

基于循环神经网络和置换不变训练的多人语音联合分离与去噪

Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training

Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）

在本文中，我们提出使用话语级排列不变训练（uPIT）的说话人无关的多说话人语音分离和去噪，同时。具体而言，我们使用uPIT训练深度双向长短期记忆（LSTM）循环神经网络（RNN），用于在多种噪声条件下（包括合成和真实噪声信号）进行单通道说话者独立的多说话者语音分离。我们专注于我们的实验依赖于各种类型的先验知识，例如在噪声类型和同时发言者的数量的模型的泛化能力和噪声鲁棒性。我们表明，在噪声环境中使用uPIT训练的深度双向LSTM RNN可以提高信号失真比（SDR）以及扩展的短时客观可懂度（ESTOI）测量，对于各种噪声类型和信噪比（SNR），在说话人独立的多说话人语音分离和去噪任务中。具体来说，我们首先表明，当使用已知的噪声类型进行评估时，LSTM RNN可以实现较大的SDR和ESTOI改进，并且单个模型能够处理多种噪声类型，性能仅略有下降。此外，我们证明了单个LSTM RNN可以处理两个扬声器和三个扬声器的噪声混合，而无需关于扬声器确切数量的先验知识。最后，我们证明了使用uPIT训练的LSTM RNN可以很好地推广到训练过程中看不到的噪声类型。

2017-08-31cs.SDeess.AS

面向多说话人语音识别的软后验说话人注入

Soft Posterior Speaker Injection for Multi-Talker Speech Recognition

Zhejiang Lab（浙江实验室）；Zhejiang International Studies University（浙江外国语大学）

提出软后验说话人注入（SPSI）方法，通过将帧级说话人后验注入 Whisper，在 LibriSpeech、LibriCSS 多说话人语音识别任务上降低了 cpWER，表现优于序列化输出训练（SOT）。

2026-09-18cs.MMcs.SD

基于位置训练的多通道说话人无关说话人分离

Location-based training for multi-channel talker-independent speaker separation

The Ohio State University（俄亥俄州立大学）

置换不变训练（PIT）是解决说话人无关说话人分离中置换模糊问题的主要方法。利用麦克风阵列提供的空间信息，我们提出了一种新的训练方法来解决多通道说话人分离的排列歧义。所提出的方法，命名为基于位置的训练（LBT），分配扬声器的基础上，他们的空间位置。这种训练策略很容易应用，并根据他们在物理空间中的位置来组织演讲者。具体而言，本研究调查方位角和源距离为基础的位置培训。对两个和三个说话人混合语音的分离实验结果表明，基于方位角的训练方法的分离性能始终优于PIT方法，而基于距离的训练方法在说话人方位角接近时进一步提高了分离性能。此外，我们动态地选择基于方位角或基于距离的训练，通过估计分离的扬声器的方位角，这进一步提高了分离性能。LBT的训练复杂度与说话者的数量成线性关系，而PIT的复杂度是阶乘。我们进一步证明了LBT的有效性分离的四个和五个并发扬声器。

2021-10-08cs.SDeess.AS

分而治之：一种深度CASA方法用于与说话人无关的单声道说话人分离

Divide and Conquer: A Deep CASA Approach to Talker-independent Monaural Speaker Separation

The Ohio State University（俄亥俄州立大学）

我们从深度学习和计算听觉景物分析（CASA）的角度解决与说话者无关的单耳说话者分离。具体来说，我们将多说话人分离任务分解为同时分组和顺序分组两个阶段。同时分组首先在每个时间帧中进行分离的频谱不同的发言人与排列不变的训练神经网络。在第二阶段中，帧级分离的频谱通过聚类网络顺序地分组到不同的扬声器。所提出的深度CASA方法依次优化了帧级分离和说话人跟踪，并为这两个目标产生了良好的效果。在WSJ 0 - 2 mix基准数据库上的实验结果表明，该方法在模型规模较小的情况下取得了较好的效果.

2019-04-25cs.LGcs.SDeess.AS

基于 Transducer 的多说话人语音翻译中的流式说话人变更检测与性别分类

Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation

Microsoft（微软公司）

本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中，以同时实现多说话人场景下的流式说话人变更检测与性别分类，实验验证了该方法的高准确率。

2025-02-04cs.AIcs.CLcs.SD

带Transformer的端到端扬声器属性ASR

End-to-End Speaker-Attributed ASR with Transformer

Microsoft Corp.（微软公司）

本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。

2021-04-05cs.CLcs.SDeess.AS

聆听多方对话：模块化与端到端视角

Listening to Multi-talker Conversations: Modular and End-to-end Perspectives

Johns Hopkins University（约翰斯·霍普金斯大学）

本文研究说话人归属的多说话人语音识别问题，提出模块化（基于说话人日志、目标说话人提取与ASR的流水线）与端到端（SURT模型联合训练）两种视角，有效解决了多方自由对话的识别与转录。

2024-02-14cs.SDeess.AS

基于多分辨率位置训练的多通道连续语音分离

Multi-resolution location-based training for multi-channel continuous speech separation

Department of Computer Science and Engineering, The Ohio State University, USA（美国俄亥俄州立大学计算机科学与工程系）；Center for Cognitive and Brain Sciences, The Ohio State University, USA（美国俄亥俄州立大学认知与脑科学中心）

当多说话人语音重叠时，自动语音识别（ASR）系统的性能会严重下降。在会议环境中，通常执行语音分离以提高ASR系统的鲁棒性。最近，基于位置的训练（LBT）被提出作为一种新的训练标准，用于多通道说话人无关的说话人分离。假设固定的阵列几何形状，LBT在完全重叠的话语和匹配的混响条件下优于广泛使用的置换不变训练。本文将LBT扩展到会话多声道说话人分离。我们引入多分辨率LBT来估计从低到高的时间和频率分辨率的复杂频谱图。使用多分辨率LBT，卷积核是基于物理空间中的扬声器位置一致地分配的。评估结果表明，多分辨率LBT在记录的LibriCSS语料库上始终优于其他竞争方法。

2023-01-16cs.SDeess.AS

基于分组排列不变训练的长格式语音分离

Separating Long-Form Speech with Group-Wise Permutation Invariant Training

Microsoft（微软）

多人会话语音处理在会议记录等应用中引起了广泛的关注。通常需要语音分离来处理在对话中经常观察到的重叠语音。虽然原始的基于话语级置换不变训练的连续语音分离方法已被证明在各种条件下都是有效的，但它缺乏利用话语的长跨度关系的能力，并且由于高度重叠的滑动窗口而计算效率低下。为了克服这些缺点，我们提出了一种新的训练方案，名为Group-PIT，它允许直接训练的语音分离模型的长形式的语音与低计算成本的标签分配。研究了两种不同的基于Group-PIT的语音分离方法，包括直接的长跨度语音分离和基于长跨度跟踪的短跨度语音分离。在模拟会议类型数据上的实验表明了本文方法的有效性，特别是在处理超长语音输入时。

2021-11-17cs.SDeess.AS

多通道对话式说话人分离：基于神经日志的说话人分离

Multi-channel Conversational Speaker Separation via Neural Diarization

The Ohio State University（俄亥俄州立大学）

提出多通道SSND框架，利用端到端日志和位置训练解决排列模糊，实现高效长段分离，在LibriCSS上大幅提升日志和ASR性能。

2023-11-15cs.SDeess.AS

在模块化说话人日志中结合空间线索用于多通道多方会议

Incorporating Spatial Cues in Modular Speaker Diarization for Multi-channel Multi-party Meetings

University of Science and Technology of China (USTC)（中国科学技术大学）；iFlytek Research（讯飞研究院）

本文提出一种三阶段模块化说话人日志系统，利用多通道语音空间线索为NSD解码各阶段提供准确初始化，在CHiME-8 NOTSOFAR-1挑战赛中获第一名并提升了识别性能。

2024-09-25cs.SDeess.AS

URGENT-PK：为语音增强竞赛设计的感知对齐排序模型

URGENT-PK: Perceptually-Aligned Ranking Model Designed for Speech Enhancement Competition

Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Technische Universität Braunschweig（Braunschweig 技术大学）；Google DeepMind（谷歌DeepMind）；Waseda University（早稻田大学）；Meta

针对MOS人工标注成本高且现有预测模型受限于数据不足的问题，提出URGENT-PK成对排序方法，利用同源语音对预测相对质量，在有限数据下实现了优于基线的系统级排序性能。

2025-06-30cs.SDeess.AS