Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Localization Based Sequential Grouping for Continuous Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；The Ohio State University（俄亥俄州立大学）
本文研究了连续语音分离和说话人日志化的鲁棒说话人定位方法，即利用说话人方向对同一说话人的非连续段进行分组。假设说话人不移动，并位于不同的方向，到达方向（DOA）的信息提供了一个准确的顺序分组和说话人日记的信息线索。我们的系统在以下意义上是块在线的。给定一个最多有两个说话人的帧块，我们应用两个说话人分离模型来分离（和增强）说话人，估计每个分离的说话人的DOA，并根据DOA估计将分离结果分组到块中。在LibriCSS语料库上的说话人日志化和说话人属性语音识别结果验证了该算法的有效性。
2021-07-14 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了扬声器分离使用扬声器库存和估计的语音（SSUSIES），一个框架，利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法，说话人分离使用说话人清单（SSUSI）和说话人分离使用估计语音（SSUES）。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练（PIT）和语音提取的优点，SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术，它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
Recursive speech separation for unknown number of speakers
本文提出了一种未知说话人数目的单通道非特定人多说话人语音分离方法。相对于以前的作品，其中的扬声器的数量被假定为是已知的提前和语音分离模型是特定的扬声器的数量，我们所提出的方法可以应用于不同数量的扬声器使用一个单一的模型，通过递归分离扬声器的情况。为了使分离模型递归适用，我们提出了一个和其余的排列不变训练（OR-PIT）。WSJ 0 - 2 mix和WSJ 0 - 3 mix数据集上的评估表明，我们提出的方法实现了最先进的结果，两个和三个扬声器混合与一个单一的模型。此外，相同的模型可以分离四个扬声器混合，这是在训练过程中从未见过的。我们进一步提出了在递归分离过程中检测混合物中的扬声器数量，并表明这种方法可以更准确地估计扬声器的数量比使用基于深度神经网络的分类器提前检测。
2019-09-02 cs.SD eess.AS
MIRNet: Learning multiple identities representations in overlapped speech
Yonsei University（延世大学）
许多方法可以通过学习识别声学参数的一致特性来从语音中获得关于单个说话者身份的信息。然而，当在给定信号中存在多个并发说话者时，确定身份信息是具有挑战性的。在本文中，我们提出了一种新的深度说话人表示策略，可以可靠地从重叠的语音中提取多个说话人身份。我们设计了一个网络，可以提取一个高层次的嵌入，包含信息的每个扬声器的身份从一个给定的混合。与传统方法需要参考声学特征进行训练不同，我们提出的算法只需要重叠语音段的说话人身份标签。我们证明了我们的算法在说话人确认任务和语音分离系统的条件下，通过所提出的方法获得的目标说话人嵌入的有效性和实用性。
2020-08-06 cs.SD eess.AS
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Improved I-vector-based Speaker Recognition for Utterances with Speaker Generated Non-speech sounds
TCS Innovation Labs-Mumbai（塔塔咨询服务公司孟买创新实验室）
会话言语不仅包含中性言语的几种变体，而且还显著地与说话者产生的几种非言语声音（如笑声和呼吸）交织。一个鲁棒的说话人识别系统应该能够识别说话人，而不管他的语音中的这些变化。了解这些变化所代表的特定于说话人的信息是否相似，有助于建立一个良好的说话人识别系统。在本文中，说话人的中性语音捕获的扬声器变化进行了分析，考虑语音笑（中性语音的变体）和笑声（非语音）的声音说话人。我们研究了一个基于i向量的说话人识别系统，该系统只训练了中性语音，并评估了它在语音笑声和笑声上的性能。此外，我们分析了在基于i向量的说话人识别系统的训练过程中包括笑声的效果。我们的实验结果表明，在训练过程中的笑声的声音似乎提供了互补的特定于说话人的信息，从而导致在说话人识别系统的整体性能的提高，特别是在话语与语音笑段。
2017-05-25 cs.SD
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
深度学习在语音分离，特别是语音和非语音分离方面显示出巨大的潜力。然而，它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练（PIT）通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音，目标说话人的短语音，来建模说话人身份。在本文中，我们提出了一个简单的策略来训练一个长短期记忆（LSTM）模型，以解决说话人分离中的置换问题。具体地说，我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此，第一个出现的说话者被定义为目标。由于强大的序列建模能力，LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明，该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong（香港中文大学）
绝大多数语音分离方法都假设说话者的数量是预先已知的，因此它们特定于说话者的数量。相比之下，一个更现实和更具挑战性的任务是分离一个混合，其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题，提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段，即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代，并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加，失真的累积最终进入提取的语音和提醒。因此，在第二阶段，我们使用一个目标说话人提取网络提取一个精细的语音的基础上，粗目标线索和原始的无失真的混合。实验表明，该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外，它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入，发现独热向量优于基于注册语音的嵌入，且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
Usable Speech Assignment for Speaker Identification under Co-Channel Situation
提出了一种在同信道语音中提取最小化语音失真的语音准则，用于说话人辨识。在同声道语音中，任何一个说话者都可以随机地出现在较强的说话者或较弱的说话者中。因此，所提取的可用段在时间上被分离，并且需要被组织成用于SID的扬声器流。在本文中，我们专注于组织提取的可用语音段到一个单一的流为同一说话人的说话人分配系统。为此，本文提出了基于后验概率和穷举搜索算法的基于模型的说话人分配方法。在TIMIT数据库上对该方法进行了评价。该系统进行了评估，同声道语音和结果显示出显着的改善。
2013-01-02 cs.SD
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
TOGGL: Transcribing Overlapping Speech with Staggered Labeling
BBN Technologies（BBN科技公司）
针对重叠语音转录需多解码器的问题，提出仅用单个解码器、通过特殊标记归属说话人的TOGGL模型，可泛化至多说话人场景，在对话数据集上性能优于同类方法，还能提升单说话人转录效果。
2024-08-12 cs.CL cs.SD eess.AS
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
本文提出了一种新的声源分离模型，将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络，并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入，以帮助归因于不同的时间频率箱的两个扬声器。在实验中，我们表明，该模型在声源分离任务中产生良好的性能，并优于最先进的基线。具体来说，从具有挑战性的VoxCeleb数据集分离语音，所提出的模型产生4.79dB的信号失真比，8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Continuous Speech Separation Using Speaker Inventory for Long Multi-talker Recording
Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；NTT Corporation（日本电报电话公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
近年来，利用额外的说话人信息来促进语音分离受到越来越多的关注。最近的研究包括通过使用目标说话人的语音片段来提取目标语音，并通过使用附加说话人信号池来联合分离所有参与说话人，这被称为使用说话人清单的语音分离（SSUSI）。然而，所有这些系统理想情况下都假设预登记的扬声器信号可用，并且仅在简单的数据配置上进行评估。在现实的多说话人对话中，语音信号包含很大比例的非重叠区域，在那里我们可以得到鲁棒的说话人嵌入的个人说话人。在这项工作中，我们采用SSUSI模型在长录音，并提出了一个自我知情的，基于聚类的库存形成计划长录音，扬声器库存是完全建立从输入信号，而不需要外部扬声器信号。在模拟的混响长记录数据集上的实验结果表明，该方法在各种条件下都能显著提高分离性能。
2020-12-18 cs.SD eess.AS eess.SP
Universal speaker recognition encoders for different speech segments duration
ITMO University（ITMO大学）；STC Ltd.（STC有限公司）
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察，在短语音段上训练的系统对于短短语说话人验证是最佳的，而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果，通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方，用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果，所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是，它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria（卢瓦尔大学、法国国家科学研究中心、Inria Loria）；Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille（里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille）
本文研究语音时间动态对说话人验证和匿名化的影响，提出基于音素时长的度量方法，证明音素时长泄露说话人身份，强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
On the use of Stress information in Speech for Speaker Recognition
Tata Consultancy Services（塔塔咨询服务公司）
当说话人处于压力或情绪状态时，说话人识别系统的性能会下降。在本文中，我们探索和确定一种机制，使使用固有的压力在语音或说话风格的信息存在于一个人的语音作为额外的线索说话人识别。我们主要使用音调、幅度和持续时间3个特征来量化说话人语音中存在的固有应力（一起称为PAD）我们通过实验观察到，说话者的不同单词中的相似音素的PAD向量在三维（PAD）空间中彼此接近，这证实了说话者在其语音中强调不同音节的方式对他们来说是独特的，因此，我们提出使用基于PAD的说话者的说话风格作为说话者识别应用的附加特征。
2014-10-25 cs.SD
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Neural Speaker Embeddings for Ultrasound-based Silent Speech Interfaces
University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
发音到声学映射试图从发音运动的记录（例如，超声视频）重建语音。就像语音信号一样，这些录音不仅代表语言内容，而且对实际说话者来说也是高度特定的。因此，由于缺乏多说话人数据集，研究人员迄今为止集中在说话人相关建模。在这里，我们提出了多扬声器实验使用最近出版的TaL80语料库。为了对说话者特征进行建模，我们调整了语音处理中流行的x向量框架，以使用超声舌视频进行操作。接下来，我们使用语料库中的50个说话人进行了说话人识别实验。然后，我们创建了扬声器嵌入向量，并在剩余的扬声器上对其进行评估。最后，我们研究了嵌入向量如何影响多扬声器场景中超声到语音转换网络的准确性。在实验中，我们达到了低于3%的说话人识别出错率，我们还发现，嵌入向量很好地推广到看不见的说话人。我们第一次尝试将它们应用于多扬声器无声语音框架中，使得频谱估计步骤的出错率略有降低。
2021-06-11 cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Comparison of Speech Activity Detection Techniques for Speaker Recognition
Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校）
语音活动检测（SAD）是各种语音处理应用的重要组成部分。已经观察到，各种基于语音的任务的性能在很大程度上取决于SAD的效率。本文系统地介绍了几种常用的SAD技术及其在说话人识别中的应用。使用不同SAD技术的说话人确认系统在NIST语音语料库上进行了实验评估，使用高斯混合模型-通用背景模型（GMM-UBM）为基础的分类器，用于清洁和噪声条件。研究发现，对于不同类型的噪声，基于双高斯模型的SAD比其他SAD技术更好。
2012-10-06 cs.MM cs.SD
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
DialogueSidon: Recovering Full-Duplex Dialogue Tracks from In-the-Wild Dialogue Audio
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所）
DialogueSidon通过联合恢复与分离降质单通道对话音频，提升识别与分离质量，并实现更快推理。
2026-07-01 cs.SD eess.AS
Speaker Turn Modeling for Dialogue Act Classification
University of Southern California（南加州大学）
对话行为分类是根据话语在对话中的功能对话语进行分类的任务。现有的DA分类模型的话语没有纳入整个对话中说话者之间的话轮变化，因此对待它没有什么不同的非交互式的书面文本。在本文中，我们建议在建模DA时，将说话人之间的会话中的话轮变化整合起来。具体来说，我们学习会话不变的说话人话轮嵌入来表示会话中的说话人话轮;然后将学习到的说话人话轮嵌入与DA分类的下游任务的话语嵌入合并。有了这个简单而有效的机制，我们的模型是能够捕捉到的语义从对话内容，同时占不同的扬声器轮流在对话中。在三个基准公共数据集上的验证证明了我们模型的优越性能。
2021-09-10 cs.CL cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别（TS-ASR）的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是，当录音中的扬声器未知时，它不能使用，因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制，我们提出了一种迭代法，其中（i）说话人嵌入的估计和（ii）基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音，其中扬声器重叠率超过20%，评估所提出的方法。我们证实，所提出的方法显着降低了字出错率（WER）和日记出错率（DER）。我们提出的方法结合i-向量说话人嵌入最终实现了WER，其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外，我们的方法可以同时解决说话人日记作为一个副产品，并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS
Northwestern Polytechnical University（西北工业大学）
该论文提出一个基于批评驱动迭代细化的智能体框架，用于可控多说话人对话语音合成，通过语句级和场景级批评路由至编辑或重合成，在双语基准上优于直接模型和仅重生成方案。
2026-09-29 cs.CL cs.SD eess.AS
DialoSpeech: Dual-Speaker Dialogue Generation with LLM and Flow Matching
ASLP, Northwestern Polytechnical University, Xi’an, China（ASLP，西北工业大学，西安，中国）；DataBaker (Qingdao) Technology（DataBaker（青岛）科技）
提出DialoSpeech，结合大语言模型与分块流匹配的双轨架构，生成自然多轮对话语音，支持中英及跨语言，优于基线。
2025-10-09 cs.SD eess.AS
SATTS: Speaker Attractor Text to Speech, Learning to Speak by Learning to Separate
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
文本转语音（TTS）的映射是非确定性的，字母可以基于上下文而不同地发音，或者音素可以根据各种生理和风格因素（如性别、年龄、口音、情绪等）而变化。被训练以识别或验证说话者的神经说话者嵌入通常用于表示和将这些特征从参考语音转移到合成语音。另一方面，语音分离是一项具有挑战性的任务，即从各种说话人的重叠混合信号中分离出单个说话人。说话者吸引子是高维嵌入向量，其将每个说话者的语音的时频箱拉向自己，同时排斥属于其他说话者的那些时频箱。在这项工作中，我们探讨了使用这些强大的扬声器吸引zero-shot扬声器自适应多扬声器TTS合成的可能性，并提出扬声器吸引文本转语音（SATTS）。通过各种实验，我们表明，SATTS可以从一个看不见的目标扬声器的参考信号，可能有不到理想的记录条件，即混响或与其他扬声器混合的文本合成自然语音。
2022-07-13 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）；Samsung Research, Samsung Electronics Co., Ltd（三星电子株式会社三星研究院）
Zero-shot多说话人文本转语音（ZSM-TTS）模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音（TTS）模型中，最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中，我们改进了以前的扬声器调节方法，通过引入扬声器归一化仿射耦合（SNAC）层，它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入，从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
Hiding speaker's sex in speech using zero-evidence speaker representation in an analysis/synthesis pipeline
National Institute of Informatics（国立信息学研究所）
在分析/合成管道中使用现代声码器使我们能够研究可用于隐私目的的高质量语音转换。在这里，我们建议变换扬声器嵌入和音高，以隐藏扬声器的性别。基于ECAPA-TDNN的说话人表示馈入HiFiGAN声码器使用神经判别分析方法进行保护，这与隐私的零证据概念一致。这种方法大大减少了语音中与说话者性别有关的信息，同时保留了语音内容和由此产生的受保护声音的一致性。
2023-03-24 cs.SD eess.AS
Voice Imitating Text-to-Speech Neural Networks
Neosapience（尼奥萨匹恩斯）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个神经文本到语音（TTS）模型，可以模仿一个新的扬声器的声音，只有少量的语音样本。我们演示语音模仿只使用6秒长的语音样本，没有任何其他信息，如成绩单。我们的模型还可以立即进行语音模仿，而无需对模型进行额外的训练。我们实现了语音模仿TTS模型相结合的发言人嵌入网络与国家的最先进的TTS模型，Tacotron。说话人嵌入器网络获取新说话人的语音样本并返回说话人嵌入。将带有目标句子的说话者嵌入到Tacotron中，并使用新说话者的声音生成语音。我们表明，说话人嵌入网络提取的说话人嵌入可以代表不同的声音中的潜在结构。从我们的模型生成的语音样本具有可比的语音质量从现有的多扬声器TTS模型。
2018-06-04 cs.SD eess.AS
USEV: Universal Speaker Extraction with Visual Cue
National University of Singapore（新加坡国立大学）；Tianjin University（天津大学）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）；Kriston AI（Kriston人工智能）
说话人提取算法试图从多说话人语音混合中提取目标说话人的语音。现有的研究主要集中在从高度重叠的多说话人混合语音中提取说话人。然而，在自然语音通信中，目标说话人与干扰说话人的重叠率可能在0%~ 100%的范围内变化，而且目标说话人可能不存在于语音混合中，因此将这种通用多说话人情况下的语音混合描述为通用语音混合。说话人提取算法需要辅助参考，例如视频记录或预先录制的语音，以形成对目标说话人的自上而下的听觉注意。我们提倡视觉提示，即，嘴唇运动比音频提示更能提供信息，即，预先录制的语音，作为辅助参考的讲话者提取在解开目标说话者从一个一般的语音混合。在本文中，我们提出了一个通用的说话人提取网络与视觉提示，适用于所有多说话人的情况。此外，我们提出了一个基于目标感知的差异化损失函数用于网络训练，以平衡不同目标-干扰说话人配对场景下的网络性能。实验结果表明，我们提出的方法优于各种竞争基线的一般语音混合信号的保真度。
2022-08-30 cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation（小米公司）
在多说话人语音合成中，由于多个说话人在年龄、说话风格、情感等方面存在很大差异，因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题，本文提出了一种高性能的语音合成系统Msdtron，该系统包括：1）设计了一种语音谐波结构的表示方法，称为激励谱图，用于直接指导语音谐波的学习。2)提出了条件选通LSTM（CGLSTM），通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明，在训练多说话人模型时，Mel声谱图的重建误差明显减小，说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Speaker activity driven neural speech extraction
NTT Corporation（日本电报电话公司）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
目标语音提取，即在给定辅助说话人线索的情况下，从混合语音中提取目标说话人的语音，近来受到越来越多的关注。已经调查了各种线索，例如预先录制的注册话语、方向信息或目标说话者的视频。在本文中，我们探索使用说话人活动信息作为辅助线索的单通道神经网络的语音提取。我们提出了一个说话人活动驱动的语音提取神经网络（ADeNet），并表明它可以实现性能水平的竞争力与基于注册的方法，而不需要预先录制。我们进一步证明了所提出的方法的潜力，用于处理类似会议的录音，其中的扬声器活动是从日记系统。我们表明，这种简单而实用的方法可以成功地提取扬声器后，日记，从而提高ASR性能，特别是在高重叠的条件下，与相对字错误率降低高达25%。
2021-02-09 cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库，但尚未建立英语以外语言的开源语料库。在本文中，我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕，几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类（CTC）的自动语音识别（ASR）和自动说话人验证（ASV）的基于说话人变异的方法的技术。我们建立了1）一个大规模的日本ASR基准，拥有超过1，300小时的数据，2）日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
在现有的跨说话人风格传递任务中，需要具有多风格录音的源说话人来为目标说话人提供风格。然而，一个演讲者很难表达所有预期的风格。在本文中，一个更一般的任务，这是产生表达语音的任何风格和音色的组合从多说话人语料库中，每个扬声器有一个独特的风格，提出。为了实现这一任务，提出了一种新的方法。该方法是一个基于Tacotron 2的框架，但具有细粒度的基于文本的韵律预测模块和说话人身份控制器。实验表明，该方法可以成功地表达一个说话人的风格与木材的另一个说话人绕过依赖于单个说话人的多风格语料库。此外，韵律预测模块中使用的显式韵律特征可以通过调整韵律特征的值来增加合成语音的多样性。
2021-12-23 cs.SD eess.AS
CineDub: Scaling End-to-End Video Dubbing to Multi-Speaker Dialogues with Coherent Sound Effects
Monash University（莫纳什大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
本研究提出基于扩散模型的统一架构CineDub，无需人脸裁剪或说话人分割即可实现精准多说话人对话配音，还引入两项训练策略并发布两个野外基准，在相关任务中取得最优性能。
2026-08-18 cs.MM cs.SD eess.AS
Token-level Speaker Change Detection Using Speaker Difference and Speech Content via Continuous Integrate-and-fire
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI LAB（字节跳动人工智能实验室）
在会议和对话等多人场景中，通常需要语音处理系统对音频进行分段，然后转录每个分段。这两个阶段分别由说话人变化检测（SCD）和自动语音识别（ASR）来解决。大多数先前的SCD系统仅依赖于说话人信息，而忽略了语音内容的重要性。在本文中，我们提出了一种新的SCD系统，同时考虑说话人差异和语音内容的线索。这两个线索被转换成令牌级表示的连续集成和消防（CIF）机制，然后结合用于检测扬声器的变化令牌声学边界。我们评估了我们的方法在公共真实记录的会议数据集AISHELL-4上的性能。实验结果表明，我们的方法优于竞争帧级基线系统的2.45%等覆盖率纯度（ECP）。此外，我们证明了语音内容和扬声器差异的SCD任务的重要性，以及进行SCD的令牌声学边界相比，进行SCD帧逐帧的优势。
2022-11-17 cs.SD eess.AS
