Localization Based Sequential Grouping for Continuous Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；The Ohio State University（俄亥俄州立大学）
本文研究了连续语音分离和说话人日志化的鲁棒说话人定位方法，即利用说话人方向对同一说话人的非连续段进行分组。假设说话人不移动，并位于不同的方向，到达方向（DOA）的信息提供了一个准确的顺序分组和说话人日记的信息线索。我们的系统在以下意义上是块在线的。给定一个最多有两个说话人的帧块，我们应用两个说话人分离模型来分离（和增强）说话人，估计每个分离的说话人的DOA，并根据DOA估计将分离结果分组到块中。在LibriCSS语料库上的说话人日志化和说话人属性语音识别结果验证了该算法的有效性。
2021-07-14 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了扬声器分离使用扬声器库存和估计的语音（SSUSIES），一个框架，利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法，说话人分离使用说话人清单（SSUSI）和说话人分离使用估计语音（SSUES）。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练（PIT）和语音提取的优点，SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术，它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
MIRNet: Learning multiple identities representations in overlapped speech
Yonsei University（延世大学）
许多方法可以通过学习识别声学参数的一致特性来从语音中获得关于单个说话者身份的信息。然而，当在给定信号中存在多个并发说话者时，确定身份信息是具有挑战性的。在本文中，我们提出了一种新的深度说话人表示策略，可以可靠地从重叠的语音中提取多个说话人身份。我们设计了一个网络，可以提取一个高层次的嵌入，包含信息的每个扬声器的身份从一个给定的混合。与传统方法需要参考声学特征进行训练不同，我们提出的算法只需要重叠语音段的说话人身份标签。我们证明了我们的算法在说话人确认任务和语音分离系统的条件下，通过所提出的方法获得的目标说话人嵌入的有效性和实用性。
2020-08-06 cs.SD eess.AS
A new Speech Feature Fusion method with cross gate parallel CNN for Speaker Recognition
Nanchang University（南昌大学）
提出了一种基于交叉门并行卷积神经网络（CG-PCNN）的语音特征融合方法用于说话人识别。通过多个Mel滤波器组从说话人语音的每一帧中提取不同频率分辨率的Mel滤波器组特征，其中Mel滤波器组中三角形滤波器的个数不同。由于这几种光纤的频率分辨率不同，所以它们之间存在一定的互补性。CG-PCNN用于从这些MBF中提取深层特征，该特征采用交叉门机制来捕获互补特征，以提高说话人识别系统的性能。然后，将这些深层特征串联起来，得到融合特征，用于说话人识别。实验结果表明，基于该语音特征融合方法的说话人识别系统是有效的，其识别性能略优于现有的说话人识别系统。
2022-11-24 cs.SD eess.AS
Do speech foundation models perceive speaker similarity as humans do?
Keio University, Japan（庆应大学，日本）；The University of Tokyo, Japan（东京大学，日本）
本研究通过比较40多个语音基础模型的说话人嵌入与人类主观相似性评分，探究模型距离是否与人类感知一致，并识别影响模型与人类感知一致性的关键配置因素。
2026-06-18 cs.SD eess.AS
Speaker Targeting via Self-Speaker Adaptation for Multi-talker ASR
NVIDIAUSA（英伟达美国）
本研究提出一种无需显式说话人查询的流式多人对话ASR自说话人自适应方法，通过注入说话人专属内核实现即时适配，在离线和流式场景均达SOTA，可有效处理严重语音重叠问题。
2025-08-29 cs.SD eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University（哈利法大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Sharjah（沙迦大学）
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法，将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件，从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法，使用预先训练的深度神经网络掩码和语音VGG，在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能，在瑞尔森视听数据集（RAVDESS）、模拟和实际压力下的语音数据集（SUSAS）和阿拉伯口音语音数据集（ESD）上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong（香港中文大学）
绝大多数语音分离方法都假设说话者的数量是预先已知的，因此它们特定于说话者的数量。相比之下，一个更现实和更具挑战性的任务是分离一个混合，其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题，提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段，即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代，并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加，失真的累积最终进入提取的语音和提醒。因此，在第二阶段，我们使用一个目标说话人提取网络提取一个精细的语音的基础上，粗目标线索和原始的无失真的混合。实验表明，该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外，它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
AISHELL-4: An Open Source Dataset for Speech Enhancement, Separation, Recognition and Speaker Diarization in Conference Scenario
Northwestern Polytechnical University（西北工业大学）；Microsoft Corporation（微软公司）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了AISHELL-4，一个相当大的真实记录的普通话语音数据集收集的8通道圆形麦克风阵列在会议场景中的语音处理。该数据集包括211个记录的会议，每个会议有4至8名发言者，总时长为120小时。该数据集旨在从三个方面搭建多说话人处理前沿研究与实际应用场景的桥梁。AISHELL-4通过真实的录音会议，在对话中提供逼真的声学效果和丰富的自然语音特征，如短暂的停顿，语音重叠，快速的发言者转向，噪音等。同时，AISHELL-4为每个会议提供准确的转录和发言者语音活动。这使得研究人员能够探索会议处理的不同方面，从语音前端处理，语音识别和扬声器日记等单个任务，到多模态建模和相关任务的联合优化。鉴于大多数用于多说话者任务的开源数据集都是英语的，AISHELL-4是唯一用于会话语音的普通话数据集，为语音社区的数据多样性提供了额外的价值。我们还发布了基于PyTorch的培训和评估框架作为基线系统，以促进该领域的可重复研究。
2021-08-10 cs.SD eess.AS
Adaptive Data Augmentation with NaturalSpeech3 for Far-field Speaker Verification
针对远场说话人语音标注数据稀缺、近远场声学环境不匹配的问题，提出基于NaturalSpeech3的自适应数据增强方法，生成保留说话人身份的伪远场语音，在FFSVC上性能优于传统及同类增强策略。
2025-01-15 cs.SD eess.AS
A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures
Paderborn University（帕德博恩大学）；Toshiba Cambridge Research Laboratories（东芝剑桥研究实验室）
本文提出一种基于师生训练的单声道神经说话人嵌入提取方法，从语音混合信号中直接提取各说话人嵌入，在说话人存在性验证任务上显著优于传统方法，并达到与多通道空间方法相当的性能。
2023-09-19 cs.SD eess.AS
Towards multi-task learning of speech and speaker recognition
Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学研究所）
本文研究基于 wav2vec2 的语音与说话人识别多任务学习，发现共享嵌入虽在分布内表现与单任务模型相当，但在分布外数据上性能显著下降。
2023-05-26 cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Improved I-vector-based Speaker Recognition for Utterances with Speaker Generated Non-speech sounds
TCS Innovation Labs-Mumbai（塔塔咨询服务公司孟买创新实验室）
会话言语不仅包含中性言语的几种变体，而且还显著地与说话者产生的几种非言语声音（如笑声和呼吸）交织。一个鲁棒的说话人识别系统应该能够识别说话人，而不管他的语音中的这些变化。了解这些变化所代表的特定于说话人的信息是否相似，有助于建立一个良好的说话人识别系统。在本文中，说话人的中性语音捕获的扬声器变化进行了分析，考虑语音笑（中性语音的变体）和笑声（非语音）的声音说话人。我们研究了一个基于i向量的说话人识别系统，该系统只训练了中性语音，并评估了它在语音笑声和笑声上的性能。此外，我们分析了在基于i向量的说话人识别系统的训练过程中包括笑声的效果。我们的实验结果表明，在训练过程中的笑声的声音似乎提供了互补的特定于说话人的信息，从而导致在说话人识别系统的整体性能的提高，特别是在话语与语音笑段。
2017-05-25 cs.SD
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
深度学习在语音分离，特别是语音和非语音分离方面显示出巨大的潜力。然而，它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练（PIT）通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音，目标说话人的短语音，来建模说话人身份。在本文中，我们提出了一个简单的策略来训练一个长短期记忆（LSTM）模型，以解决说话人分离中的置换问题。具体地说，我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此，第一个出现的说话者被定义为目标。由于强大的序列建模能力，LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明，该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)（伍斯特理工学院（WPI））
我们提出了一种新的说话人日志化方法，可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]：像标准的说话人嵌入方法，如x向量[2]，合成嵌入模型包含一个函数f，它将语音从不同的说话人中分离出来。此外，它们包括合成函数g以计算嵌入空间中的集合并运算，以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中，所提出的方法优于传统的嵌入方法，传统的嵌入方法只训练分离单个说话人（而不是说话人集）。在AMI Headset Mix语料库上的扬声器日志化实验中，我们实现了最先进的准确率（DER=22.93%），略高于之前的最佳结果（来自[3]的23.82%）。
2021-02-10 cs.CL cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入，发现独热向量优于基于注册语音的嵌入，且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
Usable Speech Assignment for Speaker Identification under Co-Channel Situation
提出了一种在同信道语音中提取最小化语音失真的语音准则，用于说话人辨识。在同声道语音中，任何一个说话者都可以随机地出现在较强的说话者或较弱的说话者中。因此，所提取的可用段在时间上被分离，并且需要被组织成用于SID的扬声器流。在本文中，我们专注于组织提取的可用语音段到一个单一的流为同一说话人的说话人分配系统。为此，本文提出了基于后验概率和穷举搜索算法的基于模型的说话人分配方法。在TIMIT数据库上对该方法进行了评价。该系统进行了评估，同声道语音和结果显示出显着的改善。
2013-01-02 cs.SD
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC（谷歌有限责任公司）；DeepMind（深度思维）
近年来，文语转换（TTS）已被用作语音识别的数据增强技术，以帮助补充训练数据中的不足。相应地，我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中，我们专注于任务的分析，其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到，TTS合成语音提高了跨域说话人识别性能，并且可以有效地与多风格训练相结合。此外，我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明，匹配目标域的文本内容是一个很好的做法，如果这是不可行的，一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
TOGGL: Transcribing Overlapping Speech with Staggered Labeling
BBN Technologies（BBN科技公司）
针对重叠语音转录需多解码器的问题，提出仅用单个解码器、通过特殊标记归属说话人的TOGGL模型，可泛化至多说话人场景，在对话数据集上性能优于同类方法，还能提升单说话人转录效果。
2024-08-12 cs.CL cs.SD eess.AS
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
本文提出了一种新的声源分离模型，将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络，并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入，以帮助归因于不同的时间频率箱的两个扬声器。在实验中，我们表明，该模型在声源分离任务中产生良好的性能，并优于最先进的基线。具体来说，从具有挑战性的VoxCeleb数据集分离语音，所提出的模型产生4.79dB的信号失真比，8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Continuous Speech Separation Using Speaker Inventory for Long Multi-talker Recording
Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；NTT Corporation（日本电报电话公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
近年来，利用额外的说话人信息来促进语音分离受到越来越多的关注。最近的研究包括通过使用目标说话人的语音片段来提取目标语音，并通过使用附加说话人信号池来联合分离所有参与说话人，这被称为使用说话人清单的语音分离（SSUSI）。然而，所有这些系统理想情况下都假设预登记的扬声器信号可用，并且仅在简单的数据配置上进行评估。在现实的多说话人对话中，语音信号包含很大比例的非重叠区域，在那里我们可以得到鲁棒的说话人嵌入的个人说话人。在这项工作中，我们采用SSUSI模型在长录音，并提出了一个自我知情的，基于聚类的库存形成计划长录音，扬声器库存是完全建立从输入信号，而不需要外部扬声器信号。在模拟的混响长记录数据集上的实验结果表明，该方法在各种条件下都能显著提高分离性能。
2020-12-18 cs.SD eess.AS eess.SP
Universal speaker recognition encoders for different speech segments duration
ITMO University（ITMO大学）；STC Ltd.（STC有限公司）
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察，在短语音段上训练的系统对于短短语说话人验证是最佳的，而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果，通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方，用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果，所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是，它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria（卢瓦尔大学、法国国家科学研究中心、Inria Loria）；Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille（里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille）
本文研究语音时间动态对说话人验证和匿名化的影响，提出基于音素时长的度量方法，证明音素时长泄露说话人身份，强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
On the use of Stress information in Speech for Speaker Recognition
Tata Consultancy Services（塔塔咨询服务公司）
当说话人处于压力或情绪状态时，说话人识别系统的性能会下降。在本文中，我们探索和确定一种机制，使使用固有的压力在语音或说话风格的信息存在于一个人的语音作为额外的线索说话人识别。我们主要使用音调、幅度和持续时间3个特征来量化说话人语音中存在的固有应力（一起称为PAD）我们通过实验观察到，说话者的不同单词中的相似音素的PAD向量在三维（PAD）空间中彼此接近，这证实了说话者在其语音中强调不同音节的方式对他们来说是独特的，因此，我们提出使用基于PAD的说话者的说话风格作为说话者识别应用的附加特征。
2014-10-25 cs.SD
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
RadarVox: Radar-Audio Multimodal Cocktail-Party Speech Separation with Speaker-Aware Cross-Modal Matching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Dalian Maritime University（大连海事大学）
RadarVox提出雷达-音频多模态基准，利用FMCW雷达捕获喉部运动线索，通过门控融合和跨模态匹配实现身份感知的鸡尾酒会语音分离，显著提升分离质量和说话人分配准确率。
2026-09-29 cs.MM cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge
Hithink RoyalFlush AI Research Institute（海智思皇家同花顺人工智能研究院）
本文介绍了Royalflush发言人日记系统提交给多通道多方会议转录挑战赛（M2MeT）。我们的系统包括语音增强，重叠语音检测，说话人嵌入提取，说话人聚类，语音分离和系统融合。在这个系统中，我们做出了三个贡献。首先，我们提出了一个架构相结合的多通道和U-Net为基础的模型，旨在利用这两个单独的架构的好处，远场重叠语音检测。其次，为了利用重叠语音检测模型来辅助说话人分类，提出了一种基于语音分离的重叠语音处理方法，并在此基础上进一步应用了说话人确认技术。第三，我们研究了三种说话人嵌入方法，并在CNCeleb-E测试集上获得了最佳的性能。通过这些建议，我们最好的单个系统将DER从15.25%显著降低到6.40%，并且四个系统的融合最终在远场Alimeeting评估集上实现了6.30%的DER。
2022-02-18 cs.AI cs.SD eess.AS
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology（布拉格技术大学）；NTT Corporation（NTT公司）
本文提出 TS-SUPERB 基准，通过四类目标说话人任务评估语音 SSL 模型，并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Speaker disentanglement in video-to-speech conversion
University Politehnica of Bucharest（布加勒斯特理工大学）；Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
视频到语音的任务旨在将嘴唇运动的无声视频转换为其相应的音频信号。以前的方法通常限于单个说话者的情况，但是考虑多个说话者的方法是期望的，因为它允许i）利用具有多个说话者或每个说话者很少样本的数据集;以及ii）在推理时控制说话者身份。在本文中，我们介绍了一种新的视频到语音的架构，并探讨将其扩展到多扬声器场景的方法：我们增加了一个额外的扬声器相关的输入网络，通过它，我们可以提供一个离散的身份或扬声器嵌入。有趣的是，我们观察到网络的视觉编码器能够仅从面部的嘴唇区域学习说话者身份。为了更好地理清这两个输入--语言内容和说话者身份--我们增加了对抗损失，从视频嵌入中消除身份。据我们所知，所提出的方法是第一个提供重要功能的方法，例如i）目标语音的控制和ii）在现有技术水平上用于不可见身份的语音合成，同时仍然保持口语输出的可理解性。
2021-05-20 cs.SD eess.AS eess.IV
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；Kriston AI Lab（Kriston AI实验室）
说话人提取的目的是模仿人类的选择性听觉注意，从多说话人环境中提取目标说话人的声音。通常在频域中进行提取，并从提取的幅度谱和估计的相位谱重建时域信号。然而，这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发，我们提出了一种时域说话人提取网络（SpEx），它将混合语音转换为多尺度嵌入系数，而不是将语音信号分解为幅度和相位谱。通过这种方式，我们避免了相位估计。SpEx网络由四个网络组件组成，即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说，语音编码器将混合语音转换成多尺度嵌入系数，说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入，并估计接收掩码。最后，语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明，在开放评价条件下，该算法在信失真比（SDR）、尺度不变SDR（SI-SDR）和语音质量感知评价（PESQ）方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Neural Speaker Embeddings for Ultrasound-based Silent Speech Interfaces
University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
发音到声学映射试图从发音运动的记录（例如，超声视频）重建语音。就像语音信号一样，这些录音不仅代表语言内容，而且对实际说话者来说也是高度特定的。因此，由于缺乏多说话人数据集，研究人员迄今为止集中在说话人相关建模。在这里，我们提出了多扬声器实验使用最近出版的TaL80语料库。为了对说话者特征进行建模，我们调整了语音处理中流行的x向量框架，以使用超声舌视频进行操作。接下来，我们使用语料库中的50个说话人进行了说话人识别实验。然后，我们创建了扬声器嵌入向量，并在剩余的扬声器上对其进行评估。最后，我们研究了嵌入向量如何影响多扬声器场景中超声到语音转换网络的准确性。在实验中，我们达到了低于3%的说话人识别出错率，我们还发现，嵌入向量很好地推广到看不见的说话人。我们第一次尝试将它们应用于多扬声器无声语音框架中，使得频谱估计步骤的出错率略有降低。
2021-06-11 cs.SD
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时，语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别，而是通过使用深度神经网络的联合优化集成到一个框架中。此外，为了提高对噪声的鲁棒性，采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能，我们测试它的数据集VoxCeleb1，最常用的基准数据集之一。此外，我们所提出的方法的鲁棒性也测试VoxCeleb1数据时，被破坏的三种类型的干扰，一般的噪声，音乐，和串音，在不同的信噪比（SNR）水平。所得到的结果表明，在我们的实验中，使用语音增强和多阶段注意力模型的方法优于两个强基线，在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Many-Speakers Single Channel Speech Separation with Optimal Permutation Training
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
单通道语音分离技术在过去几年中取得了很大的进展。然而，训练大量说话者的神经语音分离（例如，超过10个扬声器）对于依赖于排列不变损失（PIT）的当前方法来说是遥不可及的。在这项工作中，我们提出了一个置换不变的训练，采用匈牙利算法，以训练与$O(C^3)$的时间复杂度，其中$C$是扬声器的数量，在比较$O(C!)$的PIT为基础的方法。此外，我们提出了一个修改后的架构，可以处理增加的扬声器数量。我们的方法分离到$20$扬声器，并提高了以前的结果，大$C$的一个很大的利润。
2021-11-07 cs.AI cs.LG cs.SD
Muse: Multi-modal target speaker extraction with visual cues
University of Bremen（不来梅大学）
说话人提取算法依靠目标说话人的语音样本作为参考点来集中注意力。这种参考语音通常是预先录制的。另一方面，语音和嘴唇运动之间的时间同步也可以作为一个信息线索。基于这一思想，我们研究了一种新的技术，使用语音唇视觉线索直接从混合语音中提取参考目标语音在推理时间，而不需要预先录制的参考语音。我们提出了一个多模态说话人提取网络，名为MuSE，这是只对嘴唇图像序列的条件。MuSE不仅在SI-SDR和PESQ方面优于其他竞争基准，而且在跨数据集评估方面也显示出持续的改进。
2021-02-10 cs.MM cs.SD eess.AS
Recursive Whitening Transformation for Speaker Recognition on Language Mismatched Condition
Korea University（高丽大学）
最近在说话人识别中，由于信道域不匹配条件导致的性能下降已经被积极地解决。然而，由语言引起的不匹配问题尚未得到充分解决。本文提出了一种利用递归白化变换来缓解语言不匹配的方法。所提出的方法是基于多重白化变换，这是为了消除与i-向量长度归一化相关的数据集中的未白化的残差分量。实验是在Speaker Recognition Evaluation 2016试验上进行的，其任务是使用开发数据集进行非英语说话人识别，该数据集由大规模的域外（英语）数据集和极少量的域内（非英语）数据集组成。为了进行性能比较，我们使用深度神经网络和瓶颈特征开发了一个最先进的系统，该系统基于语音感知模型。实验结果表明，该方法在语言不匹配的情况下是有效的。
2017-08-28 cs.SD
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.（微软公司）
在会议和对话等多人场景中，语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的，因此常规方法通常以级联方式解决该问题，该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中，我们提出了流式解混，识别和识别传感器（SURIT）-一个新的框架，处理这个问题，在一个端到端的流式方式。SURIT采用递归神经网络转换器（RNN-T）作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集，并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Comparison of Speech Activity Detection Techniques for Speaker Recognition
Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校）
语音活动检测（SAD）是各种语音处理应用的重要组成部分。已经观察到，各种基于语音的任务的性能在很大程度上取决于SAD的效率。本文系统地介绍了几种常用的SAD技术及其在说话人识别中的应用。使用不同SAD技术的说话人确认系统在NIST语音语料库上进行了实验评估，使用高斯混合模型-通用背景模型（GMM-UBM）为基础的分类器，用于清洁和噪声条件。研究发现，对于不同类型的噪声，基于双高斯模型的SAD比其他SAD技术更好。
2012-10-06 cs.MM cs.SD
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
Incorporation of Speech Duration Information in Score Fusion of Speaker Recognition Systems
Özyeğin University（奥兹耶金大学）；TUBITAK BILGEM（土耳其科学技术研究理事会信息与通信技术研究所）
近年来，基于身份向量（i-vector）的说话人确认（SV）系统已经变得非常成功。然而，环境噪声和语音持续时间的变化仍然有显着的影响，降低这些系统的性能。在许多现实生活中的应用中，录音的持续时间非常短;因此，提取的i向量不能可靠地表示说话者的属性。在这里，我们研究了语音持续时间对三种最先进的说话人识别系统性能的影响。此外，使用各种可用的分数融合方法，我们调查分数融合的效果，这些说话人确认技术受益于不同的方法在不同的注册和测试语音持续时间条件下的性能差异。该技术的表现明显优于基线评分融合方法。
2016-08-07 cs.CL cs.SD
DELULU: Discriminative Embedding Learning Using Latent Units for Speaker-Aware Self-Trained Speech Foundational Model
Carnegie Mellon University（卡内基梅隆大学）
DELULU通过在伪标签生成中引入说话人信息结构，提升语音模型对说话人特征的判别能力，在说话人验证、声纹识别等任务中取得显著提升。
2026-03-25 cs.CL cs.SD
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
SATTS: Speaker Attractor Text to Speech, Learning to Speak by Learning to Separate
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
文本转语音（TTS）的映射是非确定性的，字母可以基于上下文而不同地发音，或者音素可以根据各种生理和风格因素（如性别、年龄、口音、情绪等）而变化。被训练以识别或验证说话者的神经说话者嵌入通常用于表示和将这些特征从参考语音转移到合成语音。另一方面，语音分离是一项具有挑战性的任务，即从各种说话人的重叠混合信号中分离出单个说话人。说话者吸引子是高维嵌入向量，其将每个说话者的语音的时频箱拉向自己，同时排斥属于其他说话者的那些时频箱。在这项工作中，我们探讨了使用这些强大的扬声器吸引zero-shot扬声器自适应多扬声器TTS合成的可能性，并提出扬声器吸引文本转语音（SATTS）。通过各种实验，我们表明，SATTS可以从一个看不见的目标扬声器的参考信号，可能有不到理想的记录条件，即混响或与其他扬声器混合的文本合成自然语音。
2022-07-13 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）；Samsung Research, Samsung Electronics Co., Ltd（三星电子株式会社三星研究院）
Zero-shot多说话人文本转语音（ZSM-TTS）模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音（TTS）模型中，最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中，我们改进了以前的扬声器调节方法，通过引入扬声器归一化仿射耦合（SNAC）层，它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入，从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
