Baselines and Protocols for Household Speaker Recognition
School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
在诸如智能扬声器之类的家用设备上的说话人识别具有若干挑战：（i）跨大量异构域（家庭）的鲁棒性，（ii）短话语，（iii）可能缺少登记数据的说话人标签（被动登记），以及（iv）未知人员（客人）的存在。虽然有许多商业产品，但发表的研究较少，也没有公开的评估协议或开源基线。我们的工作旨在通过提供一个来自公共资源（VoxCeleb和ASVspoof 2019数据）的可访问的评估基准以及一个初步的开源基线池来弥合这一差距。这包括四种主动注册算法（扬声器标签可用）和一种被动注册算法。
2022-05-05 cs.SD eess.AS
Quantitative Evidence on Overlooked Aspects of Enrollment Speaker Embeddings for Target Speaker Separation
Dolby Laboratories（杜比实验室）
单通道目标说话人分离（TSS）的目的是从多个说话人的混合中提取说话人的语音，给定该说话人的注册话语。典型的深度学习TSS框架由获得登记说话人嵌入的上游模型和执行以嵌入为条件的分离的下游模型组成。在本文中，我们研究了几个重要的，但被忽视的方面的注册嵌入，包括广泛使用的说话人辨识嵌入的适用性，引入对数梅尔滤波器组和自监督嵌入，和嵌入的跨数据集泛化能力。我们的研究结果表明，说话人辨识嵌入可能会丢失相关信息，由于一个次优的度量，训练目标，或共同的预处理。相比之下，滤波器组和自监督嵌入都保持了说话人信息的完整性，但前者在跨数据集评估中始终优于后者。先前被忽视的滤波器组嵌入的竞争分离和泛化性能在我们的研究中是一致的，这需要进一步研究更好的上游特征。
2022-10-26 cs.AI cs.SD eess.AS
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题，探究注册语音增强的有效性，提出自估计语音增强（SSA）方法，在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford（计算机科学系，牛津大学）
本文提出通过比较噪声正样本与负样本音频提取目标说话人，提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
DualStream Contextual Fusion Network: Efficient Target Speaker Extraction by Leveraging Mixture and Enrollment Interactions
Beijing Institute of Technology（北京理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对现有目标说话人提取方法忽略上下文信息及混合与注册语音交互的问题，提出时频域双流上下文融合网络（DCF-Net），通过双流融合块捕获空间和通道维度交互，在基准数据集上SI-SDRi达21.6 dB，目标混淆率仅0.4%，性能优于SOTA且鲁棒性强。
2025-02-12 cs.SD eess.AS
Unified Architecture and Unsupervised Speech Disentanglement for Speaker Embedding-Free Enrollment in Personalized Speech Enhancement
Shanghai Engineering Research Center of Intelligent Education and Bigdata, Shanghai Normal University（智能教育与大数据上海工程研究中心，上海师范大学）；SHNU-Unisound Natural Human-Computer Interaction Lab, Shanghai Normal University（上海师范大学Unisound人机交互实验室）；Unisound AI Technology Co., Ltd.（Unisound人工智能技术有限公司）
研究针对传统语音增强与个性化语音增强任务面临的挑战，提出USEF-PNet和DSEF-PNet新模型，前者统一架构提升性能简化部署，后者用无监督语音解缠提高鲁棒性，还探索注册配对策略，实验表明新模型性能显著提升。
2026-07-14 cs.SD eess.AS
Post-Training Embedding Alignment for Decoupling Enrollment and Runtime Speaker Recognition Models
Amazon（亚马逊）
提出轻量级神经网络NESSA实现不对称SID中独立模型的嵌入对齐，仅更新单模型即可获得标准对称方法60%以上的性能提升。
2024-01-23 cs.LG cs.SD eess.AS
Strategies to Improve Robustness of Target Speech Extraction to Enrollment Variations
NTT Corporation（日本电报电话公司）
目标语音提取是一种利用预先记录的表征目标说话人语音特征的登记话语从混合信号中提取目标说话人语音的技术。目标语音提取的一个主要困难在于处理“说话者内”特征的可变性，即，目标语音与登记话语之间的特征失配。虽然大多数常规方法集中于在给定一组登记话语的情况下改善{ \it平均性能}，但在此我们提出保证{ \it最差性能}，我们相信这具有很大的实际重要性。在这项工作中，我们提出了一个评估指标，称为最坏的注册源失真比（SDR），以定量地衡量对注册变化的鲁棒性。我们还介绍了一种新的训练方案，旨在通过专注于训练难以注册的情况下，提取不表现良好，直接优化最坏情况下的性能。此外，我们调查的有效性，辅助扬声器识别损失（SI损失）作为另一种方式来提高鲁棒性超过注册。实验验证表明，最差注册目标训练和SI损失训练的有效性，以提高对注册变化的鲁棒性，通过增加说话人的可辨别性。
2022-06-16 cs.SD eess.AS eess.SP
Attention-based Encoder-Decoder Network for End-to-End Neural Speaker Diarization with Target Speaker Attractor
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
提出 AED-EEND，利用目标说话人注册信息和注意力吸引子解码器缓解说话人排列问题，并以仅 0.5 秒注册数据超越 EEND-EDA 与 TS-VAD。
2023-08-15 cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University（北京大学）
主流的说话人提取研究多采用有监督的训练方法，很少考虑理想纯净语料的缺乏和通道失配问题。为此，我们提出了说话人感知混合训练（SAMoM），利用目标源，注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中，输入是通过混合不同的说话者感知混合物（SAM）来构建的，每个SAM包含多个说话者，其身份已知并且可以注册话语。通过注册话语通知，从输入中逐个提取目标语音，使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外，在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明，该方法在不访问任何干净源的情况下取得了令人满意的结果（11.06dB SI-SDRi）。通过域自适应，我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
HI-MIA : A Far-field Text-Dependent Speaker Verification Database and the Baselines
Duke Kunshan University（昆山杜克大学）；Beijing Shell Shell Technology Co. Ltd.（北京贝壳科技有限公司）；Wuhan University（武汉大学）
本文提出了一个远场文本相关的说话人确认数据库HI-MIA。我们的目标是满足基于远场麦克风阵列的说话人确认的数据要求，因为大多数公开可用的数据库是单通道近距离说话和文本无关的。该数据库包含340人在为远场场景设计的房间中的录音。录音是由位于不同方向和距离的扬声器和高保真近距离麦克风多个麦克风阵列捕获。此外，我们提出了一套端到端的神经网络为基础的基线系统，采用单通道数据进行训练。此外，我们提出了一个测试背景感知的注册增强策略，以进一步提高性能。实验结果表明，该融合系统在远场登记远场测试任务中的EER为3.29%，在近距离交谈登记和远场测试任务中的EER为4.02%。
2020-02-01 cs.SD eess.AS
Robust Audio-Visual Target Speaker Extraction with Emotion-Aware Multiple Enrollment Fusion
School of Computer Science, Wuhan University, Wuhan, China（1 武汉大学计算机学院，武汉，中国）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（2 香港中文大学（深圳）人工智能学院，中国）；School of Artificial Intelligence, Wuhan University, Wuhan, China（3 武汉大学人工智能学院，武汉，中国）；School of Cyber Science and Engineering, Wuhan University, Wuhan, China（4 武汉大学网络科学与工程学院，武汉，中国）；Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（5 香港中文大学（深圳）数字创新研究中心，中国）；AI Center, OPPO, Beijing, China（6 OPPO人工智能中心，北京，中国）
本文提出一种鲁棒的音频视觉目标说话人提取方法，通过情感感知的多注册融合技术，在模态缺失情况下提升提取性能和鲁棒性。
2026-03-11 cs.SD eess.AS
Enhancing Target Speaker Extraction with Explicit Speaker Consistency Modeling
School of Information and Electronics（信息与电子学院）
本文从说话人一致性角度提出一种引入基于中心的说话人一致性损失和条件损失抑制的TSE方法，确保注册与提取语音的说话人一致性，有效提升了目标说话人提取性能。
2025-08-09 cs.SD eess.AS
Enrollment-stage Backdoor Attacks on Speaker Recognition Systems via Adversarial Ultrasound
Zhejiang University（浙江大学）
提出Tuner攻击，通过不可听且无需同步的对抗性超声波在注册阶段植入后门，并在两个数据集、七个SRS模型及七种防御下验证其黑盒绕过能力。
2023-12-11 cs.CR cs.SD eess.AS
Probabilistic Back-ends for Online Speaker Recognition and Clustering
Nanyang Technological University（南洋理工大学）
针对在线说话人聚类中的多注册说话人识别问题，研究了不同评分后端的性能。首先，我们表明，流行的余弦评分遭受不同数量的注册话语的差的分数校准。其次，我们提出了一个简单的替代余弦评分的基础上，一个非常有限的版本的概率线性判别分析（PLDA）。所提出的模型改进了多注册识别的余弦评分，同时在一对一比较的情况下保持相同的性能。最后，我们考虑一个在线说话人聚类任务，其中每一步自然涉及多注册识别。我们提出了一种在线聚类算法，使我们能够从PLDA模型中获益，例如能够处理不确定性和更好的评分校准。实验证明了该算法的有效性。
2023-02-19 cs.LG cs.SD eess.AS
Multi-user VoiceFilter-Lite via Attentive Speaker Embedding
Google LLC（谷歌公司）
在本文中，我们提出了一个解决方案，允许扬声器条件的语音模型，如VoiceFilter-Lite，支持任意数量的注册用户在一个单一的通行证。这是通过在多个说话者嵌入上使用注意机制来计算单个注意嵌入来实现的，然后将其用作模型的侧输入。我们实现了多用户VoiceFilter-Lite，并针对三个任务对其进行了评估：（1）流式自动语音识别（ASR）任务;（2）与文本无关的说话人验证任务;（3）个性化关键词检测任务，其中ASR必须在嘈杂的环境中检测来自多个注册用户的关键词。我们的实验表明，最多有四个注册用户，多用户VoiceFilter-Lite能够显着减少语音识别和说话人验证错误时，有重叠的语音，而不影响其他声学条件下的性能。这种专注的说话者嵌入方法也可以轻松应用于其他说话者条件模型，例如个人VAD和个性化ASR。
2021-11-08 cs.LG cs.SD eess.AS
Squeezing value of cross-domain labels: a decoupled scoring approach for speaker verification
Tsinghua University（清华大学）
在实际应用中，域失配现象经常发生，严重影响说话人确认系统的性能。通常的做法是收集跨领域的数据，然后训练一个多领域的PLDA模型，希望能够学习到一个与领域无关的说话人子空间。在本文中，我们首先提出了一个实证研究表明，简单地添加跨域的数据并没有帮助的条件下，入学考试不匹配的性能。仔细分析，这一惊人的结果是由招生与考试条件之间的统计不一致造成的。基于此分析，我们提出了一种解耦的评分方法，可以最大限度地挤压跨域标签的值，并获得最佳的验证分数时，注册和测试是不匹配的。当统计数据是一致的，新的配方回落到传统的PLDA。跨通道测试的实验结果表明，该方法是高效的，是解决域失配的一种原则。
2020-10-27 cs.LG cs.SD eess.AS
Listen to Extract: Onset-Prompted Target Speaker Extraction
Department of Computer Science, Inner Mongolia University（内蒙古大学计算机科学系）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）
本文提出LExt方法，通过在波形层面将目标说话人注册语音与混合信号拼接来提示深度神经网络进行目标说话人提取，在多个公开数据集上取得优异性能。
2025-11-05 cs.SD eess.AS
oboVox Far Field Speaker Recognition: A Novel Data Augmentation Approach with Pretrained Models
Department of Electrical \& Electronic Engineering, Rajshahi University of Engineering \& Technology
本研究提出一种向注册文件加噪声的新型数据增强技术，结合多种预训练模型开展远场说话人识别实验，验证了resnet模型的性能优势及该增强技术对识别效果的提升作用，助力RoboVox远场说话人识别任务。
2024-09-16 cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Text-Independent Speaker Verification Using Long Short-Term Memory Networks
University of Houston（休斯顿大学）
本文提出了一种基于长短期记忆网络的文本无关语音识别系统结构，其目的是通过对传统语音特征的操作来获取与说话人相关的时间信息。对于说话人确认，首先，必须创建用于说话人表示的背景模型。然后，在注册阶段，说话人模型将被创建基于注册话语。对于这项工作，模型将以端到端的方式进行训练，以结合前两个阶段。端到端训练的主要目标是优化模型以符合说话人验证协议。端到端训练通过创建表示空间来联合学习背景和说话者模型。LSTM架构经过训练，以创建一个识别空间，用于验证说话人验证的匹配和非匹配对。与其他传统方法相比，该体系结构在文本无关性方面表现出了优越性。
2018-09-07 cs.CL cs.SD eess.AS
Parameter-Free Attentive Scoring for Speaker Verification
Google LLC（谷歌有限责任公司）
本文提出了一种新的无参数注意评分的说话人确认研究。无参数评分提供了比较说话人表示的灵活性，而不需要伴随的参数评分模型。受Transformer神经网络中的注意力组件的启发，我们提出了一种缩放点积注意力机制的变体来比较注册和测试段表示。此外，这项工作还探讨了（i）不同类型的规范化、（ii）独立与绑定查询/键估计、（iii）改变键-值对的数量以及（iv）池化多个注册话语统计数据对性能的影响。实验结果表明，一个简单的无参数注意评分机制可以提高平均EER的10%以上的最佳余弦相似性基线。
2023-03-06 cs.CL cs.SD eess.AS
How to Leverage DNN-based speech enhancement for multi-channel speaker verification?
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria-Loria（法国国家信息与自动化研究所-洛林计算机科学及其应用实验室）；Avignon Université（阿维尼翁大学）
由于环境噪声和室内混响的影响，说话人确认（SV）在远场情况下的性能不能令人满意。这项工作提出了一个基准的多通道语音增强远场说话人确认。一种是基于深度神经网络的方法，另一种是深度神经网络和信号处理相结合的方法。我们将DNN架构与信号处理技术相结合，以进行各种实验。我们的方法相比，现有的国家的最先进的方法。我们研究的重要性，注册的预处理，这在很大程度上被忽视了在以前的研究。实验评估表明，预处理可以提高SV性能，只要注册文件类似于测试数据的处理，测试和注册发生在相似的SNR范围内。在VOiCES数据集的生成和所有噪声条件上获得了相当大的改善。
2022-10-17 cs.HC cs.SD eess.AS
Multimodal Target Speaker Extraction: Towards Unified Speaker Cues Across Modalities
University of Science and Technology Beijing（北京科技大学）；Beijing Institute of Technology（北京理工大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Alibaba Group（阿里巴巴集团）；Zhejiang Institute of Quality Sciences（浙江省质量科学研究院）；Tianjin University（天津大学）；Technical University of Munich（慕尼黑工业大学）
本文综述多模态目标说话人提取，分类五类线索，梳理模型演变，讨论挑战并展望融合、指令驱动等未来方向。
2026-09-29 cs.MM cs.SD
Cross-lingual Speaker Verification with Deep Feature Learning
Tsinghua University（清华大学）
现有的说话人确认（SV）系统往往遭受性能下降，如果有任何语言不匹配之间的模型训练，说话人登记，和测试。这种退化的主要原因是大多数现有的SV方法依赖于概率模型来推断说话者因子，因此语音信号的分布上的任何显著变化都将影响推断。最近，我们提出了一种深度学习模型，可以学习如何通过深度神经网络（DNN）提取说话人因素。通过这种特征学习，可以用非常简单的后端模型构建SV系统。在本文中，我们研究了基于特征的SV系统在语言不匹配的情况下的鲁棒性。我们的实验是在一个复杂的跨语言场景中进行的，其中模型训练是用英语进行的，而注册和测试是用汉语或维吾尔语进行的。实验表明，基于特征的系统优于i-vector系统，具有很大的利润，特别是在注册和测试之间的语言不匹配。
2017-06-22 cs.CL cs.SD
Neural Scoring: A Refreshed End-to-End Approach for Speaker Recognition in Complex Conditions
Center for Speech and Language Technologies (CSLT), BNRist at Tsinghua University（语音与语言技术中心（CSLT），北京理工大学清华大学）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
本文提出神经评分端到端框架，直接估计验证后验概率以应对多说话人等复杂条件，并设计大规模试验端到端训练策略，在VoxCeleb上实现EER降低70.36%。
2025-07-03 cs.SD eess.AS
Chronological Self-Training for Real-Time Speaker Diarization
Google Research（谷歌研究院）
Diarization根据说话者的声音将音频流划分为多个段。包括注册步骤的实时的【形】日志化系统应该限制注册训练样本以减少用户交互时间。虽然在少量样本上进行训练会产生较差的性能，但我们表明，使用按时间顺序的自训练方法可以显着提高准确性。我们研究了训练时间和分类性能之间的权衡，发现1秒足以达到95%以上的准确率。我们对来自6种不同语言的700个大约10分钟的音频对话文件进行了评估，并证明了平均日记出错率低至10%。
2022-08-05 cs.CL cs.LG cs.SD
Zero-Shot Multi-Lingual Speaker Verification in Clinical Trials
Winterlight Labs（温莱特实验室）；Cambridge Cognition（剑桥认知公司）
本文评估 TitaNet、ECAPA-TDNN 和 SpeakerNet 在多语言临床语音上的零样本说话人验证能力，以防止患者重复入组，并分析语言、语音任务和说话人数对 EER 的影响。
2024-04-05 cs.LG cs.SD eess.AS
FlowTSE: Target Speaker Extraction with Flow Matching
aiOla Research（aiOla研究机构）；Israel（以色列）
针对现有生成式目标说话人提取方法流程复杂、计算开销大的问题，本文提出基于条件流匹配的FlowTSE方法，搭配新型条件声码器优化相位估计，在标准基准上性能达到或超过强基线。
2025-05-20 cs.LG cs.SD eess.AS
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg（汉堡大学）
目标语音分离是指通过条件化有关目标说话人的辅助信息，从多说话人混合信号中分离出目标语音。不同于主流的视听方法，通常需要同时的视觉流作为额外的输入，例如相应的嘴唇运动序列，在我们的方法中，我们提出了一种新的使用目标扬声器的一个单一的面部轮廓，以分离预期的干净的语音。我们利用的事实是，一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比，面部图像更容易通过预注册或在网站上获得，这使得系统能够推广到没有摄像头的设备。为此，我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中，从而指导系统在时频域中预测目标说话人掩码。实验结果表明，预注册的人脸图像能够有利于分离预期的语音信号。此外，人脸信息是语音参考的补充，我们表明，当结合人脸和语音嵌入时，可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University（华中师范大学）；Hubei University of Technology（湖北工业大学）
本文提出DSARSR方法，用深度堆叠自编码器替代PLDA对i-vector进行低维重构，以增强跨信道鲁棒性，实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入，发现独热向量优于基于注册语音的嵌入，且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
Improving Short Utterance PLDA Speaker Verification using SUV Modelling and Utterance Partitioning Approach
Queensland University of Technology（昆士兰科技大学）；University of Jaffna（贾夫纳大学）
本文分析了基于话语分割和短话语方差建模的概率线性判别分析（PLDA）说话人确认方法。实验研究发现，如果将长注册话语划分为多个短话语并将短话语i向量的平均值用作注册数据，而不是使用单个长话语作为注册数据，则改善了高斯PLDA（GPLDA）说话人确认。这是因为短话语i向量具有说话者、会话和话语变化，并且话语划分方法补偿了话语变化。随后，本文还采用话语划分方法对SUV-PLDA进行了研究，基于话语分割的SUV-GPLDA系统在NIST 2008和NIST 2010截断的10秒-10秒评估条件下的EER相对提高了9%和16%，因为话语分割方法补偿了话语变化，SUV建模方法补偿了全长开发数据和短-长度评估数据。
2016-10-17 cs.SD
Speaker Targeting via Self-Speaker Adaptation for Multi-talker ASR
NVIDIAUSA（英伟达美国）
本研究提出一种无需显式说话人查询的流式多人对话ASR自说话人自适应方法，通过注入说话人专属内核实现即时适配，在离线和流式场景均达SOTA，可有效处理严重语音重叠问题。
2025-08-29 cs.SD eess.AS
Experiments on Open-Set Speaker Identification with Discriminatively Trained Neural Networks
Ericsson Research（爱立信研究院）
本文研究了开集说话人辨识中的判别式人工神经网络分类器。两个类和多类架构进行了测试，对传统的高斯混合模型为基础的分类器上注册的扬声器集的不同大小。性能评估表明，多类神经网络系统具有优越的性能，为大的人口规模。
2019-04-02 cs.LG cs.SD eess.AS
Blind score normalization method for PLDA based speaker recognition
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
概率线性判别分析（PLDA）已成为说话人识别中$i$ -向量空间建模的最新方法。然而，如果注册数据大小从一个扬声器到另一个不同，则观察到性能下降。本文提出了一种解决这个问题，通过引入新的PLDA评分归一化技术。归一化参数是以盲法导出的，因此，与传统的\textit{ZT-norm}不同，不需要额外的开发数据。此外，所提出的方法已被证明是最佳的检测成本函数。在NIST SRE 2014数据库上进行的实验表明，在混合入组数量条件下的准确性有所提高。
2016-02-22 cs.CL cs.LG cs.SD
Short-duration Speaker Verification (SdSV) Challenge 2021: the Challenge Evaluation Plan
本文档描述了2021年短时间扬声器验证（SdSV）挑战赛。该挑战的主要目标是在短时间场景中评估文本相关（TD）和文本无关（TI）说话人验证（SV）的新技术。所提出的挑战评估SdSV与不同程度的语音重叠之间的登记和测试话语（跨语言）。这是第一个挑战，广泛关注系统的基准和分析不同程度的语音变异的短期说话人识别。我们预计现代方法（特别是深度神经网络）将发挥关键作用。
2021-03-24 cs.CL cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
Text adaptation for speaker verification with speaker-text factorized embeddings
MoE Key Lab of Artificial Intelligence SpeechLab, Department of Computer Science（人工智能MoE重点实验室、语音实验室、计算机科学与工程系）
本文提出一种文本自适应框架，通过说话人-文本因子化网络分解语音嵌入，利用少量自适应话语将文本无关说话人嵌入转为文本定制嵌入，显著提升文本不匹配下的说话人验证性能。
2025-08-06 cs.SD eess.AS
Lightweight Speaker Verification for Online Identification of New Speakers with Short Segments
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS), Universidad Nacional Autónoma de México (UNAM)（墨西哥国立自治大学应用数学与系统研究所（IIMAS））
最近提出了一种灵活的说话人识别方法，即两个音频片段是否属于同一说话人，因为当新的说话人出现在听觉场景中时，它不需要重新训练。尽管许多当前技术已经实现了高性能，但是它们需要相当高的存储量，并且对于它们的输入音频段需要特定的最小长度。这些要求限制了这些技术在服务机器人、物联网和虚拟助手等场景中的适用性，在这些场景中，计算资源有限，用户往往会在短时间内发言。在这项工作中，我们提出了一个基于BLSTM的模型，达到了性能水平的当前状态的最先进的使用短输入音频段时，同时需要一个相当少的内存量。此外，据我们所知，一个完整的说话人识别系统还没有报告使用这种验证范式。因此，我们提出了一个完整的在线扬声器标识符，一个简单的投票系统的基础上，这表明，所提出的基于BLSTM的模型实现了类似的性能在识别扬声器在线相比，目前的最新技术水平。
2020-10-23 cs.SD eess.AS
LiMuSE: Lightweight Multi-modal Speaker Extraction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）
多模态线索，包括空间信息，面部表情和声纹，被引入到语音分离和说话人提取任务，作为补充信息，以实现更好的性能。然而，这些线索的引入带来了越来越多的参数和模型的复杂性，这使得更难在资源受限的设备上部署这些模型。在本文中，我们缓解了上述问题，提出了一个轻量级的多模态框架的扬声器提取（LiMuSE）。我们建议使用GC装备的TCN，它将组通信（GC）和时间卷积网络（TCN）的上下文编解码器模块，音频块和融合块。在MC_GRID数据集上的实验表明，LiMuSE以更少的参数和更低的模型复杂度获得了同等或更好的性能。我们进一步研究了LiMuSE量化的影响。提供了我们的代码和数据集。
2022-10-11 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University（昆山杜克大学）；National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Wuhan University（武汉大学）
INTERSPEECH 2020远场说话人验证挑战赛（FFSVC 2020）在明确定义的条件下解决了三个不同的研究问题：来自单个麦克风阵列的远场文本相关的说话人验证，来自单个麦克风阵列的远场文本无关的说话人验证，以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景，注册话语记录从近距离通话的手机，而测试话语记录从远场麦克风阵列。在本文中，我们描述了数据库，挑战和基线系统，该系统基于基于ResNet的深度说话人网络，具有余弦相似性评分。对于一个给定的话语，不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3，基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Enhancing Open-Set Speaker Identification through Rapid Tuning with Speaker Reciprocal Points and Negative Sample
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Communication（通信学院）；Information Engineering, Shanghai University（上海大学信息工程学院）
本文提出一种用于家庭环境的开集说话人识别框架，结合预训练WavLM、少样本快速调优及SRPL+负样本学习，使开集性能较直接使用WavLM base+提升达27%。
2024-09-24 cs.SD eess.AS
Adapting self-supervised models to multi-talker speech recognition using speaker embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）
自监督学习（SSL）方法在没有显式监督的情况下学习数据的表示，在语音处理任务中，特别是对于单说话者应用程序，已经得到了普及。然而，这些模型在多人通话场景中的性能通常会降低--可能是由于域不匹配--这严重限制了它们在此类应用中的使用。在本文中，我们研究了在两种情况下上游SSL模型对多说话者自动语音识别（ASR）任务的适应性。首先，当分段的话语，我们表明，添加一个目标说话人提取（TSE）模块的基础上注册嵌入是互补的混合感知预训练。其次，对于未分割的混合，我们提出了一种新的联合说话人建模（JSM）的方法，通过他们的嵌入聚合来自混合中的所有扬声器的信息。通过在Libri 2 Mix上的对照实验，我们表明，使用扬声器嵌入分别为分段和未分段的情况提供了9.1%和42.1%的相对WER改进。我们还通过在AMI数据集上的实验证明了我们的模型对真实会话混合的有效性。
2022-11-01 cs.SD eess.AS
Hierarchical speaker representation for target speaker extraction
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
针对目标说话人提取中说话人嵌入表示过于简单导致分离网络难以有效利用的问题，提出分层表示（HR）方法，将锚点数据融合至分离网络的5个层级，显著提升提取精度并在ICASSP 2023挑战赛中夺冠。
2024-01-05 cs.SD eess.AS
Multi-Level Speaker Representation for Target Speaker Extraction
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；Tencent（腾讯）；University of Bremen（不来梅大学）；National University of Singapore（新加坡国立大学）
针对预训练说话人嵌入易出现身份混淆的问题，本研究提出多层级说话人表示方法，融合频谱级原始特征与基于交叉注意力的上下文嵌入，在Libri2mix测试集上显著提升目标说话人提取的性能与准确率。
2024-12-11 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University（西北工业大学）
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛（FFSVC）的NPU系统。我们特别关注远场文本依赖SV从单个（task 1）和多个麦克风阵列（task 3）。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响，因此我们引入了一种新的说话人嵌入架构- ResNet-BAM，它将瓶颈注意力模块与ResNet集成在一起，作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先，旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二，前端信号处理，包括WPE和波束形成，没有明显的贡献，但与数据选择和域对抗训练一起，可以进一步贡献0.5%的EER降低。最后，数据增强，它与一个专门设计的数据选择策略，可以导致2%的EER减少。加上上述贡献，在中间的挑战结果中，我们的单提交系统（没有多系统融合）分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Lightweight Dual-channel Target Speaker Separation for Mobile Voice Communication
Duke Kunshan University（昆山杜克大学）；Xiaomi（小米）
目前，在移动设备上部署目标说话人分离（TSS）模型的需求非常强烈，但模型大小和计算复杂性有限。为了更好地进行移动语音通信的TSS，我们首先基于一个特定的场景LibriPhone制作了一个双通道数据集。具体来说，为了更好地模拟真实情况，LibriPhone不是从单通道数据集进行模拟，而是通过两个专业的人造头同时重放LibriSpeech中的成对话语，并通过手机的两个内置麦克风进行记录。然后，我们提出了一个轻量级的时频域分离模型，LSTM-Former，它是基于LSTM框架的源噪声比（SI-SNR）损失。对于Libri-Phone上的实验，我们通过Libri-Phone的随机单通道来探索双通道LSTMFormer模型和单通道版本。实验结果表明，双通道LSTM-Former的性能优于单通道LSTMFormer，相对提高了25%。该工作为移动设备上的TSS任务提供了一种可行的解决方案，在实际应用场景中回放和记录多个数据源，获取双通道真实数据，可以辅助轻量级模型实现更高的性能。
2021-06-05 cs.SD eess.AS
Target Confusion in End-to-end Speaker Extraction: Analysis and Approaches
Peking University（北京大学）
近年来，端到端说话人提取受到越来越多的关注，并显示出良好的效果。然而，它的性能往往不如具有类似网络架构的盲源分离（BSS）对应物，这是由于辅助说话人编码器有时可能产生模糊的说话人嵌入。这种模糊的指导信息可能会混淆分离网络，从而导致错误的提取结果，这会降低整体性能。我们称之为目标混淆问题。本文对这一问题进行了分析，并分两个阶段加以解决。在训练阶段，我们建议整合度量学习方法，以提高由扬声器编码器产生的嵌入的可识别性。对于推理，设计了一种新的后过滤策略来修正错误的结果。具体来说，我们首先通过测量输出估计和注册话语之间的相似性来识别这些混淆样本，之后通过减法操作来恢复真正的目标源。实验结果表明，该方法能使目标检测性能提高1dB以上，验证了该方法的有效性，突出了目标混淆问题的影响。
2022-04-04 cs.SD eess.AS
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University（武汉大学计算机学院）；Duke Kunshan University（昆山杜克大学）；Data & AI Engineering System, OPPO（OPPO数据与人工智能工程系统）
针对会议场景多说话人语音分离问题，提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS，利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取，在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
Siamese x-vector reconstruction for domain adapted speaker recognition
IBM Research AI（IBM研究院人工智能部门）
随着语音激活应用的兴起，对说话人识别的需求正在迅速增加。x向量是一种基于深度神经网络（DNN）的嵌入方法，当适当的端到端训练不可行时，它被认为是最先进的。然而，当记录条件（噪声、采样率等）在x向量训练数据和目标数据之间或者在登记和测试数据之间是不匹配的。我们介绍了Siamese x向量重建（SVR）域自适应。我们使用精益辅助Siamese DNN从较低质量的对应物中重建较高质量信号的嵌入。我们评估我们的方法在几个不匹配的情况下，并证明了显着的改善基线。
2020-07-28 cs.LG cs.SD eess.AS
HRTF-guided Binaural Target Speaker Extraction with Real-World Validation
Faculty of Engineering, Bar Ilan University, Israel（巴伊兰大学工程学院，以色列）
本文提出基于HRTF的双耳目标说话人提取框架，通过现实验证提升语音质量和可懂度，利用HRTF作为空间先验，增强双耳 cues 保留。
2026-03-17 cs.SD eess.AS
Enrollment-less training for personalized voice activity detection
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
我们提出了一种新的个性化语音活动检测（PVAD）学习方法，在训练过程中不需要注册数据。PVAD是利用目标说话人的注册语音在帧级检测特定目标说话人的语音片段的任务。由于PVAD必须学习说话人的语音变化以澄清说话人之间的边界，因此对PVAD的研究使用了包含每个说话人的许多话语的大规模数据集。然而，用于训练PVAD模型的数据集通常是有限的，因为需要大量成本来准备这样的数据集。此外，我们不能利用用于训练标准VAD的数据集，因为它们通常缺乏说话人标签。为了解决这些问题，我们的关键思想是使用一个话语作为一种注册语音和PVAD在训练过程中的输入，这使得PVAD训练没有注册语音。在我们提出的方法中，称为无注册训练，我们增加一个话语，以便在输入和注册语音之间创建可变性，同时保持说话人身份，这避免了训练和推理之间的不匹配。我们的实验结果证明了该方法的有效性。
2021-06-23 cs.SD eess.AS
The 2021 NIST Speaker Recognition Evaluation
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
2021年说话人识别评估（SRE 21）是美国国家标准与技术研究院（NIST）自1996年以来进行的持续评估系列的最新周期。这是NIST组织的第二次大规模多模式说话人/人识别评估（第一次是SRE 19）。与SRE 19类似，它有两个核心评估轨道，即音频和视听，以及一个可选的视觉轨道。除了提供固定和开放的培训条件外，它还为社区带来了新的挑战，这要归功于新的多式联运（即，音频、视频和自拍图像）和多语言（即，语言数据联合会（LDC）在北美以外收集的名为WeCanTalk的语料库。这些挑战包括：1）试验（目标和非目标），招募和测试部分来自不同的领域（即，电话对视频），以及2）具有以不同语言说出的登记和测试段的试验（目标和非目标）（即，跨语言试验）。本文介绍了SRE 21的概述，包括任务，性能指标，数据，评估协议，结果和系统性能分析。来自学术界和工业界的23个组织（组成15个小组）参加了SRE 21，并提交了158个有效的系统输出。评价结果表明：视听融合在性能上比仅音频或仅视觉系统产生实质性的增益;最佳表现的说话者和面部识别系统在该评估中存在的匹配域条件下表现出相当的性能;以及，使用复杂神经网络体系结构（例如，ResNet）以及具有裕度的角度损失、数据增强以及长持续时间微调有助于仅音频说话人识别任务的显著性能改进。
2022-04-21 cs.LG cs.SD eess.AS
