Speaker Diarization using Two-pass Leave-One-Out Gaussian PLDA Clustering of DNN Embeddings
The Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（卓越人类语言技术中心）
许多现代说话人日记化系统，例如最近开发的VBx方法，依赖于DNN说话人嵌入的聚类，然后进行重新分段。这种方法的两个问题是DNN没有直接针对该任务进行优化，并且参数需要针对不同的应用进行显著的重新调整。我们最近在这个方向上取得了进展，采用了Leave-One-Out Gaussian PLDA（LGP）聚类算法和一种训练DNN的方法，以便嵌入直接优化这种评分方法的性能。本文提出了一种新的两遍版本的系统，其中第二遍使用更精细的时间分辨率，以显着提高整体性能。对于Callhome语料库，我们在没有任何任务相关参数调整的情况下实现了首次发布的错误率低于4%。我们还显示出显着的进步，一个强大的单一解决方案，多个日记任务。
2021-06-14 cs.LG eess.AS eess.SP
DNN-based cross-lingual voice conversion using Bottleneck Features
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
跨语言语音转换（CLVC）是一个相当具有挑战性的任务，因为源和目标说话人说不同的语言。提出了一种基于瓶颈特征和深度神经网络（DNN）的CLVC框架。在所提出的方法中，从深度自动编码器（DAE）提取的瓶颈特征用于表示来自不同语言的语音信号的非特定人特征。DNN模型被训练以学习瓶颈特征与目标说话人的对应频谱特征之间的映射。该方法可以捕获特定于说话人的特征，因此在训练过程中不需要源说话人的语音数据。所提出的方法的性能进行评估，使用数据从三个印度语言：泰卢固语，泰米尔语和马拉雅拉姆语。实验结果表明，该方法优于基于高斯混合模型（GMM）的基线CLVC方法。
2019-09-10 cs.LG cs.SD eess.AS
An iterative framework for self-supervised deep speaker representation learning
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个基于深度神经网络（DNN）的自监督说话人表示学习的迭代框架。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。在VoxCeleb数据集上进行了说话人确认实验。结果表明，我们提出的迭代自监督学习框架优于以前的作品使用自我监督。经过5次迭代后的说话人网络比使用对比度损失训练的说话人嵌入模型获得了61%的性能增益。
2020-10-25 cs.SD eess.AS
Speaker verification-derived loss and data augmentation for DNN-based multispeaker speech synthesis
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Babeș-Bolyai University of Cluj-Napoca（克卢日-纳波卡巴比什-波雅依大学）
构建基于多说话人神经网络的文本到语音合成系统通常依赖于来自每个说话人的大量高质量录音的可用性，并将训练过程调节在说话人的身份或其学习表示上。然而，当来自每个说话人的数据很少或说话人的数量有限时，多说话者TTS可能难以训练，并且将导致较差的说话者相似性和自然度。为了解决这个问题，我们探索了两个方向：通过附加额外的损失项，迫使网络学习更好的说话人身份表示;以及使用波形操作方法来增强与每个说话人有关的输入数据。我们表明，这两种方法都是有效的客观和主观的措施进行评估时。额外的损失项有助于说话人相似性，而数据增强提高了多说话人TTS系统的可懂度。
2021-06-03 cs.SD eess.AS
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库，然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010，PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是，建议的预处理显着优于基线，这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
ExPO: Explainable Phonetic Trait-Oriented Network for Speaker Verification
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
针对说话人验证缺乏可解释性的问题，提出ExPO网络，引入语音层面的说话人特征，实现可解释的验证流程，并探究不同变异角度下的最优特征，推动可解释说话人验证发展。
2025-01-14 cs.AI cs.SD eess.AS
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics；Information Systems, Ghent University - imec, Belgium
在本文中，我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法，将输出分数映射到校准良好的对数似然比，其可以转换为可解释的概率。通过在校准系统中包括质量特征，评估度量的决策阈值变得依赖于质量，并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能，可以在所有公开的VoxCeleb 1测试集上获得最先进的结果，并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
Model architectures to extrapolate emotional expressions in DNN-based text-to-speech
本文提出了有助于在基于深度神经网络（DNN）的文本转语音（TTS）中外推情感表达的架构。在本研究中，“外推情感表达”的含义是借用他人的情感表达，不需要收集目标说话人的情感言语。虽然DNN具有构建具有情感表达的基于DNN的TTS的潜力，并且一些基于DNN的TTS系统在表达人类语音的多样性方面表现出令人满意的性能，但是收集目标说话人发出的情感语音是必要的和麻烦的。为了解决这个问题，我们提出的架构，分别训练的扬声器功能和情感功能，并合成语音与扬声器和情感的任何组合质量。这些结构包括并行模型（PM）、串行模型（SM）、辅助输入模型（AIM）和混合模型（PM&AIM和SM&AIM）。这些模型通过少数说话人发出的情感语音和许多说话人发出的中性语音进行训练。客观评价表明，在开放情绪测试中的表现提供的信息不足。他们与封闭情绪测试中的人进行了比较，但每个人都有自己表达情绪的方式。然而，主观评价结果表明，所提出的模型可以在一定程度上传达情感信息。值得注意的是，PM可以以> 60%的比率正确地传达悲伤和快乐的情绪。
2021-02-20 eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Human-in-the-loop Speaker Adaptation for DNN-based Multi-speaker TTS
The University of Tokyo（东京大学）
提出了一种适用于多说话人文本到语音转换的人在回路说话人自适应方法。与传统的说话人自适应方法，目标说话人的嵌入向量提取他/她的参考语音使用的说话人编码器上训练的说话人判别任务。然而，当参考语音不可用时，该方法不能获得目标说话人的嵌入向量。我们的方法是基于一个人在回路优化框架，其中包括用户探索说话人嵌入空间，以找到目标说话人的嵌入。所提出的方法使用顺序线搜索算法，反复要求用户在嵌入空间中的线段上选择一个点。为了有效地从多个刺激中选择最佳语音样本，我们还开发了一个系统，在该系统中，用户可以在循环话语时为每个音素在多个扬声器的声音之间切换。实验结果表明，即使参考语音不直接作为说话人编码器的输入，该方法在客观评价和主观评价方面都能达到与传统方法相当的性能。
2022-06-21 cs.HC cs.NE cs.SD
End-to-end DNN Based Speaker Recognition Inspired by i-vector and PLDA
Brno University of Technology（布尔诺理工大学）
最近，已经提出了几种基于深度神经网络（DNN）的端到端说话人验证系统。这些系统已被证明是有竞争力的文本相关的任务，以及文本独立的任务与短话语。然而，对于具有较长话语的文本独立任务，端到端系统仍然优于标准i-vector + PLDA系统。在这项工作中，我们开发了一个端到端的说话人验证系统，该系统被初始化为模仿i-vector + PLDA基线。然后，系统将以端到端的方式进行进一步训练，但会进行正则化，以便不会偏离初始系统太远。通过这种方式，我们减轻了通常限制端到端系统性能的过拟合。所提出的系统优于i向量+ PLDA基线上的长和短持续时间的话语。
2018-01-08 cs.SD eess.AS
Scaling and bias codes for modeling speaker-adaptive DNN-based speech synthesis systems
National Institute of Informatics（国立信息学研究所）；The University of Edinburgh（爱丁堡大学）
用于语音合成的大多数基于神经网络的说话人自适应声学模型可以分为基于层的方法和输入代码的方法。虽然这两种方法都有自己的优点和缺点，大多数现有的作品对说话人适应集中在改善一个或另一个。在本文中，我们首先系统地概述了基于神经网络的说话人自适应模型的共同原则，我们表明，这些方法可以表示在一个统一的框架，可以进一步推广。更具体地说，我们介绍了使用的缩放和偏置码作为扬声器自适应变换的广义手段。通过利用这些代码，我们可以创建一个更有效的因子化说话人自适应模型，并捕捉这两种方法的优点，同时减少他们的缺点。实验结果表明，与基于传统输入编码的说话人自适应方法相比，该方法能够提高说话人自适应的性能。
2018-10-01 cs.SD eess.AS stat.ML
Optimized Power Normalized Cepstral Coefficients towards Robust Deep Speaker Verification
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
功率归一化倒谱系数（PNCC）特征被引入鲁棒语音识别后，被成功地应用于其他任务，包括说话人确认。然而，作为对功率谱图进行长期操作的特征提取器，其专用于环境补偿的时间处理和幅度缩放步骤可能是冗余的。此外，它们可能会抑制对基于深度神经网络（DNN）的说话者验证有用的固有说话者变化。因此，在这项研究中，我们重新审视和优化PNCCs烧蚀其中期时间处理器，并通过引入通道能量归一化。基于DNN的说话人验证系统的实验结果表明，在域内和跨域情况下，与基线PNCCs相比，VoxCeleb1和VoxMovies上的最大相等出错率分别降低了5.8%和61.2%，这反映了显着的改善。
2021-09-24 cs.AI cs.SD eess.AS
The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）
本报告描述了DKU-DukeECE团队提交的2021 VoxCeleb说话人识别挑战赛（VoxSRC）的自我监督说话人验证任务。我们的方法采用迭代标记框架来学习基于深度神经网络（DNN）的自监督说话人表示。该框架首先通过对比损失最大化话语内不同段之间的一致性来训练自我监督说话人嵌入网络。利用DNN从带有标签噪声的数据中学习的能力，我们建议对从以前的说话人网络中获得的说话人嵌入进行聚类，并使用后续的类分配作为伪标签来训练一个新的DNN。此外，我们迭代地训练扬声器网络与从上一步生成的伪标签，以引导DNN的辨别能力。此外，视觉模态数据被纳入这个自标记框架。视觉伪标签和音频伪标签与聚类集成算法融合，以产生用于表示学习的鲁棒监督信号。我们的提交在挑战开发和测试集上分别实现了5.58%和5.59%的等错误率（EER）。
2021-09-07 cs.SD eess.AS
The SpeakIn Speaker Verification System for Far-Field Speaker Verification Challenge 2022
SpeakIn Technologies Co. Ltd.（SpeakIn科技有限公司）
本文介绍了SpeakIn团队提交给2022年远场扬声器验证挑战赛（FFSVC 2022）任务1和任务2的扬声器验证（SV）系统。挑战赛的SV任务集中在全监督远场说话人确认（任务1）和半监督远场说话人确认（任务2）的问题上。在任务1中，我们使用VoxCeleb和FFSVC 2020数据集作为训练数据集。对于任务2，我们仅使用VoxCeleb数据集作为训练集。基于ResNet和RepVGG的架构就是为了应对这一挑战而开发的。全局统计池结构和MQMHA池结构用于跨时间聚合帧级特征以获得话语级表示。我们采用AM-Softmax和AAM-Softmax对所得嵌入进行分类。本文创新性地提出了一种分阶段的迁移学习方法。在预训练阶段，我们保留扬声器权重，并且在此阶段没有正样本来训练它们。然后，我们在第二阶段使用正样本和负样本微调这些权重。与传统的迁移学习策略相比，该策略能更好地提高模型性能。使用Sub-Mean和AS-Norm后端方法来解决域不匹配问题。在融合阶段，在任务1中融合了三个模型，在任务2中融合了两个模型。在FFSVC 2022排行榜上，我们提交的EER为3.0049%，任务1中相应的minDCF为0.2938。在任务2中，EER和minDCF分别为6.2060%和0.5232。我们的方法带来了出色的性能，并在两项挑战任务中排名第一。
2022-09-23 cs.AI cs.SD eess.AS
Towards Robust Speaker Verification with Target Speaker Enhancement
本文提出了一种基于目标说话人增强的说话人确认网络（TASE-SVNet），它是一种将目标说话人增强和说话人嵌入提取相结合的全神经网络模型，用于鲁棒的说话人确认。具体地说，注册说话人条件语音增强模块被用作从其与干扰说话人和环境噪声的混合物中提取目标说话人的前端。与传统的目标说话人增强模型相比，非目标说话人/干扰抑制应该引起SV的额外关注。因此，一个有效的非目标说话人采样策略进行了探索。为了提高基于轻量模型的说话人嵌入提取算法的性能，提出了一种师生（T/S）训练方法，将说话人识别信息从大模型中提取到小模型中。迭代推理研究，以解决嘈杂的发言人登记问题。我们在两个SV任务上评估所提出的方法，即，一个是严重重叠的语音，另一个是车辆环境中的综合噪声类型。实验表明，与最先进的基线相比，等错误率（EER）有了显著和一致的改善。
2021-03-16 eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling（斯特林大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；University of Sheffield（谢菲尔德大学）
人类的听觉皮层擅长选择性地抑制背景噪音，以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者，同时过滤掉其他噪音。在这项研究中，我们提出了一种新的基于深度神经网络（DNN）的视听（AV）掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态，以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码（IBM）估计，利用混合DNN架构来利用堆叠的长短期记忆（LSTM）和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明，我们提出的AV掩模估计模型相比，音频和视觉掩模估计方法的扬声器相关和独立的情况下，显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
DNN Speaker Tracking with Embeddings
Universidad Autónoma de Yucatán（尤卡坦自治大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在多扬声器应用中，通常具有来自注册扬声器的预先计算的模型。使用这些模型来识别这些说话者干预录音的情况是说话者跟踪的任务。在本文中，我们提出了一种新的基于嵌入的说话人跟踪方法。具体来说，我们的设计是基于一个卷积神经网络，模仿一个典型的说话人验证PLDA（概率线性判别分析）分类器，并发现在一个在线的方式发出的目标扬声器的区域。该系统从两个不同的角度进行了研究：日记和跟踪;结果都显示了显着的改善，在相同的实验条件下，PLDA基线。两个标准的公共数据集，CALLHOME和DIHARD II单通道，进行了修改，以创建两个扬声器子集的重叠和非重叠区域。我们评估我们的监督方法的鲁棒性与从不同的段长度生成的模型。DIHARD II单通道DER相对提高17%，表现出良好的性能。此外，为了使基线系统类似于说话人跟踪，非目标说话人被添加到录音中。即使在这些不利条件下，我们的方法也足够强大，可以超越PLDA基线。
2020-07-13 cs.LG cs.SD eess.AS
DNN-HMM based Speaker Adaptive Emotion Recognition using Proposed Epoch and MFCC Features
National Institute of Technology Patna（巴特那国家技术学院）；Central University of South Bihar（南比哈尔中央大学）
语音是由时变声道系统受时变激励源激励而产生的。因此，语音中的信息，如信息、情感、语言、说话人等是激励源和声道系统共同作用的结果。然而，很少有利用激励源特征来识别情感。在我们早期的工作中，我们提出了一种新的方法来提取声门闭合瞬间（GCI）称为历元。在本文中，我们探讨了时期的特征，即瞬时音调，相位和强度的时期区分的情绪。我们将激励源特征和众所周知的男频倒谱系数（MFCC）特征相结合，开发了一个性能更好的情感识别系统。DNN-HMM说话人自适应模型已经使用MFCC，历元和组合特征开发。IEMOCAP情感数据库已被用来评估模型。当分别使用MFCC和历元特征时，情感识别系统的平均准确率分别为59.25%和54.52%。当MFCC和历元特征相结合时，识别性能提高到64.2%。
2018-06-04 cs.AI cs.LG cs.SD
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
DNN based HRIRs Identification with a Continuously Rotating Speaker Array
针对动态HRIR测量高转速下精度下降问题，提出基于序列到序列学习的DNN识别方法，利用FC网络和门控机制，在45°/s下NM改善超7dB，LSD低于2dB，实验验证定位线索准确。
2025-04-21 eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group（阿里巴巴集团）
说话人嵌入是说话人相关任务的基本特征，如验证，聚类和日志化。传统上，说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计，特别是在处理较短的话语时。在本文中，我们提出了一个“浮动”向量，其状态是不确定的，而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型，该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调，例如说话人验证，说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University（首尔国立大学）
在本文中，我们提出了自我监督的说话人表示学习策略，其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段，我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段，通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入，这不仅提供了说话人表示，而且还提供了数据的不确定性。实验结果表明，所提出的自举均衡训练策略能够有效地帮助学习说话人表征，并且优于传统的基于对比学习的方法。此外，我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification
我们提出了SpeakerNet -一个新的神经架构的说话人识别和说话人验证任务。它由具有1D深度可分离卷积、批量归一化和ReLU层的残差块组成。该架构使用基于x-向量的统计池化层来将可变长度的话语映射到固定长度的嵌入（q-向量）。SpeakerNet-M是一个简单的轻量级模型，只有5 M个参数。它不使用语音活动检测（VAD），并实现了接近最先进的性能，在VoxCeleb 1清理和VoxCeleb 1试用文件上的等错误率（EER）分别为2.10%和2.29%。
2020-10-23 eess.AS
Phonetic-aware speaker embedding for far-field speaker verification
The Hong Kong Polytechnic University（香港理工大学）
针对远场说话人验证受噪声和混响干扰的问题，提出联合训练语音与说话人识别的JTSS框架，利用音素信息补偿声学退化，在VOiCES 2019和VoxCeleb1上显著提升了验证性能。
2023-11-27 cs.AI cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
Delft University of Technology（代尔夫特理工大学）
尽管深度神经网络（DNN）在支持设备上的语音助手方面取得了成功，但越来越多的证据表明，机器学习存在偏见和歧视，这使得调查这些系统的公平性变得更加紧迫。说话人验证是一种生物识别形式，可以访问语音助手。由于缺乏公平性指标和评估框架，适合于测试的公平性说话人验证组件，很少有人知道模型的性能如何在不同的子组，以及什么因素影响性能变化。为了应对这一新出现的挑战，我们设计和开发了SVEva Fair，这是一个可访问的，可操作的和模型无关的框架，用于评估说话人验证组件的公平性。该框架提供了评估措施和可视化，以询问跨扬声器子组的模型性能，并比较模型之间的公平性。我们在一个案例研究中展示了SVEva Fair，该案例研究使用在VoxCeleb数据集上训练的端到端DNN来揭示基于扬声器人口统计属性的现有嵌入式语音识别系统中的潜在偏见。我们的评估表明，公开访问的基准模型是不公平的，并始终产生一些民族，大多数民族的女性发言人更差的预测。为了为公平和可靠的嵌入式说话人验证铺平道路，SVEva Fair已被实现为开源python库，并可集成到嵌入式ML开发管道中，以方便开发人员和研究人员对不可靠的说话人验证性能进行故障排除，并选择高影响力的方法来缓解公平性挑战。
2022-10-04 cs.AI cs.SD eess.AS
On the potential of jointly-optimised solutions to spoofing attack detection and automatic speaker verification
欺骗感知说话人验证（SASV）挑战旨在促进联合优化解决方案的研究，以完成传统上分别优化的欺骗检测和说话人验证任务。联合优化的系统有可能协同工作，作为可靠的说话人验证单一任务的更好的解决方案。然而，向SASV 2022提交的23份申请中没有一份是联合优化的。因此，我们试图确定为什么单独优化的子系统表现最好，或者为什么联合优化不成功。本文报道的实验表明，联合优化是成功的，提高鲁棒性欺骗，但它降低了说话人验证性能。研究结果表明，欺骗检测和说话人验证子系统应联合优化的方式，反映了每个子系统提供的信息是如何互补的，由其他的差异。能否取得进展还可能取决于能否从更多的发言者那里收集数据。
2022-10-07 eess.AS
SASV 2022: The First Spoofing-Aware Speaker Verification Challenge
第一个欺骗感知说话人验证（SASV）挑战旨在整合说话人验证和反欺骗的研究工作。我们通过将欺骗试验引入到通常的目标和冒名顶替者试验中来扩展说话人验证方案。与ASVspoof挑战不同，ASVspoof挑战的重点是单独的、独立优化的欺骗检测和说话者验证子系统，SASV的目标是开发集成的、联合优化的解决方案。预先训练的欺骗检测和说话者验证模型作为开源提供，并用于两个基线SASV解决方案。模型和基线都可免费提供给参与者，并可用于开发后端融合方法或端到端解决方案。使用所提供的共同评估协议，23个团队提交了SASV解决方案。当评估与目标，善意的非目标和欺骗的非目标试验，性能最好的系统降低了传统的说话人确认系统的等错误率从23.83%到0.13%。SASV挑战结果证明了当今最先进的欺骗检测和说话人验证方法的可靠性。
2022-03-28 eess.AS
Eigenvoice Synthesis based on Model Editing for Speaker Generation
CyberAgentJapan（CyberAgent日本）；Nagoya University（名古屋大学）
本文提出基于DNN模型编辑的特征语音合成方法，在模型参数空间中定义说话人空间并采样生成多样化语音，实验验证其有效性并发现性别主导轴。
2025-07-04 cs.SD eess.AS
The SVASR System for Text-dependent Speaker Verification (TdSV) AAIC Challenge 2024
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）
针对文本相关说话人验证需求，提出集成Fast-Conformer ASR模块过滤错误样本、融合wav2vec-BERT与ReDimNet说话人嵌入的SVASR系统，在TDSV 2024挑战赛测试集获归一化最小DCF 0.0452（排名第2）。
2024-11-25 cs.AI cs.SD eess.AS
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理，提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research（微软人工智能与研究部）
我们提出了一种新的对抗性多任务学习方案，旨在主动减少说话者间的特征变异性，同时最大化其senone可区分性，以提高基于深度神经网络（DNN）的ASR系统的性能。我们称该方案为说话人不变训练（SIT）。在SIT中，DNN声学模型和说话人分类器网络被联合优化，以最小化senone（绑三音子状态）分类损失，同时最小化说话人分类损失。通过这种对抗性多任务学习，学习了说话人不变和senone区分的深度特征。使用SIT，可以学习输出概率方差显著降低的规范DNN声学模型，而无需在训练或测试中使用显式的说话者独立（SI）变换或特定于说话者的表示。在CHiME-3数据集上进行评估，SIT比传统的SI声学模型实现了4.99%的相对字错误率（WER）改善。通过额外的无监督说话人自适应，说话人自适应（SA）SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd（Pensees私人有限公司）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了一种新的技术，利用说话人特征和语言内容之间的相互作用，以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意（SUDA）的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制，学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实，所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Leveraging ASR Pretrained Conformers for Speaker Verification through Transfer Learning and Knowledge Distillation
本文利用ASR预训练Conformer，通过迁移学习、知识蒸馏和轻量级适配器三种策略，在VoxCeleb上实现低至0.43%的EER，有效迁移ASR能力至说话人验证。
2024-07-16 eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering（纽约大学坦登工程学院）
在本文中，一种新的卷积神经网络架构已被开发用于说话人确认，以同时捕获和丢弃说话人和非说话人信息，分别。在训练阶段，训练网络以区分不同的说话人身份，以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题，以生成一个有区别的特征空间来区分相同和不同的说话者，而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明，该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings
University of Seoul（首尔大学）
输入语音的短持续时间是降低说话人确认系统性能的最关键威胁之一。本研究的目的是开发一个集成的文本无关的说话人确认系统，输入的话语与短的持续时间为2秒或更少。我们提出了一种方法，使用教师-学生的学习框架，为这个目标，适用于短话语补偿在我们的知识。所提出的系统的核心概念是在整个提取说话人嵌入的网络中进行补偿，主要是在语音级别，而不是在提取说话人嵌入后通过单独的系统进行补偿。在所提出的架构中，使用卷积层提取语音级特征，其中每个特征表示130 ms的片段。门控递归单元层使用语音级特征提取话语级特征。该方法还采用了一个新的目标函数，教师-学生学习，同时考虑输出层的Kullback-Leibler发散和余弦距离的发言人嵌入层。实验使用深度神经网络进行，该网络将原始波形作为输入，并在VoxCeleb 1数据集上输出扬声器嵌入。该模型可以补偿约65%的性能下降，由于缩短的持续时间。
2019-04-10 cs.AI cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University（西北工业大学）
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类，即，核查和识别。验证损失函数与说话人验证的流水线相匹配，但其实现比较困难。因此，大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中，我们提出了一个验证损失函数，命名为最大化的接收机操作特征（ROC）曲线下的部分面积（pAUC），基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法，以提高训练效率，这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild（SITW）和NIST SRE 2016数据集上的实验表明，所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入，图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程，辅助说话者的信息参与确定输入话语之间的关系，从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器，在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明，将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）
在基于神经网络的说话人确认中，说话人嵌入需要在说话人之间具有区分性，同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中，我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则，进一步提高了算法的性能。在VoxCeleb上的实验结果表明，我们的最佳系统在EER上比基线方法高出15%，在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Model Compression for DNN-based Speaker Verification Using Weight Quantization
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究利用权重量化压缩ECAPA-TDNN和ResNet两种说话人验证模型，在VoxCeleb上验证了量化可在数倍缩小模型规模的同时保持性能，并发现ResNet因权重分布平滑而更稳健。
2023-09-25 cs.SD eess.AS
Novel Hybrid DNN Approaches for Speaker Verification in Emotional and Stressful Talking Environments
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿邦特·伊士德·贝萨尔大学）
在这项工作中，我们进行了一个实证性的比较研究的文本无关的说话人确认的性能在情绪和压力的环境。这项工作将深层模型与浅层架构相结合，从而产生了新颖的混合分类器。利用四种不同的混合模型：深度神经网络-隐马尔可夫模型（DNN-HMM）、深度神经网络-高斯混合模型（DNN-GMM）、高斯混合模型-深度神经网络（GMM-DNN）和隐马尔可夫模型-深度神经网络（HMM-DNN）。所有模型都基于新的实现架构。这项比较研究使用了三个不同的语音数据集：一个私人阿拉伯语数据集和两个公共英语数据库，即模拟和实际压力下的语音（SUSAS）和瑞尔森情绪语音和歌曲视听数据库（RAVDESS）。上述混合模型的测试结果表明，所提出的HMM-DNN利用了情感和压力环境中的验证性能。结果还显示，HMM-DNN在等出错率（EER）和曲线下面积（AUC）评估指标方面优于所有其他混合模型。基于三个数据集的平均结果验证系统基于HMM-DNN、DNN-HMM、DNN-GMM和GMM-DNN分别产生了7.19%、16.85%、11.51%和11.90%的EER。此外，我们发现，DNN-GMM模型表现出最小的计算复杂性相比，所有其他混合模型在两个谈话环境。相反，HMM-DNN模型需要最多的训练时间。研究结果还表明，EER和AUC值依赖于数据库时，比较平均情绪和压力的表现。
2021-12-26 cs.LG cs.SD eess.AS
Signal-informed DNN-based DOA Estimation combining an External Microphone and GCC-PHAT Features
Jade University of Applied Sciences（雅德应用科学大学）；University of Oldenburg（奥尔登堡大学）
针对麦克风阵列在多人环境中估计期望说话人的波达方向（DOA）问题，提出了一种基于麦克风阵列的信号通知方法。所提出的方法将二进制掩码应用于卷积神经网络的GCC-PHAT输入特征，其中二进制掩码基于外部麦克风信号的功率分布来计算。混响的情况下，多达四个干扰扬声器的实验结果表明，信号通知掩蔽提高定位精度，而不需要任何知识的干扰扬声器。
2022-06-11 cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science；Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中，我们提出了VoiceID损失，一个新的损失函数训练的语音增强模型，以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数（例如L2损失）相比，VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图，以过滤掉用于说话人验证的不必要分量。在实验中，我们观察到增强网络在使用VoiceID丢失进行训练后，能够忽略大量的时频点，例如那些由噪声主导的时频点，以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul（首尔大学）
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而，将这两项任务结合起来的研究仍处于初步阶段。在本文中，我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测：一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别，演示攻击检测，并使用多任务学习使用一个共同的功能的集成系统。然而，通过实验，我们假设，所需的信息进行说话人验证和演示攻击检测可能会有所不同，因为说话人验证系统试图从扬声器嵌入删除设备特定的信息，而演示攻击检测系统利用这些信息。因此，我们提出了一种后端模块化方法，使用单独的深度神经网络（DNN）进行说话人验证和演示攻击检测。这种方法有三个输入组件：两个扬声器嵌入（注册和测试）和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行，其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比，传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions（LG广告解决方案公司）
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者，对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot（看不见的）说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发，为了提高说话人嵌入的可辨别性，我们训练模型，以在训练集中存在的所有说话人中对当前集的样本进行分类。此外，我们提出了一种新的训练机制，通过从给定的元学习事件中提取更多的信息来加快模型收敛，而额外的计算可以忽略不计。我们评估VoxCeleb，SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
The 2022 Far-field Speaker Verification Challenge: Exploring domain mismatch and semi-supervised learning under the far-field scenario
FFSVC 2022是远场说话人确认的第二个挑战。FFSVC 2022提供了全监督远场说话人确认，以进一步探索远场场景，并提出了半监督远场说话人确认。与FFSVC 2020不同，FFSVC 2022专注于单通道场景。此外，今年还发布了FFSVC 2020数据集的补充集。补充集由更多记录设备组成，数据分布与FFSVC 2022评估集相同。本文总结了FFSVC 2022，包括任务描述，试验设计细节，基线系统和挑战结果总结。挑战结果表明，在该领域取得了重大进展，但也表明远场情景仍然存在困难。
2022-09-16 eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们证明了说话人确认系统的性能可以通过级联脑电（EEG）信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证，并展示了我们对嘈杂语音的结果。我们的研究结果表明，脑电信号可以提高说话人确认系统的鲁棒性，特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
Extrapolating false alarm rates in automatic speaker verification
Huawei Technologies Ltd.（华为技术有限公司）；University of Eastern Finland（东芬兰大学）；NEC Corporation（日本电气股份有限公司）
自动说话人验证（ASV）供应商和语料库提供商都将受益于工具，可以可靠地推断大量说话人的性能指标，而无需收集新的说话人。我们解决了最坏情况下的模型下，对手确定一个给定的目标扬声器从一个大的人口最接近的冒名顶替者虚警率外推。我们的模型是生成的，允许采样新的扬声器。该模型在ASV检测分数空间中制定，以便于分析任意ASV系统。
2020-08-08 cs.LG eess.AS stat.ML
