Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了我们正在进行的对比预测编码(CPC)特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统,我们提出了我们的方法,实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识,传统的语音特征,以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Few Shot Text-Independent speaker verification using 3D-CNN
Galgotias University(加尔各答大学)
人脸识别系统是人工智能的主要成功之一,在过去的几年里已经被大量使用。但是,图像并不是唯一的生物特征:音频是另一种可能的生物特征,可以用作现有识别系统的替代品。然而,文本无关的音频数据并不总是可用于像说话人验证这样的任务,并且在过去也没有针对假设非常少的训练数据的文本无关的说话人验证进行工作。因此,在本文中,我们提出了一种新的方法来验证的身份声称发言人使用很少的训练数据。为了实现这一点,我们使用了具有中心损失和扬声器偏置损失的Siamese神经网络。在VoxCeleb 1数据集上进行的实验表明,即使在训练数据很少的情况下,所提出的模型的准确性也接近于文本无关说话人确认的最新模型
2020-08-25 cs.LG cs.SD eess.AS
From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
近年来,端到端的文语转换模型可以合成高保真语音。然而,在文本到语音系统中访问和控制语音属性,如说话人身份,韵律和情感仍然是一个挑战。本文提出了一种带反馈约束的多说话人语音合成系统。我们设法加强从说话人确认的语音合成通过从事说话人确认网络的知识转移。该约束通过与说话人身份相关的附加损失来获取,该附加损失被集中以提高合成语音与其自然参考音频之间的说话人相似性。该模型在公开的数据集上进行训练和评估。实验结果,包括可视化的说话人嵌入空间,显着改善方面的说话人身份克隆的声谱图水平。合成样本可在线收听。(https://caizexin.github.io/mlspk-syn-samples/index.html)
2020-08-04 cs.LG cs.SD eess.AS
Towards Robust Speaker Verification with Target Speaker Enhancement
本文提出了一种基于目标说话人增强的说话人确认网络(TASE-SVNet),它是一种将目标说话人增强和说话人嵌入提取相结合的全神经网络模型,用于鲁棒的说话人确认。具体地说,注册说话人条件语音增强模块被用作从其与干扰说话人和环境噪声的混合物中提取目标说话人的前端。与传统的目标说话人增强模型相比,非目标说话人/干扰抑制应该引起SV的额外关注。因此,一个有效的非目标说话人采样策略进行了探索。为了提高基于轻量模型的说话人嵌入提取算法的性能,提出了一种师生(T/S)训练方法,将说话人识别信息从大模型中提取到小模型中。迭代推理研究,以解决嘈杂的发言人登记问题。我们在两个SV任务上评估所提出的方法,即,一个是严重重叠的语音,另一个是车辆环境中的综合噪声类型。实验表明,与最先进的基线相比,等错误率(EER)有了显著和一致的改善。
2021-03-16 eess.AS
Segment Aggregation for short utterances speaker verification using raw waveforms
University of Seoul(首尔市立大学)
说话人确认系统的研究大多集中在长时长的话语,这是由足够的语音信息。然而,已知这些系统的性能在短持续时间的话语被输入时由于与长话语相比缺乏语音信息而降低。在本文中,我们提出了一种方法,弥补短话语的说话人确认的性能下降,称为“段聚合”。该方法采用基于集合的设计,以提高说话人确认系统的稳定性和准确性。该方法将输入语音分割成若干个短语音,然后将从分割后的语音中提取的语音段嵌入进行聚合,构成说话人嵌入。然后,该方法同时训练分段嵌入和聚合说话人嵌入。此外,我们还针对所提出的方法对师生学习法进行了修改。在VoxCeleb1测试集上进行的不同输入时长的实验结果表明,与1秒测试语音条件下的基线系统相比,该方法提高了说话人确认性能约45.37%。
2020-08-04 cs.LG cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
当测试语音被干扰说话人破坏时,说话人确认的性能会显著下降。如果说话人在时间上重叠,说话人日记可以很好地分离说话人。然而,如果多个说话者同时说话,我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地,给定目标说话人信息,首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后,提取的语音被传递到说话人验证系统。实验结果表明,该方法显著提高了重叠多说话人说话人确认的性能,相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Multiobjective Optimization Training of PLDA for Speaker Verification
Tsinghua University(清华大学)
目前大多数与文本无关的说话人确认系统采用概率线性判别分析(PLDA)作为其后端分类器。PLDA的参数估计通常采用最大化目标函数的方法,这种方法侧重于增加对数似然函数的值,而忽略了说话人之间的区别。为了更好地区分说话人,我们提出了一个多目标优化训练PLDA。实验结果表明,该方法在NIST SRE 14 i-vector挑战数据集上的EER和MinDCF性能相对提高了10%以上,在MCE 18数据集上的EER性能相对提高了20%左右.
2018-11-11 cs.LG cs.SD eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University(根特大学);imec(比利时微电子研究中心)
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题,提出margin-mixup训练策略,无需修改现有架构即可提升说话人嵌入鲁棒性,在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Leveraging speaker attribute information using multi task learning for speaker verification and diarization
University of Edinburgh(爱丁堡大学)
深度说话人嵌入已经成为说话人识别任务中编码说话人身份的主要方法。理想情况下,嵌入空间应该捕获所有可能的扬声器之间的变化,对构成扬声器身份的多个声学方面进行编码,同时对非扬声器声学变化具有鲁棒性。深度说话人嵌入通常是有区别地训练的,在训练数据上预测说话人身份标签。我们假设,另外预测与说话者相关的辅助变量--如年龄和国籍--可能会产生更好地概括看不见的说话者的表示。我们提出了一个框架,利用辅助标签信息,即使它只适用于语音语料库不匹配的目标应用程序。在美国最高法院录音的测试集上,我们表明,通过利用分别来自匹配的训练数据和VoxCeleb语料库的两种额外形式的扬声器属性信息,我们提高了我们的深度扬声器嵌入的性能,用于验证和日志化任务,与仅使用扬声器标签的基线相比,DER和EER分别提高了26.2%和6.7%。尽管辅助标签已经从卷材上刮下并且潜在地有噪声,但是仍然获得了这种改进。
2021-04-23 cs.LG cs.SD eess.AS
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出了一个端到端的文本无关的说话人确认框架,联合考虑说话人嵌入(SE)网络和自动语音识别(ASR)网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量,而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时,我们同时考虑了ASR网络的三重损失最小化和对抗梯度,以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下,同一说话人的嵌入向量之间的距离最小,而不同说话人的嵌入向量之间的距离最大。此外,利用ASR网络的对抗梯度,可以减少说话人嵌入向量的文本依赖性。在实验中,我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估,评估结果表明,与其他方法相比,我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
SpeakerNet: 1D Depth-wise Separable Convolutional Network for Text-Independent Speaker Recognition and Verification
我们提出了SpeakerNet -一个新的神经架构的说话人识别和说话人验证任务。它由具有1D深度可分离卷积、批量归一化和ReLU层的残差块组成。该架构使用基于x-向量的统计池化层来将可变长度的话语映射到固定长度的嵌入(q-向量)。SpeakerNet-M是一个简单的轻量级模型,只有5 M个参数。它不使用语音活动检测(VAD),并实现了接近最先进的性能,在VoxCeleb 1清理和VoxCeleb 1试用文件上的等错误率(EER)分别为2.10%和2.29%。
2020-10-23 eess.AS
On the potential of jointly-optimised solutions to spoofing attack detection and automatic speaker verification
欺骗感知说话人验证(SASV)挑战旨在促进联合优化解决方案的研究,以完成传统上分别优化的欺骗检测和说话人验证任务。联合优化的系统有可能协同工作,作为可靠的说话人验证单一任务的更好的解决方案。然而,向SASV 2022提交的23份申请中没有一份是联合优化的。因此,我们试图确定为什么单独优化的子系统表现最好,或者为什么联合优化不成功。本文报道的实验表明,联合优化是成功的,提高鲁棒性欺骗,但它降低了说话人验证性能。研究结果表明,欺骗检测和说话人验证子系统应联合优化的方式,反映了每个子系统提供的信息是如何互补的,由其他的差异。能否取得进展还可能取决于能否从更多的发言者那里收集数据。
2022-10-07 eess.AS
SASV 2022: The First Spoofing-Aware Speaker Verification Challenge
第一个欺骗感知说话人验证(SASV)挑战旨在整合说话人验证和反欺骗的研究工作。我们通过将欺骗试验引入到通常的目标和冒名顶替者试验中来扩展说话人验证方案。与ASVspoof挑战不同,ASVspoof挑战的重点是单独的、独立优化的欺骗检测和说话者验证子系统,SASV的目标是开发集成的、联合优化的解决方案。预先训练的欺骗检测和说话者验证模型作为开源提供,并用于两个基线SASV解决方案。模型和基线都可免费提供给参与者,并可用于开发后端融合方法或端到端解决方案。使用所提供的共同评估协议,23个团队提交了SASV解决方案。当评估与目标,善意的非目标和欺骗的非目标试验,性能最好的系统降低了传统的说话人确认系统的等错误率从23.83%到0.13%。SASV挑战结果证明了当今最先进的欺骗检测和说话人验证方法的可靠性。
2022-03-28 eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们证明了说话人确认系统的性能可以通过级联脑电(EEG)信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证,并展示了我们对嘈杂语音的结果。我们的研究结果表明,脑电信号可以提高说话人确认系统的鲁棒性,特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
Leveraging ASR Pretrained Conformers for Speaker Verification through Transfer Learning and Knowledge Distillation
本文利用ASR预训练Conformer,通过迁移学习、知识蒸馏和轻量级适配器三种策略,在VoxCeleb上实现低至0.43%的EER,有效迁移ASR能力至说话人验证。
2024-07-16 eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah(沙迦大学)
本文致力于引入、执行和评估一个三阶段的说话人确认框架,以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段:性别识别阶段,其次是情感识别阶段,其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估:我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明,基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认,只有情感线索,既没有性别线索,也没有情感线索。所实现的平均说话人确认性能的基础上,建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University(西弗吉尼亚大学)
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下,我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外,虽然频谱-时间特征已被证明是非常可靠的说话人确认模型,他们只代表说话人的声音的短期声学水平特性的一些方面。然而,人类的声音包括几个语言层次,如声学,词汇,韵律和语音,可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点,我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构,以结合韵律,抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比,该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University(首尔国立大学)
在本文中,我们提出了自我监督的说话人表示学习策略,其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段,我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段,通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入,这不仅提供了说话人表示,而且还提供了数据的不确定性。实验结果表明,所提出的自举均衡训练策略能够有效地帮助学习说话人表征,并且优于传统的基于对比学习的方法。此外,我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数(特征)来完成的,这些参数(特征)可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征(MFCC),而另一些系统使用基于隐马尔可夫模型(HMM)的说话人识别、支持向量机(SVM)、GARCH。在本文中,简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时,性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时,观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库,已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas(德克萨斯大学达拉斯分校);JD AI Research(京东人工智能研究院)
当训练数据和测试数据之间存在语言不匹配时,说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统,可以大大提高系统的鲁棒性,降低人工标注成本。在这项研究中,我们引入了一种无监督的对抗性判别域自适应(ADDA)方法来有效地学习一个非对称映射,该映射将目标域编码器适应到源域,其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练(DAT)方法一起在跨语言说话人确认任务上进行评估:训练数据来自NIST SRE 04 -08,Mixer 6和Switchboard的英语,测试数据来自AISHELL-I的中文。结果表明,在ADDA自适应下,x向量系统的等误率(EER)从9.331%下降到7.645%,相对于DAT降低了18.07%,降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明,学习的说话人嵌入可以很好地对目标域数据进行说话人分类,并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group(阿里巴巴集团)
说话人嵌入是说话人相关任务的基本特征,如验证,聚类和日志化。传统上,说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计,特别是在处理较短的话语时。在本文中,我们提出了一个“浮动”向量,其状态是不确定的,而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型,该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调,例如说话人验证,说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而,语音转换系统可以操纵一个人的语音信号,使其听起来像另一个说话者的声音,并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中,我们研究的问题,源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别,我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明,当使用来自相同语音转换模型的转换语音进行训练和测试时,源说话人识别是可行的。此外,我们的研究结果表明,有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology(东京工业大学)
基于i向量的文本无关说话人确认(SV)系统在短话语下通常具有较差的性能,因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络(GAN)的i向量补偿方法,其中生成器网络被训练为从短话语i向量生成补偿的i向量,而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外,我们还为GAN分配了另外两个学习任务,以稳定其训练,并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明,该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Differentiable Supervector Extraction for Encoding Speaker and Phrase Information in Text Dependent Speaker Verification
University of Zaragoza(萨拉戈萨大学)
在本文中,我们提出了一个新的可微神经网络对齐机制,文本相关的说话人确认,使用对齐模型,以产生一个超向量表示的话语。与以前的作品类似的方法,我们不提取嵌入的话语的时间维度的平均减少。我们的系统用短语对齐模型代替均值,以保持每个短语的时间结构,因为语音信息是验证任务中身份的一部分。此外,我们可以应用卷积神经网络作为前端,并且由于对齐过程是可区分的,我们可以训练整个网络来为每个话语产生一个超向量,该超向量将同时区分说话者和短语。正如我们所示,这种选择的优点是,超向量编码的短语和说话人信息提供良好的性能,在文本相关的说话人验证任务。在这项工作中,验证的过程是使用一个基本的相似性度量,由于简单,相比其他更复杂的模型,通常使用。使用对齐来产生超向量的新模型在RSR 2015-Part I数据库上进行了测试,用于文本相关的说话人验证,与使用均值提取嵌入的类似规模的网络相比,提供了具有竞争力的结果。
2018-12-22 cs.LG cs.SD eess.AS
Robust Channel Learning for Large-Scale Radio Speaker Verification
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);University of Copenhagen(哥本哈根大学);National Institute of Information and Communications Technology(日本信息通信研究机构)
本文提出CRSL框架,通过带宽增强、流形空间噪声注入和高效微调,结合大规模无线电语音语料库与基准,提升无线电场景下说话人验证的鲁棒性。
2024-06-16 cs.LG cs.SD eess.AS
VAE-based Domain Adaptation for Speaker Verification
Center for Speech and Language Technologies, Tsinghua University(清华大学语音与语言技术中心);China University of Mining & Technology, Beijing(中国矿业大学(北京))
深度说话人嵌入在说话人确认中取得了令人满意的性能。通过执行神经模型来区分训练集中的说话者,可以从隐藏层中导出深层说话者嵌入(称为“x向量”)。尽管其良好的性能,本嵌入模型是高度域敏感的,这意味着它通常在其声学条件匹配的训练数据(域内)的域中工作得很好,但在不匹配的域(域外)中降级。本文提出了一种基于变分自动编码器(VAE)的域自适应方法。该模型将x向量转换为正则化的潜在空间;在该潜在空间内,来自目标域的少量数据足以完成自适应。我们的实验表明,通过这种VAE自适应方法,说话人嵌入可以很容易地转换到目标域,导致显着的性能改善。
2019-08-27 cs.LG cs.SD eess.AS
Improving on-device speaker verification using federated learning with privacy
Apple(苹果公司)
关于说话人特征的信息可以作为辅助信息用于提高说话人识别准确度。然而,这些信息往往是私人的。本文研究如何隐私保护学习可以提高说话人确认系统,使使用隐私敏感的说话人数据训练一个辅助分类模型,预测说话人的声音特征。特别是,本文探讨了不同的联邦学习和差分隐私机制相结合的方法所实现的效用。这些方法使得在保护用户隐私的同时训练中心模型成为可能,用户的数据保留在他们的设备上。此外,它们使学习大量说话者成为可能,确保在训练模型时良好地覆盖说话者特征。这里描述的辅助模型使用从触发说话人验证系统的短语中提取的特征。从这些功能,该模型预测扬声器特性标签被认为是有用的边信息。辅助模型的知识被提取到说话人确认系统中,使用多任务学习,由该辅助模型预测的边信息标签是额外的任务。这种方法的结果是在一个6%的相对改善等误差率超过基线系统。
2020-08-06 cs.LG cs.SD eess.AS
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语言技术研究中心)
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略,旨在产生在记录或通道的粒度上不变的特征,这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式,学习的功能是不鼓励利用信道信息,可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示,除了优于竞争对手模型之外,在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好,在Kaldi基线上实现了EER的$4\%$相对改善,同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
A discriminative condition-aware backend for speaker verification
SRI International(斯坦福国际研究院);Sandia National Laboratories(桑迪亚国家实验室)
我们提出了一个评分的说话人验证方法,模仿标准的基于PLDA的后端过程中使用的大多数当前的说话人验证系统。然而,与标准后端不同的是,模型的所有参数都是联合训练的,以优化说话人验证任务的二进制交叉熵。我们进一步将校准阶段集成到模型中,使该阶段的参数取决于表示信号条件的元数据向量。我们表明,所提出的后端在我们的大多数测试集上具有出色的开箱即用的校准性能,这使得它成为测试条件未知且开发数据不可用于训练特定于域的校准模型的情况下的理想方法。
2019-11-26 cs.LG cs.SD eess.AS
Backdoor Attack against Speaker Verification
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Peng Cheng Laboratory(鹏城实验室)
说话人确认已被广泛和成功地采用在许多关键任务领域的用户识别。说话人确认的训练需要大量的数据,因此用户通常需要采用第三方数据($e.g.$,来自互联网或第三方数据公司的数据)。这就提出了一个问题,即采用不受信任的第三方数据是否会构成安全威胁。在本文中,我们证明了通过中毒训练数据来注入隐藏后门以感染说话人验证模型是可能的。具体来说,我们设计了一个基于聚类的攻击方案,中毒样本从不同的集群将包含不同的触发器($i.e.$,预定义的话语),根据我们的理解验证任务。受感染的模型在良性样本上表现正常,而攻击者指定的未注册触发器将成功通过验证,即使攻击者没有关于注册扬声器的信息。我们还表明,现有的后门攻击不能直接采用攻击说话人验证。我们的方法不仅提供了一个新的角度来设计新颖的攻击,但也作为一个强大的基线,提高验证方法的鲁棒性。用于再现主要结果的代码可在\url{https://github.com/zhaitongqing233/Backdoor-attack-against-speaker-verification}上获得。
2021-02-03 cs.CR cs.LG cs.SD
The 2022 Far-field Speaker Verification Challenge: Exploring domain mismatch and semi-supervised learning under the far-field scenario
FFSVC 2022是远场说话人确认的第二个挑战。FFSVC 2022提供了全监督远场说话人确认,以进一步探索远场场景,并提出了半监督远场说话人确认。与FFSVC 2020不同,FFSVC 2022专注于单通道场景。此外,今年还发布了FFSVC 2020数据集的补充集。补充集由更多记录设备组成,数据分布与FFSVC 2022评估集相同。本文总结了FFSVC 2022,包括任务描述,试验设计细节,基线系统和挑战结果总结。挑战结果表明,在该领域取得了重大进展,但也表明远场情景仍然存在困难。
2022-09-16 eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering(纽约大学坦登工程学院)
在本文中,一种新的卷积神经网络架构已被开发用于说话人确认,以同时捕获和丢弃说话人和非说话人信息,分别。在训练阶段,训练网络以区分不同的说话人身份,以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题,以生成一个有区别的特征空间来区分相同和不同的说话者,而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明,该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理,提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
Neural PLDA Modeling for End-to-End Speaker Verification
Indian Institute of Science(印度科学学院)
虽然深度学习模型在监督分类问题上取得了重大进展,但这些模型在集外验证任务(如说话人识别)中的应用仅限于导出特征嵌入。最先进的基于x向量PLDA的说话人验证系统使用基于概率线性判别分析(PLDA)的生成模型来计算验证分数。最近,我们提出了一种用于说话人验证中后端建模的神经网络方法,称为神经PLDA(NPLDA),其中生成PLDA模型的似然比得分被设定为判别相似性函数,并且使用验证成本优化得分函数的可学习参数。在本文中,我们将这项工作扩展到以端到端(E2E)的方式实现嵌入式神经网络(x向量网络)与NPLDA网络的联合优化。所提出的端到端模型直接从具有验证代价函数的声学特征优化,并且在测试期间,模型直接输出似然比得分。通过使用NIST说话人识别评估(SRE)2018和2019数据集的各种实验,我们表明,所提出的E2E模型比x矢量PLDA基线说话人验证系统有显着改进。
2020-08-11 cs.CL cs.LG cs.SD
Tackling Spoofing-Aware Speaker Verification with Multi-Model Fusion
National Taiwan University(国立台湾大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
近年来,说话人自动确认技术得到了飞速的发展。然而,以往的研究表明,最先进的ASV模型是严重脆弱的语音欺骗攻击,最近提出的高性能欺骗对策(CM)模型只专注于独立的反欺骗任务,并忽略了后续的说话人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。一个欺骗感知说话人验证(SASV)的挑战,最近发生的论点,更好的性能可以提供时,CM和ASV子系统的联合优化。在挑战的场景下,参与者提出的集成系统需要拒绝冒名顶替者扬声器和来自目标扬声器的欺骗攻击,这直观有效地匹配了可靠的,欺骗鲁棒的ASV系统的期望。这项工作的重点是基于融合的SASV解决方案,并提出了一个多模型融合框架,利用多个国家的最先进的ASV和CM模型的力量。所提出的框架大大提高了SASV-EER从8.75%到1.17%,这是86%的相对改善相比,在SASV挑战的最佳基线系统。
2022-06-18 cs.LG cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong(香港中文大学)
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入,图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程,辅助说话者的信息参与确定输入话语之间的关系,从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器,在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明,将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning
Language Recognition Group (ESLR), Laboratoire de Recherche de l'EPITA, France
本研究提出一种结合信息最大化与对比学习的自监督方法,从原始音频学习说话人嵌入,在少量标记数据微调下超越监督基线。
2022-07-12 cs.LG cs.SD eess.AS
Dual-label Deep LSTM Dereverberation For Speaker Verification
Binghamton University(宾汉姆顿大学);Sony Interactive Entertainment Inc(索尼互动娱乐公司)
在本文中,我们提出了一种用于说话人验证的混响消除方法,利用双标签深度神经网络(DNN)。该网络执行混响和干净语音的频谱特征之间的特征映射。训练长短期记忆递归神经网络(LSTM)以将损坏的Mel滤波器组(MFB)特征映射到两组标签:i)干净的MFB特征,以及ii)干净语音的估计音高轨迹或快速傅里叶变换(FFT)谱图。混响消除的性能进行了评估的等错误率(EER)的扬声器确认实验。
2018-09-08 cs.LG cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd(Pensees私人有限公司);National University of Singapore(新加坡国立大学)
在本文中,我们研究了一种新的技术,利用说话人特征和语言内容之间的相互作用,以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意(SUDA)的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制,学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实,所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Large Margin Softmax Loss for Speaker Verification
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室)
在基于神经网络的说话人确认中,说话人嵌入需要在说话人之间具有区分性,同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中,我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则,进一步提高了算法的性能。在VoxCeleb上的实验结果表明,我们的最佳系统在EER上比基线方法高出15%,在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Pairwise Discriminative Neural PLDA for Speaker Verification
Indian Institute of Science(印度科学学院)
说话人验证的最新方法涉及提取判别嵌入,如x向量,然后使用概率线性判别分析(PLDA)生成模型后端。在本文中,我们提出了一个成对的神经判别模型的说话人验证的任务上的一对说话人嵌入,如x-向量/i-向量,并输出一个分数,可以被认为是一个缩放的对数似然比。我们构造了一个可微的代价函数,它近似于说话人确认损失,即最小检测代价。线性判别分析(LDA)、单位长度归一化和类内协方差归一化的预处理步骤都被建模为神经模型的层,并且说话人验证代价函数可以在训练期间通过这些层反向传播。我们还探索了正则化技术来防止过拟合,这是使用判别式后端模型进行验证任务的主要问题。实验在NIST SRE 2018开发和评估数据集上进行。我们观察到,在PLDA基线系统上,CMN 2条件下的平均相对改善为8%,VAST条件下的平均相对改善为30%。
2020-02-07 cs.LG cs.SD eess.AS
Deep Representation Decomposition for Rate-Invariant Speaker Verification
虽然通过深度说话人嵌入已经实现了说话人验证的有希望的性能,但在说话风格可变性的情况下,该优势将减少。在实际的说话人确认系统中,经常会出现语速失配的情况,这会降低系统的性能。为了减少由说话速率引起的类内差异,我们提出了一种带有对抗学习的深度表示分解方法来学习说话速率不变的说话人嵌入。具体地说,采用注意力块,我们通过多任务训练将原始嵌入分解为身份相关分量和速率相关分量。此外,为了减少两个分解组件之间的潜在关系,我们进一步提出了一个余弦映射块来反向训练参数,以最小化两个分解组件之间的余弦相似性。因此,身份相关的功能变得强大的说话速率,然后用于验证。在VoxCeleb 1数据和HI-MIA数据上的实验证明了该方法的有效性。
2022-05-28 eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science;Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中,我们提出了VoiceID损失,一个新的损失函数训练的语音增强模型,以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数(例如L2损失)相比,VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图,以过滤掉用于说话人验证的不必要分量。在实验中,我们观察到增强网络在使用VoiceID丢失进行训练后,能够忽略大量的时频点,例如那些由噪声主导的时频点,以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Angular Softmax Loss for End-to-end Speaker Verification
端到端的说话人确认系统受到越来越多的关注。传统的i向量方法训练生成模型(基本上是因子分析模型)来提取i向量作为说话者嵌入。相比之下,端到端方法直接训练判别模型(通常是神经网络)来学习判别说话人嵌入;一个关键的组成部分是训练标准。在本文中,我们使用角softmax(A-softmax),这是最初提出的人脸验证,作为损失函数的特征学习在端到端的说话人验证。通过在softmax loss中引入类间的间隔,A-softmax可以学习比softmax loss和triplet loss更多的区分特征,同时易于使用和稳定。我们在这项工作中做出了两个贡献。1)我们将A-softmax损失引入到端到端说话人验证中,并实现了显着的EER降低。2)我们发现,在前端训练中使用A-softmax和在后端评分中使用PLDA的组合进一步提高了短话语条件下(注册和测试都很短)端到端系统的性能。在部分$Fisher$数据集上进行了实验,验证了使用A-softmax的改进。
2018-12-12 eess.AS
Speaker Verification By Partial AUC Optimization With Mahalanobis Distance Metric Learning
受试者工作特性(ROC)曲线和检测误差折衷(DET)曲线是说话人确认中两个广泛使用的评价指标。它们是等价的,因为后者可以通过将前者的真正y轴转换为假负y轴,然后通过概率单位算子重新缩放两个轴来获得。然而,现实世界的说话人确认系统,通常工作在ROC曲线的一部分,而不是整个ROC曲线给定的应用程序。因此,在本文中,我们建议使用的ROC曲线(pAUC)的一部分下的面积作为一个更有效的评价指标的说话人验证。应用基于马氏距离度量学习的后端来优化pAUC,其中马氏距离度量学习保证后端的优化目标是凸的,使得全局最优解是可实现的。为了提高现有说话人确认系统的性能,本文进一步提出了基于长度归一化和概率线性判别分析的特征预处理技术。我们评估了NIST SRE 16的主要语言和SITW的核心任务的建议系统。实验结果表明,所提出的后端优于国家的最先进的说话人确认后端的七个评价指标。
2020-04-21 eess.AS
Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch
在本文中,我们分析的行为和性能的发言人嵌入和后端评分模型下的领域和语言不匹配。我们提出了我们的研究结果,基于ResNet的扬声器嵌入架构,并表明,减少时间跨度产生更好的性能。然后,我们考虑一个PLDA后端,并显示如何组合的小扬声器子空间,语言相关的PLDA混合物,和滋扰属性投影系统的性能产生巨大的影响。此外,我们提出了一种有效的评分和融合类后验logit向量的方法,最近显示出良好的说话人确认任务。使用NIST SRE 2021设置进行实验。
2022-03-19 eess.AS
A Multi-View Approach To Audio-Visual Speaker Verification
Facebook(脸书)
虽然说话人验证传统上是仅音频的任务,但一些实际应用提供音频和视觉输入流两者。在这些情况下,视觉流提供了补充信息,并且通常可以与语音的声学结合使用,以提高验证性能。在这项研究中,我们探索视听方法说话人验证,从标准融合技术学习联合视听(AV)嵌入,然后提出了一种新的方法来处理跨模态验证在测试时。具体来说,我们调查单峰和级联的AV融合,并报告最低的AV相等出错率(EER)的0.7%的VoxCeleb1数据集上使用我们最好的系统。由于这些方法缺乏跨模态验证的能力,我们引入了一个多视图模型,它使用一个共享的分类器来映射音频和视频到同一个空间。这种新方法在跨模态验证的挑战性测试条件下在VoxCeleb1上实现了28%的EER。
2021-02-11 cs.LG cs.SD eess.AS
Text-dependent Speaker Verification (TdSV) Challenge 2024: Challenge Evaluation Plan
本文档介绍了文本相关说话人验证(TdSV)挑战赛2024,旨在激励参与者开发单一且具竞争力的系统,并探索多任务学习、自监督学习及少样本学习等创新概念以解决文本相关说话人验证问题。
2024-04-20 cs.AI cs.SD eess.AS
SpeakerStew: Scaling to Many Languages with a Triaged Multilingual Text-Dependent and Text-Independent Speaker Verification System
Google LLC(谷歌有限责任公司)
在本文中,我们描述了SpeakerStew -一个混杂系统进行46种语言的说话人验证。该系统的两个核心思想是:(1)将不同语言的训练数据汇集在一起,以实现多语言泛化,减少开发周期;(2)在文本相关和文本无关模型之间采用一种新的分流机制,以减少运行时成本和预期延迟。据我们所知,这是第一次在46种语言的规模上研究说话人确认系统。这个问题是从使用智能扬声器设备的角度来构建的,该智能扬声器设备具有由唤醒关键字(文本相关)和语音查询(文本无关)组成的交互。实验证据表明,多种语言的训练可以推广到看不见的品种,同时保持对可见品种的性能。我们还发现,它可以将训练模型的计算需求降低一个数量级。此外,在英语数据的模型推理过程中,我们观察到利用分类框架可以将对计算成本更高的文本独立系统的调用次数减少73%(并将延迟减少59%),同时保持EER不比文本独立设置差。
2021-06-15 cs.LG cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah(沙迦大学)
说话人确认在中性说话环境中的性能通常较高,而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中,一个三阶段的说话人确认架构已被提出,以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成:性别识别阶段,然后是情感识别阶段,然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集:内部数据集和情感韵律语音和成绩单数据集。实验结果表明,基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上,建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最先进的说话人验证模型基于深度学习技术,这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索(NAS)的思想,文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构,我们将NAS概念引入到著名的x向量网络中。此外,本文提出了一种进化算法增强的神经结构搜索方法,称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明,我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Multimodal Speaker Verification as a Threat to Speaker Anonymization
Johns Hopkins University(约翰斯·霍普金斯大学)
研究多话语、多模态环境下的说话人验证,通过对多个匿名话语的音频、韵律和语言信息进行聚合,比较不同聚合策略,发现多模态系统性能更优,帧级聚合EER最低,即便少量匿名话语结合音频和文本也能显著降低EER。
2026-07-23 eess.AS
Dual-LoRA: Parameter-Efficient Adversarial Disentanglement for Cross-Lingual Speaker Verification
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学计算机科学技术学院人工智能教育部重点实验室X-LANCE实验室);Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室);AISpeech Co., Ltd.(思必驰科技股份有限公司);Soul AI Lab(Soul人工智能实验室)
本文提出Dual-LoRA,通过注入可训练任务因子化LoRA适配器解决交叉语言说话人验证中的语言-说话人纠缠问题,采用语言锚定对抗器提升说话人区分度。
2026-04-30 eess.AS