Rethinking Leveraging Pre-Trained Multi-Layer Representations for Speaker Verification
School of Industrial and Management Engineering(工业与管理工程学院)
本文提出LAP和ASTP的轻量级说话人验证模型,在减少训练时间的同时实现最先进的性能。
2025-12-15 cs.AI cs.SD
Optimized Power Normalized Cepstral Coefficients towards Robust Deep Speaker Verification
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
功率归一化倒谱系数(PNCC)特征被引入鲁棒语音识别后,被成功地应用于其他任务,包括说话人确认。然而,作为对功率谱图进行长期操作的特征提取器,其专用于环境补偿的时间处理和幅度缩放步骤可能是冗余的。此外,它们可能会抑制对基于深度神经网络(DNN)的说话者验证有用的固有说话者变化。因此,在这项研究中,我们重新审视和优化PNCCs烧蚀其中期时间处理器,并通过引入通道能量归一化。基于DNN的说话人验证系统的实验结果表明,在域内和跨域情况下,与基线PNCCs相比,VoxCeleb1和VoxMovies上的最大相等出错率分别降低了5.8%和61.2%,这反映了显着的改善。
2021-09-24 cs.AI cs.SD eess.AS
The SpeakIn Speaker Verification System for Far-Field Speaker Verification Challenge 2022
SpeakIn Technologies Co. Ltd.(SpeakIn科技有限公司)
本文介绍了SpeakIn团队提交给2022年远场扬声器验证挑战赛(FFSVC 2022)任务1和任务2的扬声器验证(SV)系统。挑战赛的SV任务集中在全监督远场说话人确认(任务1)和半监督远场说话人确认(任务2)的问题上。在任务1中,我们使用VoxCeleb和FFSVC 2020数据集作为训练数据集。对于任务2,我们仅使用VoxCeleb数据集作为训练集。基于ResNet和RepVGG的架构就是为了应对这一挑战而开发的。全局统计池结构和MQMHA池结构用于跨时间聚合帧级特征以获得话语级表示。我们采用AM-Softmax和AAM-Softmax对所得嵌入进行分类。本文创新性地提出了一种分阶段的迁移学习方法。在预训练阶段,我们保留扬声器权重,并且在此阶段没有正样本来训练它们。然后,我们在第二阶段使用正样本和负样本微调这些权重。与传统的迁移学习策略相比,该策略能更好地提高模型性能。使用Sub-Mean和AS-Norm后端方法来解决域不匹配问题。在融合阶段,在任务1中融合了三个模型,在任务2中融合了两个模型。在FFSVC 2022排行榜上,我们提交的EER为3.0049%,任务1中相应的minDCF为0.2938。在任务2中,EER和minDCF分别为6.2060%和0.5232。我们的方法带来了出色的性能,并在两项挑战任务中排名第一。
2022-09-23 cs.AI cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah(沙迦大学)
本文致力于引入、执行和评估一个三阶段的说话人确认框架,以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段:性别识别阶段,其次是情感识别阶段,其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估:我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明,基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认,只有情感线索,既没有性别线索,也没有情感线索。所实现的平均说话人确认性能的基础上,建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数(特征)来完成的,这些参数(特征)可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征(MFCC),而另一些系统使用基于隐马尔可夫模型(HMM)的说话人识别、支持向量机(SVM)、GARCH。在本文中,简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时,性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时,观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库,已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
PRISM: Pre-trained Indeterminate Speaker Representation Model for Speaker Diarization and Speaker Verification
Alibaba Group(阿里巴巴集团)
说话人嵌入是说话人相关任务的基本特征,如验证,聚类和日志化。传统上,说话人嵌入被表示为高维空间中的固定向量。这可能导致有偏见的估计,特别是在处理较短的话语时。在本文中,我们提出了一个“浮动”向量,其状态是不确定的,而不知道上下文的发言。说话者表示的状态由其自身、来自同一说话者的其他语音以及与其进行比较的其他说话者共同确定。语音的内容也有助于确定说话人表示的最终状态。我们预训练一个不确定的说话人表示模型,该模型根据上下文估计话语的状态。预训练的模型可以针对下游任务进行微调,例如说话人验证,说话人聚类和说话人日志化。在所有下游任务中都观察到了实质性的改进。
2022-06-27 cs.SD eess.AS
Bootstrap Equilibrium and Probabilistic Speaker Representation Learning for Self-supervised Speaker Verification
Seoul National University(首尔国立大学)
在本文中,我们提出了自我监督的说话人表示学习策略,其中包括一个引导均衡说话人表示学习的前端和一个不确定性意识的概率说话人嵌入训练在后端。在前端阶段,我们通过带有均匀性正则化项的自举训练方案学习说话人表示。在后端阶段,通过最大化属于同一说话人的语音样本之间的相互似然得分来估计概率说话人嵌入,这不仅提供了说话人表示,而且还提供了数据的不确定性。实验结果表明,所提出的自举均衡训练策略能够有效地帮助学习说话人表征,并且优于传统的基于对比学习的方法。此外,我们证明了集成的两阶段框架进一步提高了说话人验证性能的VoxCeleb1测试集的EER和MinDCF。
2021-12-24 cs.AI cs.LG cs.SD
Phonetic-aware speaker embedding for far-field speaker verification
The Hong Kong Polytechnic University(香港理工大学)
针对远场说话人验证受噪声和混响干扰的问题,提出联合训练语音与说话人识别的JTSS框架,利用音素信息补偿声学退化,在VOiCES 2019和VoxCeleb1上显著提升了验证性能。
2023-11-27 cs.AI cs.SD eess.AS
SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
Delft University of Technology(代尔夫特理工大学)
尽管深度神经网络(DNN)在支持设备上的语音助手方面取得了成功,但越来越多的证据表明,机器学习存在偏见和歧视,这使得调查这些系统的公平性变得更加紧迫。说话人验证是一种生物识别形式,可以访问语音助手。由于缺乏公平性指标和评估框架,适合于测试的公平性说话人验证组件,很少有人知道模型的性能如何在不同的子组,以及什么因素影响性能变化。为了应对这一新出现的挑战,我们设计和开发了SVEva Fair,这是一个可访问的,可操作的和模型无关的框架,用于评估说话人验证组件的公平性。该框架提供了评估措施和可视化,以询问跨扬声器子组的模型性能,并比较模型之间的公平性。我们在一个案例研究中展示了SVEva Fair,该案例研究使用在VoxCeleb数据集上训练的端到端DNN来揭示基于扬声器人口统计属性的现有嵌入式语音识别系统中的潜在偏见。我们的评估表明,公开访问的基准模型是不公平的,并始终产生一些民族,大多数民族的女性发言人更差的预测。为了为公平和可靠的嵌入式说话人验证铺平道路,SVEva Fair已被实现为开源python库,并可集成到嵌入式ML开发管道中,以方便开发人员和研究人员对不可靠的说话人验证性能进行故障排除,并选择高影响力的方法来缓解公平性挑战。
2022-10-04 cs.AI cs.SD eess.AS
The SVASR System for Text-dependent Speaker Verification (TdSV) AAIC Challenge 2024
Amirkabir University of Technology(阿米尔卡比尔理工大学);Sharif University of Technology(谢里夫理工大学)
针对文本相关说话人验证需求,提出集成Fast-Conformer ASR模块过滤错误样本、融合wav2vec-BERT与ReDimNet说话人嵌入的SVASR系统,在TDSV 2024挑战赛测试集获归一化最小DCF 0.0452(排名第2)。
2024-11-25 cs.AI cs.SD eess.AS
Speaker-Utterance Dual Attention for Speaker and Utterance Verification
Pensees Pte Ltd(Pensees私人有限公司);National University of Singapore(新加坡国立大学)
在本文中,我们研究了一种新的技术,利用说话人特征和语言内容之间的相互作用,以提高说话人验证和话语验证性能。我们在一个统一的神经网络中实现了说话者-话语双重注意(SUDA)的想法。双重注意是指对说话人和话语确认这两个任务的注意机制。建议SUDA功能的注意掩模机制,学习说话人和话语信息流之间的相互作用。这有助于通过屏蔽不相关的对应物来仅关注相应任务所需的信息。在RSR 2015语料库上进行的研究证实,所提出的SUDA优于无注意掩模的框架以及几个竞争系统的说话人和话语验证。
2020-08-20 cs.CL cs.SD eess.AS
Speaker Verification using Convolutional Neural Networks
NYU Tandon School of Engineering(纽约大学坦登工程学院)
在本文中,一种新的卷积神经网络架构已被开发用于说话人确认,以同时捕获和丢弃说话人和非说话人信息,分别。在训练阶段,训练网络以区分不同的说话人身份,以创建背景模型。其中一个关键部分是创建扬声器模型。大多数先前的方法基于对背景模型提供的说话者表示进行平均来创建说话者模型。我们通过使用Siamese框架进一步微调训练模型来推翻这个问题,以生成一个有区别的特征空间来区分相同和不同的说话者,而不管他们的身份如何。这提供了一种同时捕获说话者相关信息并创建对说话者内变化的鲁棒性的机制。实验结果表明,该方法优于传统的直接从背景模型建立说话人模型的验证方法。
2018-08-10 cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University(西北工业大学)
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类,即,核查和识别。验证损失函数与说话人验证的流水线相匹配,但其实现比较困难。因此,大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中,我们提出了一个验证损失函数,命名为最大化的接收机操作特征(ROC)曲线下的部分面积(pAUC),基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法,以提高训练效率,这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild(SITW)和NIST SRE 2016数据集上的实验表明,所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings
University of Seoul(首尔大学)
输入语音的短持续时间是降低说话人确认系统性能的最关键威胁之一。本研究的目的是开发一个集成的文本无关的说话人确认系统,输入的话语与短的持续时间为2秒或更少。我们提出了一种方法,使用教师-学生的学习框架,为这个目标,适用于短话语补偿在我们的知识。所提出的系统的核心概念是在整个提取说话人嵌入的网络中进行补偿,主要是在语音级别,而不是在提取说话人嵌入后通过单独的系统进行补偿。在所提出的架构中,使用卷积层提取语音级特征,其中每个特征表示130 ms的片段。门控递归单元层使用语音级特征提取话语级特征。该方法还采用了一个新的目标函数,教师-学生学习,同时考虑输出层的Kullback-Leibler发散和余弦距离的发言人嵌入层。实验使用深度神经网络进行,该网络将原始波形作为输入,并在VoxCeleb 1数据集上输出扬声器嵌入。该模型可以补偿约65%的性能下降,由于缩短的持续时间。
2019-04-10 cs.AI cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong(香港中文大学)
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入,图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程,辅助说话者的信息参与确定输入话语之间的关系,从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器,在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明,将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
End-to-End Residual CNN with L-GM Loss Speaker Verification System
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出了一种基于神经网络的端到端说话人确认系统,该系统采用计算复杂性较低的损失函数进行训练。本文提出的端到端说话人确认系统采用ResNet结构从语音中提取特征,生成语音级说话人嵌入,并使用大幅度高斯混合损失函数进行训练。受大间隔和似然正则化的影响,大间隔高斯混合损失函数有利于说话人确认的性能。实验结果表明,具有大余量高斯混合损失的残差CNN在准确率上比基于DNN的i向量基线提高了10%以上。
2018-09-01 cs.SD
Large Margin Softmax Loss for Speaker Verification
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室)
在基于神经网络的说话人确认中,说话人嵌入需要在说话人之间具有区分性,同时说话人之间的距离应该保持较小。已经提出了各种损失函数来实现这个目标。在本文中,我们研究了大幅度的softmax损失与不同的配置在说话人确认。引入环损耗和最小超球能量准则,进一步提高了算法的性能。在VoxCeleb上的实验结果表明,我们的最佳系统在EER上比基线方法高出15%,在minDCF 0 8和minDCF 10上分别高出13%和33%。
2019-04-06 cs.SD eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了我们正在进行的对比预测编码(CPC)特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统,我们提出了我们的方法,实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识,传统的语音特征,以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Emirati Speaker Verification Based on HMM1s, HMM2s, and HMM3s
University of Sharjah(沙迦大学)
这项工作的重点是在中立的谈话环境中的阿联酋说话人验证系统的基础上的每一个一阶隐马尔可夫模型(HMM1),二阶隐马尔可夫模型(HMM2),和三阶隐马尔可夫模型(HMM3)作为分类器。这些系统已被评估我们收集的阿联酋语音数据库,其中包括25名男性和25名女性阿联酋扬声器使用梅尔频率倒谱系数(MFCC)作为提取的功能。我们的研究结果表明,HMM3优于每一个HMM1和HMM2的文本无关的阿联酋语说话人验证。基于HMM3s得到的结果接近于人类听者主观评估中得到的结果。
2017-07-02 cs.SD
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最先进的说话人验证模型基于深度学习技术,这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索(NAS)的思想,文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构,我们将NAS概念引入到著名的x向量网络中。此外,本文提出了一种进化算法增强的神经结构搜索方法,称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明,我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science;Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中,我们提出了VoiceID损失,一个新的损失函数训练的语音增强模型,以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数(例如L2损失)相比,VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图,以过滤掉用于说话人验证的不必要分量。在实验中,我们观察到增强网络在使用VoiceID丢失进行训练后,能够忽略大量的时频点,例如那些由噪声主导的时频点,以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
Integrated Replay Spoofing-aware Text-independent Speaker Verification
University of Seoul(首尔大学)
许多研究已经成功地开发了说话人确认或呈现攻击检测系统。然而,将这两项任务结合起来的研究仍处于初步阶段。在本文中,我们提出了两种方法来建立一个集成系统的说话人验证和演示攻击检测:一个端到端的单片方法和后端模块化的方法。第一种方法同时训练说话人识别,演示攻击检测,并使用多任务学习使用一个共同的功能的集成系统。然而,通过实验,我们假设,所需的信息进行说话人验证和演示攻击检测可能会有所不同,因为说话人验证系统试图从扬声器嵌入删除设备特定的信息,而演示攻击检测系统利用这些信息。因此,我们提出了一种后端模块化方法,使用单独的深度神经网络(DNN)进行说话人验证和演示攻击检测。这种方法有三个输入组件:两个扬声器嵌入(注册和测试)和预测的演示攻击。实验使用ASVspoof 2017-v2数据集进行,其中包括对说话人验证和演示攻击检测集成的正式试验。所提出的后端方法表现出21.77%的相对改善方面的综合试验相比,传统的说话人确认系统的相等的错误率。
2020-09-27 cs.LG cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions(LG广告解决方案公司)
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者,对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot(看不见的)说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发,为了提高说话人嵌入的可辨别性,我们训练模型,以在训练集中存在的所有说话人中对当前集的样本进行分类。此外,我们提出了一种新的训练机制,通过从给定的元学习事件中提取更多的信息来加快模型收敛,而额外的计算可以忽略不计。我们评估VoxCeleb,SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore(新加坡国立大学);Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发,SpEx,我们提出了一个统一的说话人验证框架,单和多说话人的语音,这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明,所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是,在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上,最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进,而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当,即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
Robust End-to-End Speaker Verification Using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们证明了说话人确认系统的性能可以通过级联脑电(EEG)信号特征与语音信号特征或仅使用EEG信号特征来提高。我们使用最先进的端到端深度学习模型来执行说话人验证,并展示了我们对嘈杂语音的结果。我们的研究结果表明,脑电信号可以提高说话人确认系统的鲁棒性,特别是在噪声环境中。
2020-06-10 cs.LG cs.SD eess.AS
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出了一个端到端的文本无关的说话人确认框架,联合考虑说话人嵌入(SE)网络和自动语音识别(ASR)网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量,而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时,我们同时考虑了ASR网络的三重损失最小化和对抗梯度,以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下,同一说话人的嵌入向量之间的距离最小,而不同说话人的嵌入向量之间的距离最大。此外,利用ASR网络的对抗梯度,可以减少说话人嵌入向量的文本依赖性。在实验中,我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估,评估结果表明,与其他方法相比,我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Neural Network Based Speaker Classification and Verification Systems with Enhanced Features
Interactive Intelligence Inc.(Interactive Intelligence公司)
本文提出了一种基于前向神经网络的说话人分类和确认的新框架。通过优化的特征和模型训练,它在分类中实现了100%的分类率和小于6%的等出错率(ERR),分别仅使用约1秒和5秒的数据。语音识别中的语音主动检测(VAD)比常规VAD更严格,保证了说话人识别中更强的浊音部分的提取,说话人级均值和方差归一化有助于消除同一说话人样本之间的差异。两者都被证明可以提高系统性能。在构建神经网络说话人分类器时,采用网格搜索优化网络结构参数,并采用动态缩减的正则化参数避免训练陷入局部极小值。它使培训以更低的成本走得更远。在说话人确认中,通过预测分数归一化和特定于说话人的阈值化来提高性能,预测分数归一化奖励具有不同峰值的说话人身份指数,并惩罚具有高分数但更多竞争对手的弱指数,从而显着降低ROC曲线中的ERR。本文使用的是采样率为8K的TIMIT语料库。首先用200个男性说话人对算法进行训练和测试。他们的测试文件被用作域内注册说话人,而其余126名男性说话人的数据被用作域外说话人,即说话人确认中的冒名顶替者。
2017-02-08 cs.SD
Sparse Architectures for Text-Independent Speaker Verification Using Deep Neural Networks
Boise State University(博伊西州立大学);FANAP Telecom(FANAP电信)
网络修剪是非常重要的,因为它消除了由于网络过度参数化而激活的不重要的权重或特征。稀疏性增强的优点包括防止过拟合和加速。考虑到深度架构中的大量参数,由于需要大量的计算能力,网络压缩变得至关重要。在这项工作中,我们施加结构稀疏的扬声器验证,这是验证的查询扬声器相比,扬声器库。我们将证明,由于网络中可能的初始过拟合,仅仅稀疏性强制可以改善验证结果。
2018-08-09 cs.SD eess.AS
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology(韩国科学技术院)
为了在与文本无关的说话人确认中提取准确的说话人信息,提出了一种基于时间窗自适应核函数的时域动态神经网络(TDY-CNN)。然而TDY-CNN的模型尺寸太大,自适应核的自由度有限。为了解决这些限制,我们提出了分解的时间动态CNN(DTDY-CNN),它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34(x0.50)显示EER为0.96%,优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级,将模型大小减少了64%,并提高了性能。我们发现,与TDY-CNN相比,DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射(Grad-CAM)产生的说话人激活映射(SAM)来分析DTDY-ResNet-34(x 0. 50)在说话人信息提取上的详细行为。DTDY-ResNet-34(x0.50)不仅有效地从共振峰频率中提取说话人信息,而且还有效地从清音音素的高频信息中提取说话人信息,从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Non-native Speaker Verification for Spoken Language Assessment
University of Cambridge(剑桥大学)
自动口语评估系统正变得越来越流行,以处理日益增长的兴趣在第二语言学习。这些系统面临的一个挑战是检测渎职行为。舞弊可以采取多种形式,本文着重于检测当一个候选人试图模仿另一个在口语测试。这种形式的弊端与说话人确认密切相关,但适用于口语评估这一特定领域。高级说话人验证系统利用深度学习方法提取说话人表示,已成功应用于一系列母语验证任务。本文针对非母语英语口语数据对这些系统进行了探索。用于演讲者注册和验证的数据主要来自BULATS测试,该测试评估商业英语语言技能。系统的性能训练相对有限的BULATS数据,和标准的大型扬声器验证语料库,进行了比较。在具有数百万次试验的大规模测试集上的实验结果表明,通过使导入的模型适应非原生数据,可以实现最佳性能。分析了不同第一语言(L1)和年级的冒名顶替者试验,这表明L1之间的冒名顶替者对说话人确认系统更具挑战性。
2019-09-30 cs.CL cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学)
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率,该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University(新疆大学计算机科学与技术学院);Tsinghua University(清华大学)
针对ASV在噪声下性能下降问题,提出结合噪声解耦与对抗训练的框架,通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失,构建噪声无关的说话人不变嵌入空间,在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
Text-Independent Speaker Verification Using Long Short-Term Memory Networks
University of Houston(休斯顿大学)
本文提出了一种基于长短期记忆网络的文本无关语音识别系统结构,其目的是通过对传统语音特征的操作来获取与说话人相关的时间信息。对于说话人确认,首先,必须创建用于说话人表示的背景模型。然后,在注册阶段,说话人模型将被创建基于注册话语。对于这项工作,模型将以端到端的方式进行训练,以结合前两个阶段。端到端训练的主要目标是优化模型以符合说话人验证协议。端到端训练通过创建表示空间来联合学习背景和说话者模型。LSTM架构经过训练,以创建一个识别空间,用于验证说话人验证的匹配和非匹配对。与其他传统方法相比,该体系结构在文本无关性方面表现出了优越性。
2018-09-07 cs.CL cs.SD eess.AS
The HCCL Speaker Verification System for Far-Field Speaker Verification Challenge
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所语音声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Xinjiang Key Laboratory of Minority Speech and Language Information Processing, Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(中国科学院新疆理化技术研究所少数民族语音与语言信息处理新疆重点实验室)
本文介绍了HCCL团队提交的远场扬声器验证挑战赛的系统。我们之前在AIshell Speaker Verification Challenge 2019中的工作表明,神经网络架构的强大建模能力可以为此类任务提供卓越的性能。因此,在本次挑战中,我们重点关注基于TDNN、Resnet和Res2net块构建深度神经网络架构。大多数已开发的系统由神经网络嵌入组成,并与PLDA后端一起应用。首先,速度扰动方法被用来增加数据,并取得显着的性能改善。然后,我们探索了AMsoftmax损失函数的使用,并提出在使用AMsoftmax损失训练模型时加入CE损失分支。此外,还研究了分数归一化对性能的影响。最后的系统是四个系统的融合,在task1 eval集上实现了minDCF 0.5342,EER 5.05,在task3 eval集上实现了minDCF 0.5193,EER 5.47。
2021-07-03 cs.SD eess.AS
Disentangled speaker and nuisance attribute embedding for robust speaker verification
Seoul National University(首尔大学)
近年来,已经提出了各种基于深度学习的嵌入方法,并在说话人验证中表现出令人印象深刻的性能。然而,与大多数经典嵌入技术一样,已知基于深度学习的方法在处理具有不同条件的语音样本(例如,记录设备、情绪状态)。在本文中,我们提出了一种新的完全监督的训练方法提取一个说话人嵌入矢量解开的变化所造成的滋扰属性。使用RSR2015和VoxCeleb1数据集将所提出的框架与传统的基于深度学习的嵌入方法进行了比较。实验结果表明,该方法能有效地提取出对信道和情感变化具有鲁棒性的说话人嵌入。
2020-08-07 cs.SD eess.AS
NPU Speaker Verification System for INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Northwestern Polytechnical University(西北工业大学)
本文介绍了提交给Interspeech 2020远场扬声器验证挑战赛(FFSVC)的NPU系统。我们特别关注远场文本依赖SV从单个(task 1)和多个麦克风阵列(task 3)。在这种情况下的主要挑战是短话语和跨通道和距离不匹配的登记和测试。我们相信更好的说话人嵌入可以减轻短话语的影响,因此我们引入了一种新的说话人嵌入架构- ResNet-BAM,它将瓶颈注意力模块与ResNet集成在一起,作为一种简单有效的方法来进一步提高ResNet的表示能力。这一贡献带来了高达1%的EER降低。我们从三个方面进一步解决不匹配问题。首先,旨在学习领域不变特征的领域对抗训练可以减少0.8%的EER。第二,前端信号处理,包括WPE和波束形成,没有明显的贡献,但与数据选择和域对抗训练一起,可以进一步贡献0.5%的EER降低。最后,数据增强,它与一个专门设计的数据选择策略,可以导致2%的EER减少。加上上述贡献,在中间的挑战结果中,我们的单提交系统(没有多系统融合)分别在任务1和任务3上获得第一名和第二名。
2020-08-08 cs.SD eess.AS
Short-duration Speaker Verification (SdSV) Challenge 2021: the Challenge Evaluation Plan
本文档描述了2021年短时间扬声器验证(SdSV)挑战赛。该挑战的主要目标是在短时间场景中评估文本相关(TD)和文本无关(TI)说话人验证(SV)的新技术。所提出的挑战评估SdSV与不同程度的语音重叠之间的登记和测试话语(跨语言)。这是第一个挑战,广泛关注系统的基准和分析不同程度的语音变异的短期说话人识别。我们预计现代方法(特别是深度神经网络)将发挥关键作用。
2021-03-24 cs.CL cs.SD eess.AS
On Residual CNN in text-dependent speaker verification task
ITMO University(圣彼得堡国立信息技术、机械与光学研究大学);STC-innovations Ltd.(STC创新有限公司)
深度学习方法在说话人验证领域仍然不是很常见。本文研究了将深度残差卷积神经网络与声谱图作为输入特征用于文本相关说话人确认的可能性。尽管我们无法在质量上超过基线系统,但我们在RSR2015评估部分获得了5.23%的错误率。融合的基线和建议的系统比最好的个别系统的性能相对高出18%。
2017-05-30 cs.LG cs.SD
Exploring a Unified Attention-Based Pooling Framework for Speaker Verification
Tsinghua University(清华大学);Unit, Chinese People's Liberation Army(中国人民解放军62315部队)
池化层是基于神经网络的说话人确认的重要组成部分。目前说话人确认中的大多数网络都使用平均池来获得话语级说话人表示。平均池化将每个帧视为同等重要,这是次优的,因为说话者判别能力在语音段之间是不同的。在本文中,我们提出了一个统一的基于注意力池的框架,并将其与多头注意力。在Fisher和NIST SRE 2010数据集上的实验表明,涉及较低层的输出来计算注意力权重可以优于平均池化,并且比vanilla注意力方法获得更好的结果。多头注意力进一步提高了性能。
2018-08-21 cs.SD eess.AS
The INTERSPEECH 2020 Far-Field Speaker Verification Challenge
Duke Kunshan University(昆山杜克大学);National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);Wuhan University(武汉大学)
INTERSPEECH 2020远场说话人验证挑战赛(FFSVC 2020)在明确定义的条件下解决了三个不同的研究问题:来自单个麦克风阵列的远场文本相关的说话人验证,来自单个麦克风阵列的远场文本无关的说话人验证,以及来自分布式麦克风阵列的远场文本相关的说话人验证。所有这三项任务都对参与者提出了跨渠道的挑战。为了模拟现实生活中的场景,注册话语记录从近距离通话的手机,而测试话语记录从远场麦克风阵列。在本文中,我们描述了数据库,挑战和基线系统,该系统基于基于ResNet的深度说话人网络,具有余弦相似性评分。对于一个给定的话语,不同通道的说话人嵌入平均作为最终的嵌入。对于任务1、任务2和任务3,基线系统分别实现了0.62、0.66和0.64的minDCF以及6.27%、6.55%和7.18%的EER。
2020-05-16 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation(NAVER公司);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院);Yonsei University(延世大学)
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频,可能包含不相关的信号。虽然说话人确认自然是一个成对的问题,但现有的生成说话人嵌入的方法是逐实例的。在本文中,我们提出了交叉注意池(CAP),它利用跨参考查询对的上下文信息来生成话语级嵌入,其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验,其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
End-to-end losses based on speaker basis vectors and all-speaker hard negative mining for speaker verification
University of Seoul(首尔大学)
近年来,说话人验证主要使用深度神经网络进行,这些网络经过训练,可以从输入特征(如频谱图或Mel滤波器组能量)中输出嵌入。设计各种损失函数的研究,包括度量学习已经被广泛探索。在这项研究中,我们提出了两个端到端的损失函数的说话人确认使用的概念,说话人基地,这是可训练的参数。一个损失函数被设计为进一步增加说话人间的变化,另一个被设计为与硬否定挖掘相同的概念。每个说话人基础被设计为在训练深度神经网络的过程中代表相应的说话人。与传统的损失函数只能考虑小批量中包含的有限数量的扬声器相比,所提出的损失函数可以考虑训练集中的所有扬声器,而不管小批量的组成。特别是,建议的损失函数,使硬负挖掘和计算扬声器之间的变化与所有扬声器的考虑。通过在VoxCeleb1和VoxCeleb2数据集上的实验,我们证实了所提出的损失函数可以补充传统的softmax和中心损失函数。
2019-07-17 cs.LG cs.SD eess.AS
Tackling the Score Shift in Cross-Lingual Speaker Verification by Exploiting Language Information
Ghent University(根特大学);imec(比利时微电子研究中心)
本文包含对IDLab提交给VoxCeleb说话人识别挑战赛2021(VoxSRC-21)的跨语言说话人验证的挑战后性能分析。我们发现,目前的扬声器嵌入提取器一致低估扬声器内跨语言试验的相似性。因此,典型的训练和评分协议没有足够重视说话人内部语言变异的补偿。我们提出了两种技术来提高跨语言说话人确认的鲁棒性。首先,我们用小批量采样策略增强了我们之前提出的大间距微调(LM-FT)训练阶段,该策略增加了小批量中说话人内跨语言样本的数量。其次,我们在逻辑回归校准阶段加入语言信息。我们集成质量指标的基础上的软,硬决定的VoxLingua 107语言识别模型。在VoxSRC-21测试集上,所提出的技术比基线模型相对提高了11.7%,并在相应的挑战中获得了第三名。
2022-06-19 cs.SD eess.AS
On the influence of language similarity in non-target speaker verification trials
Reuter Jessen Division Hearing, Speech and Audio Technology(听力、语音和音频技术部门);Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所);Bundeskriminalamt(德国联邦刑事侦查局)
本文研究跨语言非目标说话人验证中语言相似性的影响,发现训练语言内比较存在聚类效应,而未训练语言试验中分数与语言相似性相关。
2025-06-03 cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University(西弗吉尼亚大学)
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下,我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外,虽然频谱-时间特征已被证明是非常可靠的说话人确认模型,他们只代表说话人的声音的短期声学水平特性的一些方面。然而,人类的声音包括几个语言层次,如声学,词汇,韵律和语音,可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点,我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构,以结合韵律,抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比,该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
The IDLAB VoxSRC-20 Submission: Large Margin Fine-Tuning and Quality-Aware Score Calibration in DNN Based Speaker Verification
IDLab, Department of Electronics;Information Systems, Ghent University - imec, Belgium
在本文中,我们提出并分析了一个大裕度微调策略和质量感知的分数校准在文本无关的说话人确认。大裕度微调是使用基于裕度的损失函数训练的基于DNN的说话人验证系统的次级训练阶段。它使网络能够通过使用更长的训练话语结合更积极的边缘惩罚来创建更强大的说话人嵌入。分数校准是说话人确认系统中的一种常见做法,将输出分数映射到校准良好的对数似然比,其可以转换为可解释的概率。通过在校准系统中包括质量特征,评估度量的决策阈值变得依赖于质量,并且在不同的试验条件下更加一致。在ECAPA-TDNN架构上应用这两项增强功能,可以在所有公开的VoxCeleb 1测试集上获得最先进的结果,并为我们在VoxCeleb Speaker Recognition Challenge 2020的监督验证轨道中获胜做出了贡献。
2021-04-06 cs.SD eess.AS
End-to-End Text-Dependent Speaker Verification
Google(谷歌)
在本文中,我们提出了一个数据驱动的,集成的方法来说话人验证,它映射一个测试话语和几个参考话语直接到一个单一的分数进行验证,并共同优化系统的组件使用相同的评估协议和度量在测试时。这种方法将导致简单而有效的系统,需要很少的特定领域的知识,并作出很少的模型假设。我们实现的想法,制定一个单一的神经网络架构的问题,包括一个扬声器模型的估计只有几个话语,并评估它对我们的内部“OK谷歌”基准文本相关的说话人验证。所提出的方法对于像我们这样需要高度准确、易于维护且占用空间小的系统的大数据应用程序似乎非常有效。
2015-09-27 cs.LG cs.SD
Analysis of Length Normalization in End-to-End Speaker Verification System
Duke Kunshan University(昆山杜克大学);Sun Yat-sen University(中山大学)
经典的i向量和最新的端到端深度说话人嵌入是自动说话人确认系统中话语级表示的两个代表性类别。传统上,一旦提取了i向量或深度说话人嵌入,我们就依赖于额外的长度归一化步骤,在后端建模之前将表示归一化到单位长度的超空间中。在本文中,我们探索了神经网络如何以端到端的方式学习长度归一化的深度说话人嵌入。为此,我们在通用分类网络的输出层之前添加了一个长度归一化层,然后是一个尺度层。我们对Voxceleb1数据集的验证任务进行了实验。结果表明,将这个简单的步骤集成到端到端训练管道中可以显着提高说话人验证的性能。在我们的L2规范化端到端系统的测试阶段,一个简单的内积可以达到最先进的水平。
2018-06-11 cs.SD eess.AS
SA-SASV: An End-to-End Spoof-Aggregated Spoofing-Aware Speaker Verification System
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
过去几年的研究已经提高了自动说话人验证系统和对抗系统的性能,以在每个系统上提供低的相等出错率(EER)。然而,这两个系统的联合优化的研究仍然有限。提出了欺骗感知扬声器验证(SASV)2022挑战,以鼓励开发具有新指标的集成SASV系统,以评估联合模型性能。本文提出了一种无集成的端到端解决方案,称为欺骗聚合SASV(SA-SASV),以构建一个多任务分类器的SASV系统,该系统通过多次损失进行优化,并对训练集有更灵活的要求。该系统在ASVSpoof 2019 LA数据集上进行了训练,这是一个具有少量真实扬声器的欺骗验证数据集。SASV-EER的结果表明,通过在完整的自动说话人确认和对策数据集上进行训练,可以进一步提高模型的性能。
2022-03-24 cs.SD eess.AS
Few Shot Text-Independent speaker verification using 3D-CNN
Galgotias University(加尔各答大学)
人脸识别系统是人工智能的主要成功之一,在过去的几年里已经被大量使用。但是,图像并不是唯一的生物特征:音频是另一种可能的生物特征,可以用作现有识别系统的替代品。然而,文本无关的音频数据并不总是可用于像说话人验证这样的任务,并且在过去也没有针对假设非常少的训练数据的文本无关的说话人验证进行工作。因此,在本文中,我们提出了一种新的方法来验证的身份声称发言人使用很少的训练数据。为了实现这一点,我们使用了具有中心损失和扬声器偏置损失的Siamese神经网络。在VoxCeleb 1数据集上进行的实验表明,即使在训练数据很少的情况下,所提出的模型的准确性也接近于文本无关说话人确认的最新模型
2020-08-25 cs.LG cs.SD eess.AS
Deep Speaker Feature Learning for Text-independent Speaker Verification
Tsinghua University(清华大学)
最近,深度神经网络(DNN)已被用于学习说话者特征。然而,学习到的特征的质量不够好,因此必须使用复杂的后端模型,无论是神经模型还是概率模型,来解决应用于说话人验证时的残余不确定性,就像原始特征一样。提出了一种用于说话人特征学习的卷积时延深度神经网络结构(CT-DNN)。我们在Fisher数据库上的实验结果表明,这种CT-DNN可以产生高质量的说话人特征:即使只有一个特征(包括上下文在内的0.3秒),EER也可以低至7.68%。这有效地证实了说话人特征在很大程度上是确定性的短时属性,而不是长时间的分布模式,因此可以从几十帧中提取。
2017-05-10 cs.CL cs.LG cs.SD
Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021
Northwestern Polytechnical University(西北工业大学);Beijing ZKJ Technology Co., Ltd.(北京中科金技术有限公司)
在这份报告中,我们描述了北京ZKJ-NPU团队提交的VoxCeleb Speaker Recognition Challenge 2021(VoxSRC-21)。我们参与了完全监督的说话人验证轨道1和轨道2。在挑战中,我们探索了具有不同池化层和目标损失函数的各种高级神经网络结构。此外,我们还引入了ResNet-DTCF、CoAtNet和PyConv网络来提高基于CNN的说话人嵌入模型的性能。此外,我们在评估阶段应用嵌入归一化和分数归一化。通过融合11和14个系统,我们最终的最佳性能(minDCF/EER)的评估试验分别为0.1205/2.8160%和0.1175/2.8400%的轨道1和2。随着我们的提交,我们来到了第二位的挑战,为两个轨道。
2021-11-18 cs.SD eess.AS
Gaussian speaker embedding learning for text-independent speaker verification
National Engineering Laboratory for Speech and Language Information Processing(国家语音语言信息处理工程实验室);University of Science and Technology of China(中国科学技术大学)
x向量使用深度神经网络将任意持续时间的片段映射到固定维度的向量。结合概率线性判别分析(PLDA)后端,x-vector/PLDA已成为文本无关说话人确认的主导框架。然而,如何提取适合PLDA后端的x向量是一个关键问题。本文提出了一种高斯噪声约束网络(GNCN)来提取xvector,该网络采用多任务学习策略,主任务对说话人进行分类,辅助任务只对高斯噪声进行拟合。使用SITW数据库进行实验。实验结果证明了该方法的有效性
2020-01-14 cs.SD eess.AS eess.SP
Differentiable Supervector Extraction for Encoding Speaker and Phrase Information in Text Dependent Speaker Verification
University of Zaragoza(萨拉戈萨大学)
在本文中,我们提出了一个新的可微神经网络对齐机制,文本相关的说话人确认,使用对齐模型,以产生一个超向量表示的话语。与以前的作品类似的方法,我们不提取嵌入的话语的时间维度的平均减少。我们的系统用短语对齐模型代替均值,以保持每个短语的时间结构,因为语音信息是验证任务中身份的一部分。此外,我们可以应用卷积神经网络作为前端,并且由于对齐过程是可区分的,我们可以训练整个网络来为每个话语产生一个超向量,该超向量将同时区分说话者和短语。正如我们所示,这种选择的优点是,超向量编码的短语和说话人信息提供良好的性能,在文本相关的说话人验证任务。在这项工作中,验证的过程是使用一个基本的相似性度量,由于简单,相比其他更复杂的模型,通常使用。使用对齐来产生超向量的新模型在RSR 2015-Part I数据库上进行了测试,用于文本相关的说话人验证,与使用均值提取嵌入的类似规模的网络相比,提供了具有竞争力的结果。
2018-12-22 cs.LG cs.SD eess.AS