Adversarial Speaker Distillation for Countermeasure Model on Automatic Speaker Verification
National Taiwan University(台湾大学);Department of Computer Science(计算机科学系)
针对边缘设备部署 CM 模型时大小与性能的权衡问题,提出结合 GE2E 预训练和对抗性微调的对抗性说话人蒸馏方法,所提 ASD-ResNetSE 模型在 ASVspoof 2021 任务中取得优异性能且参数和计算量大幅减少。
2022-10-02 cs.LG cs.SD eess.AS
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Corporation(微软公司)
最近,基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互,但它不足以捕获短距离局部上下文,这对于准确提取说话人信息至关重要。在这项研究中,我们加强了Transformer与增强局部建模在两个方向。首先,我们提出了局部增强型构象(LE-Confomer),通过引入深度卷积和通道注意到构象块。第二,我们提出了扬声器Swin Transformer(SST)的适应Swin Transformer,最初提出的视觉任务,到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言(MS内部)数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER,优于先前提出的基于Transformer的模型和基于CNN的模型,如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时,所提出的模型取得了令人满意的结果,与Res 2Net 50模型相比,EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
Sum-Product Networks for Robust Automatic Speaker Identification
Griffith University(格里菲斯大学)
我们引入和积网络(SPN)的强大的语音处理,通过一个简单的强大的自动说话人识别(ASI)的任务。SPN是能够回答多个概率查询的深度概率图模型。我们表明,SPN能够保持强大的边缘概率密度函数(PDF)的频谱特征,可靠地代表语音。虽然目前的SPN工具包和学习算法还处于起步阶段,我们的目标是表明,SPN有潜力成为一个有用的工具,强大的语音处理在未来。SPN扬声器模型在这里评估现实世界的非平稳和有色噪声源在多个信噪比(SNR)水平。在ASI准确性方面,我们发现SPN说话人模型比两个最近的基于卷积神经网络(CNN)的ASI系统更鲁棒。此外,SPN扬声器模型比基于CNN的扬声器模型包含的参数少得多。结果表明,SPN说话人模型可以是一个强大的,参数有效的替代ASI。此外,这项工作表明,SPN在相关的任务,如强大的自动语音识别(ASR)和自动说话人验证(ASV)的潜力。可用性:SPN ASI系统可在https://github.com/anicolson/SPN-ASI上获得。
2020-08-13 cs.SD eess.AS
A Semi-Automatic Approach to Create Large Gender- and Age-Balanced Speaker Corpora: Usefulness of Speaker Diarization & Identification
French National Institute of Audiovisual (INA)(法国国家视听研究院);CNRS(法国国家科学研究中心);LISN(计算机科学与数字技术交叉科学实验室);Universidade Federal do Rio de Janeiro(里约热内卢联邦大学)
本文提出一种半自动流水线方法,结合语音检测、去噪与说话人日志技术,高效构建性别、年龄与时期均衡的大规模说话人语料库,将人工处理量减少十倍并保证高输出质量。
2024-04-26 cs.CL cs.DL cs.LG
The defender's perspective on automatic speaker verification: An overview
National Taiwan University(台湾大学);The Chinese University of Hong Kong(香港中文大学);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文从防御者视角系统综述了针对对抗性攻击和部分伪造语音等威胁自动说话人验证安全性的防御方法,填补了现有综述在该领域的空白。
2023-06-25 cs.LG cs.SD eess.AS
ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan
ASVspoof consortium(ASVspoof联盟)
自动说话人验证欺骗和对策(ASVspoof)挑战系列是一项由社区主导的倡议,旨在促进对欺骗的考虑和对策的制定。ASVspoof 2021是一系列两年一次的竞争性挑战中的第四个,其目标是制定能够区分真实和欺骗或深度伪造语音的对策。本文档提供了ASVspoof 2021挑战赛的技术描述,包括培训、开发和评估数据、指标、基线、评估规则、提交程序和时间表的详细信息。
2021-09-01 cs.CR cs.LG cs.SD
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield(谢菲尔德大学)
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同,本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中,干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中,将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络,通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据(TIMIT)和真实世界的双说话人数据(MC-WSJ)上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明,本文提出的一种结构与纯说话人嵌入的性能相近,识别准确率达到96.9%,余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics(国立信息学研究所)
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型(诸如时间延迟神经网络(TDNN))和用于相似性评分的后端模型(诸如基于概率线性判别分析(PLDA)或基于神经网络的神经PLDA(NPLDA))。然而,前端和后端模型的顺序优化可能会导致局部最小值,这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型,如广义端到端(GE2E)模型和NPLDA E2E模型,所有这些方法都是设计用于单个注册话语。在本文中,我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系,我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术,包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略,以实现更好的优化。
2022-09-01 cs.SD eess.AS
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab(腾讯人工智能实验室)
近年来,针对自动说话人确认系统的对抗性攻击引起了广泛的关注,因为它们对自动说话人确认系统构成了严重的威胁。然而,防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外,对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交,这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击,而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器,并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性,我们分析了各种不可见攻击设置的影响,并观察到检测器对不可见替代ASV系统具有鲁棒性(最坏情况下的EER_{det}退化为6.27%),但对不可见扰动方法具有较弱的鲁棒性(最坏情况下的EER_{det}退化为50.37%)。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
Improving curriculum learning for target speaker extraction with synthetic speakers
National Institute of Informatics(国立信息学研究所);Sokendai(综合研究大学院大学)
针对说话人特征相似时目标说话人提取性能下降的问题,提出用基于$k$-近邻的语音转换生成多样化干扰说话人语音,融入课程学习以提升多个TSE系统的性能。
2024-10-05 cs.SD eess.AS
Phonetic Richness for Improved Automatic Speaker Verification
Pindrop(品卓科技)
该研究提出基于语音直方图的语音丰富度度量指标,结合净语音时长校准说话人验证得分,在Voxceleb1基准上实现5.8%的EER相对提升,对短话语效果更优。
2024-07-10 cs.SD eess.AS
Content-Aware Speaker Embeddings for Speaker Diarisation
Cambridge University Engineering Dept.(剑桥大学工程系)
最近的说话人diarisation系统通常将可变长度的语音段转换为固定长度的向量表示用于说话人聚类,这被称为说话人嵌入。在本文中,内容感知的说话人嵌入(CASE)的方法,它扩展了说话人分类器的输入,不仅包括声学特征,但也包括其相应的语音内容,通过电话,字符,和词嵌入。与利用类似信息的替代方法(如多任务或对抗训练)相比,CASE将自动语音识别(ASR)从说话人识别中分解出来,专注于对说话人特征和与相应内容单元的相关性进行建模,以获得更具表现力的表示。使用AMI会议转录数据集,使用现实的扬声器diarisation设置评估CASE用于扬声器重新聚类,其中内容信息是通过基于自动分割执行ASR获得的。实验结果表明,与传统方法相比,CASE方法的相对说话人出错率降低了17.8%。
2021-02-12 cs.LG cs.SD eess.AS
Improving Text-Independent Speaker Verification with Auxiliary Speakers Using Graph
The Chinese University of Hong Kong(香港中文大学)
本文提出了一种新的方法来细化输入话语之间的相似性分数的鲁棒说话人确认。给定来自一对输入话语的嵌入,图模型被设计成包含来自表示所谓的辅助说话者的一组嵌入的附加信息。输入话语和辅助说话人之间的关系由图中的边和顶点表示。通过使用类似于图上的随机游走算法的算法迭代地更新图的顶点的值来细化相似性分数。通过该更新过程,辅助说话者的信息参与确定输入话语之间的关系,从而有助于验证过程。我们建议通过模型训练过程创建一组人工嵌入。利用生成的嵌入作为辅助扬声器,在验证阶段中不需要额外的数据用于图模型。所提出的模型在整个系统内以端到端的方式进行训练。实验是在Voxceleb数据集上进行的。实验结果表明,将辅助说话人与图相结合可以有效地提高说话人确认的性能。
2021-09-20 cs.SD eess.AS
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
概率线性判别分析(PLDA)或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语,我们提出了一种新的注意后端模型,它可以用于文本无关(TI)和文本相关(TD)的说话人验证,并采用缩放点自注意和前馈自注意网络作为架构,学习注册话语的内部关系。为了验证所提出的注意力后端,我们在CNCeleb和VoxCeleb数据集上进行了一系列实验,将其与几种最先进的说话人编码器(包括TDNN和ResNet)相结合。实验结果表明,使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明,我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM(欧洲通信学院);National Institute of Informatics(国立信息学研究所);Microsoft(微软公司);The Hong Kong Polytechnic University(香港理工大学)
本研究提出基于神经网络的广义Hammerstein模型Malacopula,通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果,实验验证了其攻击效力及现有防御的局限,凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Graph Attention Networks for Speaker Verification
University of Seoul(首尔大学);Naver Corporation(NAVER公司)
这项工作提出了一种新的后端框架使用图注意力网络的说话人确认。从话语内的多个作物中提取的分段式说话人嵌入被解释为图的节点表示。建议的框架输入段明智的发言人嵌入从注册和测试话语,并直接输出的相似性得分。我们首先使用分段说话人嵌入构建一个图,然后将其输入到图注意力网络。在具有残余连接的几个图形注意层之后,使用仿射变换将每个节点投影到一维空间中,然后进行读出操作,从而产生标量相似性得分。为了使成功的适应说话人验证,我们提出的技术,如分离可训练的权重之间的分段扬声器嵌入从不同的话语的注意力图计算。该框架的有效性进行了验证,使用三个不同的说话人嵌入提取训练与不同的架构和目标函数。实验结果表明,各种基线后端分类器的一致改进,平均相等错误率提高了20%,超过余弦相似性后端没有测试时间增加。
2021-02-08 cs.CL cs.SD eess.AS
Pseudo-Siamese Network based Timbre-reserved Black-box Adversarial Attack in Speaker Identification
Northwestern Polytechnical University(西北工业大学)
本文提出一种基于伪孪生网络的音色保留黑盒对抗攻击方法,通过语音转换模型添加对抗约束生成保留音色的伪造音频,并利用替代模型逼近黑盒说话人识别模型的决策边界,在ADD数据集上白盒和黑盒攻击成功率分别达60.58%和55.38%。
2023-05-30 cs.SD eess.AS
Texture-based Presentation Attack Detection for Automatic Speaker Verification
Hochschule Darmstadt(达姆施塔特应用技术大学);EURECOM(欧洲通信学院);Hochschule Ansbach(安斯巴赫应用技术大学)
如今,生物识别系统在广泛的应用中被采用。它们提供高安全性和高效率,并且在许多情况下是用户友好的。尽管有这些和其他优点,一般的生物特征系统和特别是自动说话者验证(ASV)系统可能容易受到攻击呈现。最近的ASVSpoof 2019竞赛表明,大多数形式的攻击都可以通过基于集成分类器的呈现攻击检测(PAD)方法可靠地检测到。然而,这些从根本上取决于系综中系统的互补性。为了提高PAD解决方案的通用性,本文报告了我们对纹理描述符应用于语音谱图图像分析的探索。特别是,我们提出了一个共同的Fisher向量特征空间的基础上生成模型。实验结果表明,我们的方法的合理性:在100个真正的演示文稿中,最多有16个被拒绝,而只有一个在100个攻击演示文稿被接受。
2020-10-08 cs.CV cs.LG cs.SD
Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems
Carnegie Mellon University(卡内基梅隆大学)
自动说话人确认系统利用人类语音中的生物特征信息来确认说话人的身份。用于执行说话人验证的技术通常容易受到恶意攻击,这些攻击试图诱使ASV系统返回错误的结果,从而允许冒名顶替者绕过系统并获得访问权限。攻击者为此使用了多种欺骗技术,例如语音转换、音频重放、语音合成等。近年来,生成深度伪造音频的容易获得的工具增加了对ASV系统的潜在威胁。在本文中,我们比较了潜在的人类模仿(语音伪装)基于攻击的基础上,机器生成的语音,黑盒和白盒ASV系统。我们还研究对策,通过使用功能,捕捉人类语音生产的独特方面,假设机器不能模仿许多精细的人类语音生产机制的复杂性。我们表明,基频序列相关熵,频谱包络和非周期性参数是有前途的候选人的鲁棒检测未知方法产生的deepfaked语音。
2020-11-25 cs.SD eess.AS
Target Speaker Extraction with Curriculum Learning
National Institute of Informatics(信息学国立研究院);Sokendai(综合研究大学院大学);Singapore Institute of Technology(新加坡理工学院)
本文提出将课程学习引入目标说话人提取任务,通过设计基于说话人相似度、性别、信失真比及TSE目标函数的难度递增训练策略,在Libri2talker数据集上相比无课程学习基线提升约1 dB。
2024-06-12 cs.SD eess.AS
Enhancing Self-Supervised Speaker Verification Using Similarity-Connected Graphs and GCN
School of Computer Science and Technology, Xinjiang University, Urumqi, China(新疆大学计算机科学与技术学院);Hefei iFly Digital Technology Co. Ltd., Hefei, China(合肥iFly数字技术有限公司);University of Science and Technology of China, Hefei, China(中国科学技术大学)
针对自监督说话人验证中DINO方法聚类生成的伪标签存在噪声的问题,提出结合相似连接图与GCN的改进聚类框架,优化聚类过程提升伪标签准确率,增强系统鲁棒性与性能。
2025-09-04 cs.SD
Multi-task Learning Based Spoofing-Robust Automatic Speaker Verification System
The University of Western Australia(西澳大学)
通过生成人工语音而构成的欺骗攻击会严重降低说话人确认系统的性能。最近,许多反欺骗对策已被提出用于检测从合成语音到重放演示的各种类型的攻击。虽然有许多关于独立反欺骗解决方案的有效防御报告,但扬声器验证和欺骗检测系统的集成具有明显的优势。在本文中,我们提出了一个欺骗鲁棒的自动说话人确认(SR-ASV)系统的多种攻击的基础上的多任务学习架构。这个基于深度学习的模型与来自话语的时频表示联合训练,以同时为两个任务提供识别决策。与ASVspoof 2017和2019语料库上的其他最先进的系统相比,可以在不同的欺骗条件下获得组合系统的实质性改进。
2020-12-06 cs.CR cs.SD eess.AS
Replay spoofing detection system for automatic speaker verification using multi-task learning of noise classes
University of Seoul(首尔市立大学)
在本文中,我们提出了一个重放攻击欺骗检测系统的自动说话人验证使用多任务学习的噪声类。我们将重放攻击引起的噪声定义为重放噪声。我们探索了同时训练深度神经网络用于重放攻击欺骗检测和重放噪声分类的有效性。多任务学习包括对回放设备、记录环境和记录设备的噪声进行分类以及欺骗检测。三种类型的噪声类别中的每一种也包括真正的类别。在ASVspoof2017数据集上的实验结果表明,我们提出的系统在评估集上的性能相对提高了30%。
2018-10-25 cs.LG cs.SD eess.AS
Integrated Spoofing-Robust Automatic Speaker Verification via a Three-Class Formulation and LLR
Tianjin University(天津大学)
本文提出一种三类公式框架,通过log-likelihood ratio (LLR)推理提升自动说话验证的可解释性,实验显示在ASVSpoof5和SpoofCeleb上性能优异。
2026-10-28 cs.SD eess.AS
Linear Regression for Speaker Verification
Northwestern Polytechnical University(西北工业大学);School of Marine Science and Technology(海洋科学与技术学院);Center for Intelligent Acoustics and Immersive Communications(智能声学与沉浸式通信中心)
本文提出了一种基于线性回归的说话人确认后端。线性回归是一种简单的线性模型,它利用封闭形式的解最小化目标与其估计之间的均方估计误差,其中目标被定义为话语的地面实况指示符向量。我们使用线性回归模型从前端学习说话人模型,并通过余弦相似性评分分类器验证两个说话人模型的相似性。为了评估线性回归模型的有效性,我们构建了三个说话人确认系统,分别使用高斯混合模型和身份向量(GMM/i-vector)前端,深度神经网络和i-vector(DNN/i-vector)前端,和深度向量(d-vector)前端作为其前端。NIST说话人识别评估数据集上的实证比较结果表明,该方法优于类内协方差归一化,线性判别分析和概率线性判别分析,给定的三个前端。
2018-02-12 cs.SD eess.AS
Deep Neural Networks for Automatic Speaker Recognition Do Not Learn Supra-Segmental Temporal Features
Centre for Artificial Intelligence, Zurich University of Applied Sciences(苏黎世应用科技大学人工智能中心);University of Zurich(苏黎世大学);European Centre for Living Technology (ECLT)(欧洲生命技术中心)
该研究通过新型测试量化并验证,当前主流的CNN、RNN架构说话人识别网络未充分建模超音段时间信息,即便强制引导也效果有限,为语音信号利用和深度学习可解释性研究提供依据。
2023-11-02 cs.CV cs.LG cs.SD
A Study on Replay Attack and Anti-Spoofing for Automatic Speaker Verification
Tsinghua University(清华大学)
在实际的自动说话人确认系统中,重放攻击是一个真正的风险。通过重放真实说话者的预先记录的语音信号,ASV系统往往容易被愚弄。因此,非常需要一种有效的重放检测方法。在这项研究中,我们研究了重放检测中的一个主要困难:由语音信号中的可变因素引起的过拟合问题。提出了一种F比探测工具,并使用该工具研究了三个可变性因素:说话人身份,语音内容和回放和记录设备。分析表明,设备是最有影响力的因素,贡献了最高的过拟合风险。研究了一种频率弯曲方法来缓解过拟合问题,并在ASV-spoof 2017数据库上进行了验证。
2017-06-07 cs.SD
MFA-Conformer: Multi-scale Feature Aggregation Conformer for Automatic Speaker Verification
Tsinghua University(清华大学);Tencent Inc(腾讯公司);National Taiwan University(国立台湾大学);The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了多尺度特征聚合一致性(MFA-Conformer),一个易于实现的,简单,但有效的骨干自动说话人确认的卷积增强的Transformer(Conformer)的基础上。MFA-Conformer的架构受到了语音识别和说话人验证中最新模型的启发。首先,我们引入卷积子采样层来降低模型的计算成本。其次,我们采用了Conformer模块,它结合了Transformers和卷积神经网络(CNN),以有效地捕获全局和局部特征。最后,来自所有Conformer块的输出特征图在最终池化之前被连接以聚合多尺度表示。我们在广泛使用的基准上评估MFA-Conformer。最佳系统在VoxCeleb 1-O、SITW.Dev和SITW.Eval集上分别获得0.64%、1.29%和1.63%的EER。MFA-Conformer在识别性能和推理速度方面都明显优于流行的ECAPA-TDNN系统。最后,消融研究清楚地表明,全局和局部特征学习的结合可以导致鲁棒和准确的说话人嵌入提取。我们还发布了代码以供将来比较。
2022-11-11 cs.SD eess.AS
Validation of an ECAPA-TDNN system for Forensic Automatic Speaker Recognition under case work conditions
Centro di ricerca interdisciplinare sul linguaggio (CRIL), University of Salento(萨伦托大学跨学科语言研究中心(CRIL))
在真实法庭语音比对条件下测试基于ECAPA-TDNN的FASR系统,通过嵌入和分数归一化策略评估其性能,结果证明其超越现有最先进水平。
2023-05-18 cs.SD eess.AS
Introducing Model Inversion Attacks on Automatic Speaker Recognition
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学)
模型反演(MI)攻击允许重构机器学习(ML)模型的训练数据的平均每类表示。已经表明,在每个类别对应于不同个体的场景中,例如面部分类器,这代表了严重的隐私风险。在这项工作中,我们探索了MI的一个新的应用:从说话人识别系统中提取说话人的声音。我们提出了一种方法,(1)从训练的ML模型中重建音频样本,(2)提取中间语音特征表示,为说话者的生物特征提供有价值的见解。因此,我们提出了一个扩展的MI攻击,我们称之为滑动模型反演。我们的滑动MI扩展标准MI通过迭代反转重叠的音频样本块,从而利用音频数据的顺序属性增强反转性能。我们表明,人们可以使用反转的音频数据来生成欺骗的音频样本来模仿扬声器,并代表他们执行高度安全的系统的语音保护命令。据我们所知,我们的工作是第一个将MI攻击扩展到音频数据的工作,我们的结果突出了在该设置中提取生物特征数据所带来的安全风险。
2023-01-09 cs.CR cs.LG cs.SD
Quantifying the effect of speech pathology on automatic and human speaker verification
Nagoya University(名古屋大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Groningen(格罗宁根大学);University Medical Center Groningen(格罗宁根大学医学中心)
该研究利用两个荷兰语口腔癌手术前后配对语音数据集,量化言语病理对自动说话人验证的负面影响,并结合感知实验比较机器与人类判断的异同。
2024-06-10 cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories(NTT人类信息学研究所);NTT Corporation(NTT公司)
本文提出一种基于语音节奏的说话人嵌入提取方法,通过音素及其时长建模目标说话人特征,实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Deep Segment Attentive Embedding for Duration Robust Speaker Verification
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于LSTM的说话人确认通常使用从话语中随机截取的固定长度的局部段来学习话语级说话人嵌入,而使用测试话语的所有段的平均嵌入来验证说话人,这导致测试和训练之间的严重不匹配。这种不匹配降低了说话人确认的性能,特别是当训练和测试话语的持续时间非常不同时。为了缓解这个问题,我们提出了深段注意嵌入方法来学习统一的发言人嵌入可变持续时间的话语。每个话语通过滑动窗口进行分段,LSTM用于提取每个片段的嵌入。而不是只使用一个局部段,我们使用整个话语学习话语级嵌入通过应用一个专注的池的嵌入的所有段。此外,引入段级嵌入的相似性损失,引导段注意力集中在说话人区分度较高的段上,并与话语级嵌入的相似性损失联合优化。在Tongdun和VoxCeleb上的系统实验表明,该方法显著提高了对持续时间变化的鲁棒性,相对等错误率分别降低了50%和11.54%。
2018-11-01 cs.LG cs.SD eess.AS
Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification
Microsoft(微软)
从大规模未标记数据中学习到的语音表示比从监督学习中学习到的语音表示具有更好的泛化能力,因此吸引了大量的兴趣被应用于各种下游任务。在本文中,我们探索了通过不同的自监督目标和数据集学习的语音表示的限制,用于自动说话人验证(ASV),特别是使用公认的SOTA ASV模型ECAPA-TDNN [1]作为下游模型。来自预训练模型的所有隐藏层的表示首先用可学习的权重进行平均,然后作为输入特征输入ECAPA-TDNN。在Voxceleb数据集上的实验结果表明,加权平均表示明显优于FBank,ASV的传统手工特征。我们最好的单系统分别在VoxCeleb 1的三次正式试验中达到0.537%、0.569%和1.180%的相等出错率(EER)。相应地,具有三个预训练模型的集成系统可以进一步将EER提高到0.479%、0.536%和1.023%。在三个评估试验中,我们最好的系统在VoxCeleb 1-E试验中的表现优于VoxCeleb Speaker Recognition Challenge 2021(VoxSRC 2021)的获胜者系统。
2022-01-24 cs.SD eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University(ITMO大学);STC-innovations Ltd.(STC创新有限公司)
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明,在分类神经网络的最后一个分类层使用角softmax激活,而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现,具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统,以提高说话人识别的准确性。我们表明,区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
Tubes Among Us: Analog Attack on Automatic Speaker Identification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Alan Turing Institute(艾伦·图灵研究所);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
本文证明人类仅通过管道说话即可低成本生成模拟对抗样本,可靠欺骗自动说话人识别及活体检测等声学生物识别系统,揭示其安全关键应用存在严重漏洞。
2023-05-27 cs.CR cs.LG cs.SD
A Comparison of Differential Performance Metrics for the Evaluation of Automatic Speaker Verification Fairness
EURECOM(欧洲通信研究院);Hochschule Darmstadt(达姆施塔特应用科学大学);Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU))
本文比较了三种候选公平性指标,发现GARBE是唯一满足三项功能性公平性标准的指标,并综合评估了五种最先进ASV系统的公平性与验证性能,揭示了两者间的微妙权衡。
2024-04-27 cs.SD eess.AS
Self-Supervised Metric Learning With Graph Clustering For Speaker Diarization
Indian Institute of Science(印度科学学院)
在本文中,我们提出了一种新的算法,说话人日记使用基于图的聚类度量学习。图聚类算法使用由相似性分数组成的邻接矩阵。这些分数是在从给定记录内的音频片段对中提取的扬声器嵌入之间计算的。在本文中,我们提出了一种方法,共同学习的发言人嵌入和相似性度量的原则,自监督学习。度量学习网络实现了概率线性判别分析(PLDA)的神经模型。自我监督是从先前的聚类迭代中获得的伪标签中得到的。表示学习和度量学习的整个模型都是用二进制交叉熵损失来训练的。通过将基于自监督的度量学习与基于图的聚类算法相结合,我们在AMI和DIHARD数据集上分别实现了60%和7%的相对改进。
2021-09-14 cs.SD eess.AS
Efficient Attention Branch Network with Combined Loss Function for Automatic Speaker Verification Spoof Detection
Amirkabir University of Technology(阿米尔卡比尔理工大学)
许多努力已经寻求开发对策技术作为对自动说话人验证(ASV)系统的增强,以便使它们对欺骗攻击更鲁棒。正如最新的ASVspoof 2019对策挑战所证明的那样,目前为ASV任务部署的模型在最好的情况下,对看不见的攻击缺乏适当程度的泛化。在对所提议的方法进行进一步调查后,似乎可以对所提议的系统进行更广泛的三层视图。包括分类器、特征提取阶段和模型损失函数,可以在某种程度上减轻该问题。因此,本研究提出了有效的注意分支网络(EABN)的模块化架构与组合损失函数,以解决泛化问题。
2021-09-19 cs.CL cs.CR cs.SD
Privacy-preserving Automatic Speaker Diarization
INESC-ID/IST, University of Lisbon(里斯本大学INESC-ID/IST);Carnegie Mellon University(卡内基梅隆大学);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文针对自动说话人分离的隐私泄露问题,提出结合安全多方计算与安全模哈希的隐私保护方案,应用于说话人嵌入提取和凝聚层次聚类,在两种安全设置下实现实时因子1.1和1.6的合理性能与效率权衡。
2023-04-18 cs.CR cs.SD eess.AS
An Initial Investigation of Neural Replay Simulator for Over-the-Air Adversarial Perturbations to Automatic Speaker Verification
1 School of Data Science, Shenzhen Research Institute of Big Data, \ Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen), China 2 Independent researcher, Singapore
本研究提出利用神经重放模拟器模拟空中传播过程,以提升自动说话人验证系统中对抗攻击的鲁棒性,并在ASVspoof2019数据集上证实其能显著提高攻击成功率。
2024-01-03 cs.SD eess.AS
The DKU-DukeECE-Lenovo System for the Diarization Task of the 2021 VoxCeleb Speaker Recognition Challenge
DKU(昆山杜克大学);DukeECE(杜克大学电子与计算机工程系);Lenovo(联想)
本报告介绍了DKU-DukeECE-Lenovo团队提交的VoxCeleb说话人识别挑战赛(VoxSRC)2021年第4场比赛。我们的系统包括一个语音活动检测(VAD)模型,说话人嵌入模型,两个基于聚类的说话人日记系统与不同的相似性测量,两个不同的重叠语音检测(OSD)模型,和一个目标说话人语音活动检测(TS-VAD)模型。我们的最终提交,由5个独立的系统组成,在挑战测试集上实现了5.07%的DER。
2021-09-07 cs.SD eess.AS
Automatic Detection of Speech Sound Disorder in Child Speech Using Posterior-based Speaker Representations
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种宏观的方法来自动检测语音的声音障碍(SSD)在儿童的讲话。通常,SSD表现为语言中特定音素的持续发音和语音错误。这种障碍可以通过集中分析儿童受试者引出的音素或单词来检测。在本研究中,而不是试图检测个人的电话和单词级的错误,我们建议提取一个主题级的表示,从一个长的话语,是由连接多个测试词。说话人验证方法和由深度神经网络模型生成的后验特征被应用于导出各种类型的整体表示。训练一个线性分类器来区分正常语音和无序语音。实验结果表明,该方法在检测粤语儿童SSD的任务中,比以往需要融合音素级检测结果的方法具有更好的检测性能。使用发音后特征从多词话语中导出i向量,实现了78.2%的未加权平均召回率和78.0%的宏观F1分数。
2022-06-29 cs.SD eess.AS
When Automatic Voice Disguise Meets Automatic Speaker Verification
Center for Speech and Language Technologies (CSLT), Tsinghua University(清华大学语音与语言技术中心)
语音伪装是一种通过变换语音来隐藏说话人真实身份的技术,其中自动语音伪装(AVD)是通过各种算法来改变语音的频谱和时间特性,并通过软件实现的一种技术。AVD对人类听觉和自动说话人确认(ASV)都构成了巨大的威胁。在本文中,我们发现ASV不仅是AVD的受害者,而且可以成为击败一些简单类型AVD的工具。首先,介绍了三种典型的AVD方法:基音尺度变换、声道长度归一化(VTLN)和语音转换(VC)。随后利用最先进的ASV方法,通过等误差率(EER)客观地评估AVD对ASV的影响。此外,通过最小化ASV分数的函数w.r.t.,提出了一种方法来恢复伪装语音到其原始版本。恢复参数然后对来自Voxceleb的伪装声音进行实验,Voxceleb是在真实世界嘈杂场景中记录的数据集。结果表明,对于通过音高缩放的语音伪装,所提出的方法获得了约7%的EER,而最近提出的使用基频的比率的基线的EER为30%。该方法可以很好地恢复VTLN中的非线性频率扭曲伪装,将其EER从34.3%降低到18.5%。然而,这是很难恢复VC中的源扬声器,我们的方法,其中更复杂的形式的恢复功能或其他非语言线索可能是必要的,以恢复VC中的非线性变换。最后,对比可视化的ASV功能与不恢复说明了所提出的方法的作用,在一个直观的方式。
2020-09-15 cs.CR cs.SD eess.AS
Ensemble Models for Spoofing Detection in Automatic Speaker Verification
Queen Mary University of London(伦敦玛丽女王大学);KTH Royal Institute of Engineering(KTH皇家理工学院)
检测自动说话人验证(ASV)系统的欺骗尝试是具有挑战性的,特别是当只使用一种建模方法时。为了鲁棒性,我们使用深度神经网络和传统机器学习模型,并通过逻辑回归将它们组合为集成模型。他们经过培训,可以检测作为ASV欺骗和对策挑战2019的一部分发布的数据集上的逻辑访问(LA)和物理访问(PA)攻击。我们提出了数据集分区,以确保在训练和验证过程中存在不同的攻击类型,以提高系统的鲁棒性。我们的集成模型优于我们所有的单一模型和两种攻击类型的挑战基线。我们研究了为什么PA数据集上的一些模型的表现远远优于其他模型,并发现数据集中的欺骗录音往往比真正的录音在最后有更长的沉默。通过删除它们,PA任务变得更具挑战性,我们最好的单个模型的串联检测代价函数(t-DCF)从0.1672上升到0.5018,开发集的等错误率(EER)从5.98%上升到19.8%。
2019-07-04 cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最先进的说话人验证模型基于深度学习技术,这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索(NAS)的思想,文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构,我们将NAS概念引入到著名的x向量网络中。此外,本文提出了一种进化算法增强的神经结构搜索方法,称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明,我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation
EURECOM(欧洲电信学院);National Institute of Informatics(国立信息学研究所);Naver Corporation(Naver公司)
电子欺骗对抗系统的性能从根本上取决于充分代表性的训练数据的使用。由于这通常是有限的,当前的解决方案通常缺乏对在野外遇到的攻击的概括。因此,需要在面对不受控制、不可预测的攻击时提高可靠性的策略。我们在本文中报告了我们以wav2vec 2.0前端的形式使用自监督学习的努力。尽管仅使用真实数据而不使用伪造数据来学习初始基础表示,但我们获得了ASVspoof 2021 Logical Access和Deepfake数据库文献中报告的最低等错误率。当与数据增强相结合时,这些结果对应于相对于我们的基线系统的近90%的改进。
2022-02-28 cs.SD eess.AS
An Exploration of ECAPA-TDNN and x-vector Speaker Representations in Zero-shot Multi-speaker TTS
NTIS Research Centre(NTIS研究中心);Department of Cybernetics, Faculty of Applied Sciences, University of West Bohemia in Pilsen, Czechia(应用科学学院控制系,西波西米亚大学在比斯伦分校,捷克)
本文在基于 YourTTS 的零样本多说话人 TTS 框架中比较 H/ASP、x-vector 与 ECAPA-TDNN 说话人编码器,发现原始 H/ASP 的说话人相似度表现最佳。
2025-06-25 cs.SD eess.AS
An Investigation of Universal Background Sparse Coding Based Speaker Verification on TIMIT
Northwestern Polytechnical University(西北工业大学)
在本文中,我们提出了一个通用的背景模型,命名为通用背景稀疏编码(UBSC),用于说话人确认。该方法通过数据重构训练聚类集合,并通过单近邻优化和二值化从聚类中产生稀疏编码。UBSC的主要优点是它不受局部最小值的影响,并且不对数据分布进行高斯假设。我们在一个干净的语音语料库TIMIT上对UBSC进行了评估。我们使用余弦相似度和内积相似度作为试验的评分方法。实验结果表明,UBSC模型与高斯混合模型具有可比性。
2017-03-13 cs.SD
Analysis of Speech Temporal Dynamics in the Context of Speaker Verification and Voice Anonymization
Université de Lorraine, CNRS, Inria Loria(卢瓦尔大学、法国国家科学研究中心、Inria Loria);Université de Lille, CNRS, Inria Centrale Lille, UMR 9189 - CRIStAL Lille(里尔大学、法国国家科学研究中心、Inria Centrale Lille、UMR 9189 - CRIStAL Lille)
本文研究语音时间动态对说话人验证和匿名化的影响,提出基于音素时长的度量方法,证明音素时长泄露说话人身份,强调匿名化需修改语速和音素时长特征。
2024-12-22 cs.CL cs.SD eess.AS
Optimization of data-driven filterbank for automatic speaker verification
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学与应用研究实验室)
大多数的语音处理应用程序使用三角形滤波器在梅尔尺度间隔的特征提取。在本文中,我们提出了一种新的数据驱动的滤波器设计方法,优化滤波器参数从一个给定的语音数据。首先,我们介绍了一种基于帧选择的方法,用于开发基于语音信号的频率弯曲尺度。然后,我们提出了一种新的方法来计算滤波器的频率响应,通过使用主成分分析(PCA)。与最近引入的基于深度学习的方法相比,所提出的方法的主要优点是它需要非常有限的未标记语音数据。我们证明,建议的滤波器组有更多的发言人区分能力比常用的梅尔滤波器组以及现有的数据驱动滤波器组。我们进行自动说话人确认(ASV)实验与不同的语料库使用各种分类器后端。我们发现,在大多数情况下,建议的滤波器组创建的声学特征优于现有的梅尔频率倒谱系数(MFCC)和基于语音信号的频率倒谱系数(SFCC)。在VoxCeleb 1和流行的i-vector后端的实验中,我们观察到MFCC的等错误率(EER)相对提高了9.75%。类似地,最近引入的x向量系统的相对改进为4.43%。我们得到进一步的改进,融合所提出的方法与标准的基于MFCC的方法。
2020-07-21 cs.CV cs.SD eess.AS
The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge
SYSU(中山大学)
许多现有的说话人验证系统被报道容易受到不同的欺骗攻击,例如说话人自适应语音合成,语音转换,播放等,为了检测这些欺骗语音信号作为对策,我们提出了一个分数级融合方法与几个不同的i-向量子系统。我们表明,声学水平梅尔频率倒谱系数(MFCC)的功能,相位水平修改的群延迟倒谱系数(MGDCC)和语音水平音素后验概率(PPP)串联功能是有效的对策。此外,在i向量建模之前对这些特征进行特征级融合也提高了性能。采用多项式核支持向量机作为监督分类器。为了提高对策的泛化能力,还采用余弦相似度和PLDA评分作为一类分类方法。通过将所提出的i向量子系统与覆盖声学和韵律信息的OpenSMILE基线相结合,进一步提高了最终性能。所提出的融合系统在INTERSPEECH 2015自动说话人验证欺骗和对策挑战提供的数据库的开发和测试集上实现了0.29%和3.26%的EER。
2015-07-29 cs.CL cs.SD
Effects of language mismatch in automatic forensic voice comparison using deep learning embeddings
Budapest University of Technology and Economics(布达佩斯技术与经济大学);University of Public Service(国家公共服务大学)
本文研究英语预训练深度学习说话人嵌入在匈牙利语法庭语音比对中的跨语言适用性,发现大语料预训练模型对语言不匹配样本仍表现良好,且样本时长越长性能越好,说话风格影响不大。
2022-09-26 cs.CL cs.SD eess.AS
A Unified Uncertainty-Aware Back-End for Speaker Verification: Scoring, Normalization, and Calibration
The Hong Kong Polytechnic University(香港理工大学)
该研究针对说话人验证后端未传递不确定性的问题,提出含UAS-Norm、UQMF的统一不确定性感知后端,在ECAPA-TDNN与ResNet上降低了等错误率并提升了区分度。
2026-09-15 cs.SD