Adversarial Attack and Defense Strategies for Deep Speaker Recognition Systems
University of Southern California (USC)（南加州大学）；USC Information Sciences Institute（南加州大学信息科学学院）
稳健的说话人识别（包括在存在恶意攻击的情况下）正变得越来越重要和必不可少，特别是由于与个人的语音命令交互以执行各种甚至敏感任务的若干智能扬声器和个人代理的扩散。对抗性攻击是最近复兴的领域，它被证明可以有效地破坏基于深度神经网络的分类器，具体来说，通过仅对输入样本进行非常少量的扰动来迫使它们改变其后验分布。虽然在计算机视觉领域已经取得了显著的进展，但在说话人识别中的进展仍然有限。本文考虑了几种最先进的对抗性攻击的深度说话人识别系统，采用强大的防御方法作为对策，并报告了几个消融研究，以获得全面的了解这个问题。实验表明，说话人识别系统容易受到攻击，最强的攻击可以使系统的准确率从94%降低到甚至为0%。该研究还详细比较了所采用的防御方法的性能，并发现基于投影梯度下降（PGD）的对抗训练是我们设置中最好的防御方法。我们希望本文中提出的实验提供了基线，可以为有兴趣进一步研究说话人识别系统的对抗鲁棒性的研究社区是有用的。
2020-08-18 cs.LG cs.SD eess.AS
Adaptive Data Augmentation with NaturalSpeech3 for Far-field Speaker Verification
针对远场说话人语音标注数据稀缺、近远场声学环境不匹配的问题，提出基于NaturalSpeech3的自适应数据增强方法，生成保留说话人身份的伪远场语音，在FFSVC上性能优于传统及同类增强策略。
2025-01-15 cs.SD eess.AS
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题，探究注册语音增强的有效性，提出自估计语音增强（SSA）方法，在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Adversarial Speaker Distillation for Countermeasure Model on Automatic Speaker Verification
National Taiwan University（台湾大学）；Department of Computer Science（计算机科学系）
针对边缘设备部署 CM 模型时大小与性能的权衡问题，提出结合 GE2E 预训练和对抗性微调的对抗性说话人蒸馏方法，所提 ASD-ResNetSE 模型在 ASVspoof 2021 任务中取得优异性能且参数和计算量大幅减少。
2022-10-02 cs.LG cs.SD eess.AS
DEAAN: Disentangled Embedding and Adversarial Adaptation Network for Robust Speaker Representation Learning
Center for Robust Speech Systems, The University of Texas at Dallas（德克萨斯大学达拉斯分校鲁棒语音系统中心）
尽管随着深度神经网络的发展，说话人确认已经取得了显着的性能改善，但域失配仍然是该领域的一个具有挑战性的问题。在这项研究中，我们提出了一个新的框架来解开说话人相关和特定领域的功能，并适用于领域适应的说话人相关的特征空间。与直接在没有去除域信息的特征空间上进行域自适应不同，使用解纠缠可以有效地提高自适应性能。具体来说，我们的模型的输入语音从源和目标域首先被编码到不同的潜在特征空间。对抗性域自适应是在共享的说话人相关特征空间上进行的，以鼓励域不变性的属性。此外，我们最大限度地减少了两个域的扬声器相关和特定领域的功能之间的互信息，以执行解纠缠。VOiCES数据集上的实验结果表明，我们提出的框架可以有效地生成更多的说话人区分和域不变的说话人表示，与原始的基于ResNet的系统相比，EER相对减少了20.3%。
2021-02-22 cs.LG cs.SD eess.AS
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
oboVox Far Field Speaker Recognition: A Novel Data Augmentation Approach with Pretrained Models
Department of Electrical \& Electronic Engineering, Rajshahi University of Engineering \& Technology
本研究提出一种向注册文件加噪声的新型数据增强技术，结合多种预训练模型开展远场说话人识别实验，验证了resnet模型的性能优势及该增强技术对识别效果的提升作用，助力RoboVox远场说话人识别任务。
2024-09-16 cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
Training Multi-Task Adversarial Network for Extracting Noise-Robust Speaker Embedding
Xiamen University（厦门大学）；Huawei Media Technology Institute（华为媒体技术研究院）
在噪声环境下，如何实现说话人识别的鲁棒性仍然是一个具有挑战性的课题。受多任务训练在各种图像处理任务中的良好表现的启发，我们探索了多任务对抗训练学习噪声鲁棒说话人嵌入的潜力。在本文中，我们提出了一种新的框架，它由三个部分组成：一个编码器，提取噪声鲁棒的扬声器嵌入;分类器，分类的扬声器;一个鉴别噪声类型的扬声器嵌入。此外，我们还提出了一种以训练精度为指标的训练策略，以稳定多类对抗优化过程。我们在英语和汉语语料库上进行了实验，实验结果表明，我们提出的多任务对抗训练方法可以大大优于其他方法，在嘈杂的环境中没有对抗训练。实验结果表明，该方法在纯净环境下也能提高说话人确认性能。
2019-05-12 cs.SD eess.AS
Timbre-reserved Adversarial Attack in Speaker Identification
Northwestern Polytechnical University（西北工业大学）
针对说话人识别系统，提出一种音色保留对抗攻击方法，通过在语音转换模型训练中引入对抗约束，生成既保留目标音色又能欺骗SID系统的伪造音频。
2023-09-02 cs.SD eess.AS
Symmetric Saliency-based Adversarial Attack To Speaker Identification
Northwestern Polytechnical University（西北工业大学）；Tsinghua University（清华大学）
据我们所知，对抗性攻击的说话人辨识方法要么需要很高的计算成本，要么不是很有效。为了解决这个问题，在本文中，我们提出了一种新的生成网络为基础的方法，称为对称显着性为基础的编码器-解码器（SSED），生成对抗性的语音样本说话人辨识。它包含两个新的组成部分。首先，利用一种新的显著图解码器来学习语音样本对目标说话人辨识系统决策的重要性，从而使攻击者集中精力对重要样本产生人工噪声。提出了一种角度损失函数，使说话人嵌入远离源说话人。我们的实验结果表明，所提出的SSED产生的最先进的性能，即超过97%的目标攻击成功率和超过39 dB的信噪比水平的开集和闭集说话人辨识任务，具有较低的计算成本。
2022-10-30 cs.CR cs.LG cs.SD
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University（新疆大学计算机科学与技术学院）；Tsinghua University（清华大学）
针对ASV在噪声下性能下降问题，提出结合噪声解耦与对抗训练的框架，通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失，构建噪声无关的说话人不变嵌入空间，在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab（腾讯人工智能实验室）
近年来，针对自动说话人确认系统的对抗性攻击引起了广泛的关注，因为它们对自动说话人确认系统构成了严重的威胁。然而，防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外，对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交，这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击，而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器，并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性，我们分析了各种不可见攻击设置的影响，并观察到检测器对不可见替代ASV系统具有鲁棒性（最坏情况下的EER_{det}退化为6.27%），但对不可见扰动方法具有较弱的鲁棒性（最坏情况下的EER_{det}退化为50.37%）。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
Speaker verification using end-to-end adversarial language adaptation
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究了使用对抗域自适应解决说话人识别语料库之间的语言不匹配的问题。在说话人确认的背景下，对抗域自适应方法的目的是最小化从源域和目标域（即语言）提取的话语级特征（即说话人嵌入）所遵循的分布之间的某些差异，同时保留其识别说话人的能力。用于提取话语级表示的神经架构使我们能够以端到端的方式应用对抗性自适应方法，并结合标准交叉熵损失对网络进行训练。我们研究了几种配置，例如在目标域上使用（伪）标签以及在特征提取器中使用域标签，并且我们在具有挑战性的NIST SRE 16和SRE 18基准测试上证明了我们的方法的有效性。
2018-11-06 cs.SD eess.AS
Inaudible Adversarial Perturbations for Targeted Attack in Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
说话人识别是生物特征认证领域的一个热门课题，许多深度学习方法都取得了优异的性能。然而，在图像和语音应用中已经表明，深度神经网络容易受到对抗性示例的影响。在这项研究中，我们的目标是利用这一弱点进行有针对性的对抗攻击对基于x向量的说话人识别系统。本文提出了一种基于心理声学频率掩蔽原理的说话人识别系统的白盒攻击方法。具体地说，我们将扰动限制在原始音频的掩蔽阈值之下，而不是使用公共的l_p范数来度量扰动。在Aishell-1语料库上的实验表明，该方法对任意性别说话人目标的攻击成功率高达98.5%，同时保持了对听者的不可区分属性。此外，我们还实现了一个有效的扬声器攻击时，所提出的方法应用到一个完全不相关的波形，如音乐。
2020-05-22 cs.SD eess.AS
PAS: Partial Additive Speech Data Augmentation Method for Noise Robust Speaker Verification
University of Seoul（首尔大学）
针对噪声环境下说话人验证性能下降的问题，提出部分加性语音（PAS）数据增强方法，在SE-ResNet34和ECAPA-TDNN上EER相对提升4.64%和5.01%，并通过可视化验证有效性。
2023-07-20 cs.SD eess.AS
Enhancing and Adversarial: Improve ASR with Speaker Labels
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
本研究提出利用说话人标签结合领域增强与对抗训练改进基于conformer的ASR，并设计自适应梯度反转层以稳定训练，实验验证了最优应用位置及组合策略，在Switchboard Hub5'00上实现7%相对提升。
2023-02-24 cs.CL cs.LG cs.SD
Scalable Ensemble-based Detection Method against Adversarial Attacks for speaker verification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
针对自动说话人验证易受对抗攻击、现有净化方法存在体验与安全权衡且检测方法易被超越的问题，提出整合先进净化模块的集成检测方法，达到SOTA性能且兼容未来技术。
2023-12-14 cs.LG cs.SD eess.AS
MTGAN: Speaker Verification through Multitasking Triplet Generative Adversarial Networks
Tsinghua University（清华大学）
在本文中，我们提出了一种增强的三元组方法，通过联合利用生成对抗机制和多任务优化来改进嵌入的编码过程。我们使用生成对抗网络（GANs）和softmax损失函数扩展了我们的三元组编码器。GAN用于增加样本的通用性和多样性，而softmax用于增强说话人的特征。为了简化，我们将我们的方法称为多任务三元组生成对抗网络（MTGAN）。实验结果表明，MTGAN在短话语上的验证等出错率（EER）相对于传统的i向量方法和最新的三重丢失方法分别降低了67%和32%。这有效地表明，MTGAN在表达说话人信息的高层特征方面优于三元组方法。
2018-03-24 cs.SD eess.AS
Data augmentation versus noise compensation for x- vector speaker recognition systems in noisy environments
Avignon University（阿维尼翁大学）
可用语音数据的爆炸式增长和基于深度神经网络（DNN）的新说话人建模方法已经赋予了开发更鲁棒的说话人识别系统的能力。在DNN说话人建模技术中，x向量系统在噪声环境中表现出一定程度的鲁棒性。先前的研究表明，通过增加训练数据中说话人的数量和使用数据增强，可以在噪声环境中实现更鲁棒的说话人识别系统。在这项工作中，我们想知道，如果显式噪声补偿技术继续有效，尽管这些系统的一般噪声鲁棒性。在这项研究中，我们将使用两个不同的x向量网络：第一个在Voxceleb1（协议1）上训练，第二个在Voxceleb1 + Voxveleb2（协议2）上训练。我们建议在评分之前添加一个去噪x向量子系统。实验结果表明，在协议2中使用的x-向量系统是更强大的比另一个使用协议1。尽管有这种观察，我们将表明，显式噪声补偿在两个协议中几乎相同的EER相对增益。例如，在Protocol2中，我们使用去噪技术将EER提高了21%到66%。
2020-06-29 cs.CL cs.SD eess.AS
Adversarial Sample Detection for Speaker Verification by Neural Vocoders
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Tencent Research（腾讯研究院）
自动说话人确认（ASV）是生物特征识别的重要技术之一，在安全关键应用中得到广泛应用。然而，ASV是严重脆弱的，最近出现的对抗攻击，但有效的对策是有限的。在本文中，我们采用神经声码器发现对抗样本的ASV。我们使用神经声码器重新合成音频，发现原始音频和重新合成音频的ASV分数之间的差异是区分真实样本和对抗样本的良好指标。据我们所知，这项工作是第一批追求这种技术方向来检测ASV的时域对抗样本的工作之一，因此缺乏用于比较的既定基线。因此，我们实施的Griffin-Lim算法作为检测基线。所提出的方法实现了有效的检测性能，在所有的设置优于基线。我们还表明，在检测框架中采用的神经声码器是独立的。我们的代码将开放源代码，以便将来的作品进行公平的比较。
2022-05-19 cs.LG cs.SD eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University（剑桥大学）
在本文中，我们提出了一种用于训练深度神经网络（DNN）的半监督学习（SSL）技术，以生成说话人区分的声学嵌入（说话人嵌入）。获取大量的说话人识别训练数据对于期望的目标域可能是困难的，特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练（VAT）[1]的一种变体，其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性，如余弦距离所测量的。因此，我们将该技术称为余弦距离虚拟对抗训练（CD-VAT）。与许多现有的SSL技术相比，未标记的数据不必来自与标记数据相同的类（这里是扬声器）。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示，在说话人验证任务中，相对于纯监督基线，它实现了11.1%的等错误率（EER）降低。如果未标记数据的说话人标签可用，这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Adversarial Speaker Verification
Microsoft Corporation（微软公司）
使用深度网络来提取用于说话人识别的嵌入已被成功证明。然而，由于训练、注册和测试条件之间的不匹配，这样的嵌入容易受到性能下降的影响。在这项工作中，我们提出了一个对抗性说话人验证（ASV）计划，通过对抗性多任务训练来学习条件不变的深度嵌入。在ASV中，说话人分类网络和条件识别网络被联合优化，以最小化说话人分类损失，同时最小-最大化条件损失。条件网络的目标标签可以是分类的（环境类型）和连续的（SNR值）。我们进一步提出了多因子ASV，同时抑制构成条件变异性的多个因素。在Microsoft Cortana文本相关说话人验证任务上进行评估，ASV在已知和未知条件下的相等出错率（EER）分别实现了8.8%和14.5%的相对改善。
2019-04-29 cs.CL cs.LG cs.SD
Unsupervised Feature Enhancement for speaker verification
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
使说话人确认系统对不利场景具有鲁棒性的任务仍然是一个具有挑战性和活跃的研究领域。我们开发了一种在对数滤波器组域的无监督特征增强方法，最终目标是提高说话人确认性能。我们实验使用真实的语音记录在恶劣的环境和退化的语音通过模拟得到的训练增强系统。通过对几个真实的、模拟的噪声和混响测试集的测试，证明了该方法的有效性。当说话人确认流水线中不使用数据增强或仅在x向量训练期间使用增强时，该方法在真实和模拟集上都得到了显着的改进。当数据增强用于x向量和PLDA训练时，我们的增强方法略有改进。
2020-02-14 cs.SD eess.AS
Adversarial Training for Multi-domain Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Tencent Media Lab（腾讯媒体实验室）
在实际应用中，说话人识别系统的性能往往会因为训练数据和评估数据的不匹配而下降。许多领域自适应方法已成功地用于消除说话人识别中的领域失配。然而，通常训练和评估数据本身都可以由几个子集组成。每个数据集的这些内部方差也可以被认为是不同的域。源域或目标域数据集的不同分布子集也会导致多域失配，影响说话人识别性能。在这项研究中，我们提出使用对抗训练多域说话人识别，以解决域失配和数据集方差问题。通过采用所提出的方法，我们能够获得多域不变和说话人区分的语音表示的说话人识别。在DAC13数据集上的实验结果表明，该方法不仅能有效解决多领域失配问题，而且性能优于无监督领域自适应方法.
2020-11-17 cs.SD eess.AS
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
Automatic speaker verification spoofing and deepfake detection using wav2vec 2.0 and data augmentation
EURECOM（欧洲电信学院）；National Institute of Informatics（国立信息学研究所）；Naver Corporation（Naver公司）
电子欺骗对抗系统的性能从根本上取决于充分代表性的训练数据的使用。由于这通常是有限的，当前的解决方案通常缺乏对在野外遇到的攻击的概括。因此，需要在面对不受控制、不可预测的攻击时提高可靠性的策略。我们在本文中报告了我们以wav2vec 2.0前端的形式使用自监督学习的努力。尽管仅使用真实数据而不使用伪造数据来学习初始基础表示，但我们获得了ASVspoof 2021 Logical Access和Deepfake数据库文献中报告的最低等错误率。当与数据增强相结合时，这些结果对应于相对于我们的基线系统的近90%的改进。
2022-02-28 cs.SD eess.AS
Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本研究提出在未知具体攻击算法的情况下，利用自监督学习模型通过对抗扰动净化与检测两种方式为自动说话人验证进行对抗防御，并形式化了评估指标。
2024-06-05 cs.LG cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM（欧洲通信学院）；National Institute of Informatics（国立信息学研究所）；Microsoft（微软公司）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出基于神经网络的广义Hammerstein模型Malacopula，通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果，实验验证了其攻击效力及现有防御的局限，凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
MDD: a Mask Diffusion Detector to Protect Speaker Verification Systems from Adversarial Perturbations
EURECOM；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所）；China Telecom Corp Ltd（中国电信有限公司）
本文提出掩码扩散检测器（MDD），一种基于文本条件掩码扩散模型的对抗性检测与净化框架，无需对抗样本或大规模预训练，有效提升说话人验证系统的安全性与鲁棒性。
2025-08-26 cs.SD eess.AS
Visualizing data augmentation in deep speaker recognition
Xinjiang University（新疆大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
本文利用 LayerCAM 可视化分析深度说话人识别中的数据增强机制，发现数据增强促使模型学会删除受干扰的时频单元，从而提升鲁棒性，并解释了 Act DA 相对普通 DA 的优势。
2023-05-25 cs.SD eess.AS
On the Detection of Adaptive Adversarial Attacks in Speaker Verification Systems
Purdue University Fort Wayne（普渡大学韦恩堡分校）
本文提出MEH-FEST检测器，利用短时傅里叶变换高频段最小能量检测FAKEBOB对抗攻击，在GMM和i-vector说话人验证系统中实现近零误报与漏报，并进一步研究了自适应攻击与防御的博弈。
2022-08-01 cs.CR cs.LG cs.SD
DiffAttack: Diffusion-based Timbre-reserved Adversarial Attack in Speaker Identification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northwestern Polytechnical University（西北工业大学）
提出 DiffAttack，将对抗约束注入 DiffVC 的反向扩散过程，在保留音色与语音质量的同时生成可误导 SID 系统的目标说话人音频。
2025-01-09 cs.SD eess.AS
On the Generation and Removal of Speaker Adversarial Perturbation for Voice-Privacy Protection
University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对语音隐私保护场景，提出联合训练说话人对抗扰动生成与去除模块的方法，在LibriSpeech数据集上验证了可在实现隐私保护的同时，由授权方从匿名语音中恢复原始语音，也可用于安全法医的语音去匿名。
2024-12-12 cs.LG cs.SD eess.AS
Adapting End-to-End Neural Speaker Verification to New Languages and Recording Conditions with Adversarial Training
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
在这篇文章中，我们提出了一种新的方法来适应扬声器嵌入到新的领域的基础上对抗训练的神经网络。我们将我们的嵌入应用于文本无关的说话人验证任务，这是生物识别安全中一个具有挑战性的现实问题。我们通过结合一种新的一维自关注残差网络，角裕度损失函数和对抗训练策略，进一步开发了端到端的说话人嵌入模型。我们的模型能够学习非常紧凑的64维扬声器嵌入，使用简单的余弦距离评分在许多流行的数据集上提供有竞争力的性能。在NIST-SRE 2016任务中，我们能够击败强大的i向量基线，而在Speakers in the Wild任务中，我们的模型能够超越i向量和x向量基线，显示出比后者绝对提高了2.19%。此外，我们还表明，对抗性训练的整合始终导致了对未适应模型的显着改进。
2018-11-07 cs.CV cs.SD eess.AS
Spectron: Target Speaker Extraction using Conditional Transformer with Adversarial Refinement
Technical University of Munich（慕尼黑工业大学）
本文提出Spectron，一种基于条件Transformer和对抗细化的端到端目标说话人提取模型，通过联合训练说话人编码与语音分离，并引入多尺度判别器，在单声道混合语音提取任务中平均超越现有方法4.1 dB。
2024-09-02 cs.LG cs.MM cs.SD
Channel adversarial training for cross-channel text-independent speaker recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）；Anhui University（安徽大学）
传统的说话人识别框架（例如，i-向量和基于CNN的方法）已经成功地应用于当注册数据集的信道与测试数据集的信道相似时的各种任务。然而，在实际应用中，这两个数据集之间总是存在不匹配，这可能会严重恶化识别性能。以前，已经提出了一些信道补偿算法，例如线性判别分析（LDA）和概率LDA。然而，这些方法总是需要收集来自特定说话人的不同声道，这在实际场景中是不现实的。受领域自适应的启发，我们提出了一种新的基于深度学习的说话人识别框架，通过通道对抗训练来学习通道不变和说话人区分的语音表示。具体来说，我们首先采用梯度反转层来消除不同通道之间的变化。然后通过对抗训练将压缩后的信息投影到同一个子空间中。在54，133个说话人的测试数据集上的实验表明，该方法不仅能有效地缓解通道失配问题，而且优于现有的说话人识别方法。与基于i向量的方法和基于CNN的方法相比，我们提出的方法在Top1召回率方面分别实现了44.7%和22.6%的相对提高。
2019-02-25 cs.SD eess.AS
Generative Adversarial Speaker Embedding Networks for Domain Robust End-to-End Speaker Verification
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
本文提出了一种使用生成对抗网络学习域不变说话人嵌入的新方法。其主要思想是混淆域映射，使其无法分辨嵌入是来自源域还是目标域。我们训练几个GAN变种使用我们提出的框架，并将它们应用到说话人验证任务。在具有挑战性的NIST-SRE 2016数据集上，我们能够匹配强基线x向量系统的性能。与依赖于降维（LDA）和外部分类器（PLDA）的基线系统相比，我们提出的说话人嵌入可以使用简单的余弦距离进行评分。这是通过使用角裕度损失函数端到端优化我们的模型来实现的。此外，我们能够通过在分数水平上平均我们不同的GAN模型来显着提高验证性能，相对于基线提高了7.2%。
2018-11-07 cs.CV cs.SD eess.AS
Robust speaker recognition using unsupervised adversarial invariance
University of Southern California（南加州大学）
在本文中，我们解决的问题，说话人识别在具有挑战性的声学条件下，使用一种新的方法来提取强大的说话人区分的语音表示。我们采用最近提出的无监督对抗不变性架构来训练网络，该网络将使用预训练模型提取的说话人嵌入映射到两个较低维的嵌入空间。学习嵌入空间以将说话者辨别信息从音频记录中存在的所有其他信息中分离出来，而无需监督声学条件。我们分析了鲁棒性的建议嵌入到各种来源的变异存在于信号中的说话人验证和无监督聚类任务的大规模说话人识别语料库。我们的分析表明，所提出的系统大大优于基线在各种具有挑战性的声学场景。此外，对于真实世界会议语料库上的发言人日记化任务，与最先进的基线相比，我们的系统在日记化错误率方面显示出36%的相对改善。
2019-11-03 cs.SD eess.AS eess.SP
Asynchronous Voice Anonymization Using Adversarial Perturbation On Speaker Embedding
本文提出异步语音匿名化方法，通过结合说话人解耦机制的语音生成框架，在说话人嵌入上应用对抗扰动改变属性以对抗机器识别，并控制扰动强度保留人类感知，在LibriSpeech数据集上对60.71%的话语成功实现属性掩盖与感知保留。
2024-11-12 cs.AI cs.SD eess.AS
Unraveling Adversarial Examples against Speaker Identification -- Techniques for Attack Detection and Victim Model Classification
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对说话人识别系统的对抗样本威胁，本文构建多攻击多受害模型数据集，并基于LightResNet34等架构实现对抗样本检测、攻击类型分类及受害模型识别。
2024-02-29 cs.CR cs.LG cs.SD
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University（罗格斯大学）；The University of Tennessee（田纳西大学）
近年来，随着语音用户界面（VUI）的迅速普及，说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中，我们提出了针对最先进的基于深度神经网络（DNN）的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动，基于DNN的说话人识别系统将把说话者识别为任何目标（即，对手期望的）扬声器标签。此外，我们通过估计房间脉冲响应（RIR）对物理空中传播引起的声音失真进行建模，提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明，我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
Universal Adversarial Perturbations Generative Network for Speaker Recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算机技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
随着指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物识别系统引起了越来越多的关注，因为神经网络容易受到对抗性样本的影响，这些样本被故意扰动以保持人类几乎无法感知。本文证明了说话人识别系统中普遍对抗扰动的存在性。我们提出了一个生成网络来学习从低维正态分布到UAPs子空间的映射，然后合成UAPs来扰动任何输入信号，以高概率欺骗训练好的说话人识别模型。在TIMIT和LibriSpeech数据集上的实验结果证明了该模型的有效性。
2020-04-07 cs.CR cs.SD eess.AS
AS2T: Arbitrary Source-To-Target Adversarial Attack on Speaker Recognition Systems
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tianjin University（天津大学）；Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）
最近的工作已经阐明了说话人识别系统（SRS）对对抗攻击的脆弱性，提出了部署SRS的重大安全问题。然而，他们只考虑了几个设置（例如，源扬声器和目标扬声器的一些组合），在现实世界的攻击场景中留下许多有趣和重要的设置。在这项工作中，我们提出了AS2T，这是该领域的第一次攻击，它涵盖了所有设置，从而允许对手使用任意源和目标扬声器来制作对抗性声音，用于三个主要识别任务中的任何一个。由于没有一个现有的损失函数可以应用于所有的设置，我们探索许多候选损失函数的每个设置，包括现有的和新设计的。我们彻底评估他们的功效，发现一些现有的损失函数是次优的。然后，为了提高AS2T对实际空中攻击的鲁棒性，我们研究了空中传输中可能发生的失真，利用具有不同参数的不同变换函数对这些失真进行建模，并将其纳入对抗性语音的生成中。我们的模拟空中评估验证了我们的解决方案在产生强大的对抗性声音方面的有效性，这些声音在各种硬件设备和具有不同混响，环境噪声和噪声水平的各种声学环境下仍然有效。最后，我们利用AS2T进行迄今为止最大规模的评估，以了解14个不同的SRS之间的可转移性。的可转移性分析提供了许多有趣的和有用的见解，挑战一些发现和结论，在以前的作品中的图像域。我们的研究也为说话人识别领域的对抗攻击的未来发展方向提供了参考。
2022-06-07 cs.CR cs.LG cs.SD
An Initial Investigation of Neural Replay Simulator for Over-the-Air Adversarial Perturbations to Automatic Speaker Verification
1 School of Data Science, Shenzhen Research Institute of Big Data, \ Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen), China 2 Independent researcher, Singapore
本研究提出利用神经重放模拟器模拟空中传播过程，以提升自动说话人验证系统中对抗攻击的鲁棒性，并在ASVspoof2019数据集上证实其能显著提高攻击成功率。
2024-01-03 cs.SD eess.AS
Towards Understanding and Mitigating Audio Adversarial Examples for Speaker Recognition
说话人识别系统（SRS）最近被证明是脆弱的对抗攻击，提出了重大的安全问题。在这项工作中，我们系统地研究了基于转换和对抗训练的防御措施，以保护SRS。根据SRS的特点，我们提出了22种不同的转换，并使用最近的7个有前途的对抗攻击（4个白盒和3个黑盒）对说话人识别进行全面评估。在防御评估中，我们仔细考虑了最佳实践，分析了转换的强度，以抵御自适应攻击。我们还评估和理解了它们在与对抗性训练相结合时对抗自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多是新的或与图像和语音识别领域的结论不一致，例如，可变比特率和恒定比特率语音压缩具有不同的性能，并且某些不可微的变换对于当前有希望的规避技术仍然有效，该规避技术通常在图像域中工作得很好。我们证明，与完全白盒设置中的单独对抗训练相比，所提出的新颖特征级变换与对抗训练相结合是相当有效的，例如，准确率提高了13.62%，攻击代价提高了两个数量级，而其他改造并不一定能提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SPEAKERGUARD，以促进进一步的研究。
2022-06-07 cs.AI cs.CR cs.LG
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.（西格玛技术有限公司）；Universidad Politécnica de Madrid（马德里理工大学）
收集用户个人数据的网络服务和移动应用程序的快速增长，增加了他们的隐私可能受到严重损害的风险。特别是，深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多，这促使欧盟对保护语音数据隐私产生了重要的担忧。例如，攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言（例如，方言）和非语言学特征（例如，年龄）从语音信号。为了减轻这些弱点，在本文中，我们提出了一种基于对抗训练和自动编码器的说话人去识别系统，以抑制语音中的说话人，性别和口音信息。实验结果表明，结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率，同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
Diffusion-Based Adversarial Purification for Speaker Verification
The University of Hong Kong（香港大学）；Northwestern Polytechnical University（西北工业大学）；China Telecom Corp Ltd（中国电信集团有限公司）；Research and Development Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对深度学习自动说话人验证易受对抗攻击威胁的问题，提出基于扩散的对抗纯化方法，通过条件去噪扩散模型重建干净音频，在提升系统安全性的同时降低音频失真。
2024-07-09 cs.SD eess.AS
