An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Verification of Recurrent Neural Networks Through Rule Extraction
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
神经网络的验证问题是验证一个神经网络是否会受到对抗性样本的影响，或者近似可以忍受的最大允许对抗性扰动规模。虽然大多数以前的工作有助于验证前馈网络，很少有探索验证经常性网络。这是由于存在一个更严格的约束的扰动空间的顺序数据，并缺乏一个适当的度量测量的扰动。在这项工作中，我们通过提出一个度量标准来解决这些挑战，该度量标准测量字符串之间的距离，并使用确定性有限自动机（DFA）来表示一个严格的oracle，该oracle检查生成的对抗样本是否违反了对扰动的某些约束。更具体地说，我们的经验表明，某些经常性的网络允许相对稳定的DFA提取。因此，从这些递归网络中提取的DFA可以作为地面真实DFA未知时的代理预言。我们将我们的验证机制应用到几个广泛使用的递归网络上的一组富田文法。结果表明，只有少数模型对对抗性样本保持稳健。此外，我们表明，对于不同复杂程度的语法，这些语法的鲁棒学习的难度也有差异。
2018-11-14 cs.LG stat.ML
Ownership Verification of DNN Models Using White-Box Adversarial Attacks with Specified Probability Manipulation
Graduate School of Information Sciences（信息科学研究生学校）；Center for Data-driven Science and Artificial Intelligence（数据驱动科学与人工智能中心）；Tohoku University（东北大学）
本研究提出一种基于带指定概率操控的白盒对抗攻击的DNN模型所有权验证框架，可在灰盒场景下无需出示原始模型即可验证模型身份，经实验证实有效。
2025-07-30 cs.LG
Adversarial Speaker Verification
Microsoft Corporation（微软公司）
使用深度网络来提取用于说话人识别的嵌入已被成功证明。然而，由于训练、注册和测试条件之间的不匹配，这样的嵌入容易受到性能下降的影响。在这项工作中，我们提出了一个对抗性说话人验证（ASV）计划，通过对抗性多任务训练来学习条件不变的深度嵌入。在ASV中，说话人分类网络和条件识别网络被联合优化，以最小化说话人分类损失，同时最小-最大化条件损失。条件网络的目标标签可以是分类的（环境类型）和连续的（SNR值）。我们进一步提出了多因子ASV，同时抑制构成条件变异性的多个因素。在Microsoft Cortana文本相关说话人验证任务上进行评估，ASV在已知和未知条件下的相等出错率（EER）分别实现了8.8%和14.5%的相对改善。
2019-04-29 cs.CL cs.LG cs.SD
Zero-Sacrifice Persistent-Robustness Adversarial Defense for Pre-Trained Encoders
School of Cyber Science and Engineering, Sichuan University（四川大学网络科学与工程学院）；Key Laboratories of the Ministry of Education, Sichuan University（教育部重点实验室）；Tianfu Jiangxi Laboratory（天扶江西实验室）
本文提出零牺牲持久鲁棒性对抗防御方法，通过双分支结构实现对下游无关对抗性示例的高效防御，同时保持良性性能。
2026-02-10 cs.AI cs.LG
Accelerating Robustness Verification of Deep Neural Networks Guided by Target Labels
East China Normal University（华东师范大学）；ShanghaiTech University（上海科技大学）
深度神经网络（DNN）已成为自动驾驶和医疗诊断等许多安全关键应用的关键组件。然而，DNN的鲁棒性较差，因为它们对对抗性示例的敏感性，使得对输入的小扰动导致误预测。为了解决这个问题，已经提出了各种方法来正式验证DNN的鲁棒性。这些方法中的大多数将验证问题简化为针对给定输入搜索对抗性示例的优化问题，使得它不会被正确地分类到原始标签。然而，它们在准确性和可扩展性方面受到限制。在本文中，我们提出了一种新的方法，可以加速鲁棒性验证技术，通过指导与目标标签的验证。我们的方法的关键见解是，DNN的鲁棒性验证问题可以通过验证DNN的子问题来解决，每个目标标签一个。在验证过程中固定目标标签可以大大减少搜索空间，从而提高效率。我们还提出了一种方法，利用符号区间传播和线性松弛技术来对目标标签进行排序的机会，敌对的例子存在。这通常允许我们快速伪造DNN的鲁棒性，并且可以避免对剩余目标标签的验证。我们的方法是正交的，并可以集成，许多现有的验证技术。出于评估目的，我们将其与三个最近有前途的DNN验证工具相结合，即，MipVerify、DeepZ和Neuriify。实验结果表明，我们的方法可以显着提高这些工具的36倍加速时，扰动距离设置在一个合理的范围内。
2020-07-27 cs.LG stat.ML
Robotic and Generative Adversarial Attacks in Offline Writer-independent Signature Verification
Nottingham Trent University（诺丁汉特伦特大学）
本研究探讨如何机器人和生成方法可以用来安装成功的虚假接受对抗攻击签名验证系统。最初，探索和调整了卷积神经网络拓扑结构和数据增强策略，为2,640个人类签名的验证产生了87.12%的准确率模型。然后，两个机器人的任务是伪造50个签名，其中25个用于验证攻击，其余25个用于调整模型以抵御它们。对系统的对抗攻击表明存在信息安全风险; Line-us机器人手臂可以在24%的时间内欺骗系统，iDraw 2.0机器人可以在32%的时间内欺骗系统。一个有条件的GAN发现了类似的成功，大约30%的伪造签名被误分类为真实签名。在对机器人和生成数据进行微调迁移学习之后，机器人和GAN都将对抗攻击降低到模型阈值以下。据观察，调整模型可以将机器人攻击的风险降低到8%和12%，当呈现25张图像时，条件生成对抗攻击可以降低到4%，当呈现1000张图像时，可以降低到5%。
2022-04-14 cs.CV cs.LG cs.RO
Adversarial Attacks on GMM i-vector based Speaker Verification Systems
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）
本文研究了基于高斯混合模型（GMM）i向量的说话人验证系统对对抗性攻击的脆弱性，以及从基于GMM i向量的系统到基于x向量的系统的对抗性样本的可转移性。详细地说，我们将GMM i-向量系统制定为注册和测试话语对的评分函数。然后，我们利用快速梯度符号方法（FGSM）优化测试话语的对抗性样本生成。这些对抗样本用于攻击GMM i-向量和x-向量系统。我们衡量系统的脆弱性的退化等错误率和错误接受率。实验结果表明，GMM i-vector系统非常容易受到对抗性攻击，并且所构造的对抗性样本具有可转移性，对基于神经网络说话人嵌入的系统（如x-vector系统）构成威胁.
2020-02-12 cs.CL cs.CR cs.LG
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Fooling End-to-end Speaker Verification by Adversarial Examples
Bar-Ilan University（巴伊兰大学）；Facebook AI Research（脸书人工智能研究院）
自动说话人确认系统越来越多地被用作对顾客进行身份验证的主要手段。最近，已经提出使用端到端深度神经模型来训练说话者验证系统。在本文中，我们证明了这样的系统容易受到对抗性示例攻击。对抗性示例是通过向原始说话者示例添加特殊噪声来生成的，以这种方式，人类听众几乎无法将它们与原始示例区分开来。然而，所生成的波形（其听起来像扬声器A）可以用于通过声称波形好像是由扬声器B发出来欺骗这样的系统。我们在端到端深度网络上提出了白盒攻击，该网络在YOHO或NTIMIT上进行了训练。我们还提出了两种黑盒攻击：其中对抗性示例是用在YOHO上训练的系统生成的，但攻击是在NTIMIT上训练的系统上;当对抗性示例是用在Mel谱特征集上训练的系统生成的，但攻击是在MFCC上训练的系统上。结果表明，被攻击的系统的准确性下降，误报率显着增加。
2018-02-16 cs.CL cs.LG
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab（腾讯人工智能实验室）
近年来，针对自动说话人确认系统的对抗性攻击引起了广泛的关注，因为它们对自动说话人确认系统构成了严重的威胁。然而，防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外，对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交，这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击，而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器，并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性，我们分析了各种不可见攻击设置的影响，并观察到检测器对不可见替代ASV系统具有鲁棒性（最坏情况下的EER_{det}退化为6.27%），但对不可见扰动方法具有较弱的鲁棒性（最坏情况下的EER_{det}退化为50.37%）。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective
Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东人工智能研究院）
研究了最近邻分类器的最小对抗扰动的计算问题。以往的尝试要么对连续逼近的NN模型进行攻击，要么通过一些探试法搜索扰动。在本文中，我们提出了第一个算法，能够计算最小对抗扰动。其主要思想是制定的问题作为一个列表的凸二次规划（QP）的问题，可以有效地解决所提出的算法1-NN模型。此外，我们证明了这些QP问题的对偶解可以为我们提供一个有效的对抗扰动下界，该下界可用于正式的鲁棒性验证，为我们提供了NN模型攻击/验证的一个很好的视角。对于具有较大$K$的$K$ -NN模型，我们证明了相同的公式可以帮助我们有效地计算最小对抗扰动的上界和下界，这可以用于攻击和验证。
2019-06-10 cs.LG stat.ML
Persistent Classification: A New Approach to Stability of Data and Adversarial Examples
University of Arizona（亚利桑那大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Texas San Antonio（德克萨斯大学圣安东尼奥分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究提出持久分类新框架，通过$(γ,σ)$稳定性定义和插值路径持久化度量分析对抗样本，发现对抗样本持久化更低，还提出流形对齐梯度度量以提升模型鲁棒性。
2024-04-11 cs.LG
Adversarial Robustness of Deep Neural Networks: A Survey from a Formal Verification Perspective
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
神经网络已广泛应用于诸如垃圾邮件和网络钓鱼检测、入侵防御和恶意软件检测等安全应用中。然而，这种黑箱方法在实际应用中往往存在不确定性和可解释性差的问题。此外，神经网络本身往往容易受到对抗攻击。由于这些原因，有一个值得信赖的和严格的方法来验证神经网络模型的鲁棒性的需求很高。对抗鲁棒性是神经网络在处理恶意操纵输入时的可靠性，是安全和机器学习中最热门的话题之一。在这项工作中，我们调查了现有的文献对抗性的鲁棒性验证神经网络，并收集了39个不同的研究工作，在机器学习，安全和软件工程领域。我们系统地分析了他们的方法，包括如何制定鲁棒性，使用什么验证技术，以及每种技术的优势和局限性。我们从形式化验证的角度提供了一个分类法，以全面理解这个主题。我们对现有的技术进行分类的基础上属性规范，减少问题，推理策略。我们还展示了具有代表性的技术，已应用于现有的研究与样本模型。最后，我们讨论了未来研究的开放性问题。
2022-10-11 cs.CR cs.LG cs.SE
Scalable Ensemble-based Detection Method against Adversarial Attacks for speaker verification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
针对自动说话人验证易受对抗攻击、现有净化方法存在体验与安全权衡且检测方法易被超越的问题，提出整合先进净化模块的集成检测方法，达到SOTA性能且兼容未来技术。
2023-12-14 cs.LG cs.SD eess.AS
On the Detection of Adaptive Adversarial Attacks in Speaker Verification Systems
Purdue University Fort Wayne（普渡大学韦恩堡分校）
本文提出MEH-FEST检测器，利用短时傅里叶变换高频段最小能量检测FAKEBOB对抗攻击，在GMM和i-vector说话人验证系统中实现近零误报与漏报，并进一步研究了自适应攻击与防御的博弈。
2022-08-01 cs.CR cs.LG cs.SD
A Framework for Verification of Wasserstein Adversarial Robustness
University of Göttingen（哥廷根大学）；neurocat GmbH（neurocat有限公司）
机器学习图像分类器容易受到对抗性和破坏性扰动的影响。向图像中添加难以察觉的噪声会导致机器学习模型的严重错误分类。使用$L_p$ -范数来测量噪声的大小无法捕获人类的相似性感知，这就是为什么基于最佳传输的距离度量（如Wasserstein度量）越来越多地用于对抗鲁棒性领域。使用Wasserstein度量的分类器的鲁棒性可以通过证明不存在对抗性示例（认证）或证明它们的存在（攻击）来实现。在这项工作中，我们提出了一个框架的基础上，Levine和Feizi的工作，它允许我们转移现有的认证方法凸多面体或$L_1$ -球的Wasserstein威胁模型。结果证明可以是完整的或不完整的，这取决于选择的是凸多面体还是$L_1$ -球。此外，我们提出了一个新的Wasserstein对抗攻击，预计梯度下降的基础上，并已显着减少计算负担相比，现有的攻击方法。
2021-10-13 cs.CV cs.LG
Hierarchical Verification for Adversarial Robustness
Uber Advanced Technologies Group（优步先进技术集团）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
我们为精确逐点$\ell_p$鲁棒性验证问题引入了一个新的框架，该框架利用了具有整流线性激活的深度前馈网络（ReLU网络）的逐层几何结构。网络的激活区域划分输入空间，并且可以通过检查期望半径内的所有激活区域来验证点周围的$\ell_p$鲁棒性。GeoCert算法（Jordan等人，NeurIPS 2019）将此分区视为通用多面体复合体，以便检测接下来要检查的区域。相比之下，我们的LayerCert框架考虑了由ReLU网络的层引起的\emph{nested hyperplane arrangement}结构，并以分层的方式探索区域。我们表明，在一定条件下的算法参数，LayerCert可证明减少了凸程序的数量和大小，需要解决的GeoCert相比。此外，我们的LayerCert框架允许结合基于凸松弛的下界例程，以进一步提高性能。实验结果表明，LayerCert可以显着减少凸程序的数量解决和运行时间的最先进的。
2020-07-23 cs.LG math.OC stat.ML
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
Veriphi: Attack-Guided Neural Network Verification with Dataset-Dependent Training Methods
TU Wien（维也纳工业大学）
提出Veriphi系统，结合快速对抗攻击与α,β-CROWN形式化边界验证，实验表明训练方法有效性依赖数据集特性，IBP在MNIST上有效但在CIFAR-10上失效，PGD对抗训练在小扰动下达到94%认证准确率，并实现5倍验证加速。
2026-06-18 cs.AI cs.LG
A Survey of Safety and Trustworthiness of Deep Neural Networks: Verification, Testing, Adversarial Attack and Defence, and Interpretability
University of Liverpool（利物浦大学）；University of Oxford（牛津大学）；Lancaster University（兰卡斯特大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室）；Queen’s University Belfast（贝尔法斯特女王大学）
在过去的几年里，深度神经网络（DNN）在几个长期任务上实现了人类水平的性能方面取得了重大进展。随着DNN在各种应用程序中的广泛部署，公众对其安全性和可信度的担忧已经提出，特别是在广泛报道涉及自动驾驶汽车的致命事故之后。解决这些问题的研究特别活跃，过去几年发表了大量论文。这篇调查论文对当前使DNN安全可信的研究工作进行了回顾，重点关注四个方面：验证，测试，对抗攻击和防御以及可解释性。我们总共调查了202篇论文，其中大部分是在2017年之后发表的。
2020-05-31 cs.AI cs.LG
Adversarial Sample Detection for Speaker Verification by Neural Vocoders
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Tencent Research（腾讯研究院）
自动说话人确认（ASV）是生物特征识别的重要技术之一，在安全关键应用中得到广泛应用。然而，ASV是严重脆弱的，最近出现的对抗攻击，但有效的对策是有限的。在本文中，我们采用神经声码器发现对抗样本的ASV。我们使用神经声码器重新合成音频，发现原始音频和重新合成音频的ASV分数之间的差异是区分真实样本和对抗样本的良好指标。据我们所知，这项工作是第一批追求这种技术方向来检测ASV的时域对抗样本的工作之一，因此缺乏用于比较的既定基线。因此，我们实施的Griffin-Lim算法作为检测基线。所提出的方法实现了有效的检测性能，在所有的设置优于基线。我们还表明，在检测框架中采用的神经声码器是独立的。我们的代码将开放源代码，以便将来的作品进行公平的比较。
2022-05-19 cs.LG cs.SD eess.AS
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM（欧洲通信学院）；National Institute of Informatics（国立信息学研究所）；Microsoft（微软公司）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出基于神经网络的广义Hammerstein模型Malacopula，通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果，实验验证了其攻击效力及现有防御的局限，凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Verification of Non-Linear Specifications for Neural Networks
DeepMind
关于神经网络验证的先前工作集中于作为网络输出的线性函数的规范，例如，在输入的对抗扰动下分类器输出的不变性。在本文中，我们扩展验证算法，能够证明更丰富的神经网络的属性。要做到这一点，我们介绍了类的凸松弛规格，构成非线性规格，可以使用凸松弛验证。我们表明，一些重要的属性感兴趣的可以在这一类建模，包括能量守恒的物理系统的学习动力学模型;语义一致性的分类器的输出标签下的对抗扰动和边界错误的系统，预测手写数字的总和。我们的实验评估表明，我们的方法是能够有效地验证这些规格。此外，我们的评估暴露了模型中无法验证以满足这些规范的失效模式。因此，强调训练模型的重要性不仅要适合训练数据，而且要与规范一致。
2019-02-25 cs.LG stat.ML
Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本研究提出在未知具体攻击算法的情况下，利用自监督学习模型通过对抗扰动净化与检测两种方式为自动说话人验证进行对抗防御，并形式化了评估指标。
2024-06-05 cs.LG cs.SD eess.AS
The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology
Microsoft Security Response Center（微软安全响应中心）；AIDOS Lab, University of Fribourg（弗里堡大学AIDOS实验室）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）；Queen Mary University of London（伦敦大学量子玛丽学院）；Imperial College London（伦敦帝国理工学院）；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；The Alan Turing Institute（艾伦·图灵研究所）
本文利用持久同调方法分析对抗输入如何改变大语言模型潜在空间的几何拓扑结构，揭示了潜在空间压缩和拓扑特征的普遍性。
2026-04-24 cs.AI cs.CG cs.LG
Identity-Aware Deep Face Hallucination via Adversarial Face Verification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的多尺度生成对抗网络（GAN）架构优化的人脸验证，以解决人脸幻觉的问题。首先，我们提出了一个多尺度生成器架构的人脸超分辨率与一个高的放大率因子，它有多个中间输出在不同的分辨率。中间输出的目标是合成从小到大的图像。其次，我们将人脸验证器与原始的GAN人脸识别器相结合，并提出了一种新的人脸识别器，它可以学习区分不同的身份，同时区分虚假的HR人脸图像与真实图像。特别是，学习的生成器不仅关心幻觉面部图像的视觉质量，而且还在幻觉过程中保留有区别的特征。此外，为了捕获感知相关的差异，我们采用感知相似性损失，而不是像素空间中的相似性。我们在LFW和CelebA数据集上对我们的框架进行了定量和定性评估。实验结果表明，我们提出的方法对国家的最先进的方法的优势，在8倍下采样的测试数据集。
2019-09-17 cs.CV cs.LG
Global Robustness Verification Networks
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络的广泛部署虽然在许多领域取得了巨大成功，但存在严重的安全性和可靠性问题。现有的对抗攻击生成和自动验证技术不能正式验证网络是否全局鲁棒，即，输入空间中是否存在对抗性示例。为了解决这个问题，我们开发了一个全局鲁棒性验证框架，该框架由三个部分组成：1）一个新的基于规则的“反向传播”，通过逻辑推理找到哪个输入区域负责类分配; 2）一个新的网络架构滑动门网络（SDN），使可行的基于规则的“反向传播”成为可能; 3）一个基于区域的全局鲁棒性验证（RGRV）方法。此外，我们证明了我们的方法在合成和真实数据集上的有效性。
2020-06-08 cs.LG
Voting for the right answer: Adversarial defense for speaker verification
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Center for Speech and Language Technologies, Tsinghua University（清华大学语音与语言技术中心）
自动说话人验证（ASV）是一种成熟的生物特征识别技术，并已普遍实现在安全关键的应用，如银行和访问控制。然而，以前的工作表明，ASV是在对抗攻击的雷达下，这些攻击与人类感知的原始攻击非常相似，但会操纵ASV呈现错误的预测。由于ASV的对抗攻击出现较晚，有效的对抗措施有限。鉴于ASV的安全性至关重要，在这项工作中，我们提出了“投票选出正确答案”的想法，通过随机抽样和投票来防止ASV在盲点区域做出危险的决策。实验结果表明，我们提出的方法提高了对有限知识攻击者的鲁棒性通过拉敌对样本的盲点，并通过引入随机性和增加攻击者的预算完美的知识攻击者。
2021-07-19 cs.CR cs.LG cs.SD
Safety Verification of Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络在图像分类方面取得了令人印象深刻的实验结果，但令人惊讶的是，在对抗性扰动方面可能不稳定，即对输入图像的微小变化会导致网络错误分类。随着潜在的应用，包括感知模块和自动驾驶汽车的端到端控制器，这引发了对其安全性的担忧。提出了一种基于可满足性模理论（SMT）的前馈多层神经网络自动验证框架。我们专注于安全的图像分类的决定，相对于图像的操作，如划痕或改变相机的角度或照明条件，将导致在同一类被分配给一个人，并定义安全的个人决定在一个小邻域内的原始图像的分类的不变性。我们使穷举搜索的区域，采用离散化，并逐层传播的分析。我们的方法直接使用网络代码，与现有方法相比，可以保证在给定的区域和操作族中找到对抗性示例（如果存在）。如果找到了，对抗性的例子可以展示给人类测试人员和/或用于微调网络。我们使用Z3实现这些技术，并在最先进的网络上进行评估，包括正则化和深度学习网络。我们还比较了现有的技术，以搜索对抗性的例子和估计网络的鲁棒性。
2017-05-05 cs.AI cs.LG stat.ML
Adversarial Speaker Distillation for Countermeasure Model on Automatic Speaker Verification
National Taiwan University（台湾大学）；Department of Computer Science（计算机科学系）
针对边缘设备部署 CM 模型时大小与性能的权衡问题，提出结合 GE2E 预训练和对抗性微调的对抗性说话人蒸馏方法，所提 ASD-ResNetSE 模型在 ASVspoof 2021 任务中取得优异性能且参数和计算量大幅减少。
2022-10-02 cs.LG cs.SD eess.AS
Robust Face Verification via Disentangled Representations
UT Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种鲁棒的人脸验证算法，即，判断两个图像是否是同一个人。我们的方法是对使用深度生成网络进行对抗鲁棒性的想法的一种新的看法。我们在训练过程中使用generativemodel作为在线增强方法，而不是消除对抗性噪声的测试时间净化器。我们的体系结构使用了对比损失术语和分离生成模型来对负对进行采样。我们不是随机配对两张真实的图像，而是将一张图像与其经过类修改的对应图像配对，同时保持其内容（姿势，头部倾斜，头发等）。完整这使我们能够有效地采样硬负对的对比损失。我们的实验表明，当与对抗训练相结合时，所提出的方案收敛于弱内部求解器，并且在针对白盒物理攻击进行评估时，具有比最先进的方法更高的干净和鲁棒的准确性。
2020-06-23 cs.CV cs.LG
A White-Box False Positive Adversarial Attack Method on Contrastive Loss Based Offline Handwritten Signature Verification Models
University of St Andrews（圣安德鲁斯大学）
本文提出了一种针对基于对比损失的离线手写签名验证模型的白盒误报对抗攻击方法，将攻击视为书写风格迁移，通过引入两个新损失函数扰动嵌入向量距离并保持图像最小扰动，实现了优于其他方法的攻击性能。
2024-02-09 cs.AI cs.CR cs.CV
OpenAnt: LLM-Powered Vulnerability Discovery Through Code Decomposition, Adversarial Verification, and Dynamic Testing
提出OpenAnt系统，结合静态分析与LLM推理，通过代码分解、对抗性验证和动态测试三阶段流水线，在降低误报率的同时发现未知漏洞。
2026-06-19 cs.CR cs.LG
Generating Adversarial Disturbances for Controller Verification
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿分部）
我们考虑的问题，产生最大的对抗性干扰的给定控制器假设只有黑箱访问它。我们提出了一种在线学习方法来解决这个问题，\emph{adaptively}产生干扰的控制器选择的控制输入的基础上。干扰发生器的目标是使\emph{regret}相对于基准干扰生成策略类最小化，即，以最大化由控制器引起的成本，以及与最佳可能干扰发生器\emph{in hindsight}（从基准策略类中选择）相比。在设置的动态是线性的，成本是二次的，我们制定我们的问题作为一个在线的信赖域（OTR）问题的记忆，并提出了一个新的在线学习算法（\emph{MOTR}）这个问题。我们证明，这种方法的竞争与最好的干扰发生器在事后（选择从一个丰富的类的基准政策，包括线性动态干扰产生的政策）。我们在两个模拟示例上演示了我们的方法：（i）综合生成的线性系统，以及（ii）在AirSim模拟器中为流行的PX 4控制器生成风扰动。在这些例子中，我们证明了我们的方法优于几个基线方法，包括$H_{\infty}$扰动生成和基于梯度的方法。
2022-01-31 cs.LG cs.SY eess.SY
Adversarial Data Augmentation for Robust Speaker Verification
Beijing University of Post Telecommunications（北京邮电大学）；Huawei Cloud（华为云）；Tsinghua University（清华大学）
本文提出对抗性数据增强（A-DA），结合数据增强与对抗学习，通过增强分类器使说话人嵌入更稳健，在VoxCeleb和CN-Celeb上优于标准DA。
2024-02-05 cs.LG cs.SD eess.AS
Beyond Robustness: Resilience Verification of Tree-Based Classifiers
Ca’ Foscari University of Venice（威尼斯大学）
在本文中，我们批评传统上用于评估部署在对抗环境中的机器学习模型的性能的鲁棒性度量。为了减轻鲁棒性的局限性，我们引入了一个新的措施，称为弹性，我们专注于它的验证。特别是，我们讨论了如何通过将传统的鲁棒性验证技术与数据独立的稳定性分析相结合来验证弹性，该分析识别了特征空间的一个子集，在该子集中，尽管存在对抗性操作，模型也不会改变其预测。然后，我们引入了一个正式的健全的数据独立的稳定性分析决策树和决策树合奏，我们实验评估公共数据集，我们利用弹性验证。我们的研究结果表明，弹性验证在实践中是有用的和可行的，产生一个更可靠的安全评估标准和鲁棒的决策树模型。
2021-12-05 cs.CR cs.LG
Adversarial Robustness Verification and Attack Synthesis in Stochastic Systems
Northeastern University（东北大学）
概率模型检验是一种用于描述和验证随机系统（包括随机协议和强化学习模型）属性的有用技术。现有的方法依赖于假设的结构和某些系统转换的概率。这些假设可能是不正确的，甚至可能被获得系统组件控制权的对手违反。在本文中，我们开发了一个正式的框架对抗鲁棒性建模为离散时间马尔可夫链（DTMCs）的系统。我们的框架基于现有的方法验证概率时序逻辑属性，并将其扩展到包括确定性，无记忆的政策在马尔可夫决策过程（MDP）。我们的框架包括一个灵活的方法来指定结构保持和非结构保持对抗模型。我们概述了一类威胁模型下，对手可以扰乱系统的过渡，约束由一个$\varepsilon$球周围的原始转换概率。我们定义了三个主要的DTMC对抗鲁棒性问题：对抗鲁棒性验证，最大$δ$合成，最坏情况下的攻击合成。我们提出了两个基于优化的解决方案，这三个问题，利用传统的和参数的概率模型检验技术。然后，我们评估我们的解决方案上的两个随机协议和收集的网格世界的案例研究，该模型的代理在一个环境中描述为一个MDP。我们发现，在小参数空间的快速计算的参数解决方案的结果。在对手限制较少（较强）的情况下，参数的数量增加，直接计算属性满足概率更具可扩展性。我们通过比较不同属性、威胁模型和案例研究的系统结果来证明我们的定义和解决方案的有用性。
2022-07-31 cs.CR cs.FL cs.LG
The defender's perspective on automatic speaker verification: An overview
National Taiwan University（台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本文从防御者视角系统综述了针对对抗性攻击和部分伪造语音等威胁自动说话人验证安全性的防御方法，填补了现有综述在该领域的空白。
2023-06-25 cs.LG cs.SD eess.AS
A Tale of Fairness Revisited: Beyond Adversarial Learning for Deep Neural Network Fairness
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
出于自动化和人工智能技术时代对公平算法决策的需求，本技术报告提供了对深度学习中公平性对抗训练的理论见解。我们建立在以前的对抗公平性工作的基础上，展示了公平预测和模型性能之间的持续权衡，并探索了有助于抵消这种权衡的进一步机制。
2021-01-08 cs.AI cs.LG
Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification
该研究提出基于zk-SNARK的隐私保护审计框架，构建三类互补探针验证大语言模型，实验表明黑盒场景下的基于token的探针灵敏度最优，且Groth16 zk-SNARK工作流具备良好实用性。
2026-09-01 cs.AI cs.CR cs.LG
LMD: A Learnable Mask Network to Detect Adversarial Examples for Speaker Verification
School of Marine Science and Technology, Northwestern Polytechnical University（海洋科学与技术学院，西北工业大学）；Research & Development Institute of Northwestern Polytechnical University（西北工业大学研发院）；Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；Ocean Institute of Northwestern Polytechnical University（西北工业大学海洋学院）
本文提出可学习掩码检测器LMD，利用ASV分数变化检测对抗样本，仅需真实样本训练且具备可解释性，在12种攻击和两个ASV系统上优于五个基线方法。
2023-06-14 cs.LG cs.SD eess.AS
Verification of Neural Networks: Specifying Global Robustness using Generative Models
CNRS（法国国家科学研究中心）；LaBRI（波尔多计算机研究实验室）；Université de Bordeaux（波尔多大学）；The Alan Turing Institute（艾伦·图灵研究所）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
神经网络在大多数机器学习任务中的成功以及对抗性示例的持久性使得对此类模型的验证成为一项重要的探索。已经成功开发了几种技术来验证鲁棒性，并且现在能够评估具有数千个节点的神经网络。这种方法的主要弱点在于规范：鲁棒性是在由有限的示例集组成的验证集上断言的，即局部的。我们提出了一个基于生成模型的全局鲁棒性的概念，该模型在一个非常大的和有代表性的例子集上断言鲁棒性。我们展示了如何使用它来验证神经网络。在本文中，我们通过实验探索了这种方法的优点，并展示了如何使用它来构建真实的对抗性示例。
2019-10-11 cs.FL cs.LG cs.NE
On Improving Deep Active Learning with Formal Verification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Cornell University（康奈尔大学）
本研究通过形式验证生成对抗性输入提升深度主动学习性能，显著增强模型泛化能力。
2025-12-16 cs.LG cs.LO
Evaluating robustness of support vector machines with the Lagrangian dual approach
Dalian University of Technology（大连理工大学）
针对非线性核 SVM 鲁棒性验证难题，本文将对抗鲁棒性评估建模为优化问题，并通过拉格朗日对偶下界进行验证，在 MNIST 和 Fashion-MNIST 上优于现有方法。
2023-06-05 cs.AI cs.LG
Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation
Scuola Normale Superiore（比萨高等师范学院）；Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（国家研究委员会信息科学与技术研究所）
该研究探索用模仿目标作者风格的合成负样本扩充训练集以提升对抗场景下作者身份验证性能，实验多种生成器、训练策略与分类器后发现方法效果零散不实用。
2024-10-29 cs.AI cs.CL cs.LG
Using Z3 for Formal Modeling and Verification of FNN Global Robustness
Peking University（北京大学）；University of Oxford（牛津大学）
针对 FNN 全局鲁棒性验证不足的问题，本文基于 SMT 求解器 Z3 完整实现并改进 DeepGlobal，以识别全部 ADRs，并通过基准数据集实验验证其有效性。
2023-04-24 cs.AI cs.LG cs.LO
On the Effectiveness of Dataset Watermarking in Adversarial Settings
Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
在数据驱动的世界中，数据集构成了重要的经济价值。花费时间和金钱收集和管理数据的数据集所有者受到激励，以确保他们的数据集不会以未经他们授权的方式使用。当发生这种滥用时，数据集所有者需要技术机制来证明他们对所涉数据集的所有权。数据集水印提供了一种所有权证明的方法，反过来，可以阻止未经授权的使用。在本文中，我们研究了最近提出的数据出处方法（放射性数据），以评估它是否可用于证明用于训练机器学习（ML）模型的（图像）数据集的所有权。最初的论文报告说，放射性数据在白盒设置中是有效的。我们表明，虽然这是真实的大数据集与许多类，它不是有效的数据集类的数量是低$(\leq 30)$或每个类的样本数是低$(\leq 500)$。我们还表明，反直觉，黑盒验证技术是有效的，本文中使用的所有数据集，即使白盒验证不是。鉴于这一观察结果，我们表明，白盒验证的信心，可以提高直接使用水印样本在验证过程中。我们还强调，如果要将放射性数据用于所有权证明，则需要评估其可靠性，因为这是一种与来源鉴定不同的对抗性环境。与数据集水印相比，ML模型水印在最近的文献中得到了更广泛的研究。然而，大多数模型水印技术可以通过模型提取来击败。我们表明，放射性数据可以有效地生存模型窃取攻击，这提高了它可用于ML模型所有权验证对模型提取鲁棒的可能性。
2022-02-25 cs.CR cs.LG
Verification of the Implicit World Model in a Generative Model via Adversarial Sequences
University of Szeged（塞格德大学）；HUN-REN–SZTE Research Group on AI（人工智能研究组）
本研究通过对抗序列生成方法验证生成模型中的隐式世界模型有效性，发现多数模型无效，但部分训练技术可显著提升有效性。
2026-02-05 cs.AI cs.LG
Efficient Certified Training and Robustness Verification of Neural ODEs
ETH Zurich（苏黎世联邦理工学院）
神经常微分方程（NODE）是一种新型的神经体系结构，它是围绕具有学习动态的初始值问题构建的，这些问题在推理过程中得到解决。它们被认为在对抗性干扰方面具有更强的内在鲁棒性，但最近显示出易受强大的对抗攻击的影响，这突出表明需要正式的保障。然而，尽管在标准前馈架构的鲁棒性验证方面取得了重大进展，但高维节点的验证仍然是一个悬而未决的问题。在这项工作中，我们解决这一挑战，并提出GAINS，分析框架NODE结合三个关键的想法：（一）一类新的ODE求解器，基于可变的，但离散的时间步长，（二）求解器轨迹的有效图形表示，和（iii）一种新的抽象算法操作这个图形表示。总之，这些进步通过在维度$d$和积分时间$T$上将运行时间从难以处理的$O(\exp(d)+\exp(T))$减少到${O}(d+T^2 \log^2T)$，使得能够对高维节点进行有效的分析和认证训练。在对计算机视觉（MNIST和FMNIST）和时间序列预测（PHYSIO-NET）问题的广泛评估中，我们证明了我们认证的培训和验证方法的有效性。
2023-03-09 cs.AI cs.LG
Fundamental Limits in Formal Verification of Message-Passing Neural Networks
University of Kassel（卡塞尔大学）
输出可达性和对抗鲁棒性是神经网络最相关的安全属性之一。我们表明，在消息传递神经网络（MPNN）的背景下，一个常见的图神经网络（GNN）模型，形式化验证是不可能的。特别是，我们表明，输出可达的图分类MPNN，工作在图的无界大小，非平凡程度和充分表达节点标签，不能正式验证：有没有算法，正确回答（是或否），给定一个MPNN，是否存在一些有效的输入MPNN，使相应的输出满足给定的规格。然而，我们也表明，输出的可达性和对抗性的鲁棒性节点分类MPNN可以正式验证时，输入图的程度的限制是先验的。我们讨论了这些结果的影响，为了获得一个完整的图片的原则可能性，正式验证GNN，根据所涉及的GNN模型和输入输出规格的表现力。
2022-10-04 cs.LG cs.LO
Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs
Georgia Institute of Technology（佐治亚理工学院）；University of Bristol（布里斯托大学）；University of Maryland（马里兰大学）；University College London（伦敦大学学院）；MATS；Astra；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对大语言模型易被诱导产生有害行为的问题，提出靶向潜在对抗训练方法，可在更低计算成本下增强越狱防御、后门移除及任务遗忘效果，是防御LLM有害行为的有效工具。
2025-07-29 cs.AI cs.CL cs.LG
