Frequency maps reveal the correlation between Adversarial Attacks and Implicit Bias
University of Trieste（的里雅斯特大学）；Stanford University（斯坦福大学）；ICTP（国际理论物理中心）；MIT（麻省理工学院）
本文通过傅里叶分析提取网络隐式偏置与对抗攻击的必要频率指纹，并利用非线性相关性检测技术证明二者高度相关，为对抗防御提供新思路。
2025-04-08 cs.AI cs.CR cs.LG
Semi-Implicit Hybrid Gradient Methods with Application to Adversarial Robustness
KAIST（韩国科学技术院）；SI Analytics, Inc.（SI Analytics公司）
通过向自然输入添加难以察觉的扰动来制作的对抗性示例可以轻松地欺骗深度神经网络（DNN）。训练对抗鲁棒DNN的最成功的方法之一是使用对抗训练（AT）算法解决非凸-非凹极大极小问题。然而，在许多AT算法中，只有动态AT（DAT）和你只计算一次（YOPO）保证收敛到一个稳定点。在这项工作中，我们推广了随机原始-对偶混合梯度算法，发展半隐式混合梯度方法（SI-HGs），寻找非凸-非凹极大极小问题的稳定点。SI-HG具有收敛速率$O(1/K)$，其改进了DAT和YOPO的速率$O(1/K^{1/2})$。我们设计了一个实用的变体SI-HGs，并表明它优于其他AT算法的收敛速度和鲁棒性。
2022-02-21 cs.AI cs.CV cs.LG
Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability
Massachusetts Institute of Technology（麻省理工学院）
我们探讨的概念协同设计的背景下，神经网络验证。具体来说，我们的目标是训练深度神经网络，不仅对对抗性扰动具有鲁棒性，而且其鲁棒性可以更容易地验证。为此，我们确定了网络模型的两个属性--权重稀疏性和所谓的ReLU稳定性--这两个属性会显著影响相应验证任务的复杂性。我们证明，提高权重稀疏性本身已经使我们能够把计算上棘手的验证问题变成易于处理的问题。然后，提高ReLU稳定性会导致验证时间增加4- 13倍。我们的方法的一个重要特点是它的“普遍性”，也就是说，它可以与广泛的培训程序和核查办法一起使用。
2019-04-23 cs.CR cs.LG cs.NE
Robotic and Generative Adversarial Attacks in Offline Writer-independent Signature Verification
Nottingham Trent University（诺丁汉特伦特大学）
本研究探讨如何机器人和生成方法可以用来安装成功的虚假接受对抗攻击签名验证系统。最初，探索和调整了卷积神经网络拓扑结构和数据增强策略，为2,640个人类签名的验证产生了87.12%的准确率模型。然后，两个机器人的任务是伪造50个签名，其中25个用于验证攻击，其余25个用于调整模型以抵御它们。对系统的对抗攻击表明存在信息安全风险; Line-us机器人手臂可以在24%的时间内欺骗系统，iDraw 2.0机器人可以在32%的时间内欺骗系统。一个有条件的GAN发现了类似的成功，大约30%的伪造签名被误分类为真实签名。在对机器人和生成数据进行微调迁移学习之后，机器人和GAN都将对抗攻击降低到模型阈值以下。据观察，调整模型可以将机器人攻击的风险降低到8%和12%，当呈现25张图像时，条件生成对抗攻击可以降低到4%，当呈现1000张图像时，可以降低到5%。
2022-04-14 cs.CV cs.LG cs.RO
Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）在许多具有挑战性的机器学习任务中表现出令人印象深刻的性能。然而，DNN容易受到通过向良性输入添加恶意制作的扰动而生成的对抗性输入的影响。据报告，越来越多的攻击产生了不同复杂程度的对抗性投入，因此，防御-攻击军备竞赛加快了。在本文中，我们提出了MODEF，跨层模型多样性集成框架。MODEF通过量化模型多样性，智能地将无监督模型去噪集成与有监督模型验证集成相结合，旨在提高目标模型对对抗性示例的鲁棒性。使用流行的基准数据集上的11个代表性攻击进行评估，我们表明，与现有的防御方法相比，MODEF实现了显着的防御成功率，并提供了卓越的修复对抗性输入的能力，并在黑盒攻击的存在下以高精度做出正确的预测。
2019-10-26 cs.CR cs.LG stat.ML
Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；Manifold AI（Manifold人工智能公司）；University of Tübingen（图宾根大学）
对抗性攻击仍然是神经网络面临的一个重大挑战。最近的研究表明，对抗性扰动通常包含高频特征，但这种现象的根本原因仍然未知。受线性全宽卷积模型理论工作的启发，我们假设当前神经网络中常用的局部（即有界宽度）卷积运算隐含地偏向于学习高频特征，这是高频对抗性示例的根本原因之一。为了验证这一假设，我们分析了线性和非线性架构的不同选择对空间和频率域中学习特征的隐式偏差和对抗性扰动的影响。我们发现，高频对抗性扰动是严重依赖于卷积运算，因为局部卷积的空间有限的性质诱导了对高频特征的隐式偏差。对后者的解释涉及傅立叶不确定性原理：空间受限（空间域中的局部）滤波器也不能是频率受限（频域中的局部）的。此外，使用更大的卷积核大小或避免卷积（例如，通过使用Vision Transformers架构）显著降低了这种高频偏差，但不会降低对攻击的总体敏感性。展望未来，我们的工作强烈表明，理解和控制架构的隐式偏差对于实现对抗鲁棒性至关重要。
2023-03-08 cs.LG stat.ML
Adversarial Attacks on GMM i-vector based Speaker Verification Systems
The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）
本文研究了基于高斯混合模型（GMM）i向量的说话人验证系统对对抗性攻击的脆弱性，以及从基于GMM i向量的系统到基于x向量的系统的对抗性样本的可转移性。详细地说，我们将GMM i-向量系统制定为注册和测试话语对的评分函数。然后，我们利用快速梯度符号方法（FGSM）优化测试话语的对抗性样本生成。这些对抗样本用于攻击GMM i-向量和x-向量系统。我们衡量系统的脆弱性的退化等错误率和错误接受率。实验结果表明，GMM i-vector系统非常容易受到对抗性攻击，并且所构造的对抗性样本具有可转移性，对基于神经网络说话人嵌入的系统（如x-vector系统）构成威胁.
2020-02-12 cs.CL cs.CR cs.LG
Channel adversarial training for speaker verification and diarization
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语言技术研究中心）
以前的工作通过对生成的特征所属的数据集或标记环境进行逆向分类来鼓励深度说话人嵌入中的域不变性。我们提出了一种训练策略，旨在产生在记录或通道的粒度上不变的特征，这是一个比数据集或环境不变性更细粒度的目标。通过训练对手预测是否对相同的扬声器嵌入属于相同的录音在连体的方式，学习的功能是不鼓励利用信道信息，可能是扬声器的区别在训练过程中。在VoxCeleb上进行的验证实验以及在CALLHOME上进行的日志化和验证实验显示，除了优于竞争对手模型之外，在强大的基线上也有很好的改进。VoxCeleb模型尤其表现良好，在Kaldi基线上实现了EER的$4\%$相对改善，同时使用了类似的架构和更少的训练数据。
2019-10-25 cs.LG cs.SD eess.AS
Fooling End-to-end Speaker Verification by Adversarial Examples
Bar-Ilan University（巴伊兰大学）；Facebook AI Research（脸书人工智能研究院）
自动说话人确认系统越来越多地被用作对顾客进行身份验证的主要手段。最近，已经提出使用端到端深度神经模型来训练说话者验证系统。在本文中，我们证明了这样的系统容易受到对抗性示例攻击。对抗性示例是通过向原始说话者示例添加特殊噪声来生成的，以这种方式，人类听众几乎无法将它们与原始示例区分开来。然而，所生成的波形（其听起来像扬声器A）可以用于通过声称波形好像是由扬声器B发出来欺骗这样的系统。我们在端到端深度网络上提出了白盒攻击，该网络在YOHO或NTIMIT上进行了训练。我们还提出了两种黑盒攻击：其中对抗性示例是用在YOHO上训练的系统生成的，但攻击是在NTIMIT上训练的系统上;当对抗性示例是用在Mel谱特征集上训练的系统生成的，但攻击是在MFCC上训练的系统上。结果表明，被攻击的系统的准确性下降，误报率显着增加。
2018-02-16 cs.CL cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Can Implicit Bias Imply Adversarial Robustness?
Center for Innovation in Data Engineering and Science (IDEAS)（数据工程与科学创新中心）；University of Pennsylvania（宾夕法尼亚大学）
本文研究梯度训练隐式偏置与对抗鲁棒性的关系，证明采用多项式ReLU激活的浅层网络经梯度流训练后既能良好泛化又具有对抗鲁棒性，揭示了数据结构与架构设计相互作用的重要性。
2024-06-05 cs.LG stat.ML
An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong（香港城市大学）；Southeast University, China（东南大学）
针对黑盒查询式攻击威胁，提出高效防御机制PuriDefense，通过轻量级净化模型集合执行随机分块净化，在低推理成本下重建图像流形并引入随机性减缓攻击收敛，显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab（腾讯人工智能实验室）
近年来，针对自动说话人确认系统的对抗性攻击引起了广泛的关注，因为它们对自动说话人确认系统构成了严重的威胁。然而，防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外，对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交，这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击，而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器，并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性，我们分析了各种不可见攻击设置的影响，并观察到检测器对不可见替代ASV系统具有鲁棒性（最坏情况下的EER_{det}退化为6.27%），但对不可见扰动方法具有较弱的鲁棒性（最坏情况下的EER_{det}退化为50.37%）。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个对抗训练过程，用于学习给定因果图的因果隐式生成模型。我们表明，如果生成器架构与给定的因果图一致，则对抗训练可以用于学习具有真实观察和干预分布的生成模型。我们考虑了基于给定的二进制标签生成人脸的应用，其中标签之间的依赖结构用因果图来保存。这个问题可以看作是学习图像和标签的因果隐式生成模型。我们设计了一个两阶段的程序来解决这个问题。首先，我们使用与因果图一致的神经网络作为生成器，在二进制标签上训练因果隐式生成模型。我们的经验表明，WassersteinGAN可以用来输出离散标签。随后，我们提出了两种新的条件GAN架构，我们称之为Causal GAN和Causal BEGAN。我们表明，最佳的生成器的CauseGAN，给定的标签，样本从这些标签的条件下的图像分布。然后，与用于标签的经训练的因果隐式生成模型组合的条件GAN是标签和所生成的图像上的因果隐式生成模型。我们表明，所提出的架构可以用于从观察和介入图像分布中进行采样，即使对于数据集中不自然发生的干预也是如此。
2017-09-14 cs.AI cs.IT cs.LG
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
Evaluating robustness of support vector machines with the Lagrangian dual approach
Dalian University of Technology（大连理工大学）
针对非线性核 SVM 鲁棒性验证难题，本文将对抗鲁棒性评估建模为优化问题，并通过拉格朗日对偶下界进行验证，在 MNIST 和 Fashion-MNIST 上优于现有方法。
2023-06-05 cs.AI cs.LG
A White-Box False Positive Adversarial Attack Method on Contrastive Loss Based Offline Handwritten Signature Verification Models
University of St Andrews（圣安德鲁斯大学）
本文提出了一种针对基于对比损失的离线手写签名验证模型的白盒误报对抗攻击方法，将攻击视为书写风格迁移，通过引入两个新损失函数扰动嵌入向量距离并保持图像最小扰动，实现了优于其他方法的攻击性能。
2024-02-09 cs.AI cs.CR cs.CV
Adversarial Speaker Verification
Microsoft Corporation（微软公司）
使用深度网络来提取用于说话人识别的嵌入已被成功证明。然而，由于训练、注册和测试条件之间的不匹配，这样的嵌入容易受到性能下降的影响。在这项工作中，我们提出了一个对抗性说话人验证（ASV）计划，通过对抗性多任务训练来学习条件不变的深度嵌入。在ASV中，说话人分类网络和条件识别网络被联合优化，以最小化说话人分类损失，同时最小-最大化条件损失。条件网络的目标标签可以是分类的（环境类型）和连续的（SNR值）。我们进一步提出了多因子ASV，同时抑制构成条件变异性的多个因素。在Microsoft Cortana文本相关说话人验证任务上进行评估，ASV在已知和未知条件下的相等出错率（EER）分别实现了8.8%和14.5%的相对改善。
2019-04-29 cs.CL cs.LG cs.SD
Hindering Adversarial Attacks with Implicit Neural Representations
DeepMind（深度思维）
我们介绍了有损隐式网络激活编码（LINAC）防御，输入变换，成功地阻止了几种常见的对抗攻击$10$分类器的扰动高达$ε= 8/255$在$L_\infty$规范和$ε= 0.5$在$L_2$规范。隐式神经表示用于近似编码$2\text{D}$图像中的像素颜色强度，使得在变换数据上训练的分类器似乎对小扰动具有鲁棒性，而没有对抗性训练或性能大幅下降。用于初始化和训练隐式神经表示的随机数生成器的种子被证明是更强的通用攻击的必要信息，这表明其作为私钥的角色。我们设计了一个参数旁路近似（PBA）的攻击策略，基于密钥的防御，成功地使现有的方法在这一类。有趣的是，我们的LINAC防御也阻止了一些转移和自适应攻击，包括我们的新PBA策略。我们的研究结果强调了广泛的定制攻击的重要性，尽管明显的鲁棒性，根据标准的评估。LINAC源代码和整个提交过程中评估的防御分类器参数可在以下网站获得：https://github.com/deepmind/linac
2022-10-22 cs.CR cs.LG
Adversarial Robustness of Deep Neural Networks: A Survey from a Formal Verification Perspective
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
神经网络已广泛应用于诸如垃圾邮件和网络钓鱼检测、入侵防御和恶意软件检测等安全应用中。然而，这种黑箱方法在实际应用中往往存在不确定性和可解释性差的问题。此外，神经网络本身往往容易受到对抗攻击。由于这些原因，有一个值得信赖的和严格的方法来验证神经网络模型的鲁棒性的需求很高。对抗鲁棒性是神经网络在处理恶意操纵输入时的可靠性，是安全和机器学习中最热门的话题之一。在这项工作中，我们调查了现有的文献对抗性的鲁棒性验证神经网络，并收集了39个不同的研究工作，在机器学习，安全和软件工程领域。我们系统地分析了他们的方法，包括如何制定鲁棒性，使用什么验证技术，以及每种技术的优势和局限性。我们从形式化验证的角度提供了一个分类法，以全面理解这个主题。我们对现有的技术进行分类的基础上属性规范，减少问题，推理策略。我们还展示了具有代表性的技术，已应用于现有的研究与样本模型。最后，我们讨论了未来研究的开放性问题。
2022-10-11 cs.CR cs.LG cs.SE
Scalable Ensemble-based Detection Method against Adversarial Attacks for speaker verification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
针对自动说话人验证易受对抗攻击、现有净化方法存在体验与安全权衡且检测方法易被超越的问题，提出整合先进净化模块的集成检测方法，达到SOTA性能且兼容未来技术。
2023-12-14 cs.LG cs.SD eess.AS
On the Detection of Adaptive Adversarial Attacks in Speaker Verification Systems
Purdue University Fort Wayne（普渡大学韦恩堡分校）
本文提出MEH-FEST检测器，利用短时傅里叶变换高频段最小能量检测FAKEBOB对抗攻击，在GMM和i-vector说话人验证系统中实现近零误报与漏报，并进一步研究了自适应攻击与防御的博弈。
2022-08-01 cs.CR cs.LG cs.SD
Semi-Implicit Generative Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了结合显式和隐式生成模型，我们引入了半隐式生成器（SIG）作为一个灵活的分层模型，可以在极大似然框架中进行训练。理论和实验表明，SIG可以生成高质量的样本，特别是在处理多模态时。通过将SIG作为无偏正则化器引入到生成对抗网络（GAN）中，我们证明了极大似然和对抗学习之间的相互作用可以稳定对抗训练，抵抗GANs臭名昭著的模式崩溃问题，并提高生成的随机样本的多样性。
2019-07-29 cs.LG stat.ML
A Framework for Verification of Wasserstein Adversarial Robustness
University of Göttingen（哥廷根大学）；neurocat GmbH（neurocat有限公司）
机器学习图像分类器容易受到对抗性和破坏性扰动的影响。向图像中添加难以察觉的噪声会导致机器学习模型的严重错误分类。使用$L_p$ -范数来测量噪声的大小无法捕获人类的相似性感知，这就是为什么基于最佳传输的距离度量（如Wasserstein度量）越来越多地用于对抗鲁棒性领域。使用Wasserstein度量的分类器的鲁棒性可以通过证明不存在对抗性示例（认证）或证明它们的存在（攻击）来实现。在这项工作中，我们提出了一个框架的基础上，Levine和Feizi的工作，它允许我们转移现有的认证方法凸多面体或$L_1$ -球的Wasserstein威胁模型。结果证明可以是完整的或不完整的，这取决于选择的是凸多面体还是$L_1$ -球。此外，我们提出了一个新的Wasserstein对抗攻击，预计梯度下降的基础上，并已显着减少计算负担相比，现有的攻击方法。
2021-10-13 cs.CV cs.LG
Cross-lingual Text-independent Speaker Verification using Unsupervised Adversarial Discriminative Domain Adaptation
UT-Dallas（德克萨斯大学达拉斯分校）；JD AI Research（京东人工智能研究院）
当训练数据和测试数据之间存在语言不匹配时，说话人确认系统通常会显着降低。利用未标注数据改进跨语言说话人确认系统，可以大大提高系统的鲁棒性，降低人工标注成本。在这项研究中，我们引入了一种无监督的对抗性判别域自适应（ADDA）方法来有效地学习一个非对称映射，该映射将目标域编码器适应到源域，其中目标域和源域是来自不同语言的语音数据。ADDA与流行的领域对抗训练（DAT）方法一起在跨语言说话人确认任务上进行评估：训练数据来自NIST SRE 04 -08，Mixer 6和Switchboard的英语，测试数据来自AISHELL-I的中文。结果表明，在ADDA自适应下，x向量系统的等误率（EER）从9.331%下降到7.645%，相对于DAT降低了18.07%，降低了6.32%.对ADDA自适应说话人嵌入的进一步数据分析表明，学习的说话人嵌入可以很好地对目标域数据进行说话人分类，并且对语言转换的依赖性较小。
2019-08-05 cs.LG cs.SD eess.AS
Efficient Certified Training and Robustness Verification of Neural ODEs
ETH Zurich（苏黎世联邦理工学院）
神经常微分方程（NODE）是一种新型的神经体系结构，它是围绕具有学习动态的初始值问题构建的，这些问题在推理过程中得到解决。它们被认为在对抗性干扰方面具有更强的内在鲁棒性，但最近显示出易受强大的对抗攻击的影响，这突出表明需要正式的保障。然而，尽管在标准前馈架构的鲁棒性验证方面取得了重大进展，但高维节点的验证仍然是一个悬而未决的问题。在这项工作中，我们解决这一挑战，并提出GAINS，分析框架NODE结合三个关键的想法：（一）一类新的ODE求解器，基于可变的，但离散的时间步长，（二）求解器轨迹的有效图形表示，和（iii）一种新的抽象算法操作这个图形表示。总之，这些进步通过在维度$d$和积分时间$T$上将运行时间从难以处理的$O(\exp(d)+\exp(T))$减少到${O}(d+T^2 \log^2T)$，使得能够对高维节点进行有效的分析和认证训练。在对计算机视觉（MNIST和FMNIST）和时间序列预测（PHYSIO-NET）问题的广泛评估中，我们证明了我们认证的培训和验证方法的有效性。
2023-03-09 cs.AI cs.LG
Adversarial Sample Detection for Speaker Verification by Neural Vocoders
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Tencent Research（腾讯研究院）
自动说话人确认（ASV）是生物特征识别的重要技术之一，在安全关键应用中得到广泛应用。然而，ASV是严重脆弱的，最近出现的对抗攻击，但有效的对策是有限的。在本文中，我们采用神经声码器发现对抗样本的ASV。我们使用神经声码器重新合成音频，发现原始音频和重新合成音频的ASV分数之间的差异是区分真实样本和对抗样本的良好指标。据我们所知，这项工作是第一批追求这种技术方向来检测ASV的时域对抗样本的工作之一，因此缺乏用于比较的既定基线。因此，我们实施的Griffin-Lim算法作为检测基线。所提出的方法实现了有效的检测性能，在所有的设置优于基线。我们还表明，在检测框架中采用的神经声码器是独立的。我们的代码将开放源代码，以便将来的作品进行公平的比较。
2022-05-19 cs.LG cs.SD eess.AS
Malacopula: adversarial automatic speaker verification attacks using a neural-based generalised Hammerstein model
EURECOM（欧洲通信学院）；National Institute of Informatics（国立信息学研究所）；Microsoft（微软公司）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出基于神经网络的广义Hammerstein模型Malacopula，通过生成对抗性扰动提升语音欺骗攻击对ASV系统的效果，实验验证了其攻击效力及现有防御的局限，凸显了完善ASV对抗防御的必要性。
2024-08-17 cs.CR cs.LG cs.SD
Neural Network Robustness as a Verification Property: A Principled Case Study
Heriot-Watt University（赫瑞-瓦特大学）；University of Strathclyde（思克莱德大学）；The Hebrew University of Jerusalem（希伯来大学）
神经网络在检测噪声数据中的模式方面非常成功，并已成为许多领域的首选技术。然而，它们的有用性受到了它们对对抗攻击的敏感性的阻碍。最近，已经提出了许多用于测量和提高网络对对抗性扰动的鲁棒性的方法，并且这种不断增长的研究已经产生了许多明确或隐含的鲁棒性概念。这些概念之间的联系往往是微妙的，它们之间的系统比较在文献中缺失。在本文中，我们开始解决这个差距，通过建立一般原则的经验分析和评估网络的鲁棒性作为一个数学属性-在网络的训练阶段，它的验证，并在其部署。然后，我们应用这些原则，并进行案例研究，展示我们的一般方法的实际好处。
2022-07-13 cs.AI cs.LG
AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Samsung Electro-Mechanics（三星电机）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学）
提出AI-KD方法，通过对抗学习和隐式蒸馏正则化训练过程，利用判别器对齐预训练与学生模型的预测分布，在多个数据集上取得优于现有方法的性能。
2024-03-21 cs.CV cs.LG
Verification of Neural Network Control Policy Under Persistent Adversarial Perturbation
GE Research（通用电气研究院）；MIT（麻省理工学院）
众所周知，深度神经网络对于小的对抗性扰动是脆弱的。当神经网络与物理系统在闭环中互连时，这个问题变得更加关键。在本文中，我们将展示如何结合最近的工作神经网络认证工具（主要用于静态设置，如图像分类）与鲁棒控制理论，以证明一个神经网络政策的控制回路。具体地说，我们给出了一个充分条件和算法，以确保闭环状态和控制约束满足时，持续对抗扰动是l-无穷范数有界的。我们的方法是基于找到一个正不变集的闭环动力系统，因此，我们不需要可微性或连续性的神经网络政策。随着验证结果，我们还开发了一个有效的攻击策略，神经网络控制系统，优于穷举蒙特卡洛搜索显着。我们表明，我们的认证算法工作良好的学习模型，并取得了5倍以上的结果比传统的Lipschitz为基础的方法来证明的神经网络政策的鲁棒性的推车杆控制问题。
2019-08-18 cs.LG stat.ML
Input Validation for Neural Networks via Runtime Local Robustness Verification
National University of Defense Technology（国防科技大学）；Sorbonne Université（索邦大学）
本文提出一种基于运行时局部鲁棒性验证的神经网络输入验证方法，利用正确分类输入的鲁棒半径远大于错误分类输入且服从正态分布的观察，有效防御对抗样本并提升模型准确率。
2024-02-13 cs.LG stat.ML
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach
Georgia Institute of Technology（佐治亚理工学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出了一种基于非欧收缩理论的隐式神经网络训练和鲁棒性验证的理论和计算框架。其基本思想是将神经网络的鲁棒性分析转化为可达性问题，并利用$\ell_{\infty}$ -范数输入输出Lipschitz常数和网络的紧包含函数过逼近其可达集。首先，对于一个给定的隐式神经网络，我们使用$\ell_{\infty}$ -矩阵措施，提出了它的适定性的充分条件，设计了一个迭代算法来计算其不动点，并提供其$\ell_\infty$ -范数输入输出Lipschitz常数的上界。其次，我们介绍了一个相关的嵌入式网络，并表明嵌入式网络可以用来提供一个$\ell_\infty$ -范数盒过逼近的可达集的原始网络。此外，我们使用嵌入式网络设计了一个迭代算法来计算原系统的紧包含函数的上界。第三，我们利用Lipschitz常数的上界和紧包含函数的上界设计了两个隐式神经网络的训练和鲁棒性验证算法。最后，我们应用我们的算法训练隐式神经网络的MNIST数据集和比较我们的模型的鲁棒性，通过现有的方法在文献中训练的模型。
2022-08-08 cs.LG cs.SY eess.SY
Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本研究提出在未知具体攻击算法的情况下，利用自监督学习模型通过对抗扰动净化与检测两种方式为自动说话人验证进行对抗防御，并形式化了评估指标。
2024-06-05 cs.LG cs.SD eess.AS
Implicit Strategic Optimization: Rethinking Long-Horizon Decision-Making in Adversarial Poker Environments
Gradient
本文提出隐式策略优化（ISO）框架，通过预测战略环境和结合战略奖励模型与乐观学习规则，提升对抗性扑克环境中的长 horizon 决策性能。
2026-02-08 cs.AI cs.CL cs.LG
Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification
该研究提出基于zk-SNARK的隐私保护审计框架，构建三类互补探针验证大语言模型，实验表明黑盒场景下的基于token的探针灵敏度最优，且Groth16 zk-SNARK工作流具备良好实用性。
2026-09-01 cs.AI cs.CR cs.LG
Identity-Aware Deep Face Hallucination via Adversarial Face Verification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的多尺度生成对抗网络（GAN）架构优化的人脸验证，以解决人脸幻觉的问题。首先，我们提出了一个多尺度生成器架构的人脸超分辨率与一个高的放大率因子，它有多个中间输出在不同的分辨率。中间输出的目标是合成从小到大的图像。其次，我们将人脸验证器与原始的GAN人脸识别器相结合，并提出了一种新的人脸识别器，它可以学习区分不同的身份，同时区分虚假的HR人脸图像与真实图像。特别是，学习的生成器不仅关心幻觉面部图像的视觉质量，而且还在幻觉过程中保留有区别的特征。此外，为了捕获感知相关的差异，我们采用感知相似性损失，而不是像素空间中的相似性。我们在LFW和CelebA数据集上对我们的框架进行了定量和定性评估。实验结果表明，我们提出的方法对国家的最先进的方法的优势，在8倍下采样的测试数据集。
2019-09-17 cs.CV cs.LG
Global Robustness Verification Networks
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络的广泛部署虽然在许多领域取得了巨大成功，但存在严重的安全性和可靠性问题。现有的对抗攻击生成和自动验证技术不能正式验证网络是否全局鲁棒，即，输入空间中是否存在对抗性示例。为了解决这个问题，我们开发了一个全局鲁棒性验证框架，该框架由三个部分组成：1）一个新的基于规则的“反向传播”，通过逻辑推理找到哪个输入区域负责类分配; 2）一个新的网络架构滑动门网络（SDN），使可行的基于规则的“反向传播”成为可能; 3）一个基于区域的全局鲁棒性验证（RGRV）方法。此外，我们证明了我们的方法在合成和真实数据集上的有效性。
2020-06-08 cs.LG
Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）
在有针对性的中毒攻击中，攻击者操纵代理与环境的交互，迫使代理采用感兴趣的策略，称为目标策略。以前的工作主要集中在修改标准MDP原语的攻击，如奖励或转换。在本文中，我们研究了有针对性的中毒攻击在两个代理设置，攻击者隐式毒药的有效环境的代理之一，通过修改其同行的政策。我们开发了一个优化框架，设计最佳的攻击，其中的攻击成本的措施有多少解决方案偏离假设的默认策略的对等代理。我们进一步研究这个优化框架的计算特性。专注于一个表格设置，我们表明，在中毒攻击的基础上MDP原语（转换和（无界）奖励），这总是可行的，这是NP难的，以确定隐式中毒攻击的可行性。我们提供的表征结果，建立攻击问题的可行性的充分条件，以及攻击的最佳成本的上限和下限。我们提出了两种算法方法来找到一个最佳的对抗政策：基于模型的方法与表格政策和无模型的方法与参数/神经政策。我们通过实验展示了所提出的算法的有效性。
2023-02-27 cs.AI cs.CR cs.LG
QoSDiff: An Implicit Topological Embedding Learning Framework Leveraging Denoising Diffusion and Adversarial Attention for Robust QoS Prediction
QoSDiff通过去噪扩散和对抗注意力机制，实现隐式拓扑关系建模，提升QoS预测的鲁棒性和泛化能力。
2025-12-05 cs.LG
Voting for the right answer: Adversarial defense for speaker verification
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；Center for Speech and Language Technologies, Tsinghua University（清华大学语音与语言技术中心）
自动说话人验证（ASV）是一种成熟的生物特征识别技术，并已普遍实现在安全关键的应用，如银行和访问控制。然而，以前的工作表明，ASV是在对抗攻击的雷达下，这些攻击与人类感知的原始攻击非常相似，但会操纵ASV呈现错误的预测。由于ASV的对抗攻击出现较晚，有效的对抗措施有限。鉴于ASV的安全性至关重要，在这项工作中，我们提出了“投票选出正确答案”的想法，通过随机抽样和投票来防止ASV在盲点区域做出危险的决策。实验结果表明，我们提出的方法提高了对有限知识攻击者的鲁棒性通过拉敌对样本的盲点，并通过引入随机性和增加攻击者的预算完美的知识攻击者。
2021-07-19 cs.CR cs.LG cs.SD
TriGuard: Testing Model Safety with Attribution Entropy, Verification, and Drift
Center for Data Science, New York University, New York, USA（数据科学中心，纽约大学，纽约，美国）；University of New Haven, Connecticut, USA（新罕布什尔大学，康涅狄格，美国）；Queens College, City University of New York, USA（皇后学院，纽约城市大学，美国）
针对深度神经网络在对抗与分布偏移下的可靠性难题，提出融合形式化验证、归因熵与新型归因漂移分数的TriGuard安全评估框架，可发现模型推理细微脆弱性，且熵正则化训练能在保性能的同时减少解释漂移，推动鲁棒可解释模型评估发展。
2025-06-17 cs.AI cs.LG
GOLD: Graph Out-of-Distribution Detection via Implicit Adversarial Latent Generation
The University of Queensland（昆士兰大学）
GOLD框架通过隐式对抗潜在生成，在不依赖预训练生成模型和真实OOD数据的情况下合成伪OOD实例，用于图神经网络的分布外检测，并在多个基准数据集上取得优于现有方法的性能。
2025-04-10 cs.LG
Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation
Scuola Normale Superiore（比萨高等师范学院）；Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（国家研究委员会信息科学与技术研究所）
该研究探索用模仿目标作者风格的合成负样本扩充训练集以提升对抗场景下作者身份验证性能，实验多种生成器、训练策略与分类器后发现方法效果零散不实用。
2024-10-29 cs.AI cs.CL cs.LG
Using Z3 for Formal Modeling and Verification of FNN Global Robustness
Peking University（北京大学）；University of Oxford（牛津大学）
针对 FNN 全局鲁棒性验证不足的问题，本文基于 SMT 求解器 Z3 完整实现并改进 DeepGlobal，以识别全部 ADRs，并通过基准数据集实验验证其有效性。
2023-04-24 cs.AI cs.LG cs.LO
Safety Verification of Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络在图像分类方面取得了令人印象深刻的实验结果，但令人惊讶的是，在对抗性扰动方面可能不稳定，即对输入图像的微小变化会导致网络错误分类。随着潜在的应用，包括感知模块和自动驾驶汽车的端到端控制器，这引发了对其安全性的担忧。提出了一种基于可满足性模理论（SMT）的前馈多层神经网络自动验证框架。我们专注于安全的图像分类的决定，相对于图像的操作，如划痕或改变相机的角度或照明条件，将导致在同一类被分配给一个人，并定义安全的个人决定在一个小邻域内的原始图像的分类的不变性。我们使穷举搜索的区域，采用离散化，并逐层传播的分析。我们的方法直接使用网络代码，与现有方法相比，可以保证在给定的区域和操作族中找到对抗性示例（如果存在）。如果找到了，对抗性的例子可以展示给人类测试人员和/或用于微调网络。我们使用Z3实现这些技术，并在最先进的网络上进行评估，包括正则化和深度学习网络。我们还比较了现有的技术，以搜索对抗性的例子和估计网络的鲁棒性。
2017-05-05 cs.AI cs.LG stat.ML
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术学院）；Hebrew University（希伯来大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
在这项工作中，我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置，并表明在双层ReLU网络中，梯度流偏向于泛化良好的解决方案，但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置，我们证明了梯度流的隐式偏差防止it.However，隐式偏差也会导致非鲁棒的解决方案（易受小对抗$\ell_2$扰动），即使强大的网络，适合的数据存在。
2023-10-31 cs.LG stat.ML
Adversarial Speaker Distillation for Countermeasure Model on Automatic Speaker Verification
National Taiwan University（台湾大学）；Department of Computer Science（计算机科学系）
针对边缘设备部署 CM 模型时大小与性能的权衡问题，提出结合 GE2E 预训练和对抗性微调的对抗性说话人蒸馏方法，所提 ASD-ResNetSE 模型在 ASVspoof 2021 任务中取得优异性能且参数和计算量大幅减少。
2022-10-02 cs.LG cs.SD eess.AS
Robust Face Verification via Disentangled Representations
UT Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种鲁棒的人脸验证算法，即，判断两个图像是否是同一个人。我们的方法是对使用深度生成网络进行对抗鲁棒性的想法的一种新的看法。我们在训练过程中使用generativemodel作为在线增强方法，而不是消除对抗性噪声的测试时间净化器。我们的体系结构使用了对比损失术语和分离生成模型来对负对进行采样。我们不是随机配对两张真实的图像，而是将一张图像与其经过类修改的对应图像配对，同时保持其内容（姿势，头部倾斜，头发等）。完整这使我们能够有效地采样硬负对的对比损失。我们的实验表明，当与对抗训练相结合时，所提出的方案收敛于弱内部求解器，并且在针对白盒物理攻击进行评估时，具有比最先进的方法更高的干净和鲁棒的准确性。
2020-06-23 cs.CV cs.LG
Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
在深度学习时代，由于视频的时空复杂性和连续性，高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模，这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中，我们发现，最近出现的模式隐式神经表示（INR），编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR，我们提出了动态感知隐式生成对抗网络（DIGAN），一种新的生成对抗网络的视频生成。具体来说，我们介绍了（a）一个基于INR的视频生成器，通过不同地操纵空间和时间坐标来提高运动动态性，以及（b）一个运动跟踪器，可以有效地识别不自然的运动，而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性，以及多个有趣的属性，例如，长视频合成、视频外推和非自回归视频生成。例如，DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%，并且可以在128 x128分辨率的128帧视频上进行训练，比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
MAGICS: Adversarial RL with Minimax Actors Guided by Implicit Critic Stackelberg for Convergent Neural Synthesis of Robot Safety
Department of Electrical and Computer Engineering, Princeton University, USA（电气与计算机工程系，普林斯顿大学）
提出MAGICS对抗强化学习算法，通过隐式Critic Stackelberg引导的Minimax Actor保证局部收敛至minimax均衡，为深度RL机器人安全合成提供收敛保证，并在仿真和四足机器人实验中优于现有方法。
2025-04-27 cs.AI cs.LG cs.RO
OpenAnt: LLM-Powered Vulnerability Discovery Through Code Decomposition, Adversarial Verification, and Dynamic Testing
提出OpenAnt系统，结合静态分析与LLM推理，通过代码分解、对抗性验证和动态测试三阶段流水线，在降低误报率的同时发现未知漏洞。
2026-06-19 cs.CR cs.LG
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
