Elevating Defenses: Bridging Adversarial Training and Watermarking for Model Resilience
Imperial College London(帝国理工学院);IBM Research Europe(IBM欧洲研究院)
本文提出一个将对抗训练与水印技术集成的新颖框架,通过使用更高扰动预算生成对抗水印以避免两者冲突,从而在抵御模型窃取、剪枝和微调等攻击时提升鲁棒性与所有权验证能力。
2024-01-07 cs.CR cs.LG
Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
Institute for Theoretical Studies(理论研究所);Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
这项工作提供了理论和经验证据,不变性诱导正则化可以提高最坏情况下的空间变换(空间鲁棒性)的预测精度。通过对这些对抗性变换的示例进行评估,我们证明了在标准或对抗性训练之上添加正则化可以将CIFAR10的相对误差降低20%,而不会增加计算成本。这优于那些被明确设计为空间等变的手工网络。此外,我们观察到SVHN,已知具有固有的方向方差,鲁棒训练也提高了测试集的标准准确度。我们证明了这种无权衡现象适用于无限数据极限下变换群的对抗性例子。
2019-06-26 cs.CV cs.LG stat.ML
Adversarial Deep Learning for Online Resource Allocation
The University of Hong Kong(香港大学)
在线算法是算法设计的一个重要分支。设计具有有限竞争比(就最坏情况性能而言)的在线算法可能很难,并且通常依赖于特定于问题的假设。受生成对抗网络(GAN)的对抗训练以及在线算法的竞争率基于最坏情况输入的事实的启发,我们采用深度神经网络从头开始学习资源分配和定价问题的在线算法,目标是离线最佳和学习的在线算法之间的性能差距可以最小化最坏情况输入。具体来说,我们利用两个神经网络分别作为算法和对手,让他们玩一个零和游戏,与对手负责产生最坏情况的输入,而算法学习的基础上提供的输入对手的最佳策略。为了确保算法网络更好地收敛(到所需的在线算法),我们提出了一种新的每轮更新方法来处理顺序决策,以打破不同轮之间的复杂依赖关系,从而可以对每个可能的动作进行更新,而不仅仅是采样动作。据我们所知,我们的工作是第一次使用深度神经网络从最坏情况性能保证的角度设计在线算法。实证研究表明,我们的更新方法确保收敛到纳什均衡和学习算法优于国家的最先进的在线算法在各种设置。
2021-11-19 cs.AI cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
TAPS: Connecting Certified and Adversarial Training
ETH Zurich(苏黎世联邦理工学院)
提出TAPS方法,结合IBP和PGD训练以提供精确的最坏情况损失近似,缓解过度正则化,在多种设置下提升了神经网络的认证准确率和标准准确率。
2023-10-25 cs.LG
Probabilistically Robust Learning: Balancing Average- and Worst-case Performance
University of Pennsylvania(宾夕法尼亚大学);University of California, Berkeley(加州大学伯克利分校)
机器学习的许多成功都是基于最小化平均损失函数。然而,这是众所周知的,这种模式遭受的鲁棒性问题,阻碍其在安全关键领域的适用性。这些问题通常通过针对最坏情况的数据扰动进行训练来解决,这种技术被称为对抗训练。虽然从经验上看是有效的,但对抗性训练可能过于保守,导致名义性能和鲁棒性之间的不利权衡。为此,在本文中,我们提出了一个框架,称为概率鲁棒性,桥梁之间的差距,准确的,但脆弱的平均情况下,强大的,但保守的最坏情况下,强制执行的鲁棒性,而不是所有的扰动。从理论的角度来看,该框架克服了最坏情况和平均情况学习的性能和样本复杂度之间的权衡。从实践的角度来看,我们提出了一种基于风险感知优化的新算法,该算法可以有效地平衡平均和最坏情况下的性能,并且相对于对抗训练而言,计算成本要低得多。我们对MNIST,CIFAR-10和SVHN的研究结果说明了该框架在从平均到最坏情况鲁棒性的频谱上的优势。
2022-06-07 cs.CV cs.LG stat.ML
Attacking Optical Character Recognition (OCR) Systems with Adversarial Watermarks
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Tsinghua University(清华大学)
光学字符识别(OCR)作为一种重要的预处理工具,在实际应用中得到了广泛的应用。在OCR中采用深度神经网络(DNN)会导致对抗性示例的漏洞,这些示例被精心制作以误导威胁模型的输出。与普通的彩色图像不同,印刷文本图像通常具有清晰的背景。然而,现有的大多数对抗攻击生成的对抗样本都不自然,严重污染了背景。为了解决这个问题,我们提出了一种水印攻击方法,以产生自然的失真,伪装的水印和逃避人眼的检测。实验结果表明,水印攻击可以产生一组带有水印的自然对抗样本,在不同的攻击场景下都能获得与现有方法相似的攻击性能。
2020-02-08 cs.CR cs.CV cs.LG
AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization
University of Washington(华盛顿大学);Allen Institute of Artificial Intelligence(艾伦人工智能研究所);University of Utah(犹他大学);Meta AI
通过经验风险最小化(ERM)训练的模型依赖于标签和任务无关输入特征之间的虚假相关性,导致对分布变化的泛化能力差。组分布鲁棒优化(G-DRO)可以通过最小化训练数据上的一组预定义组的最坏情况损失来缓解这个问题。G-DRO成功地提高了相关性不成立的最差组的性能。然而,G-DRO假设虚假相关性和相关的最差组是预先已知的,这使得将其应用于具有潜在的多个未知虚假相关性的新任务具有挑战性。我们提出了AGRO --分布式鲁棒优化的对抗组发现--一种端到端的方法,可以联合识别易出错的组并提高其准确性。AGRO为G-DRO配备了一个对抗切片模型,以找到一个训练样本的组分配,从而最大限度地提高所发现的组的最坏情况损失。在WILDS基准测试中,与G-DRO使用的先前组发现方法相比,AGRO在已知最差组上的平均模型性能高出8%。AGRO还提高了SST 2、QQP和MS-COCO数据集的分布外性能,这些数据集的潜在虚假相关性尚未得到表征。对ARGO组的人类评估表明,它们包含定义明确、但以前未研究过的导致模型误差的虚假相关性。
2022-12-08 cs.AI cs.CL cs.LG
Adversarial Training for Robust Coverage Network under Worst-case Facility Losses
State Key Laboratory of Autonomous Intelligent Unmanned Systems, Beijing Institute of Technology(自主智能无人系统国家重点实验室,北京理工大学);School of AI, Beijing Institute of Technology(北京理工大学人工智能学院)
针对最大覆盖选址-阻断问题,提出基于对抗学习的双智能体深度强化学习框架,实现高效求解与鲁棒决策。
2026-05-26 cs.AI cs.LG
Prepared for the Worst: A Learning-Based Adversarial Attack for Resilience Analysis of the ICP Algorithm
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究学院)
本文提出一种基于学习的对抗性攻击方法,用于在部署前评估ICP算法对激光雷达点云损坏的韧性,通过寻找最大ICP误差来识别脆弱位置,使自主机器人能采取更安全路径,该方法在超过88%的场景中优于基线。
2025-09-09 cs.LG cs.RO
FAWA: Fast Adversarial Watermark Attack on Optical Character Recognition (OCR) Systems
Tsinghua University(清华大学);University of Southern California(南加州大学)
深度神经网络(DNN)显著提高了光学字符识别(OCR)的准确性,并启发了许多重要的应用。不幸的是,OCR也继承了DNN在对抗性示例下的漏洞。与色彩鲜艳的普通图像不同,文本图像通常具有清晰的背景。现有的大多数对抗攻击生成的对抗样本都是不自然的,并且严重污染了背景。为了解决这个问题,我们提出了快速对抗性水印攻击(FAWA)对基于序列的OCR模型的白盒方式。通过将扰动伪装成水印,我们可以使生成的对抗图像在人眼看来很自然,并实现完美的攻击成功率。FAWA与基于梯度或基于优化的扰动生成一起工作。在字母级和单词级攻击中,我们的实验表明,除了自然的外观,FAWA实现了100%的攻击成功率,平均减少了60%的干扰和78%的迭代次数。此外,我们进一步扩展FAWA以支持全色水印,其他语言,甚至OCR精度增强机制。
2020-12-15 cs.CR cs.CV cs.LG
DAFA: Distance-Aware Fair Adversarial Training
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
针对对抗训练放大类别间准确率差异的鲁棒公平性问题,本文提出DAFA,依据类别相似性分配损失权重与对抗裕度,在保持平均鲁棒准确率的同时显著提升最差类别鲁棒准确率。
2024-01-23 cs.AI cs.LG
Principal Eigenvalue Regularization for Improved Worst-Class Certified Robustness of Smoothed Classifiers
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学)
针对深度神经网络鲁棒公平性中平滑分类器最差类别认证鲁棒性研究空白,提出基于平滑混淆矩阵最大特征值优化的正则化方法,经多数据集与架构实验验证可有效提升对应性能。
2025-03-21 cs.LG
Adversarial Attacks on Leakage Detectors in Water Distribution Networks
Bielefeld University(比勒费尔德大学)
该研究针对供水管网机器学习泄漏检测器易受对抗攻击的问题,提出攻击分类体系,聚焦最不敏感点攻击并通过三种算法求解,在两个基准管网完成评估,为提升模型鲁棒性提供支撑。
2023-05-25 cs.CR cs.LG
Generalized Likelihood Ratio Test for Adversarially Robust Hypothesis Testing
University of California Santa Barbara(加州大学圣巴巴拉分校)
众所周知,机器学习模型容易受到对抗性攻击的影响,这些攻击可能会通过引入小但精心设计的扰动来导致错误分类。在本文中,我们考虑了一个经典的假设检验问题,以发展基本的洞察力来抵御这种对抗性扰动。我们解释为一个讨厌的参数的对抗性扰动,并提出了一种防御的基础上应用广义似然比检验(GLRT)得到的复合假设检验问题,共同估计类的兴趣和对抗性扰动。虽然GLRT方法适用于一般的多类假设检验,我们首先评估它的二进制假设检验在白高斯噪声下的$\ell_{\infty}$范数有界对抗扰动,其中一个已知的最坏情况下的攻击的最小最大防御优化提供了一个基准。我们推导出GLRT防御的最坏情况下的攻击,并表明其渐近性能(随着数据维数的增加)接近极大极小防御。对于非渐近制度,我们通过模拟表明,GLRT防御是最坏情况下的攻击与极大极小方法的竞争力,而在较弱的攻击下,产生更好的鲁棒性-准确性权衡。我们还说明了GLRT方法的多类假设检验的问题,其中的极大极小策略是未知的,评估其性能下的噪声不可知和噪声感知的对抗设置,通过提供一种方法来找到最佳的噪声感知攻击,并找到噪声不可知的攻击,接近最佳的高信噪比制度。
2021-12-04 cs.LG stat.ML
Adversarial Embedding: A robust and elusive Steganography and Watermarking technique
University of Luxembourg(卢森堡大学)
我们提出了对抗性嵌入,一种新的隐写和水印技术,在图像中嵌入秘密信息。我们方法的关键思想是使用深度神经网络进行图像分类和对抗攻击,以在图像中嵌入秘密信息。因此,我们使用攻击在图像中嵌入消息的编码,并使用相关的深度神经网络输出来提取它。对抗攻击的关键属性(不可见的扰动、不可转移性、篡改弹性)提供了关于隐藏消息的机密性和完整性的保证。我们使用100多个模型和1,000条消息来实证评估对抗嵌入。我们的研究结果证实,我们的嵌入通过未被人类和隐写分析方法注意到,同时阻止非法检索的消息(小于13%的恢复率时,拦截器有一些知识,我们的模型),并有弹性的软和(在某种程度上)积极的图像篡改(高达100%的恢复率下的JPEG压缩)。我们通过提出一种新型的对抗攻击来进一步发展我们的方法,该攻击将我们方法的嵌入密度(隐藏信息量)提高到每像素10位。
2019-11-14 cs.CR cs.LG
Adversarial Stress Testing of Outlier Detection in Subjective Image Quality Assessment
Department of Computer and Information Science, University of Konstanz, Konstanz, Germany(计算机与信息科学系,康斯坦茨大学,康斯坦茨,德国)
针对主观图像质量评估中异常值检测方法的性能评估缺口,提出通用经验最坏情况框架,验证其能揭示方法的最坏情况表现,还提出低复杂度异常值检测方法,实现出色的最坏情况性能。
2026-09-03 cs.LG cs.MM eess.IV
Manifold Adversarial Learning
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
最近提出的对抗训练方法显示了对抗和原始示例的鲁棒性,并在监督和半监督学习中取得了最先进的结果。所有现有的对抗训练方法都只考虑最坏的扰动样本(即,对抗性示例)可能会影响模型输出。尽管他们的成功,我们认为,这样的设置可能是在缺乏泛化,因为输出空间(或标签空间)显然是信息较少。在本文中,我们提出了一种新的方法,称为流形对抗训练(MAT)。MAT设法根据最严重的扰动如何影响分布流形而不是输出空间来构建一个对抗框架。特别地,首先导出一个高斯混合模型(GMM)的潜在数据空间,一方面,MAT试图以使分布流形粗糙化的方式扰动输入样本。另一方面,训练深度学习模型,试图在潜在空间中提升流形平滑度,通过高斯混合的变化来测量(给定数据点周围的局部扰动)。重要的是,由于潜在空间比输出空间更具信息性,因此所提出的MAT可以更好地学习鲁棒和紧凑的数据表示,从而进一步提高性能。建议MAT是重要的,因为它可以被认为是一个最近提出的判别特征学习方法称为中心损失的超集。我们在三个基准数据集上进行了一系列的监督和半监督学习实验,结果表明,所提出的MAT可以实现显着的性能,远远优于那些最先进的对抗方法。我们还提出了一系列可视化,可以对对抗性示例产生进一步的理解或解释。
2019-11-14 cs.LG stat.ML
Curriculum Adversarial Training
Nanjing University(南京大学);University of Utah(犹他大学);UC Berkeley(加州大学伯克利分校)
最近,深度学习已被应用于许多安全敏感的应用,例如面部认证。对抗性例子的存在阻碍了这种应用。最先进的防御结果表明,对抗性训练可以应用于训练MNIST上的对抗性示例的鲁棒模型;但它未能在更复杂的任务(如CIFAR-10和SVHN)上实现高的经验最差情况准确度。在我们的工作中,我们提出了课程对抗训练(CAT)来解决这个问题。其基本思想是开发一个由具有广泛优势的攻击生成的对抗性示例课程。通过两种技术来减轻遗忘和泛化问题,我们证明了CAT可以在CIFAR-10上提高25%的大幅度经验最差情况准确度,在SVHN上提高35%。同时,该模型在非对抗性输入上的性能与最先进的模型相当。
2018-05-13 cs.CR cs.LG stat.ML
InvZW: Invariant Feature Learning via Noise-Adversarial Training for Robust Image Zero-Watermarking
University of Nebraska at Omaha(内布拉斯加大学奥马哈分校);New Jersey Institute of Technology(新泽西理工学院)
本文提出一种基于不变特征学习的新型深度学习框架,用于鲁棒图像零水印。通过在特征空间中优化学习参考签名,结合噪声对抗学习生成抗干扰且语义丰富的特征,再设计多比特零水印方案实现水印嵌入,实验显示其在特征稳定性和水印恢复方面表现优异。
2026-04-01 cs.CV cs.LG cs.MM
The Dark Side of Digital Twins: Adversarial Attacks on AI-Driven Water Forecasting
Grupo de Ingeniería de Medios Universidad de Extremadura(工程介质小组 维多利亚大学)
本文研究针对AI驱动的水预测数字孪生平台的对抗攻击,提出基于学习自动机的动态扰动方法,显著降低预测准确性并凸显网络安全风险。
2025-04-28 cs.AI cs.CR cs.LG
Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
自然语言生成的最新进展已经引入了具有高质量输出文本的强大语言模型。然而,这引起了人们对可能出于恶意目的滥用此类模型的担忧。在本文中,我们研究自然语言水印作为一种防御,以帮助更好地标记和跟踪文本的出处。我们引入了对抗水印Transformer(AWT),它具有联合训练的编码器-解码器和对抗训练,给定输入文本和二进制消息,生成一个输出文本,该文本使用给定的消息进行了不显眼的编码。我们进一步研究了不同的训练和推理策略,以实现对输入文本的语义和正确性的最小改变。AWT是第一个端到端的模型,它通过自动学习(没有基本事实)单词替换及其位置来隐藏文本中的数据,以便对消息进行编码。我们的经验表明,我们的模型是有效的,在很大程度上保留文本效用和解码的水印,同时隐藏其存在对对手。此外,我们证明了我们的方法对一系列攻击是鲁棒的。
2021-03-29 cs.CL cs.CR cs.CY
Adversarial Robustness Against the Union of Multiple Perturbation Models
IIT Delhi(印度理工学院德里分校);Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
由于深度学习系统对对抗攻击的敏感性,在开发(经验上和可验证的)鲁棒分类器方面已经做了大量工作。虽然大多数工作都是针对单一类型的攻击进行防御,但最近的工作着眼于使用多个攻击的简单聚合来防御多个扰动模型。然而,这些方法可能难以调整,并且可能容易导致对各个扰动模型的鲁棒性的不平衡程度,从而导致联合上的次优最坏情况损失。在这项工作中,我们开发了一个自然的推广标准的基于PGD的程序,将多个扰动模型到一个单一的攻击,采取最坏的情况下,在所有最陡的下降方向。这种方法的优点是直接收敛在不同的扰动模型之间的权衡,最大限度地减少了工会的最坏情况下的性能。通过这种方法,我们能够训练标准体系结构,这些体系结构同时对$\ell_\infty$、$\ell_2$和$\ell_1$攻击具有鲁棒性,在MNIST和CIFAR10数据集上的性能优于过去的方法,并实现了47.0%的对抗准确度。($\ell_\infty$,$\ell_2$,$\ell_1$)扰动,其半径=(0.03,0.5,12),改进了先前的方法,其实现了40.6%的准确度。
2020-07-28 cs.AI cs.LG stat.ML
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab(腾讯人工智能实验室)
近年来,针对自动说话人确认系统的对抗性攻击引起了广泛的关注,因为它们对自动说话人确认系统构成了严重的威胁。然而,防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外,对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交,这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击,而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器,并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性,我们分析了各种不可见攻击设置的影响,并观察到检测器对不可见替代ASV系统具有鲁棒性(最坏情况下的EER_{det}退化为6.27%),但对不可见扰动方法具有较弱的鲁棒性(最坏情况下的EER_{det}退化为50.37%)。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
Adversarially Robust Classification based on GLRT
University of California Santa Barbara(加州大学圣巴巴拉分校)
机器学习模型容易受到对抗性攻击,这些攻击通常会通过引入小但精心设计的扰动来导致错误分类。在本文中,我们探索,在经典的复合假设检验的设置,基于广义似然比检验(GLRT),联合估计的类的兴趣和敌对扰动的防御策略。我们评估的GLRT方法的特殊情况下,在白高斯噪声下的二进制假设检验$\ell_{\infty}$范数有界的对抗扰动,一个最坏情况下的攻击优化的极大极小策略的设置是已知的。我们表明,GLRT方法产生的性能竞争力的最坏情况下的攻击下的极大极小的方法,并观察到它产生了更好的鲁棒性-准确性权衡较弱的攻击下,取决于信号分量的值相对于攻击预算。我们还观察到,GLRT防御自然推广到更复杂的模型,最佳的极大极小分类器是未知的。
2020-11-16 cs.CR cs.LG stat.ML
Compositional Adversarial Training for Robust Visual Watermarking
University of Maryland(马里兰大学)
本文提出了一种组合对抗训练(CAT)框架,通过在结构化空间中构建组合转换的min-max问题,提升视觉水印的鲁棒性,实验表明其在多种攻击设置下优于随机增强基线。
2026-05-16 cs.CV cs.LG
New CleverHans Feature: Better Adversarial Robustness Evaluations with Attack Bundling
Google AI(谷歌人工智能)
本技术报告介绍了CleverHans库的一项新功能,称为“攻击捆绑”。许多关于对抗性例子的论文给出了对应于不同攻击算法的出错率列表。一种常见的方法是在这个列表中取最大值,并比较针对该出错率的防御。我们认为,一个更好的方法是使用攻击捆绑:最大值应采取在许多例子的水平上的个别例子,然后出错率应计算平均后,这个最大化操作。报告捆绑的攻击者出错率提供了真实最坏情况出错率的下限。当攻击的数量接近无穷大时,报告攻击之间的最大出错率的传统方法可能会将真实的最坏情况出错率低估接近100%。攻击捆绑可以与不同的优先级方案一起使用,以优化诸如对抗性示例上的出错率、导致错误分类所需的扰动大小或使用特定置信度阈值时的失败率等数量。
2018-11-08 cs.AI cs.CR cs.LG
Deep Minimax Probability Machine
University of Electronic Science and Technology of China(电子科技大学);Tencent(腾讯);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Peng Cheng Laboratory(鹏城实验室)
深度神经网络具有强大的代表性,并已在许多应用中证明是有效的。然而,最近的进展表明,深度神经网络容易受到所谓的对抗性示例所引发的对抗攻击的影响。尽管对抗样本与输入样本只有轻微的不同,但神经网络会将其分类为错误的类。为了缓解这个问题,我们提出了深度极小极大概率机(DeepMPM),它以端到端的方式将MPM应用于深度神经网络。在最坏的情况下,MPM试图最小化误分类概率的上限,考虑全局信息(即,每个类别的平均值和协方差信息)。DeepMPM可以更强大,因为它学习了未来数据错误分类概率的最坏情况界限。在两个真实世界数据集上的实验可以实现与CNN相当的分类性能,同时可以对对抗攻击更具鲁棒性。
2019-11-20 cs.LG stat.ML
Affine-Invariant Robust Training
对抗鲁棒性在机器学习中引起了极大的关注。与训练在平均情况下准确的模型的常见方法相反,它旨在训练对最坏情况输入准确的模型,因此它产生更鲁棒和可靠的模型。换句话说,它试图防止对手欺骗模型。对抗鲁棒性的研究主要集中在$\ell_p-$有界对抗扰动上,即输入的修改,在某些$\ell_p$范数中有界。然而,已经表明,最先进的模型也容易受到其他更自然的扰动,如仿射变换,这已经在数据增强中的机器学习中得到了考虑。本计画回顾先前在空间稳健性方法上的工作,并提出演化策略作为零阶最佳化演算法,以找出每一输入的最差仿射变换。所提出的方法有效地产生鲁棒模型,并允许引入非参数对抗扰动。
2020-10-08 cs.LG cs.NE stat.ML
Adversarial Robustness of Deep Learning Models for Inland Water Body Segmentation from SAR Images
Graphics-Visualization-Computing Lab, International Institute of Information Technology Bangalore, Karnataka 560100, India(国际信息学院信息技术研究所,班加罗尔,卡纳塔克邦,印度);Department of Electronics and Communication Engineering, Manipal Institute of Technology, Manipal Academy of Higher Education, Manipal, Karnataka 576104, India(电子与通信工程系,曼尼普尔理工学院,曼尼普尔高等教育学院,曼尼普尔,卡纳塔克邦,印度)
本文通过对抗攻击模拟SAR图像人工标注错误,研究U-Net内陆水体分割模型对标签噪声的鲁棒性,发现其能容忍一定程度的污染,并公开了代码、数据集和对抗样本。
2025-05-06 cs.AI cs.CV cs.LG
Improving Certified Robustness via Adversarial Distillation
School of EEECS Queen’s University Belfast(贝尔法斯特女王大学电子、电气工程与计算机科学学院)
提出AD-CERT方法,结合对抗蒸馏与区间传播上界进行认证训练,在多个鲁棒性基准上取得最优认证性能,并证明logit级蒸馏优于特征空间蒸馏。
2026-10-12 cs.AI cs.LG
Holistic Adversarial Robustness of Deep Learning Models
IBM Research(IBM研究院);Michigan State University(密歇根州立大学)
对抗鲁棒性研究机器学习模型的最坏情况性能,以确保安全性和可靠性。随着基于深度学习的技术的普及,与模型开发和部署相关的潜在风险可能会被放大,并成为可怕的漏洞。本文全面概述了深度学习模型对抗鲁棒性的研究主题和研究方法的基本原理,包括攻击、防御、验证和新应用。
2023-01-05 cs.AI cs.CR cs.LG
Focus on Hiders: Exploring Hidden Threats for Enhancing Adversarial Training
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对对抗训练仅关注最坏对抗样本引发的模型交替混淆问题,该研究定义了隐藏高风险的“hiders”样本,提出HFAT算法结合迭代进化优化、辅助模型揭示及自适应加权机制,同时提升模型准确率与鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification
Sharif University of Technology(谢里夫理工大学)
与标准模型相比,对抗性训练往往会导致模型在自然(未受干扰)示例上的准确性较低。这可以归因于算法缺陷或训练数据分布的基本属性,其允许最佳标准和对抗分类器的不同解决方案。在这项工作中,我们专注于后一种情况下的二进制高斯混合分类问题。与早期的工作不同,我们的目标是推导出最佳贝叶斯和对抗分类器之间的自然准确性差距,并研究不同分布参数的影响,即类质心,类比例和协方差矩阵之间的分离,对推导出的差距。我们表明,在某些条件下,最佳对抗分类器的自然误差,以及差距,局部最小化时,类是平衡的,矛盾的贝叶斯分类器的性能,其中完美的平衡导致最差的准确性。此外,我们表明,与$\ell_\infty$有界扰动和$ε$的对抗预算,这个差距是$Θ(ε^2)$的最坏情况下的参数,这对于适当的小$ε$表明理论上的可能性,实现强大的分类器,接近完美的精度,这是很少反映在实际算法。
2021-07-01 cs.AI cs.LG
Explaining and Harnessing Adversarial Examples
Google Inc.(谷歌公司)
几个机器学习模型,包括神经网络,一贯错误分类对抗性的例子--通过对数据集中的例子施加小的但故意的最坏情况的扰动而形成的输入,使得扰动的输入导致模型输出具有高置信度的错误答案。早期试图解释这一现象的重点是非线性和过拟合。相反,我们认为神经网络对对抗性扰动的脆弱性的主要原因是它们的线性性质。这一解释得到了新的定量结果的支持,同时给出了关于它们最有趣的事实的第一个解释:它们在架构和训练集上的泛化。此外,这种观点产生了一种简单而快速的生成对抗性示例的方法。使用这种方法为对抗训练提供示例,我们减少了MNIST数据集上maxout网络的测试集错误。
2015-03-20 cs.LG stat.ML
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Xidian University(西安电子科技大学);Tsinghua University(清华大学)
本文针对LLM水印方案在对抗攻击下鲁棒性研究空白,系统梳理并分类水印与攻击,通过87个场景评估8种水印和12种攻击,揭示现有技术脆弱性并强调开发更鲁棒方案的必要性。
2024-11-28 cs.AI cs.CL cs.CR
Certifiably Adversarially Robust Detection of Out-of-Distribution Data
University of Tübingen(蒂宾根大学)
众所周知,深度神经网络在应用于明显不属于任何类的分布外(OOD)输入时会过度自信。这在安全关键应用中是一个问题,因为分类器的不确定性的可靠评估是一个关键属性,允许系统触发人为干预或转换到安全状态。在本文中,我们的目标是可证明的最坏情况下保证OOD检测不仅在OOD点,而且在$l_\infty$ -球周围的低置信度。为此,我们使用区间边界传播(IBP)的上限最大置信度在$l_\infty$ -球,并在训练时间内最小化这个上限。我们表明,在训练时看到的OOD数据集之外的OOD数据概括的置信度的非平凡界限是可能的。此外,与通常伴随着预测性能显著损失的认证对抗鲁棒性相比,最坏情况OOD检测的认证保证是可能的,而不会损失太多的准确性。
2021-03-10 cs.CV cs.LG stat.ML
CgAT: Center-Guided Adversarial Training for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology Shenzhen Research Institute(香港科技大学深圳研究院)
深度哈希算法由于其高效性和有效性,在海量图像检索中得到了广泛的应用。然而,深度哈希模型容易受到对抗性示例的攻击,因此开发对抗性防御方法用于图像检索至关重要。现有的解决方案实现了有限的防御性能,因为使用弱对抗性样本进行训练,并且缺乏区分性优化目标来学习鲁棒特征。在本文中,我们提出了一种基于最小-最大值的中心引导对抗训练,即CgAT,通过最差的对抗示例来提高深度哈希网络的鲁棒性。具体来说,我们首先制定的中心代码作为一个语义的歧视性代表的输入图像内容,它保留了语义相似性与积极的样本和不相似性与消极的例子。我们证明了一个数学公式可以立即计算出中心码。在深度哈希网络的每次优化迭代中获得中心码后,采用它们来指导对抗训练过程。一方面,CgAT通过最大化对抗样本的哈希码与中心码之间的汉明距离来生成最差的对抗样本作为增强数据。另一方面,CgAT通过最小化到中心码的汉明距离来学习减轻对抗样本的影响。在基准数据集上的大量实验证明了我们的对抗性训练算法在防御基于深度哈希的检索的对抗攻击方面的有效性。在FLICKR-25 K、NUS-WIDE和MS-COCO上,与当前最先进的防御方法相比,防御性能平均提高了18.61%、12.35%和11.56%。该代码可在https://github.com/xunguangwang/CgAT上获得。
2023-03-25 cs.AI cs.CR cs.CV
Learning atomic forces from uncertainty-calibrated adversarial attacks
Hylleraas Centre for Quantum Molecular Sciences(海利拉斯量子分子科学中心);Department of Chemistry, University of Oslo(奥斯陆大学化学系);The Njord Centre, Department of Physics, University of Oslo(尼尔德中心,奥斯陆大学物理系)
提出校准对抗几何优化算法,通过不确定性校准生成具有用户指定误差的对抗结构,结合主动学习仅用数百个训练结构即可稳定训练机器学习原子间势并收敛水的多种性质。
2025-05-20 cs.LG physics.comp-ph
Certifying Some Distributional Robustness with Principled Adversarial Training
Stanford University(斯坦福大学);Istituto Italiano di Tecnologia(意大利理工学院)
神经网络容易受到对抗性样本的攻击,研究人员提出了许多启发式攻击和防御机制。我们通过分布式鲁棒优化的原则镜头来解决这个问题,这保证了在对抗性输入扰动下的性能。通过考虑一个拉格朗日惩罚公式扰动的基础数据分布在一个Wasserstein球,我们提供了一个训练过程,增加模型参数更新与最坏情况下的扰动训练数据。对于平滑损失,我们的程序可证明达到中等水平的鲁棒性,相对于经验风险最小化,计算或统计成本很小。此外,我们的统计保证使我们能够有效地证明种群损失的鲁棒性。对于不可察觉的扰动,我们的方法匹配或优于启发式方法。
2020-05-01 cs.LG stat.ML
Optimal Provable Robustness of Quantum Classification via Quantum Hypothesis Testing
ETH Zürich(苏黎世联邦理工学院);Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University Joint Institute(上海交通大学密歇根学院);University of Illinois(伊利诺伊大学)
与经典模型相比,量子机器学习模型有可能提供加速和更好的预测准确性。然而,这些量子算法,像他们的经典同行,已被证明也容易受到输入扰动,特别是分类问题。这些可能来自噪声实现,或者作为最坏情况的噪声类型,对抗性攻击。为了开发防御机制并更好地了解这些算法的可靠性,了解它们在自然噪声源或对抗性操纵存在下的鲁棒性至关重要。从量子分类算法中涉及的测量自然是概率的观察,我们发现并形式化了二进制量子假设检验和可证明的鲁棒量子分类之间的基本联系。这种联系导致了一个严格的鲁棒性条件,它对分类器可以容忍的噪声量进行了限制,而与噪声源是自然的还是对抗性的无关。基于这一结果,我们开发了实用的协议,以最佳地证明鲁棒性。最后,由于这是针对最坏情况类型的噪声的鲁棒性条件,因此我们的结果自然扩展到噪声源已知的场景。因此,我们还提供了一个框架来研究量子分类协议的可靠性,超越了对抗性,最坏情况的噪声场景。
2021-05-26 cs.CR cs.LG quant-ph
Confusing and Detecting ML Adversarial Attacks with Injected Attractors
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Bioinformatics Institute, A*STAR(新加坡科技研究局生物信息学研究所);Image and Pervasive Access Lab (IPAL), CNRS UMI 2955(法国国家科学研究中心图像与普适计算实验室(IPAL));Singapore Eye Research Institute(新加坡眼科研究所)
许多机器学习对抗攻击通过显式或隐式地遵循某些攻击目标函数的梯度来找到受害者模型${\mathcal M}$的对抗性样本。为了混淆和检测这种攻击,我们采取了主动的方法,修改这些函数,目的是将攻击误导到一些局部最小值,或者一些指定的区域,这些区域可以很容易地被分析器拾取。为了实现这一目标,我们建议添加大量的文物,我们称之为$attractors$,否则平滑的功能。吸引子是输入空间中的一个点,在其邻域中的样本具有指向它的梯度。我们观察到,水印方案的解码器表现出吸引子的属性,并给出了一个通用的方法,从水印解码器注入到受害者模型${\mathcal M}$的吸引子。这种原则性的方法使我们能够利用已知的水印方案的可扩展性和鲁棒性,并提供解释的结果。实验研究表明,我们的方法具有竞争力的性能。例如,对于CIFAR-10数据集上的非目标攻击,我们可以将DeepFool的整体攻击成功率降低到1.9%,而已知的防御LID,FS和MagNet可以分别将其降低到90.8%,98.5%和78.5%。
2021-03-08 cs.CR cs.LG
Bayesian Inference with Certifiable Adversarial Robustness
University of Oxford(牛津大学)
我们通过贝叶斯学习的视角来考虑深度神经网络的对抗训练,并提出了一个具有可证明保证的贝叶斯神经网络(BNN)对抗训练的原则性框架。我们依赖于非凸优化问题的约束松弛技术,并修改标准的交叉熵误差模型,以加强对输入点周围$ε$球中最坏情况扰动的后验鲁棒性。我们说明了如何得到的框架可以结合常用的近似推理的BNN的方法。在实证调查中,我们证明了所提出的方法可以在MNIST,FashionMNIST和CIFAR-10上训练可证明的鲁棒模型,并且也有利于不确定性校准。我们的方法是第一个直接训练可认证的BNN,从而促进他们的部署在安全关键的应用程序。
2021-02-23 cs.CR cs.LG
Watch out! Motion is Blurring the Vision of Your Deep Neural Networks
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Kyushu University(九州大学);Tianjin University(天津大学)
最先进的深度神经网络(DNN)容易受到具有加性类随机噪声扰动的对抗性示例的攻击。虽然这样的例子在物理世界中几乎找不到,但是另一方面,由对象运动引起的图像模糊效应在实践中通常发生,使得对其的研究非常重要,特别是对于广泛采用的实时图像处理任务(例如,目标检测、跟踪)。在本文中,我们首先全面研究了由物体运动引起的DNN模糊效应的潜在危害。我们提出了一种新的对抗攻击方法,可以生成视觉上自然的运动模糊对抗示例,命名为基于运动的对抗模糊攻击(ABBA)。为此,我们首先制定了基于内核预测的攻击,其中输入图像以像素方式与内核卷积,并且通过调整内核权重来实现误分类能力。为了生成视觉上更自然和合理的例子,我们进一步提出了显着性正则化对抗核预测,其中显着区域作为移动对象,预测的核被正则化以实现自然的视觉效果。此外,通过自适应调整目标和背景的平移,进一步增强了攻击。对NeurIPS的17个对抗性竞争数据集的综合评估通过考虑各种内核大小、平移和区域来证明ABBA的有效性。深入的研究进一步证实,与其他模糊方法相比,我们的方法对最先进的基于GAN的去模糊机制表现出更有效的穿透能力。我们将代码发布到https://github.com/tsingqguo/ABBA。
2020-11-09 cs.CV cs.LG
Adversarial Risk and the Dangers of Evaluating Against Weak Attacks
DeepMind(深度思维)
本文研究了最近提出的防御对抗性示例和评估对抗性鲁棒性的方法。我们激励“对抗性风险”作为实现对最坏情况输入具有鲁棒性的模型的目标。然后,我们将常用的攻击和评估指标定义为真实对抗风险的易处理替代目标。这表明模型可能会优化这个替代品,而不是真正的对抗风险。我们将这个概念形式化为“对对手的模糊性”,并开发工具和算法来识别模糊模型和设计透明模型。我们证明了这是一个重要的问题,在实践中重新利用梯度自由优化技术到对抗攻击,我们用它来降低最近提出的几个防御的准确性接近零。我们希望我们的配方和结果将帮助研究人员开发更强大的防御。
2018-06-12 cs.CR cs.LG stat.ML
Adversarial Attack Generation Empowered by Min-Max Optimization
University of Toronto(多伦多大学);Vector Institute(向量研究所);Cleveland State University(克利夫兰州立大学);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of California Irvine(加利福尼亚大学尔湾分校);Syracuse University(雪城大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最大化最大对抗损失的最坏情况训练原则,也称为对抗训练(AT),已被证明是增强对抗鲁棒性的最先进方法。然而,超出AT目的的最小-最大优化尚未在对抗环境中进行严格探索。在本文中,我们展示了如何利用多个域的最小-最大优化的一般框架来推进不同类型的对抗攻击的设计。特别地,给定一组风险源,最小化最坏情况下的攻击损失可以通过引入在域集合的概率单纯形上最大化的域权重来重新表述为最小-最大问题。我们在三个攻击生成问题中展示了这个统一的框架-攻击模型集合,在多个输入下设计通用扰动,以及制作对数据转换有弹性的攻击。大量的实验表明,我们的方法导致显着的攻击改进现有的启发式策略,以及鲁棒性的提高,对多种扰动类型的训练是强大的最先进的防御方法。此外,我们发现,从我们的最小-最大框架学习的自调整域权重可以提供一个整体的工具来解释跨域攻击的难度水平。代码可在https://github.com/wangjksjtu/minmax-adv上获得。
2021-11-01 cs.CR cs.CV cs.LG
ATRO: Adversarial Training with a Rejection Option
RIKEN(理化学研究所);Waseda University(早稻田大学)
本文提出了一种带有拒绝选项的分类框架,以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能,但它们在经验上容易受到对抗性示例的影响,这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中,使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此,提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一,它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击,本文提出了带有拒绝选项的对抗训练方法(ATRO)。将对抗训练目标同时应用于分类器和拒绝函数,当ATRO训练的分类器对测试数据点分类的置信度不足时,可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性,并建立了线性模型的泛化界。此外,我们使用各种模型和真实世界的数据集,从经验上证实了ATRO的有效性。
2020-10-24 cs.LG stat.ML
Expressive Losses for Verified Robustness via Convex Combinations
Imperial College London(伦敦帝国学院);University of Oxford(牛津大学);Inria(法国国家信息与自动化研究所);École Normale Supérieure(高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Google DeepMind(谷歌DeepMind)
本文提出通过凸组合构造表达性损失,以单参数调节最坏情况损失的上下界权衡,在多种设置下取得最先进的可验证鲁棒性,并揭示近似精度与权衡优劣的非必然关联。
2024-03-18 cs.CR cs.LG stat.ML
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology(佐治亚理工学院)
在训练过程中注入对抗性示例,称为对抗性训练,可以提高对单步攻击的鲁棒性,但对未知的迭代攻击则不行。为了应对这一挑战,我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发,我们提出了级联对抗训练,它转移了对抗训练最终结果的知识。我们从零开始训练网络,除了从正在训练的网络中注入一步对抗图像外,还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级(像素级)相似性学习,以忽略未知的像素级扰动。在训练过程中,我们注入对抗图像,而不替换它们相应的干净图像,并惩罚两个嵌入(干净和对抗)之间的距离。实验结果表明,级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性,但对一步攻击的鲁棒性下降。我们表明,结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University(东北大学);Zhejiang University(浙江大学);Aalborg University(奥胡斯大学)
TCRL通过引入时序耦合对抗训练框架,解决传统方法在处理时序耦合扰动时的不足,提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
对抗性训练产生针对特定威胁模型的鲁棒模型,例如,$L_\infty$对抗性示例。通常,鲁棒性不会推广到以前看不见的威胁模型,例如,其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练(CCAT)通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例,鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性,并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估,我们开发了新的白盒和黑盒攻击,通过最大化置信度直接攻击CCAT。对于每种威胁模型,我们使用$7$攻击,最多$50$重启和$5000$迭代,并报告最坏情况下的鲁棒测试错误,扩展到我们的置信阈值设置,在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
RIGA: Covert and Robust White-Box Watermarking of Deep Neural Networks
Harvard University(哈佛大学);University of Waterloo(滑铁卢大学)
一旦数据所有者发布,深度神经网络(DNN)的水印就可以对其进行跟踪。在本文中,我们推广了DNN的白盒水印算法,其中数据所有者需要白盒访问模型来提取水印。白盒水印算法具有不影响水印模型精度的优点。我们提出了鲁棒白盒GAN水印(RIGA),一种新的白盒水印算法,使用对抗训练。实验结果表明,该算法不仅不影响水印的准确性,而且在隐蔽性和鲁棒性方面都有了很大的提高。
2021-02-14 cs.CR cs.LG stat.ML