The Limitations of Adversarial Training and the Blind-Spot Attack
UCLA(加州大学洛杉矶分校);MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校)
Madry等人(2018)提出的对抗性训练过程是在深度神经网络(DNN)中防御对抗性示例的最有效方法之一。在我们的论文中,我们通过展示对抗训练的有效性(测试集上的鲁棒性)与测试点和网络嵌入的训练数据流形之间的距离有很强的相关性,揭示了对抗训练的实用性和难度。距离这个流形相对较远的测试示例更容易受到对抗性攻击。因此,基于对抗性训练的防御容易受到一类新的攻击,即“盲点攻击”,其中输入图像位于训练数据的经验分布的“盲点”(低密度区域)中,但仍然在地面实况数据流形上。对于MNIST,我们发现这些盲点可以很容易地通过简单地缩放和移动图像像素值来找到。最重要的是,对于具有高维和复杂数据流形的大型数据集(CIFAR,ImageNet等),由于维数灾难和训练数据的稀缺性,对抗训练中盲点的存在使得任何有效的测试示例都难以防御。此外,我们发现盲点也存在于可证明的防御中,包括(Wong & Kolter,2018)和(Sinha等人,2018),因为这些可训练的鲁棒性证书只能在有限的训练数据集上进行实际优化。
2019-01-15 cs.CR cs.CV cs.LG
Towards Understanding Limitations of Pixel Discretization Against Adversarial Attacks
Google(谷歌);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
人工神经网络在各个领域的广泛应用使得人们对防御对抗攻击越来越感兴趣。预处理防御方法,如像素离散化是特别有吸引力的,在实践中,由于其简单,低计算开销,并适用于各种系统。据观察,这些方法在MNIST等简单数据集上工作良好,但在最近提出的强大白盒攻击下,在ImageNet等更复杂的数据集上工作失败。为了了解成功的条件和改进的潜力,我们研究了像素离散化防御方法,包括考虑到被离散化的数据集的属性的更复杂的变体。我们的结果再次显示出对强攻击的抵抗力很差。我们在理论框架中分析了我们的结果,并提供了强有力的证据表明,像素离散化不太可能在所有数据集上工作,但最简单的数据集。此外,我们的论点提出的见解,为什么其他一些预处理防御可能是不安全的。
2019-10-03 cs.CR cs.LG cs.NE
Comment on "Biologically inspired protection of deep networks from adversarial attacks"
University of Tübingen(图宾根大学);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
最近的一篇论文表明,通过将网络激活驱动到高度饱和状态,可以保护深度神经网络免受基于梯度的对抗性扰动。在这里,我们分析这样的饱和网络,并表明攻击失败,由于梯度计算的数值限制。梯度估计的简单稳定使得能够成功和有效地攻击。因此,尚待证明的是,在高度饱和的网络中观察到的鲁棒性不仅仅是由于数值限制。
2017-04-05 cs.LG q-bio.NC stat.ML
Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations
Stanford University(斯坦福大学);University of Bremen(不来梅大学);Google Brain(谷歌大脑);Vector Institute(向量研究所);University of Toronto(多伦多大学)
对抗性示例是恶意输入,旨在诱导错误分类。通常研究的基于敏感性的对抗性示例会对输入引入语义上的微小变化,从而导致不同的模型预测。本文研究了一种互补的失败模式,基于不变性的对抗性示例,它引入了最小的语义变化,修改了输入的真实标签,但保留了模型的预测。我们展示了这两种类型的对抗性例子之间的基本权衡。我们发现,防御基于敏感性的攻击,积极损害模型的准确性不变性为基础的攻击,并需要新的方法来抵御这两种攻击类型。特别是,我们通过生成模型(可证明)鲁棒的小扰动来打破最先进的对抗训练和证明鲁棒的模型,但根据人类标签改变输入的类别。最后,我们正式表明,过度不变的分类器的存在产生于标准数据集中过度强大的预测功能的存在。
2020-08-04 cs.CR cs.CV cs.LG
On the Limitation of MagNet Defense against $L_1$-based Adversarial Examples
Yuan Ze University(元智大学);National Chung Hsing University(国立中兴大学);IBM Research(IBM研究院)
近年来,防御对自然样本的对抗性扰动以构建由深度神经网络(DNN)训练的鲁棒机器学习模型已成为深度学习和安全结合的新兴研究领域。特别是,由对手检测器和数据重组器组成的MagNet是迄今为止黑箱遗忘攻击设置中最强大的防御之一,攻击者的目标是从不设防的DNN模型中制作可转移的对抗性示例,以绕过部署在同一DNN模型上的未知防御模块。在这种设置下,MagNet可以成功防御DNN中的各种攻击,包括基于$L_2$失真度量的Carlini和Wagner攻击生成的高置信度对抗性示例。然而,在本文中,在相同的攻击设置下,我们证明了基于$L_1$失真度量的对抗性示例可以轻松绕过MagNet,并误导MNIST和CIFAR-10上的目标DNN图像分类器。我们还解释了为什么所考虑的方法可以产生具有优越攻击性能的对抗性示例,并对MagNet的变体进行了广泛的实验,以验证其对基于$L_1$失真的攻击缺乏鲁棒性。值得注意的是,我们的研究结果大大削弱了MagNet上有效威胁模型的假设,该模型需要在攻击DNN时了解部署的防御技术(即,灰盒攻击设置)。
2018-05-09 cs.CR cs.CV cs.LG
On the Limitations of Denoising Strategies as Adversarial Defenses
Nanjing University(南京大学);Tsinghua University(清华大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);JD AI Research(京东人工智能研究院)
针对机器学习模型的对抗攻击引起了越来越多的关注,许多基于去噪的防御方法已经被提出。本文总结和分析了基于数据去噪和重构的对称变换($F+$ inverse $F$,$F-IF$ Framework)形式的防御策略。特别地,我们从三个方面(即分别在空间域、频域和潜在空间中去噪)对这些去噪策略进行分类。通常,防御是在整个对抗性示例上执行的,图像和扰动都被修改,因此很难判断它如何防御扰动。为了直观地评估这些去噪策略的鲁棒性,我们直接应用它们来防御对抗性噪声本身(假设我们已经获得了所有的噪声),这使我们不必牺牲良性的准确性。令人惊讶的是,我们的实验结果表明,即使在每个维度上的大部分扰动被消除,它仍然很难获得令人满意的鲁棒性。基于上述发现和分析,我们提出了在特征域中对不同频段的自适应压缩策略,以提高鲁棒性。实验结果表明,自适应压缩策略使模型能够更好地抑制对抗性扰动,并提高鲁棒性与现有的去噪策略相比。
2020-12-17 cs.CV cs.LG
A Survey of Robust Adversarial Training in Pattern Recognition: Fundamental, Theory, and Methodologies
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在过去的几十年里,深度神经网络在机器学习、计算机视觉和模式识别方面取得了显着的成功。然而,最近的研究表明,神经网络(包括浅层和深层)可能很容易被某些被称为对抗样本的不可察觉的扰动输入样本所欺骗。近年来,由于神经网络的广泛应用可能会引入现实世界的威胁,因此这种安全漏洞导致了大量的研究。为了解决对抗样本的鲁棒性问题,特别是在模式识别中,鲁棒对抗训练已经成为一种主流。各种想法,方法和应用在该领域蓬勃发展。然而,对对抗性训练的深入理解,包括特征,解释,理论以及不同模型之间的联系仍然难以捉摸。在本文中,我们提出了一个全面的调查,试图提供一个系统的和结构化的调查强大的对抗训练模式识别。我们从基础知识开始,包括对抗性示例的定义、符号和属性。然后,我们介绍了一个统一的理论框架,用于防御对抗性样本-强大的对抗性训练,并对为什么对抗性训练可以导致模型鲁棒性进行可视化和解释。对抗训练和其他传统学习理论之间也将建立联系。在此之后,我们总结,审查和讨论各种方法与对抗攻击和防御/训练算法的结构化方式。最后,对对抗性训练进行了分析、展望和评论。
2022-03-26 cs.CV cs.LG
Token Manipulation Generative Adversarial Network for Text Generation
MaskGAN通过填充给定标记之间的空白来打开条件语言模型的查询。在本文中,我们专注于解决必须指定要填充的空白所造成的限制。我们将条件文本生成问题分解为两个任务,使一个空白和填写空白,并扩展前者处理更复杂的操作给定的令牌。我们将这些任务作为一个分层的多代理RL问题,并引入了一个条件对抗学习,允许代理达到一个目标,在合作环境中产生现实的文本。我们表明,该模型不仅解决了局限性,但也提供了良好的结果,而不影响性能的质量和多样性。
2020-05-11 cs.AI cs.LG stat.ML
Are adversarial examples inevitable?
已经提出了各种各样的防御措施来加强神经网络对对抗攻击的防御。然而,出现了一种模式,即大多数对抗性防御很快被新的攻击打破。鉴于在生成强大防御方面缺乏成功,我们不禁要问一个基本问题:对抗攻击是不可避免的吗?本文从理论的角度分析了对抗性的例子,并确定了分类器对对抗攻击敏感性的基本界限。我们表明,对于某些类别的问题,对抗性的例子是不可避免的。通过实验,我们探索了理论保证对现实世界问题的影响,并讨论了维度和图像复杂性等因素如何限制分类器对对抗性示例的鲁棒性。
2020-02-03 cs.CV cs.LG stat.ML
A Fundamental Accuracy--Robustness Trade-off in Regression and Classification
Sohail Bahmani(索海尔·巴哈米)
研究分类与回归中准确性与对抗鲁棒性的基本权衡,推导出在多项式岭函数下的具体表现,并提出以类似Poincaré常数的量表示的对抗鲁棒性必要条件。
2025-06-28 cs.LG stat.ML
Potential adversarial samples for white-box attacks
University of Waterloo(滑铁卢大学)
深度卷积神经网络极易受到其输入的小扰动的影响,这可能是使用深度网络作为分类器时系统鲁棒性的主要问题或限制。在本文中,我们提出了一种低成本的方法来探索边缘样本数据训练分类器决策边界附近,从而识别潜在的敌对样本。通过找到这样的对抗样本,可以减少对抗攻击算法的搜索空间,同时保持合理的成功扰动率。在我们开发的策略中,潜在的对抗样本仅占测试数据的61%,但实际上涵盖了iFGSM产生的超过82%的对抗样本和CIFAR10上DeepFool成功干扰的92%的对抗样本。
2019-12-13 cs.LG stat.ML
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Liverpool(利物浦大学);University of Information Technology(信息技术大学)
领域自适应是训练强大的深度神经网络的一种潜在方法,它可以处理没有标记数据的情况。更准确地说,领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想,试图根据对抗对象的不同,使训练数据集和测试数据集之间的分布最小化。然而,一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位,或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应(SADDA),它可以克服其他领域自适应方法的局限性。我们还表明,SADDA具有更好的性能比其他对抗性的适应方法,并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Adversarial examples from computational constraints
Microsoft Research(微软研究院);UT Austin(德克萨斯大学奥斯汀分校)
为什么高维分类器容易受到“对抗性”扰动的影响?我们表明,这可能不是由于信息理论的限制,而是它可能是由于计算限制。首先,我们证明,对于一组广泛的分类任务,仅仅存在一个强大的分类器意味着它可以找到一个可能的指数时间算法与相对较少的训练样本。然后,我们给出了一个特定的分类任务,学习一个强大的分类器是计算上棘手的。更确切地说,我们在高维空间中构建了一个二进制分类任务,该任务是(i)理论上易于对大扰动鲁棒学习的信息,(ii)通过简单的线性分离器有效学习(非鲁棒),(iii)即使对于小扰动,也不能通过统计查询(SQ)模型中的任何算法有效鲁棒学习。这个例子给出了统计查询模型中经典学习和鲁棒学习之间的指数分离。这表明,对抗性示例可能是学习算法计算限制的不可避免的副产品。
2018-05-25 cs.CC cs.LG stat.ML
Fundamental Tradeoffs in Distributionally Adversarial Training
University of Southern California(南加州大学);Adobe Research(奥多比研究院)
对抗性训练是提高模型对对抗性扰动的鲁棒性的最有效技术之一。然而,这种方法对模型的全部影响还没有得到很好的理解。例如,虽然对抗性训练可以降低对抗性风险(对对手的预测误差),但有时会增加标准风险(当没有对手时的泛化误差)。更重要的是,这种行为受到学习问题的各种元素的影响,包括训练数据的大小和质量,输入中对抗性扰动的具体形式,模型过度参数化和对手的力量等。在本文中,我们专注于\emph{distribution perturbing}对手的框架,其中对手可以改变测试分布在附近的训练数据分布。通过分布之间的Wasserstein距离定义邻域,并且邻域的半径是对手操纵能力的度量。我们研究了标准风险和对抗风险之间的权衡,并推导出帕累托最优权衡,在特定类别的模型中,在无限数据限制下,特征维度保持固定。我们考虑三种学习设置:1)线性模型类的回归; 2)高斯混合数据模型下的二元分类,线性分类器类; 3)随机特征模型类的回归(可以等效地表示为具有随机第一层权重的两层神经网络)。我们发现,标准和对抗风险之间的权衡表现在所有三种设置。我们进一步描述了Pareto最优的权衡曲线,并讨论了各种因素,如特征相关性,对手的力量或两层神经网络的宽度将如何影响这种权衡。
2021-01-15 cs.LG math.ST stat.ML
Adversarial Attacks on Large Language Models Using Regularized Relaxation
Florida State University(佛罗里达州立大学)
针对离散优化低效与连续优化无法生成有效token的问题,本文提出正则化梯度连续优化对抗攻击方法,速度提升两个数量级并提高攻击成功率。
2024-10-24 cs.AI cs.CL cs.CR
Boosting Exploration in Multi-Task Reinforcement Learning using Adversarial Networks
Google Research(谷歌研究院);Mila, Québec Artificial Intelligence Institute(Mila,魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);CIFAR(加拿大高等研究院);IVADO(IVADO数据价值研究所)
近年来,强化学习(RL)取得了显著的进展。然而,传统训练方法的局限性越来越明显,特别是在元强化学习环境中,智能体面临着新的、看不见的任务。传统的训练方法在这种情况下很容易失败,因为它们需要更强的抗逆境能力。我们提出的多任务强化学习(MT-RL)对抗训练机制解决了RL中传统训练方法的局限性,特别是在代理面临新任务的元RL环境中。对抗性组件挑战智能体,迫使它在动态和不可预测的情况下提高决策能力。该组件的操作不依赖于手动干预或特定于领域的知识,使其成为一个高度通用的解决方案。在多个MT-RL环境中进行的实验表明,对抗性训练可以更好地探索和更深入地理解环境。MT-RL的对抗训练机制为RL代理的训练和开发提供了新的视角,是对该领域的宝贵贡献。
2023-02-06 cs.LG
Strength-Adaptive Adversarial Training
The University of Sydney(悉尼大学);Xidian University(西安电子科技大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学)
对抗训练(AT)被证明可以可靠地提高网络对对抗数据的鲁棒性。然而,具有预先指定的扰动预算的当前AT在学习鲁棒网络方面具有限制。首先,在不同模型容量的网络上应用预先指定的扰动预算将产生自然精度和鲁棒精度之间的鲁棒性差异程度的不同,这偏离了鲁棒网络的要求。第二,对抗性训练数据受预先设定的扰动预算约束,其攻击强度不能随着网络鲁棒性的提高而提高,导致鲁棒过拟合,进一步降低了对抗性鲁棒性。为了克服这些限制,我们提出了\emph{Strength-Adaptive Adversarial Training}(SAAT)。具体而言,对手采用对抗性损失约束来生成对抗性训练数据。在此约束下,扰动预算将根据对抗数据的训练状态进行自适应调整,可以有效避免鲁棒过拟合。此外,SAAT通过对抗损失明确约束训练数据的攻击强度,在训练过程中控制模型容量调度,从而灵活控制鲁棒性差异程度,调整自然精度和鲁棒性之间的权衡。大量的实验表明,我们的建议提高了对抗训练的鲁棒性。
2022-10-04 cs.CR cs.LG
Extensions and limitations of randomized smoothing for robustness guarantees
University College London(伦敦大学学院)
随机平滑是一种在对抗性噪声下证明分类器对输入的决策是不变的方法,与其他认证方法相比具有吸引力的优势。它在黑盒中运行,因此认证不受分类器架构大小的限制。在这里,我们扩展了Li等人的工作。\cite{li2018second},研究平滑措施之间的分歧的选择如何影响最终的鲁棒性保证,以及平滑措施本身的选择如何导致不同威胁模型的保证。为此,我们开发了一种方法来证明对任何$\ell_p$($p\in\mathbb{N}_{>0}$)最小化对抗扰动的鲁棒性。然后,我们证明了一个负面的结果,即随机平滑遭受灾难的维数;作为$p$增加,有效半径周围的输入可以证明消失。
2020-06-07 cs.LG stat.ML
Enforcing Fundamental Relations via Adversarial Attacks on Input Parameter Correlations
Institute of Physics, University of Bonn(波恩大学物理研究所);Bonn-Aachen Institute of Technology, University of Bonn(波恩大学波恩-亚琛技术研究所);Institute of Experimental physics III B, RWTH Aachen University(亚琛工业大学实验物理III B研究所);Institute of Experimental physics III A, RWTH Aachen University(亚琛工业大学实验物理III A研究所)
本文提出随机分布洗牌攻击RDSA,通过扰动输入特征间相关性生成对抗样本,并用于对抗训练,在六类跨学科任务上提升了分类性能。
2025-01-09 cs.LG hep-ex
Learning to Learn from Mistakes: Robust Optimization for Adversarial Noise
Radboud University(拉德堡德大学);Leiden University(莱顿大学)
对对抗性噪声的敏感性阻碍了机器学习算法在安全关键应用中的部署。虽然已经提出了许多对抗性防御,但对抗性噪声的鲁棒性仍然是一个悬而未决的问题。最引人注目的防御,对抗训练,需要大量增加处理时间,它已被证明是过拟合的训练数据。在本文中,我们的目标是通过在低数据状态下训练鲁棒模型并在不同模型之间转移对抗性知识来克服这些限制。我们训练一个元优化器,它学习使用对抗性示例来鲁棒地优化模型,并且能够将学到的知识转移到新模型中,而不需要生成新的对抗性示例。实验结果表明,元优化器在不同的架构和数据集上是一致的,这表明可以自动修补对抗性漏洞。
2020-08-12 cs.CV cs.LG stat.ML
Learning Markov Games with Adversarial Opponents: Efficient Algorithms and Fundamental Limits
Princeton University(普林斯顿大学)
零和博弈中的理想策略不仅应该给予参与者不低于纳什均衡值的平均奖励,而且应该在对手处于次优状态时利用(适应性)对手。虽然大多数现有的作品在马尔可夫博弈专注于前一个目标,它仍然是开放的,我们是否可以同时实现这两个目标。为了解决这个问题,这项工作研究了在马尔可夫博弈中与敌对对手竞争时,事后最好的固定政策的无遗憾学习。沿着这个方向,我们提出了一个新的完整的一套积极和消极的结果:当对手的政策是在每一集结束时,我们提出了新的高效算法实现$\sqrt{K}$ -遗憾的界限时,(1)基线政策类是小的或(2)对手的政策类是小的。当两个条件都不成立时,这是用指数下界来补充的。当对手的政策没有透露,我们证明了统计硬度的结果,即使在最有利的情况下,当上述两个条件都是真的。我们的硬度结果是比现有的硬度结果,要么只涉及计算硬度,或需要进一步的限制的算法更强。
2022-06-14 cs.AI cs.LG stat.ML
Generative Adversarial Nets for Information Retrieval: Fundamentals and Advances
Shanghai Jiao Tong University(上海交通大学)
生成对抗网络(GANs)在深度学习和无监督学习的近期发展中得到了广泛的研究。通过对抗训练机制,GAN设法在判别模型的指导下训练生成模型以拟合潜在的未知真实数据分布,该判别模型估计数据实例是真实的还是生成的。这样的框架最初被提出用于拟合连续数据分布,例如图像,因此它不能直接应用于数据大多是离散的信息检索场景,例如ID,文本和图形。在本教程中,我们将重点讨论GAN技术和各种信息检索场景中离散数据拟合的变体。(i)我们介绍了GAN框架的基本原理及其理论特性;(ii)我们仔细研究了将GAN扩展到离散数据生成的有前途的解决方案;(iii)我们介绍了IR GAN,拟合单ID数据分布的基本GAN框架及其在信息检索上的直接应用;(iv)我们进一步讨论了顺序离散数据生成任务,例如,文本生成,以及相应的GAN解决方案;(v)我们提出了GANs的节点嵌入技术与图形/网络数据拟合的最新工作。同时,我们还介绍了相关的开源平台,如IRGAN和Texygen,以帮助观众进行GANs在信息检索中的研究实验。最后,我们对GANs在信息检索中的应用进行了总结,并对进一步的研究方向进行了展望。
2018-06-10 cs.IR cs.LG
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China(中国人民大学);Tsinghua University(清华大学)
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此,数据库社区和机器学习社区最近研究了使用生成对抗网络(GAN)的关系数据合成的新问题,并提出了各种算法。然而,这些算法没有在同一框架下进行比较,因此从业者很难理解GAN的优点和局限性。为了弥补这一差距,我们进行了迄今为止最全面的实验研究,研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架,并为框架中的每个组件定义了一个设计解决方案空间,包括神经网络架构和训练策略。我们进行了广泛的实验,探索设计空间,并与传统的数据合成方法进行比较。通过大量的实验,我们发现GAN是非常有前途的关系数据综合,并提供指导,选择合适的设计方案。我们还指出了GAN的局限性,并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型,通过强化学习绕过分类器,优化探索与利用平衡,以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
Adversarial Examples and Metrics
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
对抗性示例是对机器学习(ML)系统的一种攻击,它会导致输入的错误分类。实现对抗性示例的鲁棒性对于在现实世界中应用ML至关重要。虽然大多数关于对抗性示例的先前工作都是经验性的,但最近的一系列工作建立了基于加密硬度的鲁棒分类的基本限制。然而,在这一领域的大多数积极和消极的结果假设有一个固定的目标度量约束对手,我们认为,这往往是一个不切实际的假设。在这项工作中,我们研究了鲁棒分类的局限性,如果目标度量是不确定的。具体地说,我们构建了一个分类问题,它承认强大的分类由一个小分类器,如果目标度量是已知的模型训练的时候,但强大的分类是不可能的小分类器,如果目标度量是事后选择。在这个过程中,我们探索了一个新的连接的硬度的鲁棒分类和有界存储模型密码学。
2020-07-15 cs.CR cs.LG
Adversarial Training is a Form of Data-dependent Operator Norm Regularization
ETH Zürich(苏黎世联邦理工学院)
我们在对抗训练和深度神经网络的算子范数正则化之间建立了理论联系。具体来说,我们证明了$\ell_p$ -范数约束的基于投影梯度上升的对抗性训练与干净和扰动输入的logits上的$\ell_q$ -范数损失等价于数据依赖的(p,q)算子范数正则化。这种基本联系证实了长期以来的观点,即网络对对抗性示例的敏感性与其频谱特性有关,并暗示了增强和防御对抗攻击的新方法。我们提供了大量的经验证据,国家的最先进的网络架构,以支持我们的理论结果。
2020-10-23 cs.LG stat.ML
ClueGAIN: Application of Transfer Learning On Generative Adversarial Imputation Nets (GAIN)
许多研究试图使用各种方法来解决缺失数据的问题。其中,生成对抗插补网络(GAIN)首次被用于生成对抗网络(GAN)的数据插补,并取得了良好的效果。随后的研究试图结合各种方法来解决其局限性。本研究首先提出了基于遗传算法的GAIN算法,将迁移学习引入GAIN算法,解决了在高缺失率数据集下插补性能差的问题。ClueGAIN还可用于测量数据集之间的相似性,以探索它们的潜在联系。
2023-02-06 cs.LG
Transformer-based conditional generative adversarial network for multivariate time series generation
时间相关数据的条件生成是一项非常有趣的任务,无论是用于数据增强、情景模拟、完成缺失数据还是其他目的。最近的工作提出了一种基于转换器的时间序列生成对抗网络(TTS-GAN),以解决递归神经网络的局限性。然而,该模型假设单峰分布,并试图围绕真实数据分布的期望生成样本。它的一个局限性是它可能生成一个随机的多变量时间序列;它可能无法在整体分布中存在多个子分量的情况下生成样本。人们可以训练模型来分别适应每个子组件,以克服这种限制。我们的工作扩展了TTS-GAN,通过在特定的编码上下文上调节其生成的输出,允许使用一个模型来拟合具有多个子分量的混合分布。从技术上讲,它是一种条件生成对抗网络,可以在不同类型的条件下对现实的多变量时间序列进行建模,例如分类变量或多变量时间序列。我们在UniMiB数据集上评估我们的模型,该数据集包含使用智能手机收集的人类活动XYZ轴的加速度数据。我们使用定性评估和定量指标,如主成分分析(PCA),我们引入了一个修改版本的弗雷歇初始距离(FID)来衡量我们的模型的性能和生成的和真实的数据分布之间的统计相似性。我们表明,这种基于变换的CGAN可以在不同的条件下产生现实的高维和长的数据序列。
2022-10-05 cs.AI cs.LG
Privacy Risks of Securing Machine Learning Models against Adversarial Examples
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学)
近年来,机器学习模型的攻击和防御之间的军备竞赛已经成为安全社区和隐私社区的前沿。然而,以前的研究的一个很大的局限性是,安全域和隐私域通常被分开考虑。因此,尚不清楚一个领域的防御方法是否会对另一个领域产生任何意想不到的影响。在本文中,我们采取了一个步骤,解决这一限制相结合的两个领域。特别是,我们衡量了六种最先进的防御方法对成员推理攻击的成功,这些方法可以减轻对抗性示例的风险(即,逃避攻击)。成员推断攻击确定单个数据记录是否是模型训练集的一部分。这种攻击的准确性反映了训练算法关于训练集个体成员的信息泄漏。对抗性示例的对抗性防御方法会影响模型的决策边界,使得模型预测在每个输入周围的小区域内保持不变。然而,这个目标是在训练数据上优化的。因此,训练集中的单个数据记录对鲁棒模型有显著影响。这使得模型更容易受到推理攻击。为了执行成员推理攻击,我们利用现有的推理方法,利用模型预测。我们还提出了两个新的推理方法,利用结构特性的强大的模型对不利扰动的数据。我们的实验评估表明,与自然训练(无防御)方法相比,对抗性防御方法确实可以增加目标模型对成员推断攻击的风险。
2019-08-25 cs.CR cs.LG stat.ML
Adversarial and Clean Data Are Not Twins
Auburn University(奥本大学)
对抗攻击给深度神经网络的巨大成功蒙上了阴影。尽管在视觉上与干净的数据几乎相同,但对抗性图像可以以非常高的置信度欺骗深度神经网络进行错误的预测。然而,在本文中,我们证明了我们可以建立一个简单的二元分类器,将对抗性数据与干净数据分开,准确率超过99%。我们还经验表明,二进制分类器是强大的第二轮对抗攻击。换句话说,很难伪装对抗样本以绕过二元分类器。此外,我们实证研究的泛化限制,徘徊在所有当前的防御方法,包括二元分类器的方法。我们假设这是对抗性手工算法的内在属性的结果。
2017-04-17 cs.LG cs.NE
On the Limitations of Stochastic Pre-processing Defenses
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学);Vector Institute(向量研究所);University of Toronto(多伦多大学)
对抗性例子的辩护仍然是一个悬而未决的问题。一个普遍的看法是,推理的随机性增加了寻找对抗性输入的成本。这种防御的一个例子是在将输入馈送到模型之前对输入应用随机变换。在本文中,我们从经验和理论上研究这种随机预处理防御,并证明它们是有缺陷的。首先,我们发现大多数随机防御比以前认为的要弱;它们缺乏足够的随机性来抵御甚至像投影梯度下降这样的标准攻击。这对一个长期存在的假设提出了质疑,即随机防御使旨在逃避确定性防御的攻击无效,并迫使攻击者整合期望转换(EOT)概念。其次,我们表明,随机防御面临着对抗鲁棒性和模型不变性之间的权衡;当防御模型对其随机化获得更多的不变性时,它们变得不那么有效。未来的工作需要将这两种影响分开。我们还讨论了未来研究的意义和指导。
2022-10-11 cs.CR cs.LG
Adversarial Risk via Optimal Transport and Optimal Couplings
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代机器学习算法在对抗性操作的数据上表现不佳。对抗风险量化了分类器在对抗环境中的错误;对抗分类器最小化了对抗风险。在本文中,我们从最优传输的角度分析了对抗风险和对抗分类器。我们证明了具有0-1损失的二进制分类的最优对抗风险由两个类的概率分布之间的最优运输成本决定。我们开发最佳的运输计划(概率耦合)的单变量分布,如正常的,均匀的,和三角分布。我们还在这些设置中获得了最佳对抗分类器。我们的分析导致了对抗风险的算法独立的基本限制,我们为几个真实世界的数据集计算。在凸性和光滑性假设下,我们将结果推广到一般的损失函数。
2020-12-23 cs.IT cs.LG math.IT
Towards Certifiable Adversarial Sample Detection
University of Cambridge(剑桥大学)
卷积神经网络(CNN)被部署在越来越多的分类系统中,但对抗性样本可以被恶意制作来欺骗它们,并正在成为一个真正的威胁。已经有各种各样的建议来提高CNN的对抗鲁棒性,但这些都受到性能惩罚或其他限制。在本文中,我们提供了一种新的方法,形式的可认证的对抗检测方案,可认证的禁忌陷阱(CTT)。该系统可以基于合理的假设,即训练数据具有与测试数据相同的分布,为某些$l_{\infty}$大小提供对抗输入的检测的可证明的保证。我们开发和评估了几个版本的CTT,具有一系列防御能力,训练开销和对抗样本的可认证性。针对具有各种$l_p$规范的攻击者,CTT的性能优于纯粹专注于提高网络鲁棒性的现有防御方法。我们表明,CTT有干净的测试数据,最小的计算开销部署时,小的误报率,并可以支持复杂的安全策略。
2020-02-20 cs.CR cs.LG stat.ML
Coordinated Attacks against Contextual Bandits: Fundamental Limits and Defense Mechanisms
University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Research(微软研究院);Technion(以色列理工学院)
在线推荐系统的动机,我们提出的问题,找到最佳的政策在多任务上下文土匪时,一小部分$α< 1/2$的任务(用户)是任意的和敌对的。其余部分优秀用户与$S$上下文和$A$操作(项)共享相同的上下文强盗实例。当然,用户是好的还是敌对的事先并不知道。我们的目标是鲁棒地学习策略,以尽可能少的用户交互来最大化好用户的奖励。在没有对抗性用户的情况下,协同过滤的既定结果表明,$O(1/ε^2)$每用户交互足以学习一个好的策略,正是因为信息可以在用户之间共享。这种并行化增益从根本上改变了敌对用户的存在:除非有超多项式数量的用户,我们显示了一个下限的$\tildeΩ(\min(S,A) \cdot α^2 / ε^2)$ { \it每用户}的互动学习$ε$的最佳政策的好用户。然后,我们表明,我们可以实现一个$\tilde{O}(\min(S,A)\cdot α/ε^2)$上限,采用有效的鲁棒均值估计单变量和高维随机变量。我们还表明,这可以根据上下文的分布得到改善。
2022-01-30 cs.CR cs.IT cs.LG
Adversarial Examples in Modern Machine Learning: A Review
Element AI(元素人工智能)
最近的研究发现,许多机器学习模型家族都容易受到对抗性示例的影响:输入是专门设计来导致目标模型产生错误输出的。在本调查中,我们专注于视觉领域的机器学习模型,其中用于生成和检测此类示例的方法已得到最广泛的研究。我们探索了各种对抗性攻击方法,适用于图像空间内容,现实世界的对抗攻击,对抗性防御,以及对抗性示例的可转移性。我们还讨论了各种对抗攻击和防御方法的优点和缺点。我们的目标是提供一个广泛的领域覆盖面,提供读者与对抗攻击和防御机制的机制的直观理解,并扩大研究这一基本问题的研究人员的社区。
2019-11-15 cs.AI cs.CR cs.LG
How Wrong Am I? - Studying Adversarial Examples and their Impact on Uncertainty in Gaussian Process Machine Learning Models
机器学习模型容易受到对抗性样本的影响:对输入样本的微小扰动,故意造成错误分类。目前针对对抗性示例的防御,特别是深度神经网络(DNN),主要来自经验发展,其安全保证通常只能追溯性地证明。因此,许多防御依赖于隐藏的假设,这些假设随后被越来越复杂的攻击所颠覆。这并不奇怪:众所周知,深度学习缺乏一个全面的数学框架来提供有意义的保证。在本文中,我们利用高斯过程来研究贝叶斯推理框架中的对抗性示例。在不同的模型和数据集中,我们发现偏差水平的不确定性反映了最先进的攻击(包括对高斯过程的新型白盒攻击)引入到良性样本中的扰动。我们的实验表明,即使是未优化的不确定性阈值在许多情况下也会拒绝对抗性示例。备注:在arXiv:1812.02606(The limitations of model uncertainty in adversarial settings)中完成的修改攻击可以打破模型不确定性。
2019-01-03 cs.CR cs.LG stat.ML
Is Deep Learning Safe for Robot Vision? Adversarial Examples against the iCub Humanoid
University of Cagliari(卡利亚里大学);Pluribus One(Pluribus One 公司);University of Manchester(曼彻斯特大学)
深度神经网络近年来被广泛采用,在多个应用领域表现出令人印象深刻的性能。然而,已经表明,他们可以被对抗性的例子所愚弄,即,图像被一种几乎不可感知的对抗性噪音改变,精心制作以误导分类。在这项工作中,我们的目标是评估体现深度学习算法的机器人视觉系统在多大程度上容易受到对抗性示例的影响,并提出一种基于拒绝异常输入分类的计算有效对策来减轻这种威胁。然后,我们通过直观的实证分析对深度网络的安全属性提供了更清晰的理解,表明此类网络学习的映射本质上违反了学习算法的平滑性假设。最后,我们讨论了这项工作的主要局限性,包括创建真实世界的对抗性示例,并勾勒出有前途的研究方向。
2017-08-23 cs.LG cs.RO stat.ML
Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
CWI Amsterdam(荷兰阿姆斯特丹信息与计算科学研究所);Amsterdam, Netherlands(荷兰阿姆斯特丹)
本文分析了DP-SGD在最坏情况对抗隐私定义下的基本限制,推导了可实现的贸易曲线上界,并证明了小分离度要求高噪声乘数,从而限制了效用。
2026-08-11 cs.CR cs.LG
Improving Adversarial Robustness of Attribution via Implicit Regularization
Department of Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden(瑞典皇家理工学院计算机科学系);Science for Life Laboratory, Stockholm, Sweden(瑞典斯德哥尔摩科学生命实验室);Department of Computer Science, Brown University, USA(美国布朗大学计算机科学系)
本文发现标准随机梯度下降的学习动态可以隐式地提高归因的对抗鲁棒性,并证明在softmax归一化下注意力归因的鲁棒性提升受限,而基于核的注意力可恢复鲁棒性。
2026-05-28 cs.CV cs.LG
Fundamental Limitations in Sequential Prediction and Recursive Algorithms: $\mathcal{L}_{p}$ Bounds via an Entropic Analysis
New York University(纽约大学)
在本文中,我们得到的基本$\mathcal{L}_{p}$界序列预测和递归算法通过熵分析。这两类问题的研究通过调查的基本熵的数据和/或噪声的关系,和派生的下限都可以量化的条件熵表征。我们还从创新的角度研究了类属界限的实现条件。
2021-05-11 cs.IT cs.LG eess.SP
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater(威斯康星大学白水分校)
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题,我们可以更好地理解生成的作品所需的参数,这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
Adversarial domain adaptation to reduce sample bias of a high energy physics classifier
Juelich Supercomputing Center (JSC)(于利希超级计算中心);Institute for Advanced Simulation (IAS)(高级模拟研究所);Research Center Juelich (FZJ)(于利希研究中心);Helmholtz AI(亥姆霍兹人工智能)
我们在无监督设置中应用对抗域自适应,以减少有监督高能物理事件分类器训练中的样本偏差。我们利用一个神经网络包含事件和域分类器与梯度反转层,同时使信号与背景事件分类一方面,而另一方面,最小化的差异,在响应网络的背景样本起源于不同的MC模型通过对抗域分类损失。我们展示了成功的偏差消除的例子模拟事件在LHC与$t\bar{t}H$信号与$t\bar{t}b\bar{b}$背景分类,并讨论了该方法的影响和局限性
2021-08-19 cs.LG hep-ex hep-ph
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University(九州大学)
本文综述了对抗性机器学习中的对抗性攻击分类与理解,并概述现有防御方法的局限性,为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
On Measuring Unnoticeability of Graph Adversarial Attacks: Observations, New Measure, and Applications
KAIST(韩国科学技术院)
针对现有图对抗攻击可察觉性度量易被绕过且依赖全局统计的问题,提出可学习度量 HideNSeek 与边评分器 LEO,提升攻击边识别及鲁棒 GNN 性能。
2025-01-09 cs.AI cs.LG
Closing the Distribution Gap in Adversarial Training for LLMs
Technical University of Munich, Germany(慕尼黑技术大学)
本文提出DAT方法,通过扩散模型近似真实分布,提升大语言模型对抗鲁棒性。
2026-02-18 cs.AI cs.CR cs.LG
Adversarial Machine Learning for Cybersecurity and Computer Vision: Current Developments and Challenges
Purdue University(普渡大学)
我们提供了对抗性机器学习的全面概述,重点关注两个应用领域,即,网络安全和计算机视觉。对抗性机器学习的研究解决了机器学习技术广泛应用的重大威胁-它们容易受到恶意对手精心设计的攻击。例如,深度神经网络无法正确分类对抗性图像,这些图像是通过向干净图像添加不可感知的扰动而生成的。我们首先讨论针对机器学习技术的三大类攻击--中毒攻击、规避攻击和隐私攻击。然后介绍了相应的防御方法以及现有防御方法的不足和局限性。我们注意到网络安全和计算机视觉中的对抗性样本是根本不同的。虽然网络安全中的对抗性样本与训练数据相比通常具有不同的属性/分布,但计算机视觉中的对抗性图像是通过微小的输入扰动创建的。这进一步使鲁棒学习技术的开发复杂化,因为鲁棒学习技术必须承受不同类型的攻击。
2021-06-30 cs.CR cs.LG
Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders
University of Florida, Gainesville, Florida, USA(佛罗里达大学,盖恩斯维尔,佛罗里达州,美国)
本文提出一种无需对抗训练的防御框架,利用量子自编码器净化对抗样本,提升预测准确性,对抗攻击下性能提升达68%。
2026-04-30 cs.LG quant-ph
ECGAN: Self-supervised generative adversarial network for electrocardiography
University of Pisa(比萨大学)
高质量的合成数据可以支持为生物医学任务开发有效的预测模型,特别是在罕见疾病或受到强制性隐私限制时。例如,这些限制对关于心律失常的心电图数据集的开放获取产生负面影响。这项工作介绍了一种自我监督的方法来生成合成心电图时间序列,这被证明是促进形态学的可扩展性。我们的模型(ECGAN)允许调节特定节律异常的生成过程,增强样本之间的同步性和多样性。还定义了专用样本质量评估框架,利用心律失常分类器。实证结果突出了对国家的最先进的生成模型的序列和音频合成的实质性改善。
2023-01-23 cs.LG
Time-series Transformer Generative Adversarial Networks
Imperial College London(帝国理工学院)
许多现实世界的任务都受到数据限制的困扰:在某些情况下,只有很少的数据可用,而在其他情况下,数据受到隐私执行法规(例如GDPR)的保护。我们认为,具体的时间序列数据的限制,并提出了一个模型,可以生成合成的时间序列,可以用来代替真实的数据。生成合成时间序列数据的模型有两个目标:1)捕获实序列的逐步条件分布,以及2)忠实地对整个实序列的联合分布进行建模。通过最大似然估计训练的自回归模型可以用于反馈先前预测并用于预测未来预测的系统中;在这种模型中,误差会随着时间的推移而累积。此外,需要一个合理的初始值,使基于MLE的模型不是真正的生成。许多下游任务学习对时间序列的条件分布进行建模,因此,从生成模型提取的合成数据除了执行2)之外还必须满足1)。我们提出了TsT-GAN,这是一个利用Transformer架构来满足需求的框架,并将其性能与五个数据集上的五个最先进模型进行比较,并表明TsT-GAN在所有数据集上实现了更高的预测性能。
2022-05-23 cs.LG
Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill(统计与运筹学系,北卡罗来纳大学教堂山分校);Department of Mathematics, Purdue University(数学系,普渡大学)
本文提出TART方法,通过利用数据流形几何提升清洁数据准确性,同时保持对抗鲁棒性。
2026-04-16 cs.AI cs.CR cs.LG
Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions
University of Electronic Science and Technology of China(电子科技大学);Monash University(莫纳什大学)
最近,已经开发了对抗攻击方法来挑战机器学习模型的鲁棒性。然而,主流评价标准存在局限性,甚至在不同环境下产生结果差异。通过研究各种攻击算法,包括基于梯度和基于查询的攻击,我们注意到缺乏一个统一的标准,公正的性能评估的共识。因此,我们提出了一个分段采样曲线(PSC)工具包,以有效地解决上述差异,通过在给定范围内的对手之间生成一个全面的比较。此外,方案支助费用工具包提供了平衡计算费用和评价效力的备选办法。实验结果表明,我们的PSC工具包提供了全面的攻击算法的比较,显着减少在实践中的差异。
2021-04-22 cs.CR cs.LG
Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations
Apple(苹果公司);University of Waterloo(滑铁卢大学)
本文系统分析了 Text2SQL 评估中的根本性挑战,指出数据质量与匹配函数偏差两大未解决问题,提出统一局限性分类体系并通过前沿方案与基准进行实证调查,为每类局限性给出缓解策略并讨论部署中的开放挑战。
2025-01-30 cs.DB cs.LG
Adversarially Robust Medical Classification via Attentive Convolutional Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
基于卷积神经网络的医学图像分类器已被证明特别容易受到对抗性示例的影响。这种不稳定性在未来的自动诊断中可能是不可接受的。虽然统计对抗性示例检测方法已被证明是有效的防御机制,但还需要进行更多的研究,以调查基于深度学习的系统的基本漏洞,以及如何最好地构建模型,以最大限度地提高传统和鲁棒的准确性。本文提出了在基于CNN的医学图像分类器中包含注意力机制,作为一种可靠有效的策略,用于在不牺牲的情况下提高鲁棒性准确性。这种方法能够在典型的对抗场景中将鲁棒准确率提高16%,在极端情况下提高2700%。
2022-10-26 cs.CR cs.CV cs.LG
A rapid approach to urban traffic noise mapping with a generative adversarial network
Shenyang Jianzhu University(沈阳建筑大学);National University of Singapore(新加坡国立大学);Dalian University of Technology(大连理工大学)
本文提出一种基于生成对抗网络的城市交通噪声快速制图方法,以道路和建筑物为输入,在Grasshopper中集成工具,帮助规划人员在早期设计阶段快速评估声学影响。
2024-08-31 cs.LG physics.app-ph