Is PGD-Adversarial Training Necessary? Alternative Training via a Soft-Quantization Network with Noisy-Natural Samples Only
对抗攻击和防御的最新研究表明,PGD是一种通用的$l_\infty$一阶攻击,PGD对抗性训练可以显着提高网络对各种一阶$l_\infty$有界攻击的鲁棒性,代表了最先进的防御方法。然而,PGD对抗训练的一个明显弱点是其在生成对抗样本时的高计算成本,这使得它在计算上不适用于大型和高分辨率的真实数据集,如ImageNet数据集。此外,最近的工作也提出了一个简单的“封闭形式”的解决方案,一个强大的模型MNIST。因此,一个自然的问题是,PGD对抗训练对于强大的防御真的是必要的吗?在本文中,我们给出了否定的答案,提出了一种训练范式,该范式与几个标准数据集上的PGD对抗训练相当,同时只使用噪声自然样本。具体来说,我们通过一个问题来重新制定PGD对抗训练中的最小-最大目标,以最小化原始网络损失加上其梯度w.r.t.的$l_1$范数。输入。对于$l_1$ -范数损失,我们提出了一个计算上可行的解决方案,通过在网络输入层之后嵌入可微软量化层。我们正式表明,用噪声自然样本训练的软量化层是一种替代方法,可以像PGD对抗训练一样最小化$l_1$梯度范数。在标准数据集上进行的广泛的实证评估表明,我们提出的模型与PGD和BPDA攻击下的PGD对抗训练模型相当。值得注意的是,我们的方法在MNIST上实现了24倍的加速,同时保持了相当的防御能力,并且首次在两天内微调了一个强大的Imagenet模型。代码见\u…
2018-10-19 cs.LG stat.ML
Adversarial Robustness Assessment: Why both $L_0$ and $L_\infty$ Attacks Are Necessary
Kyushu University(九州大学)
针对各种类型的机器学习算法,存在大量的对抗攻击和防御,这使得评估算法的鲁棒性成为一项艰巨的任务。更糟糕的是,这些对抗性算法中存在固有的偏见。在这里,我们组织了面临的问题:a)模型依赖性,b)评估不足,c)虚假对抗样本,d)扰动依赖结果。在此基础上,我们提出了一个模型无关的双重质量评估方法,连同鲁棒性水平的概念来解决它们。我们验证了最先进的神经网络(WideResNet,ResNet,AllConv,DenseNet,NIN,LeNet和CapsNet)的双重质量评估以及图像分类问题的对抗性防御。我们进一步表明,目前的网络和防御是脆弱的,在所有级别的鲁棒性。所提出的鲁棒性评估表明,根据所使用的度量(即,$L_0$或$L_\infty$),则鲁棒性可以显著变化。因此,要正确评价,就必须考虑到这种二重性。此外,数学推导以及反例表明,单独使用$L_1$和$L_2$度量不足以避免虚假对抗样本。有趣的是,所提出的评估的阈值攻击是一种新的$L_\infty$黑盒对抗方法,其需要比单像素攻击更少的扰动(仅为单像素攻击的扰动量的$12\%$)来实现类似的结果。代码可在http://bit.ly/DualQualityAssessment上获得。
2020-07-16 cs.CR cs.CV cs.LG
A Geometric Perspective on the Transferability of Adversarial Directions
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
最先进的机器学习模型经常对以对抗方式扰动的输入进行错误分类。针对给定输入和特定分类器生成的对抗性扰动通常似乎对其他输入甚至不同的分类器有效。换句话说,对抗性扰动似乎在不同的输入、模型甚至不同的神经网络架构之间转移。在这项工作中,我们证明了在线性分类器和双层ReLU网络的背景下,可以证明存在同时引起许多分类器和数据点对抗性扰动的方向。我们证明了这些“可转移的对抗方向”对于给定集合的线性分离器是保证存在的,并且对于在来自相同分布的独立集合上训练的线性分类器将以很高的概率存在。我们将我们的结果扩展到大类的双层ReLU网络。我们进一步表明,ReLU网络的对抗方向转移到线性分类器,而相反的方向不需要保持,这表明更复杂模型的对抗扰动更有可能转移到其他分类器。我们通过经验验证了我们的发现,即使是更深层次的ReLU网络。
2018-11-08 cs.LG stat.ML
A Geometric Framework for Adversarial Vulnerability in Machine Learning
University of Arizona(亚利桑那大学)
本文提出一个基于 Ricci 曲率与持久性的几何框架,旨在理解神经网络的对抗脆弱性,并发展双线性映射表示等新工具,以支持对抗攻击的猜想与理论分析。
2024-07-03 cs.CR cs.LG stat.ML
Generative Adversarial Networks for geometric surfaces prediction in injection molding
Savoie Mont Blanc University(萨瓦勃朗峰大学);InModelia(InModelia公司)
几何和外观质量要求限制了注塑成型的当前工业性能。为了保证产品的质量,有必要在闭环中调整工艺设置。这些调整不能依赖于最终的质量,因为零件需要几天的时间才能达到几何稳定。因此,最终的零件几何形状必须从热零件上的测量来预测。在本文中,我们使用最近成功的生成对抗网络(GAN)与pix2pix网络架构来预测最终的零件几何形状,只使用热零件热成像图像,在生产后立即测量。我们的数据集非常小,GAN学会将热成像转换为几何图形。我们首先研究预测性能,使用不同的图像相似性比较算法。此外,我们介绍了离散模态分解(DMD)的创新使用来分析网络预测。DMD是一种几何参数化技术,使用模态空间投影来几何地描述表面。我们研究了GAN检索曲面几何参数化的性能。
2019-01-29 cs.CV cs.LG stat.ML
Latent Geometric Chords for Query-Efficient Decision-Based Adversarial Attacks
提出潜在几何和弦(LGC)方法,通过曲率感知的几何搜索在压缩语义流形中导航决策边界,并引入残差对抗生成(RAG)机制以高视觉保真度实现查询高效的决策型黑盒对抗攻击。
2026-06-11 cs.CR cs.CV cs.LG
GeoDetect: Geometric Adversarial Detection for VLPs
研究视觉语言预训练模型易受对抗攻击问题,基于其嵌入空间几何结构特点,提出GeoDetect方法,利用几何分数识别对抗样本,经综合评估,该方法能可靠检测多种VLP架构及威胁设置下的对抗样本,提升模型安全性与可靠性。
2026-07-17 cs.CV cs.LG
Sharpness-Aware Geometric Defense for Robust Out-Of-Distribution Detection
Inventec Corporation(Inventec公司);University at Albany – State University of New York(纽约州立大学阿尔巴尼分校)
针对现有OOD检测将对抗性ID样本误判为OOD的问题,提出锐度感知几何防御(SaGD)框架,通过平滑对抗损失景观提升嵌入质量,在多种攻击下显著提高FPR和AUC,揭示损失景观与检测性能的关系。
2025-08-24 cs.LG
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris(乐天技术研究院巴黎分院)
深度神经网络已被证明容易受到对抗性示例的影响:输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性,最近扩大了对抗示例的范围,其中几何变换超出了像素攻击。在这种情况下,我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现,在MNIST、CIFAR-10和ImageNet数据集中,旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
On the Geometry of Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
对抗性示例是机器学习模型的一种普遍现象,其中对输入的看似不可察觉的扰动导致对其他统计准确模型的错误分类。我们提出了一个几何框架,利用流形重建文献中的工具,来分析对抗性示例的高维几何。特别是,我们强调了余维的重要性:对于嵌入在高维空间中的低维数据流形,有许多方向可以构建对抗性示例。对抗性示例是学习决策边界的自然结果,该决策边界对低维数据流形进行了很好的分类,但对流形附近的点进行了错误的分类。使用我们的几何框架,我们证明了(1)不同范数下的鲁棒性之间的权衡,(2)围绕数据的球中的对抗训练是样本效率低下的,以及(3)足够的采样条件,在此条件下,最近邻分类器和基于球的对抗训练是鲁棒的。
2018-12-11 cs.LG stat.ML
GeoDA: a geometric framework for black-box adversarial attacks
North Carolina State University(北卡罗来纳州立大学);ETH Zurich(苏黎世联邦理工学院);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
对抗性的例子被称为精心扰动的图像欺骗图像分类器。我们提出了一个几何框架来生成对抗性的例子,在最具挑战性的黑盒设置之一,对手只能生成少量的查询,每个查询返回分类器的顶部$1$标签。我们的框架是基于这样的观察,即深度网络的决策边界通常在数据样本附近具有较小的平均曲率。我们提出了一个有效的迭代算法来生成查询效率的黑盒扰动与小$\ell_p$规范$p \ge 1$,这是通过实验评估国家的最先进的自然图像分类器确认。此外,对于$p=2$,我们从理论上证明,我们的算法实际上收敛到最小的$\ell_2$ -扰动时的决策边界的曲率有界。我们还获得了最佳分布的查询的迭代算法。最后,实验结果证实,我们的原则性黑盒攻击算法的性能优于国家的最先进的算法,因为它产生较小的扰动,减少查询的数量。
2020-03-13 cs.CR cs.CV cs.LG
Identifying Untrustworthy Predictions in Neural Networks by Geometric Gradient Analysis
Univ. of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
深度神经网络对不可信预测的敏感性,包括分布外(OOD)数据和对抗性示例,仍然阻碍了它们在安全关键型应用中的广泛使用。大多数现有方法要么需要重新训练给定的模型,以实现对抗攻击的鲁棒识别,要么仅限于分布外样本检测。在这项工作中,我们提出了一个几何梯度分析(GGA),以提高识别不可信的预测,而无需重新训练给定的模型。GGA基于神经网络各自输入的显着图来分析其损失景观的几何形状。为了激励所提出的方法,我们提供梯度的几何性质和局部极小值的损失函数之间的理论联系。此外,我们证明了所提出的方法在检测OOD数据和对抗攻击(包括最先进的攻击和自适应攻击)方面优于以前的方法。
2021-02-24 cs.LG stat.ML
AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)
Manipal University(马尼帕尔大学);GGSI University(GGSI大学);IIITDM Kancheepuram(坎奇普拉姆印度信息技术设计制造学院);Meta AI;Amazon(亚马逊);BITS Goa(果阿比尔拉理工学院)
该研究构建含 9,000 条提示的 ALKALI 对抗基准,揭示 LLM 的潜在伪装盲点,并提出 GRACE 几何对比对齐框架与 AVQI 指标,最高降低 39% ASR。
2025-09-28 cs.CL cs.LG
Transcending Adversarial Perturbations: Manifold-Aided Adversarial Examples with Legitimate Semantics
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Foshan Graduate School, Northeastern University(东北大学佛山研究生院);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
本文提出监督式语义变换生成模型,构建无约束对抗流形生成合法语义对抗样本,在MNIST和工业缺陷数据集上实现更优视觉质量、攻击可迁移性和可解释性。
2024-02-05 cs.CR cs.CV cs.LG
A Fundamental Accuracy--Robustness Trade-off in Regression and Classification
Sohail Bahmani(索海尔·巴哈米)
研究分类与回归中准确性与对抗鲁棒性的基本权衡,推导出在多项式岭函数下的具体表现,并提出以类似Poincaré常数的量表示的对抗鲁棒性必要条件。
2025-06-28 cs.LG stat.ML
Towards Consistency in Adversarial Classification
Meta AI Research(Meta人工智能研究院);Université Paris-Dauphine(巴黎多芬大学);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在本文中,我们研究了在对抗性例子的背景下的一致性问题。具体来说,我们解决了以下问题:代理损失仍然可以被用作代理最小化的$0/1$损失的对手,在测试时改变输入的存在?与标准分类任务不同,这个问题不能简化为逐点最小化问题,并且校准不需要足以确保一致性。在本文中,我们揭示了一些特定于对抗问题的病态行为,并表明在这种情况下,没有凸代理损失是一致的或校准的。因此,有必要设计另一类代理函数来解决对抗性一致性问题。作为设计这样一个类的第一步,我们确定了在对抗和标准设置中校准代理损失的充分和必要条件。最后,我们给出了一些方向,以建立一类损失,可以在对抗框架中保持一致。
2022-05-20 cs.LG
Robust Certification for Laplace Learning on Geometric Graphs
University of Manchester(曼彻斯特大学);University of Utah(犹他大学)
基于图拉普拉斯算子(GL)的半监督学习是用于图中节点分类的最常用方法之一。理解和证明机器学习(ML)算法的对抗鲁棒性已经吸引了来自不同研究社区的大量关注,因为它在许多安全关键应用领域中至关重要。对于流行的ML算法的对抗鲁棒性的理论证明有很大的兴趣。在本文中,我们为GL分类器提供了第一个对抗性的鲁棒认证。更准确地说,我们定量地限制了在对抗攻击之前和之后GL分类器的分类准确度的差异。在数值上,我们验证了我们的理论认证结果,并表明,利用现有的对抗防御的$k$ -最近邻分类器可以显着提高GL分类器的鲁棒性。
2021-04-22 cs.LG cs.NA math.NA
Uniform Convergence of Adversarially Robust Classifiers
North Carolina State University(北卡罗来纳州立大学)
针对对抗性扰动分类问题,本研究在大数据极限下构建通用框架,证明对抗强度趋近零时最优分类器在豪斯多夫距离下收敛于贝叶斯分类器,显著强化了以往L¹型收敛的结果。
2025-11-10 cs.LG math.AP math.OC
Geometric origin of adversarial vulnerability in deep learning
Anhui Provincial Key Laboratory of Low-Energy Quantum Materials and Devices(安徽省低能量子材料与器件重点实验室);High Magnetic Field Laboratory, HFIPS, Chinese Academy of Sciences(高磁场实验室,HFIPS,中国科学院);University of Science and Technology of China(中国科学技术大学);PMI Lab, School of Physics, Sun Yat-sen University(PMI实验室,物理学院,中山大学);Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices(广东省磁电物理与器件重点实验室)
研究深度学习中对抗性脆弱性的几何起源,提出几何感知深度学习框架,利用逐层局部训练塑造网络内部表示,提升对抗鲁棒性,还能通过相关模型解释性能,使深度网络能吸收新信息并减少干扰。
2026-07-21 cond-mat.stat-mech cs.LG q-bio.NC
Information-Geometric Inverse Distillation for Enhancing Adversarial Transferability
College of Computer Science, Sichuan University(四川大学计算机学院);Sichuan Newstrong UHD Video Technology Company Ltd.(四川新创视超高清视频科技有限公司);Institute of Optics and Electronics, Chinese Academy of Sciences(中国科学院光电技术研究所)
提出逆知识蒸馏(IKD),通过最大化良性与对抗样本的预测分布差异并利用Fisher敏感方向,增强对抗攻击的跨模型迁移性,在ImageNet上验证了其有效性。
2026-09-18 cs.AI cs.CV cs.LG
Why do universal adversarial attacks work on large language models?: Geometry might be the answer
Harvard University(哈佛大学)
本研究提出几何视角,解释基于梯度的通用对抗攻击为何对大型语言模型有效,通过攻击GPT-2发现触发器近似嵌入向量语义,为缓解攻击提供洞见。
2023-09-01 cs.CL cs.CR cs.LG
Geometric GAN
ETRI(韩国电子通信研究院);KAIST(韩国科学技术院)
生成对抗网络(GANs)代表了有效生成模型的一个重要里程碑,它激发了许多看似彼此不同的变体。本文的主要贡献之一是揭示了GAN及其变体的统一几何结构。具体来说,我们证明了对抗生成模型训练可以分解为三个几何步骤:分离超平面搜索,远离分离超平面的参数更新,以及沿着分离超平面的法向量方向的生成器更新。这种几何直观揭示了现有方法的局限性,并导致我们提出了一种新的配方称为几何GAN使用SVM分离超平面,最大限度地提高利润。我们的理论分析表明,几何GAN收敛到一个纳什均衡之间的发电机和发电机。此外,大量的数值结果表明,几何GAN的优越性能。
2017-05-09 cond-mat.dis-nn cs.AI cs.CV
The Geometry of Over-parameterized Regression and Adversarial Perturbations
Boston University(波士顿大学)
经典回归有一个简单的几何描述,将训练标签投影到设计矩阵的列空间上。然而,对于过度参数化的模型-其中拟合参数的数量足够大,可以完美地拟合训练数据-这种情况变得没有信息。在这里,我们提出了一个替代的几何解释回归,适用于下和过参数化模型。与发生在训练标签空间中的经典图片不同,我们的新图片驻留在输入特征空间中。这种新的基于特征的视角在偏差和方差的背景下提供了对双下降现象的自然几何解释,解释了为什么即使在没有标签噪声的情况下也会发生双下降现象。此外,我们表明,对抗性扰动-小扰动的输入功能,导致标签值的大变化-是一个通用的偏置模型的功能,从底层的几何形状。我们证明了这些想法,通过分析三个最小模型的过参数化的线性最小二乘回归:没有基函数(输入功能等于模型功能)和线性或非线性基函数(两层神经网络与线性或非线性激活函数,分别)。
2021-04-23 cond-mat.dis-nn cs.LG stat.ML
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College(康尼斯托加学院);Drexel University(德雷塞尔大学)
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中,首先,我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形,并攻击DeepSpeech,这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率(DeepSpeech分类成功率为零)。其次,我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度,并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类,这表明PCA不是音频域中的良好防御机制。最后,我们没有使用PCA作为防御机制,这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下,我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击,并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件,需要在攻击过程中的分类结果。在所有情况下,对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
Adversarially Robust Medical Classification via Attentive Convolutional Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
基于卷积神经网络的医学图像分类器已被证明特别容易受到对抗性示例的影响。这种不稳定性在未来的自动诊断中可能是不可接受的。虽然统计对抗性示例检测方法已被证明是有效的防御机制,但还需要进行更多的研究,以调查基于深度学习的系统的基本漏洞,以及如何最好地构建模型,以最大限度地提高传统和鲁棒的准确性。本文提出了在基于CNN的医学图像分类器中包含注意力机制,作为一种可靠有效的策略,用于在不牺牲的情况下提高鲁棒性准确性。这种方法能够在典型的对抗场景中将鲁棒准确率提高16%,在极端情况下提高2700%。
2022-10-26 cs.CR cs.CV cs.LG
Creating Synthetic Datasets for Collaborative Filtering Recommender Systems using Generative Adversarial Networks
Universidad Politécnica de Madrid(马德里理工大学);Universidad de Jaén(哈恩大学);Universidad de Ciego de Ávila(谢戈德阿维拉大学)
机器学习的研究和教育需要多样化、代表性和开放的数据集,这些数据集包含足够的样本来处理必要的训练、验证和测试任务。目前,推荐系统领域包括大量的子领域,在这些子领域中,准确性和超越准确性的质量度量不断得到改进。为了满足这种研究的多样性,用合成数据集来加强现有的数据集是必要的,也是方便的。本文提出了一种基于生成对抗网络(GAN)的方法,通过选择用户、项目、样本和随机变量的首选数量,以参数化的方式生成协同过滤数据集。无法使用常规GANs进行此参数化。我们的GAN模型是由密集的,短的,和连续的项目和用户的嵌入表示,而不是稀疏的,大的,和离散的向量,使一个准确和快速的学习,相比传统的方法,基于大的和稀疏的输入向量。所提出的架构包括一个DeepMF模型来提取密集的用户和项目嵌入,以及一个聚类过程来从密集的GAN生成的样本转换为离散和稀疏的样本,这是创建每个所需的合成数据集所必需的。三个不同的源数据集的结果显示了足够的分布和预期的质量值和生成的数据集相比,源的演变。合成数据集和源代码可供研究人员使用。
2023-03-02 cs.IR cs.LG
Repurposing Adversarial Perturbations for Continual Learning: From Defense to Active Alignment
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Deakin University(德肯大学);Harbin Engineering University(哈尔滨工程大学)
提出AdvCL框架,通过将对抗扰动重新用作几何控制信号,结合三个即插即用模块(Intra-Smooth、Proto-Clip、Inter-Align),在持续学习中同时提升标准性能、鲁棒性、降低遗忘并增强迁移。
2026-06-01 cs.AI cs.LG
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);AIP(应用物理研究所);University of Michigan(密歇根大学)
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述,其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理,以使优化更容易处理。一个主要的问题是一致性,即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中,我们分析这个问题,通过镜头的校准,这是一个逐点一致性的概念。我们表明,没有凸代理损失校准相对于对抗0-1损失时,限制到类的线性模型。我们进一步介绍了一类非凸损失,并提供了必要和充分条件,在这类损失进行校准。我们还表明,如果底层分布满足Massart的噪声条件,凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
Theoretical Analysis of Image-to-Image Translation with Adversarial Learning
Fudan University(复旦大学)
最近,对抗学习框架下图像到图像翻译任务的统一模型引起了计算机视觉从业者的广泛研究兴趣。然而,他们报告的经验成功缺乏坚实的理论解释其内在机制。在本文中,我们从一个全新的几何角度重新制定了他们的模型,并最终达到了一个完整的解释,从他们的实验中的一些有趣的,但不清楚的经验现象。此外,通过将生成对抗网的泛化定义扩展到更广泛的意义上,我们导出了控制其模型泛化能力的条件。最后,根据本文的推导条件,对模型设计和数据构建提出了一些建议,为进一步的实证研究提供了指导。
2018-06-19 cs.LG stat.ML
GradID: Adversarial Detection via Intrinsic Dimensionality of Gradients
Sharif University of Technology(沙里夫技术大学)
GradID通过分析梯度的内在维度,提出了一种高效检测对抗攻击的方法,在多个数据集和攻击类型上均表现出色。
2025-12-14 cs.CR cs.CV cs.LG
One Bit Matters: Understanding Adversarial Examples as the Abuse of Redundancy
Shanghai Jiao Tong University(上海交通大学);University of California, Berkeley(加州大学伯克利分校);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管在机器学习(ML)方面取得了巨大的成功,但对抗性的例子引起了人们对其可信度的担忧:输入的一个小扰动会导致一个看似训练有素的ML模型的任意失败。虽然正在进行研究以发现对抗性示例的内在属性,例如它们的可转移性和普遍性,但没有足够的理论分析来帮助理解这种现象,从而影响ML实验的设计过程。在本文中,我们推导出一个信息理论模型,解释对抗攻击的ML算法中的特征冗余的滥用。我们证明了特征冗余是对抗样本存在的必要条件。我们的模型有助于解释一些主要的问题,在许多轶事研究对抗性的例子。我们的理论得到了图像和文本数据集上良性和对抗性示例信息内容的实证测量的支持。我们的测量结果表明,典型的对抗性示例引入了足够的冗余,足以溢出在相应的良性示例上训练的ML模型的决策。最后,我们提出了可操作的建议,以提高机器学习器对对抗性示例的鲁棒性。
2018-10-23 cs.CR cs.CV cs.IT
UniNet: A Unified Scene Understanding Network and Exploring Multi-Task Relationships through the Lens of Adversarial Attacks
NavInfo Europe(四维图新欧洲公司)
场景理解是自治系统在现实世界中运行的关键。单任务视觉网络仅基于场景的某些方面提取信息。另一方面,在多任务学习(MTL)中,这些单个任务是联合学习的,从而为任务提供了共享信息和获得更全面理解的机会。为此,我们开发了UniNet,一个统一的场景理解网络,可以准确有效地推断重要的视觉任务,包括目标检测,语义分割,实例分割,单目深度估计和单目实例深度预测。由于这些任务查看不同的语义和几何信息,因此它们可以相互补充或冲突。因此,了解任务间的关系可以提供有用的线索,使互补的信息共享。我们通过对抗攻击的视角来评估UniNet中的任务关系,其基础是它们可以利用神经网络中的学习偏差和任务交互。在Cityscapes数据集上进行的大量实验,使用无目标和有目标的攻击,揭示了语义任务之间的强烈交互,几何任务也是如此。此外,我们表明,语义和几何任务之间的关系是不对称的,它们的相互作用变得越来越弱,因为我们走向更高层次的表示。
2022-08-12 cs.AI cs.CV cs.LG
Geometry Score: A Method For Comparing Generative Adversarial Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
生成对抗网络(GANs)研究中的最大挑战之一是评估生成样本的质量并检测各种级别的模式坍塌。在这项工作中,我们构建了一个新的衡量性能的GAN的基础数据流形和生成的,这提供了定性和定量的评价手段的几何属性进行比较。我们的算法可以应用于任意性质的数据集,并不限于视觉数据。我们在各种现实模型和数据集上测试了所获得的度量,并证明我们的方法为GANs的属性提供了新的见解。
2018-06-09 cs.CG cs.LG stat.ML
A mean curvature flow arising in adversarial training
Center for Artificial Intelligence and Data Science (CAIDAS), University of Würzburg(维尔茨堡大学人工智能与数据科学中心(CAIDAS));Faculty of Mathematics, University of Regensburg(雷根斯堡大学数学学院);Hausdorff Center for Mathematics, University of Bonn(波恩大学豪斯多夫数学中心)
本文将二元分类对抗训练与决策边界几何演化方程关联,提出一种逼近加权平均曲率流的非局部周长泛函最小化运动方案,并证明其单调性与一致性,揭示对抗训练有效性源于局部最小化决策边界长度。
2024-04-22 cs.LG math.AP
Algebraic Adversarial Attacks on Explainability Models
School of Electrical and Mechanical Engineering, The University of Adelaide(阿德莱德大学电气与机械工程学院);School of Computer and Mathematical Sciences, The University of Adelaide(阿德莱德大学计算机与数学科学学院);Information Sciences Division, Defence Science & Technology Group(国防科学技术集团信息科学部)
针对约束优化式对抗攻击缺乏可追溯性的问题,提出基于几何深度学习与神经网络对称群分析的代数攻击方法,用于生成事后可解释性模型的可数学处理对抗样本,并在三个数据集上验证。
2025-03-16 cs.LG math.GR
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
Adobe Research(奥多比研究院);Carnegie Mellon University(卡内基梅隆大学);Argo AI(阿尔戈人工智能公司)
我们解决的问题,找到现实的几何校正的前景对象,使它看起来自然合成到一个背景图像。为了实现这一目标,我们提出了一种新的生成对抗网络(GAN)架构,该架构利用空间Transformer网络(STNs)作为生成器,我们称之为空间Transformer GANs(ST-GANs)。ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别是,我们利用了一个迭代的扭曲方案,并提出了一个顺序的训练策略,实现了更好的结果相比,一个单一的发电机天真的训练。ST-GAN的主要优点之一是其间接适用于高分辨率图像,因为预测的扭曲参数在参考帧之间是可转移的。我们在两个应用中展示了我们的方法:(1)可视化室内家具(例如,从产品图像)在房间中的感知方式,(2)当与真实肖像匹配时,眼镜等配件的外观会产生幻觉。
2018-03-05 cs.CV cs.LG
On Output Activation Functions for Adversarial Losses: A Theoretical Analysis via Variational Divergence Minimization and An Empirical Study on MNIST Classification
University of California San Diego(加州大学圣地亚哥分校);Academia Sinica(中央研究院);Taiwan AI Labs(台湾人工智能实验室)
近年来,对抗性损失被应用到许多领域。它们的应用范围超出了最初提出的生成建模,条件生成和歧视设置。虽然先前的工作已经提出了各种输出激活函数和正则化方法,一些开放的问题仍然没有答案。本文主要研究以下两个问题:1)什么样的输出激活函数会形成一个行为良好的对抗损失?2)输出激活函数和正则化方法的不同组合如何根据经验彼此执行?为了回答第一个问题,我们采用变分散度最小化的观点,并考虑一个对抗性损失表现良好,如果它表现为数据和模型分布之间的一个类似散度的度量。利用广义的对抗性损失公式,我们推导出一个良好的对抗性损失的必要和充分条件。我们的分析揭示了一大类理论上有效的对抗性损失。对于第二个问题,我们提出了一个简单的比较框架,使用歧视性对抗网络对抗损失。所提出的框架允许我们使用标准评估指标(如分类准确性)有效地评估对抗性损失。与建议的框架,我们评估了一个全面的168个组合的12个输出激活函数和14个正则化方法的手写数字分类问题,以解耦其影响。我们的实证研究结果表明,在所有设置中,输出激活函数和正则化方法没有单一的获胜组合。我们的理论和实证结果可以作为未来研究中选择或设计对抗性损失的参考。
2022-11-07 cs.LG stat.ML
Adversarial Robustness via Fisher-Rao Regularization
McGill University(麦吉尔大学);ETS Montreal(蒙特利尔高等技术学院);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);International Laboratory on Learning Systems(国际学习系统实验室)
对抗鲁棒性已经成为机器学习中越来越感兴趣的话题,因为人们观察到神经网络往往是脆弱的。我们提出了一种对抗性防御的信息几何公式,并引入了FIRE,这是一种新的Fisher-Rao正则化,用于分类交叉熵损失,它基于对应于自然和扰动输入特征的softmax输出之间的测地线距离。基于softmax分布类的信息几何性质,我们导出了二进制和多类情况下Fisher-Rao距离(FRD)的显式表征,并绘制了一些有趣的性质以及与标准正则化度量的联系。此外,对于一个简单的线性和高斯模型,我们表明,所有的帕累托最优点的准确性鲁棒性区域可以达到消防,而其他国家的最先进的方法失败。从经验上讲,我们评估了在标准数据集上使用所提出的损失训练的各种分类器的性能,在干净和鲁棒性能方面同时显示出高达1%的改进,同时比性能最好的方法减少了20%的训练时间。
2022-06-13 cs.CV cs.LG
Adversarial Generative NMF for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology(挪威科技大学)
针对单通道源分离问题,提出基于对抗学习的NMF基训练新方法,在少/无强监督数据的图像、音频分离任务中提升了重构信号质量。
2023-04-24 cs.LG cs.NA eess.AS
On the Complexity of Adversarial Decision Making
Microsoft(微软)
在线学习和决策制定的一个中心问题--从强盗学习到强化学习--是理解什么样的建模假设会导致样本有效的学习保证。我们考虑一个一般的对抗性决策框架,包括(结构化)强盗问题与对抗性奖励和强化学习问题与对抗性动态。我们的主要结果是显示-通过新的上限和下限-决策估计系数,由福斯特等人引入的复杂性度量。在随机对应我们的设置,是必要的和足够的,以获得低遗憾的对抗性决策。然而,与随机设置相比,必须将决策估计系数应用于所考虑的模型(或假设)类的凸包。这表明,适应对抗性奖励或动态的价格取决于凸化下模型类的行为,并恢复了一些现有的结果-无论是正面的还是负面的。在获得这些保证的过程中,我们提供了新的结构结果,将决策估计系数与其他著名的复杂性度量的变体连接起来,包括Russo和Van Roy的信息比以及Latestival和György的探索优化目标。
2022-06-27 cs.LG math.OC math.ST
Mathematical Foundations of Geometric Deep Learning
University of Oxford(牛津大学)
本文回顾了研究几何深度学习所需的关键数学概念,为理解该领域提供基础。
2025-08-01 cs.AI cs.LG
Scalable Attribution of Adversarial Attacks via Multi-Task Learning
Nanjing University of Posts and Telecommunications(南京邮电大学)
深度神经网络(DNN)在推理阶段很容易被对抗攻击愚弄,攻击者会在原始示例中添加不可感知的扰动,即,敌对的例子。许多工作集中在对抗性检测和对抗性训练,以抵御对抗攻击。然而,很少有作品探讨对抗性示例背后的工具链,这可以帮助防御者抓住攻击发起者的线索,他们的目标,并提供针对相应攻击的最有效的防御算法。有了这样的差距,有必要开发能够识别用来生成对抗性示例的工具链的技术,这被称为对抗性归因问题(AAP)。在本文中,AAP被定义为三个签名的识别,即,{ \em攻击算法}、{ \em受害者模型}和{ \em超参数}。现有的工作将AAP转化为单一的标签分类任务,忽略了这些特征之间的关系。前者随着签名数目的增加会遇到组合爆炸问题。后者要求我们不能将AAP简单地视为单个任务问题。我们首先进行一些实验来验证对抗性示例的可归因性。此外,我们提出了一个多任务学习框架,名为多任务对抗性归因(MTAA),同时识别三个签名。MTAA包含扰动提取模块、仅对抗性提取模块和分类回归模块。该算法考虑了攻击算法与相应超参数之间的关系,利用不确定性加权损失来调整三个识别任务的权重。在MNIST和ImageNet上的实验结果表明了该框架的可行性和可扩展性,以及处理虚警的有效性。
2023-02-25 cs.AI cs.CR cs.LG
FACADE: A Framework for Adversarial Circuit Anomaly Detection and Evaluation
Stanford University(斯坦福大学)
本研究提出新型概率几何框架FACADE,用于深度神经网络无监督机制性异常检测,通过生成电路概率分布分析伪类流形属性变化,助力理解与缓解对抗攻击,提升模型鲁棒性与可扩展监督能力,具实际部署潜力。
2023-07-20 cs.AI cs.LG
Robust Adversarial Classification via Abstaining
University of California, Riverside(加州大学河滨分校);Indian Institute of Science(印度科学研究所)
在这项工作中,我们考虑了一个二元分类问题,并将其转换为一个二元假设检验框架,其中的观测可以被对手干扰。为了提高分类器的对抗鲁棒性,我们包含了一个弃权选项,当分类器对预测的置信度较低时,它会放弃做出决定。我们提出的指标,量化的标称性能的分类与弃权选项和对抗性扰动的鲁棒性。我们发现,无论使用什么方法来选择弃权区域,这两个指标之间存在一个权衡。我们的研究结果意味着,一个有弃权选项的分类器的鲁棒性只能以牺牲其标称性能为代价来提高。此外,我们提供了必要的条件,设计弃权区域的一维二元分类问题。我们验证了我们的理论结果的MNIST数据集,在那里我们数值表明,性能和鲁棒性之间的权衡也存在一般的多类分类问题。
2021-09-30 cs.LG cs.SY eess.SY
Controllable Invariance through Adversarial Feature Learning
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
学习有意义的表示,保持特定任务所需的内容,同时过滤掉有害的变化是机器学习中非常感兴趣的问题。在本文中,我们解决了学习表示对数据的特定因素或特征不变的问题。表示学习过程被公式化为一个对抗性极大极小博弈。我们分析了这样一个游戏的最优均衡,发现它相当于最大限度地提高不确定性推断的有害因素的表示,同时最大限度地提高确定性,使特定任务的预测。在三个基准任务,即公平和无偏见的分类,语言无关的生成,照明无关的图像分类,我们表明,所提出的框架诱导不变的表示,并导致更好的泛化证明了改进的性能。
2018-01-29 cs.AI cs.CL cs.LG
Revisiting adapters with adversarial training
DeepMind(深度思维)
虽然对抗性训练通常被用作防御机制,但最近的研究表明,它也可以作为正则化器。通过在干净和对抗性输入上共同训练神经网络,可以提高干净、非对抗性输入的分类准确性。我们证明,与以前的研究结果相反,在对干净和对抗性输入进行联合训练时,没有必要分离批统计数据,并且对于每种类型的输入,使用具有很少域特定参数的适配器就足够了。我们确定,使用视觉Transformer(ViT)的分类令牌作为适配器足以匹配双归一化层的分类性能,同时使用显著更少的附加参数。首先,我们在ImageNet上将非对抗训练的ViT-B16模型的top-1准确率提高了+1.12%(达到83.76%的top-1准确率)。其次,更重要的是,我们证明了使用适配器的训练可以通过干净和对抗令牌的线性组合来实现模型汤。这些模型汤,我们称之为对抗模型汤,允许我们在干净和健壮的准确性之间进行权衡,而不会牺牲效率。最后,我们表明,我们可以很容易地适应所产生的模型面对的分布偏移。我们的ViT-B16在ImageNet变体上获得了前1的准确率,平均比使用掩码自编码器获得的准确率高出+4.00%。
2022-10-10 cs.CV cs.LG
Empirical evaluation of the Frank-Wolfe methods for constructing white-box adversarial attacks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skoltech
本文通过实证评估改进的Frank-Wolfe方法,用于构建神经网络的白盒对抗攻击,并与传统方法进行比较。
2025-12-11 cs.AI cs.LG
Generating adversarial inputs for a graph neural network model of AC power flow
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出优化问题生成对抗输入,使神经网络预测的交流潮流解与真实方程解产生大误差,在14节点电网中验证,最大无功误差3.7pu,电压幅值误差0.08pu。
2026-06-24 cs.LG cs.SY eess.SY