Toward Robust Graph Semi-Supervised Learning against Extreme Data Scarcity
Arizona State University(亚利桑那州立大学);Microsoft Research(微软研究院)
图神经网络在基于图的Web挖掘中的成功高度依赖于大量的人工标注数据,这在实践中是很难获得的。当标记节点较少时,如何提高标记节点的鲁棒性是实现可复制和可持续的图半监督学习的关键。尽管自训练对于半监督学习来说是很强大的,但是它在图结构数据上的应用可能会失败,因为(1)没有利用较大的感受野来捕获长距离节点交互,这加剧了将特征标签模式从标记节点传播到未标记节点的困难;以及(2)有限的标记数据使得在不显式地捕获底层语义结构的情况下学习不同节点类的良好分离的决策边界具有挑战性。为了解决捕获信息结构和语义知识的挑战,我们提出了一种新的图数据增强框架AGST(Augmented Graph Self-Training),它是用两个新的(即,结构和语义)增强模块。在这项工作中,我们研究了这种新的框架是否可以在低数据环境下学习一个鲁棒的图预测模型。在有限标记节点数据的不同场景下,我们对半监督节点分类进行了综合评估。实验结果表明,新的数据增强框架的独特贡献的节点分类与标记的数据很少。
2022-12-11 cs.LG
Node-Level Membership Inference Attacks Against Graph Neural Networks
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心);Sichuan University(四川大学);NortonLifeLock Research Group(诺顿LifeLock研究组)
许多真实世界的数据以图表的形式出现,例如社交网络和蛋白质结构。为了充分利用图数据中包含的信息,已经引入了一种新的机器学习(ML)模型族,即图神经网络(GNNs)。此前的研究表明,机器学习模型容易受到隐私攻击。然而,目前的大部分努力都集中在基于欧几里得空间数据(如图像和文本)训练的ML模型上。另一方面,GNN产生的隐私风险在很大程度上仍未得到研究。在本文中,我们通过对GNN进行节点级成员推断攻击的第一次全面分析来填补这一空白。我们系统地定义了威胁模型,并提出了三个节点级的成员推断攻击对手的背景知识的基础上。我们对三种GNN结构和四个基准数据集的评估表明,即使对手具有最少的背景知识,GNN也容易受到节点级成员推断的影响。此外,我们表明,图密度和特征相似性有一个重大影响的攻击的成功。我们进一步研究了两种防御机制,实证结果表明,这些防御可以降低攻击性能,但有适度的效用损失。
2021-02-10 cs.CR cs.LG
Label-Only Membership Inference Attack against Node-Level Graph Neural Networks
University of Padua(帕多瓦大学);Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
图神经网络(Graph Neural Network,GNNs)受卷积神经网络(Convolutional Neural Networks,CNN)的启发,将节点邻居的信息和结构信息聚合起来,获得节点的表达性表示,用于节点分类、图分类和链接预测。以前的研究表明,GNN容易受到成员推断攻击(MIA)的攻击,MIA会推断节点是否在GNN的训练数据中,并泄露节点的私人信息,如患者的病史。以前的MIA的实现利用了模型的概率输出,如果GNN只为输入提供预测标签(仅标签),这是不可行的。在本文中,我们提出了一种针对GNN的仅标签MIA,以借助GNN灵活的预测机制进行节点分类,例如,即使当邻居的信息不可用时,也获得一个节点的预测标签。对于大多数数据集和GNN模型,我们的攻击方法实现了大约60%的准确度,精度和曲线下面积(AUC),其中一些具有竞争力,甚至优于在我们的环境和设置下实现的最先进的基于概率的MIA。此外,我们分析了采样方法,模型选择方法和过拟合水平对我们的标签唯一MIA的攻击性能的影响。这两个因素都对攻击性能产生影响。然后,我们考虑的情况下,假设对手的额外数据集(阴影数据集)和额外的信息,目标模型放松。即使在这些情况下,我们的标签只有MIA在大多数情况下实现了更好的攻击性能。最后,我们探讨了可能的防御措施的有效性,包括Dropout,Regularization,Normalizati…
2022-07-27 cs.CR cs.LG
Finite-Time Node Separation in Recurrent Graph Neural Networks with Persistent Gaussian Perturbations
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
针对递归图神经网络在持久高斯扰动下的节点表示,提出有限时间分离分析,证明二阶矩下界及非中心卡方特征,补充渐近能量分析,提供严格的有限时间保证。
2026-09-15 cs.AI cs.LG
GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);The Alan Turing Institute(艾伦·图灵研究所);Inria(法国国家信息与自动化研究所)
本文研究了具有差分隐私(DP)的图神经网络(GNNs)的学习问题。我们提出了一种基于聚合扰动(GAP)的新的差分私有GNN,它向GNN的聚合函数添加随机噪声,以在统计上混淆单个边缘(边缘级隐私)或单个节点及其所有相邻边缘(节点级隐私)的存在。GAP的新架构针对私有学习的具体情况进行了调整,由三个独立的模块组成:(i)编码器模块,我们在不依赖于边信息的情况下学习私有节点嵌入;(ii)聚合模块,我们基于图结构计算有噪声的聚合节点嵌入;以及(iii)分类模块,其中我们在私有聚集上训练神经网络以用于节点分类,而不进一步查询图边。GAP与以前的方法相比的主要优点是,它可以受益于多跳邻域聚合,并保证边缘级和节点级DP不仅用于训练,而且在推理时没有超出训练隐私预算的额外成本。我们使用Rényi DP分析了GAP的正式隐私保证,并在三个真实世界的图数据集上进行了实证实验。我们证明了GAP比最先进的DP-GNN方法和基于朴素MLP的基线提供了更好的准确性-隐私权衡。我们的代码可在https://github.com/sisaman/GAP上公开获取。
2022-11-18 cs.CR cs.LG
Node Copying for Protection Against Graph Neural Network Topology Attacks
McGill University(麦吉尔大学)
对抗攻击会影响现有深度学习模型的性能。随着对基于图的机器学习技术的兴趣的增加,已经有调查表明这些模型也容易受到攻击。特别是,图拓扑结构的损坏会严重降低基于图的学习算法的性能。这是由于这些算法的预测能力主要依赖于图连通性所施加的相似性结构。因此,检测损坏的位置并纠正引起的错误变得至关重要。最近有一些工作解决了检测问题,但是这些方法没有解决攻击对下游学习任务的影响。在这项工作中,我们提出了一种算法,使用节点复制,以减轻由对抗攻击造成的分类退化。所提出的方法仅在下游任务的模型被训练并且增加的计算成本对于大型图很好地扩展之后才被应用。实验结果表明,我们的方法的有效性,几个现实世界的数据集。
2020-07-09 cs.CR cs.LG cs.SI
$β$-GNN: A Robust Ensemble Approach Against Graph Structure Perturbation
Technische Universität Berlin(柏林工业大学)
提出$β$-GNN,通过加权集成GNN与多层感知器,利用动态权重$β$调节贡献并指示扰动水平,在不牺牲干净数据性能下提升对抗鲁棒性。
2025-03-26 cs.AI cs.LG
GAIM: Attacking Graph Neural Networks via Adversarial Influence Maximization
Visa Research(Visa研究院)
本文提出GAIM,一种在黑盒设置下通过对抗性影响力最大化统一目标节点选择与特征扰动构造的图神经网络攻击方法,在多个基准数据集上验证了其在非目标和标签导向攻击中的有效性。
2024-08-20 cs.AI cs.LG
Statistical Mechanics of Node-perturbation Learning with Noisy Baseline
College of Industrial Technology, Nihon University(日本大学工业技术学院);Nagoya University(名古屋大学);The University of Tokyo(东京大学);Riken Brain Science Institute(理化学研究所脑科学研究所)
节点扰动学习是一种统计梯度下降算法,可以应用于目标函数没有显式公式化的问题,包括强化学习。它通过使用响应于扰动的目标函数的变化来估计目标函数的梯度。未扰动输出的目标函数的值称为基线。Cho等人提出了带噪声基线的节点扰动学习。在本文中,我们报告的统计力学的赵的模型和推导耦合微分方程的序参数,描绘学习动态。我们还展示了如何通过求解阶参数微分方程来推导推广误差。在此基础上,我们证明了Cho的结果在一般情况下也是适用的,并展示了Cho模型的一些一般性质。
2017-06-20 cs.LG stat.ML
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH(伊塔斯有限公司);Bosch Group(博世集团)
深度学习已经成为许多机器学习问题(如分类)的最先进方法。最近的研究表明,深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例,微小的对抗性扰动可能会导致系统在重要任务中出错,例如对交通标志进行分类或检测行人。因此,为了在没有安全问题的情况下使用深度学习,需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现,导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明,MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络,但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
Towards Verifying Robustness of Neural Networks Against Semantic Perturbations
MIT(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
给定特定威胁模型的神经网络的鲁棒性是一个基本而又具有挑战性的任务。目前的验证方法主要集中在输入实例的$\ell_p$ -范数威胁模型上,而针对语义对抗攻击的鲁棒性验证会导致较大的$\ell_p$ -范数扰动,如颜色偏移和光照调整,超出了它们的能力。为了弥补这一差距,我们提出了\textit{Semantify-NN},一个模型不可知和通用的鲁棒性验证方法对语义扰动的神经网络。通过简单地将我们提出的\textit{semantic perturbation layers}(SP层)插入到任何给定模型的输入层,\textit{Semantify-NN}是模型不可知的,并且任何基于$\ell_p$范数的验证工具都可以用于验证模型对语义扰动的鲁棒性。我们说明了设计的SP层的原则,并提供的例子,包括语义扰动图像分类的色调,饱和度,亮度,亮度,对比度和旋转空间,分别。此外,提出了一种有效的细化技术,以进一步显着提高语义证书。在各种网络架构和不同数据集上的实验表明,\textit{Semantify-NN}的验证性能优于基于$\ell_p$规范的验证框架,该框架简单地将语义扰动转换为$\ell_p$规范。结果表明,\textit{Semantify-NN}可以支持对大范围的语义扰动的鲁棒性验证。代码可用https://github.com/JeetMo/Semantify-NN
2020-06-15 cs.LG stat.ML
Denoising Dictionary Learning Against Adversarial Perturbations
Insight Centre for Data Analytics(洞察数据分析中心);University College Cork(科克大学学院)
我们提出了去噪字典学习(Doppler Learning,Doppler Learning),这是一种简单而有效的技术,可以作为对抗性扰动的保护措施。我们检查了在两种不同扰动技术(快速梯度符号(FGSM)和雅可比显着图(JSMA))下扰动的MNIST和CIFAR 10上的去噪字典学习。我们对五个不同的深度神经网络(DNN)进行了评估,这些网络代表了最新架构的构建模块,表明了彼此模型复杂性的连续进展。我们发现,每个模型往往捕捉不同的表示基于他们的架构。对于每个模型,我们都记录了它的准确性扰动的测试数据,以前错误分类的高置信度和降噪后的重建使用字典学习。通过峰值信噪比(PSNR)和结构相似性指数(SSI)来评价每个数据点的重建质量。我们表明,在应用(xv)从噪声的原始数据点的重建后,
2018-01-07 cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen(图宾根大学)
近年来,已经提出了几种对抗攻击和防御。通常,当使用更复杂的攻击时,看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来,我们表明,他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal,它增强了$l_1$和$l_\infty$扰动的鲁棒性,并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Defending Against Universal Perturbations With Shared Adversarial Training
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
分类器,如深度神经网络,已被证明是脆弱的对抗性扰动的问题与高维输入空间。虽然对抗性训练提高了图像分类器对这种对抗性扰动的鲁棒性,但它使它们对输入中不可忽略的一部分扰动敏感。在这项工作中,我们证明了对抗性训练在防止通用扰动方面更有效,其中相同的扰动需要在许多输入上欺骗分类器。此外,我们研究了对普遍扰动的鲁棒性和未扰动数据的性能之间的权衡,并提出了一种对抗性训练的扩展,可以更优雅地处理这种权衡。我们提出了图像分类和语义分割的结果,以展示欺骗对抗训练硬化模型的通用扰动变得清晰可见,并显示目标场景的模式。
2019-08-13 cs.CR cs.CV cs.LG
Explainability-Based Adversarial Attack on Graphs Through Edge Perturbation
本文提出一种基于可解释性的图对抗攻击方法,通过识别重要节点并扰动边,发现跨类别加边比同类删边更具破坏性。
2023-12-28 cs.CR cs.LG
Node-aware Bi-smoothing: Certified Robustness against Graph Injection Attacks
The Hong Kong Polytechnic University(香港理工大学)
针对图注入攻击缺乏认证防御的问题,提出与模型无关的节点感知双重平滑框架,给出可认证条件并通过实验验证其有效性。
2023-12-07 cs.CR cs.LG
Adversarial Robustness Against the Union of Multiple Perturbation Models
IIT Delhi(印度理工学院德里分校);Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
由于深度学习系统对对抗攻击的敏感性,在开发(经验上和可验证的)鲁棒分类器方面已经做了大量工作。虽然大多数工作都是针对单一类型的攻击进行防御,但最近的工作着眼于使用多个攻击的简单聚合来防御多个扰动模型。然而,这些方法可能难以调整,并且可能容易导致对各个扰动模型的鲁棒性的不平衡程度,从而导致联合上的次优最坏情况损失。在这项工作中,我们开发了一个自然的推广标准的基于PGD的程序,将多个扰动模型到一个单一的攻击,采取最坏的情况下,在所有最陡的下降方向。这种方法的优点是直接收敛在不同的扰动模型之间的权衡,最大限度地减少了工会的最坏情况下的性能。通过这种方法,我们能够训练标准体系结构,这些体系结构同时对$\ell_\infty$、$\ell_2$和$\ell_1$攻击具有鲁棒性,在MNIST和CIFAR10数据集上的性能优于过去的方法,并实现了47.0%的对抗准确度。($\ell_\infty$,$\ell_2$,$\ell_1$)扰动,其半径=(0.03,0.5,12),改进了先前的方法,其实现了40.6%的准确度。
2020-07-28 cs.AI cs.LG stat.ML
Defending Malware Classification Networks Against Adversarial Perturbations with Non-Negative Weight Restrictions
Google(谷歌)
越来越多的文献表明,深度神经网络容易受到对抗性输入修改的影响。最近,这项工作已经从图像分类扩展到布尔特征上的恶意软件分类。在本文中,我们提出了几种在这个特定领域训练受限网络的新方法,这些方法在防止对抗性扰动方面非常有效。我们从一个完全抗对抗的神经网络开始,它具有严格的非负权重限制,相当于学习单调布尔函数,然后尝试放松约束以提高分类器的准确性。
2018-06-23 cs.CR cs.LG stat.ML
Node Feature Kernels Increase Graph Convolutional Network Robustness
Huawei(华为);École Polytechnique(巴黎综合理工学院);Institute Polytechnique de Paris(巴黎理工学院);AUEB(雅典经济与商业大学)
常用的图卷积网络(GCN)对输入扰动的鲁棒性是一个越来越重要的课题。本文介绍了随机广义连通网络,并给出了随机矩阵理论分析的可能性。该分析表明,如果图被充分扰动,或者在极端情况下是随机的,则GCN无法从节点特征中受益。进一步观察到,通过将节点特征核添加到图结构的邻接矩阵来增强GCN中的消息传递步骤解决了这个问题。一项对GCN在六个真实数据集上进行节点分类的实证研究进一步证实了理论研究结果,并表明图结构的扰动可能导致GCN的性能明显低于仅在节点特征上运行的多层感知器。在实践中,添加一个节点特征内核的扰动图的消息传递的结果在一个显着的改善GCN的性能,从而使它更强大的图形扰动。我们的代码可在https://github.com/ChangminWu/RobustGCN上公开获取。
2022-02-21 cs.LG cs.SI stat.ML
Certifying Robustness of Graph Convolutional Networks for Node Perturbation with Polyhedra Abstract Interpretation
本文提出基于多面体抽象解释的GCN鲁棒性认证方法,通过提供紧密的上下界提升鲁棒性界紧致性和认证效率,并在训练过程中增强GCN的鲁棒性。
2025-12-15 cs.FL cs.LG
Robust Classification using Contractive Hamiltonian Neural ODEs
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
深度神经网络可能是脆弱的,对可能导致输出显著变化的小输入扰动敏感。在本文中,我们采用收缩理论来提高神经ODE(NODE)的鲁棒性。一个动力系统是压缩的,如果具有不同初始条件的所有解以指数速度收敛到彼此。因此,初始条件的扰动随着时间的推移变得越来越不相关。由于在NODE中输入数据对应于动力系统的初始条件,我们证明了收缩性可以减轻输入扰动的影响。更确切地说,受节点的哈密顿动力学的启发,我们提出了一类压缩哈密顿节点(CH-NODE)。通过适当调整标量参数,CH-NODE通过设计确保收缩性,并且可以使用标准反向传播进行训练。此外,CH-NODE享有非爆炸梯度的内置保证,这确保了良好的训练过程。最后,我们证明了鲁棒性的CH-NODE的MNIST图像分类问题与噪声测试数据。
2022-07-11 cs.LG
Robust Deep Learning Models Against Semantic-Preserving Adversarial Attack
HKUST(香港科技大学);SUSTech(南方科技大学);University of Technology, Sydney(悉尼科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出语义保持对抗(SPA)攻击机制,通过结合属性操纵器和噪声生成器生成联合扰动样本进行对抗训练,有效提升了深度学习模型抵御联合扰动的鲁棒性。
2023-04-08 cs.LG
AN-GCN: An Anonymous Graph Convolutional Network Defense Against Edge-Perturbing Attack
Sichuan University(四川大学);Huazhong University of Science and Technology(华中科技大学);Delft University of Technology(代尔夫特理工大学)
最近的研究揭示了图卷积网络(GCN)对边缘扰动攻击的脆弱性,例如恶意插入或删除图边缘。然而,从理论上证明这种脆弱性仍然是一个巨大的挑战,有效的防御方案仍然是一个悬而未决的问题。在本文中,我们首先概括了边扰动攻击的提法,并严格证明了GCN的脆弱性,这种攻击的节点分类任务。在此基础上,提出了一种匿名的图卷积网络(AN-GCN)来对抗边扰动攻击。具体来说,我们提出了一个节点定位定理,以证明如何在其训练阶段的GCN定位节点。此外,我们设计了一个基于交错高斯噪声的节点位置发生器,并设计了一个基于谱图卷积的节点位置检测算法。进一步,我们给出了上述生成器的优化设计和最优控制器的设计. AN-GCN可以对节点进行分类,而无需将其位置作为输入。结果表明,AN-GCN是安全的,对边缘扰动攻击的节点分类任务,AN-GCN分类节点没有边缘信息,从而使攻击者不可能扰动边缘了。广泛的评估表明,一般的边缘扰动攻击模型在操纵目标节点的分类结果的有效性。更重要的是,所提出的AN-GCN可以达到82.7%的节点分类准确率没有边缘读取权限,这优于最先进的GCN。
2021-06-17 cs.CR cs.LG
Improve Robustness of Reinforcement Learning against Observation Perturbations via $l_\infty$ Lipschitz Policy Networks
Shanghai Jiao Tong University(上海交通大学)
针对深度强化学习智能体易受观测扰动影响的问题,提出融入全局$l_\infty$利普希茨连续性的SortRL方法及配套训练框架,实验证明其在多类任务中均达当前最优鲁棒性。
2023-12-14 cs.LG
Data Poisoning Attack against Unsupervised Node Embedding Methods
Tsinghua University(清华大学);Mila(米拉研究所);HEC Montreal(蒙特利尔高等商学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校)
无监督节点嵌入方法(例如,DeepWalk、LINE和node 2 vec)由于其简单性和有效性而吸引了越来越多的兴趣。然而,虽然这些方法已被证明是有效的,在各种应用中,没有现有的工作已经分析了他们的鲁棒性。如果这些方法受到敌对方的攻击,这可能非常危险。本文以图分析中最基本的问题之一--链接预测为例,介绍了一种针对节点嵌入方法的数据定位攻击。我们给出了攻击者效用的完整表征,并针对两种流行的节点嵌入方法:DeepWalk和LINE,提出了对抗攻击的有效解决方案。我们评估我们提出的攻击模型在多个现实世界的图。实验结果表明,我们提出的模型可以通过稍微改变图结构(例如,添加或去除一些边缘)。我们还表明,我们提出的模型是非常普遍的,可以在不同的嵌入方法之间转移。最后,我们在一个合著者网络上进行了一个案例研究,以更好地理解我们的攻击方法。
2018-11-01 cs.CR cs.LG cs.SI
An Efficient Method for Sample Adversarial Perturbations against Nonlinear Support Vector Machines
Beijing Institute of Technology(北京理工大学)
对抗扰动在各种机器学习模型中引起了广泛的关注。本文研究了非线性支持向量机的样本对抗扰动问题。由于将数据映射到特征空间的非线性函数的隐式形式,很难获得对抗扰动的显式形式。通过研究非线性支持向量机的特性,将攻击非线性支持向量机的优化问题转化为一个非线性KKT系统。这样的系统可以通过各种数值方法求解。数值结果表明,我们的方法是有效的计算对抗扰动。
2022-06-12 cs.LG math.OC
Optimization Models and Interpretations for Three Types of Adversarial Perturbations against Support Vector Machines
Beijing Institute of Technology(北京理工大学);Beihang University(北京航空航天大学)
对抗扰动在各种深度神经网络中引起了广泛的关注。它们中的大多数是通过迭代计算的,不能很好地解释。相比之下,很少关注基本的机器学习模型,如支持向量机。本文研究了支持向量机的三种对抗性扰动的优化模型和解释,包括样本对抗性扰动(sAP)、类泛对抗性扰动(cuAP)和泛对抗性扰动(uAP)。对于线性二分类/多分类支持向量机(SVM),我们给出了sAP、cuAP和uAP(二分类)的显式解,以及多分类uAP的近似解。我们还得到了uAP的愚弄率的上界。这些结果不仅增加了三种对抗扰动的可解释性,而且由于可以避免迭代过程,在计算上提供了极大的方便。数值结果表明,我们的方法是快速和有效的计算三种类型的对抗扰动。
2022-04-07 cs.LG math.OC
Defending Graph Convolutional Networks against Dynamic Graph Perturbations via Bayesian Self-supervision
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
近年来,大量的证据表明,图卷积网络(GCN)在节点分类方面取得了非凡的成就。然而,GCN可能容易受到标签稀缺的动态图上的对抗攻击。许多现有的工作旨在加强GCN的鲁棒性;例如,对抗训练用于保护GCN免受恶意扰动。然而,这些作品失败的动态图标签稀缺性是一个紧迫的问题。为了克服标签稀缺性,自训练尝试迭代地将伪标签分配给高度自信的未标记节点,但这种尝试在动态图扰动下可能会严重退化。在本文中,我们推广噪声监督作为一种自监督学习方法,然后提出了一种新的贝叶斯自监督模型,即GraphSS,来解决这个问题。大量的实验表明,GraphSS不仅可以肯定地警告动态图上的扰动,而且还可以有效地恢复节点分类器的预测,当图是在这样的扰动。这两个优点被证明是在五个公共图数据集上的三个经典GCN上推广的。
2022-03-07 cs.LG
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University(杜克大学)
众所周知,分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动,已经推导出各种经过认证的鲁棒性结果。然而,现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中,顶级$k$预测更相关。在这项工作中,我们的目标是获得认证的鲁棒性顶部$k$预测。特别是,我们认证的鲁棒性是基于随机平滑,它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑,因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时,我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现,推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如,当对抗扰动的$\ell_2$范数小于0.5(=127/255)时,我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取:\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI;Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);UC Berkeley(加州大学伯克利分校)
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上,但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击,这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明,评估范围广泛的扰动大小是必要的,以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明,对一个扰动类型的鲁棒性可能并不总是意味着,有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果,我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
PRoA: A Probabilistic Robustness Assessment against Functional Perturbations
University of Exeter(埃克塞特大学)
在安全关键型深度学习应用程序中,鲁棒性测量是至关重要的部署前阶段。然而,现有的鲁棒性验证方法对于在现实世界中部署机器学习系统来说并不足够实用。一方面,这些方法试图声称没有扰动可以“愚弄”深度神经网络(DNN),这在实践中可能过于严格。另一方面,现有的作品严格考虑像素空间上的$L_p$有界加性扰动,虽然扰动,如颜色偏移和几何变换,更实际和更频繁地发生在现实世界中。因此,从实用的角度出发,提出了一种基于自适应集中度的{ \it概率鲁棒性评估方法}(PRoA),它可以衡量深度学习模型对功能扰动的鲁棒性。PRoA可以提供关于模型的概率鲁棒性的统计保证,\textit{i.e.},即部署后训练模型遇到的故障概率。我们的实验证明了PRoA在评估针对广泛功能扰动的概率鲁棒性方面的有效性和灵活性,与现有最先进的基线相比,PRoA可以很好地扩展到各种大规模深度神经网络。出于可重复性的目的,我们在GitHub上发布了我们的工具:\url{ https://github.com/TrustAI/PRoA}。
2022-07-05 cs.AI cs.CV cs.LG
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore(新加坡国立大学)
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动,需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下,基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要,同时实现了对多种扰动类型的鲁棒性。然而,这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形,这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中,我们设计了一个近似流形防御机制,称为RBF-CNN,用于图像分类。我们使用RBF层来学习小图像块的密度,而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外,将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明,RBF-CNN对多种扰动具有鲁棒性,而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
Node Perturbation Can Effectively Train Multi-Layer Neural Networks
Donders Institute for Brain, Cognition and Behaviour(大脑、认知与行为研究所)
通过将节点扰动与方向导数对齐并在每层进行输入去相关,显著提升了节点扰动学习的参数收敛速度和测试性能,接近反向传播。
2026-06-02 cs.LG
Universal Adversarial Perturbations Against Semantic Image Segmentation
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(博世人工智能中心,罗伯特·博世有限公司);University of Freiburg(弗赖堡大学)
虽然深度学习在感知任务上非常成功,但它也被证明容易受到输入的对抗性扰动的影响。这些扰动表示添加到输入中的噪声,这些噪声是专门为了欺骗系统而生成的,同时对人类来说是准不可感知的。更严重的是,甚至存在输入不可知的普遍扰动,但在大多数输入上欺骗了网络。虽然最近的工作集中在图像分类上,但这项工作提出了针对语义图像分割的攻击:我们提出了一种生成(通用)对抗性扰动的方法,使网络产生所需的目标分割作为输出。我们的经验表明,存在几乎察觉不到的普遍噪声模式,导致几乎相同的预测分割任意输入。此外,我们还证明了普遍噪声的存在,它消除了目标类(例如,所有行人),同时使分割大部分保持不变。
2017-07-31 cs.AI cs.CV cs.LG
Defending Against Adversarial Examples with K-Nearest Neighbor
鲁棒性是机器学习模型越来越重要的属性,因为它们变得越来越普遍。我们提出了一种防御对抗性的例子的基础上的k-最近邻(kNN)的中间激活的神经网络。我们的计划超过了国家的最先进的防御MNIST和CIFAR-10对l2扰动的显着保证金。使用我们的模型,在CIFAR-10上,欺骗我们的MNIST模型所需的平均扰动范数为3.07和2.30。此外,我们提出了一个简单的可验证的下限的l2范数的对抗扰动使用我们的计划,1-NN的更具体的版本表示学习Lipschitz网络。我们的模型提供了一个非平凡的平均下界的扰动范数,可比其他计划MNIST具有类似的清洁精度。
2020-03-18 cs.AI cs.CR cs.LG
Bayesian adversarial multi-node bandit for optimal smart grid protection against cyber attacks
Xi'an Jiaotong-Liverpool University(西交利物浦大学);University of Strathclyde(思克莱德大学);University of New South Wales(新南威尔士大学)
智能电网的网络安全已成为发展可靠的现代电力和能源系统的关键问题之一。本文介绍了一种非平稳的对抗成本与变化约束的智能电网,使我们能够在一个相对实际的情况下,研究最佳的智能电网保护免受网络攻击的问题。特别地,构造了一个具有对抗成本的贝叶斯多节点强盗(MNB)模型,并定义了一个新的后悔函数。提出了一种求解该问题的算法-通过算例验证了该算法在实际智能电网中的适用性和性能。
2021-02-20 cs.CR cs.LG cs.SY
Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);DeepAuto
提出一种轻量级鲁棒零成本代理,通过评估初始化状态下干净与扰动图像在特征、参数和梯度上的一致性,高效搜索出对多样扰动具有强鲁棒性的神经架构。
2023-10-20 cs.LG
A Neural Rejection System Against Universal Adversarial Perturbations in Radio Signal Classification
Wolfson School of Mechanical, Electrical and Manufacturing Engineering, Loughborough University(洛桑大学沃尔夫森机械、电气与制造工程学院);Dept. of Electrical and Electronic Engineering, University of Cagliari(卡利亚里大学电子与电气工程系)
针对通用对抗扰动易高成功率攻击深度学习无线电信号分类模型的问题,提出神经拒绝防御系统,经白盒通用对抗扰动测试,防御准确率显著高于未设防深度神经网络。
2025-06-13 cs.AI cs.LG
Towards Inductive Robustness: Distilling and Fostering Wave-induced Resonance in Transductive GCNs Against Graph Adversarial Attacks
Sichuan University(四川大学);Chengdu University of Information Technology(成都信息工程大学);Huazhong University of Science and Technology(华中科技大学)
该研究发现转导式GCN的波致共振可提供固有鲁棒性,提出图共振强化网络GRN,通过学习共振子图的节点表示实现归纳式鲁棒学习,可泛化到未见过的节点且在扰动图上保持SOTA分类精度。
2023-12-14 cs.LG
Towards Robust Deep Reinforcement Learning against Environmental State Perturbation
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文形式化 DRL 的环境状态扰动问题,提出无目标校准攻击与 BAT 防御框架,并通过实验证明其可显著提升智能体在多种场景下的鲁棒性。
2025-06-10 cs.AI cs.LG
Belief-Enriched Pessimistic Q-Learning against Adversarial State Perturbations
Tulane University(杜兰大学)
针对强化学习智能体易受对抗状态扰动的问题,提出融合信念状态推断与扩散状态纯化的悲观Q学习算法,在强攻击下表现优异且训练开销与正则化方法相当。
2024-03-06 cs.LG
QUIVER: A Formal Framework for Quantifying Perturbation Propagation and Bifurcation in Compound AI Systems
Servicenow CA, USA(Servicenow加州美国)
提出QUIVER形式化框架,通过敏感性矩阵、轨迹散度、分岔阈值和分布忠实度四个组件,量化图结构LLM流水线中扰动传播与结构分岔,并在三个不同架构的企业和公共流水线上验证其有效性。
2026-05-11 cs.AI cs.LG cs.MA
Robust Federated Learning against Model Perturbation in Edge Networks
School of Electronic Inform. & Commun., Huazhong University of Science & Technology, China(华中科技大学电子与信息学院);School of Mech. Eng. and Elect. Inform., China University of Geosciences, China(中国地质大学(北京)机械工程与电子信息学院);Pengcheng Lab, Guangzhou, China(鹏城实验室)
针对联邦学习中模型扰动导致性能下降的问题,提出SMRFL方法,通过锐度感知最小化求解极小极大优化问题以收敛至平坦极小值,在保持相同收敛速率的同时显著提升了模型对扰动的鲁棒性。
2025-05-30 cs.DC cs.LG
Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations
本研究针对神经网络易受对抗攻击的问题,提出一种基于一阶扰动的推理阶段防御增强方法,无需重训练,可有效提升多种变换类防御对强对抗样本的抵御能力。
2024-01-28 cs.CV cs.LG
Probabilistic Robustness-driven Universal Adversarial Perturbations with Explainability against Deep Reinforcement Learning-based Intrusion Detection System
University of Warwick(华威大学);Loughborough University(拉夫堡大学);Swansea University(斯旺西大学)
针对深度强化学习入侵检测系统,提出基于概率鲁棒性的通用对抗扰动生成方法PX-UAP,利用可解释人工智能指导扰动塑造,实验证明其攻击有效性优于现有方法。
2026-09-28 cs.LG
Robust Node Representation Learning via Graph Variational Diffusion Networks
Boise State University(博伊西州立大学);Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
针对图结构扰动下GNN节点表示学习退化及高斯噪声策略引发的过平滑问题,提出结合高斯扩散与节点嵌入传播的图变分散度网络GVDN,通过再训练机制恢复分类性能,在六个公开数据集上验证了有效性。
2023-12-18 cs.AI cs.LG
Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing
Duke University(杜克大学)
社区发现是理解图结构的关键。然而,最近的一些研究表明,社区发现是脆弱的对抗性结构扰动。特别是,通过在图中添加或删除少量精心选择的边,攻击者可以操纵检测到的社区。然而,据我们所知,还没有研究证明社区发现对这种对抗性结构扰动的鲁棒性。在这项工作中,我们的目标是弥合这一差距。具体来说,我们开发了第一个经过认证的鲁棒性保证社区发现对抗性结构扰动。在给定任意社区发现方法的基础上,通过随机扰动图的结构,建立了一种新的平滑社区发现方法。我们从理论上表明,平滑的社区发现方法可证明组到同一个社区(或不同的社区)的节点的一个给定的任意集合时,由攻击者添加/删除的边缘的数量是有界的。此外,我们证明了我们的认证的鲁棒性是紧密的。我们还在多个真实世界的图形与地面真实社区上实证评估了我们的方法。
2020-09-15 cs.CR cs.LG cs.SI
Testing robustness of predictions of trained classifiers against naturally occurring perturbations
Know-Center GmbH(知识中心有限公司);Institute of Interactive Systems and Data Science(交互系统与数据科学研究所);Graz University of Technology(格拉茨工业大学);Department of Geography and Regional Science(地理与区域科学系);University of Graz(格拉茨大学)
正确量化机器学习模型的鲁棒性是判断其是否适合特定任务的核心方面,并最终产生对它们的信任。我们解决的问题,找到个人预测的鲁棒性。我们从理论上和经验的例子表明,一种基于反事实的方法,以前提出的是不够的,因为它不是一个有效的度量确定的鲁棒性对扰动发生“自然”,特定的对抗攻击的情况。我们提出了一种灵活的方法,模型可能的扰动输入数据单独为每个应用程序。然后将其与概率方法相结合,该方法计算"真实世界“扰动将改变预测的可能性,从而给出训练的机器学习模型的个体预测的鲁棒性的定量信息。该方法不需要访问分类器的内部,因此原则上适用于任何黑盒模型。然而,它是基于蒙特卡罗采样,因此只适合于小尺寸的输入空间。我们说明了我们的方法的虹膜和电离层数据集,在机场预测雾的应用程序,并解析可解的情况下。
2023-02-09 cs.LG
Certifiable Robustness to Graph Perturbations
Technical University of Munich(慕尼黑工业大学)
尽管人们对图神经网络有着爆炸性的兴趣,但很少有人去验证和提高它们的鲁棒性。考虑到最近的研究结果表明它们在图结构和节点属性上都极易受到对抗攻击,这一点更加令人担忧。我们提出了第一种方法来验证可证明的(非)鲁棒性图扰动的一般类模型,包括图神经网络和标签/特征传播。通过利用与PageRank和Markov决策过程的连接,我们的证书可以有效地(并且在许多威胁模型下准确地)计算。此外,我们研究了强大的训练程序,增加了可证明的强大节点的数量,同时保持或提高清洁的预测精度。
2019-12-19 cs.CR cs.LG cs.SI
Verification of Neural Networks against Convolutional Perturbations via Parameterised Kernels
Safe Intelligence(安全智能);Imperial College London(伦敦帝国学院)
本文提出用可线性参数化的相机抖动、盒式模糊和锐化核,在网络前添加线性层并结合输入分裂分支定界,实现对卷积扰动的高效鲁棒性验证。
2025-02-17 cs.AI cs.CR cs.CV
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering(科学与工程研究生院);Chiba University(千叶大学);Graduate School of Informatics(信息科学研究生院);Zuse Institute Berlin(柏林泽尼奇研究所)
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性,发现其比在线方法更脆弱,表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
RAP: Robustness-Aware Perturbations for Defending against Backdoor Attacks on NLP Models
Center for Data Science, Peking University(北京大学数据科学中心);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯公司微信AI模式识别中心);MOE Key Laboratory of Computational Linguistics, School of EECS, Peking University(北京大学信息工程学院教育部计算语言学重点实验室)
后门攻击是一种利用特定触发器恶意控制训练良好的模型实例输出的攻击,最近被证明是对重用深度神经网络(DNN)安全性的严重威胁。在这项工作中,我们提出了一个有效的在线防御机制的基础上鲁棒性感知扰动。通过对后门训练过程的分析,指出中毒样本和干净样本在鲁棒性上存在较大差距。出于这一观察,我们构建了一个基于词的鲁棒性感知扰动区分中毒样本从干净的样本,以抵御后门攻击的自然语言处理(NLP)模型。此外,我们给出了一个理论分析的可行性,我们的鲁棒性感知的扰动为基础的防御方法。在情感分析和有毒检测任务上的实验结果表明,与现有的在线防御方法相比,该方法具有更好的防御性能和更低的计算开销。我们的代码可在https://github.com/lancopku/RAP上获得。
2021-10-15 cs.CL cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG