Meta-Solver for Neural Ordinary Differential Equations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
训练神经常微分方程(ODE)的传统方法是固定ODE求解器,然后学习神经网络的权重以优化目标损失函数。然而,这种方法是针对特定的离散化方法及其属性定制的,这对于所选择的应用可能不是最佳的,并且产生对给定求解器的过拟合。在我们的论文中,我们研究了求解器空间的可变性如何提高神经常微分方程的性能。我们考虑一个家庭的龙格-库塔方法参数不超过两个标量变量。基于求解器的属性,我们提出了一种方法来减少神经ODE过拟合到预定义的求解器,以及一个标准来评估这种行为。此外,我们表明,正确选择求解器参数化可以显着影响神经ODE模型的鲁棒性对抗攻击。最近的研究表明,神经ODE在鲁棒性方面优于传统的CNN。我们的工作表明,模型的鲁棒性可以进一步提高优化求解器的选择,为给定的任务。复制我们实验的源代码可在https://github.com/juliagusak/neural-ode-metasolver上获得。
2021-03-15 cs.LG
ODE guided Neural Data Augmentation Techniques for Time Series Data and its Benefits on Robustness
IIT Hyderabad(印度理工学院海得拉巴分校);IIT Madras(印度理工学院马德拉斯分校)
探索对抗攻击向量并研究它们对机器学习算法的影响一直是研究人员感兴趣的。在这种情况下,与图像对应物相比,处理时间序列数据的深度神经网络受到的关注较少。在最近的一项发现中,已经揭示了当前最先进的深度学习时间序列分类器容易受到对抗攻击的攻击。本文介绍了两种基于局部梯度和一种基于谱密度的时间序列数据增强技术。我们表明,使用我们的技术获得的数据训练的模型在各种时间序列基准上获得了最先进的分类精度。此外,它提高了模型对一些最常见的腐败技术,如快速梯度符号法(FGSM)和基本迭代法(BIM)的鲁棒性。
2020-09-27 cs.LG stat.ML
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab(腾讯人工智能实验室)
近年来,针对自动说话人确认系统的对抗性攻击引起了广泛的关注,因为它们对自动说话人确认系统构成了严重的威胁。然而,防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外,对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交,这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击,而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器,并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性,我们分析了各种不可见攻击设置的影响,并观察到检测器对不可见替代ASV系统具有鲁棒性(最坏情况下的EER_{det}退化为6.27%),但对不可见扰动方法具有较弱的鲁棒性(最坏情况下的EER_{det}退化为50.37%)。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
A minimax optimal control approach for robust neural ODEs
Technical University Munich (TUM)(慕尼黑工业大学(TUM));Munich Data Science Institute (MDSI)(慕尼黑数据科学研究所(MDSI));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文将神经常微分方程的对抗训练建模为极小极大最优控制问题,利用庞特里亚金最大值原理推导最优性条件,并提出一种加权鲁棒训练方法并在低维分类任务上验证。
2024-03-30 cs.LG cs.SY eess.SY
Investigating Catastrophic Overfitting in Fast Adversarial Training: A Self-fitting Perspective
Shanghai Jiao Tong University(上海交通大学)
虽然快速对抗训练提供了一种构建鲁棒网络的有效方法,但它可能会遇到一个严重的问题,称为灾难性过拟合(CO),其中多步鲁棒准确性突然崩溃为零。在本文中,我们首次将单步对抗示例解耦为数据信息和自信息,这揭示了一个有趣的现象,称为“自拟合”。自适应,即,当网络发生自拟合时,网络出现明显的“通道分化”现象,即一些用于识别自信息的卷积通道占优势,而另一些用于识别数据信息的卷积通道被抑制。这样,网络只能识别具有足够自信息的图像,而失去了对其他类型数据的泛化能力。基于自拟合,我们对现有方法提供了新的见解,以减轻CO并将CO扩展到多步对抗训练。我们的研究结果揭示了对抗训练中的自我学习机制,并为抑制不同类型的信息以减轻CO开辟了新的视角。
2023-03-24 cs.AI cs.CV cs.LG
Investigating Human-Identifiable Features Hidden in Adversarial Perturbations
University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(台湾大学)
本文通过三个数据集上的五种攻击算法,识别对抗扰动中的人类可识别特征,揭示无目标攻击的掩蔽效应与有目标攻击的生成效应,并分析跨算法扰动相似性及可迁移性。
2023-09-28 cs.AI cs.CV cs.LG
Standalone Neural ODEs with Sensitivity Analysis
Linköping University(林雪平大学)
本文提出了独立神经ODE(sNODE),连续深度神经ODE模型能够描述一个完整的深度神经网络。这使用了一种新的非线性共轭梯度(NCG)下降优化方案进行训练,其中可以引入Sobolev梯度来提高模型权重的平滑性。我们还提出了一个一般的神经敏感性问题的制定,并显示它是如何使用的NCG培训。灵敏度分析提供了一个可靠的测量整个网络的不确定性传播,并可用于研究模型的鲁棒性和生成对抗攻击。我们的评估表明,与ResNet模型相比,我们的新型公式可以提高鲁棒性和性能,并且为设计和开发具有更好解释性的机器学习开辟了新机会。
2022-06-08 cs.LG math.OC
On Robustness of Neural Ordinary Differential Equations
National University of Singapore(新加坡国立大学)
近年来,神经元常微分方程(ODE)在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作,但它们的鲁棒性仍然不清楚。在这项工作中,我们填补了这一重要的空白,探索神经常微分方程的鲁棒性的经验和理论。首先,我们提出了一个基于ODE的神经网络(ODENets)的鲁棒性的实证研究,通过将它们暴露于各种类型的扰动输入,随后调查相应的输出的变化。与传统的卷积神经网络(CNN)相比,我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后,我们提供了一个有见地的理解这种现象,利用一定的连续时间常微分方程的流动,即积分曲线是不相交的理想属性。我们的工作表明,由于其内在的鲁棒性,使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性,我们提出了时不变稳态神经常微分方程(TisODE),它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE,并且还可以与其他最先进的架构方法结合使用,以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
Adversarial Attack Based on Prediction-Correction
Sun Yat-sen University(中山大学)
本文揭示基于梯度的对抗攻击与 ODE 数值解法的联系,提出可嵌入现有梯度攻击的预测-校正框架,提升攻击成功率与跨模型可迁移性。
2023-06-02 cs.AI cs.CR cs.CV
Investigating the Impact of Quantization on Adversarial Robustness
Tsinghua University(清华大学)
本文在PTQ与QAT设置下系统分析量化流水线及鲁棒优化位置对对抗鲁棒性的影响,解释现有结论不一致的原因。
2024-04-08 cs.AI cs.CR cs.LG
Are Your Explanations Reliable? Investigating the Stability of LIME in Explaining Text Classifiers by Marrying XAI and Adversarial Attack
University of Mississippi(密西西比大学);Wright State University(莱特州立大学)
本文提出XAIFooler算法,通过文本扰动优化来操纵LIME解释,评估并提升其稳定性,实验证明该方法在保持语义的同时显著优于现有基线。
2023-10-15 cs.CL cs.LG
Investigating the significance of adversarial attacks and their relation to interpretability for radar-based human activity recognition systems
Ghent University(根特大学);Princeton University(普林斯顿大学)
鉴于卷积神经网络(CNN)在解决各种计算机视觉挑战方面取得了巨大成功,它越来越多地用于灵巧家庭应用,其中许多应用依赖于对人类活动的自动识别。在这种情况下,低功率雷达设备最近作为记录传感器越来越受欢迎,因为这些设备的使用允许减轻许多隐私问题,这是使用传统摄像机时的关键问题。在设计灵巧家庭应用程序时经常提到的另一个问题是这些应用程序对网络攻击的弹性。例如,众所周知,图像和CNN的组合容易受到对抗性示例的攻击,这些示例是有害的数据点,迫使机器学习模型在测试期间生成错误的分类。在本文中,我们研究了基于雷达的CNN对对抗攻击的脆弱性,以及这些基于雷达的CNN被设计用于识别人类手势。通过对四种独特威胁模型的实验,我们表明基于雷达的CNN容易受到白盒和黑盒对抗攻击的影响。我们还揭示了极端对抗攻击情况的存在,在这种情况下,可以通过只扰动输入的填充来改变基于雷达的CNN做出的预测,而不触及动作本身发生的帧。此外,我们观察到,基于梯度的攻击行使扰动不是随机的,但对输入数据的重要特征。我们强调这些重要的功能,利用梯度CAM,一个流行的神经网络可解释性方法,从而显示对抗扰动和预测可解释性之间的联系。
2021-01-26 cs.CV cs.LG cs.MM
Investigating Imperceptibility of Adversarial Attacks on Tabular Data: An Empirical Analysis
School of Information Systems, Queensland University of Technology(昆士兰大学科技学院信息系统学院);Center for Data Science, Queensland University of Technology(昆士兰大学科技学院数据科学中心);School of Mechanical, Medical and Process Engineering, Queensland University of Technology(昆士兰大学科技学院机械、医学与过程工程学院);Data Science Institute, University of Technology Sydney(悉尼科技大学数据科学学院);INESC-ID/Instituto Superior Técnico, University of Lisboa(里斯本大学高等技术学院INESC-ID研究所)
针对表格数据对抗攻击缺乏标准化不可感知性评估指标的问题,提出涵盖七项评估属性与指标,实证评估五种攻击的不可感知性,发现其与有效性存在权衡,为算法改进提供方向。
2024-10-04 cs.AI cs.CR cs.LG
No Need for Interactions: Robust Model-Based Imitation Learning using Neural ODE
ETH Zurich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学)
当前的大多数模仿学习(IL)算法都需要在训练过程中与环境或专家策略进行交互。对于没有交互的IL问题,典型的方法是行为克隆(BC)。然而,类BC方法往往受到分布偏移的影响。为了缓解这个问题,我们提出了一个基于鲁棒模型的模仿学习(RMBIL)框架,将模仿学习转换为端到端的可微分非线性闭环跟踪问题。RMBIL应用神经ODE学习精确的多步动态和鲁棒跟踪控制器通过非线性动力学逆(NDI)算法。然后,学习的NDI控制器将与轨迹生成器(条件VAE)相结合,以模仿专家的行为。理论推导表明,在最小化神经常微分方程训练损失的情况下,控制器网络可以逼近NDI。在Mujoco任务上的实验还表明,RMBIL与最先进的生成对抗方法(GAIL)相比具有竞争力,并且在不平坦的表面上实现了至少30%的性能增益。
2021-04-03 cs.LG cs.RO cs.SY
Interpolation between Residual and Non-Residual Networks
Tsinghua University(清华大学)
虽然常微分方程(ODE)为设计网络架构提供了见解,但它与非残差卷积神经网络(CNN)的关系仍然不清楚。本文通过引入阻尼项,提出了一种新的常微分方程模型。可以表明,所提出的模型可以通过调整插值系数来恢复ResNet和CNN。因此,阻尼常微分方程模型提供了一个解释剩余和非剩余网络的统一框架。李雅普诺夫分析表明,该模型具有更好的稳定性,从而提高了学习网络的鲁棒性。在一些图像分类基准上的实验表明,该模型大大提高了ResNet和ResNeXt在随机噪声和对抗性攻击方法的扰动输入上的准确性。此外,损失景观分析表明,改进的鲁棒性的方法沿攻击方向。
2020-08-16 cs.LG stat.ML
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)(弗劳恩霍夫能源经济与能源系统技术研究所);Intelligent Embedded Systems (IES)(智能嵌入式系统)
本文针对鸟类声音分类任务,探究对抗训练对分布偏移下泛化能力的影响,发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性,该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Domain Adversarial Training: A Game Perspective
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
领域自适应的主要工作集中在使用领域对抗训练来学习不变表示。在本文中,我们从博弈论的角度来解释这种方法。将领域对抗训练中的最优解定义为局部纳什均衡,我们证明了领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证,通常会阻碍传输性能。我们的分析使我们用高阶ODE求解器(即,Runge-Kutta),我们得到渐近收敛保证。这一系列优化器明显更稳定,并允许更积极的学习率,从而在用作标准优化器的直接替代品时获得更高的性能增益。我们的实验表明,结合最先进的领域对抗方法,我们在不到一半的训练迭代中实现了高达3.5%的改进。我们的优化器很容易实现,没有额外的参数,并且可以插入任何领域对抗框架。
2022-02-10 cs.CV cs.GT cs.LG
ADDMU: Detection of Far-Boundary Adversarial Examples with Data and Model Uncertainty Estimation
University of California, Los Angeles(加州大学洛杉矶分校);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
对抗性示例检测(AED)是对抗性攻击的一种重要防御技术,越来越受到自然语言处理(NLP)社区的关注。尽管新的AED方法激增,但我们的研究表明,现有的方法严重依赖于捷径来实现良好的性能。换句话说,一旦模型预测发生变化,NLP中当前基于搜索的对抗性攻击就会停止,因此这些攻击生成的大多数对抗性示例都位于模型决策边界附近。为了超越这种捷径并公平地评估AED方法,我们建议使用\textbf{F} ar \textbf{B} ouncement(\textbf{FB})对抗性示例来测试AED方法。现有的方法在这种情况下表现出比随机猜测更差的性能。为了克服这一局限性,我们提出了一种新的技术,\textbf{ADDMU},\textbf{a}的\textbf{d}检测与\textbf{d}数据和\textbf{m}模型\textbf{u}不确定性,它结合了两种类型的不确定性估计的定期和FB敌对的例子检测。我们的新方法在每个场景下都比以前的方法高出3.6和6.0 \emph{AUC}点。最后,我们的分析表明,\textbf{ADDMU}提供的两种类型的不确定性可以用来描述对抗性示例,并识别对对抗性训练中模型鲁棒性贡献最大的示例。
2022-10-22 cs.CL cs.LG
Revisiting Outer Optimization in Adversarial Training
West Virginia University(西弗吉尼亚大学)
尽管对抗训练和自然训练(AT和NT)之间存在根本区别,但AT方法通常采用动量SGD(MSGD)进行外部优化。本文旨在分析这种选择,通过调查被忽视的作用,外部优化AT。我们的探索性评估表明,与NT相比,AT会产生更高的梯度范数和方差。这种现象阻碍了AT的外部优化,因为MSGD的收敛速度高度依赖于梯度的方差。为此,我们提出了一种称为ENGM的优化方法,该方法将每个输入示例对平均小批量梯度的贡献正则化。我们证明了ENGM的收敛速度与梯度的方差无关,因此,它适用于AT。我们引入了一个技巧,以减少计算成本的ENGM使用经验观察梯度w.r.t.的范数之间的相关性。网络参数和输入示例。我们对CIFAR-10、CIFAR-100和TinyImageNet的广泛评估和消融研究表明,ENGM及其变体始终如一地提高了各种AT方法的性能。此外,ENGM弥补了AT的主要缺点,包括鲁棒的过拟合和对超参数设置的高敏感性。
2022-09-02 cs.LG
Evaluation of Adversarial Training on Different Types of Neural Networks in Deep Learning-based IDSs
Carleton University(卡尔顿大学)
包括深度神经网络的入侵检测系统在内的网络安全应用正在迅速增加,使得异常活动的检测任务更加准确和鲁棒。随着DNN的使用和系统中传输的数据量的快速增长,不同类型的对抗攻击对击败它们构成了严峻的挑战。在本文中,我们重点研究了不同规避攻击的有效性,以及如何使用不同的神经网络来训练一个弹性的基于深度学习的IDS,例如,卷积神经网络(CNN)和递归神经网络(RNN)。我们使用最小-最大的方法来制定的问题,训练鲁棒的IDS对抗对抗的例子,使用两个基准数据集。我们在不同的深度学习算法和不同的基准数据集上的实验表明,使用基于对抗训练的最小-最大方法进行防御可以提高对五种著名的对抗攻击方法的鲁棒性。
2020-07-08 cs.LG stat.ML
Neural Jump ODEs as Generative Models
Department of Finance and Risk Engineering(金融与风险工程系);New York University(纽约大学);ETH Zurich(苏黎世联邦理工学院)
本研究提出将神经跳跃常微分方程(NJODEs)用作伊藤过程的生成模型,证明其可在极限下恢复真实过程参数,无需对抗训练,还能处理不规则含缺失值数据及路径依赖场景。
2025-10-03 cs.LG stat.ML
Do Spikes Protect Privacy? Investigating Black-Box Model Inversion Attacks in Spiking Neural Networks
ECE Department George Mason University Fairfax, VA, USA Email(电子工程系乔治·马歇尔大学弗劳恩斯堡, VA, 美国电子邮件)
本文首次研究了脉冲神经网络在黑盒环境下的模型逆向攻击,发现SNN相比ANN具有更强的抗攻击能力,主要归因于其离散性和时间分布的决策边界特性。
2025-11-23 cs.CR cs.LG cs.NE
It Is All About Data: A Survey on the Effects of Data on Adversarial Robustness
University of British Columbia(不列颠哥伦比亚大学)
本综述聚焦于训练数据对模型对抗鲁棒性的影响,总结导致脆弱性的数据属性,提出通过数据表示与学习过程增强鲁棒性的技术,并指出未来研究方向。
2023-10-17 cs.CR cs.LG
Learning to Detect Adversarial Examples Based on Class Scores
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Technical University of Munich(慕尼黑工业大学)
鉴于深度神经网络(DNN)受到的对抗攻击威胁越来越大,研究有效的检测方法比以往任何时候都更加重要。在这项工作中,我们仔细研究了对抗攻击检测的基础上已经训练的分类模型的类分数。我们建议训练一个支持向量机(SVM)的类分数检测敌对的例子。我们的方法能够检测由各种攻击生成的对抗性示例,并且可以很容易地应用于大量的深度分类模型。我们表明,我们的方法相比现有的方法产生了更高的检测率,同时易于实现。我们对不同的深度分类模型进行了广泛的实证分析,调查了各种最先进的对抗攻击。此外,我们观察到,我们提出的方法是更好地检测组合的对抗攻击。这项工作表明,只需使用已经训练好的分类模型的类得分,就有可能检测到各种对抗攻击。
2021-07-09 cs.CR cs.CV cs.LG
Almost for Free: Crafting Adversarial Examples with Convolutional Image Filters
BIFOLD & TU Berlin(BIFOLD与柏林技术大学)
本文提出了一种简单方法,通过设计基于经典边缘检测算法的对抗图像滤波器,实现高效的对抗样本生成,实验显示3x3滤波器在不同神经网络上成功率达30%-80%。
2026-05-01 cs.CV cs.LG
GAS: Improving Discretization of Diffusion ODEs via Generalized Adversarial Solver
HSE University(俄罗斯高等经济学院);Lomonosov Moscow State University(莫斯科罗蒙诺索夫莫斯科国立大学);FusionBrain Lab(FusionBrain实验室);Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究所)
本文提出通用对抗求解器,通过结合原蒸馏损失与对抗训练,提升扩散模型细节保真度,无需复杂训练技巧,实现更高效的ODE离散化。
2026-03-23 cs.CV cs.LG
Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification
Ruhr University Bochum(波鸿鲁尔大学)
神经网络中的不确定性量化在过去几年中得到了很多关注。最流行的方法,贝叶斯神经网络(BNN),蒙特卡罗丢弃和深度集成有一个共同点:它们都基于某种混合模型。虽然BNN构建无限混合模型并通过变分推理推导,但后两者构建使用最大似然法训练的有限混合模型。在这项工作中,我们研究的效果训练的无限混合分布的最大似然方法,而不是变分推理。我们发现,所提出的目标导致随机网络的预测方差增加,这提高了基于不确定性的识别误分类和鲁棒性对对抗攻击相比,一个标准的BNN与等效的网络结构。新模型还在分布外数据上显示出更高的熵。
2020-08-17 cs.AI cs.LG stat.ML
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University(复旦大学)
最近的研究表明,在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能,这引发了现实世界DNN应用程序的安全问题。然而,现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性,即,利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说,由于观察到图像和视频帧之间的低级特征空间相似,我们提出了一种简单而有效的跨模态攻击方法,称为图像到视频(I2 V)攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧,然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明,I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上,I2 V的平均攻击成功率分别为77.88%和65.68%,这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Lyapunov Neural ODE State-Feedback Control Policies
Department of Chemical and Biomolecular Engineering(化学与生物分子工程系)
本文提出 L-NODEC 方法,利用结合指数稳定控制 Lyapunov 函数的新颖 Lyapunov 损失学习状态反馈神经控制策略,解决了连续时间最优控制问题,保证了受控系统的指数稳定性和对抗鲁棒性,并减少了推理时间。
2025-11-02 cs.LG cs.SY eess.SY
Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers
Seoul National University(首尔国立大学);Kakao Enterprise(Kakao企业);Hanyang University(汉阳大学);Korea Institute for Advanced Study(韩国高等研究院);Saige Research(赛奇研究院)
一个可靠的评估方法是必不可少的,以建立一个强大的分布外(OOD)检测器。目前OOD检测器的鲁棒性评估协议依赖于对离群数据的扰动。然而,扰动不太可能自然发生或与数据内容无关,因此对稳健性的评估有限。在本文中,我们提出了评估通过生成OOD检测器(EvG),一个新的协议,调查的鲁棒性OOD检测器在更现实的模式下的异常值的变化。EvG利用生成模型来合成合理的离群值,并采用MCMC采样来找到被检测器错误分类为具有最高置信度的分布中的离群值。我们使用EvG对最先进的OOD检测器的性能进行了全面的基准比较,发现了以前被忽视的弱点。
2022-08-20 cs.CR cs.LG
Recovering Localized Adversarial Attacks
Bielefeld University(比勒费尔德大学);Honda Research Institue Europe(本田欧洲研究院)
近年来,深度卷积神经网络取得了巨大的成功,特别是在计算机视觉领域。它们快速、方便,而且--由于成熟的框架--相对容易实现和部署。然而,他们的推理隐藏在一个黑盒子里,尽管有许多建议的方法试图为神经网络的预测提供人类可以理解的解释。这仍然是一个争论的问题,这些解释者是最适合的情况下,以及如何定量评估和比较。在这篇文章中,我们关注的是在极端情况下卷积深度神经网络的解释器的能力:在这种情况下,人类和网络从根本上不同意。深度神经网络容易受到对抗攻击的影响,这些攻击会故意修改输入样本以误导神经网络的分类,而不会影响人类观察者如何解释输入。我们的目标是通过调查他们是否可以识别图像的adversarially攻击区域来评估解释者。特别是,我们定量和定性调查的能力,三个流行的分类解释-经典的显着性,引导反向传播,石灰-相对于他们的能力,以确定攻击区域的解释区域的(不正确的)预测在代表性的例子从图像分类。我们发现LIME优于其他解释器。
2019-10-21 cs.LG stat.ML
Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Computational Robotics Lab, ETH Zurich(苏黎世联邦理工学院计算机器人实验室);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出一种利用序列对抗攻击识别四足运动控制器弱点的计算方法,揭示最先进鲁棒控制器在低幅度对抗序列下会失效,并验证该方法能有效增强原始策略鲁棒性及评估黑盒策略安全性。
2024-05-30 cs.LG cs.RO
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出基于分数的对抗生成框架ScoreAG,通过生成无限制对抗样本和净化图像,在多个基准上提升了最先进攻防方法的效果,推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones
Carleton University(卡尔顿大学)
本文研究了对抗攻击对基于机器学习的网络入侵检测系统(NIDS)的实用性,指出动态系统中的攻击有效性较低,并通过实验表明持续重新训练可降低攻击效果。
2026-03-29 cs.CR cs.LG cs.NI
Assessing the Resilience of Automotive Intrusion Detection Systems to Adversarial Manipulation
Politecnico di Milano(米兰理工大学)
该研究针对汽车入侵检测系统(IDS)的安全漏洞,探究了不同知识程度下基于梯度的对抗性规避攻击的可行性与影响,通过公开数据集实验验证了攻击有效性受数据集质量、目标IDS及攻击者知识程度的强关联影响。
2025-06-12 cs.CR cs.LG
Generalizability of Adversarial Robustness Under Distribution Shifts
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
该研究探究分布偏移下经验与认证对抗鲁棒性的泛化性,发现两类鲁棒性可泛化到未见领域且泛化水平与领域视觉相似度相关性弱,还验证了对抗增强在医疗场景中提升鲁棒泛化的效果。
2023-11-07 cs.AI cs.CV cs.LG
Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial Robustness
Fudan University(复旦大学);The University of Melbourne(墨尔本大学)
评估防御模型的鲁棒性是对抗鲁棒性研究中的一个具有挑战性的任务。模糊梯度先前已被发现存在于许多防御方法中,并导致鲁棒性的错误信号。在本文中,我们确定了一种更微妙的情况,称为不平衡的干扰,也可能导致高估的对抗鲁棒性。不平衡梯度的现象发生时,边际损失的一项的梯度占主导地位,并推动攻击向次优方向。为了利用不平衡梯度,我们制定了一个边际分解(MD)攻击,将边际损失分解为单个项,然后通过两个阶段的过程分别探索这些项的可攻击性。我们还提出了一个多目标和合奏版本的MD攻击。通过调查自2018年以来提出的24个防御模型,我们发现11个模型容易受到一定程度的不平衡梯度的影响,我们的MD攻击可以将其鲁棒性降低1%以上。我们还提供了一个深入的调查梯度不平衡的可能原因和有效的对策。我们的代码可在https://github.com/HanxunH/MDAttack上获得。
2023-03-29 cs.CR cs.CV cs.LG
Spear and Shield: Adversarial Attacks and Defense Methods for Model-Based Link Prediction on Continuous-Time Dynamic Graphs
KAIST(韩国科学技术院)
本文提出针对连续时间动态图链路预测的对抗攻击方法T-SPEAR和防御方法T-SHIELD,通过边扰动注入与边过滤及时序平滑增强鲁棒性,实验证明攻击有效且可迁移,防御性能最高提升11.2%。
2024-02-23 cs.LG cs.SI
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research(谷歌研究院)
我们研究生成对抗网络(GANs)中的欠拟合和过拟合,使用生成器看不到的鉴别器来测量泛化。我们发现,模型的容量的控制器有一个显着的影响,对发电机的模型质量,和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反,我们发现,相对于CIFAR10,CIFAR100和CelebA,具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples
Robert Bosch GmbH, Automated Driving Research(罗伯特·博世有限公司,自动驾驶研究);University of Lübeck, Institute of Signal Processing(吕贝克大学,信号处理研究所)
深度神经网络(DNN)在众多应用中实现了最先进的性能。然而,很难事先判断接收输入的DNN是否会提供正确的输出,因为它们的决策标准通常是不透明的。如果输入在其泛化包络所包围的区域内,则DNN会提供正确的输出。在这种情况下,包含在输入样本中的信息被网络合理地处理。在推理时评估DNN是否正确泛化具有很大的实际意义。目前,实现这一目标的方法在不同的问题设置,而彼此独立的调查,导致三个主要的研究和文献领域:预测不确定性,分布外检测和敌对的例子检测。本调查在调查机器学习方法(特别是DNN)的泛化性能的更大框架内将这三个领域联系起来。我们强调了共同点,指出了最有前途的方法,并给出了在推理时提供方法的结构化概述,以确定当前输入是否在DNN的泛化包络内。
2021-09-06 cs.CV cs.LG stat.ML
Improving robustness of jet tagging algorithms with adversarial training: exploring the loss surface
Center for Theoretical Physics, Sloane Physics Laboratory, Yale University(理论物理中心,斯洛恩物理实验室,耶鲁大学);III. Physics Institute A, RWTH Aachen University(物理研究所A,亚琛工业大学)
研究通过对抗训练提升喷注标记算法鲁棒性,探索输入和模型对应的损失曲面几何解释,考虑相关性以提高模型稳定性。
2023-03-25 cs.AI cs.LG hep-ex
Investigating the Corruption Robustness of Image Classifiers with Random Lp-norm Corruptions
Federal Institute for Occupational Safety and Health (BAuA)(联邦职业安全与健康研究所(BAuA));University of Stuttgart(斯图加特大学)
本研究提出使用随机p范数扰动增强图像分类器训练数据,评估模型对不可感知扰动的鲁棒性,并发现组合p范数扰动增强显著提升鲁棒性,优于现有数据增强方案。
2024-01-10 cs.AI cs.CV cs.LG
A Systematic Evaluation of Adversarial Attacks against Speech Emotion Recognition Models
University of Milan(米兰大学);GSSI – Gran Sasso Science Institute(大萨索科学研究所)
本文系统评估了语音情感识别中CNN-LSTM模型对白盒和黑盒对抗攻击的脆弱性,发现所有攻击均显著降低模型性能,且不同语言和性别间差异微小,为未来开发更鲁棒算法、设计攻击与防御及理解语音差异提供了基线。
2024-04-29 cs.CR cs.LG cs.SD
Dynamical systems' based neural networks
NTNU(挪威科技大学);University of Cambridge(剑桥大学)
本文提出基于非自治常微分方程和保持结构的数值离散化构建神经网络,注入几何结构并提升理论理解,给出通用逼近结果,并展示1-Lipschitz架构在CIFAR数据集上的表达力与对抗鲁棒性。
2023-08-31 cs.LG cs.NA math.DS
Investigating Resistance of Deep Learning-based IDS against Adversaries using min-max Optimization
随着针对机器学习模型的对抗攻击的增长,在设计基于深度神经网络的入侵检测系统(IDS)时出现了一些关于潜在漏洞的担忧。本文研究了基于深度学习的入侵检测系统对对抗攻击的抵御能力。我们应用最小-最大(或鞍点)的方法来训练入侵检测系统对NSW-NB 15数据集上的对抗攻击样本。我们有最大的方法来生成对抗样本,实现最大的损失和攻击深度神经网络。另一方面,我们利用现有的min方法[2] [9]作为防御策略来优化入侵检测系统,以最大限度地减少对抗训练期间合并的对抗样本的损失。我们研究和测量的有效性的对抗攻击的方法,以及对抗训练的模型对这种攻击的抵抗力。我们发现,在二进制域中设计的对抗攻击方法可以用于连续域,并表现出不同的错误分类水平。最后,我们表明,基于主成分分析(PCA)的特征约简可以提高入侵检测系统(IDS)使用深度神经网络(DNN)的鲁棒性。
2019-10-30 cs.LG stat.ML
Efficient Certified Training and Robustness Verification of Neural ODEs
ETH Zurich(苏黎世联邦理工学院)
神经常微分方程(NODE)是一种新型的神经体系结构,它是围绕具有学习动态的初始值问题构建的,这些问题在推理过程中得到解决。它们被认为在对抗性干扰方面具有更强的内在鲁棒性,但最近显示出易受强大的对抗攻击的影响,这突出表明需要正式的保障。然而,尽管在标准前馈架构的鲁棒性验证方面取得了重大进展,但高维节点的验证仍然是一个悬而未决的问题。在这项工作中,我们解决这一挑战,并提出GAINS,分析框架NODE结合三个关键的想法:(一)一类新的ODE求解器,基于可变的,但离散的时间步长,(二)求解器轨迹的有效图形表示,和(iii)一种新的抽象算法操作这个图形表示。总之,这些进步通过在维度$d$和积分时间$T$上将运行时间从难以处理的$O(\exp(d)+\exp(T))$减少到${O}(d+T^2 \log^2T)$,使得能够对高维节点进行有效的分析和认证训练。在对计算机视觉(MNIST和FMNIST)和时间序列预测(PHYSIO-NET)问题的广泛评估中,我们证明了我们认证的培训和验证方法的有效性。
2023-03-09 cs.AI cs.LG
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University(亚利桑那州立大学)
为了使NLP系统具有选择性预测能力,已经提出了几种特定于任务的方法。然而,哪些方法在任务中效果最好,或者即使它们始终优于最简单的基线“MaxProb”,仍有待探索。为此,我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内(IID),域外(OOD)和对抗(ADV)设置下的全面实验,我们表明,尽管利用了额外的资源(保留的数据/计算),但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外,他们的表现并不能很好地体现在各项任务中。例如,Monte-Carlo Dropout在重复检测数据集上优于所有其他方法,但在NLI数据集上表现不佳,特别是在OOD设置中。因此,我们建议,未来的选择性预测方法应跨任务和设置进行评估,以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG
Investigating Robustness and Interpretability of Link Prediction via Adversarial Modifications
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法,主要集中在提高准确性和忽视其他方面,如鲁棒性和可解释性。在本文中,我们提出了对链接预测模型的对抗性修改:识别要添加到知识图谱中或从中删除的事实,该知识图谱在模型重新训练后改变了对目标事实的预测。使用图的这些单个修改,我们确定了预测链接的最有影响力的事实,并评估了模型对添加假事实的敏感性。我们引入了一种有效的方法来估计这种修改的效果,通过近似的变化时,知识图谱的嵌入变化。为了避免对所有可能的事实进行组合搜索,我们训练一个网络来解码嵌入到其相应的图组件,允许使用基于梯度的优化来识别对抗性修改。我们使用这些技术来评估链接预测模型的鲁棒性(通过测量对其他事实的敏感性),通过对预测最负责任的事实来研究可解释性(通过识别最有影响力的邻居),并检测知识库中的错误事实。
2019-05-02 cs.CL cs.LG stat.ML
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Coupling Graph Neural Networks with Fractional Order Continuous Dynamics: A Robustness Study
Nanyang Technological University(南洋理工大学);C3 AI
本文研究图神经分数阶微分方程模型在对抗扰动下的鲁棒性,通过理论界分析与实证评估证明其相较整数阶图神经 ODE 具有更强稳定性。
2024-03-04 cs.AI cs.LG
Investigating Decision Boundaries of Trained Neural Networks
University of Maryland(马里兰大学)
深度学习模型一直是从各种角度研究的主题,例如,它们的训练过程,解释,泛化误差,对对抗攻击的鲁棒性等。训练模型由其决策边界定义,因此,许多关于深度学习模型的研究推测决策边界,有时对它们进行简化假设。到目前为止,在经过训练的深度模型的决策边界上找到精确点一直被认为是一个棘手的问题。在这里,我们计算这些模型的决策边界上的精确点,并提供数学工具来研究定义决策边界的表面。通过数值结果,我们证实了对于具有非线性激活函数的模型,一些关于决策边界的推测是准确的,一些计算方法可以改进,一些简化假设可能是不可靠的。我们提倡验证简化假设和近似方法,无论它们在哪里使用。最后,我们证明了用于查找对抗性示例的计算实践可以得到改进,并且计算决策边界上的最近点揭示了模型对对抗攻击的最弱脆弱性。
2019-08-07 cs.LG stat.ML
Investigating GANsformer: A Replication Study of a State-of-the-Art Image Generation Model
通过生成式建模生成图像的领域现在被大量讨论。它可以用于各种应用,例如放大现有图像,创建不存在的对象,例如室内设计场景,产品甚至人脸,以及实现迁移学习过程。在这种情况下,生成对抗网络(GANs)是一类广泛研究的机器学习框架,首次出现在Goodfellow等人的论文“生成对抗网络”中,实现了上述目标。在我们的工作中,我们复制并评估了原始GAN网络的一种新变体,GANformer,由Hudson和Zitnick在“生成对抗Transformers”中提出。该项目旨在重新创建本文中提出的方法,以重现原始结果并对作者的主张进行评论。由于资源和时间的限制,我们不得不限制网络的训练时间、数据集类型和大小。我们的研究成功地重新创建了所提出的GANformer模型的两种变体,并发现了作者和我们的结果之间的差异。此外,出版方法和代码中提供的实施方法之间的差异,使我们能够研究所提出的程序的两个未公开的变化。
2023-03-15 cs.CV cs.LG
Investigating a Spectral Deception Loss Metric for Training Machine Learning-based Evasion Attacks
Virginia Tech(弗吉尼亚理工大学)
对抗性规避攻击在各种机器学习应用程序中非常成功地导致性能低下。一种这样的应用是无线电频谱感测。虽然规避攻击在这一领域被证明是特别成功的,但它们这样做损害了信号的预期目的。更具体地说,对于感兴趣的现实世界应用,为了逃避窃听者而发送的所得到的扰动信号必须不偏离原始信号太远,更少的预期信息被破坏。作者和其他人最近的工作已经展示了一个攻击框架,该框架允许在逃避和通信的这些冲突目标之间进行智能平衡。然而,虽然这些方法考虑创建对抗信号以最小化通信降级,但它们已被证明是以牺牲信号的频谱形状为代价的。这将对抗性信号开放给窃听者的防御措施,例如过滤,这可能会使攻击无效。为了弥补这一点,这项工作引入了一个新的频谱欺骗损失度量,可以在训练过程中实施,以迫使频谱形状与原始信号更加一致。作为概念的初步证明,提出了各种方法,为这一拟议损失提供了一个起点。通过性能分析,它表明,这些技术是有效的控制对抗信号的形状。
2020-05-27 cs.LG eess.SP