Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
A Framework for Verification of Wasserstein Adversarial Robustness
University of Göttingen(哥廷根大学);neurocat GmbH(neurocat有限公司)
机器学习图像分类器容易受到对抗性和破坏性扰动的影响。向图像中添加难以察觉的噪声会导致机器学习模型的严重错误分类。使用$L_p$ -范数来测量噪声的大小无法捕获人类的相似性感知,这就是为什么基于最佳传输的距离度量(如Wasserstein度量)越来越多地用于对抗鲁棒性领域。使用Wasserstein度量的分类器的鲁棒性可以通过证明不存在对抗性示例(认证)或证明它们的存在(攻击)来实现。在这项工作中,我们提出了一个框架的基础上,Levine和Feizi的工作,它允许我们转移现有的认证方法凸多面体或$L_1$ -球的Wasserstein威胁模型。结果证明可以是完整的或不完整的,这取决于选择的是凸多面体还是$L_1$ -球。此外,我们提出了一个新的Wasserstein对抗攻击,预计梯度下降的基础上,并已显着减少计算负担相比,现有的攻击方法。
2021-10-13 cs.CV cs.LG
Optimization for Robustness Evaluation beyond $\ell_p$ Metrics
University of Minnesota(明尼苏达大学);Queens College of the City University of New York(纽约城市大学皇后学院)
针对对抗攻击的深度学习模型的经验评估需要解决非平凡的约束优化问题。解决这些约束问题的流行算法依赖于投影梯度下降(PGD),并需要仔细调整多个超参数。此外,由于使用分析投影仪,PGD只能处理$\ell_1$、$\ell_2$和$\ell_\infty$攻击模型。在本文中,我们介绍了一种新的算法框架,融合了通用的约束优化求解器PyGRANSO,约束折叠(PWCF),增加可靠性和通用性的鲁棒性评估。PWCF 1)找到高质量的解决方案,而不需要精细的超参数调整,2)可以处理一般的攻击模型,例如,一般的$\ell_p$($p \geq 0$)和感知攻击,这是基于PGD的算法无法实现的。
2022-11-14 cs.CV cs.LG eess.SP
Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions
WMG, University of Warwick, Coventry, United Kingdom(沃里克大学商学院,沃里克,英国);Wuhan University, Wuhan, China(武汉大学,武汉,中国)
提出非参数概率鲁棒性(NPPR)度量,通过从数据中学习扰动分布,在分布不确定性下实现保守的概率鲁棒性估计,并基于高斯混合模型开发估计器。
2026-05-29 cs.CV cs.LG
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego(加州大学圣迭戈分校)
在深度学习应用中,深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而,这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题,我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中,定义了两个可微度量来衡量架构的鲁棒性,基于认证的下界和雅可比范数界。然后,我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同:执行对抗性训练和注入随机噪声,我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10,ImageNet和MNIST上,我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明,我们的方法1)比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2)当没有攻击时,比基线更准确; 3)比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
A Survey of Neural Network Robustness Assessment in Image Recognition
Beihang University(北京航空航天大学)
该综述针对图像识别领域的神经网络鲁棒性评估,围绕对抗鲁棒性与损坏鲁棒性,从概念、指标、评估方法三方面梳理现有研究,分析方法优劣并提出未来研究方向。
2024-04-15 cs.AI cs.CV cs.SY
Adversarial robustness of VAEs through the lens of local geometry
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文利用编码器诱导的随机拉回度量张量分析 VAE 潜空间几何脆弱性,提出基于其特征谱的鲁棒性评分,并以 mixup 训练同时提升鲁棒性与重建质量。
2024-10-28 cs.AI cs.CV cs.LG
Attacking Perceptual Similarity Metrics
Portland State University(波特兰州立大学)
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性,发现常见攻击可翻转其判断,并提出结合空间与PGD攻击的迁移方法,为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Adversarial Robustness Assessment: Why both $L_0$ and $L_\infty$ Attacks Are Necessary
Kyushu University(九州大学)
针对各种类型的机器学习算法,存在大量的对抗攻击和防御,这使得评估算法的鲁棒性成为一项艰巨的任务。更糟糕的是,这些对抗性算法中存在固有的偏见。在这里,我们组织了面临的问题:a)模型依赖性,b)评估不足,c)虚假对抗样本,d)扰动依赖结果。在此基础上,我们提出了一个模型无关的双重质量评估方法,连同鲁棒性水平的概念来解决它们。我们验证了最先进的神经网络(WideResNet,ResNet,AllConv,DenseNet,NIN,LeNet和CapsNet)的双重质量评估以及图像分类问题的对抗性防御。我们进一步表明,目前的网络和防御是脆弱的,在所有级别的鲁棒性。所提出的鲁棒性评估表明,根据所使用的度量(即,$L_0$或$L_\infty$),则鲁棒性可以显著变化。因此,要正确评价,就必须考虑到这种二重性。此外,数学推导以及反例表明,单独使用$L_1$和$L_2$度量不足以避免虚假对抗样本。有趣的是,所提出的评估的阈值攻击是一种新的$L_\infty$黑盒对抗方法,其需要比单像素攻击更少的扰动(仅为单像素攻击的扰动量的$12\%$)来实现类似的结果。代码可在http://bit.ly/DualQualityAssessment上获得。
2020-07-16 cs.CR cs.CV cs.LG
Applying the Decisiveness and Robustness Metrics to Convolutional Neural Networks
Boston Fusion Corp(波士顿融合公司);Photrek(Photrek公司)
我们回顾了最近提出的三个分类器质量指标,并考虑了它们对大规模分类挑战的适用性,例如将卷积神经网络应用于1000类ImageNet数据集。被称为“几何准确性”、“决定性”和“鲁棒性”的这些度量基于分类器的自我报告的和测量的正确分类的概率的广义平均值($ρ$分别等于0、1和-2/3)。我们还提出了一些小的澄清标准化的指标定义。通过这些更新,我们展示了使用深度卷积神经网络(AlexNet和DenseNet)计算大型数据集(德国交通标志识别基准和ImageNet)的度量的一些示例。
2020-05-29 cs.CV cs.LG
Measuring Neural Net Robustness with Constraints
Stanford University(斯坦福大学);University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
尽管神经网络具有很高的准确性,但已被证明容易受到对抗性示例的影响,其中对输入的小扰动可能导致其被错误标记。我们提出了衡量神经网络的鲁棒性的指标,并设计了一种新的算法,用于近似这些指标的基础上编码的鲁棒性作为一个线性规划。我们展示了我们的指标如何用于评估深度神经网络的鲁棒性,并在MNIST和CIFAR-10数据集上进行了实验。我们的算法生成的鲁棒性指标的估计更翔实的估计相比,现有的算法的基础上。此外,我们还展示了现有的方法如何提高使用特定算法生成的对抗性示例的鲁棒性“过拟合”。最后,我们表明,我们的技术可以用来进一步提高神经网络的鲁棒性,无论是根据我们提出的指标,但也根据以前提出的指标。
2017-06-16 cs.CV cs.LG cs.NE
Robustness to Augmentations as a Generalization metric
PES University(PES大学)
泛化是模型在未知领域进行预测的能力,是机器学习中的一项基本任务。几个推广界,理论和经验已经提出,但他们不提供紧bounds.In这项工作中,我们提出了一个简单而有效的方法来预测模型的推广性能,使用的概念,模型是强大的增广比那些没有更普遍。我们用几种增强和增强的组合进行实验,以检查模型的泛化能力。我们还提供了所提出的方法背后的详细动机。所提出的泛化度量是基于增加输入后模型输出的变化来计算的。该方法是NeurIPS竞赛中关于深度学习中预测泛化的第一个亚军解决方案。
2021-01-16 cs.CV cs.LG
Is Smoothness the Key to Robustness? A Comparison of Attention and Convolution Models Using a Novel Metric
The University of Tokyo(东京大学)
本文提出基于逐层拓扑与Lipschitz连续性分析的TopoLip度量,统一比较不同架构的鲁棒性,并证明注意力模型通常比卷积模型更平滑且更鲁棒。
2024-11-24 cs.LG
Robustness Quantification for Discriminative Models: a New Robustness Metric and its Application to Dynamic Classifier Selection
Foundations Lab for imprecise probabilities (FLip)(不精确概率基础实验室);Ghent University(根特大学);Statistics Dept.(统计系);Federal University of São Carlos(萨尔瓦多·克鲁斯联邦大学);Institute of Mathematic and Computer Sciences(数学与计算机科学学院);University of São Paulo(圣保罗大学)
本文提出了一种适用于任何概率判别分类器和任何特征类型的新型鲁棒性度量,用于区分可靠与不可靠的预测,并应用于动态分类器选择。
2026-07-10 cs.LG stat.ML
Rethinking Robustness: A New Approach to Evaluating Feature Attribution Methods
Intuit Inc.(Intuit公司)
本文提出了一种新的评估特征归因方法鲁棒性的方法,通过定义相似输入和生成对抗网络生成输入,提供更客观的度量标准以评估归因方法的鲁棒性。
2025-12-07 cs.AI cs.CV cs.LG
Robustness and Generalization for Metric Learning
University of Southern California(南加州大学);Laboratoire Hubert Curien UMR CNRS 5516(于贝尔·居里安实验室(法国国家科学研究中心联合实验室 5516));Université Jean Monnet(让·莫奈大学)
度量学习在过去的十年里引起了人们的极大兴趣,但是这种方法的泛化能力还没有得到深入的研究。在本文中,我们介绍了算法鲁棒性的概念(以前由徐和Mannor介绍),可用于推导度量学习的泛化界。我们进一步表明,一个弱的鲁棒性的概念实际上是一个度量学习算法推广的充分必要条件。为了说明所提出的框架的适用性,我们推导出一个大的家庭现有的度量学习算法,包括一些稀疏的配方,不包括以前的结果的泛化结果。
2014-09-29 cs.AI cs.LG stat.ML
Towards Certified Robustness of Distance Metric Learning
Fudan University(复旦大学);University College London(伦敦大学学院)
度量学习旨在学习距离度量,使得语义相似的实例被拉到一起,而不相似的实例被推开。许多现有的方法考虑最大化或至少限制在特征空间中的距离余量,分离相似和不相似的实例对,以保证其泛化能力。在本文中,我们主张在输入空间中施加对抗性的边缘,以提高度量学习算法的泛化性和鲁棒性。我们首先证明,对抗性边缘(adversarial margin)定义为训练实例与输入空间中最接近的对抗性实例之间的距离,它考虑了特征空间中的距离边缘以及度量和三元组约束之间的相关性。接下来,为了增强对实例扰动的鲁棒性,我们建议通过最小化一个称为扰动损失的新损失函数来扩大对抗性裕度。所提出的损失可以被看作是一个数据依赖的正则化器,并且很容易插入到任何现有的度量学习方法中。最后,我们表明,扩大的间隔是有益的推广能力,通过使用算法的鲁棒性的理论技术。在16个数据集上的实验结果表明,该方法在判别精度和对可能的噪声的鲁棒性方面优于现有的最先进的方法。
2022-08-16 cs.LG stat.ML
MetricGAN+/-: Increasing Robustness of Noise Reduction on Unseen Data
The University of Sheffield(谢菲尔德大学)
语音增强系统的训练通常不包含人类感知的知识,因此可能导致不自然的声音结果。通过预测器网络将心理声学激励的语音感知度量作为模型训练的一部分最近引起了人们的兴趣。然而,这种预测器的性能受到出现在训练数据中的度量分数的分布的限制。在这项工作中,我们提出了MetricGAN+/-(MetricGAN+的扩展,一个这样的度量激励系统),它引入了一个额外的网络-一个“去生成器”,试图通过确保在训练中观察更广泛的度量分数来提高预测网络的鲁棒性(并通过扩展生成器)。在VoiceBank-DEMAND数据集上的实验结果显示,PESQ评分相对提高了3.8%(3.05 vs 3.22 PESQ评分),并且对看不见的噪声和语音有更好的泛化能力。
2022-06-15 cs.LG cs.SD eess.AS
Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning
University of California, Los Angeles(加州大学洛杉矶分校)
精心制作的对抗样本有效地利用了深度神经网络的弱点。对抗鲁棒性的标准方法假设一个框架来防御通过最小限度地扰动样本以使其相应的模型输出发生变化而制作的样本。这些敏感性攻击利用了模型对与任务无关的特征的敏感性。另一种形式的对抗性样本可以通过不变性攻击来制作,这种攻击利用模型低估相关特征的重要性。以往的文献表明,在严格的L_p有界防御中,防御两种类型的攻击是一种折衷。为了提高对超越欧几里得距离度量的两种类型攻击的鲁棒性,我们使用度量学习将对抗正则化框架作为最优传输问题。我们的初步结果表明,在我们的框架中,正则化不变扰动提高了不变和敏感性防御。
2022-11-04 cs.AI cs.CR cs.LG
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory(橡树岭国家实验室)
近年来,强化学习受到了极大的关注,这主要是由于深度强化学习在解决许多具有挑战性的任务(如下棋、围棋和在线计算机游戏)方面的成功。然而,随着对强化学习的关注越来越多,游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性,稳定性和弹性。为此,我们进行了全面的文献综述,以描述这三种行为的可用文献,因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外,我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后,我们提供了一个决策树有用的选择指标来量化的行为。我们认为,这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
An Examination of the Robustness of Reference-Free Image Captioning Evaluation Metrics
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本研究检验了CLIPScore、UMIC和PAC-S等参考无关图像描述评估指标在区分高词汇重叠但含义不同的描述时的鲁棒性,发现它们对细粒度错误识别不足,但对视觉接地错误敏感,并指出了其在否定理解和结构敏感性上的局限。
2024-02-06 cs.AI cs.CL cs.CV
Causal Fair Metric: Bridging Causality, Individual Fairness, and Adversarial Robustness
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心);McGill University(麦吉尔大学);University of Montréal(蒙特利尔大学);MILA(米拉计算科学研究所)
本文提出一种基于因果结构的因果公平度量,通过度量学习实现估计,兼顾个体公平性与对抗鲁棒性,并在分类器中验证其有效性。
2024-02-06 cs.CY cs.LG
Individual Fairness Revisited: Transferring Techniques from Adversarial Robustness
Carnegie Mellon University(卡内基梅隆大学)
我们将个体公平性的定义颠倒过来--不是确定给定预定度量的模型的公平性,而是找到满足个体公平性的给定模型的度量。这可以促进关于模型公平性的讨论,解决可能难以先验地指定合适度量的问题。我们的贡献是双重的:首先,我们引入了最小度量的定义,并根据最小度量刻画了模型的行为。其次,对于更复杂的模型,我们应用对抗鲁棒性的随机平滑机制,使它们在给定的加权$L^p$度量下单独公平。我们的实验表明,适应线性模型的最小度量更复杂的神经网络可以导致有意义的和可解释的公平性保证在很小的成本效用。
2020-10-13 cs.LG stat.ML
An Explainable Adversarial Robustness Metric for Deep Learning Neural Networks
Department of Electrical and Computer Engineering, University of Illinois at Chicago(伊利诺伊大学芝加哥分校电气与计算机工程系);Kitware Inc.(Kitware公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
深度神经网络(DNN)通过在各种视觉任务中实现最先进的性能,极大地推进了计算机视觉领域。这些结果不仅限于视觉领域,还可以在语音识别和机器翻译任务中看到。最近,DNN被发现在使用通过对原始输入图像进行不可察觉的更改而制作的样本进行测试时失败率很低。这导致了DNN的验证和对抗性能之间的差距。一个有效的和可推广的鲁棒性指标,用于评估DNN对这些对抗性输入的性能仍然缺乏文献。在本文中,我们提出了噪声敏感度得分(NSS),这是一种量化DNN在不同形式的固定方向攻击下对特定输入的性能的度量。一个有见地的数学解释提供了深入理解所提出的度量。通过利用NSS,我们还提出了一个基于偏度的数据集鲁棒性度量,用于评估DNN在给定数据集上的对抗性能。使用广泛使用的最先进的架构以及流行的分类数据集,如MNIST,CIFAR-10,CIFAR-100和ImageNet,进行了广泛的实验,以验证我们提出的指标的有效性和通用性。与以前的工作不同,所提出的NSS不是简单地测量DNN在输入域中的对抗鲁棒性,而是建立在对对抗攻击的深刻数学理解之上,并对鲁棒性给出了更明确的解释。
2018-06-06 cs.CR cs.LG stat.ML
On the Robustness of Interpretability Methods
MIT Computer Science and Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室)
我们认为,解释的稳健性-即,相似的输入应该产生相似的解释-这是可解释性的一个关键要求。我们引入度量来量化鲁棒性,并证明目前的方法根据这些度量并没有很好地执行。最后,我们提出了鲁棒性可以强制执行现有的可解释性方法的方法。
2018-06-21 cs.LG stat.ML
Group-based Robustness: A General Framework for Customized Robustness in the Real World
Carnegie Mellon University(卡内基梅隆大学);Tel Aviv University(特拉维夫大学);Duke University(杜克大学)
针对传统鲁棒性指标无法准确评估现实中分组定向攻击威胁的问题,研究提出基于分组的鲁棒性指标、配套的损失函数与攻击策略,以及可将该鲁棒性最高提升3.52倍的防御方法。
2024-03-10 cs.AI cs.CR cs.CV
To be Robust and to be Fair: Aligning Fairness with Robustness
Purdue University(普渡大学)
本文研究了对抗训练与攻击中公平性与准确率的关系,提出统一公平性攻击结构并证明其与准确率攻击的对齐性,实验表明该方法能同时提升两种指标的鲁棒性。
2023-03-31 cs.AI cs.LG
Exploring Adversarial Robustness of Deep Metric Learning
Aalborg University(奥尔堡大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
深度度量学习(DML)是一种广泛使用的技术,涉及学习样本对之间的距离度量。DML使用深度神经架构来学习输入的语义嵌入,其中相似示例之间的距离很小,而不同示例之间的距离很远。虽然底层的神经网络在自然发生的样本上产生良好的准确性,但它们容易受到不利扰动样本的影响,从而降低性能。我们朝着训练鲁棒的DML模型迈出了第一步,并解决了度量损失依赖于小批量样本的主要挑战,而不像标准损失只依赖于特定的输入输出对。我们分析了这种依赖效应,并提供了一个强大的优化配方。通过在三个常用的DML数据集上进行实验,我们证明了对抗准确性提高了5-76倍,并且优于现有的DML模型。
2021-02-14 cs.AI cs.LG
RDI: An adversarial robustness evaluation metric for deep neural networks based on model statistical features
Shool of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China(计算机学院,北京邮电大学,北京,中国);Key Laboratory of Trustworthy Distributed Computing and Service, Ministry of Education, Beijing, China(可信分布式计算与服务重点实验室,教育部,北京,中国);Shool of Cyberspace Security, Beijing University of Posts and Telecommunications, Beijing, China(网络空间安全学院,北京邮电大学,北京,中国)
提出基于模型统计特征的鲁棒性差异指数(RDI),通过分析决策边界分隔的特征向量类内与类间距离评估DNN对抗鲁棒性,与攻击成功率强相关,计算效率高。
2025-05-26 cs.AI cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong(香港中文大学);VIVO AI Lab(vivo人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
对于类条件标签噪声下的多类分类,我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面:训练和验证,我们用这些来解决带噪声标签学习中的关键问题。对于训练,我们表明,在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证,我们证明了噪声验证集是可靠的,解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前,使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征,这是由我们的理论结果激发的,并通过展示一个名为噪声最佳教师和学生(NTS)的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
An Empirical Study of Accuracy, Fairness, Explainability, Distributional Robustness, and Adversarial Robustness
IBM Research – T. J. Watson Research Center(IBM研究院–托马斯·J·沃森研究中心);DataArt(数据艺术公司);IBM Research – Africa(IBM研究院–非洲分院)
为了确保对人工智能模型的信任,越来越明显的是,模型的评估必须超越传统的性能指标,如准确性,扩展到其他维度,如公平性,可解释性,对抗性鲁棒性和分布偏移。我们描述了一项实证研究,以评估多个模型类型的各种指标,沿着这些方面的几个数据集。我们的研究结果表明,没有一种特定的模型类型在所有维度上都表现良好,并展示了在选择多个维度评估的模型时所涉及的权衡。
2021-09-29 cs.CY cs.LG
Robustness in Large Language Models: A Survey of Mitigation Strategies and Evaluation Metrics
School of Computer Sciences(计算机科学学院);National Institute of Science Education and Research(国家科学教育与研究 institute);An OCC of Homi Bhabha National Institute, India(霍米·巴布国家研究所办公室,印度)
本文系统综述了大语言模型鲁棒性的概念、非鲁棒性来源、缓解策略及评估指标,并指出当前评估现实可靠性的不足与未来研究方向。
2025-11-06 cs.AI cs.CL cs.LG
Evaluating Uplift Modeling under Structural Biases: Insights into Metric Stability and Model Robustness
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Shenzhen University(深圳大学);School of Computing and Information Technology(计算与信息科技学院);Great Bay University(大湾大学)
针对现实营销数据中的多种偏差,设计半合成基准框架,发现TARNet具有鲁棒性,且与ATE对齐的指标更稳定。
2026-06-17 cs.LG
A General Framework for Evaluating Robustness of Combinatorial Optimization Solvers on Graphs
Shanghai Jiao Tong University(上海交通大学)
求解图上的组合优化问题是数据挖掘、机器学习和运筹学等上游应用的基本任务之一。尽管固有的NP难的挑战,CO,启发式,分支定界,基于学习的求解器的开发,以解决CO的问题,尽可能准确地给定有限的时间预算。然而,一氧化碳溶剂的灵敏度的实用度量仍然在很大程度上未被探索。现有的理论度量需要不可行的最优解,并且来自深度学习的基于梯度的对抗性攻击度量与通常不可微的非学习求解器不兼容。在本文中,我们开发了第一个实际可行的鲁棒性度量一般组合优化求解器。我们开发了一个没有更差的最优成本保证,因此不需要最优解,我们通过诉诸黑盒对抗攻击方法来解决不可微的挑战。广泛的实验进行了14个独特的组合的求解器和CO问题,我们证明了国家的最先进的求解器,如Guesthouse的性能可以退化超过20%,根据我们的鲁棒性度量发现的硬实例上的给定的时间限制,提高关注组合优化求解器的鲁棒性。
2022-06-04 cs.AI cs.CR cs.LG
User-Oriented Robust Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
近年来,提高策略在不同环境下的鲁棒性引起了强化学习(RL)界越来越多的关注。现有的鲁棒强化学习方法主要是通过优化策略在最坏情况下的性能来实现最大最小鲁棒性。然而,在实践中,使用RL策略的用户可能会在不同的环境中对其性能有不同的偏好。显然,上述最大-最小鲁棒性通常过于保守,无法满足用户偏好。因此,本文将用户偏好融入鲁棒强化学习的策略学习中,提出了一种面向用户的鲁棒强化学习(User-Oriented Robust RL,UOR-RL)框架。具体来说,我们定义了一个新的面向用户的鲁棒性(UOR)RL度量,根据用户的喜好分配不同的权重的环境和推广的最大-最小鲁棒性度量。为了优化UOR度量,我们分别针对具有或不具有先验已知环境分布的场景开发了两种不同的UOR-RL训练算法。从理论上讲,我们证明了我们的UOR-RL训练算法收敛到接近最优的策略,即使不准确或完全没有关于环境分布的知识。此外,我们在4个MuJoCo任务中进行了广泛的实验评估。实验结果表明,UOR-RL在平均和最坏情况下的性能指标下与最先进的基线相当,更重要的是在UOR指标下建立了新的最先进的性能。
2022-12-10 cs.LG
Rethinking Robustness of Model Attributions
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Microsoft Research, Bengaluru(微软研究院班加罗尔分院)
该研究针对现有机器学习模型归因鲁棒性指标不合理、归因易集中的问题,提出结合像素局部性和位置多样性的改进方案,并发现对抗训练模型的归因鲁棒性优势在大数据集上会消失。
2023-12-16 cs.CR cs.CV cs.LG
ROBY: Evaluating the Robustness of a Deep Model by its Decision Boundaries
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学)
随着深度学习模型在实际任务中的成功应用,模型的鲁棒性变得越来越重要。通常,我们通过使用故意生成的对抗性样本来攻击深度模型来评估深度模型的鲁棒性,这在计算上是昂贵的,并且取决于特定的攻击者和模型类型。本文提出了一种通用的评价指标ROBY,一种基于模型决策边界的攻击无关鲁棒性度量。独立于对抗样本,ROBY使用类间和类内统计特征来捕获模型的决策边界的特征。我们在10个最先进的深度模型上进行了实验,结果表明,ROBY与强大的一阶通用攻击者的攻击成功率(ASR)的鲁棒性黄金标准相匹配。只有1%的时间成本。据我们所知,ROBY是第一个轻量级的独立于攻击的鲁棒性评估指标,可以应用于广泛的深度模型。ROBY的代码在https://github.com/baaaad/ROBY-Evaluating-the-Robustness-of-a-Deep-Model-by-its-Decision-Boundaries上开源。
2020-12-18 cs.LG
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia(微软亚洲研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学);Beihang University(北京航空航天大学)
关于预训练语言模型压缩的最新研究(例如,BERT)通常使用保留的准确度作为评估的度量。在本文中,我们提出了两个新的度量标准,标签忠诚度和概率忠诚度,衡量压缩模型(即,学生)模仿原始模型(即,教师)。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试,测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术,我们提供了一种实用的策略,以实现更好的准确性,忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
Towards Adversarially Robust Deep Metric Learning
针对深度度量学习在基于聚类的推理场景下鲁棒性不足、现有防御方法效果不佳的问题,提出结合集成学习与对抗训练的EAT方法,通过提升集成多样性与自迁移机制增强鲁棒性,实验证明其性能显著优于适配的分类模型防御方法。
2025-01-12 cs.AI cs.LG
Complexity Matters: Effective Dimensionality as a Measure for Adversarial Robustness
University of Cambridge(剑桥大学)
本文研究模型复杂性与对抗鲁棒性的关系,通过 YOLO、ResNet 等商业规模模型实验发现有效维度与鲁棒性近线性反比,可作为模型选择与鲁棒性评估指标。
2024-10-24 cs.AI cs.CR cs.LG
Tracking Adaptation Time: Metrics for Temporal Distribution Shift
Politecnico di Milano, DEIB(米兰理工大学,DEIB)
本文提出三种互补指标,区分模型适应与数据固有难度,揭示时间分布偏移下的适应模式,提升对动态环境鲁棒性的理解。
2026-04-08 cs.LG
LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models
Soongsil University(崇实大学);Chung-Ang University(中央大学)
本文提出LIBERO-Para基准,通过独立变化动作表达和物体参考,分析语言泛化能力。研究发现,不同规模的VLA模型在同义词替换下性能下降22-52个百分点,主要由物体层面的词汇变化导致。提出PRIDE指标量化同义词难度,揭示模型对任务识别的依赖。
2026-09-29 cs.LG
Algorithmic Robustness for Learning via $(ε, γ, τ)$-Good Similarity Functions
Hubert Curien Laboratory(于贝尔·居里安实验室);Jean Monnet University(让·莫内大学);Laboratoire d’Informatique de Grenoble(格勒诺布尔信息学实验室);Joseph Fourier University(约瑟夫·傅立叶大学)
度量的概念在分类、聚类或排序等机器学习问题中起着关键作用。然而,值得注意的是,有一个严重缺乏的理论保证,可以预期的泛化能力的分类器相关联的一个给定的度量。$(ε, γ, τ)$的理论框架-良好的相似性函数(Balcan等人,2008年)一直是第一次尝试之间的相似性函数的属性和线性分类器利用it. In本文中,我们扩展和完善这一理论,提供了一个新的泛化界的基础上的算法鲁棒性框架相关联的分类器。
2015-03-31 cs.LG
Average Certified Radius is a Poor Metric for Randomized Smoothing
ETH Zurich(苏黎世联邦理工学院)
本文首次从理论和实验上证明平均认证半径(ACR)会偏向简单样本、依赖认证预算,并可通过丢弃困难样本等策略在 CIFAR-10 上取得最先进 ACR,因而主张停止使用 ACR,改用基础模型在含噪数据上的准确率分布作为随机平滑的评估指标。
2025-06-04 cs.LG
Provably Robust Metric Learning
Nanjing University(南京大学);University of California, Los Angeles(加州大学洛杉矶分校)
度量学习是分类和相似性搜索的一个重要算法家族,但学习的度量对小的对抗性扰动的鲁棒性研究较少。在本文中,我们表明,现有的度量学习算法,专注于提高清洁的准确性,可以导致的指标,是不太强大的比欧几里德距离。为了克服这个问题,我们提出了一种新的度量学习算法,以找到一个Mahalanobis距离,对抗性扰动是强大的,所得到的模型的鲁棒性是可证明的。实验结果表明,学习算法不仅提高了认证鲁棒误差,而且提高了经验鲁棒误差(对抗攻击下的误差).此外,不像神经网络防御,通常会遇到清洁和强大的错误之间的权衡,我们的方法不会牺牲清洁错误相比,以前的度量学习方法。我们的代码可在https://github.com/wangwllu/provably_robust_metric_learning上获得。
2020-12-19 cs.LG stat.ML
Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
学习分解表示的能力对于神经网络的数据高效和鲁棒使用是重要的,所述分解表示将高维非结构化数据中的变化的潜在来源分开。虽然最近提出了各种旨在实现这一目标的方法,但缺乏一个普遍接受的定义和验证程序。我们提供了一个因果关系的角度表示学习,其中包括解纠缠和域转移的鲁棒性作为特殊情况。我们的因果框架使我们能够引入一个新的指标来定量评估深层潜变量模型。我们展示了如何从标记的观测数据中估计这个度量,并进一步提供了一个有效的估计算法,该算法在数据集大小上线性扩展。
2019-05-13 cs.LG stat.ML
The Quest for Reliable Metrics of Responsible AI
University of Copenhagen(哥本哈根大学);LUT University(拉乌olu大学)
人工智能(AI)的发展,包括科学中的AI(AIS),应该遵循负责任的AI原则。负责任的人工智能的进展通常通过评估指标来量化,但在评估指标本身的鲁棒性和可靠性方面的工作较少。我们反思了之前的工作,这些工作将推荐系统的公平性指标作为一种AI应用程序来研究,并将其关键要点总结为一组非详尽的指导方针,用于开发负责任的AI的可靠指标。我们的指南适用于广泛的AI应用,包括AIS。
2025-10-29 cs.AI cs.CY cs.IR
Bisimulation metric for Model Predictive Control
University of California, Berkeley(加利福尼亚大学伯克利分校)
针对基于模型的强化学习现有方法在训练稳定性、噪声鲁棒性和计算效率上的不足,提出融入互模拟度量损失直接优化编码器的BS-MPC方法,在DeepMind Control Suite任务上表现优于现有基线。
2024-10-06 cs.LG cs.SY eess.SY
Isometric Representations in Neural Networks Improve Robustness
University of Oslo(奥斯陆大学)
人工和生物代理可以在完全随机和非结构化的数据中学习。数据的结构被编码在数据点之间的度量关系中。在神经网络的上下文中,层内的神经元活动形成反映该层对其输入实现的变换的表示。为了以真实的方式利用数据中的结构,这种表示应该反映输入距离,因此是连续的和等距的。支持这一说法的是,神经科学的最新发现提出,泛化和鲁棒性与神经表征的连续可微性有关。在机器学习中,大多数算法缺乏鲁棒性,并且通常被认为依赖于与人类使用的数据不同的数据方面,这在对抗攻击中很常见。在交叉熵分类过程中,网络表示的度量和结构属性通常在类之间和类内都被破坏。训练的这种副作用可能会导致在未保留此类结构的位置附近的扰动下出现不稳定。获得鲁棒性的标准解决方案之一是添加特设正则化项,但据我们所知,强制表示保留输入数据的度量结构作为稳定机制尚未被研究。在这项工作中,我们训练神经网络进行分类,同时保持类内度量结构,导致等距类内表示。这样的网络表示有利于准确和鲁棒的推理。通过堆叠具有此属性的层,我们创建了一个网络架构,该架构有助于内部神经表征的分层操作。最后,我们验证了等距正则化提高了MNIST对对抗攻击的鲁棒性。
2022-11-02 cs.CR cs.LG q-bio.NC
A New Framework to Analyse the Distributional Robustness of Deep Neural Networks
Microsoft(微软);Ashoka University(阿什oka大学)
本文提出了一种新框架,通过研究层权重与激活之间的相互作用来分析和量化深度神经网络的分布鲁棒性,展示了该框架在CIFAR-10和ImageNet上模型的实用性,并表明所提指标能区分记忆训练数据和未记忆的网络。
2026-05-20 cs.LG
Understanding Grokking Through A Robustness Viewpoint
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院)
该研究从鲁棒性视角解析grokking顿悟泛化现象,证明l₂权重范数是其充分条件,提出扰动法加速泛化,还基于鲁棒性与信息论提出可预测grokking的新指标。
2024-02-02 cs.AI cs.LG
LLM Robustness Leaderboard v1 --Technical report
PRISM Eval(PRISM评估)
本文介绍了PRISM Eval发布的LLM鲁棒性排行榜及自动化红队系统BET,该系统对37个顶尖模型实现100%攻击成功率,并提出细粒度鲁棒性指标与漏洞分析方法,揭示了模型攻击难度的巨大差异。
2025-08-13 cs.AI cs.LG
Improving the Robustness of Deep Neural Networks via Adversarial Training with Triplet Loss
Nanjing University(南京大学);JD AI Research(京东人工智能研究院)
最近的研究表明,深度神经网络(DNN)容易受到对抗性样本的影响。在本文中,我们通过利用距离度量学习技术来提高DNN的鲁棒性。具体来说,我们将最流行的距离度量学习方法之一Triplet Loss纳入对抗训练的框架中。我们提出的算法,对抗训练与三重损失(AT $^2$ L),替代对抗的例子对当前模型的锚三重损失,有效地平滑分类边界。此外,我们提出了一个集成版本的AT $^2$ L,聚合不同的攻击方法和模型结构,以更好的防御效果。我们的实证研究验证了所提出的方法可以显着提高DNN的鲁棒性,而不会牺牲准确性。最后,我们证明了我们专门设计的三重态损失也可以用作正则化项来增强其他防御方法。
2019-05-28 cs.LG stat.ML
On the Relationship Between Adversarial Robustness and Decision Region in Deep Neural Networks
Samsung AI Center(三星人工智能中心);Sogang University(ソガン大学);LG AI Research(LG人工智能研究);Dankook University(丹肯大学)
针对仅用泛化性能难以评估DNNs的问题,提出密集区域集(PRS)概念,实证验证低PRS比率与对抗鲁棒性强相关,并设计PRS正则化器在无对抗训练时提升鲁棒性。
2025-11-14 cs.LG