CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing
针对大语言模型易受对抗攻击问题,提出CluCERT框架,通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器,结合细化模块和快速同义词替换策略,提升效率,实验证明该方法在鲁棒性边界和计算效率上优于现有方法。
2026-07-17 cs.AI cs.LG
Toward Adversarial Robustness by Diversity in an Ensemble of Specialized Deep Neural Networks
Université Laval(拉瓦尔大学);Oregon State University(俄勒冈州立大学);Mila(米拉)
我们的目标是展示CNN集成中的多样性对黑盒对抗实例检测的影响,并加强白盒对抗攻击的生成。为此,我们提出了一个多样化的专门CNN的集合,以及一个简单的投票机制。这种集合的多样性在对手的预测置信度和干净样本的预测置信度之间产生了差距,使得对手可检测。然后,我们分析了这样一个专家集合的多样性如何减轻黑盒和白盒对抗性示例的风险。使用MNIST和CIFAR-10,我们经验性地验证了我们的集合检测大部分已知黑盒对抗性示例的能力,这导致对手的风险率显著降低,而代价是干净样本的风险率略有增加。此外,我们表明,与普通CNN和普通CNN的集成相比,我们的集成生成白盒攻击的成功率显着降低,突出了集成中多样性对开发更强大模型的有益作用。
2020-05-17 cs.CR cs.LG stat.ML
Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)在许多具有挑战性的机器学习任务中表现出令人印象深刻的性能。然而,DNN容易受到通过向良性输入添加恶意制作的扰动而生成的对抗性输入的影响。据报告,越来越多的攻击产生了不同复杂程度的对抗性投入,因此,防御-攻击军备竞赛加快了。在本文中,我们提出了MODEF,跨层模型多样性集成框架。MODEF通过量化模型多样性,智能地将无监督模型去噪集成与有监督模型验证集成相结合,旨在提高目标模型对对抗性示例的鲁棒性。使用流行的基准数据集上的11个代表性攻击进行评估,我们表明,与现有的防御方法相比,MODEF实现了显着的防御成功率,并提供了卓越的修复对抗性输入的能力,并在黑盒攻击的存在下以高精度做出正确的预测。
2019-10-26 cs.CR cs.LG stat.ML
Certifying Robustness of Graph Convolutional Networks for Node Perturbation with Polyhedra Abstract Interpretation
本文提出基于多面体抽象解释的GCN鲁棒性认证方法,通过提供紧密的上下界提升鲁棒性界紧致性和认证效率,并在训练过程中增强GCN的鲁棒性。
2025-12-15 cs.FL cs.LG
Adversarial Deep Ensemble: Evasion Attacks and Defenses for Malware Detection
Nanjing University of Science and Technology(南京理工大学)
恶意软件仍然是网络安全的一大威胁,需要基于机器学习的恶意软件检测。虽然很有前途,但已知这种检测器容易受到规避攻击。包围学习通常有助于采取对策,而攻击者也可以利用这种技术来提高攻击效率。这促使我们研究集成防御的鲁棒性或集成攻击的有效性,特别是当它们相互攻击时。因此,我们提出了一种新的攻击方法,命名为混合攻击,使攻击者能够多个生成方法和多个操作集,扰乱恶意软件的例子,而不会破坏其恶意功能。这自然会导致对抗性训练的新实例化,从而进一步增强深度神经网络的整体。我们使用Android恶意软件检测器对两个实际数据集上的26种不同攻击进行防御评估。实验结果表明,新的对抗性训练显著增强了深度神经网络对各种攻击的鲁棒性,当基分类器足够鲁棒时,集成方法可以提高鲁棒性,但集成攻击可以有效地避开增强的恶意软件检测器,甚至显着降低了VirusTotal服务。
2020-06-30 cs.CR cs.LG stat.ML
Ensemble Adversarial Training: Attacks and Defenses
Stanford University(斯坦福大学);Google Brain(谷歌大脑);Pennsylvania State University(宾夕法尼亚州立大学)
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。对抗性训练将这些示例注入训练数据以提高鲁棒性。为了将这种技术扩展到大型数据集,使用快速单步方法制作扰动,该方法最大化模型损失的线性近似。我们证明了这种形式的对抗训练收敛到退化的全局最小值,其中数据点附近的小曲率伪影模糊了损失的线性近似。因此,模型学会了产生弱扰动,而不是防御强扰动。因此,我们发现对抗性训练仍然容易受到黑盒攻击,在这种攻击中,我们转移了在不设防的模型上计算的扰动,以及一种强大的新型单步攻击,这种攻击通过一个小的随机步骤来逃避输入数据的非光滑附近。我们进一步介绍了Ensemble Adversarial Training,这是一种通过从其他模型转移的扰动来增强训练数据的技术。在ImageNet上,Encourage Adversarial Training生成的模型对黑盒攻击具有很强的鲁棒性。特别是,我们最强大的模型赢得了NIPS 2017对抗性攻击防御竞赛的第一轮。然而,随后的工作发现,更复杂的黑盒攻击可以显着提高可转移性,并降低我们的模型的准确性。
2020-04-26 cs.CR cs.LG stat.ML
DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles
Duke University(杜克大学);Radiance Technologies(辐射技术公司)
最近的研究发现,用于图像分类的CNN模型表现出重叠的对抗性漏洞:对抗攻击可以误导具有小扰动的CNN模型,这可以有效地在同一数据集上训练的不同模型之间进行转移。对抗性训练作为一种通用的鲁棒性改进技术,通过强制单个模型学习鲁棒特征来消除其脆弱性。这个过程很难,通常需要大容量的模型,并且在干净的数据准确性上有很大的损失。或者,提出集成方法来诱导具有不同输出的子模型对抗转移对抗性示例,使得集成对转移攻击具有鲁棒性,即使每个子模型单独地是非鲁棒的。在该过程中仅观察到小的清洁精度下降。然而,以前的集成训练方法在诱导这种多样性方面并不有效,因此在达到鲁棒集成方面无效。我们提出了DVERGE,它通过提取非鲁棒特征来隔离每个子模型中的对抗性漏洞,并使对抗性漏洞多样化,以诱导不同的输出来对抗转移攻击。新的多样性度量和训练过程,使DVERGE实现更高的鲁棒性对转移攻击相比,以前的集成方法,并使更多的子模型时,增加到集成的鲁棒性。该工作的代码可在https://github.com/zjysteven/DVERGE上获得
2020-10-18 cs.CR cs.LG stat.ML
A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
Shanghai Jiao Tong University(上海交通大学);MarkableAI Inc.(MarkableAI公司);Université de Nantes(南特大学);Alibaba Group(阿里巴巴集团)
深度神经网络容易受到对抗攻击的攻击。
2019-11-18 cs.LG stat.ML
Semidefinite relaxations for certifying robustness to adversarial examples
Stanford University(斯坦福大学)
尽管神经网络在不同的任务上表现出色,但在对抗性输入的存在下,它们会发生灾难性的失败--这些输入是自然输入的不易察觉但受到对抗性干扰的版本。我们目睹了试图训练强大网络的防御者与试图构建对抗性例子的攻击者之间的军备竞赛。结束军备竞赛的一个承诺是开发经过认证的防御系统,这些防御系统可以证明对某些家庭中的所有攻击者都是强大的。这些认证的防御是基于凸松弛,它构造了一个上限的最坏情况下的损失超过所有攻击者在家庭中。以前的松弛在没有针对相应松弛训练的网络上是松散的。在本文中,我们提出了一种新的半定松弛来证明适用于任意ReLU网络的鲁棒性。我们表明,我们提出的放松比以前的放松更紧,并在三个不同的“外国网络”上产生有意义的鲁棒性保证,这些网络的训练目标对我们提出的放松是不可知的。
2018-11-02 cs.CR cs.LG stat.ML
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题,本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
Certifying Global Robustness for Deep Neural Networks
Northwestern University(西北大学);Meta
本文提出一种基于PAC验证框架的深度神经网络全局鲁棒性评估与验证方法,利用概率程序刻画输入区域,引入累积鲁棒性曲线,并结合多级分裂与回归分析显著降低执行时间,有效为对抗训练找到罕见反例。
2024-05-31 cs.AI cs.LG
Evaluating Ensemble Robustness Against Adversarial Attacks
University of Toronto(多伦多大学)
对抗性样本是为了欺骗神经网络而产生的轻微扰动输入,已知会在模型之间转移;对一个模型有效的对手通常会欺骗另一个模型。这种可转移性的概念带来了严重的安全问题,因为它导致在黑盒设置中攻击模型的可能性,在此期间,目标模型的内部参数是未知的。在本文中,我们试图分析和最小化的对手之间的模型集成的可转移性。为此,我们引入了一个基于梯度的度量,来衡量集成的组成模型如何有效地合作,以减少针对集成本身的对抗性示例的空间。此外,我们还证明了这种措施可以在训练过程中使用,以增加集成对对抗性示例的鲁棒性。
2020-05-12 cs.LG stat.ML
[Re] Double Sampling Randomized Smoothing
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
本文复现了双采样随机平滑(DSRS)框架,通过引入额外平滑分布改进神经网络对抗性扰动的鲁棒性认证,并在MNIST和CIFAR-10上验证了其能认证更大鲁棒半径的有效性。
2023-06-27 cs.CR cs.LG math.ST
Improving Adversarial Robustness of Ensembles with Diversity Training
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络很容易受到对抗性攻击,即使在攻击者无法直接访问被攻击模型的情况下。这种攻击通常依赖于可转移性原则,即在代理模型上构建的攻击倾向于转移到目标模型。我们证明了具有不一致损失梯度的模型的集合可以提供对基于传输的攻击的有效防御。我们的关键见解是,如果集合中的多个模型的损失函数不以相关的方式增加,则对抗性示例不太可能欺骗它们。为此,我们提出了多样性训练,一种新的方法训练一个整体的模型与不相关的损失函数。我们表明,我们的方法显着提高了合奏的对抗鲁棒性,也可以与现有的方法相结合,以创建更强大的防御。
2019-01-28 cs.LG stat.ML
Improving Adversarial Robustness via Promoting Ensemble Diversity
Tsinghua University(清华大学);Tsinghua-Fuzhou Institute for Data Technology(清华-福州数据技术研究院)
虽然深度神经网络在各种任务上取得了重大进展,通常通过模型集成来增强,但现有的高性能模型可能容易受到对抗攻击的攻击。许多努力已经致力于增强个体网络的鲁棒性,然后构建简单的系综,例如,通过直接平均输出,忽略了网络之间的相互作用。本文提出了一种新的方法,探索个体网络之间的相互作用,以提高集成模型的鲁棒性。从技术上讲,我们将对抗环境中的集成多样性定义为个体成员的非最大预测之间的多样性,并提出了一种自适应多样性促进(ADP)正则化器来鼓励多样性,通过使对抗示例难以在个体成员之间传输,从而使集成具有更好的全局鲁棒性。我们的方法是计算效率和兼容的防御方法作用于个别网络。各种数据集上的实证结果验证了我们的方法可以提高对抗鲁棒性,同时保持正常示例的最新准确性。
2019-05-29 cs.LG stat.ML
Self-Ensemble Adversarial Training for Improved Robustness
Peking University(北京大学)
由于机器智能在现实世界应用中带来的众多突破,深度神经网络(DNN)被广泛应用于关键应用中。然而,DNN的预测很容易被难以察觉的对抗性扰动所操纵,这阻碍了DNN的进一步部署,并可能导致深刻的安全和隐私影响。通过将对抗样本加入训练数据池,对抗训练是各种防御方法中对抗各种对抗攻击的最强原则性策略。最近的工作主要集中在开发新的损失函数或正则化器,试图在权重空间中找到唯一的最优点。但是,它们都没有挖掘从标准对抗训练中获得的分类器的潜力,特别是在训练的搜索轨迹上的状态。在这项工作中,我们致力于通过训练过程中的模型的权重状态,并设计了一个简单但功能强大的\emph{Self-Ensemble Adversarial Training}(SEAT)方法,通过平均历史模型的权重来产生一个强大的分类器。这大大提高了目标模型对几种众所周知的对抗攻击的鲁棒性,甚至仅仅利用朴素的交叉熵损失来监督。我们还讨论了来自不同对抗训练模型的预测集成与权重集成模型的预测之间的关系,并提供了理论和经验证据,证明所提出的自集成方法提供了比单个模型和来自不同分类器的预测集成更平滑的损失景观和更好的鲁棒性。我们进一步分析了一个微妙的,但致命的问题,在一般设置的自集成模型,这导致恶化的加权集成方法在后期阶段。
2022-05-03 cs.CR cs.LG
Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks
ETAS GmbH(伊塔斯有限公司);Bosch Group(博世集团)
深度学习已经成为许多机器学习问题(如分类)的最先进方法。最近的研究表明,深度学习非常容易受到对抗性扰动的影响。以自动驾驶汽车的摄像头系统为例,微小的对抗性扰动可能会导致系统在重要任务中出错,例如对交通标志进行分类或检测行人。因此,为了在没有安全问题的情况下使用深度学习,需要适当的防御策略。我们建议使用集成方法作为对抗性扰动的防御策略。我们发现,导致一个模型错误分类的攻击并不意味着执行相同任务的其他网络也会发生同样的情况。这使得集成方法成为对抗性攻击的有吸引力的防御策略。我们的经验表明,MNIST和CIFAR-10数据集集成方法不仅提高了测试数据的准确性神经网络,但也增加了他们对对抗性扰动的鲁棒性。
2018-02-08 cs.LG stat.ML
Ensemble Noise Simulation to Handle Uncertainty about Gradient-based Adversarial Attacks
Purdue University(普渡大学)
对神经网络的基于恶意的对抗攻击可以通过改变攻击算法对梯度的依赖程度、用于设计攻击的网络架构或两者来以各种方式进行设计。最近的工作主要集中在对攻击者的行为没有不确定性的情况下(即,攻击者被期望使用特定的网络体系结构来生成特定的攻击)。然而,如果不能保证攻击者会以某种方式行动,文献中就缺乏设计战略防御的方法。我们填补了这一空白,通过模拟攻击者的噪声扰动使用各种攻击算法的基础上梯度的各种分类。我们使用预处理去噪自动编码器(DAE)防御进行分析,该防御是用模拟噪声训练的。我们展示了显着的改进后的攻击精度,使用我们提出的合奏训练的防御,相比,没有努力处理不确定性的情况。
2020-01-26 cs.CR cs.LG stat.ML
Rethinking Randomized Smoothing from the Perspective of Scalability
IIT Roorkee(鲁尔基印度理工学院);MFS DSAI
本文从可扩展性视角系统综述随机平滑及其衍生方法的理论保证、实证效果与扩展挑战,为基于认证的对抗鲁棒防御提供梳理。
2024-10-24 cs.CR cs.LG stat.ML
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时,这是非常具有挑战性的,因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性,则更有可能将攻击能力转移到其他模型的假设,基于集合的对抗攻击方法是一种有效的黑盒攻击方法,被广泛应用。然而,集成攻击的方式是相当少的研究,和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中,我们把迭代集成攻击作为一个随机梯度下降优化过程,在不同的模型上的梯度的方差可能会导致不良的局部最优。为此,我们提出了一种新的攻击方法称为随机方差减少集成(SVRE)攻击,它可以减少集成模型的梯度方差,并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明,该方法可以提高对抗性可转移性,并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Defending Adversarial Examples by Negative Correlation Ensemble
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学)
DNN中的安全问题,如对抗性示例,引起了人们的广泛关注。对抗性示例是指通过引入精心设计的扰动,能够诱导DNN返回完全预测的示例。显然,对抗性样本给深度学习的发展带来了极大的安全隐患。近年来,针对对抗性实例提出了一些防御方法,但在我们看来,这些方法的性能仍然有限。在本文中,我们提出了一种新的集成防御方法命名为负相关增强(NCEn),它通过引入负相关的集成中的每个成员的梯度方向和梯度幅度,同时减少了对抗性示例之间的可转移性,从而实现了令人信服的结果。实验结果表明,NCEn能有效地提高集成的抗攻击鲁棒性。
2022-06-11 cs.AI cs.CR cs.LG
CAAD 2018: Iterative Ensemble Adversarial Attack
University of Science and Technology of China(中国科学技术大学)
深度神经网络(DNN)最近在许多领域取得了重大进展。然而,DNN容易受到对抗性示例的影响,这些示例是具有不可感知的扰动的样本,同时极大地误导了DNN。对抗攻击可用于在部署深度学习模型之前评估其鲁棒性。不幸的是,大多数现有的对抗攻击只能欺骗黑盒模型,成功率很低。为了提高黑盒对抗攻击的成功率,我们提出了一个迭代的对抗攻击对集成的图像分类器。凭借这种方法,我们在CAAD 2018年有针对性的对抗攻击比赛中获得了第五名。
2018-11-07 cs.CR cs.CV cs.LG
Omni: Automated Ensemble with Unexpected Models against Adversarial Evasion Attack
North Carolina State University(北卡罗来纳州立大学)
背景:基于机器学习的安全检测模型在现代恶意软件和入侵检测系统中已经变得普遍。然而,以前的研究表明,这种模型容易受到对抗性逃避攻击。在这种类型的攻击中,输入(即,对抗性示例)是由智能恶意对手特别制作的,目的是被现有技术水平的模型错误分类(例如,深度神经网络)。一旦攻击者可以欺骗分类器,使其认为恶意输入实际上是良性的,他们就可以使基于机器学习的恶意软件或入侵检测系统失效。目标:通过集成模型的思想,帮助安全从业者和研究人员构建一个更强大的模型来对抗非自适应、白盒和非针对性的对抗性规避攻击。方法:我们提出了一种名为Omni的方法,其主要思想是探索创建“意外模型”集合的方法;即,模型的控制超参数有一个大的距离对手的目标模型的超参数,我们然后做一个优化的加权集成预测。测试结果:在对五种安全数据集(NSL-KDD,CIC-IDS-2017,CSE-CIC-IDS 2018,CICAnd-Mal 2017和Contagio PDF数据集)进行的五种类型的对抗性规避攻击(FGSM,BIM,JSMA,DeepFool和Carlini-Wagner)的研究中,我们发现与其他基线治疗方法相比,Omni是一种很有前途的对抗对抗攻击的防御策略。结论:当采用集成防御对抗性逃避攻击时,我们建议使用与攻击者的预期模型(即,目标模型)通过超参数优化等方法。
2021-10-12 cs.CR cs.LG
Adversarial Training with Stochastic Weight Average
Electronics and Telecommunications Research Institute(电子与电信研究所)
对抗训练深度神经网络经常遇到严重的过拟合问题。最近,有人解释说,过拟合的发生是因为训练数据的样本复杂度不足以推广鲁棒性。在传统的机器学习中,从数据缺乏中缓解过拟合的一种方法是使用集成方法。然而,对抗性训练多个网络是非常昂贵的。此外,我们发现在选择目标模型来生成对抗性示例时存在一个两难问题。对集成成员的优化攻击将是对集成的次优攻击,会引起协变量偏移,而对集成的攻击将削弱成员,失去集成的好处。在本文中,我们提出了具有随机权重平均(SWA)的对抗训练;在进行对抗训练的同时,我们在训练轨迹中聚合时间权重状态。通过采用SWA,可以在不增加大量计算量的情况下获得集成的好处,并且不会面临困境。此外,我们还进一步改进了SWA,使其适用于对抗训练。在CIFAR-10、CIFAR-100和SVHN上的实验结果表明,该方法可以提高模型的鲁棒性。
2020-09-21 cs.LG stat.ML
Ensemble-in-One: Learning Ensemble within Random Gated Networks for Enhanced Adversarial Robustness
Tsinghua University(清华大学)
对抗攻击给现代深度学习系统带来了很高的安全风险。对抗性训练可以通过抑制非鲁棒性特征来显著增强神经网络模型的鲁棒性。然而,这些模型在干净的数据上往往会遭受显著的准确性损失。包围训练方法已经成为防御对抗攻击的有前途的解决方案,它通过使子模型之间的漏洞多样化,同时保持与标准训练相当的准确性。然而,现有的集成方法的可扩展性差,由于快速增加的复杂性时,包括更多的子模型在集成。此外,在现实世界的应用中,由于紧张的硬件资源预算和延迟要求,很难部署具有多个子模型的集成。在这项工作中,我们提出了集成在一个(EIO),一个简单而有效的方法来训练一个集成在一个随机门控网络(RGN)。EIO通过用多路径随机门控块(RGBs)替换参数化层来构建RGN,从而增强了原始模型。通过使RGN内的众多路径的脆弱性多样化,可以实现更好的鲁棒性。由于EIO网络中的路径随着网络深度呈指数级增长,因此它提供了高可扩展性。我们的实验表明,EIO始终优于以前的集成训练方法,甚至更少的计算开销。
2021-03-27 cs.CR cs.CV cs.LG
Adversarial Vulnerability of Randomized Ensembles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管深度神经网络在各种任务中取得了巨大的成功,但它们对难以察觉的对抗性扰动的脆弱性阻碍了它们在现实世界中的部署。最近,随机集成的工作经验表明,对抗鲁棒性的显着改善标准对抗训练(AT)模型,具有最小的计算开销,使其成为安全关键的资源受限的应用程序的一个有前途的解决方案。然而,这种令人印象深刻的性能提出了一个问题:随机集成提供的这些鲁棒性增益是真实的吗?在这项工作中,我们解决这个问题的理论和经验。我们首先从理论上建立,常用的鲁棒性评估方法,如自适应PGD提供了一个虚假的安全感,在这种情况下。随后,我们提出了一个理论上合理和有效的对抗攻击算法(ARC)能够妥协的随机合奏,即使在自适应PGD未能做到这一点的情况下。我们在各种网络架构、训练方案、数据集和规范中进行了全面的实验,以支持我们的主张,并根据经验建立了随机集合实际上比标准AT模型更容易受到$\ell_p$有界对抗性扰动的影响。我们的代码可以在https://github.com/hsndbk4/ARC上找到。
2022-06-14 cs.CR cs.CV cs.LG
Adversarial Ensemble Training by Jointly Learning Label Dependencies and Member Models
Zhejiang Lab(之江实验室)
提出联合学习标签依赖与成员模型的对抗性集成训练方法,利用标签依赖促进成员多样性,在MNIST等数据集上对黑盒攻击实现了优于现有方法的鲁棒性。
2023-05-23 cs.CR cs.LG
Guardian of the Ensembles: Introducing Pairwise Adversarially Robust Loss for Resisting Adversarial Attacks in DNN Ensembles
Centre for Computational and Data Sciences, IIT Kharagpur(印度理工学院克勒格布尔分校计算与数据科学中心);Computer Science and Engineering Department, IIT Kharagpur(印度理工学院克勒格布尔分校计算机科学与工程系);Center for Cyber Security, New York University Abu Dhabi(纽约大学阿布扎比分校网络安全中心);Department of Artificial Intelligence, IIT Kharagpur(印度理工学院克勒格布尔分校人工智能系);Computer Science and Engineering Department, IIT Patna(印度理工学院巴特那分校计算机科学与工程系)
针对对抗攻击的可迁移性问题,本文提出成对对抗鲁棒损失(PARL)训练DNN集成,通过同时利用集成内分类器各层输出与梯度生成决策边界多样的集成,提升黑盒迁移攻击鲁棒性,在保持干净准确率的同时使鲁棒准确率提升24.8%。
2024-12-03 cs.LG
AdIoTack: Quantifying and Refining Resilience of Decision Tree Ensemble Inference Models against Adversarial Volumetric Attacks on IoT Networks
UNSW Sydney(悉尼新南威尔士大学)
基于机器学习的技术在网络智能方面取得了成功。然而,他们越来越多地成为复杂的数据驱动的对抗攻击的目标,导致错误预测,削弱了他们检测网络设备上威胁的能力。在本文中,我们介绍了AdIoTack,这是一个系统,它突出了决策树对对抗攻击的脆弱性,帮助网络安全团队量化和改进其用于监控物联网网络的训练模型的弹性。为了评估最坏情况下的模型,AdIoTack执行白盒对抗学习,以发起决策树集成模型无法标记的成功体积攻击。我们的第一个贡献是开发一个白盒算法,需要一个训练有素的决策树集成模型和配置文件的一个受害者类的基于网络的攻击作为输入。然后,它会自动生成配方,在缩进的攻击数据包之上指定某些数据包(开销小于15%),这些数据包一起可以绕过推理模型而不被注意到。我们确保生成的攻击实例可在IP网络上启动,并有效地产生体积影响。我们的第二个贡献开发了一种方法来主动监控连接设备的网络行为,代表受害者物联网设备注入对抗性流量(在可行的情况下),并成功发起预期的攻击。我们的第三个贡献是对AdIoTack进行原型设计,并在一个由经过训练的推理模型监控的少数真实物联网设备组成的测试平台上验证其有效性。我们演示了该模型如何检测物联网设备上的所有非对抗性体积攻击,同时错过许多对抗性攻击。第四个贡献开发了系统的方法,用于将补丁应用于训练的决策树集成模型,提高其对对抗性体积攻击的弹性。
2022-03-18 cs.CR cs.LG
Understanding and Improving Ensemble Adversarial Defense
The University of Manchester(曼彻斯特大学)
本文建立解释集成对抗防御鲁棒性的误差理论,并据此提出 iGAT,通过全局对抗样本概率分配和弱点正则化,在白盒与黑盒攻击下显著提升现有方法。
2023-11-02 cs.LG
Strength in Numbers: Trading-off Robustness and Computation via Adversarially-Trained Ensembles
DeepMind(深度思维)
虽然深度学习在许多具有挑战性的问题上取得了显着的成果,但研究人员发现了神经网络在对抗环境中的脆弱性,在这种环境中,对输入的微小但精心选择的扰动可能会使模型产生极不准确的输出。这使得这些模型特别不适合安全关键应用领域(例如自动驾驶汽车),在这些领域中,鲁棒性非常重要。最近的工作表明,用逆向生成的数据增强训练可以提供一定程度的鲁棒性,以抵御测试时的攻击。在本文中,我们将探讨这种方法的规模,因为我们增加了计算预算的后卫。我们发现,增加逆向训练模型中的参数数量可以提高其鲁棒性,特别是在将整个集合作为单个模型进行逆向训练的同时,将较小的模型集合起来,这是一种比简单地使用较大的单个模型更有效的花费所述预算的方式。至关重要的是,我们证明了它是集成的对抗训练,而不是对抗训练模型的集成,这提供了鲁棒性。
2018-11-22 cs.CR cs.LG cs.NE
Ensemble Adversarial Defense via Integration of Multiple Dispersed Low Curvature Models
Southeast University(东南大学);PLA Information Engineering University(中国人民解放军信息工程大学);Purple Mountain Laboratories(紫金山实验室);NDSC(国家数字交换系统工程技术研究中心)
本文提出通过降低攻击可迁移性增强集成多样性,利用微分近似计算二阶梯度(损失曲率)并引入新正则化器训练多个分散的低曲率子模型,从而显著提升了集成模型对抗攻击的防御鲁棒性。
2024-03-25 cs.CR cs.CV cs.LG
Jacobian Ensembles Improve Robustness Trade-offs to Adversarial Attacks
Imperial College London(帝国理工学院);DataSpartan
深度神经网络已经成为我们软件基础设施的一个组成部分,并被部署在许多广泛使用的安全关键应用程序中。然而,它们集成到许多系统中也带来了以通用对抗性扰动(UAP)形式的测试时间攻击的脆弱性。UAP是一类扰动,当应用于任何输入时会导致模型误分类。虽然有一个正在进行的努力,以保护模型免受这些对抗攻击,它往往是难以调和的权衡模型的准确性和鲁棒性的对抗攻击。雅可比正则化已被证明可以提高模型对UAP的鲁棒性,而模型集成已被广泛采用,以提高预测性能和模型鲁棒性。在这项工作中,我们提出了一种新的方法,雅可比集成-雅可比正则化和模型集成的组合,以显着提高对不稳定性,同时保持或提高模型的准确性。我们的研究结果表明,雅可比集成实现了以前看不到的准确性和鲁棒性水平,大大提高了以前的方法,往往倾向于只对准确性或鲁棒性倾斜。
2022-04-19 cs.CR cs.CV cs.LG
Robust Deep Learning Ensemble against Deception
Georgia Institute of Technology(佐治亚理工学院)
众所周知,深度神经网络(DNN)模型容易受到恶意制作的对抗性示例和远离训练数据的分布输入的影响。如何保护机器学习模型免受这两种类型的破坏性输入的欺骗仍然是一个开放的挑战。本文介绍了XEnvelope,一种多样性集成验证方法,用于增强DNN模型的对抗性鲁棒性,以对抗对抗性示例或分布外输入造成的欺骗。XEntrance在设计上有三个独特的功能。首先,XEntrance通过利用不同的数据清理技术构建了不同的输入去噪验证器。其次,XEntrance开发了一种不一致多样性集成学习方法,用于保护预测模型的输出不受欺骗。第三,XEntrance提供了一套算法来结合输入验证和输出验证,以保护DNN预测模型免受对抗性示例和分布输入的影响。使用11个流行的对抗攻击和两个代表性的分布外数据集进行评估,我们表明XEncriminal实现了对对抗示例的高防御成功率和对分布外数据输入的高检测成功率,并且在鲁棒性和防御性方面优于现有的代表性防御方法。
2020-09-14 cs.LG stat.ML
Robust Ensemble Model Training via Random Layer Sampling Against Adversarial Attack
KAIST(韩国科学技术院)
深度神经网络已经在多个计算机视觉领域取得了实质性的成就,但也存在漏洞,经常被人类无法识别的对抗性示例所愚弄。这对于安全或医疗应用来说是一个重要的问题。在本文中,我们提出了一个集成模型训练框架与随机层采样,以提高深度神经网络的鲁棒性。在所提出的训练框架中,我们通过随机分层采样生成各种采样模型,并更新采样模型的权重。在训练好集成模型后,采用随机分层抽样的方法,有效地隐藏了梯度信息,避免了基于梯度的攻击。为了评估我们提出的方法,全面和比较实验已经进行了三个数据集。实验结果表明,该方法提高了系统的对抗鲁棒性.
2021-01-27 cs.CR cs.CV cs.LG
TREND: Transferability based Robust ENsemble Design
Purdue University(普渡大学)
深度学习模型在许多领域都具有最先进的性能,但它们对对抗性示例的脆弱性对其在实际环境中的普遍部署构成了威胁。此外,在一个分类器上生成的对抗性输入已经被证明可以转移到在类似数据上训练的其他分类器,这使得即使模型参数没有向对手透露,攻击也是可能的。这种可转移性尚未得到系统的研究,导致我们对神经网络对抗性输入的鲁棒性的理解存在差距。在这项工作中,我们研究了网络结构,初始化,优化器,输入,权重和激活量化对对抗样本可转移性的影响。我们还研究了不同的攻击对可转移性的影响。我们的实验表明,可转移性显着阻碍输入量化和源和目标之间的架构不匹配,是不受初始化,但优化器的选择是至关重要的。我们观察到,可转移性是依赖于架构的重量和激活量化模型。为了量化可转移性,我们使用简单的度量,并展示了该度量在设计一种方法来构建具有改进的对抗鲁棒性的集合时的实用性。当攻击集成时,我们观察到单个集成成员模型的“梯度支配”阻碍了现有的攻击。为了解决这个问题,我们提出了一种新的最先进的合奏攻击。我们将所提出的攻击与现有的攻击技术进行比较,以显示其有效性。最后,我们证明了由精心选择的不同网络组成的集合比单个网络具有更好的对抗鲁棒性。
2021-03-30 cs.LG stat.ML
Improving Ensemble Robustness by Collaboratively Promoting and Demoting Adversarial Robustness
Monash University(莫纳什大学);Defence Science and Technology Group(国防科技集团)
基于集合的对抗训练是实现对抗对抗攻击的鲁棒性的原则性方法。这种方法的一个重要技术是控制对抗性样本在集成成员之间的可转移性。在这项工作中,我们提出了一个简单而有效的策略,委员会模型之间的合奏模型进行合作。这是通过为给定样本上的每个模型成员定义的安全和不安全集合来实现的,因此有助于我们量化和规范可转移性。因此,我们提出的框架提供了灵活性,以减少对抗性的可转移性,以及促进合奏成员的多样性,这是我们的合奏方法更好的鲁棒性的两个关键因素。我们进行了广泛而全面的实验,以证明我们提出的方法优于最先进的集成基线,同时可以以近乎完美的准确度检测到各种各样的对抗性示例。我们的代码可在https://github.com/tuananhbui89/Crossing-Collaborative-Ensemble上获得。
2022-02-04 cs.CV cs.LG
Scalable Whitebox Attacks on Tree-based Models
Borealis AI
对抗鲁棒性是保证机器学习模型可靠性的基本安全标准之一。虽然在过去的十年中引入了各种对抗性鲁棒性测试方法,但我们注意到其中大多数与不可微模型(如树集合)不兼容。由于树集成在工业中得到了广泛的应用,这揭示了对抗鲁棒性研究与实际应用之间的一个关键差距。提出了一种新的树集成模型的白盒对抗鲁棒性测试方法。具体地说,所提出的方法通过温度控制的sigmoid函数平滑树集合,这使得基于梯度下降的对抗攻击成为可能。通过利用采样和对数导数技巧,所提出的方法可以扩展到以前无法管理的测试任务。我们在多个公共数据集(和相应的模型)上将该方法与随机扰动和黑盒方法进行了比较。我们的结果表明,该方法可以1)成功地揭示树集成模型的对抗脆弱性,而不会造成测试的计算压力,2)灵活地平衡搜索性能和时间复杂度,以满足各种测试标准。
2022-03-31 cs.LG stat.ML
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)(麻省理工学院);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术,因此在工业中通常采用。最近的工作表明,已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击,并且量化表示的认证是保证鲁棒性所必需的。在这项工作中,我们提出了量化感知区间界限传播(QA-IBP),一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发,我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同,我们的方法可以处理QNN的离散语义。基于QA-IBP,我们还开发了一个完整的验证过程,用于验证QNN的对抗鲁棒性,保证终止并产生正确的答案。与现有的方法相比,我们的验证过程的关键优势是,它完全运行在GPU或其他加速器设备上。我们通过实验证明,我们的方法显着优于现有的方法,并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks
University of Tübingen(蒂宾根大学)
对抗对抗攻击的防御策略领域在过去几年中有了显著的发展,但进展受到阻碍,因为对抗性防御的评估往往不足,从而给人一种错误的鲁棒性印象。许多有希望的防御可能在以后被打破,这使得很难识别最先进的技术。评估中经常出现的陷阱是攻击的超参数调整不当,梯度混淆或掩蔽。在本文中,我们首先提出了两个扩展的PGD攻击克服失败,由于次优步长和目标函数的问题。然后,我们将我们的新攻击与两个互补的现有攻击相结合,形成一个无参数、计算负担得起且与用户无关的攻击集合,以测试对抗鲁棒性。我们将我们的集合应用于最近顶级机器学习和计算机视觉场所发表的论文中的50多个模型。在所有情况下,除了一个,我们实现了较低的鲁棒性测试的准确性比在这些论文中报道的,往往超过$10\%$,确定几个破碎的防御。
2020-08-04 cs.CV cs.LG stat.ML
Understanding Model Ensemble in Transferable Adversarial Attack
Huazhong University of Science and Technology(华中科技大学)
本文针对模型集成对抗攻击理论基础不足的问题,通过定义可迁移性误差并对其进行分解,利用信息论工具给出误差边界,提出减少误差的三条实用指南,并通过54个模型的实验验证了该理论框架。
2025-05-28 cs.AI cs.LG
Adversarial Robustness Toolbox v1.0.0
IBM Research(IBM研究院);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安让·莫内大学);CNRS(法国国家科学研究中心);Institut d Optique Graduate School(高等光学学校)
对抗鲁棒性测试(ART)是一个Python库,支持开发人员和研究人员保护机器学习模型(深度神经网络,梯度提升决策树,支持向量机,随机森林,逻辑回归,高斯过程,决策树,Scikit-learn Pipelines等)。对抗对抗性威胁,并有助于使AI系统更加安全和值得信赖。机器学习模型容易受到对抗性示例的影响,这些示例是输入(图像,文本,表格数据等)。故意修改以通过机器学习模型产生期望的响应。ART提供了构建和部署防御的工具,并使用对抗攻击对其进行测试。防御机器学习模型涉及通过预处理输入、使用对抗样本增强训练数据以及利用运行时检测方法来标记可能已被对手修改的任何输入等方法来认证和验证模型鲁棒性和模型强化。ART中实现的攻击允许针对机器学习模型创建对抗攻击,这是使用最先进的威胁模型测试防御所需的。支持的机器学习库包括TensorFlow(v1和v2)、Keras、PyTorch、MXNet、Scikit-learn、XGBoost、LightGBM、CatBoost和GPy。ART的源代码在https://github.com/IBM/adversarial-robustness-toolbox上以MIT许可证发布。该版本包括代码示例、带教程的笔记本和文档(http:adversarial-robustness-toolbox.readthedocs.io)。
2019-11-15 cs.LG stat.ML
MUTEN: Boosting Gradient-Based Adversarial Attacks via Mutant-Based Ensembles
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心)
深度神经网络(DNN)容易受到对抗性样本的攻击,这对安全关键型应用程序造成了严重威胁。这激发了许多关于提供机制以使模型对对抗攻击更鲁棒的研究。不幸的是,大多数防御措施(例如梯度掩蔽)都可以通过不同的攻击手段轻松克服。在本文中,我们提出了MUTEN,这是一种低成本的方法,可以提高针对梯度掩蔽模型的知名攻击的成功率。我们的想法是将攻击应用于通过在训练后突变原始模型元素而构建的集成模型。由于我们发现突变体的多样性是提高成功率的一个关键因素,我们设计了一个贪心算法来有效地产生多样的突变体。在MNIST、SVHN和CIFAR 10上的实验结果表明,MUTEN可以将四次攻击的成功率提高高达0.45。
2021-09-27 cs.CR cs.CV cs.LG
Learning from Peers: Collaborative Ensemble Adversarial Training
Laboratory of Big Data and Decision(大数据与决策实验室)
针对现有集成对抗训练子模型独立训练、忽略协作的问题,提出基于预测差异加权与校准距离正则的协同集成对抗训练方法,实现了更优的鲁棒性且模型无关、适用性广。
2025-08-27 cs.LG
The robust way to stack and bag: the local Lipschitz way
IIT Madras(印度理工学院马德拉斯分校)
最近的研究表明,神经网络的局部Lipschitz常数直接影响其对抗鲁棒性。我们利用这种关系来构建一个集成的神经网络,不仅提高了准确性,但也提供了增加的对抗鲁棒性。局部Lipschitz常数为两种不同的集成方法-装袋和堆叠-推导出最适合于确保对抗鲁棒性的架构。在白盒攻击、FGSM和PGD的情况下,在MNIST和CIFAR-10数据集上对所提出的集成架构进行了测试。所提出的架构被发现是更强大的a)一个单一的网络和b)传统的集成方法。
2022-06-01 cs.CR cs.LG
Building Robust Ensembles via Margin Boosting
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
在对抗鲁棒性的背景下,单个模型通常没有足够的能力来防御所有可能的对抗攻击,因此具有次优鲁棒性。因此,一个新兴的工作领域集中在学习神经网络的集合来防御对抗攻击。在这项工作中,我们采取原则性的方法来构建强大的合奏。我们认为这个问题的角度来看,利润率提高,并制定了一个学习的合奏与最大利润率的算法。通过对基准数据集的广泛实证评估,我们表明我们的算法不仅优于现有的集成技术,而且还优于以端到端方式训练的大型模型。我们的工作的一个重要副产品是边际最大化交叉熵(MCE)损失,这是一个更好的替代标准交叉熵(CE)损失。从经验上讲,我们表明,用我们的MCE损失替换最先进的对抗训练技术中的CE损失会导致显着的性能改善。
2022-06-07 cs.AI cs.CR cs.LG
Improving Adversarial Robustness for Free with Snapshot Ensemble
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Department of Statistics(统计学系)
对抗性训练作为为数不多的针对对抗攻击的认证防御之一,可能非常复杂和耗时,而结果可能不够稳健。为了解决鲁棒性不足的问题,提出了集成方法,旨在通过对重复训练过程的选择结果进行加权来获得最终输出。它被证明是非常有用的,在实现强大的和准确的结果,但计算和内存成本甚至更高。快照集成是近年来提出的一种新的集成方法,它将多个局部极小值组合在一个训练过程中进行最终预测,从而减少了训练多个网络所花费的时间和存储结果的内存。基于快照集成,我们提出了一种更容易实现的新方法:与原始快照集成寻求局部最小值不同,我们的快照集成专注于训练的最后几次迭代并存储其中的参数集。我们的算法要简单得多,但结果的准确性并不低于原始算法:基于不同的超参数和数据集,与传统的对抗训练相比,我们的快照集合的准确性提高了5%到30%。
2021-10-07 cs.AI cs.LG
Ensemble Federated Adversarial Training with Non-IID data
Zhejiang University(浙江大学)
尽管联邦学习在保护数据隐私和安全的前提下赋予了分布式客户端一种协同训练模式,但由于缺乏鲁棒性,客户端在遇到对抗样本时仍然很脆弱。对抗性样本可以通过向正常输入中注入精心设计的噪声来混淆和欺骗客户端模型,以达到恶意目的。在本文中,我们介绍了一种新的Ensemble联合对抗训练方法,称为EFAT,它可以实现有效和强大的耦合训练机制。我们的核心思想是通过扩展来自其他参与客户端的不同干扰的训练数据来增强对抗样本的多样性,这有助于对抗训练在非IID环境中表现良好。在不同的非IID情况下的实验结果表明,与单独将联邦学习与对抗方法相结合相比,我们提出的方法取得了令人满意的结果,包括特征分布偏斜和标签分布偏斜。
2021-10-26 cs.AI cs.LG
Towards the Transferable Audio Adversarial Attack via Ensemble Methods
Shandong University(山东大学);Quancheng Laboratory(泉城实验室)
本文研究语音识别中对抗样本的可迁移性,提出随机梯度集成和动态梯度加权集成方法,实验证明其生成的对抗样本可有效攻击黑盒API。
2023-04-18 cs.CR cs.LG cs.SD
EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks
Purdue University(普渡大学);Indian Institute of Technology (IIT) Madras(印度理工学院马德拉斯分校)
确保深度神经网络(DNN)的鲁棒性对于它们在自动驾驶汽车、无人机和医疗保健等安全关键型应用中的采用至关重要。值得注意的是,DNN容易受到对抗攻击的攻击,其中小的输入扰动可能会产生灾难性的错误分类。在这项工作中,我们提出了EMPIR,具有不同数值精度的量化DNN模型的集合,作为一种新的方法来提高对对抗攻击的鲁棒性。EMPIR是基于这样的观察,即量化神经网络通常比全精度网络对对抗攻击表现出更高的鲁棒性,但代价是原始(未扰动)输入的准确性大幅下降。EMPIR克服了这一限制,实现了“两全其美”,即,全精度模型的更高的无扰动精度与低精度模型的更高的鲁棒性相结合,通过将它们组成一个集合。此外,由于低精度DNN模型的计算和存储需求比全精度模型低得多,因此与单个全精度模型相比,EMPIR模型只会产生适度的计算和内存开销(在我们的评估中<25%)。我们在一套DNN上评估EMPIR,用于3种不同的图像识别任务(MNIST,CIFAR-10和ImageNet)和4种不同的对抗攻击。我们的研究结果表明,与单个全精度模型相比,EMPIR分别将MNIST,CIFAR-10和ImageNet数据集上训练的DNN模型的平均对抗准确率提高了42.6%,15.2%和10.5%,而不会牺牲未扰动输入的准确性。
2020-04-21 cs.CV cs.LG stat.ML
Adversarial Training via Adaptive Knowledge Amalgamation of an Ensemble of Teachers
University of Waterloo(滑铁卢大学)
本文提出AT-AKA方法,通过教师集成生成多样对抗样本并自适应融合其逻辑输出,训练广义鲁棒的学生模型,解决对抗训练中模型规模限制和对抗样本泛化差的问题。
2024-05-22 cs.AI cs.LG
An Efficient Adversarial Attack for Tree Ensembles
Department of Computer Science, UCLA(加利福尼亚大学洛杉矶分校计算机科学系)
研究了基于树的集成算法的有效对抗攻击问题,如梯度提升决策树(GBDTs)和随机森林(RFs)。由于这些模型是非连续的阶跃函数,并且不存在梯度,因此大多数现有的有效对抗攻击都不适用。虽然可以应用基于决策的黑盒攻击,但它们不能利用树的特殊结构。在我们的工作中,我们将攻击问题转化为一个专门为树集合设计的离散搜索问题,其目标是找到一个有效的“叶元组”,导致错误分类,同时具有到原始输入的最短距离。有了这个公式,我们表明,一个简单而有效的贪心算法可以应用到迭代优化的对抗性的例子,通过移动叶元组到其附近的汉明距离1。在几个大型GBDT和RF模型上的实验结果表明,我们的方法可以比以前基于混合整数线性规划(MILP)的方法快数千倍,同时还提供了比基于决策的黑箱攻击更小(更好)的对抗性示例。我们的代码可在https://github.com/chong-z/tree-ensemble-attack上获得。
2020-10-22 cs.LG
Dynamic ensemble selection based on Deep Neural Network Uncertainty Estimation for Adversarial Robustness
PLA Strategy Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
针对深度神经网络在对抗攻击下的鲁棒性不足,提出基于不确定性估计的动态集成选择方法,利用Dirichlet分布和参数空间多样性约束构建轻量级子模型,在测试阶段动态选择低不确定性子模型进行预测,在不损害准确性的前提下显著提升了对抗白盒攻击的防御能力。
2023-08-01 cs.AI cs.CR cs.LG
Is Certifying $\ell_p$ Robustness Still Worthwhile?
Carnegie Mellon University(卡内基梅隆大学);Center for AI Safety(人工智能安全中心);NASA Ames(美国国家航空航天局艾姆斯研究中心);Truera
本文重新审视认证 $\ell_p$ 鲁棒性的价值,论证局部鲁棒性认证具有实际意义,$\ell_p$ 威胁模型是安全关键应用的最低要求,且认证可解决攻击猫鼠游戏,并可能不存在准确性、鲁棒性与可认证性之间的根本权衡。
2023-10-13 cs.LG