A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models
FPT Software AI Center(FPT软件人工智能中心);College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Indiana University(印第安纳大学)
现有的工作表明,微调的文本Transformer模型实现了最先进的预测性能,但也容易受到敌对文本扰动。传统的对抗性评估通常是通过\textit{only after}对模型进行微调而忽略训练数据。在本文中,我们想证明训练数据和模型鲁棒性之间也有很强的相关性。为此,我们提取了13个不同的特征,代表了广泛的输入微调语料库属性,并使用它们来预测微调模型的对抗鲁棒性。主要集中在编码器仅Transformer模型BERT和RoBERTa与BART,ELECTRA和GPT 2的其他结果,我们提供了不同的证据来支持我们的论点。首先,实证分析表明:(a)提取的特征可以与轻量级分类器(如随机森林)一起使用,以有效地预测攻击成功率;(b)对模型鲁棒性影响最大的特征与鲁棒性具有明显的相关性。其次,我们的框架可以作为一种快速有效的鲁棒性评估工具,因为它(a)与传统技术相比节省了30 - 193倍的运行时间,(b)可以跨模型转移,(c)可以在对抗训练下使用,(d)对统计随机性具有鲁棒性。我们的代码可在\url{https://github.com/CaptainCuong/RobustText_ACL2024}上公开获取。
2024-07-02 cs.CL cs.CR cs.LG
CoRPA: Adversarial Image Generation for Chest X-rays Using Concept Vector Perturbations and Generative Models
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);NHS Lothian(NHS洛锡安)
本文提出CoRPA,一种针对医学影像领域的临床聚焦对抗攻击框架,通过概念向量扰动生成对抗性影像报告和图像,揭示医疗AI在真实临床场景下的脆弱性。
2025-03-28 cs.AI cs.CV eess.IV
Gradient-based Adversarial Attacks against Text Transformers
Facebook AI Research(Facebook AI研究院)
我们提出了第一个通用的基于梯度的攻击对Transformer模型。我们不是搜索单个对抗性示例,而是搜索由连续值矩阵参数化的对抗性示例分布,从而实现基于梯度的优化。我们的经验表明,我们的白盒攻击达到国家的最先进的攻击性能的各种自然语言的任务。此外,我们证明了一个强大的黑盒传输攻击,通过从对抗分布中采样,匹配或超过现有的方法,而只需要硬标签输出。
2021-04-15 cs.AI cs.CL cs.CR
The Robust Manifold Defense: Adversarial Training using Generative Models
UT Austin(德克萨斯大学奥斯汀分校);MIT EECS(麻省理工学院电子工程与计算机科学系)
我们提出了一种新的攻击类型,为图像分类器寻找对抗性的例子。我们的方法利用spatial,即深度神经网络,其输入空间是低维的,其输出范围近似于感兴趣的图像集。生成器可以是GANs的生成器或VAE的解码器。我们攻击的关键思想是搜索潜在代码对,以找到生成具有不同分类器输出的附近图像的代码对。我们认为,我们的攻击比搜索真实图像的扰动更强。此外,我们证明了我们更强的攻击可以用于将Defense-GAN的准确率降低到3%,解决了Athalye等人的著名论文中的一个公开问题。我们将我们的攻击与正常的对抗训练相结合,以获得最强大的已知MNIST分类器,显着提高了对抗PGD攻击的最新技术水平。我们的公式涉及到解决一个最小-最大问题,其中最小玩家设置分类器的参数,最大玩家运行我们的攻击,因此正在搜索搜索引擎的{ \em低维}输入空间中的对抗性示例。所有代码和型号均可在\url{https://github.com/ajiljalal/manifold-defense.git}上获得
2019-07-10 cs.CR cs.CV cs.LG
Adaptive Neighbourhoods for the Discovery of Adversarial Examples
Swansea University(斯旺西大学);Université de Toulon(土伦大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
深度神经网络(DNN)通常在模式识别任务中提供最先进的结果。然而,尽管取得了进展,但存在的对抗性例子引起了社会的注意。许多现有的工作已经提出了在训练点周围的固定大小区域内搜索对抗性示例的方法。我们的工作补充和改进这些现有的方法,通过适应这些区域的大小的基础上的问题的复杂性和数据采样密度。这使得这种方法更适合其他类型的数据,并且可以通过增加区域大小而不创建不正确的标签来进一步改进对抗训练方法。
2021-01-22 cs.LG
Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Bosch Center for AI(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa人工智能);Carnegie Mellon University(卡内基梅隆大学)
我们专注于黑盒对抗攻击的问题,其目的是仅基于仅限于输出标签~(硬标签)到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例,避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST,CIFAR-10和ImageNet的有效性,证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比,我们提出的方法始终实现了2倍到10倍的攻击成功率,同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe(IBM欧洲研究院);IBM Technology Campus, Damastown Ind. Park(IBM科技园区,达马斯敦工业园区)
对抗性训练是一项计算代价高昂的任务,因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步,这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标,我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数,从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性,在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Advancing diagnostic performance and clinical usability of neural networks via adversarial training and dual batch normalization
RWTH Aachen University(亚琛工业大学);University Hospital Düsseldorf(杜塞尔多夫大学医院);University Hospital Aachen(亚琛大学医院);ARISTRA GmbH(ARISTRA有限公司);The Institute for Experimental Molecular Imaging, RWTH Aachen University(亚琛工业大学实验分子影像研究所);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所);Comprehensive Diagnostic Center Aachen (CDCA), University Hospital RWTH Aachen(亚琛工业大学医院综合诊断中心)
揭示机器学习模型的决策过程对于在临床实践中实现诊断支持系统至关重要。在这里,我们证明了与标准模型相比,经过对抗训练的模型可以显着提高病理检测的可用性。我们让六位经验丰富的放射科医生在X射线、计算机断层扫描和磁共振成像扫描的数据集中对显着性图的可解释性进行评级。我们的对抗模型得到了显着的改进,可以通过应用双批量归一化来进一步改进。与之前对逆向训练模型的研究相反,我们发现,当使用足够大的数据集和双批范数训练时,这些模型的准确性与标准模型相同。为了确保可移植性,我们还在22,433个X射线的外部测试集上验证了我们的结果。这些发现阐明了在训练期间需要对抗性和真实图像的不同路径,以实现具有卓越临床可解释性的最新结果。
2020-11-25 cs.CV cs.LG eess.IV
Surprises in adversarially-trained linear regression
Uppsala University(乌普萨拉大学)
最先进的机器学习模型可能容易受到逆向构造的非常小的输入扰动的影响。对抗性训练是一种有效的方法来抵御这些例子。它被公式化为一个最小-最大问题,当训练数据被最坏情况的攻击破坏时,搜索最佳解决方案。对于线性回归问题,对抗训练可以被公式化为凸问题。我们使用这种重新表述来做出两个技术贡献:首先,我们将训练问题表述为鲁棒回归的一个实例,以揭示其与参数收缩方法的联系,特别是$\ell_\infty$ -对抗训练产生稀疏解。其次,我们研究了过参数化机制下的对抗训练,即当参数比数据多时。我们证明了具有小干扰的对抗训练给出了插值训练数据的最小范数的解决方案。岭回归和lasso方法在正则化参数为零的情况下逼近插值解。相比之下,对于对抗训练,过渡到插值机制是突然的,并且对于非零值的干扰。并用数值例子证明并说明了这一结果。
2022-10-20 cs.CR cs.LG eess.SP
CorrAttack: Black-box Adversarial Attack with Structured Search
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的基于得分的对抗攻击方法,攻击者查询目标模型的损失预言。我们的方法采用了一个参数化的搜索空间的结构,捕捉的损失函数的梯度的关系。我们发现,搜索结构化空间可以近似为一个随时间变化的上下文土匪问题,攻击者采取的功能相关联的手臂进行修改的输入,并收到立即奖励的减少的损失函数。时变上下文强盗问题可以通过贝叶斯优化过程来解决,该过程可以利用结构化动作空间的特征。在ImageNet和Google Cloud Vision API上的实验表明,该方法在未防御和防御模型上都实现了最先进的成功率和查询效率。
2020-10-03 cs.CR cs.CV cs.LG
NATTACK: Learning the Distributions of Adversarial Examples for an Improved Black-Box Attack on Deep Neural Networks
University of Central Florida(中佛罗里达大学);Hong Kong University of Science and Technology(香港科技大学);Google(谷歌)
强大的对抗攻击方法对于理解如何构建强大的深度神经网络(DNN)和彻底测试防御技术至关重要。在本文中,我们提出了一个黑盒对抗攻击算法,可以击败香草DNN和最近开发的各种防御技术产生的。我们的算法不是为目标DNN的良性输入搜索“最佳”对抗性示例,而是在以输入为中心的小区域上找到概率密度分布,因此从该分布中提取的样本可能是对抗性示例,而无需访问DNN的内部层或权重。我们的方法是通用的,因为它可以成功地攻击不同的神经网络由一个单一的算法。它也是强大的;通过对2个vanilla DNN和13个防御DNN的测试,对于大多数测试用例,它的性能优于最先进的黑盒或白盒攻击方法。此外,我们的研究结果表明,对抗性训练仍然是最好的防御技术之一,并且对抗性示例在防御DNN之间的可转移性不如在普通DNN之间的可转移性。
2019-12-09 cs.CR cs.CV cs.LG
Gotta Catch 'Em All: Using Honeypots to Catch Adversarial Attacks on Neural Networks
University of Chicago(芝加哥大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
深度神经网络(DNN)是一种易受对抗攻击攻击的网络。许多努力要么试图修补训练模型中的弱点,要么试图使计算利用它们的对抗性示例变得困难或昂贵。在我们的工作中,我们探索了一种新的“蜜罐”方法来保护DNN模型。我们故意在分类流形中注入陷阱门,蜜罐弱点,吸引攻击者搜索对抗性的例子。攻击者的优化算法倾向于陷阱门,导致他们在特征空间中产生类似于陷阱门的攻击。然后,我们的防御通过将输入的神经元激活签名与陷阱门的神经元激活签名进行比较来识别攻击。在本文中,我们介绍了陷门,并描述了一个陷门启用防御的实现。首先,我们分析证明,陷门形状的计算对抗攻击,使攻击输入将具有功能表示非常相似的陷门。其次,我们通过实验证明,陷阱保护模型可以高精度地检测到由最先进的攻击(PGD,基于优化的CW,弹性网络,BPDA)生成的对抗性示例,对正常分类的影响可以忽略不计。这些结果概括了分类领域,包括图像,面部和交通标志识别。我们还提出了显着的结果测量陷阱的鲁棒性对定制的自适应攻击(对策)。
2020-09-28 cs.CR cs.LG stat.ML
Adaptive Adversarial Attack on Scene Text Recognition
University of Florida(佛罗里达大学);Tongdun Technology(同盾科技)
最近的研究表明,最先进的深度学习模型容易受到小扰动输入的影响(对抗性示例)。我们在对抗性示例中观察到两个关键障碍:(i)强对抗攻击(例如,C&W攻击)需要手动调整超参数,并需要很长的时间来构建一个对抗的例子,使其不切实际的攻击实时系统;(ii)大多数的研究集中在非顺序的任务,如图像分类,但只有少数考虑顺序的任务。在这项工作中,我们加快了对抗攻击,特别是在顺序学习任务中。通过利用每个任务的不确定性,我们直接学习自适应多任务权重,而无需手动搜索超参数。一个统一的架构开发和评估非顺序任务和顺序的。为了验证该方法的有效性,我们以场景文本识别任务为例进行了研究。据我们所知,我们提出的方法是第一次尝试对抗攻击的场景文本识别。与最先进的对抗攻击相比,自适应攻击的成功率超过99.9\%,加速比为3- 6倍。
2020-04-01 cs.CR cs.CV cs.LG
Exploiting Vulnerabilities of Deep Learning-based Energy Theft Detection in AMI through Adversarial Attacks
The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);University of Illinois Springfield(伊利诺伊大学斯普林菲尔德分校)
有效检测能源盗窃可以防止公用事业公司的收入损失,对智能电网安全也很重要。近年来,在大量细粒度智能电表数据的支持下,深度学习(DL)方法在文献中变得流行,以检测高级计量基础设施(AMI)中的能量盗窃。然而,由于神经网络被证明是脆弱的对抗性的例子,DL模型的安全性是值得关注的。本文通过对抗攻击,包括单步攻击和迭代攻击,研究了基于DL的能量盗窃检测的漏洞。从攻击者的角度出发,我们设计了\textit{SearchFromFree}框架,该框架包括:1)一个随机对抗的测量初始化方法,以最大化窃取的利润; 2)一个步长搜索方案,以提高黑盒迭代攻击的性能。基于三种类型的神经网络的评估表明,对抗性攻击者可以报告非常低的消费测量的实用程序,而不会被检测到的DL模型。最后,我们讨论了潜在的防御机制,对对抗攻击的能源盗窃检测。
2020-10-16 cs.AI cs.CR
Leveraging Expert Input for Robust and Explainable AI-Assisted Lung Cancer Detection in Chest X-rays
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);NHS Lothian(洛锡安国家健康服务)
本文研究了基于InceptionV3的肺癌检测模型的可解释性和鲁棒性,提出ClinicXAI方法,通过专家驱动的思路生成临床相关解释,并在对抗攻击下表现出更强的鲁棒性。
2025-03-28 cs.CV cs.LG
Taking Care of The Discretization Problem: A Comprehensive Study of the Discretization Problem and A Black-Box Adversarial Attack in Discrete Integer Domain
Nanjing University(南京大学);ShanghaiTech University(上海科技大学)
最近提出了许多制作对抗性示例的方法,成功率很高。由于大多数现有的基于机器学习的分类器首先将图像归一化到一些连续的实向量域,因此攻击通常在此类域中制作对抗性示例。然而,“对抗性”示例在将其反规范化回到离散整数域(称为离散化问题)后可能会变得良性。这个问题在一些研究中被提及,但受到的关注相对较少。在这项工作中,我们首先对现有的制作方法和工具进行了全面的研究。我们从理论上分析了34种有代表性的方法,并从经验上研究了20种有代表性的开源工具,用于制作对抗图像。我们的研究表明,离散化问题远比原来想象的要严重。这表明,在制作对抗性示例和测量攻击成功率时,应该认真考虑离散化问题。作为在黑盒场景中解决这个问题的第一步,我们提出了一个黑盒方法,该方法将对抗性示例搜索问题减少为无导数优化问题。我们的方法能够通过离散整数域中的无导数搜索来制作对抗图像。实验结果表明,我们的方法与最近的白盒方法(例如,FGSM,BIM和C\&W),并且在离散整数域中的对抗性示例方面比最近的黑盒方法(例如,ZOO、NES-PGD和Bandits)。此外,我们的方法能够处理不可微的模型,并以95%的成功率成功打破NIPS 2017年防御竞赛的冠军。我们的研究结果表明,离散优化算法开辟了一个有前途的研究领域,有效的黑盒攻击。
2020-04-26 cs.CR cs.LG stat.ML
Are AlphaZero-like Agents Robust to Adversarial Perturbations?
UCLA(加州大学洛杉矶分校);CMU(卡内基梅隆大学);Academia Sinica(中央研究院);NYCU(阳明交通大学)
AlphaZero(AZ)的成功证明,基于神经网络的围棋人工智能可以大大超过人类的表现。考虑到围棋的状态空间非常大,人类玩家可以从任何合法的状态下进行游戏,我们要问的是,围棋人工智能是否存在可能导致它们做出令人惊讶的错误行为的对抗状态。在本文中,我们首先将对抗性示例的概念扩展到围棋游戏:我们通过向游戏中添加无意义的移动来生成与原始状态“语义上”等效的扰动状态,并且对抗性状态是一种扰动状态,导致即使对于围棋初学者来说也明显的毫无疑问的低劣动作。然而,由于大的、离散的和不可微的搜索空间,搜索对抗状态是具有挑战性的。为了应对这一挑战,我们开发了第一个对Go AI的对抗攻击,它可以通过战略性地减少搜索空间来有效地搜索对抗状态。这种方法也可以扩展到其他棋盘游戏,如NoGo。在实验中,我们表明,政策值神经网络(PV-NN)和蒙特卡罗树搜索(MCTS)所采取的行动可以被误导,通过添加一个或两个无意义的石头;例如,在58%的AlphaGo Zero自玩游戏,我们的方法可以使广泛使用的KataGo代理与50模拟MCTS发挥一个失败的行动,通过添加两个无意义的石头。我们还评估了我们的算法与业余人类围棋选手的对抗性例子,90%的例子确实导致围棋智能体做出明显低劣的动作。我们的代码可在\url{https://PaperCode.cc/GoAttack}上获得。
2022-11-07 cs.AI cs.LG cs.RO
Adversarial Attacks on Leakage Detectors in Water Distribution Networks
Bielefeld University(比勒费尔德大学)
该研究针对供水管网机器学习泄漏检测器易受对抗攻击的问题,提出攻击分类体系,聚焦最不敏感点攻击并通过三种算法求解,在两个基准管网完成评估,为提升模型鲁棒性提供支撑。
2023-05-25 cs.CR cs.LG
Self-Ensemble Adversarial Training for Improved Robustness
Peking University(北京大学)
由于机器智能在现实世界应用中带来的众多突破,深度神经网络(DNN)被广泛应用于关键应用中。然而,DNN的预测很容易被难以察觉的对抗性扰动所操纵,这阻碍了DNN的进一步部署,并可能导致深刻的安全和隐私影响。通过将对抗样本加入训练数据池,对抗训练是各种防御方法中对抗各种对抗攻击的最强原则性策略。最近的工作主要集中在开发新的损失函数或正则化器,试图在权重空间中找到唯一的最优点。但是,它们都没有挖掘从标准对抗训练中获得的分类器的潜力,特别是在训练的搜索轨迹上的状态。在这项工作中,我们致力于通过训练过程中的模型的权重状态,并设计了一个简单但功能强大的\emph{Self-Ensemble Adversarial Training}(SEAT)方法,通过平均历史模型的权重来产生一个强大的分类器。这大大提高了目标模型对几种众所周知的对抗攻击的鲁棒性,甚至仅仅利用朴素的交叉熵损失来监督。我们还讨论了来自不同对抗训练模型的预测集成与权重集成模型的预测之间的关系,并提供了理论和经验证据,证明所提出的自集成方法提供了比单个模型和来自不同分类器的预测集成更平滑的损失景观和更好的鲁棒性。我们进一步分析了一个微妙的,但致命的问题,在一般设置的自集成模型,这导致恶化的加权集成方法在后期阶段。
2022-05-03 cs.CR cs.LG
Explain2Attack: Text Adversarial Attacks via Cross-Domain Interpretability
Clayton School of Information Technology, Monash University(莫纳什大学克莱顿信息技术学院)
为下游任务训练健壮的深度学习模型是一项关键挑战。研究表明,下游模型可以很容易地被看似训练数据的对抗性输入所欺骗,但会以人类无法察觉的方式受到轻微干扰。理解自然语言模型在这些攻击下的行为对于更好地保护这些模型免受此类攻击至关重要。在黑盒攻击设置中,无法访问模型参数,攻击者只能从目标模型中查询输出信息,以进行成功的攻击。当前的黑盒最先进的模型在计算复杂性和创建成功的对抗性示例所需的查询数量方面都是昂贵的。对于现实世界的场景,查询的数量是至关重要的,其中期望较少的查询以避免对攻击代理的怀疑。在本文中,我们提出了解释2攻击,黑盒对抗攻击的文本分类任务。而不是通过查询目标模型来搜索要扰动的重要单词,Explain2Attack采用了来自类似领域的可解释替代模型来学习单词重要性分数。我们表明,我们的框架要么达到或优于最先进的模型的攻击率,但具有较低的查询成本和更高的效率。
2021-01-16 cs.CR cs.LG
Context Encoding Chest X-rays
University of Amsterdam(阿姆斯特丹大学);Radboud University Medical Center(拉德堡德大学医学中心)
胸部X光是最常用的医疗诊断技术之一。已经提出了许多深度学习模型来改进和自动化这类数据的异常检测任务。在本文中,我们提出了一种不同的方法,基于图像图像修补下的对抗训练首先介绍了Goodfellow等人。我们配置的上下文编码器模型为这项任务,并训练它超过1.1M 128 × 128图像从健康的X射线。我们的模型的目标是重建缺失的中央64x64补丁。一旦模型学会了如何修复健康组织,我们将在有和没有异常的图像上测试其性能。我们讨论和激励我们的结果考虑PSNR,MSE和SSIM分数作为评价指标。此外,我们进行了一项2AFC观察员研究,结果表明,在一半的时间内,专家无法区分使用我们的模型重建的真实图像。通过计算和可视化源图像和重建图像之间的像素差异,我们可以突出异常,以简化进一步的检测和分类任务。
2019-04-09 cs.CV cs.LG
White-Box Multi-Objective Adversarial Attack on Dialogue Generation
University of California, Riverside(加州大学河滨分校)
提出白盒多目标对抗攻击方法DGSlow,通过平衡生成准确性与长度目标,迭代构造对抗样本,显著降低对话生成模型性能并具可迁移性。
2023-05-08 cs.CL cs.CR cs.LG
Turn Fake into Real: Adversarial Head Turn Attacks Against Deepfake Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Xi’an Jiaotong University(西安交通大学)
提出首个针对深度伪造检测器的三维对抗性头部转动攻击AdvHeat,通过单视角图像合成面部视角,在黑盒场景下实现高攻击成功率,并优于传统攻击。
2023-09-03 cs.CR cs.CV cs.LG
Learning Bone Suppression from Dual Energy Chest X-rays using Adversarial Networks
Seoul National University(首尔国立大学);Hankuk University of Foreign Studies(韩国外国语大学)
在胸部X光片上抑制骨骼,如肋骨和锁骨,通常有望改善病理分类。除了肌肉骨骼系统外,这些骨骼可以干扰肺部疾病的广泛诊断任务。目前用于获取骨抑制X射线的常规方法是双能量成像,其以非常短的间隔捕获具有不同能量水平的两个射线照片;然而,患者暴露于辐射两次,并且由于两次拍摄之间的心跳而产生伪影。在本文中,我们介绍了一种经过训练的深度生成模型,用于预测单能量胸部X光片上的骨抑制图像,分析先前获取的双能量胸部X光片的有限集合。由于可用的数据量相对较少,因此这种方法依赖于最大限度地利用数据的方法。在这里,我们整合了以下两种方法。首先,我们使用一个条件生成对抗网络,它补充了传统的回归方法,最大限度地减少了成对图像的差异。其次,我们使用Haar二维小波分解提供了一个感性的频率细节的指导方针,使模型能够快速有效地收敛。因此,与现有的双能量胸部X射线方法相比,我们在骨抑制方面实现了最先进的性能。
2018-11-05 cs.CV cs.LG stat.ML
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
条件生成对抗网络(cGAN)被设计为基于所提供的条件\eg、类级分布来生成图像。然而,现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想,采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积,其中后者被设计为引入类特定信息,同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线,使得搜索成本不会随着类的数量而增长。为了学习采样策略,将马尔可夫决策过程嵌入到搜索算法中,并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外,我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Motion Generation Considering Situation with Conditional Generative Adversarial Networks for Throwing Robots
Saitama University(埼玉大学);Preferred Networks(Preferred Networks公司)
当机器人在杂乱的环境中工作时,运动的约束经常变化,即使对于相同的任务,所需的动作也会发生变化。然而,从直接计算规划复杂的运动具有导致性能差的局部最优的风险。此外,机器学习方法通常需要针对新情况进行重新学习。在本文中,我们提出了一种通过使用条件生成对抗网络(cGAN)来搜索适当运动的方法,cGAN可以通过模仿训练数据集来生成基于条件的运动。通过为任务训练具有各种运动的cGAN,其潜在空间由任务的有效运动来实现。通过搜索训练cGAN的潜在空间而不是运动空间,可以有效地找到合适的运动,同时避免不良的局部最优。我们证明了所提出的方法成功地工作在数值模拟和真实的机器人实验中的对象投掷任务给定的目标位置。该方法比直接搜索动作空间的精度高3倍,计算时间快2.5倍。
2019-10-08 cs.LG cs.RO
AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks
Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学)
本文提出AutoGAN-Distiller框架,将AutoML与知识蒸馏结合,在资源约束下端到端搜索高效生成器,实现通用、自动化且无需判别器的GAN压缩,在图像翻译和超分辨率任务上取得优于现有方法的轻量模型。
2025-01-04 cs.CV cs.LG eess.IV
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来,深度神经网络在各个领域都取得了重大进展和成功应用,但发现它们容易受到攻击实例的攻击,例如,敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器,但对人的影响很小。因此,这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发,本文提出了两种新的生成模型,采用条件生成对抗网络,设计了不同的训练策略,直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比,该模型可以降低生成成本,提高鲁棒性,并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
Advancing Adversarial Suffix Transfer Learning on Aligned Large Language Models
National University of Singapore(新加坡国立大学)
针对大语言模型对抗后缀搜索算法GCG效率低的问题,提出两阶段迁移学习框架DeGCG及其交错变体i-DeGCG,通过解耦搜索流程提升效率,在HarmBench基准上实现了攻击成功率的显著提升。
2024-10-05 cs.CL cs.CR cs.LG
AdFair-CLIP: Adversarial Fair Contrastive Language-Image Pre-training for Chest X-rays
Texas A&M University(德克萨斯A&M大学);The University of Iowa(爱荷华大学);Mayo Clinic School of Medicine(梅奥诊所医学院)
针对CLIP模型在医学图像分类中的人口统计学公平性问题,提出AdFair-CLIP框架,通过对抗性特征干预抑制敏感属性,显著提升了胸部X光片诊断的公平性与准确性。
2025-11-01 cs.CV cs.LG
Attacks Which Do Not Kill Training Make Adversarial Learning Stronger
National University of Singapore(新加坡国立大学);Shandong University(山东大学);Hong Kong Baptist University(香港浸会大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心);The University of Tokyo(东京大学)
基于极大极小公式的对抗训练对于获得训练模型的对抗鲁棒性是必要的。然而,它是保守的,甚至是悲观的,因此它有时会损害自然的概括。在本文中,我们提出了一个基本的问题-我们是否必须权衡自然推广的对抗鲁棒性?我们认为,对抗性训练是使用自信的对抗性数据来更新当前模型。我们提出了一种新的友好对抗训练(FAT)方法:而不是采用最大化损失的大多数对抗数据,我们搜索最小对抗(即,友好对抗)数据最小化损失,在被自信地错误分类的对抗数据中。我们的新公式很容易实现,只需提前停止最具对抗性的数据搜索算法,如PGD(投影梯度下降),我们称之为提前停止的PGD。从理论上讲,FAT是合理的对抗性风险的上限。从经验上讲,提前停止的PGD允许我们否定地回答前面的问题--对抗鲁棒性确实可以在不损害自然泛化的情况下实现。
2020-09-05 cs.LG stat.ML
Gray-box Adversarial Testing for Control Systems with Machine Learning Component
Arizona State University(亚利桑那州立大学)
神经网络(NN)在过去已经被提出作为具有非常复杂动态的系统的建模和控制的有效手段。然而,尽管进行了广泛的研究,基于神经网络的控制器尚未被工业界用于安全关键系统。主要原因是,具有基于学习的控制器的系统非常难以测试和验证。更难的是根据系统级规范分析这些系统。在本文中,我们提供了一个基于梯度的方法来搜索闭环控制系统的输入空间,以找到对抗样本对一些系统级的要求。我们的实验结果表明,结合随机搜索,我们的方法优于模拟退火优化。
2018-12-31 cs.LG stat.ML
Less is More: Feature Selection for Adversarial Robustness with Compressive Counter-Adversarial Attacks
Imperial College London(伦敦帝国学院)
关于对抗攻击的一个常见观察是,它们大多会在倒数第二层引起错误激活,以欺骗分类器。假设这些激活值对应于输入的某些特征,则目标变为选择对分类最有用的特征。因此,我们提出了一种新的方法来识别的重要功能,采用反对抗攻击,这突出了在倒数第二层的一致性相对于输入样本的扰动。首先,我们经验表明,存在一个子集的功能,分类的基础上,其中弥合之间的差距干净和强大的准确性。其次,我们提出了一个简单而有效的机制,通过搜索输入样本的邻域来识别这些特征。然后,我们通过观察倒数第二层激活值的一致性来选择特征。
2021-06-18 cs.AI cs.IT cs.LG
Black-box Adversarial Example Generation with Normalizing Flows
The university of melbourne(墨尔本大学)
深度神经网络分类器存在对抗性漏洞:对输入数据精心设计的、不明显的更改可能会影响分类器的决策。在这方面,对强大的对抗攻击的研究可以帮助揭示这种恶意行为的来源。在本文中,我们提出了一种新的黑盒对抗攻击使用规范化流。我们展示了如何通过搜索预训练的基于流的模型基础分布来找到对手。通过这种方式,我们可以生成与原始数据非常相似的对手,因为扰动是数据的形状。然后,我们证明了所提出的方法对著名的黑盒对抗攻击方法的竞争性能。
2020-07-06 cs.CR cs.CV cs.LG
Reinforcement Learning Based Sparse Black-box Adversarial Attack on Video Recognition Models
Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学学院)
我们探讨了视频识别模型上的黑盒对抗攻击。攻击仅在选定的关键区域和关键帧上执行,以减少由于其高维性而在视频上搜索对抗性扰动的高计算成本。选择关键帧的方法之一是使用启发式算法来评估每个帧的重要性并选择必要的帧。然而,它在排序和搜索上是时间效率低下的。为了加快攻击过程,提出了一种基于强化学习的帧选择策略。具体而言,代理探索原始视频类和目标视频类之间的差异,以做出选择决策。它从威胁模型中获得奖励,这些模型表明了决策的质量。此外,我们还使用显著性检测来选择关键区域,并在零阶优化中只估计梯度的符号而不是梯度本身,以进一步加速攻击过程。我们可以在非目标攻击中直接使用训练好的模型,或者在目标攻击中进行少量微调,这节省了计算时间。在真实数据集上的一系列实验结果证明了该方法的有效性和效率。
2021-08-29 cs.CR cs.LG
Efficient Robustness Assessment via Adversarial Spatial-Temporal Focus on Videos
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
由于视频识别模型在安全关键任务中的广泛应用,其对抗鲁棒性评估引起了人们的关注。与图像相比,视频具有更高的维数,这给生成对抗视频带来了巨大的计算代价。这对于基于查询的黑盒攻击尤为严重,其中通常使用威胁模型的梯度估计,并且高维将导致大量的查询。为了缓解这个问题,我们建议同时消除视频中的时间和空间冗余,以实现有效和高效的梯度估计减少搜索空间,从而查询数量可以减少。为了实现这一思想,我们设计了一种新的对抗性时空聚焦(AstFocus)攻击视频,它对视频中帧间和帧内同时聚焦的关键帧和关键区域进行攻击。AstFocus攻击基于协作式多智能体强化学习(MARL)框架。一个代理负责选择关键帧,另一个代理负责选择关键区域。这两个智能体通过从黑盒威胁模型接收的共同奖励来联合训练,以执行合作预测。通过连续查询,由关键帧和关键区域组成的缩小搜索空间变得更加精确,整个查询次数变得比原始视频少。在四种主流视频识别模型和三种广泛使用的动作识别数据集上的实验表明,AstFocus攻击在欺骗率、查询次数、时间和扰动幅度等方面均优于SOTA方法。
2023-03-27 cs.CV cs.LG
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology(国防科技创新研究院)
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明,使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而,由于图像变换的不可微性质,必须应用诸如强化学习或演化策略的搜索算法,这对于大规模问题在计算上是不实用的。在这项工作中,我们表明,通过简单地应用随机数据增强的一致性训练,可以获得领域自适应(DA)和泛化(DG)的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性,提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外,所提出的方法显示出良好的鲁棒性腐败,这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures
深度神经网络被发现容易受到对抗攻击的攻击,因此在安全敏感的环境中引起了潜在的担忧。为了解决这个问题,最近的研究从架构的角度研究了深度神经网络的对抗鲁棒性。然而,搜索深度神经网络的架构在计算上是昂贵的,特别是当与对抗训练过程相结合时。针对上述问题,本文提出了一种双保真度多目标神经结构搜索方法。首先,我们将增强深度神经网络对抗鲁棒性的NAS问题公式化为多目标优化问题。具体来说,除了作为第一个目标的低保真度性能预测器之外,我们还利用了一个替代目标-其值是用高保真度评估训练的代理模型的输出。其次,我们通过结合三种性能估计方法来降低计算成本,参数共享、低保真度评估和基于替代的预测器。在CIFAR-10、CIFAR-100和SVHN数据集上进行的大量实验证实了该方法的有效性。
2022-07-12 cs.LG cs.NE
ManiGen: A Manifold Aided Black-box Generator of Adversarial Examples
New Jersey Institute of Technology(新泽西理工学院);King Faisal University(费萨尔国王大学);Alfaisal University(费萨尔大学)
机器学习模型,特别是神经网络(NN)分类器,具有可接受的性能和准确性,这导致它们在我们日常生活的不同方面被广泛采用。基本假设是这些模型是在无攻击场景中生成和使用的。然而,已经表明,基于神经网络的分类器容易受到对抗性示例的影响。对抗样本是具有特殊扰动的输入,这些扰动被人眼忽略,但会误导NN分类器。大多数现有的方法产生这样的扰动需要一定程度的知识的目标分类器,这使得他们不是很实用。例如,一些生成器需要了解pre-softmax logits,而其他生成器则使用预测分数。在本文中,我们设计了一个实用的黑盒对抗示例生成器,称为ManiGen。ManiGen不需要目标分类器内部状态的任何知识。它通过沿着流形搜索来生成对抗性示例,流形是输入数据的简洁表示。通过对不同数据集进行广泛的实验,我们表明:(1)ManiGen生成的对抗性示例可以与最先进的白盒生成器Carlini一样成功,从而误导独立分类器,以及(2)ManiGen生成的对抗性示例可以更有效地攻击具有最先进防御的分类器。
2020-07-11 cs.CR cs.LG stat.ML
Data Augmentation using Generative Adversarial Networks (GANs) for GAN-based Detection of Pneumonia and COVID-19 in Chest X-ray Images
Institute of Medical Science, University of Toronto(多伦多大学医学科学研究所);The Hospital for Sick Children(病童医院);University Health Network(大学健康网络);Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系)
成功训练卷积神经网络(CNN)需要大量的数据。对于小数据集,网络的泛化能力很差。数据增强技术通过更有效地使用现有的训练数据来提高神经网络的泛化能力。然而,标准的数据增强方法产生有限的合理替代数据。生成对抗网络(GANs)已被用于生成新数据并提高CNN的性能。然而,与CNN相比,用于训练GANs的数据增强技术尚未得到充分探索。在这项工作中,我们提出了一种新的GAN架构,用于增强胸部X射线,以使用生成模型进行肺炎和COVID-19的半监督检测。我们表明,所提出的GAN可用于有效地增强数据,并提高肺炎和COVID-19胸部X射线中疾病的分类准确性。我们在两个不同的X射线数据集上将我们的增强GAN模型与深度卷积GAN和传统增强方法(旋转,缩放等)进行比较,并显示我们基于GAN的增强方法优于其他增强方法,用于训练GAN检测X射线图像中的异常。
2021-01-12 cs.CV cs.LG eess.IV
ScaleCert: Scalable Certified Defense against Adversarial Patches with Sparse Superficial Layers
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);UC Santa Barbara(加州大学圣巴巴拉分校);Northeastern University(东北大学);Drexel University(德雷塞尔大学)
对抗性的补丁攻击,工艺的像素在一个有限的区域的输入图像显示其强大的攻击效果,即使在物理环境中的噪声或变形。针对对抗性补丁攻击的现有认证防御在MNIST和CIFAR-10数据集等小图像上运行良好,但在ImageNet等高分辨率图像上的认证准确性非常差。迫切需要设计强大而有效的防御措施,以抵御行业级大图像中这种实际而有害的攻击。在这项工作中,我们提出了认证的防御方法,实现了高分辨率图像的高可证明的鲁棒性,并大大提高了认证防御的实际应用。我们工作的基本见解是,对抗补丁打算利用局部的表面重要神经元(SIN)来操纵预测结果。因此,我们利用基于SIN的DNN压缩技术,通过减少对抗性区域搜索开销和过滤预测噪声来显着提高认证的准确性。我们的实验结果表明,在ImageNet数据集上,认证准确率从36.3%(最先进的认证检测)提高到60.4%,这在很大程度上推动了认证防御的实际应用。
2021-11-04 cs.CR cs.CV cs.LG