A Fusion-Denoising Attack on InstaHide with Data Augmentation
National University of Singapore(新加坡国立大学)
InstaHide是一种最先进的保护私人训练图像的机制,通过混合多个私人图像并对其进行修改,使其视觉特征对肉眼无法区分。然而,在最近的工作中,Carlini等人表明,可以从InstaHide生成的加密数据集重建私人图像。然而,我们证明,卡利尼等人。通过在InstaHide中加入数据增强,可以轻松击败Google的攻击。这就引出了一个自然的问题:带有数据增强的InstaHide安全吗?在本文中,我们提供了一个否定的答案这个问题,通过设计一个攻击恢复私人图像从InstaHide的输出,即使当数据增强存在。其基本思想是使用比较网络来识别可能对应于相同私有图像的加密图像,然后采用融合去噪网络来从加密图像恢复私有图像,同时考虑数据增强的效果。大量的实验表明,所提出的攻击相比,Carlini等人的有效性。的攻击。
2021-12-05 cs.CR cs.LG
Augmentation Backdoors
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院);University of Oxford(牛津大学)
数据增强被广泛用于改进模型的泛化。然而,依赖外部库来实现增强方法会给机器学习管道带来漏洞。众所周知,后门可以通过提供修改后的数据集进行训练来插入机器学习模型。因此,增强提供了一个完美的机会来执行这种修改,而不需要最初的后门数据集。在本文中,我们提出了三个后门攻击,可以隐蔽地插入到数据增强。我们的攻击都使用不同类型的计算机视觉增强变换插入后门,包括简单的图像变换,基于GAN的增强和基于合成的增强。通过使用这些增强转换插入后门,我们使后门难以检测,同时仍然支持任意后门功能。我们评估了我们对一系列计算机视觉基准的攻击,并证明了攻击者能够通过恶意增强程序引入后门。
2022-09-29 cs.CR cs.LG
Revisiting the Robustness of Watermarking to Paraphrasing Attacks
Indian Institute of Science(印度科学学院)
本研究重新审视水印对释义攻击的鲁棒性,发现仅凭黑盒模型的少量生成样本即可显著增强释义攻击效果,使水印失效。
2024-11-08 cs.CL cs.CR cs.LG
Revisiting Membership Inference Under Realistic Assumptions
University of Virginia(弗吉尼亚大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究成员推理的设置中,通常使用的一些假设在以前的研究放松。首先,我们考虑倾斜的先验,以涵盖的情况下,如只有一小部分的候选人池的目标是由对手实际上是成员,并制定一个PPV为基础的度量适合这种设置。这种设置比研究人员通常考虑的平衡先验设置更现实。其次,我们考虑的对手,选择推理阈值,根据他们的攻击目标,并制定了一个阈值选择程序,提高推理攻击。由于以前的推理攻击失败的不平衡的先验设置,我们开发了一个新的推理攻击的直觉,即对应于训练集成员的输入将接近局部最小值的损失函数,并表明,攻击,结合这与阈值的每实例损失可以实现高PPV,即使在其他攻击似乎是无效的设置。我们的实验代码可以在这里找到:https://github.com/bargavj/EvaluatingDPML。
2021-01-13 cs.CR cs.LG stat.ML
Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks Without an Accuracy Tradeoff
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
数据投毒和后门攻击通过恶意修改训练数据来操纵受害者模型。鉴于这一日益严重的威胁,最近对行业专业人士进行的一项调查显示,私营部门对数据投毒的担忧加剧。许多以前的中毒防御要么在面对越来越强大的攻击时失败,要么它们显着降低性能。然而,我们发现强大的数据增强,如mixup和CutMix,可以显着减少中毒和后门攻击的威胁,而不会牺牲性能。我们进一步验证了这种简单的防御自适应中毒方法的有效性,我们比较基线,包括流行的差分私有SGD(DP-SGD)防御。在后门的背景下,CutMix大大减轻了攻击,同时将验证准确率提高了9%。
2020-11-18 cs.CR cs.LG
Revisiting the LiRA Membership Inference Attack Under Realistic Assumptions
Universitat Rovira i Virgili(罗维拉-维格ili大学)
本文重新评估了在现实假设下的LiRA成员推断攻击,发现抗过拟合和迁移学习显著削弱了攻击效果,同时强调了评估协议需考虑实际训练实践和可重复性。
2026-03-08 cs.CR cs.LG
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室);Simon Fraser University(西蒙菲莎大学)
图对比学习(GCL)是通过扩充图来学习节点表示的一种学习方法。尽管各种图增强策略的扩散,一些基本的问题仍然不清楚:什么信息本质上是编码到学习表示的GCL?在不同的扩充背后是否有一些通用的图扩充规则?如果是,它们是什么,它们能带来什么样的见解?本文通过建立GCL与图谱之间的联系,回答了这些问题。通过谱域的实验研究,我们首先发现了GCL的广义grAph增强(GAME)规则,即,两个增广图之间的高频部分的差异应该大于低频部分的差异。该规则揭示了重新审视现有图扩充和设计新的有效图扩充的基本原理。然后,我们从理论上证明了GCL能够通过对比不变性定理学习不变性信息,结合我们的GAME规则,我们首次发现GCL学习的表示本质上编码了低频信息,这解释了为什么GCL工作。在此规则的指导下,我们提出了一个谱图对比学习模块(SpCo),这是一个通用的和GCL友好的插件。我们将其与不同的现有GCL模型相结合,大量的实验表明,它可以进一步提高各种不同的GCL方法的性能。
2022-10-05 cs.LG
Revisiting data augmentation for subspace clustering
University of Mons(蒙斯大学)
子空间聚类是一个经典的聚类问题,它将一组数据样本近似地分布在几个低维子空间中。目前最先进的方法,这个问题是基于自我表达的模型,代表其他样本的线性组合的样本。然而,这些方法需要足够分散的样本用于准确表示,这在许多应用中可能不一定是可访问的。在本文中,我们揭示了这个通常被忽视的问题,并认为每个子空间内的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决这个问题的解决方案的动机是数据增强在深度神经网络的泛化能力中的核心作用。我们提出了两个子空间聚类框架的无监督和半监督的设置,使用增强的样本作为一个扩大的字典,以提高自我表达的表示质量。我们提出了一个自动增强策略,使用一些标记的样本的半监督问题依赖的事实,即数据样本位于多个线性子空间的联合。实验结果证实了数据增强的有效性,因为它显着提高了一般的自我表达模型的性能。
2022-07-20 cs.AI cs.CV cs.LG
Revisiting Gradient Pruning: A Dual Realization for Defending against Gradient Attacks
Huazhong University of Science and Technology(华中科技大学);Griffith University(格里菲斯大学);Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属协和医院);Lehigh University(理海大学)
针对协同学习中梯度反转攻击的隐私威胁及现有防御方法隐私、效用、效率权衡不佳的问题,提出双重梯度剪枝方法,可在保障模型效用与隐私的同时提升通信效率,有效抵御强梯度反转攻击。
2024-01-30 cs.CR cs.LG
Revisiting Backdoor Attacks on Time Series Classification in the Frequency Domain
Fudan University(复旦大学)
针对现有时间序列分类后门攻击效果差、复杂度高的问题,提出频域指导的FreqBack方法,在多模型多数据集上实现超90%攻击成功率且干净数据准确率下降不足3%。
2025-05-17 cs.AI cs.CR cs.LG
Revisiting Data Augmentation in Deep Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Duke Kunshan University(昆山杜克大学)
本文分析了深度强化学习中数据增强方法之间的联系与组件影响,提出引入 tangent prop 正则化项,在多数环境中实现最先进性能并提升了复杂环境下的样本效率与泛化能力。
2024-02-19 cs.AI cs.CV cs.LG
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays
TCS Research(塔塔咨询服务研究部);IIT Bombay(印度理工学院孟买分校)
几个现实世界的场景,如远程控制和传感,是由行动和观察延迟。延迟的存在降低了强化学习(RL)算法的性能,通常会导致算法无法学习任何实质性内容。本文正式描述了马尔可夫决策过程(MDP)的概念与随机延迟,并表明延迟MDP可以转化为等价的标准MDP(无延迟)显着简化的成本结构。我们采用这种等价性来推导出一个无模型的延迟解析RL框架,并表明即使是建立在这个框架上的简单RL算法,在行动和观察具有随机延迟的环境中也能获得接近最优的奖励。延迟分辨深度Q网络(DRDQN)算法在包括多步和随机延迟的各种环境上进行基准测试,并且相对于当前建立的算法,在实现接近最优的奖励和最小化其计算开销方面都产生更好的性能。
2021-08-17 cs.AI cs.LG cs.SY
DeepSweep: An Evaluation Framework for Mitigating DNN Backdoor Attacks using Data Augmentation
Tsinghua University(清华大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学);Texas A&M University Commerce(得克萨斯A&M大学康默斯分校);The University of Texas at Dallas(得克萨斯大学达拉斯分校)
本文提出评估框架DeepSweep,通过全面评估71种数据增强函数寻找最优策略,采用微调受感染模型与推理时预处理输入样本的统一防御方案,有效缓解八种后门攻击并优于五种现有防御方法。
2021-04-11 cs.CR cs.LG
Revisiting Model's Uncertainty and Confidences for Adversarial Example Detection
Univ Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心);IETR(电子与电信研究所)
依赖于深度神经网络(DNN)的安全敏感应用程序容易受到为生成对抗性示例(AE)而精心制作的小扰动的影响。这些AE是人类无法察觉的,并导致DNN错误分类它们。已经提出了许多防御和检测技术。模型的置信度和Dropout作为一种流行的估计模型不确定性的方法,已被用于AE检测,但它们对黑盒和灰盒攻击的成功率有限。此外,最先进的检测技术已经被设计用于特定的攻击或被其他人破坏,需要关于攻击的知识,不一致,增加模型参数开销,耗时,或者在推理时间中具有延迟。为了权衡这些因素,我们重新审视了模型的不确定性和置信度,并提出了一种新的无监督集成AE检测机制,该机制1)使用称为SelectiveNet的不确定性方法,2)处理模型层输出,即特征图,以生成新的置信概率。该检测方法被称为基于选择性和特征的对抗性检测(SFAD)。实验结果表明,该方法实现了更好的性能对黑盒和灰盒攻击比国家的最先进的方法,并实现了相当的性能对白盒攻击。此外,实验结果表明,SFAD对MNIST的高置信度攻击(HCA)是完全鲁棒的,对CIFAR10数据集是部分鲁棒的。
2021-06-21 cs.CR cs.CV cs.LG
Revisiting Adversarially Learned Injection Attacks Against Recommender Systems
Simon Fraser University(西蒙弗雷泽大学);Cornell Tech, Cornell University(康奈尔科技学院,康奈尔大学)
推荐系统在现代信息和电子商务应用中扮演着重要的角色。虽然越来越多的研究致力于提高推荐的相关性和多样性,但最先进的推荐模型的潜在风险尚未得到充分探讨,即这些模型可能会受到恶意第三方的攻击,通过注入虚假的用户交互来实现其目的。本文重新审视了adversarially-learned注入攻击问题,其中注入的假用户“行为”是由攻击者用自己的模型在本地学习的-一个可能与受攻击的模型不同,但共享类似的属性,以允许攻击转移。我们发现,大多数现有的工作在文献中遭受两个主要的局限性:(1)他们没有精确地解决优化问题,使攻击的危害小于它可能是,(2)他们假设完美的知识的攻击,导致缺乏对现实的攻击能力的理解。我们证明了生成假用户作为优化问题的确切解决方案可能会产生更大的影响。我们在真实数据集上的实验揭示了攻击的重要特性,包括攻击的可转移性及其局限性。这些发现可以启发有用的防御方法来对抗这种可能存在的攻击。
2020-08-28 cs.IR cs.LG stat.ML
FenceBox: A Platform for Defeating Adversarial Examples with Data Augmentation Techniques
Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎);University of California San Diego(加州大学圣地亚哥分校);Nanyang Technological University(南洋理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Texas A&M University(德州农工大学)
深度神经网络(DNN)易受对抗性实例(AE)的攻击。随着越来越多先进的对抗攻击方法的出现,人们设计了大量相应的防御方案来增强DNN模型的鲁棒性。利用数据增强技术在推断之前对输入样本进行预处理以去除对抗性扰动已经变得流行。通过混淆DNN模型的梯度,这些方法可以击败相当数量的传统攻击。不幸的是,先进的基于梯度的攻击技术(例如,BPDA和EOT)被引入到无效的这些预处理效果。在本文中,我们提出了FenceBox,一个全面的框架,以击败各种对抗攻击。FenceBox配备了来自三个不同类别的15种数据增强方法。我们综合评估这些方法可以有效地减轻各种对抗攻击。FenceBox还为用户提供了API,以便在不同的模式下轻松地对其模型进行防御:他们可以选择任意的预处理方法,也可以选择更好的鲁棒性保证的功能组合,即使在高级对抗攻击下也是如此。我们开源了FenceBox,并期望它可以作为一个标准的工具包,以促进对抗攻击和防御的研究。
2020-12-03 cs.CR cs.LG
Revisiting Label Inference Attacks in Vertical Federated Learning: Why They Are Vulnerable and How to Defend
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education(高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院);Zhongguancun Laboratory, Beijing, China(中关村实验室,北京,中国)
本文研究垂直联邦学习中标签推断攻击的脆弱性,揭示模型补偿现象,提出任务重新分配和层调整防御方法,提升对抗性能。
2026-03-19 cs.CR cs.LG
Revisiting Transferable Adversarial Images: Systemization, Evaluation, and New Insights
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯);Starfleet Academy(星舰学院)
本文系统化评估了23种迁移攻击对11种防御的效果,指出现有评估在迁移性和隐蔽性上的不足,并得出早期攻击DI表现优异、白盒防御DiffPure易受黑盒攻击等挑战共识的新见解。
2025-09-16 cs.CR cs.CV cs.LG
Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学)
不可学习的示例攻击是数据投毒技术,可用于保护公共数据免受未经授权的使用,用于训练深度学习模型。这些方法向原始图像添加了隐形扰动,从而使得深度学习模型难以有效地从这些训练数据中学习。目前的研究表明,对抗性训练可以在一定程度上减轻不可学习的示例攻击的影响,而常见的数据增强方法对此类毒药无效。然而,对抗训练需要大量的计算资源,并且可能导致非平凡的准确性损失。在本文中,我们介绍了UEraser方法,该方法通过有效的数据增强策略和损失最大化对抗增强的组合,胜过当前针对不同类型的最先进的不可学习示例攻击的防御。与当前的SOTA对抗训练方法形成鲜明对比的是,UEraser使用对抗增强,这超出了当前unlearning攻击和防御所假设的$ \ell_p $扰动预算的范围。它还有助于提高模型的泛化能力,从而防止准确性损失。UEraser通过误差最大化数据增强消除了遗忘效应,从而恢复了训练模型的准确性。有趣的是,UEraser-Lite是一种没有对抗性增强的快速变体,在保持干净的准确性方面也非常有效。在挑战不可学习的CIFAR-10、CIFAR-100、SVHN和使用各种攻击产生的ImageNet子集数据集时,它获得的结果与干净训练期间获得的结果相当。我们还证明了它对可能的自适应攻击的有效性。我们的代码是开源的,可供深度学习社区使用:https://github.com/lafeat/ueraser。
2023-03-27 cs.CR cs.CV cs.LG
Revisiting DeepFool: generalization and improvement
EPFL(洛桑联邦理工学院);Imperial College(帝国理工学院);Apple(苹果公司)
针对现有最小$\u2113_2$对抗扰动鲁棒性评估方法成本高或精度低的问题,本文提出DeepFool攻击的泛化改进方法,在有效性和计算效率上更优,可用于大模型鲁棒性评估和对抗训练以实现SOTA鲁棒性。
2024-12-08 cs.CR cs.LG cs.NA
Revisiting Character-level Adversarial Attacks for Language Models
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Warwick(华威大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Charmer,一种高效的基于查询的字符级对抗攻击方法,在保持语义相似性的同时提升攻击成功率,并成功攻击BERT和Llama 2模型。
2024-09-04 cs.AI cs.CL cs.LG
A Data Augmentation-based Defense Method Against Adversarial Attacks in Neural Networks
University of California San Diego(加州大学圣迭戈分校);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院);Columbia University(哥伦比亚大学)
众所周知,计算机视觉(CV)中的深度神经网络(DNN)易受对抗性示例(AE)的影响,即恶意添加的不可感知的扰动会导致错误的分类结果。这种可变性已经成为现实生活中配备DNN作为核心组件的系统的潜在风险。人们已经在研究如何保护DNN模型不被AE处理方面做出了许多努力。然而,以前的工作还没有能够有效地降低新型对抗攻击造成的影响并同时兼容现实生活的限制。在本文中,我们专注于开发一个轻量级的防御方法,可以有效地无效与现实生活中的约束兼容的全白盒对抗攻击。从基本的仿射变换,我们集成了三个变换与随机系数,微调尊重的变化量的捍卫样本。与过去两年在顶级AI会议上发表的4种最先进的防御方法相比,我们的方法表现出了出色的鲁棒性和效率。值得强调的是,我们的模型可以承受高级自适应攻击,即50轮的BPDA,并且仍然帮助目标模型保持80%左右的准确率,同时将攻击成功率限制在几乎为零。
2020-07-30 cs.CR cs.LG
DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations
University of Maryland(马里兰大学);University of Siegen(锡根大学)
数据投毒和后门攻击操纵训练数据以在受害者模型中诱发安全漏洞。这些攻击可以使用差分私有(DP)训练方法来证明,尽管这会导致模型性能急剧下降。InstaHide方法最近被提出作为DP训练的替代方案,该方法利用了混淆增强的假定隐私属性,尽管没有严格的保证。在这项工作中,我们表明,强大的数据增强,如混合和随机加性噪声,无效的毒药攻击,而持久只有一个小的准确性权衡。为了解释这些发现,我们提出了一种训练方法DP-InstaHide,它将混合正则化器与加性噪声相结合。对DP-InstaHide的严格分析表明,mixup确实具有隐私优势,并且使用k路mixup的训练可证明比朴素的DP机制产生至少k倍的DP保证。由于混淆(与噪声相对)对模型性能有益,因此DP-InstaHide提供了一种机制,用于实现比其他已知DP方法更强的对抗中毒攻击的经验性能。
2021-04-08 cs.CR cs.CV cs.LG
The Best Defense is a Good Offense: Adversarial Augmentation against Adversarial Attacks
NVIDIA(英伟达)
提出$A^5$框架,通过构造防御性扰动实现首个认证式先发对抗防御,利用自动扰动分析工具保证攻击失败,并在多个数据集上超越现有认证防御。
2023-05-23 cs.CR cs.CV cs.LG
Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations
Stony Brook University(石溪大学)
本文首次探索长尾分布数据集上的后门攻击,提出动态数据增强操作(D$^2$AO)方法和特定样本触发器生成器,通过同步优化后门模型与触发器,在保持干净准确率的同时实现了最先进的攻击性能。
2024-10-16 cs.AI cs.CR cs.CV
Revisiting Differentially Private Regression: Lessons From Learning Theory and their Consequences
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
私有回归受到了数据库和安全社区的关注。Fredrikson等人最近的工作(USENIX Security 2014)分析了在医疗数据上训练线性回归模型的功能机制(Zhang et al. VLDB 2012)。不幸的是,他们发现,当$\varepsilon = 5$。我们解决这个问题,提出了一个明确的连接之间的差分隐私和稳定的学习理论,通过它可以获得一个更好的隐私/效用权衡。也许更重要的是,我们的理论揭示了差分隐私中最基本的机制,输出扰动,可以用来获得一个更好的权衡所有凸Lipschitz有界学习任务。由于输出扰动是简单的实现,这意味着我们的方法是潜在的广泛适用于实践。我们继续将其应用于与Fredrikson等人使用的相同的医疗数据。令人鼓舞的是,即使对于$\varepsilon = 0.1$,我们也实现了准确的模型。在本文的最后一部分,我们研究了我们改进的差分隐私机制对模型反演攻击,由Fredrikson等人介绍的隐私攻击的影响。我们观察到,改进的权衡使产生的差分隐私模型更容易受到反转攻击。我们对这种现象进行了形式上的分析。
2015-12-20 cs.CR cs.DB cs.LG
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
虽然已经有大量的研究使用对抗攻击来分析NLP模型,但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack,这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击:目标函数,一组约束,转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现,并支持各种模型和数据集,包括BERT和其他Transformers,以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块,用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化:任何人都可以在任何模型或数据集上尝试数据增强和对抗训练,只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Embedding-Space Data Augmentation to Prevent Membership Inference Attacks in Clinical Time Series Forecasting
Department of Computational Linguistics Heidelberg University Germany(计算语言学系海德堡大学);Department of Computational Linguistics & Interdisciplinary Center for Scientific Computing (IWR) Heidelberg University Germany(计算语言学系与跨学科科学计算中心(IWR)海德堡大学)
本文研究利用嵌入空间数据增强(特别是ZOO-PCA)生成合成样本重训练模型,以在不降低临床时间序列预测性能的前提下有效缓解成员推断攻击。
2025-11-07 cs.LG
Privacy-Preserving Debiasing using Data Augmentation and Machine Unlearning
University of Florida(佛罗里达大学)
本文提出结合数据增强与机器遗忘的方法,在缓解训练数据偏差的同时,通过多分片遗忘移除模型中的原始数据识别信息,从而提供可证明的隐私攻击防御,并在多个数据集上验证了其有效性与鲁棒性。
2024-04-19 cs.AI cs.CV cs.LG
No Prior, No Leakage: Revisiting Reconstruction Attacks in Trained Neural Networks
Department of Computer Science Cranberry-Lemon University(计算机科学系克兰伯瑞-柠檬大学);Department of Computational Neuroscience University of the Witwatersrand(计算神经科学系沃图瓦兹兰大学);Tel Aviv University(特拉维夫大学);Ben-Gurion University of the Negev(贝内-乔尔大学);Bar-Ilan University(巴-伊兰大学)
本研究从理论角度证明,在无数据先验时,神经网络参数重建训练样本本质上不可靠,且更充分训练的网络更不易受攻击,调和了隐私与泛化。
2025-09-25 cs.AI cs.LG stat.ML
Tilting at windmills: Data augmentation for deep pose estimation does not help with occlusions
Computer Vision Lab Delft University of Technology(代尔夫特理工大学计算机视觉实验室)
遮挡会降低人体姿态估计的性能。在本文中,我们介绍了有针对性的关键点和身体部位遮挡攻击。攻击的效果进行了系统的分析,最好的执行方法。此外,我们提出了针对关键点和部分攻击的特定于遮挡的数据增强技术。我们的大量实验表明,人体姿态估计方法对遮挡不鲁棒,数据增强不能解决遮挡问题。
2020-10-20 cs.CV cs.LG
How Does Data Augmentation Affect Privacy in Machine Learning?
Microsoft Research Asia(微软亚洲研究院)
据观察,在文献中,数据增强可以显着减轻隶属推理(MI)攻击。然而,在这项工作中,我们通过提出新的MI攻击来利用增强数据的信息来挑战这一观察结果。MI攻击被广泛用于度量模型对训练集的信息泄漏。我们建立了最优隶属度推断模型训练时,增广数据,这启发我们制定MI攻击作为一个集合分类问题,即,对一组增强实例而不是单个数据点进行分类,并设计输入置换不变特征。从经验上讲,我们证明了所提出的方法普遍优于原始方法时,模型与数据增强训练。更进一步,我们表明,所提出的方法可以实现更高的MI攻击的成功率与一些数据增强训练模型比现有的方法没有数据增强训练模型。值得注意的是,我们在CIFAR10上实现了70.1%的MI攻击成功率,而以前的最佳方法仅达到61.9%。这表明,使用数据增强训练的模型的隐私风险可能在很大程度上被低估了。
2021-02-26 cs.LG stat.ML
Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris(SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris);Universidad Carlos III de Madrid
探讨针对联网和自动驾驶车辆增强型3D点云公共数据集的中毒攻击影响,以生成对抗网络技术为例评估增强中毒数据集效果,验证中毒能规避增强技术净化特性及在增强数据集上的传播与干扰,且实验材料公开。
2026-07-08 cs.CR cs.CV cs.LG
Revisiting PGD Attacks for Stability Analysis of Large-Scale Nonlinear Systems and Perception-Based Control
许多现有的区域吸引力(ROA)分析工具难以解决反馈系统与大规模神经网络(NN)的政策和/或高维传感模式,如相机。在本文中,我们定制了对抗学习社区中开发的投影梯度下降(PGD)攻击方法,作为大规模非线性系统和端到端感知控制的通用ROA分析工具。我们表明,ROA分析可以近似为一个约束最大化问题,其目标是找到最坏情况下的初始条件,转移的终态最。然后,我们提出了两个基于PGD的迭代法,可以用来解决由此产生的约束最大化问题。我们的分析不是基于李雅普诺夫理论,因此需要最少的信息的问题结构。在基于模型的设置,我们表明,PGD更新可以有效地使用反向传播。在无模型设置(这是更相关的ROA分析的感知控制),我们提出了一个有限差分PGD估计,这是一般的,只需要一个黑盒模拟器生成的轨迹的闭环系统给定的任何初态。我们展示了我们的分析工具的可扩展性和通用性的几个数值例子与大规模的NN政策和高维图像观测。我们相信,我们提出的分析作为一个有意义的第一步,进一步了解大规模非线性系统的闭环稳定性和基于感知的控制。
2022-01-03 cs.LG math.OC
Revisiting Graph Contrastive Learning for Anomaly Detection
Hainan University(海南大学);Key Laboratory of Information Retrieval of Hainan Province(海南省信息检索重点实验室)
该研究重新审视图对比异常检测机制,纠正了多尺度模块贡献的认知误区,提出统一现有方法的MAG框架,其两种变体在低计算成本下实现了更优的异常检测性能。
2023-05-04 cs.AI cs.LG
Revisiting Facial Key Point Detection: An Efficient Approach Using Deep Neural Networks
Upgrad Education Pvt. Ltd.(Upgrad教育私人有限公司);Salesforce(赛富时);Liverpool John Moore University(利物浦约翰摩尔大学)
人脸标志点检测是深度学习的一个广泛研究领域,因为它在许多领域都有广泛的应用。这些关键点是面部的特征点,例如眼睛中心,眼睛的内外角,嘴巴中心和鼻尖,可以解释人类的情绪和意图。我们工作的重点是评估迁移学习模型,如MobileNetV2和NasNetMobile,包括自定义CNN架构。研究的目的是在模型大小、参数和推理时间方面开发高效的深度学习模型,并研究增强插补和微调对这些模型的影响。结果发现,虽然增强技术产生较低的RMSE分数比插补技术,他们不影响推理时间。MobileNetV2架构产生了最低的RMSE和推理时间。此外,我们的研究结果表明,手动优化的CNN架构与Auto Keras调谐架构的性能相似。然而,手动优化的架构产生了更好的推理时间和训练曲线。
2022-05-14 cs.AI cs.CV cs.LG
Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization
Michigan State University(密歇根州立大学);UC Santa Barbara(加州大学圣巴巴拉分校);University of Minnesota(明尼苏达大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院麻省理工-IBM沃森人工智能实验室)
对抗性训练(AT)是一种广泛认可的防御机制,用于获得深度神经网络对对抗攻击的鲁棒性。它建立在最小-最大优化(MMO)的基础上,其中最小化器(即,Defender)寻求一种鲁棒模型以在存在由最大化者制作的对抗性示例的情况下最小化最坏情况的训练损失(即,攻击者)。然而,传统的MMO方法使得AT难以扩展。因此,Fast-AT(Wong等人,2020)和其他最近的算法试图通过用基于单个梯度符号的攻击生成步骤替换其最大化步骤来简化MMO。虽然易于实现,但Fast-AT缺乏理论保证,并且由于在与强大对手一起训练时存在鲁棒灾难性过拟合问题,其经验性能不令人满意。在本文中,我们提出了快速AT从双层优化(BLO)的新视角。我们首先表明,常用的快速AT是等效的使用随机梯度算法来解决一个线性化的BLO问题,涉及一个符号操作。然而,符号运算的离散性质使得很难理解算法的性能。受BLO的启发,我们设计并分析了一组新的鲁棒训练算法Fast Bi-level AT(Fast-BAT),该算法在不使用任何梯度符号方法或显式鲁棒正则化的情况下,有效地防御了基于符号的投影梯度下降(PGD)攻击。在实践中,我们证明了我们的方法在多个模型和数据集的基线上产生了实质性的鲁棒性改进。代码可在https://github.com/OPTML-Group/Fast-BAT上获得。
2022-10-04 cs.LG
SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学)
针对 VLP 模型对抗样本迁移攻击,本文提出 SA-Attack,通过分别增强图像与文本模态来提升对抗样本在黑盒模型间的可迁移性,并在 FLickr30K 和 COCO 上验证有效。
2023-12-08 cs.AI cs.CR cs.CV
Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation
University of Science and Technology of China(中国科学技术大学);Huawei Technologies co. ltd(华为技术有限公司);Shenzhen University(深圳大学)
最近的研究表明,图神经网络(GNNs)是脆弱的,很容易被小扰动欺骗,这引起了人们对在各种安全关键应用中调整GNNs的相当大的关注。在这项工作中,我们专注于新兴的,但关键的攻击,即,图注入攻击(GIA),其中对手通过注入假节点,而不是修改现有的结构或节点属性中毒的图形。受对抗攻击与扰动图上的异质性增加有关的研究结果(对手倾向于连接不同的节点)的启发,我们提出了一个通用的防御框架CHAGNN,通过图数据和模型的合作同伦增强来对抗GIA。具体来说,该模型在每一轮训练中为未标记的节点生成伪标签,以减少具有不同标签的节点的异质边缘。更干净的图被反馈到模型,产生更多信息的伪标签。在这种迭代的方式,模型的鲁棒性,然后有望增强。本文从理论上分析了同质性增强的效果,并为该方案的有效性提供了保证。实验结果经验证明了CHAGNN的有效性,与最近的最先进的防御方法在不同的现实世界的数据集。
2022-11-15 cs.LG cs.SI
WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification
Fundação Getúlio Vargas(瓦加斯基金会);QualityMinds(QualityMinds公司)
本文提出一种基于随机采样与噪声添加的风格增强算法WSAM,提升模型对图像风格化的鲁棒性,在STL-10数据集上达到最先进性能,并分析了不同风格变化下的模型解释。
2023-08-29 cs.CV cs.LG
Enhancing Targeted Attack Transferability via Diversified Weight Pruning
National Taiwan University(国立台湾大学)
恶意攻击者可以通过施加微小的噪声来生成有针对性的对抗性示例,迫使神经网络产生特定的错误输出。由于具有跨模型可移植性,网络模型即使在黑盒设置中也仍然很脆弱。最近的研究表明,基于集合的方法在生成可转移的对抗性示例方面是有效的。为了进一步增强可移植性,模型增强方法旨在产生更多的网络参与合奏。然而,现有的模型增强方法仅在非目标攻击中被证明有效。在这项工作中,我们提出了多样化的权重修剪(DWP),一种新的模型增强技术,用于生成可转移的目标攻击。DWP利用了模型压缩中常用的权重修剪方法。与以前的工作相比,DWP保护必要的连接,同时确保修剪模型的多样性,我们表明这是有针对性的可移植性的关键。在各种更具挑战性的场景下,在兼容ImageNet的数据集上进行的实验证实了其有效性:转移到对抗训练模型、非CNN架构和Google Cloud Vision。结果表明,我们提出的DWP提高了有针对性的攻击成功率高达$10.1$ %,$6.6$ %,和$7.0$ %的国家的最先进的方法的组合,分别。源代码将在接受后提供。
2022-11-24 cs.CR cs.CV cs.LG
Systematic Evaluation of Synthetic Data Augmentation for Multi-class NetFlow Traffic
Center for Responsible Artificial Intelligence, University of Applied Sciences and Arts Coburg(科堡应用科学与艺术大学负责任人工智能中心);Center for Artificial Intelligence and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心)
针对NIDS多类攻击分类中训练数据不平衡的问题,本文设计系统性框架对比经典与生成式重采样方法,实验表明重采样方法未能可靠提升分类性能,多数情况下反而导致性能下降。
2024-08-28 cs.CR cs.LG
Revisiting Role of Autoencoders in Adversarial Settings
KAIST(韩国科学技术院)
为了对抗对抗攻击,自编码器结构被广泛用于执行被认为是梯度掩蔽的去噪。在本文中,我们重新审视了自动编码器在对抗环境中的作用。通过综合实验结果和分析,本文提出了自编码器对抗鲁棒性的内在特性。我们还发现,自动编码器可能会使用强大的功能,导致固有的对抗鲁棒性。我们相信,我们的发现的对抗性鲁棒性的自动编码器可以提供线索,未来的研究和应用的对抗性防御。
2020-05-21 cs.CV cs.LG
Self adversarial attack as an augmentation method for immunohistochemical stainings
University of Strasbourg(斯特拉斯堡大学);University of Belgrade(贝尔格莱德大学);University of Kragujevac(克拉古耶瓦茨大学);Hannover Medical School(汉诺威医学院)
它已被证明,不成对的图像到图像的转换方法,由循环一致性的约束隐藏的信息,准确的输入重建不可感知的噪声。我们证明,当应用于组织病理学数据时,这种隐藏的噪声似乎与染色特异性特征相关,并且表明这是在翻译为高碘酸-希夫(PAS)(一种通常应用于肾脏病理学的组织化学染色方法)期间的两种免疫组织化学染色的情况。此外,通过扰动这些隐藏的信息,翻译模型会产生不同的、看似合理的输出。我们证明,这个属性可以用作增强方法,在监督肾小球分割的情况下,导致性能提高。
2021-03-21 cs.AI cs.CV cs.LG
Revisiting Model Inversion Evaluation: From Misleading Standards to Reliable Privacy Assessment
Singapore University of Technology and Design(新加坡科技设计大学);University of Maryland College Park(马里兰大学学院公园分校)
本文重新审视模型反向攻击的评估框架,揭示其存在虚假正例问题,并提出基于大规模语言模型的新评估方法以提升隐私评估的可靠性。
2026-05-14 cs.LG
Achieving Model Robustness through Discrete Adversarial Training
Tel-Aviv University(特拉维夫大学);The Allen Institute for AI(艾伦人工智能研究所)
离散对抗攻击是对语言输入的符号扰动,保留输出标签,但导致预测错误。虽然这种攻击已被广泛探讨的目的,评估模型的鲁棒性,其效用,以提高鲁棒性已被限制为离线增强。具体地说,给定一个训练好的模型,攻击被用来生成扰动(对抗)示例,模型只被重新训练一次。在这项工作中,我们解决了这一差距,并利用离散攻击进行在线增强,在每个训练步骤中都生成对抗性示例,以适应模型不断变化的性质。我们提出了(i)一个新的离散攻击,基于最佳优先搜索,和(ii)随机抽样攻击,不像以前的工作是基于昂贵的搜索为基础的程序。令人惊讶的是,我们发现随机采样在鲁棒性方面带来了令人印象深刻的收益,优于常用的离线增强,同时在训练时间上加快了约10倍。此外,基于搜索的攻击的在线增强证明了更高的训练成本,显着提高了三个数据集的鲁棒性。最后,我们证明了我们的新攻击与以前的方法相比大大提高了鲁棒性。
2021-10-31 cs.CL cs.LG
Simple Post-Training Robustness Using Test Time Augmentations and Random Forest
Tel Aviv University(特拉维夫大学)
尽管深度神经网络(DNN)在许多现实任务上都取得了出色的性能,但它们极易受到对抗攻击的攻击。对抗这种攻击的一种主要防御方法是对抗性训练,这种技术通过将对抗性噪声引入其输入来训练DNN对对抗攻击具有鲁棒性。这个过程是有效的,但必须在培训阶段进行。在这项工作中,我们提出了增强随机森林(ARF),这是一种简单易用的策略,用于在不修改其权重的情况下对现有的预训练DNN进行鲁棒化。对于每个图像,我们通过应用不同的颜色,模糊,噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的logits输出来训练一个简单的随机森林来预测真实的类标签。我们的方法实现了最先进的对抗鲁棒性的白盒和黑盒攻击的多样性与自然图像的分类最小的妥协。我们还针对许多自适应白盒攻击测试了ARF,当与对抗性训练相结合时,它显示出出色的结果。代码可在https://github.com/giladcohen/ARF上获得。
2021-11-25 cs.CV cs.LG
PhishGAN: Data Augmentation and Identification of Homoglpyh Attacks
同源网络钓鱼攻击是黑客进行网络钓鱼的常用技术。通过punycode创建的域名或链接在视觉上与实际域名或链接相似,以混淆攻击,使受害者更容易受到网络钓鱼的影响。例如,受害者可能会误认为“|“inkedin.com”为“linkedin.com“,并在此过程中向虚假网站泄露个人详细信息。当前最先进技术(SOTA)通常使用字符串比较算法(例如Levenshtein距离),这些算法计算量很大。其中一个原因是缺乏公开可用的数据集,从而阻碍了更先进的机器学习(ML)模型的训练。此外,没有一种字体能够正确地呈现所有类型的punycode,这对创建对任何特定字体无偏见的数据集构成了重大挑战。这与大量的互联网域名相结合,在创建可以捕获所有可能变化的数据集方面提出了挑战。在这里,我们展示了一个有条件的生成对抗网络(GAN),Phish GAN,可以用来生成象形文字的图像,条件是非homoglpyh输入文本图像。需要对目前的SOTA进行实际修改,以便于生成更多样化的基于同源文字的图像。我们还演示了如何PhishGAN与一个同源标识符(HI)模型可以用来识别域的同源试图模仿的工作流程。此外,我们还展示了PhishGAN动态生成数据集的能力如何促进网络安全系统的快速适应,以检测新出现的威胁。
2020-09-28 cs.CR cs.CV cs.LG
Latent Code Augmentation Based on Stable Diffusion for Data-free Substitute Attacks
School of Computer Science and Technology, China University of Petroleum (East China)(中国石油大学(华东)计算机科学与技术学院);Harbin Institute of Technology(哈尔滨工业大学)
针对黑盒无数据替代攻击中GAN方案效率低、生成质量差的问题,提出基于Stable Diffusion的潜在代码增强LCA,以成员数据潜在代码引导生成高多样性且符合目标分布的数据,提升攻击成功率并降低查询预算。
2024-03-30 cs.CR cs.CV cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Improving Robustness for Vision Transformer with a Simple Dynamic Scanning Augmentation
Kyushu University(九州大学)
本文提出动态扫描增强技术,通过动态输入序列自适应关注不同图像块,将ViT对抗鲁棒性从17%提升至92%,同时保持自然图像准确性。
2023-11-01 cs.AI cs.CV cs.LG
Learning to Learn Transferable Attack
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
转移对抗攻击是一种非平凡的黑盒对抗攻击,其目的是对代理模型进行对抗性扰动,然后将这种扰动应用于受害者模型。然而,从现有的方法的扰动的可移植性仍然是有限的,因为对抗性扰动很容易过拟合与一个单一的代理模型和特定的数据模式。在本文中,我们提出了一种学习可转移攻击(LLTA)方法,该方法通过从数据和模型增强中学习,使对抗性扰动更加普遍。对于数据增强,我们采用简单的随机填充和填充。对于模型增强,我们随机改变反向传播而不是前向传播,以消除对模型预测的影响。通过将对特定数据和修改后的模型的攻击都视为一个任务,我们希望对抗性扰动能够采用足够的任务进行泛化。为此,在扰动生成的迭代过程中进一步引入元学习算法。在广泛使用的数据集上的实验结果表明,我们的攻击方法的有效性,与最先进的方法相比,传输攻击的成功率提高了12.85%。我们还评估了我们的方法在现实世界的在线系统,即,Google Cloud Vision API,以进一步展示我们方法的实用潜力。
2021-12-10 cs.CV cs.LG
Revisiting Point Cloud Shape Classification with a Simple and Effective Baseline
Princeton University(普林斯顿大学)
处理点云数据是许多现实世界系统的重要组成部分。因此,已经提出了各种各样的基于点的方法,随着时间的推移,报告稳定的基准改进。我们研究了这一进展的关键因素,并发现了两个关键结果。首先,我们发现,辅助因素,如不同的评估方案,数据增强策略,和损失函数,这是独立的模型架构,使性能有很大的差异。差异之大足以掩盖建筑的影响。当控制这些因素时,PointNet++,一个相对较老的网络,与最近的方法相比具有竞争力。第二,一个非常简单的基于投影的方法,我们称之为SimpleView,表现令人惊讶地好。它比ModelNet 40上复杂的最先进方法取得了同等或更好的结果,同时大小只有PointNet++的一半。它还优于ScanObjectNN(一个真实世界的点云基准)上的最先进方法,并展示了更好的跨数据集泛化。代码可在https://github.com/princeton-vl/SimpleView上获得。
2021-06-09 cs.CV cs.LG