Unlearnable Examples For Time Series
Faculty of Engineering and Information Technology, The University of Melbourne(墨尔本大学工程与信息技术学院);School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文首次提出针对时间序列数据的不可学习示例生成方法,通过选择性添加误差最小化噪声保护数据免受未经授权的深度学习训练,实验证明其在分类和生成任务中有效且保持数据效用。
2024-02-03 cs.LG
MUGEN: Generating Unlearnable Graph Examples for Multiple Learning Tasks
Harrisburg University of Science and Technology(哈里斯堡科技大学);Arizona State University(亚利桑那州立大学)
MUGEN是首个面向多学习任务的不可学习图示例生成框架,通过TASO与TAP技术,生成可跨GNN骨干和任务迁移的防御性扰动图数据,在多基准实验中表现有效。
2026-09-04 cs.LG
TextCloak: Safeguarding Data from Unauthorized LLM Fine-Tuning via RL-Driven Unlearnable Examples
本研究提出TextCloak框架,采用强化学习与GRPO-UE技术生成不可学习文本,可削弱大语言模型的未经授权微调,兼具实用性与鲁棒性。
2026-10-28 cs.AI cs.CL cs.CR
ARMOR: Shielding Unlearnable Examples against Data Augmentation
Nanyang Technological University(南洋理工大学);College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院);School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院);ZJU-Hangzhou Global Scientific and Technological Innovation Center (HIC)(浙江大学杭州国际科技创新中心(HIC));State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室)
针对数据增强会破解不可学习样本隐私防护的问题,提出ARMOR防御框架,通过非局部模块代理模型、代理增强选择策略和动态步长算法生成防御噪声,在多数据集上验证其防护效果显著优于现有基线。
2025-01-15 cs.AI cs.CR cs.LG
Unlearnable Examples Give a False Sense of Security: Piercing through Unexploitable Data with Learnable Examples
Hefei University of Technology(合肥工业大学);University College London(伦敦大学学院);Chinese Academy of Science(中国科学院)
本文提出可学习未授权样本LEs,通过基于像素与感知相似度的联合条件扩散模型净化不可学习样本,首次在监督与非监督场景下实现可泛化的破解。
2023-10-03 cs.CR cs.CV cs.LG
Autoregressive Perturbations for Data Poisoning
University of Maryland(马里兰大学);New York University(纽约大学)
从社交媒体上抓取数据作为获取数据集的一种手段的流行,导致人们越来越担心未经授权使用数据。数据投毒攻击已经被提出作为对抗抓取的堡垒,因为它们通过添加小的、不可感知的扰动来使数据“不可学习”。不幸的是,现有的方法需要目标体系结构和完整的数据集的知识,以便可以训练代理网络,其参数用于生成攻击。在这项工作中,我们介绍了自回归(AR)中毒,一种可以生成中毒数据而无需访问更广泛的数据集的方法。所提出的AR扰动是通用的,可以应用于不同的数据集,并且可以毒害不同的架构。与现有的不可学习方法相比,我们的AR毒药对对抗性训练和强大的数据增强等常见防御更具抵抗力。我们的分析进一步深入了解了什么是有效的数据毒药。
2022-10-13 cs.CR cs.LG
Medical Unlearnable Examples: Securing Medical Data from Unauthorized Training via Sparsity-Aware Local Masking
Northeastern University(东北大学);Lehigh University(理海大学);Drexel University(卓克索大学)
针对医学数据共享中未经授权训练的风险,本文提出稀疏感知局部掩蔽方法,通过选择性扰动关键像素区域而非整幅图像,利用医学图像稀疏性高效阻止模型训练,实验证明其优于现有数据保护方法。
2024-07-07 cs.CR cs.CV cs.LG
COMMIT: Certifying Robustness of Multi-Sensor Fusion Systems against Semantic Attacks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
本文提出首个面向多传感器融合系统语义攻击的鲁棒性认证框架 COMMIT,通过各向异性随机平滑、网格分割和高效认证算法,在 CARLA 上验证其相较单模态模型最高可提升 48.39%。
2024-03-04 cs.CR cs.CV cs.LG
PADetBench: Towards Benchmarking Physical Attacks against Object Detection
PolyU
针对物理攻击评估难的问题,提出PADetBench基准,利用真实仿真在受控条件下对20种攻击方法和48个检测器进行公平评估,并基于8064组实验深入分析了物理对抗鲁棒性。
2025-05-31 cs.CR cs.CV cs.LG
Learning Loss for Test-Time Augmentation
Kakao Brain;Sungshin Women’s University(诚信女子大学)
数据增强已经被积极地研究用于鲁棒神经网络。大多数最近的数据增强方法集中于在训练阶段增强数据集。在测试阶段,简单的转换仍然被广泛用于测试时增强。本文提出了一种新的实例级测试时增强,有效地选择合适的转换测试输入。我们提出的方法涉及一个辅助模块来预测给定输入的每个可能的变换的损失。然后,将具有较低预测损失的变换应用于输入。该网络通过对增广输入的预测结果进行平均来获得结果。在几个图像分类基准上的实验结果表明,所提出的实例感知测试时增强提高了模型对各种损坏的鲁棒性。
2020-10-22 cs.AI cs.CV cs.LG
Learnability Lock: Authorized Learnability Control Through Adversarial Invertible Transformations
Yale University(耶鲁大学);Pennsylvania State University(宾夕法尼亚州立大学)
由于信息技术的革命,深度学习的最新进展令人难以置信地受益于对各种数字格式数据的极大增强的访问。然而,在某些情况下,人们可能不希望他们的数据被用于训练商业模型,因此研究如何攻击深度学习模型的可学习性。以往的可学习性攻击只考虑了防止对特定数据集的未授权利用的目标,而没有考虑对授权情况恢复可学习性的过程。为了解决这个问题,本文引入并研究了一个新的概念,称为“可学习性锁”,用于控制模型在特定数据集上的可学习性。特别是,我们提出了对抗性可逆变换,可以被视为从图像到图像的映射,稍微修改数据样本,使它们变得“不可学习”的机器学习模型与视觉特征的损失可以忽略不计。同时,可以使用相应的密钥解锁数据集的可学习性和正常的训练模型。所提出的可学习性锁利用了类式扰动,该类式扰动对相同标签的数据样本应用通用变换函数。这确保了可学习性可以通过简单的逆变换容易地恢复,同时保持难以被检测或逆向工程。我们经验证明了我们的方法在视觉分类任务上的成功性和实用性。
2022-02-03 cs.AI cs.CR cs.CV
Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
提出同时针对监督与对比学习的高效可用性攻击,采用类对比数据增强于监督误差最小化/最大化框架,实现两者最坏情况不可学习性且计算消耗更低。
2024-02-06 cs.LG stat.ML
Enhancing Robustness of Machine Learning Systems via Data Transformations
Princeton University(普林斯顿大学)
我们建议使用数据转换作为对ML分类器的逃避攻击的防御。我们提出并研究了各种数据转换的策略,包括通过主成分分析和数据“反白化”进行降维,以增强机器学习的弹性,目标是分类和训练阶段。我们经验性地评估并证明了数据的线性变换作为防御机制的可行性,以抵御使用多个真实世界数据集的逃避攻击。我们的主要发现是,防御是(i)有效对抗文献中最知名的规避攻击,导致白盒对手所需的资源增加两倍,并了解成功攻击的防御,(ii)适用于一系列ML分类器,包括支持向量机和深度神经网络,以及(iii)可推广到多个应用领域,包括图像分类和人类活动分类。
2017-11-29 cs.CR cs.LG
Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations
Sungkyunkwan University(首尔大学);Stony Brook University(石溪大学)
研究评估了二进制代码相似性检测模型在语义保持变换下的鲁棒性,揭示了模型鲁棒性依赖于处理流程、对抗性变换的有效性限制以及精心设计的变换对模型决策的破坏作用。
2026-02-13 cs.CR cs.LG
GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing
Tsinghua University(清华大学);RealAI(瑞莱智慧);Peng Cheng Laboratory(鹏城实验室);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院);Research Institute of Tsinghua University in Shenzhen(深圳清华大学研究院)
经过认证的防御,如随机平滑,已显示出建立可靠的机器学习系统对$\ell_p$ -范数有界攻击的承诺。然而,现有的方法不足以或无法证明地防御语义转换,特别是那些没有封闭形式的表达式(如散焦模糊和像素化),这在实践中更常见,往往不受限制。为了填补这一空白,我们提出了广义随机平滑(GSmooth),一个统一的理论框架,通过一种新的维度增强策略来证明对一般语义变换的鲁棒性。在GSmooth框架下,我们提出了一个可扩展的算法,该算法使用代理图像到图像网络来近似复杂的变换。代理模型为研究语义转换的性质和证明健壮性提供了一个强有力的工具。在多个数据集上的实验结果表明,我们的方法对多种语义转换和腐败的鲁棒性认证的有效性,这是无法实现的替代基线。
2022-06-29 cs.AI cs.CR cs.CV
Beyond Noisy-TVs: Noise-Robust Exploration Via Learning Progress Monitoring
本文提出学习进度监控(LPM)方法,通过奖励模型改进而非预测误差或新颖性,提升探索效率,实验证明其在噪声环境中的优越性。
2026-04-03 cs.AI cs.LG
A Closer Look at Robustness to L-infinity and Spatial Perturbations and their Composition
University of Waterloo(滑铁卢大学)
在对抗机器学习中,流行的$\ell_\infty$威胁模型一直是以前许多工作的重点。虽然这种不可感知性的数学定义成功地捕获了模型应该具有鲁棒性的无限加性图像变换集,但这只是所有变换的子集,这些变换使图像的语义标签保持不变。事实上,以前的工作也考虑了空间攻击以及其他语义转换的鲁棒性,但是,设计防御方法对空间和$\ell_{\infty}$扰动的组成仍然相对不足。在下文中,我们将提高对这种很少研究的成分设置的理解。我们从理论上证明,在一个简单的统计设置中,没有线性分类器可以实现超过微不足道的精度对复合对手,说明其困难。然后,我们研究如何国家的最先进的$\ell_{\infty}$防御可以适应这种新的威胁模型,并研究其对组合攻击的性能。我们发现我们新提出的TRADES $_{\text{All}}$策略是所有策略中表现最强的。通过分析不同大小RT变换的Logit Lipschitz常数,我们发现TRADES $_{\text{All}}$在有和没有$\ell_\infty$扰动的情况下,在很宽的RT变换范围内保持稳定.
2022-10-05 cs.CR cs.LG
Cost-Sensitive Robustness against Adversarial Examples
University of Virginia(弗吉尼亚大学)
最近的几项工作已经开发出了训练分类器的方法,这些分类器对范数有界的对抗性扰动具有可证明的鲁棒性。这些方法假设所有的对抗变换都同样重要,这在现实世界的应用中很少发生。我们提倡成本敏感的鲁棒性作为衡量分类器的性能的标准,其中一些对抗性的转换比其他更重要的任务。我们将每个对抗性变换的潜在危害编码在成本矩阵中,并提出了一个通用目标函数来适应Wong & Kolter(2018)的鲁棒训练方法,以优化成本敏感的鲁棒性。我们的实验上简单的MNIST和CIFAR10模型与各种成本矩阵表明,该方法可以产生模型,大大降低成本敏感的鲁棒性错误,同时保持分类精度。
2019-03-05 cs.CR cs.LG stat.ML
To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model
School of Computing;Augmented Intelligence, Arizona State University, Tempe, AZ, USA;Department of Computer Science;Engineering, Texas A\&M University, College Station, TX, USA
本文提出MMGuard,通过注入不可察觉扰动主动利用LVLM学习动态,生成不可学习示例,从而保护多模态数据免受未经授权的微调。通过最小化训练损失,扰动创建优化捷径,导致模型在推理时因噪声过拟合而性能下降。
2026-05-14 cs.AI cs.CL cs.CR
Towards Robust Protective Perturbation against DeepFake Face Swapping
University of Birmingham(伯明翰大学);University of Oxford(牛津大学);Xiamen University(厦门大学);MBZUAI
本文提出EOLT框架,通过学习变换分布提升深度伪造面部交换的鲁棒保护性能,实验显示其在鲁棒性和迁移性方面优于现有方法。
2025-12-08 cs.AI cs.CR cs.CV
Error Diffusion Halftoning Against Adversarial Examples
Johns Hopkins University(约翰斯·霍普金斯大学)
对抗性示例包含精心制作的扰动,可以欺骗深度神经网络(DNN)做出错误的预测。近年来,增强DNN的对抗鲁棒性引起了人们的极大兴趣。虽然基于图像变换的防御在早期被广泛考虑,但大多数都被自适应攻击击败。本文提出了一种新的基于误差扩散半调的图像变换防御方法,并将其与对抗训练相结合,对对抗性样本进行防御。误差扩散半色调将图像投影到1位空间中,并将量化误差扩散到相邻像素。这个过程可以从给定的图像中去除对抗性扰动,同时保持可接受的图像质量,同时有利于识别。实验结果表明,该方法是能够提高对抗性的鲁棒性,即使在先进的自适应攻击,而大多数其他基于图像变换的防御没有。我们表明,适当的图像变换仍然可以是一种有效的防御方法。代码:https://github.com/shaoyuanlo/Halftoning-Defense
2021-07-24 cs.CR cs.CV cs.LG
RobCaps: Evaluating the Robustness of Capsule Networks against Affine Transformations and Adversarial Attacks
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);New York University(纽约大学)
本文提出 RobCaps 评估框架,在多数据集及仿射变换、对抗攻击下对比 CapsNet 与 CNN,发现 CapsNet 鲁棒性更优且主要源于胶囊分层特征学习而非动态路由。
2023-04-25 cs.LG
A Data Augmentation-based Defense Method Against Adversarial Attacks in Neural Networks
University of California San Diego(加州大学圣迭戈分校);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院);Columbia University(哥伦比亚大学)
众所周知,计算机视觉(CV)中的深度神经网络(DNN)易受对抗性示例(AE)的影响,即恶意添加的不可感知的扰动会导致错误的分类结果。这种可变性已经成为现实生活中配备DNN作为核心组件的系统的潜在风险。人们已经在研究如何保护DNN模型不被AE处理方面做出了许多努力。然而,以前的工作还没有能够有效地降低新型对抗攻击造成的影响并同时兼容现实生活的限制。在本文中,我们专注于开发一个轻量级的防御方法,可以有效地无效与现实生活中的约束兼容的全白盒对抗攻击。从基本的仿射变换,我们集成了三个变换与随机系数,微调尊重的变化量的捍卫样本。与过去两年在顶级AI会议上发表的4种最先进的防御方法相比,我们的方法表现出了出色的鲁棒性和效率。值得强调的是,我们的模型可以承受高级自适应攻击,即50轮的BPDA,并且仍然帮助目标模型保持80%左右的准确率,同时将攻击成功率限制在几乎为零。
2020-07-30 cs.CR cs.LG
OTB-morph: One-Time Biometrics via Morphing
Universidad Autonoma de Madrid(马德里自治大学)
可取消生物特征是一组技术,将输入的生物特征转换为不可逆的特征,故意使用转换函数,通常是一个密钥,以便在生物特征识别系统中提供安全性和隐私。这种转换是可重复的,从而能够进行后续的生物特征比较。本文介绍了一种新的思想,利用可取消的生物特征,旨在保护模板免受迭代优化攻击的转换函数。我们提出的方案是基于时变密钥(随机生物特征在我们的情况下)和变形变换。该方案的实验实现人脸生物特征识别。实验结果表明,该方法能够抵抗泄漏攻击,同时提高识别性能。
2023-02-17 cs.CR cs.CV cs.LG
AugMixCloak: A Defense against Membership Inference Attacks via Image Transformation
University of Zurich(苏黎世大学)
本文提出两阶段图像变换防御AugMixCloak,结合数据增强、PCA信息融合与pHash识别,在多个数据集和DFL拓扑中有效抵御两类MIA。
2025-05-11 cs.LG
Provable Defense Against Geometric Transformations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);VMware Research(威睿研究院)
针对几何变换对深度神经网络的威胁,提出首个确定性可认证几何鲁棒性防御框架,利用GPU优化验证器大幅提速,实现最先进鲁棒性并首次验证自动驾驶场景。
2023-05-06 cs.CV cs.LG
Fuzzy Unique Image Transformation: Defense Against Adversarial Attacks On Deep COVID-19 Models
IIT Guwahati(古瓦哈蒂印度理工学院);IIT Madras(马德拉斯印度理工学院)
使用在胸部X射线和CT图像上训练的深度模型早期识别COVID-19已经得到了研究人员的极大关注,以加快识别活动性COVID-19病例的过程。这些深度模型可以帮助那些缺乏专家或放射科医生的医院,特别是偏远地区的医院。已经提出了各种深度模型来检测COVID-19病例,但是很少有工作被执行来防止深度模型对抗能够通过使用图像像素中的小扰动来欺骗深度模型的对抗性攻击。本文评估了深度COVID-19模型对抗对抗性攻击的性能。此外,它还提出了一种有效的模糊唯一图像变换(FUIT)技术,将图像像素降采样到一个区间。FUIT变换后获得的图像进一步用于训练安全的深度模型,该模型保持了COVID-19病例诊断的高准确性,并提供了对对抗性攻击的可靠防御。实验和结果表明,该模型能够有效地防止深度模型对六种对抗性攻击的攻击,并保持了对胸部X射线图像和CT图像数据集的COVID-19病例分类的高准确率。研究结果还建议,在实际应用深度模型诊断COVID-19病例之前,需要进行仔细检查。
2020-09-08 cs.CV cs.LG eess.IV
TSS: Transformation-Specific Smoothing for Robustness Certification
University of Illinois(伊利诺伊大学);ETH Zürich(苏黎世联邦理工学院);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Peking University(北京大学)
随着机器学习(ML)系统变得普遍,保障其安全性至关重要。然而,最近已经证明,有动机的对手能够通过使用语义转换扰乱测试数据来误导ML系统。虽然有大量的研究为ML模型提供了可证明的鲁棒性保证,以对抗$\ell_p$范数有界的对抗性扰动,但对语义扰动的保证仍然在很大程度上未被探索。在本文中,我们提供了TSS-一个统一的框架,用于证明ML对一般对抗性语义转换的鲁棒性。首先,根据每个变换的性质,我们将常见的变换分为两类,即可解析的(例如,高斯模糊)和差分可分辨(例如,旋转)变换。对于前者,我们提出了特定于变换的随机平滑策略,并获得了强鲁棒性证明。后一类包括涉及插值误差的变换,我们提出了一种新的方法,基于分层采样来证明的鲁棒性。我们的框架TSS利用这些认证策略,并结合一致性增强的培训,以提供严格的鲁棒性认证。我们对十多种具有挑战性的语义转换进行了广泛的实验,结果表明TSS的性能明显优于现有技术。此外,据我们所知,TSS是第一种在大规模ImageNet数据集上实现非平凡认证鲁棒性的方法。例如,我们的框架在ImageNet上实现了30.4%的认证鲁棒准确率,以对抗旋转攻击(在$\pm 30^\circ$内)。此外,为了考虑更广泛的变换,我们证明了TSS对自适应攻击和不可预见的图像损坏(如CIFAR-10-C和ImageNet-C)也具有鲁棒性。
2021-11-16 cs.CV cs.LG stat.ML
Defending against Adversarial Images using Basis Functions Transformations
Yale University(耶鲁大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Duke University(杜克大学)
我们研究了各种方法的有效性,这些方法通过基于图像的基函数表示的操作来防御对深度网络的对抗性攻击。具体来说,我们的实验与低通滤波,PCA,JPEG压缩,低分辨率小波近似,和软阈值。我们评估这些防御技术使用三种类型的流行攻击在黑盒,灰盒和白盒设置。我们的研究结果表明,JPEG压缩往往优于其他测试的防御,在大多数的设置考虑,除了软阈值,在特定情况下表现良好,并产生一个更温和的降低准确性良性的例子。此外,我们还从数学上推导出一种新的白盒攻击,其中对抗性扰动仅由与基函数的预定子集相对应的项组成,其中“低频攻击”是一种特殊情况。
2018-04-16 cs.LG stat.ML
CorrGAN: Input Transformation Technique Against Natural Corruptions
UT Dallas(德克萨斯大学达拉斯分校);Siemens Corporation, Technology(西门子公司技术部)
由于深度神经网络(DNN)在不同任务上的准确性不断提高,许多实时的系统都在使用DNN。这些DNN容易受到对抗性干扰和破坏。具体来说,雾、模糊、对比度等自然损坏会影响自动驾驶汽车中DNN的预测。在实时的中,需要检测这些损坏,并且还需要对损坏的输入进行去噪以正确地预测。在这项工作中,我们提出了CorrGAN方法,它可以生成良性输入时,提供了一个损坏的输入。在这个框架中,我们训练生成对抗网络(GAN)与新的中间输出为基础的损失函数。GAN可以对损坏的输入进行降噪并生成良性输入。通过实验,我们发现高达75.2%的错误分类输入可以通过使用CorrGAN的DNN正确分类。
2022-04-19 cs.CV cs.LG
ADePT: Auto-encoder based Differentially Private Text Transformation
Amazon Alexa(亚马逊Alexa)
在对包含个人信息的数据建立统计模型时,隐私是一个重要的问题。差分隐私提供了隐私的强定义,并且可以用于解决若干隐私问题(Dwork等人,2014年)。对于包含敏感信息的数据集的差分私有变换,已经提出了多种解决方案。然而,由于过程中添加的噪声,这种变换算法在自然语言处理(NLP)任务中提供较差的实用性。在本文中,我们解决这个问题,提供了一个实用程序保持差分私有文本转换算法,使用自动编码器。我们的算法转换文本以提供对攻击的鲁棒性,并产生具有高语义质量的转换,在下游NLP任务中表现良好。我们证明了我们算法的理论隐私保证,并评估了其在成员推断攻击(MIA)下的隐私泄露情况(Shokri等人,2017年)使用转换数据训练的模型。我们的研究结果表明,该模型对MIA攻击的表现更好,同时提供较低或没有退化的底层转换过程的效用相比,现有的基线。
2021-01-29 cs.AI cs.CL cs.CR
Data Poisoning Attacks in Intelligent Transportation Systems: A Survey
Southwest Jiaotong University(西南交通大学);University of Washington(华盛顿大学)
本文综述了智能交通系统(ITS)中的数据投毒攻击,识别了易受攻击的数据源与应用场景,构建了通用分类框架,并探讨了当前局限与可信ITS的未来研究方向。
2024-07-06 cs.CR cs.LG
Image Transformation can make Neural Networks more robust against Adversarial Examples
Institute of Information Security(信息安全研究所)
神经网络正被应用于与物联网相关的许多任务中,并取得了令人鼓舞的成果。例如,神经网络可以通过监控摄像头精确地检测人、物体和动物,以达到安全目的。然而,最近发现神经网络容易受到被称为对抗性样本的精心设计的输入样本的攻击。这样的问题会导致神经网络对人类无法感知的对抗性样本进行错误分类。我们发现,对对抗性示例图像进行旋转可以击败对抗性示例的效果。以MNIST数字图像为原始图像,首先生成对抗性样本给神经网络识别器,完全被伪造的样本欺骗。然后,我们旋转了对抗图像,并将它们交给识别器,让识别器重新获得正确的识别。因此,我们经验性地证实了对图像的旋转可以保护基于神经网络的模式识别器免受对抗性示例攻击。
2019-01-10 cs.CV cs.LG
Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations
本研究针对神经网络易受对抗攻击的问题,提出一种基于一阶扰动的推理阶段防御增强方法,无需重训练,可有效提升多种变换类防御对强对抗样本的抵御能力。
2024-01-28 cs.CV cs.LG
Demystifying the Adversarial Robustness of Random Transformation Defenses
University of California, Berkeley(加州大学伯克利分校)
神经网络缺乏对攻击的鲁棒性,这引起了人们对自动驾驶汽车等安全敏感环境的担忧。虽然许多对策可能看起来很有希望,但只有少数能够经受住严格的评估。使用随机变换(RT)的防御已经显示出令人印象深刻的结果,特别是BaRT(Raff等人,2019年,在ImageNet。然而,这种类型的防御还没有得到严格的评估,使其鲁棒性知之甚少。它们的随机特性使得评估更具挑战性,并使许多针对确定性模型的攻击变得不适用。首先,我们证明了BPDA攻击(Athalye等人,2018a)是无效的,可能高估了其稳健性。然后,我们试图构建最强大的可能RT防御,通过知情的选择转换和贝叶斯优化调整其参数。此外,我们创建最强的攻击来评估我们的RT防御。我们的新攻击大大优于基线,与常用的EoT攻击($4.3\times$改进)的19%相比,准确性降低了83%。我们的结果表明,Imagenette数据集(ImageNet的十类子集)上的RT防御对对抗性示例并不鲁棒。进一步扩展研究,我们使用我们的新的攻击对抗训练RT防御(称为AdvRT),从而在一个大的鲁棒性增益。代码可在https://github.com/wagner-group/demystify-random-transform上获得。
2022-07-15 cs.AI cs.CR cs.CV
Adversarial RAW: Image-Scaling Attack Against Imaging Pipeline
深度学习技术已经成为计算机视觉发展的支柱。随着进一步的探索,人们发现深度神经网络容易受到精心设计的对抗攻击的攻击。大多数视觉设备都配备了图像信号处理(ISP)流水线来实现RAW到RGB的转换,并嵌入到数据预处理模块中以进行高效的图像处理。实际上,ISP管道可以将对抗行为引入到捕获后的图像中,而数据预处理可能会破坏攻击模式。然而,现有的对抗攻击都没有考虑ISP管道和数据预处理的影响。在本文中,我们开发了一种针对ISP管道的图像缩放攻击,其中制作的对抗RAW可以转换为攻击图像,一旦缩放到特定大小的图像,则会呈现完全不同的外观。我们首先考虑梯度可用的ISP管道,即,梯度信息可以直接用于对抗RAW的生成过程中来发起攻击。为了使对抗攻击更适用,我们进一步考虑梯度不可用的ISP管道,其中提出了一个很好地学习RAW到RGB变换的代理模型作为梯度预言机。大量的实验表明,所提出的对抗攻击可以针对目标ISP管道制造对抗RAW数据,具有高攻击率。
2022-06-02 cs.CR cs.CV cs.LG
STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs
Indian Institute of Technology, Guwahati, India(印度理工学院,古瓦哈蒂,印度);Nanyang Technological University, Singapore(南洋理工大学,新加坡)
STRAP-ViT通过分离异常令牌并应用随机复合变换,有效防御对抗性补丁攻击,实现高鲁棒性。
2026-03-13 cs.CV cs.LG
Anti-Neuron Watermarking: Protecting Personal Data Against Unauthorized Neural Networks
University of Central Florida(中佛罗里达大学);Google Research(谷歌研究院)
我们研究保护用户的数据(在这项工作中的图像)对学习者的未经授权的使用在训练神经网络。当用户的数据只占学习器完整训练集的很小一部分时,这尤其具有挑战性。我们在现代深度学习环境下重新审视传统水印以应对挑战。我们表明,当用户水印图像使用一个专门的线性颜色变换,一个神经网络分类器将被印上签名,使第三方仲裁员可以验证潜在的未经授权的使用用户数据推断的水印签名从神经网络。我们还讨论了水印的属性和签名空间使仲裁员的验证令人信服。据我们所知,这项工作是第一个保护个人用户的数据所有权免受未经授权的使用在训练神经网络。
2022-08-01 cs.CR cs.LG cs.MM
Achieving Generalizable Robustness of Deep Neural Networks by Stability Training
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
我们研究了最近引入的稳定性训练作为一种通用方法,以提高深度神经网络对输入扰动的鲁棒性。特别是,我们探索其作为数据增强的替代方案的使用,并验证其性能对一些失真类型和转换,包括对抗性的例子。在我们使用ImageNet数据稳定性训练的图像分类实验中,对于特定的转换,数据稳定性训练的表现与数据增强不相上下,甚至优于数据增强,同时始终如一地提供针对更广泛的失真强度和训练过程中看不到的类型的鲁棒性,与数据增强相比,超参数依赖性要小得多,潜在的负面副作用也更少。
2019-11-12 cs.LG stat.ML
A Perturbation Resistant Transformation and Classification System for Deep Neural Networks
University of Miami(迈阿密大学)
深度卷积神经网络可以准确地对各种自然图像进行分类,但在设计时可能很容易被欺骗,图像中嵌入了难以察觉的扰动。在本文中,我们设计了一个多管齐下的训练,输入变换和图像集成系统,是攻击不可知的,不容易估计。我们的系统包括两个新的功能。第一个是变换层,其从类级训练数据样本计算特征级多项式核,并在推理时基于它们的特征核差异迭代地更新输入图像副本以创建变换输入的集合。第二个是一个分类系统,它将不设防网络的预测与对过滤图像集合的硬投票相结合。我们对CIFAR10数据集的评估表明,我们的系统提高了不设防网络在不同距离度量下对各种有界和无界白盒攻击的鲁棒性,同时在干净图像上牺牲了很少的准确性。针对创建端到端攻击的自适应全知识攻击者,我们的系统成功地增强了对抗性训练网络的现有鲁棒性,我们的方法最有效地应用于这些网络。
2022-08-25 cs.CV cs.LG cs.NE
Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations
Kyushu Institute of Technology(九州工业大学);Graduate School of Life Science and Systems(生命科学与系统研究生院);Research Center for Neuromorphic AI Hardware(神经形态AI硬件研究中心)
针对现实环境中硬件故障导致DNN失效的问题,提出通过应用Tanh、Arctan等饱和激活函数约束权重,增强DNN对故障注入的鲁棒性并小幅提升性能,且预训练模型适配仅需少量epoch。
2024-11-28 cs.AI cs.CV cs.LG
DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning
提出轻量级模型内在数据剪枝方法DONOD,结合DON和NOD指标及TOPSIS算法过滤噪声样本,在提升LLM微调效率与跨域泛化能力的同时保持数据集无关性。
2025-08-08 cs.AI cs.LG
Adversarial Transformations for Semi-Supervised Learning
DENSO IT LABORATORY, INC.(电装IT实验室有限公司)
我们提出了一个正则化框架的基础上对抗变换(RAT)的半监督学习。RAT的目的是提高对输入扰动的给定数据的类预测的输出分布的鲁棒性。RAT是虚拟对抗训练(VAT)的扩展,RAT通过一组丰富的数据转换函数沿着底层数据分布对抗性地转换数据,这些函数保持类标签不变,而VAT只是产生对抗性的加性噪声。此外,我们验证了扰动区域逐渐增大的技术进一步提高了鲁棒性。在实验中,我们表明,RAT显着提高分类性能CIFAR-10和SVHN相比,现有的正则化方法在标准的半监督图像分类设置。
2019-11-18 cs.CV cs.LG
Efficient Certification of Spatial Robustness
ETH Zurich(苏黎世联邦理工学院)
最近的工作暴露了计算机视觉模型对矢量场攻击的脆弱性。由于这些模型在安全关键应用中的广泛使用,因此量化它们对这种空间变换的鲁棒性至关重要。然而,现有的工作只提供了经验的鲁棒性量化向量场变形通过对抗攻击,缺乏可证明的保证。在这项工作中,我们提出了新的凸松弛,使我们能够,第一次,提供一个证书的鲁棒性对向量场变换。我们的松弛是模型不可知的,可以被广泛的神经网络验证器利用。在不同网络架构和不同数据集上的实验证明了该方法的有效性和可扩展性。
2021-01-31 cs.AI cs.CV cs.LG
Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院);Department of Artificial Intelligence, Korea University(高丽大学人工智能系)
针对强化学习智能体易受对抗扰动影响的问题,提出基于向量量化变体的输入变换防御方法,可缩减攻击空间、提升鲁棒性,且能与对抗训练结合,经多环境实验验证防御效果显著。
2024-10-04 cs.AI cs.LG
Image Transformation Network for Privacy-Preserving Deep Neural Networks and Its Security Evaluation
Tokyo Metropolitan University(东京都立大学)
我们提出了一个转换网络,用于为保护隐私的DNN生成受视觉保护的图像。建议的转换网络是通过使用一个普通的图像数据集进行训练,使普通图像转换成视觉保护的。传统的感知加密方法存在视觉保护能力弱、图像分类精度下降等问题。相比之下,所提出的网络使我们不仅能够有力地保护视觉信息,而且还能够保持使用普通图像实现的图像分类精度。在一个图像分类实验中,该网络被证明可以在使用CIFAR数据集的情况下,强烈保护普通图像上的视觉信息,而不会降低性能。此外,它表明,视觉保护的图像是强大的对基于DNN的攻击,称为逆变换网络攻击(ITN攻击)在实验中。
2020-08-07 cs.CV cs.LG eess.IV
Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations
Fraunhofer CESE(弗劳恩霍夫实验软件工程中心)
对抗攻击是小的、精心制作的扰动,肉眼无法察觉;当添加到图像中时,会导致深度学习模型对图像进行错误分类,从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业(如自动驾驶汽车、摄像头监控和人脸识别)中的兴起,越来越需要防范对抗攻击。在本文中,我们提出了一种方法,使用变形测试的原则,自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小,他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系,比较原始图像和变换后图像的行为,我们表明,我们提出的方法可以确定输入图像是否具有高精度的对抗性。
2019-07-10 cs.CV cs.LG eess.IV