An Intermediate-level Attack Framework on The Basis of Linear Regression
ByteDance AI Lab（字节跳动人工智能实验室）；Tencent Security Big Data Lab（腾讯安全大数据实验室）；Harbin Institute of Technology（哈尔滨工业大学）；University of California, Davis（加州大学戴维斯分校）
本文大大扩展了我们在ECCV上发表的工作，其中提出了一种中级攻击，以提高一些基线对抗示例的可移植性。具体来说，我们提倡一个框架，在这个框架中，建立了从中间层差异（敌对特征和良性特征之间）到敌对示例预测损失的直接线性映射。通过深入研究这样一个框架的核心组件，我们发现：1）为了建立映射，可以考虑各种线性回归模型; 2）最终获得的中间级对抗差异的大小与可转移性相关; 3）通过执行多次随机初始化的基线攻击，可以进一步提高性能。此外，通过利用这些发现，我们实现了新的国家的最先进的基于传输的$\ell_\infty$和$\ell_2$攻击。我们的代码可在https://github.com/qizhangli/ila-plus-plus-lr上公开获取。
2022-06-30 cs.CR cs.CV cs.LG
Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）；Shenzhen MSU-BIT University（深圳MSU-BIT大学）
本文提出PRAF-Attack框架，通过多尺度语义指导和中间层局部对齐提升多模态大语言模型的对抗攻击转移性，实验表明其在多种黑盒MLLM上表现更优。
2026-05-11 cs.CV
AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning
Fudan University（复旦大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出 ACPT 对比提示调优方法微调 CLIP 编码器，并构建 AdvQDet 框架，在 5 次查询内以逾 99% 检测率识别 7 种先进查询攻击。
2024-08-04 cs.CV
Feature Space Targeted Attacks by Statistic Alignment
University of Electronic Science and Technology of China（电子科技大学）
通过向图像中添加人类无法察觉的扰动，DNN很容易被愚弄。特征空间定向攻击是一种主流的攻击方法，它通过调整图像的中间特征映射来干扰图像，使源特征和目标特征之间的差异最小化。然而，目前的选择像素的欧几里德距离来衡量的差异是值得怀疑的，因为它不合理地施加了源和目标功能的空间一致性约束。直觉上，一个图像可以被归类为“猫”，无论猫是在图像的左边还是右边。为了解决这个问题，我们建议使用统计对齐来衡量这种差异。具体来说，我们设计了两种新的方法，称为成对对齐攻击和全局对齐攻击，试图通过高阶统计量与平移不变性来测量特征图之间的相似性。此外，我们系统地分析了不同难度的逐层可转移性，以获得高度可靠的攻击。大量的实验验证了我们提出的方法的有效性，它优于国家的最先进的算法由一个很大的利润。我们的代码可在https://github.com/yaya-cheng/PAA-GAA上公开获取。
2021-07-10 cs.CV
What Your Features Reveal: Data-Efficient Black-Box Feature Inversion Attack for Split DNNs
Xi’an Jiaotong University（西安交通大学）
针对拆分DNN的中间特征隐私泄露问题，提出含LFSAM与DIFM的黑盒FIA-Flow框架，仅需少量样本即可高保真重建图像，实验证实其在多模型上效果更优，凸显拆分DNN隐私威胁更严峻。
2025-11-19 cs.CV
Left-right Discrepancy for Adversarial Attack on Stereo Networks
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；City University of Hong Kong（香港城市大学）
本文提出一种通过最大化左右图像特征差异来攻击立体匹配网络的新方法，在KITTI和Scene Flow数据集上显著超越现有攻击方法，并扩展了基于代理网络的黑盒攻击方案。
2024-01-14 cs.CV
Yet another but more efficient black-box adversarial attack: tiling and evolution strategies
Université Paris-Dauphine, PSL Research University（巴黎多芬大学，PSL研究大学）；CNRS（法国国家科学研究中心）；Facebook AI Research（脸书人工智能研究院）
我们介绍了一种新的黑盒攻击实现最先进的性能。我们的方法是基于一个新的目标函数，借用思想从$\ell_\infty$ -白盒攻击，并特别设计，以适应衍生物自由优化的要求。它只需要访问分类器的logits，而不需要任何其他信息，这是一个更现实的场景。我们不仅引入了一个新的目标函数，我们还将以前关于黑盒对抗攻击的工作扩展到更大范围的演化策略和其他无导数优化方法。我们还强调了一个有趣的新特性，即深度神经网络对Single Shot平铺攻击不鲁棒。我们的模型实现，预算限于$10,000$查询，结果高达$99.2\%$的成功率对InceptionV 3分类器与$630$查询网络平均在非目标攻击设置，这是一个改进的$90$查询的当前状态的艺术。在有针对性的设置，我们能够达到，有限的预算$100,000$，成功率的$100\%$，平均$6,662$查询预算，即我们需要的$800$查询少于当前最先进的技术水平。
2019-11-21 cs.AI cs.CV cs.LG
Hard-Label Black-Box Attacks on 3D Point Clouds
Institute for Math & AI（数学与人工智能研究院）；Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）；Shenzhen Huazhong University of Science and Technology Research Institute（深圳华中科技大学研究机构）；College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；Cyberspace Institute of Advanced Technology（先进技术网络空间研究院）；Guangzhou University（广州大学）；Wangxuan Institute of Computer Technology（王轩计算机技术研究所）；Peking University（北京大学）
本文提出了一种基于硬标签黑盒攻击的3D点云攻击方法，通过引入新的频谱感知决策边界算法生成高质量对抗样本，以提升攻击性能和对抗质量。
2026-05-19 cs.CV
IDATA: Scalable Invertible Diffusion for Unrestricted Adversarial Transfer Attack
IDATA是一种用于无限制对抗迁移攻击的内存高效扩散框架，通过可逆扩散模块与低频约束模块提升攻击性能，在多基准测试中优于现有方法，可用于评估深度视觉模型黑盒鲁棒性。
2026-08-11 cs.CV
Improving Adversarial Transferability via Intermediate-level Perturbation Decay
Harbin Institute of Technology（哈尔滨工业大学）；Tencent Security Big Data Lab（腾讯安全大数据实验室）；UC Davis（加州大学戴维斯分校）
本文提出中间层扰动衰减（ILPD）方法，在单阶段优化中同时增强扰动方向有效性与幅度，显著提升对抗样本在 ImageNet 和 CIFAR-10 上的迁移攻击性能。
2023-11-02 cs.CR cs.CV cs.LG
FedSIS: Federated Split Learning with Intermediate Representation Sampling for Privacy-preserving Generalized Face Presentation Attack Detection
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对人脸呈现攻击检测泛化性差且数据难共享的问题，提出结合联邦学习与拆分学习、带中间表示采样增强的FedSIS框架，在保护隐私的同时实现跨域最优泛化性能。
2023-08-22 cs.CR cs.CV cs.LG
On the Robustness of Split Learning against Adversarial Attacks
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
该研究针对拆分学习的模型安全问题，提出定制化SPADV攻击方法，通过两阶段流程在低成本下实现高攻击效果，揭示了拆分学习对抗攻击的脆弱性。
2023-07-18 cs.CR cs.CV cs.LG
Effective and Efficient Vote Attack on Capsule Networks
University of Munich（慕尼黑大学）；the Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））
标准的卷积神经网络（CNN）很容易被带有微小的准不可感知的人工扰动的图像所欺骗。作为CNN的替代方案，最近提出的胶囊网络（CapsNets）被证明比流行的攻击协议下的CNN更强大的白盒攻击。此外，CapsNets的类条件重建部分也用于检测对抗性示例。在这项工作中，我们研究了CapsNets的对抗鲁棒性，特别是当输出胶囊受到攻击时，CapsNets的内部工作如何改变。第一个观察结果是，对抗性示例通过操纵来自主胶囊的投票来误导CapsNets。另一个观察结果是，当我们直接应用为CNN设计的多步攻击方法来攻击CapsNet时，由于计算昂贵的路由机制，计算成本很高。受这两个观察的启发，我们提出了一种新的投票攻击，我们直接攻击CapsNet的投票。我们的投票攻击不仅是有效的，而且绕过路由过程的效率。此外，我们将我们的投票攻击检测感知攻击范式，它可以成功地绕过类条件重建的检测方法。大量的实验表明，我们的投票攻击CapsNets的优越的攻击性能。
2021-02-19 cs.CV
Semantically Stealthy Adversarial Attacks against Segmentation Models
Indiana University Bloomington（印第安纳大学伯明顿分校）
已经发现分割模型容易受到有针对性的和非有针对性的对抗攻击。然而，产生的分割输出往往是如此损坏，很容易发现攻击。在本文中，我们提出了语义隐形的对抗攻击，它可以操纵目标标签，同时保留非目标标签。一个挑战是在数据集和模型之间进行语义上有意义的操作。另一个挑战是避免损坏非目标标签。为了解决这些挑战，我们将每个输入图像视为先验知识来生成扰动。我们还设计了一个特殊的正则化器来帮助提取特征。为了评估我们的模型的性能，我们设计了三种基本的攻击类型，即“消失在上下文中”，“嵌入假标签”和“取代目标对象”。“我们的实验表明，我们的隐形对抗模型可以在Cityscapes，Mapillary和BDD 100K上以相对较高的成功率攻击分割模型。我们的框架在数据集和模型中表现出良好的经验概括性。
2022-01-07 cs.CV
Red-GAN: Attacking class imbalance via conditioned generation. Yet another perspective on medical image synthesis for skin lesion dermoscopy and brain tumor MRI
Technical University of Munich（慕尼黑工业大学）
在稀缺数据制度下利用学习算法是医学成像领域的限制和现实。为了缓解这个问题，我们提出了一个基于生成对抗网络的数据增强协议。我们在像素级（分割掩模）和全局级信息（采集环境或病变类型）上调节网络。这种调节提供了对图像标签对的即时访问，同时控制合成图像的全局类特定外观。为了刺激与分割任务相关的特征的合成，在对抗游戏中引入了一个以分割器形式存在的附加被动玩家。我们在两个医学数据集上验证了该方法：BraTS，ISIC。通过将合成图像注入到训练集中来控制类分布，我们实现了对数据集类的准确性水平的控制。
2021-03-28 cs.CV cs.LG eess.IV
Enhancing the Transferability via Feature-Momentum Adversarial Attack
Ocean University of China（中国海洋大学）
可转移对抗攻击由于其对实际应用的威胁而受到越来越多的关注。特别地，特征级对抗攻击是一个最近的分支，其可以通过干扰中间特征来增强可转移性。现有的方法通常为特征创建一个指导图，其中值指示相应特征元素的重要性，然后采用迭代算法来相应地破坏特征。然而，现有的方法中的指导图是固定的，不能一致地反映网络的行为，随着图像在迭代过程中的变化。在本文中，我们描述了一种新的方法，称为攻击-动量对抗攻击（FMAA），以进一步提高可移植性。我们的方法的关键思想是，我们估计一个指导地图动态在每次迭代使用动量有效地干扰类别相关的功能。大量的实验表明，我们的方法显着优于其他国家的最先进的方法，在不同的目标模型上有很大的保证金。
2022-04-22 cs.CV
REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions
IIIT-Delhi（德里印度信息技术学院）；TCS Research（塔塔咨询服务公司研究院）；IIT Delhi（德里印度理工学院）；Ashoka University（阿育王大学）
深度神经网络（DNN）经常被批评容易受到对抗攻击的影响。大多数成功的防御策略采用对抗性训练或随机输入转换，通常需要重新训练或微调模型以实现合理的性能。在这项工作中，我们对预训练DNN的中间表示的调查导致了一个有趣的发现，指向对抗攻击的内在鲁棒性。我们发现，我们可以通过统计表征中间层对干净训练样本的神经响应来学习生成分类器。当聚合时，多个这样的基于中间层的分类器的预测显示出对对抗攻击的意想不到的鲁棒性。具体来说，我们设计了这些生成分类器的集成，通过Borda计数为基础的共识，排名聚合他们的预测。我们提出的方法使用干净训练数据的子集和预训练模型，但对网络架构或对抗攻击生成方法不可知。我们展示了大量的实验来证明我们的防御策略在ImageNet验证集上达到了最先进的性能。
2021-11-24 cs.CV stat.ML
Data-Free Adversarial Perturbations for Practical Black-Box Attack
Nanjing University（南京大学）；Ant Financial Services Group（蚂蚁金融服务集团）；Tsinghua university（清华大学）
神经网络容易受到对抗性示例的攻击，这些示例是恶意输入，用于欺骗预先训练的模型。对抗性示例通常表现出黑盒攻击的可转移性，这使得为一个模型制作的对抗性示例可以欺骗另一个模型。然而，现有的黑盒攻击方法需要来自训练数据分布的样本，以提高对抗性样本在不同模型之间的可移植性。由于数据依赖性，对抗扰动的欺骗能力仅在训练数据可访问时适用。在本文中，我们提出了一种无数据的方法来制作对抗性扰动，该方法可以在不了解训练数据分布的情况下欺骗目标模型。在黑盒攻击场景的实际设置中，攻击者无法访问目标模型和训练数据，我们的方法在目标模型上实现了高欺骗率，并优于其他通用的对抗扰动方法。我们的方法经验表明，即使攻击者无法访问训练数据，当前的深度学习模型仍然存在风险。
2020-03-03 cs.CV
Adversarial examples by perturbing high-level features in intermediate decoder layers
我们提出了一种创建对抗性示例的新方法。我们使用输入图像的编码器-解码器表示并在解码器中扰动中间层，而不是扰动像素。这改变了生成模型提供的高级特征。因此，我们的扰动具有语义意义，例如更长的喙或绿色。我们将此任务表述为一个优化问题，即在误分类约束下最小化对抗图像和初始图像之间的Wasserstein距离。我们采用投影梯度法与一个简单的不精确投影。由于投影，所有迭代都是可行的，并且我们的方法总是生成对抗图像。我们在目标和非目标设置下对MNIST和ImageNet数据集进行了数值实验。我们证明了我们的对抗图像比基于像素的攻击更不容易受到隐写防御技术的攻击。此外，我们还表明，我们的方法修改了边缘等关键特征，并且基于对抗性训练的防御技术容易受到我们的攻击。
2021-10-14 cs.CV cs.LG
Inter-frame Accelerate Attack against Video Interpolation Models
SUN YAT-SEN UNIVERSITY（中山大学）；Tecent（腾讯）；University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出帧间加速攻击（IAA），利用相邻帧扰动相似性初始化并减少迭代，高效攻击视频插值模型，且可扩展至视频识别任务。
2023-05-11 cs.CV
Metamorphic Testing-based Adversarial Attack to Fool Deepfake Detectors
Monash University Malaysia（莫纳什大学马来西亚分校）
Deepfakes利用人工智能（AI）技术来创建合成媒体，其中一个人的肖像被另一个人取代。越来越多的人担心，deepfakes可能被恶意用于创建误导性和有害的数字内容。随着deepfake变得越来越普遍，迫切需要deepfake检测技术来帮助发现deepfake媒体。目前的deepfake检测模型能够实现出色的准确率（>90%）。然而，它们中的大多数仅限于数据集内场景，其中使用相同的数据集进行训练和测试。大多数模型在跨数据集的情况下都不能很好地泛化，在这种情况下，模型是在来自另一个来源的未知数据集上进行测试的。此外，最先进的深度伪造检测模型依赖于已知易受对抗攻击攻击的基于神经网络的分类模型。出于对强大的deepfake检测模型的需求，本研究采用变形测试（MT）原理来帮助识别可能影响所检查模型的鲁棒性的潜在因素，同时克服该领域的测试预言问题。变形测试是专门选择作为测试技术，因为它符合我们的需求，以解决基于学习的系统测试与概率的结果，主要是黑盒组件，基于潜在的大输入域。我们对MesoInception-4和TwoStreamNet模型进行了评估，这是最先进的deepfake检测模型。这项研究将化妆应用确定为一种对抗攻击，可以欺骗deepfake检测器。我们的实验结果表明，MesoInception-4和TwoStreamNet模型的性能下降高达30%时，输入数据与化妆扰动。
2022-06-01 cs.CV
Analysis of Deep Networks for Monocular Depth Estimation Through Adversarial Attacks with Proposal of a Defense Method
Tohoku University（东北大学）；RIKEN（理化学研究所）
在本文中，我们考虑对抗攻击系统的单目深度估计（MDE）的基础上卷积神经网络（CNN）。动机是双重的。一个是研究MDE系统的安全性，这在社区中还没有被积极考虑。另一个是提高我们对CNN执行MDE的计算机制的理解。为此，我们应用最近提出的方法来防御攻击的可视化MDE。它训练另一个CNN从输入图像预测显著图，使得用于MDE的CNN继续准确地从图像估计深度图，其中其非显著部分被掩盖。我们报告以下发现。首先，毫不奇怪，IFGSM（或相当于PGD）的攻击成功地使CNN产生不准确的深度估计。第二，攻击可以通过掩盖不显著的像素来防御，这表明攻击通过扰动大多数不显著的像素来起作用。然而，显着图的预测本身容易受到攻击，即使它不是攻击的直接目标。我们表明，攻击可以通过使用显着图预测的CNN训练是强大的攻击。这些结果提供了一种有效的防御方法，也为理解CNN的计算机制提供了线索。
2019-11-20 cs.CV
CapRecover: A Cross-Modality Feature Inversion Attack Framework on Vision Language Models
New York University（纽约大学）
提出CapRecover跨模态反演框架，直接从视觉语言模型的中间特征恢复语义内容（标签或标题），在CIFAR-10和COCO2017上取得高准确率，并引入基于随机噪声的轻量级防御方法。
2025-10-25 cs.AI cs.CV
Boosting Adversarial Transferability for Hyperspectral Image Classification Using 3D Structure-invariant Transformation and Weighted Intermediate Feature Divergence
State Key Laboratory of Spatial Datum, College of Remote Sensing and Geoinformatics Engineering, Faculty of Geographical Science and Engineering（空间基准状态关键实验室，遥感与地理信息工程学院，地理科学与工程学院）；School of Computer and Information Engineering（计算机与信息工程学院）；Henan Industrial Technology Academy of Spatio-Temporal Big Data, Henan University（空间时间大数据工业技术研究院，河南大学）；National Key Laboratory of Integrated Aircraft Control Technology, School of Automation Science and Electrical Engineering, Beihang university（集成飞行器控制技术国家关键实验室，自动化科学与电气工程学院，北航）
本文针对高光谱图像分类提出一种结合三维结构不变分块变换与加权中间特征散度损失的对抗攻击方法，以增强对抗样本迁移性，并在多个数据集及防御策略下验证了其有效性。
2025-08-19 cs.CV eess.IV
Stop Reasoning! When Multimodal LLM with Chain-of-Thought Reasoning Meets Adversarial Image
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Huawei Technologies（华为技术有限公司）；University of Oxford（牛津大学）
研究CoT对MLLMs对抗鲁棒性的影响，发现其提升有限，并提出绕过CoT过程的停止推理攻击，显著超越基线攻击并导致误导预测。
2024-09-22 cs.AI cs.CR cs.CV
On Feasibility of Intent Obfuscating Attacks
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
首次提出利用意图混淆为目标检测器生成对抗样本，通过扰动非重叠对象破坏目标对象，在5种主流检测器上验证了定向与非定向攻击的成功，并分析了目标置信度和扰动大小等成功因素以提升攻击成功率。
2024-08-29 cs.CR cs.CV
Seeing isn't Believing: Practical Adversarial Attack Against Object Detectors
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Boston University（波士顿大学）
在本文中，我们提出了系统的解决方案，以建立强大的和实用的AE对现实世界的对象检测器。针对隐藏攻击（HA），提出了特征干扰增强（FIR）和增强的真实约束生成（ERG）方法，以增强攻击的鲁棒性;针对出现攻击（AA），提出了嵌套AE，将两个AE结合在一起，对目标检测器进行长距离和短距离攻击。我们还设计了不同风格的AE，使AA更神秘。评估结果表明，我们的AE可以攻击最先进的实时对象检测器（即，YOLO V3和faster-RCNN），成功率高达92.4%，距离从1米到25米，角度从-60°到60°。我们的AE也被证明是高度可转移的，能够以高成功率攻击另外三个最先进的黑箱模型。
2019-09-04 cs.CR cs.CV
Blurring Fools the Network -- Adversarial Attacks by Feature Peak Suppression and Gaussian Blurring
现有的对神经网络的像素级对抗攻击在真实场景中可能是有缺陷的，因为在相机捕获和多个图像预处理步骤之后，数据上的像素级变化不能完全传递到神经网络。相反，在本文中，我们从另一个角度认为，高斯模糊，图像预处理的常用技术，可以在特定的场合是积极的本身，从而暴露网络的现实世界的对抗攻击。我们首先提出了一个名为峰值抑制（PS）的对抗攻击演示，通过抑制数据特征中峰值元素的值。基于PS的模糊思想，我们进一步将高斯模糊应用于数据，研究高斯模糊对网络性能的潜在影响和威胁。实验结果表明，PS和精心设计的高斯模糊可以形成对抗攻击，完全改变一个训练有素的目标网络的分类结果。由于高斯模糊具有很强的物理意义和广泛的应用，该方法也将能够进行现实世界的攻击。
2020-12-21 cs.CV eess.IV
Revisiting the Privacy Risks of Split Inference: A GAN-Based Data Reconstruction Attack via Progressive Feature Optimization
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
针对分割推理中间特征泄露问题，提出结合渐进式特征优化与 L1-ball 约束的 GAN 数据重构攻击，显著提升高分辨率、分布外及深层 DNN 场景下的重构效果。
2025-08-28 cs.CR cs.CV
An integrated Auto Encoder-Block Switching defense approach to prevent adversarial attacks
根据最近的研究，最先进的神经网络对对抗性输入样本的脆弱性急剧增加。神经网络是一种中间路径或技术，计算机通过它学习使用机器学习算法来执行任务。机器学习和人工智能模型已经成为生活中的一个基本方面，例如自动驾驶汽车[1]，灵巧家庭设备，因此任何漏洞都是一个重大问题。最小的输入偏差可以欺骗这些极端文字系统，欺骗他们的用户以及管理员到不稳定的情况。本文提出了一种利用自动编码器[3]和块交换架构相结合的防御算法。自动编码器旨在消除输入图像中的任何扰动，而块切换方法用于使其对白盒攻击更具鲁棒性。该攻击使用FGSM [9]模型进行规划，随后将通过所提出的架构进行反击，从而证明该算法的可行性和安全性。
2022-03-11 cs.CR cs.CV
Versatile Defense Against Adversarial Attacks on Image Recognition
Kyushu University（九州大学）；The University of Kitakyushu（北九州市立大学）
本文提出一种基于图像到图像转换的多功能防御方法，仅训练单一模型即可抵御多种未知对抗攻击，将分类准确率从接近零提升至平均86%，并优于攻击特定模型。
2024-03-13 cs.CV eess.IV
One Man's Trash is Another Man's Treasure: Resisting Adversarial Examples by Adversarial Examples
Columbia University（哥伦比亚大学）
现代图像分类系统通常建立在深度神经网络上，这些网络会受到对抗性示例的影响-图像带有故意制作的、难以察觉的噪声，以误导网络的分类。为了防御对抗性的例子，一个合理的想法是模糊网络相对于输入图像的梯度。这个总的想法激发了一长串的防御方法。然而，事实证明，几乎所有这些国家都是脆弱的。我们从一个完全不同的角度重新审视这个看似有缺陷的想法。我们接受无处不在的对抗性例子和制作它们的数字程序，并将这种有害的攻击过程转化为有用的防御机制。我们的防御方法在概念上很简单：在输入图像进行分类之前，通过在预训练的外部模型上找到对抗性示例来对其进行转换。我们评估我们的方法对广泛的可能的攻击。在CIFAR-10和Tiny ImageNet数据集上，我们的方法比最先进的方法更强大。特别是，与对抗训练相比，我们的方法提供了更低的训练成本和更强的鲁棒性。
2019-11-27 cs.CV cs.LG eess.IV
Type I Attack for Generative Models
Shanghai Jiao Tong University（上海交通大学）；HuaWei Technologies Co.,Ltd（华为技术有限公司）
生成模型是一种流行的工具，有着广泛的应用。然而，它和分类器一样容易受到对抗性样本的影响。现有的攻击方法主要集中在通过对输入进行不可感知的扰动来生成对抗性样本，从而导致错误的结果。然而，我们关注攻击的另一个方面，即，通过显著的改变来欺骗模型。前者导致II型错误，后者导致I型错误。在本文中，我们提出了I型攻击的生成模型，如VAE和GAN。在VAE中给出的一个例子是，我们可以将原始图像显著地改变为无意义的图像，但它们的重建结果是相似的。为了实现I型攻击，我们通过增加输入空间中的距离来破坏原始攻击，同时保持输出相似，因为不同的输入可能对应于深度神经网络的属性的相似特征。实验结果表明，我们的攻击方法是有效的生成I型对抗性的大规模图像数据集上的生成模型的例子。
2020-03-04 cs.CV cs.LG eess.IV
Adversarial Attack Type I: Cheat Classifiers by Significant Changes
Shanghai Jiao Tong University（上海交通大学）
尽管深度神经网络取得了巨大的成功，但对抗攻击可以通过小的排列来欺骗一些训练有素的分类器。在本文中，我们提出了另一种类型的对抗攻击，可以欺骗分类器的显着变化。例如，我们可以显著地改变一张脸，但训练有素的神经网络仍然可以将敌对的和原始的例子识别为同一个人。从统计学上看，现有的对抗攻击增加了第二类错误，而提出的攻击则针对第一类错误，因此分别将其命名为第二类和第一类对抗攻击。这两种类型的攻击同样重要，但本质上是不同的，这是直观的解释和数值评估。为了实现所提出的攻击，监督变异自动编码器的设计，然后分类器进行攻击，通过更新的潜在变量使用梯度信息。{此外，使用预训练的生成模型，还研究了对潜在空间的I型攻击。实验结果表明，该方法在大规模图像数据集上生成I类对抗样本是实用和有效的。这些生成的例子中的大多数可以通过为防御II型攻击而设计的检测器，并且加强策略仅对特定类型的攻击有效，这两者都意味着I型和II型攻击的根本原因是不同的。
2019-07-22 cs.CV cs.LG stat.ML
Black-box adversarial attacks using Evolution Strategies
University of Trento（特伦托大学）
在过去的十年中，深度神经网络在计算机视觉任务中被证明非常强大，开始了计算机视觉和机器学习领域的革命。然而，深度神经网络通常对输入数据的扰动不鲁棒。事实上，几项研究表明，稍微改变图像的内容就会导致受攻击的神经网络的准确性急剧下降。有几种能够生成对抗样本的方法利用了梯度，而在现实世界中，攻击者通常无法使用梯度。与这类攻击相反，出现了另一类对抗攻击，称为黑盒对抗攻击，其不利用梯度信息，更适合于现实世界的攻击场景。在这项工作中，我们比较了三个著名的演化策略的黑盒对抗攻击的生成图像分类任务。虽然我们的研究结果表明，在大多数情况下，受攻击的神经网络可以很容易地被比较中的所有算法愚弄，但它们也表明，一些黑盒优化算法在“更难”的设置中可能更好，无论是在攻击成功率还是效率方面（即，查询次数）。
2021-04-30 cs.CV cs.LG cs.NE
DeepObfuscator: Obfuscating Intermediate Representations with Privacy-Preserving Adversarial Learning on Smartphones
Duke University（杜克大学）；Tsinghua University（清华大学）；RMIT University（皇家墨尔本理工大学）
深度学习已经广泛应用于许多计算机视觉应用中，并取得了显著的成功。然而，由于计算资源的限制，在移动设备上运行深度学习模型通常具有挑战性。一个流行的替代方案是使用云服务来运行深度学习模型来处理原始数据。然而，这会带来隐私风险。一些现有技术提出将从原始数据提取的特征发送到云。不幸的是，这些提取的特征仍然可以被攻击者利用来恢复原始图像并推断嵌入的私有属性。在本文中，我们提出了一个对抗性训练框架DeepObfuscator，它可以防止使用这些特征来重建原始图像和推断私有属性。这样做的同时保留了用于预期云服务的有用信息。DeepObfuscator包括一个可学习的混淆器，旨在通过执行我们提出的对抗训练算法来隐藏与隐私相关的敏感信息。该算法通过模拟攻击者和防御者之间的博弈来设计，攻击者努力重建原始图像并从提取的特征中推断出私有属性，防御者的目的是保护用户隐私。通过在智能手机上部署经过训练的混淆器，可以在本地提取特征，然后发送到云端。我们在CelebA和LFW数据集上的实验表明，在多尺度结构相似性方面，从原始图像的模糊特征重建的图像的质量从0.9458急剧下降到0.3175。因此，重建图像中的人变得难以被重新识别。攻击者可以实现的推断的私有属性的分类准确性被显著降低到随机猜测的水平。
2021-05-06 cs.AI cs.CR cs.CV
