Investigating the Impact of Quantization on Adversarial Robustness
Tsinghua University（清华大学）
本文在PTQ与QAT设置下系统分析量化流水线及鲁棒优化位置对对抗鲁棒性的影响，解释现有结论不一致的原因。
2024-04-08 cs.AI cs.CR cs.LG
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech（法国原子能与替代能源委员会技术中心）；Mines Saint-Etienne（圣埃蒂安矿业学院）
随着将神经网络模型部署在嵌入式系统上的意愿的增长，并且考虑到相关的存储器占用和能量消耗问题，寻找更轻的解决方案来存储神经网络，例如权重量化和更有效的推理方法成为主要的研究主题。与此同时，对抗性机器学习最近兴起，引起了令人印象深刻的关注，揭示了机器学习模型的一些关键缺陷，特别是神经网络。特别是，被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中，我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现，量化不提供任何强大的保护，在严重的形式的梯度掩蔽的结果，并提出一些假设来解释它。然而，我们实验观察到穷人的可转移能力，我们解释的量化值移位现象和梯度错位，并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Robustness of Generalized Learning Vector Quantization Models against Adversarial Attacks
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；University of Groningen（格罗宁根大学）；Saxony Institute for Computational Intelligence and Machine Learning（萨克森计算智能与机器学习研究所）；University of Applied Sciences Mittweida（米特韦达应用科学大学）
对抗攻击和发展对它们鲁棒的（深度）神经网络是目前两个广泛研究的主题。然而，学习矢量量化（LVQ）模型对对抗攻击的鲁棒性还没有得到同样程度的研究。因此，我们提出了一个广泛的评价三个LVQ模型：广义LVQ，广义矩阵LVQ和广义切线LVQ。评估表明，广义LVQ和广义切线LVQ具有很高的基础鲁棒性，与当前最先进的鲁棒神经网络方法。与此相反，广义矩阵LVQ显示出对对抗攻击的高度敏感性，得分始终落后于所有其他模型。此外，我们的数值评估表明，增加每个类的原型数量提高了模型的鲁棒性。
2019-03-09 cs.AI cs.CV cs.LG
Variational Inference with Latent Space Quantization for Adversarial Resilience
SigTuple Technologies（SigTuple科技公司）；Indian Institute of Technology Delhi（印度理工学院德里分校）
尽管深度神经网络在对高维数据流形建模方面取得了巨大的成功，但它们仍受到对抗攻击的威胁-通过仔细扰动获得的感知有效的输入类样本的存在，导致底层模型的性能下降。现有防御机制的主要问题包括不同攻击、模型和大量推理时间的不可推广性。在本文中，我们提出了一个广义的防御机制，利用正则化的潜在空间的生成模型的表达能力。我们设计了一个对抗过滤器，没有访问分类器和对手，这使得它可以与任何分类器串联使用。其基本思想是从数据流形学习Lipschitz约束映射，将对抗性扰动引入到量化的潜在空间，并将其重新映射到真实的数据流形。具体来说，我们同时自动编码的数据流形和它的扰动隐式通过扰动的正则化和量化生成的潜在空间，实现变分推理。我们证明了所提出的配方在提供针对多种攻击类型（黑盒和白盒）和方法的弹性方面的有效性，同时几乎是实时的。我们的实验表明，所提出的方法超越了国家的最先进的技术在几种情况下。
2019-09-06 cs.CV cs.LG
Breaking the Limits of Quantization-Aware Defenses: QADT-R for Robustness Against Patch-Based Adversarial Attacks in QNNs
NYU Abu Dhabi（纽约大学阿布扎比分校）；Technology Innovation Institute（技术创新研究院）
本文针对量化神经网络中基于补丁的对抗攻击高可迁移性问题，提出 QADT-R 防御框架，通过自适应量化感知补丁生成、动态位宽训练和梯度不一致正则化，在 CIFAR-10 和 ImageNet 上将攻击成功率最多降低 25%。
2025-03-10 cs.CV
Is PGD-Adversarial Training Necessary? Alternative Training via a Soft-Quantization Network with Noisy-Natural Samples Only
对抗攻击和防御的最新研究表明，PGD是一种通用的$l_\infty$一阶攻击，PGD对抗性训练可以显着提高网络对各种一阶$l_\infty$有界攻击的鲁棒性，代表了最先进的防御方法。然而，PGD对抗训练的一个明显弱点是其在生成对抗样本时的高计算成本，这使得它在计算上不适用于大型和高分辨率的真实数据集，如ImageNet数据集。此外，最近的工作也提出了一个简单的“封闭形式”的解决方案，一个强大的模型MNIST。因此，一个自然的问题是，PGD对抗训练对于强大的防御真的是必要的吗？在本文中，我们给出了否定的答案，提出了一种训练范式，该范式与几个标准数据集上的PGD对抗训练相当，同时只使用噪声自然样本。具体来说，我们通过一个问题来重新制定PGD对抗训练中的最小-最大目标，以最小化原始网络损失加上其梯度w.r.t.的$l_1$范数。输入。对于$l_1$ -范数损失，我们提出了一个计算上可行的解决方案，通过在网络输入层之后嵌入可微软量化层。我们正式表明，用噪声自然样本训练的软量化层是一种替代方法，可以像PGD对抗训练一样最小化$l_1$梯度范数。在标准数据集上进行的广泛的实证评估表明，我们提出的模型与PGD和BPDA攻击下的PGD对抗训练模型相当。值得注意的是，我们的方法在MNIST上实现了24倍的加速，同时保持了相当的防御能力，并且首次在两天内微调了一个强大的Imagenet模型。代码见\u…
2018-10-19 cs.LG stat.ML
The Impact of Quantization on the Robustness of Transformer-based Text Classifiers
Sharif University of Technology（谢里夫理工大学）；University of Guilan（吉兰大学）
该研究首次探究量化对NLP模型鲁棒性的影响，实验证明量化可显著提升BERT等模型的对抗准确率，效果优于对抗训练且无额外训练开销，为增强NLP模型鲁棒性提供了有效方案。
2024-03-08 cs.CL cs.LG
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tübingen（图宾根大学）
深度神经网络（DNN）加速器近年来受到了相当大的关注，因为与主流硬件相比，它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗，然而，在存储量化权重的存储器中引起比特级故障。此外，DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中，我们证明了鲁棒定点量化，权重裁剪以及随机比特错误训练（RandBET）或对抗性比特错误训练（AdvBET）的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能，而且还提高了DNN加速器的安全性。与相关工作相比，我们的方法概括了整个工作电压和加速器，不需要硬件的变化。此外，我们提出了一种新的对抗性比特错误攻击，并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下，我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误，我们将测试错误从90%以上（机会水平）降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
TriQDef: Disrupting Semantic and Gradient Alignment to Prevent Adversarial Patch Transferability in Quantized Neural Networks
NYU Abu Dhabi（纽约大学阿布扎赫尔分校）；Technology Innovation Institute（技术创新研究所）
TriQDef提出三层量化感知防御框架，通过特征失对齐、梯度感知不协调和联合训练破坏对抗补丁跨比特宽度迁移，在CIFAR-10和ImageNet上将ASR降低超40%并保持高干净准确率。
2025-08-16 cs.CR cs.CV
On the Adversarial Robustness of Quantized Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
减小神经网络模型的大小是将人工智能从以云为中心的计算模式转变为以边缘为中心的计算模式的关键一步。这种从云到边缘的转变是由许多因素推动的，包括减少延迟，提高安全性，以及跨多个应用领域（例如运输，医疗保健，国防等）的AI算法的更高灵活性。然而，目前尚不清楚模型压缩技术如何影响AI算法对对抗攻击的鲁棒性。本文探讨了量化的效果，最常见的压缩技术之一，对抗的鲁棒性的神经网络。具体来说，我们调查和建模的准确性量化神经网络的不利扰动图像。结果表明，对于简单的基于梯度的攻击，量化可以提高或降低对抗鲁棒性取决于攻击强度。
2021-05-01 cs.CR cs.LG
Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training
Center for Vision Technologies（视觉技术中心）；SRI International（SRI国际）
本文提出可微随机量化器与基于互信息的集成训练方法，通过鼓励不同量化 DNN 学习多样化表示，显著提升量化网络对白盒 $L_\infty$ 攻击的鲁棒性，并扩展用于攻击检测与威胁模型统一分析。
2023-11-30 cs.CR cs.CV cs.LG
Fooling Computer Vision into Inferring the Wrong Body Mass Index
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
最近的研究表明，神经网络可以使用人脸图像来准确预测身体质量指数（BMI），这是一种广泛使用的健康指标。在本文中，我们证明了执行BMI推理的神经网络确实容易受到测试时的对抗攻击。这将测试时的对抗攻击从分类任务扩展到回归。我们强调的应用是BMI推断在保险业，这种对抗攻击意味着保险欺诈的危险。
2019-05-16 cs.CR cs.CV cs.LG
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Defend Deep Neural Networks Against Adversarial Examples via Fixed and Dynamic Quantized Activation Functions
University of Central Florida（中佛罗里达大学）；JD AI Research（京东AI研究院）；Tencent AI Lab（腾讯AI实验室）
最近的研究表明，深度神经网络（DNN）容易受到对抗攻击的攻击。为此，已经提出了许多试图提高DNN鲁棒性的防御方法。在一个独立但相关的领域，最近的工作已经探索将神经网络权重和激活函数压缩到低位宽，以压缩模型大小并降低计算复杂性。在这项工作中，我们发现，这两个不同的轨道，即追求网络的紧凑性和鲁棒性，可以合并为一个，并产生网络的两个优点。据我们所知，这是第一个使用激活函数的量化来防御对抗性示例的工作。我们还提出了训练强大的神经网络使用自适应量化技术的激活函数。我们提出的动态量化激活（DQA）是通过广泛的实验与MNIST和CIFAR-10数据集下不同的白盒攻击方法，包括FGSM，PGD和C & W攻击进行验证。此外，零阶优化和替代模型的黑箱攻击也被认为是在这项工作中。实验结果清楚地表明，使用所提出的DQA可以大大提高DNN的鲁棒性。
2019-12-18 cs.CR cs.CV cs.LG
QuantAttack: Exploiting Dynamic Quantization to Attack Vision Transformers
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对视觉Transformer量化技术的动态行为与平均性能假设漏洞，提出QuantAttack攻击方法，可触发量化模型最坏性能、降低效率，且在多模态任务中有效并具有跨模型迁移性。
2024-11-28 cs.CR cs.CV cs.LG
RobustMQ: Benchmarking Robustness of Quantized Models
Beihang University（北京航空航天大学）；Institute of Dataspace（数据空间研究院）；ETH Zurich（苏黎世联邦理工学院）；Zhongguancun Laboratory（中关村实验室）
本文提出RobustMQ基准，在ImageNet上全面评估量化模型对对抗攻击、自然损坏和系统噪声的鲁棒性，揭示了量化位宽对不同噪声的影响差异，为鲁棒量化模型的现实部署提供了重要见解。
2023-08-04 cs.CR cs.CV cs.LG
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术，因此在工业中通常采用。最近的工作表明，已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击，并且量化表示的认证是保证鲁棒性所必需的。在这项工作中，我们提出了量化感知区间界限传播（QA-IBP），一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发，我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同，我们的方法可以处理QNN的离散语义。基于QA-IBP，我们还开发了一个完整的验证过程，用于验证QNN的对抗鲁棒性，保证终止并产生正确的答案。与现有的方法相比，我们的验证过程的关键优势是，它完全运行在GPU或其他加速器设备上。我们通过实验证明，我们的方法显着优于现有的方法，并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
Diversified Adversarial Attacks based on Conjugate Gradient Method
Kyushu University（九州大学）；NTT Corporation（日本电信电话株式会社）
深度学习模型容易受到对抗性示例的影响，用于生成此类示例的对抗攻击吸引了相当大的研究兴趣。虽然现有的基于最速下降的方法已经取得了很高的攻击成功率，病态问题偶尔会降低其性能。为了解决这个问题，我们利用共轭梯度（CG）方法，这是有效的这类问题，并提出了一种新的攻击算法的启发CG方法，命名为自动共轭梯度（ACG）攻击。在最新的鲁棒模型上进行的大规模评估实验的结果表明，对于大多数模型，ACG能够比现有的SOTA算法Auto-PGD（APGD）以更少的迭代次数找到更多的对抗性示例。我们研究了ACG和APGD在多样化和集约化方面的搜索性能差异，并定义了一个称为多样性指数（DI）的指标来量化多样性程度。从多样性的分析，使用该指数，我们表明，更多样化的搜索所提出的方法显着提高其攻击成功率。
2022-07-19 cs.CR cs.CV cs.LG
Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文综述了模型压缩与对抗鲁棒性之间关系的研究证据，分析了剪枝、量化等压缩技术对鲁棒性的影响，并针对已有实验中的矛盾结果讨论其可能原因。
2023-11-27 cs.CV cs.LG
Adversarial Attacks on Robot Localization Systems via Deep Feature Perturbation
Shandong Academy of Sciences（山东科学院）；Fuzhou University（福州大学）
提出一种基于轻量级乘积量化网络（LPQN）的对抗攻击框架，通过扰动查询特征编码来误导视觉定位系统中的检索过程，从而暴露深度学习定位管道的脆弱性。
2026-06-01 cs.CV
Robustness and Transferability of Universal Attacks on Compressed Models
Imperial College London（伦敦帝国学院）；DataSpartan
修剪和量化等神经网络压缩方法对于在边缘设备上有效部署深度神经网络（DNN）非常有效。然而，DNN仍然容易受到对抗性示例的影响，这些示例是专门设计用来欺骗这些模型的不显眼的输入。特别地，通用对抗扰动（Universal Adversarial Perturbations，UAP）是一类强大的对抗攻击，其创建可以在大的输入集合上概括的对抗扰动。在这项工作中，我们分析了各种压缩技术对UAP攻击的影响，包括不同形式的修剪和量化。我们测试了压缩模型对白盒和传输攻击的鲁棒性，并将其与CIFAR-10和SVHN数据集上的未压缩模型进行了比较。我们的评估揭示了修剪方法之间的明显差异，包括软过滤和训练后修剪。我们观察到，修剪和完整模型之间的UAP传输攻击是有限的，这表明这些模型的系统漏洞是不同的。这一发现具有实际意义，因为使用不同的压缩技术可以削弱黑盒传输攻击的有效性。我们表明，在某些情况下，量化可以产生梯度掩蔽，给人一种虚假的安全感。最后，我们的研究结果表明，压缩模型对UAP攻击的鲁棒性的结论是依赖于应用程序的，在我们的实验中使用的两个数据集中观察到不同的现象。
2020-12-10 cs.AI cs.CR cs.LG
Error Diffusion Halftoning Against Adversarial Examples
Johns Hopkins University（约翰斯·霍普金斯大学）
对抗性示例包含精心制作的扰动，可以欺骗深度神经网络（DNN）做出错误的预测。近年来，增强DNN的对抗鲁棒性引起了人们的极大兴趣。虽然基于图像变换的防御在早期被广泛考虑，但大多数都被自适应攻击击败。本文提出了一种新的基于误差扩散半调的图像变换防御方法，并将其与对抗训练相结合，对对抗性样本进行防御。误差扩散半色调将图像投影到1位空间中，并将量化误差扩散到相邻像素。这个过程可以从给定的图像中去除对抗性扰动，同时保持可接受的图像质量，同时有利于识别。实验结果表明，该方法是能够提高对抗性的鲁棒性，即使在先进的自适应攻击，而大多数其他基于图像变换的防御没有。我们表明，适当的图像变换仍然可以是一种有效的防御方法。代码：https://github.com/shaoyuanlo/Halftoning-Defense
2021-07-24 cs.CR cs.CV cs.LG
Properties that allow or prohibit transferability of adversarial attacks among quantized networks
Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS（弗劳恩霍夫开放通信系统研究所FOKUS）
本文研究量化网络间对抗样本的可迁移性，分析不同位宽、算法特性及架构容量差异的影响，发现量化降低可迁移性但部分攻击可增强其效果，且同网络量化版本间平均可迁移性可估计异构量化目标网络的迁移性能。
2024-05-15 cs.AI cs.LG
HDR image watermarking using saliency detection and quantization index modulation
Monash University Malaysia（马来西亚莫纳什大学）；Okayama University（冈山大学）
高动态范围（HDR）图像在互联网上迅速传播，存在被利用进行未经授权使用的风险。为了保护这些图像，提出了一些基于HDR图像的水印（HDR-IW）方法。然而，他们继承了传统的IW方法所面临的标准动态范围（SDR）的图像，其中只有相互冲突的要求之间的权衡管理，而不是同时改善相同的问题。本文提出了一种新的基于显著性（引人注目的对象）检测的权衡独立的HDR-IW，同时提高鲁棒性，不可感知性和有效载荷。首先，宿主图像通过我们提出的显著性目标检测模型来产生显著性图，然后利用该显著性图来分割宿主图像的前景和背景。然后，使用相同的掩码将二值水印分割为前景和背景，并使用随机置换算法进行置乱。最后，水印段被嵌入到相应的主机段使用量化索引调制选定的位平面。实验结果表明，所提出的工作优于国家的最先进的方法，在改善冲突的要求。
2023-02-23 cs.CV cs.MM
Sparse-Inductive Generative Adversarial Hashing for Nearest Neighbor Search
National Institute of Informatics（国立信息学研究所）
针对无监督哈希中异构空间映射的分布不一致与优化难题，提出SiGAH方法，通过生成对抗框架与压缩感知机制学习哈希码，在四个基准数据集上性能超越现有最优方法。
2023-06-12 cs.CV cs.LG
Improved Gradient based Adversarial Attacks for Quantized Networks
Australian National University（澳大利亚国立大学）；Amazon Science（亚马逊科学）；DATA61, CSIRO（联邦科学与工业研究组织数据61）
神经网络量化已经变得越来越流行，由于有效的存储器消耗和更快的计算所产生的量化网络上的逐位操作。尽管它们表现出出色的泛化能力，但它们的鲁棒性还没有得到很好的理解。在这项工作中，我们系统地研究了量化网络对基于梯度的对抗攻击的鲁棒性，并证明了这些量化模型遭受梯度消失问题，并显示出虚假的鲁棒性。通过将梯度消失归因于训练网络中的前向-后向信号传播不良，我们引入了一种简单的温度缩放方法来缓解这个问题，同时保留决策边界。尽管是对现有的基于梯度的对抗攻击的简单修改，但在具有多种网络架构的多个图像分类数据集上的实验表明，我们的温度缩放攻击在量化网络上获得了近乎完美的成功率，同时在对抗性训练模型和浮点网络上优于原始攻击。代码可在https://github.com/kartikgupta-at-anu/attack-bnn上获得。
2021-12-29 cs.CV cs.LG
Quantitative Analysis of Deeply Quantized Tiny Neural Networks Robust to Adversarial Attacks
University of Glasgow（格拉斯哥大学）；City, University of London（伦敦城市大学）；STMicroelectronics France（意法半导体法国公司）；STMicroelectronics Italy（意法半导体意大利公司）
本文提出基于随机三值量化和逐层Jacobian正则化协同优化的紧凑DNN模型，在CIFAR-10和语音数据集上以较小内存占用实现对黑盒与白盒攻击的鲁棒性，并优于Quanos和DS-CNN基准。
2025-03-12 cs.CR cs.LG cs.PF
AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)
Manipal University（马尼帕尔大学）；GGSI University（GGSI大学）；IIITDM Kancheepuram（坎奇普拉姆印度信息技术设计制造学院）；Meta AI；Amazon（亚马逊）；BITS Goa（果阿比尔拉理工学院）
该研究构建含 9,000 条提示的 ALKALI 对抗基准，揭示 LLM 的潜在伪装盲点，并提出 GRACE 几何对比对齐框架与 AVQI 指标，最高降低 39% ASR。
2025-09-28 cs.CL cs.LG
Robust Feature Learning for Multi-Index Models in High Dimensions
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；University of Southern California（南加州大学）
本文研究高维多指标模型的对抗鲁棒特征学习，证明隐藏方向提供贝叶斯最优投影，并表明鲁棒学习与标准学习难度相当，额外样本需求不随维度增加。
2025-03-27 cs.LG stat.ML
Should Adversarial Attacks Use Pixel p-Norm?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗攻击旨在混淆机器学习系统，同时保持人类几乎无法感知。对图像分类系统的攻击通常根据像素特征空间中的$p$范数失真来衡量。我们进行了行为研究，表明像素$p$ -规范的任何$0\le p \le \infty$，和几个替代措施，包括推土机的距离，结构相似性指数，和深网嵌入，不适合人类的感知。我们的研究结果有可能提高对对抗攻击和防御策略的理解。
2019-06-06 cs.CR cs.LG stat.ML
Benchmarking the Robustness of Quantized Models
Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Beihang University（北京航空航天大学）
本文在ImageNet上全面评估了量化模型对对抗攻击、自然损坏和系统噪声的鲁棒性，发现低位量化对对抗攻击更具弹性但更易受自然和系统噪声影响。
2023-04-08 cs.AI cs.LG
TREND: Transferability based Robust ENsemble Design
Purdue University（普渡大学）
深度学习模型在许多领域都具有最先进的性能，但它们对对抗性示例的脆弱性对其在实际环境中的普遍部署构成了威胁。此外，在一个分类器上生成的对抗性输入已经被证明可以转移到在类似数据上训练的其他分类器，这使得即使模型参数没有向对手透露，攻击也是可能的。这种可转移性尚未得到系统的研究，导致我们对神经网络对抗性输入的鲁棒性的理解存在差距。在这项工作中，我们研究了网络结构，初始化，优化器，输入，权重和激活量化对对抗样本可转移性的影响。我们还研究了不同的攻击对可转移性的影响。我们的实验表明，可转移性显着阻碍输入量化和源和目标之间的架构不匹配，是不受初始化，但优化器的选择是至关重要的。我们观察到，可转移性是依赖于架构的重量和激活量化模型。为了量化可转移性，我们使用简单的度量，并展示了该度量在设计一种方法来构建具有改进的对抗鲁棒性的集合时的实用性。当攻击集成时，我们观察到单个集成成员模型的“梯度支配”阻碍了现有的攻击。为了解决这个问题，我们提出了一种新的最先进的合奏攻击。我们将所提出的攻击与现有的攻击技术进行比较，以显示其有效性。最后，我们证明了由精心选择的不同网络组成的集合比单个网络具有更好的对抗鲁棒性。
2021-03-30 cs.LG stat.ML
Transferable Sparse Adversarial Attack
Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）
深度神经网络已经显示出它们对对抗攻击的脆弱性。本文研究了基于$\ell_0$范数约束的稀疏对抗攻击，该攻击只需修改图像的几个像素即可成功.尽管有很高的攻击成功率，现有的稀疏攻击方法实现了黑盒协议下，由于过拟合的目标模型的低可移植性。因此，我们引入了一个生成器架构来缓解过拟合问题，从而有效地制作可转移的稀疏对抗性示例。具体地说，发生器将稀疏扰动分解为幅度和位置分量。我们精心设计了一个随机量化算子，以端到端的方式联合优化这两个分量。实验结果表明，我们的方法有改善的可转移性的一个大的利润率下类似的稀疏设置相比，国家的最先进的方法。此外，我们的方法实现了优越的推理速度，比其他基于优化的方法快700 $\times$。该代码可在https://github.com/shaguopohuaizhe/TSAA上获得。
2021-05-31 cs.CV
BppAttack: Stealthy and Efficient Trojan Attacks against Deep Neural Networks via Image Quantization and Contrastive Adversarial Learning
Rutgers University（罗格斯大学）
深度神经网络易受木马攻击。现有的攻击使用可见的模式（例如，补丁或图像变换）作为触发器，其易受人类检查的影响。在本文中，我们提出了隐蔽且高效的特洛伊木马攻击BppAttack。基于现有的人类视觉系统的生物学文献，我们建议使用图像量化和抖动作为木马触发器，使不易察觉的变化。它是一种不需要训练辅助模型的隐蔽而有效的攻击。由于对图像进行的微小更改，很难在训练期间注入此类触发器。为了缓解这个问题，我们提出了一种基于对比学习的方法，该方法利用对抗攻击来生成负样本对，从而使学习到的触发器精确而准确。该方法在MNIST、CIFAR-10、GTSRB和CelebA四个基准数据集上实现了高攻击成功率。它还有效地绕过了现有的特洛伊木马防御和人工检查。我们的代码可以在https://github.com/RU-System-Software-and-Security/BppAttack上找到。
2022-05-26 cs.CR cs.CV cs.LG
Data-Free Network Quantization With Adversarial Knowledge Distillation
Samsung Semiconductor Inc.（三星半导体公司）；DGIST（大邱庆北科学技术院）
网络量化是深度学习中在移动或边缘平台上开发高效定点推理模型的重要过程。然而，随着数据集变得越来越大，隐私法规变得越来越严格，用于模型压缩的数据共享变得越来越困难和受限。在本文中，我们考虑无数据网络量化与合成数据。合成数据由生成器生成，而在训练生成器和量化中不使用数据。为此，我们提出了无数据的对抗性知识蒸馏，它最大限度地减少了教师和（量化）学生的输出之间的最大距离的任何对抗性样本从发电机。为了生成与原始数据相似的对抗样本，我们还提出了来自教师中生成数据和原始数据的批量归一化层的匹配统计。此外，我们还展示了使用多个生成器和多个学生生成不同对抗样本的好处。我们的实验展示了SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上（宽）残差网络和MobileNet的最新无数据模型压缩和量化结果。与使用原始数据集相比，精度损失非常小。
2020-05-08 cs.CV cs.LG cs.NE
Adversarial Attack on Deep Product Quantization Network for Image Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）
深度积量化网络（DPQN）最近在快速图像检索任务中受到了广泛关注，这是由于其编码高维视觉特征的效率，特别是在处理大规模数据集时。最近的研究表明，深度神经网络（DNN）容易受到具有小的恶意设计扰动的输入（也称为，敌对的例子）。这种现象也引起了DPQN在测试/部署阶段的安全问题的关注。然而，很少有人致力于研究对抗性例子如何影响DPQN。为此，我们提出了产品量化对抗生成（PQ-AG），一个简单而有效的方法来生成对抗的产品量化为基础的检索系统的例子。PQ-AG旨在为查询图像生成不可感知的对抗性扰动，以形成对抗性查询，其来自目标产品量化模型的最近邻居与来自原始查询的最近邻居在语义上不相关。大量的实验表明，我们的PQ-AQ成功地创建了对抗性的例子，以误导目标产品量化检索模型。此外，我们发现，我们的PQ-AG显着降低检索性能在白盒和黑盒设置。
2020-02-26 cs.CV
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Zero-shot Adversarial Quantization
East China Normal University（华东师范大学）
模型量化是压缩深度神经网络和加速推理的一种很有前途的方法，使其可以部署在移动和边缘设备上。为了保持全精度模型的高性能，大多数现有的量化方法都集中在通过假设训练数据集是可访问的来微调量化模型。然而，由于数据隐私和安全问题，这种假设有时在实际情况下并不满足，从而使这些量化方法不适用。为了在不访问训练数据的情况下实现零短模型量化，少数量化方法采用训练后量化或批量归一化算法指导的数据生成进行微调。然而，这两种方法都不可避免地受到性能低下的影响，因为前者过于经验，缺乏对超低精度量化的训练支持，而后者不能完全恢复原始数据的特性，并且对于不同的数据生成通常效率低下。为了解决上述问题，我们提出了一个zero-shot对抗量化（ZAQ）框架，促进有效的差异估计和知识转移从全精度模型到其量化模型。这是通过一种新颖的两级差异建模来实现的，该模型驱动生成器合成信息丰富的多样化数据示例，以对抗性学习的方式优化量化模型。我们对三个基本的视觉任务进行了广泛的实验，证明了ZAQ在强zero-shot基线上的优越性，并验证了其主要组件的有效性。代码可在<https://git.io/Jqc0y>上获得。
2021-03-30 cs.CV
VQUNet: Vector Quantization U-Net for Defending Adversarial Atacks by Regularizing Unwanted Noise
University of California, Merced（加州大学默塞德分校）
为防御对抗攻击，本文提出向量量化U-Net（VQUNet），通过多尺度分层结构进行离散潜在表示学习以减少对抗噪声并高保真重建数据，在Fashion-MNIST和CIFAR10数据集上优于现有降噪防御方法且无攻击时精度下降不到1%。
2024-06-05 cs.CV
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）
目前大多数显示设备具有八位或更高的位深。然而，大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理，通过端到端的学习模式实现真实感去量化。到目前为止，这是第一次尝试将生成对抗网络（GAN）框架应用于图像去量化。具体来说，我们提出了密集的残余自我注意（DenseResAtt）模块，这是由密集的残余块武装的自我注意机制，更加关注高频信息。此外，顺序的DenseResAtt模块的串联连接形成了深度关注网络，在图像去量化中具有卓越的判别学习能力，对代表性特征图进行建模，以恢复尽可能多的有用信息。此外，由于对抗性学习框架可以可靠地生成高质量的自然图像，因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是，DAGAN能够生成照片级真实感的高比特深度图像，而没有条带伪影。在多个公共基准测试上的实验结果表明，DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
ODG-Q: Robust Quantization via Online Domain Generalization
The University of Hong Kong（香港大学）
将神经网络量化到低位宽对于在资源有限的边缘硬件上部署模型很重要。虽然量化网络具有较小的模型大小和内存占用，但它对对抗攻击很脆弱。然而，很少有方法研究量化网络的鲁棒性和训练效率。为此，我们提出了一种新的方法，通过将鲁棒量化作为在线领域泛化问题，称为ODG-Q，它在训练过程中以低成本生成各种对抗数据。ODG-Q在对抗各种对抗攻击方面始终优于现有的作品。例如，在CIFAR-10数据集上，ODG-Q在五种常见的白盒攻击下平均提高了49.2%，在五种常见的黑盒攻击下平均提高了21.7%，训练成本与自然训练（即没有对手）相似。据我们所知，这项工作是第一项在ImageNet上训练量化和二进制神经网络的工作，这些网络在不同的攻击下始终提高鲁棒性。我们还提供了一个理论上的见解ODG-Q的帐户上的模型风险受攻击的数据。
2022-10-17 cs.CV cs.LG
QCLR: A Plug-in Robustification Module via Quantization for Contrastive Learning in Self-Supervised Skeleton-Based Human Action Recognition
University of Leeds（利兹大学）；Central South University（中南大学）；Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）
本研究针对自监督骨架基人体动作识别中对比学习易受对抗攻击的问题，提出插件式鲁棒化量化模块QCLR，通过双级量化与注意力引导多维度量化策略提升模型鲁棒性，同时保持分类准确率。
2026-10-12 cs.CV
Vector and Line Quantization for Billion-scale Similarity Search on GPUs
Huazhong University of Science and Technology（华中科技大学）；Monash University（莫纳什大学）
数十亿规模的高维近似最近邻（ANN）搜索已成为在大量在线图像和视频中搜索相似对象的重要问题。现有的人工神经网络方法通常具有特定的索引结构，包括倒排索引和倒排多索引结构。倒排索引结构适用于基于GPU的实现，并且诸如Faiss之类的最先进的系统能够利用GPU提供的大规模并行性。然而，倒排索引需要很高的内存开销来有效地索引数据集。倒排多索引结构在GPU上实现困难，在处理不同数据分布的数据库时效率低下。本文提出了一种由矢量和行量化方法生成的新型分层倒排索引结构。我们的量化方法提高了搜索效率和准确性，同时保持可比的内存消耗。这是通过减少搜索空间和增加索引区域的数量来实现的。我们介绍了一个新的人工神经网络搜索系统，VLQ-ADC，这是基于建议的倒排索引，并进行了广泛的评估两个公共的十亿规模的基准数据集SIFT 1B和DEEP 1B。我们的评估表明，VLQ-ADC在精度和搜索速度方面明显优于最先进的基于GPU和CPU的系统。VLQ-ADC的源代码可在https://github.com/zjuchenwei/vector-line-quantization上获得。
2019-04-18 cs.CV
Applying Adversarial Auto-encoder for Estimating Human Walking Gait Abnormality Index
提出了一种利用对抗式自动编码器（AAE），即自动编码器和生成对抗网络（GAN）相结合的方法来估计人体步行步态质量指标。由于大多数基于GAN的模型都被用作数据生成器，因此我们的工作介绍了其应用的另一个视角。该方法直接作用于表示对象的行走姿势的3D点云的序列。通过将圆柱体拟合到每个点云上并将获得的直方图馈送到适当的AAE，我们的系统能够提供可用作步态质量指标的不同措施。这些数量的组合也进行了研究，以获得改进的指标。通过对近10万个点云的大型数据集进行实验，证明了该方法的能力，其结果优于采用不同输入数据类型的相关方法。
2019-08-16 cs.CV
Generating 3D Brain Tumor Regions in MRI using Vector-Quantization Generative Adversarial Networks
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）；University Hospital Augsburg（奥格斯堡大学医院）
针对临床医学数据不足及现有GAN生成全图像体的问题，提出结合向量量化GAN与掩码令牌建模Transformer的框架，生成3D脑肿瘤ROI以扩充不平衡数据集，提升分类性能，助力罕见脑肿瘤精准诊断。
2023-10-02 cs.CV cs.LG
AERIAL: Adversarial Evaluation of Robustness in Accuracy-Preserving Low-Precision EEG Decoders
New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
本研究通过对抗性评估发现，精度保持的压缩（如剪枝和量化）不改善脑电解码器的直接鲁棒性，但会降低对抗性迁移效率，表明鲁棒性、迁移性和部署效率是独立属性。
2026-09-25 cs.CR cs.CV cs.LG
Scalable Image Tokenization with Index Backpropagation Quantization
Nanjing University（南京大学）；Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出索引反向传播量化（IBQ），通过直通估计器联合优化所有码本嵌入与视觉编码器，解决VQ码本坍缩问题，首次实现大规模高维高利用率码本，并在ImageNet上验证了其在重建和自回归生成中的可扩展性与优越性。
2025-03-10 cs.AI cs.CV
Improving Bilayer Product Quantization for Billion-Scale Approximate Nearest Neighbors in High Dimensions
Yandex（Yandex（央捷科斯））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
用于十亿级高维近似最近邻（ANN）搜索的性能最好的系统都基于两层架构，包括索引结构和压缩数据点层。索引结构是至关重要的，因为它允许避免穷举搜索，而需要有损数据压缩来将数据集放入RAM。几个最成功的系统使用乘积量化（PQ）用于索引和数据集压缩层。然而，这些系统在它们利用在这些系统的不同阶段发生的产物量化过程的相互作用的方式上是有限的。在这里，我们介绍和评估两个近似最近邻搜索系统，都利用协同产品的量化过程中更有效的方式。第一个系统称为快速双层乘积量化（FBPQ），它将基线系统（Multi-D-ADC）的运行时间加快了数倍，同时实现了相同的精度。第二个系统，分层双层产品量化（HBPQ）提供了一个显着更好的召回相同的运行时间在小内存占用增加的成本。对于十亿个SIFT描述符的BIGANN数据集，观察到Recall@1增加了10%，Recall@10增加了17%。
2014-04-07 cs.CV
Feature Distillation: DNN-Oriented JPEG Compression Against Adversarial Examples
Flordia International University（佛罗里达国际大学）；Northeastern University（东北大学）
基于图像压缩的方法来防御对抗性的例子攻击，威胁到深度神经网络（DNN）的安全使用，最近已经研究。然而，现有的工作主要依赖于直接调整压缩率等参数，盲目地减少图像特征，从而在应用防御方法后，缺乏对防御效率（即污染图像的准确性）和良性图像的分类准确性的保证。为了克服这些限制，我们提出了一个基于JPEG的防御性压缩框架，即“特征蒸馏”，以有效地纠正对抗性的例子，而不会影响良性数据的分类准确性。我们的框架使用两步方法显着提升了防御效率和边际精度降低：首先，我们通过在JPEG压缩或解压缩的频域中开发防御性量化来最大化恶意输入扰动的恶意特征过滤，由半解析方法指导;其次，我们通过面向DNN的量化细化过程来抑制良性特征的失真以恢复分类精度。我们的实验结果表明，提出的“特征蒸馏”可以显着超过最新的输入转换为基础的缓解，如绗缝和电视最小化在三个方面，包括防御效率（提高分类精度从$\sim20\%$到$\sim90\%$对抗的例子），防御后的良性图像的准确性（$\le1\%$准确性下降），和处理时间每幅图像（$\sim259\times$加速）。此外，我们的解决方案也可以提供最好的防御效率（$\sim60\%$准确性）对最近的适应性攻击与最小的准确性降低（$\sim1\%$）良性图像相比，其他基于输入变换的防御方法。
2019-04-16 cs.CR cs.CV
Explainable Medical Image Segmentation via Generative Adversarial Networks and Layer-wise Relevance Propagation
University of Oslo（奥斯陆大学）
本文通过提出基于生成对抗网络的模型来分割内窥镜图像中的息肉和器械，从而有助于自动化医学图像分割。这项工作的一个主要贡献是提供解释的预测使用逐层相关性传播方法指定哪些输入图像像素是相关的预测，并在何种程度上。在息肉分割任务中，模型的准确率达到0.84，Jaccard指数为0.46。在乐器分割任务中，模型的准确率达到0.96，Jaccard指数达到0.70。该代码可在https://github.com/Awadelrahman/MedAI上获得。
2021-11-02 cs.CV cs.LG eess.IV
Scalable Image Retrieval by Sparse Product Quantization
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）
用于高维特征索引和检索的快速近似最近邻（ANN）搜索技术是大规模图像检索的关键。最近有前途的技术是乘积量化，它试图通过将特征空间分解为低维子空间的笛卡尔乘积并分别量化它们中的每一个来索引高维图像特征。尽管报告的有希望的结果，他们的量化方法遵循传统的量化方法，这可能会导致大的量化误差，从而降低搜索性能的典型硬分配。与现有的方法不同，在本文中，我们提出了一种新的方法称为稀疏积量化（SPQ）编码的高维特征向量稀疏表示。我们通过最小化特征向量的量化误差来优化特征向量的稀疏表示，使得得到的表示在实际中基本上接近原始数据。实验结果表明，SPQ技术不仅能够压缩数据，而且是一种有效的编码技术。我们在四个公共图像数据集上获得了最先进的ANN搜索结果，基于内容的图像检索的结果进一步验证了我们所提出的方法的有效性。
2016-03-15 cs.CV
An Efficient Index for Visual Search in Appearance-based SLAM
University of Alberta（阿尔伯塔大学）
当词汇量很大时，矢量量化在视觉词袋（BoW）搜索中可能是计算上昂贵的步骤。基于BoW的外观SLAM需要解决这个问题，以实现高效的实时操作。我们提出了一种有效的方法来加快矢量量化过程中的BoW为基础的视觉SLAM。为此，我们采用了基于图的最近邻搜索（GNNS）算法，实验表明，它可以优于国家的最先进的GNNS中使用的基于图的搜索结构，可以有效地集成到BoW模型和SLAM框架。基于图的索引是一个k-NN图，它是在词汇单词上构建的，可以通过向k-means聚类添加一次迭代来从BoW的词汇构建过程中提取，这会增加少量额外成本。此外，利用为基于外观的SLAM获取的图像是顺序的这一事实，可以明智地启动GNNS搜索，这有助于显著提高量化过程的加速比。
2013-09-27 cs.CV cs.RO
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
An Integrated Approach to Produce Robust Models with High Efficiency
University of California, Irvine（加州大学欧文分校）；The University of Utah（犹他大学）
深度神经网络（DNN）需要在实际应用中既高效又健壮。量化和结构简化是使DNN适应移动设备的有前途的方法，而对抗训练是使DNN健壮的最流行的方法。在这项工作中，我们试图通过将收敛的松弛量化算法Binary-Relax（BR）应用于一个强大的对抗训练模型ResNets Ensemble via Feynman-Kac Formalism（EnResNet）来获得这两个特征。我们还发现，高精度，如三进制（tnn）和4位，量化将产生稀疏DNN。然而，这种稀疏性在对抗训练下是非结构化的。为了解决对抗性训练影响DNN在干净图像上的准确性和稀疏性结构的问题，我们设计了一个折衷的损失函数，帮助DNN保持其自然的准确性和提高信道稀疏性。通过我们的折衷损失函数，我们实现了两个目标，在弱攻击下不降低抵抗力，在强攻击下只降低很小的抵抗力。与具有权衡损失函数的量化EnResNet一起，我们提供了具有高效率的鲁棒模型。
2023-02-13 cs.CV cs.NA math.NA
