Adversarial robustness of amortized Bayesian inference
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
研究摊销贝叶斯推断的对抗鲁棒性，发现微小观测扰动会导致后验剧烈变化，提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
Bayesian experimental design without posterior calculations: an adversarial approach
贝叶斯试验设计的大多数计算方法需要对大量潜在设计和/或模拟数据集重复进行后验计算。这可能是昂贵的，并且禁止将这些方法扩展到具有许多参数的模型或具有许多未知数的设计。我们引入了一种有效的替代方法，无需后验计算，基于优化费舍尔信息的预期轨迹，如Walker（2016）所讨论的。我们说明了这种方法的缺点，包括缺乏不变性重新参数化和鼓励设计，其中一个参数组合推断准确，但不是任何其他。我们表明，这些可以避免使用对抗性的方法：实验者必须选择他们的设计，而批评家试图选择最不利的参数化。我们提出了这种方法的理论特性，并表明它可以与基于梯度的优化方法在实践中有效地找到设计。
2021-11-17 stat.CO
Efficiently Sampling Functions from Gaussian Process Posteriors
Imperial College London（伦敦帝国学院）；St. Petersburg State University（圣彼得堡国立大学）；St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所）；University College London（伦敦大学学院）
高斯过程是许多现实世界建模问题的黄金标准，特别是在模型的成功取决于其忠实表示预测不确定性的能力的情况下。这些问题通常作为较大框架的一部分存在，其中感兴趣的量最终通过对后验分布进行积分来定义。这些量通常是难以处理的，从而激发了蒙特卡罗方法的使用。尽管在将高斯过程放大到大训练集方面取得了实质性进展，但用于从其后验分布准确生成绘制的方法仍然在测试位置的数量上按立方缩放。我们确定了一个分解的高斯过程，自然适合于可扩展的采样分离出的数据之前。基于这种分解，我们提出了一种易于使用和通用的快速后验采样方法，该方法与稀疏近似无缝配对，以在训练和测试时提供可扩展性。在一系列旨在测试竞争抽样方案的统计特性和实际后果的实验中，我们演示了解耦样本路径如何以通常成本的一小部分准确地表示高斯过程后验。
2020-08-16 cs.LG stat.CO stat.ML
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究所）
生成对抗网络（GANs）近年来受到了极大的关注，特别是在计算机视觉中的应用令人印象深刻。然而，与这些例子相比，GANs在时间序列建模（包括预测）方面的应用更为有限。在这项工作中，我们提出了混合密度条件生成对抗模型（MD-CGAN），重点是时间序列预测。我们表明，我们的模型是能够估计的概率后验分布的预测，并在一组基准方法相比，MD-CGAN模型表现良好，特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外，通过使用高斯混合模型作为输出分布，MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
On the Robustness of Bayesian Neural Networks to Adversarial Attacks
University of Trieste（的里雅斯特大学）；TU Delft University（代尔夫特理工大学）；SISSA, International School of Advanced Studies（国际高等研究学院（SISSA））；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
本文从过参数化极限下的攻击几何出发，证明BNN后验的损失期望梯度消失，从而对基于梯度的对抗攻击具有鲁棒性，并经多数据集实验验证其兼具高准确率与攻击鲁棒性。
2024-02-28 cs.AI cs.CR cs.LG
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research（微软研究院）；Ochanomizu University（御茶水女子大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们通过正则化来解决增强模型鲁棒性的问题。具体来说，我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲，我们在这个框架下提供了两种最新方法的连接，雅可比正则化和虚拟对抗训练。此外，我们将后验微分正则化推广到$f$ -发散族，并用雅可比矩阵描述了整个正则化框架。从经验上讲，我们系统地比较了这些正则化和标准的BERT训练在不同的任务集，以提供一个全面的概况，其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置，我们的实验表明，正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是，通过适当的$f$ -发散，BERT-基础模型可以实现与BERT-大型模型相当的泛化，用于域内，对抗和域转移场景，这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
DeepPeep: Exploiting Design Ramifications to Decipher the Architecture of Compact DNNs
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
深度神经网络（DNN）卓越的预测性能使其在服务领域的应用达到了前所未有的规模和范围。然而，DNN的广泛采用和日益商业化强调了知识产权（IP）保护的重要性。设计技术来确保IP保护已经成为必要的，因为越来越多的趋势是在基于云的服务中的不受信任的加速器上外包DNN计算。DNN的设计方法和超参数是关键信息，泄露它们可能会给组织造成巨大的经济损失。此外，DNN架构的知识可以增加对抗攻击的成功概率，其中对手干扰输入并改变预测。在这项工作中，我们设计了一个两阶段的攻击方法“DeepPeep”，它利用设计方法的独特特性，对紧凑DNN中的构建块的架构进行逆向工程。我们展示了“DeepPeep”在P100和P4000 GPU上的功效。此外，我们提出了智能设计机动策略，通过DeepPeep攻击来挫败IP盗窃，并提出了“安全MobileNet-V1”。有趣的是，与普通MobileNet-V1相比，安全MobileNet-V1显著减少了推理延迟（$\approx$ 60%），提高了预测性能（$\approx$ 2%），内存和计算开销非常低。
2020-07-30 cs.CR cs.CV cs.LG
Adversarial Message Passing For Graphical Models
Geometric Intelligence
结构化模型上的贝叶斯推断通常依赖于推断潜在隐藏变量的后验分布的能力。然而，在隐式模型或复杂后验分布中的推断是困难的。学习隐式模型的一种流行工具是生成对抗网络（GANs），它通过欺骗鉴别器来学习生成器的参数。通常，GANs被认为是模型本身，而不是在推理的上下文中理解。当前的技术依赖于联合分布的低效全局判别来执行学习，或者仅考虑判别单个输出变量。我们通过将GANs作为生成模型中无似然推理的基础来克服这些限制，并将其推广到因子图上的贝叶斯后验推理。我们提出了本地学习规则的消息传递的基础上，最大限度地减少了全球分歧的标准，涉及合作的本地对手用来回避明确的似然评估。这使我们能够构建模型，并为对抗学习提供统一的推理和学习框架。我们的框架单独对待模型规范和推理，并促进有向无环图家族中结构丰富的模型，包括棘手的似然性、不可微模型、模拟器和通常繁琐的模型等组件。我们的治疗的一个关键结果是洞察结构化模型的贝叶斯推断，可以只进行抽样和歧视时，使用非参数变分家庭，没有访问显式分布。作为一个副作用，我们讨论了链接到似然最大化。这些方法有望在概率建模工具箱中发挥作用，并丰富了当前概率编程应用的范围。
2016-12-15 cs.AI stat.ML
Generative Bayesian Inference with GANs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
本文提出了一种基于GANs的贝叶斯推断方法，通过对抗性优化直接目标后验，并结合数据驱动提议和变分贝叶斯进行后处理，实验证明其在模拟数据中表现优异。
2026-02-16 stat.CO stat.ME stat.ML
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；University of Warwick（华威大学）
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来，许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流，即神经网络参数化可逆映射，用于从底层基本度量转换样本;然后可以访问转换样本的概率密度，并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人，2022]用生成网络近似后验，这降低了可逆性要求，因此是一类更灵活的分布，可以扩展到高维和结构化数据。然而，生成网络只允许从参数化分布中采样;因此，Ramesh et al.[2022]遵循对抗训练的常见解决方案，其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的，可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里，我们建议使用通过评分规则最小化训练的生成网络来近似后验，这是一种被忽视的无对抗方法，可以实现平滑训练和更好的不确定性量化。在模拟研究中，评分规则方法在对抗框架方面具有更短的训练时间，从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
多层深度高斯过程（DGP）模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的，这促使了最近的发展确定性和随机近似方法。不幸的是，确定性的近似方法产生一个有偏的后验信念，而随机的是计算成本高。本文提出了一种隐式后验变分推理（IPVI）框架DGP，可以理想地恢复一个无偏的后验信念，仍然保持时间效率。受生成对抗网络的启发，我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点，有趣的是，其中纳什均衡与无偏后验信念相一致。因此，这启发我们设计一种最佳响应动态算法来搜索纳什均衡（即，无偏的后验信念）。经验评估表明，IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Poisoning Bayesian Inference via Data Deletion and Replication
CUNEF Universidad Nantes Université, École Centrale Nantes, CNRS LS2N, UMR 6004, F-44000 Nantes, France（CUNEF大学南特大学，中央理工南特学院，CNRS LS2N，UMR 6004，法国南特）
本文提出通过策略性删除和复制观测数据来攻击通用贝叶斯推断的白盒投毒方法，能够将后验导向目标分布并实现仅破坏特定推断的外科手术式投毒。
2025-03-06 cs.LG stat.ML
Deep adversarial neural decoding
Radboud University（拉德堡德大学）
在这里，我们提出了一种新的方法，通过结合概率推理和深度学习来解决从大脑反应中重建感知刺激的问题。我们的方法首先用最大后验估计反转从潜在特征到大脑响应的线性变换，然后用卷积神经网络的对抗训练反转从感知刺激到潜在特征的非线性变换。我们用功能性磁共振成像实验测试了我们的方法，并表明它可以从大脑激活中生成最先进的感知面部重建。
2017-06-15 cs.LG q-bio.NC stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
On the Adversarial Robustness of Generative Autoencoders in the Latent Space
Xi’an Jiaotong University（西安交通大学）
本文首次研究生成式自编码器在潜在空间中的对抗鲁棒性，通过潜在空间攻击揭示VAEs的脆弱性，比较变分与确定性变体的鲁棒性差异，并验证对抗训练可提升潜在鲁棒性。
2023-07-05 cs.AI cs.CR cs.LG
Adversarial Likelihood-Free Inference on Black-Box Generator
KAIST（韩国科学技术院）
生成对抗网络（GAN）可以被视为数据分布的隐式估计器，并且这种观点激励在黑盒生成器的真实输入参数估计中使用对抗概念。虽然以前的工作中的似然自由推理介绍了一个隐式的建议分布的发电机输入，本文分析了理论上的局限性的建议分布方法。最重要的是，我们引入了一种新的算法，对抗似然自由推理（ALFI），以减轻分析的局限性，因此ALFI能够找到黑盒生成模型输入参数的后验分布。我们用不同的仿真模型以及预训练的统计模型对ALFI进行了实验，我们发现ALFI在有限的仿真预算下实现了最佳的参数估计精度。
2020-06-11 cs.LG stat.ML
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
在这项工作中，我们训练条件Wasserstein生成对抗网络，以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建，使用条件实例规范化注入潜在信息。前者便于多尺度逆映射，而后者使潜在空间维度与测量维度解耦，并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题，以证明我们的方法在量化推断领域的不确定性的性能。此外，我们还证明了生成器可以学习本质上是局部的逆映射，这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense
University of Adelaide（阿德莱德大学）
本文针对贝叶斯神经网络对抗训练中的模式坍缩问题，提出防止模式坍缩并引入信息增益目标以约束对抗风险，在CIFAR-10和STL-10上实现最高20%的鲁棒性提升。
2023-12-01 cs.CR cs.CV cs.LG
PAC-Bayesian Adversarially Robust Generalization for Message Passing Graph Neural Networks: A Sensitivity Analysis
School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学）；Squirrel Ai Learning
通过敏感性感知的PAC-Bayesian框架，利用输出雅可比矩阵的秩约束和异向高斯后验，为消息传递图神经网络导出更紧的对抗鲁棒泛化界。
2026-06-04 cs.LG stat.ML
Adversarially-Robust Inference on Trees via Belief Propagation
本文研究树结构图模型在恶意对手破坏部分叶节点时的根节点后验推断问题，证明当破坏比例满足 ρ ≤ c ε 且信噪比超过 O(log d) 时，信念传播算法可实现信息论最优的鲁棒推断。
2024-03-31 cs.DS math.PR math.ST
Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network
UCLA（加州大学洛杉矶分校）；UC Davis（加州大学戴维斯分校）
我们提出了一种新的算法来训练一个强大的神经网络对抗对抗攻击。我们的算法是由以下两个想法的动机。首先，尽管最近的工作已经证明融合随机性可以提高神经网络的鲁棒性（Liu 2017），但我们注意到，盲目地向所有层添加噪声并不是引入随机性的最佳方式。相反，我们在贝叶斯神经网络（BNN）的框架下对随机性进行建模，以可扩展的方式正式学习模型的后验分布。其次，我们制定了BNN的最小-最大问题，学习最好的模型分布下对抗攻击，导致一个对抗训练贝叶斯神经网络。实验结果表明，该算法在强攻击下具有较好的性能。在具有VGG网络的CIFAR-10上，与对抗训练（Madry 2017）和随机自集成（Liu 2017）相比，在具有$0.035$失真的PGD攻击下，我们的模型的准确率提高了14%，并且在ImageNet的子集上差距变得更大。
2019-05-04 cs.AI cs.CR cs.LG
Attacking Bayes: On the Adversarial Robustness of Bayesian Neural Networks
New York University（纽约大学）
本文通过三类任务上的攻击实验，证明贝叶斯神经网络及其不确定性预测流程并不天然具备对抗鲁棒性，并纠正了先前工作中的概念与实验错误。
2024-04-27 cs.AI cs.CV cs.LG
A-NICE-MC: Adversarial Training for MCMC
Stanford University（斯坦福大学）
现有的马尔可夫链蒙特卡罗（MCMC）方法要么是基于通用和域不可知的计划，这可能会导致缓慢的收敛，或手工制作的问题，具体的建议，由专家。我们提出了A-NICE-MC，一种新的方法来训练灵活的参数马尔可夫链内核，以产生所需的属性的样本。首先，我们提出了一种有效的似然自由对抗训练方法来训练一个马尔可夫链和模仿给定的数据分布。然后，我们利用灵活的体积保持流来获得MCMC的参数核。使用自举方法，我们展示了如何通过迭代提高模型和样本的质量来训练有效的马尔可夫链，以从规定的后验分布中采样。A-NICE-MC提供了第一个自动设计有效的特定领域MCMC建议的框架。实证结果表明，A-NICE-MC结合了MCMC的强保证与深度神经网络的表达能力，并且能够显著优于竞争方法，如哈密顿蒙特卡罗。
2018-03-14 cs.AI cs.LG stat.ML
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Adversarial $α$-divergence Minimization for Bayesian Approximate Inference
Institute of Mathematical Sciences (ICMAT-CSIC)（数学科学研究所（ICMAT-CSIC））；Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
神经网络是用于许多不同任务的流行的最先进的模型。它们通常通过反向传播来训练，以找到正确预测观察数据的权重值。虽然反向传播在许多应用中表现出良好的性能，但它不能轻易地输出预测中不确定性的估计。估计预测中的不确定性是具有重要应用的关键方面，并且获得该信息的一种方法是遵循贝叶斯方法来估计模型参数的后验分布。该后验分布总结了哪些参数值与数据相容，但通常是难以处理的，并且必须近似。已经考虑了几种机制来解决这个问题。我们在这里提出了一种近似贝叶斯推断的通用方法，该方法基于最小化α分歧并允许灵活的近似分布。该方法进行了评估的背景下，贝叶斯神经网络广泛的实验。结果表明，在回归问题中，它往往提供更好的性能方面的测试log-likelihood，有时在平方误差。然而，在分类问题中，它给出了有竞争力的结果。
2020-01-30 cs.LG stat.CO stat.ML
Local Competition and Uncertainty for Adversarial Robustness in Deep Learning
University of Thessaly（塞萨利大学）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Cyprus University of Technology（塞浦路斯理工大学）
这项工作试图通过新的学习参数来解决深度网络的对抗鲁棒性。具体来说，受神经科学结果的启发，我们提出了一种局部竞争原则作为对抗性鲁棒深度学习的手段。我们认为，新的局部赢家通吃（LWTA）非线性，结合后验采样方案，可以大大提高传统深度网络对困难的对抗攻击方案的对抗鲁棒性。我们将这些LWTA参数与贝叶斯非参数化领域的工具相结合，特别是印度自助餐过程的破棒构造，以灵活地解释数据驱动建模中固有的不确定性。正如我们的实验所示，新提出的模型对MNIST和CIFAR10数据集上的对抗性扰动具有很高的鲁棒性。我们的模型在强大的白盒攻击中实现了最先进的结果，同时在很高程度上保持了其良性的准确性。同样重要的是，我们的方法实现了这一结果，同时需要的可训练模型参数比现有的最先进的少得多。
2020-06-18 cs.LG stat.ML
Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Collaborative Innovation Center of Railway Traffic Safety（轨道交通安全协同创新中心）
本文提出MultiANDA方法，利用随机梯度上升的渐近正态性和深度集成策略估计高斯混合后验分布，为每个输入生成无限对抗扰动，在14个模型上超越10种最先进黑盒攻击。
2024-03-29 cs.CV cs.LG
Virtual Adversarial Training on Graph Convolutional Networks in Node Classification
Peking University（北京大学）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
图卷积网络（GCN）的有效性已在广泛的基于图的机器学习任务中得到证明。然而，GCN中的参数更新仅来自标记节点，缺乏对未标记数据的利用。在本文中，我们将虚拟对抗训练（VAT），一种基于标记和未标记数据的对抗正则化方法应用于GCN的监督损失，以提高其泛化性能。通过在半监督学习中对后验分布施加虚拟对抗平滑性，VAT产生对GCN的对称拉普拉斯平滑性的改进。此外，由于特征属性的不同，我们分别对稀疏特征和密集特征进行虚拟对抗扰动，从而得到GCN稀疏VAT（GCNSVAT）和GCN密集VAT（GCNDVAT）算法。大量的实验验证了我们的两种方法在不同训练规模下的有效性。我们的工作为更好地理解未来GCN的改进方向铺平了道路。
2020-02-20 cs.LG stat.ML
Metropolis-Hastings view on variational inference and adversarial training
National Research University Higher School of Economics（国家研究型高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；HSE（高等经济学院）；Skoltech（斯科尔科沃科学技术研究院）
MCMC方法的一个重要部分可以被认为是具有不同建议分布的Metropolis-Hastings（MH）算法。从这个角度来看，构造采样器的问题可以归结为这样一个问题--如何为MH算法选择一个方案？为了解决这个问题，我们建议学习一个独立的采样器，最大限度地提高MH算法的接受率，正如我们所证明的，这是高度相关的传统的变分推断。对于贝叶斯推断，所提出的方法相比有利的替代品，从后验分布的样本。在同样的方法下，我们超越了经典MCMC方法的范围，从头开始推导生成对抗网络（GANs）框架，将生成器视为提案，将测试作为验收测试。在真实世界的数据集上，我们改进了Frechet Inception Distance和Inception Score，使用不同的GANs作为MH算法的建议分布。特别是，我们在ImageNet上展示了最近提出的BigGAN模型的改进。
2019-06-09 cs.AI cs.LG stat.ML
Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
我们提出了一种新的方法来执行近似贝叶斯推断在复杂的模型，如贝叶斯神经网络。该方法比马尔可夫链蒙特卡罗更适合大数据，它比变分推断包含更多表达模型，并且它不依赖于对抗训练（或密度比估计）。我们采用最近的方法构建两个模型：（1）主要模型，负责执行回归或分类;（2）次要的，表达（例如隐式）模型，定义了主要模型参数的近似后验分布。然而，我们根据后验预测分布的蒙特卡罗估计通过梯度下降来优化后验模型的参数-这是我们唯一的近似值（后验模型除外）。只需要指定可能性，它可以采取各种形式，如损失函数和合成可能性，从而提供一种形式的无可能性方法。此外，我们制定的方法，使后验样本可以是独立的，或有条件地依赖于主模型的输入。后一种方法被证明是能够增加的主要模型的明显的复杂性。我们认为这在诸如代理和基于物理的模型等应用中很有用。为了促进贝叶斯范式提供的不仅仅是不确定性量化，我们展示了：不确定性量化，多模态，以及最近的深度预测神经网络架构的应用。
2022-09-06 cs.LG stat.ML
Inference Time Evidences of Adversarial Attacks for Forensic on Transformers
Osaka University（大阪大学）
视觉Transformer（ViTs）正在成为视觉任务的一个非常流行的范例，因为它们在图像分类上实现了最先进的性能。然而，尽管早期的作品暗示这种网络结构增加了对对抗攻击的鲁棒性，但一些作品认为ViTs仍然很脆弱。本文介绍了我们的第一次尝试，在推理时间使用网络的输入和输出以及潜在的功能检测对抗攻击。我们设计了基于ViT的模型的输入、输出和潜在向量的四个量化（或衍生物），这些量化提供了推理的签名，这可能有利于攻击检测，并根据经验研究了它们在干净样本和对抗样本上的行为。结果表明，来自输入（图像）和输出（后验概率）的量化对于区分干净样本和对抗样本是有希望的，而潜向量提供的区分能力较低，尽管它们提供了对抗扰动如何工作的一些见解。
2023-01-31 cs.CV cs.LG
Metropolis-Hastings via Classification
本文开发了一个贝叶斯计算平台，在后验抽样和优化模型的边缘似然难以评估之间的接口。受对抗优化的启发，即生成对抗网络（GAN），我们将似然函数估计问题重新定义为分类问题。将模拟假数据的生成器与试图将其与真实数据区分开的分类器相比较，可以获得可以插入Metropolis-Hastings算法的似然（比率）估计量。由此产生的马尔可夫链产生，在稳定状态下，从一个近似的后验样本的渐近性质，我们的特点。借鉴经验贝叶斯和贝叶斯误指定的连接，我们量化的收敛速度的收缩速度的实际后验和收敛速度的分类。渐近正态性的结果也证明了我们的方法的推理潜力。我们说明了我们的方法的有用性的例子，对现有的贝叶斯似然自由的方法提出了挑战。
2021-11-29 math.ST stat.TH
Scene Uncertainty and the Wellington Posterior of Deterministic Image Classifiers
UCLA（加州大学洛杉矶分校）
我们提出了一种方法来估计的不确定性的图像分类器的结果在一个给定的输入数据。通常用于图像分类的深度神经网络是从输入图像到输出类的确定性映射。因此，他们在给定数据上的结果不涉及不确定性，因此我们必须在定义、测量和解释不确定性时指定我们所指的可变性，并将“信心”归因于结果。为此，我们引入了惠灵顿后验，这是响应于可能由产生给定图像的相同场景生成的数据而获得的结果的分布。由于有无限多的场景可以产生任何给定的图像，惠灵顿后节涉及从描绘的场景以外的其他场景的感应转移。我们探讨了使用数据增强，辍学，ensembling，单视图重建，模型线性化计算惠灵顿后。附加方法包括使用条件生成模型，诸如生成对抗网络、神经辐射场和条件先验网络。我们测试这些方法对经验的后验通过执行相同的底层场景的多个图像上的推理。这些发展只是朝着以与安全关键应用和人类解释兼容的方式评估深度网络分类器的可靠性迈出的一小步。
2023-03-24 cs.CV cs.LG stat.ML
Local Competition and Stochasticity for Adversarial Robustness in Deep Learning
Cyprus University of Technology（塞浦路斯理工大学）；University of California Irvine（加州大学欧文分校）；National and Kapodistrian University of Athens（雅典国立及卡波迪斯特里亚大学）；Aalborg University（奥尔堡大学）
这项工作通过考虑具有随机局部赢家通吃（LWTA）激活的深度网络来解决深度学习中的对抗鲁棒性。这种类型的网络单元导致每个模型层的稀疏表示，因为单元被组织在块中，其中只有一个单元生成非零输出。引入单元的主要操作原理在于随机参数，因为网络对竞争单元进行后验采样以选择获胜者。我们将这些LWTA参数与贝叶斯非参数化领域的工具相结合，特别是印度自助餐过程的破棒构造，以允许推断对手头数据建模至关重要的每一层的子部分。然后，通过随机变分贝叶斯进行推理。我们使用基准数据集对我们的模型进行了彻底的实验评估。正如我们所展示的，我们的方法对对抗性扰动具有很高的鲁棒性，在强大的对抗攻击方案中具有最先进的性能。
2021-03-29 cs.LG stat.ML
Bayesian Inference with Certifiable Adversarial Robustness
University of Oxford（牛津大学）
我们通过贝叶斯学习的视角来考虑深度神经网络的对抗训练，并提出了一个具有可证明保证的贝叶斯神经网络（BNN）对抗训练的原则性框架。我们依赖于非凸优化问题的约束松弛技术，并修改标准的交叉熵误差模型，以加强对输入点周围$ε$球中最坏情况扰动的后验鲁棒性。我们说明了如何得到的框架可以结合常用的近似推理的BNN的方法。在实证调查中，我们证明了所提出的方法可以在MNIST，FashionMNIST和CIFAR-10上训练可证明的鲁棒模型，并且也有利于不确定性校准。我们的方法是第一个直接训练可认证的BNN，从而促进他们的部署在安全关键的应用程序。
2021-02-23 cs.CR cs.LG
Regularized Sequential Latent Variable Models with Adversarial Neural Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）
递归神经网络（RNN）具有丰富的内部状态分布和灵活的非线性转移函数，在对高度结构化的序列数据建模方面已经超过了动态贝叶斯网络，如隐马尔可夫模型（HHMM）。这些数据，例如来自语音和手写的数据，通常包含基础变分因子和观察到的数据之间的复杂关系。标准RNN模型在其结构中具有非常有限的随机性或可变性，来自输出条件概率模型。本文将介绍在RNN中使用高级潜随机变量对序列数据的变异性建模的不同方法，以及在VAE（变分自编码器）原理下这种RNN模型的训练方法。我们将探索使用对抗方法来训练变分RNN模型的可能方法。与竞争方法相反，我们的方法在模型训练中具有理论上的最优性，并且提供了更好的模型训练稳定性。我们的方法还通过单独的对抗训练步骤改进了变分推理网络中的后验近似。对TIMIT语音数据的仿真结果表明，重构损失和证据下限收敛到同一水平，对抗训练损失收敛到0。
2021-08-10 cs.AI cs.LG
Implicit Variational Inference for High-Dimensional Posteriors
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
该研究提出基于神经采样器局部线性化的隐式变分推断方法及新型采样器架构，可处理数千万潜变量的高维后验，能恢复大型贝叶斯神经网络跨层相关性，在下游任务上的不确定性量化效果优于现有最优方法。
2023-11-09 cs.LG stat.ML
On the approximation of posterior laws in compound loss models by conditional Wasserstein GANs
ETH Zürich（苏黎世联邦理工学院）；Vienna University of Economics and Business（维也纳经济与商业大学）；Macquarie University（麦考瑞大学）；Heriot-Watt University（赫瑞-瓦特大学）
该研究将复合损失模型的贝叶斯后验近似转化为摊销问题，构建条件Wasserstein GAN，通过模拟校准等方法验证，成功近似多参数后验并应用于巨灾损失尾部风险分析。
2026-08-28 q-fin.RM stat.ML
On Unifying Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc（Petuum公司）
近年来，深度生成模型取得了令人印象深刻的成功。生成对抗网络（GANs）和变分自编码器（VAEs）作为生成模型学习的新兴家族，在很大程度上被认为是两种不同的范式，并分别得到了广泛的独立研究。本文旨在通过一种新的GANs和VAE之间的关系来建立GANs和VAE之间的正式联系。我们将GANs中的样本生成解释为执行后验推理，并表明GANs和VAE涉及最小化具有相反方向的各自后验和推理分布的KL分歧，分别扩展了经典的唤醒-睡眠算法的两个学习阶段。统一的视图提供了一个强大的工具来分析各种现有的模型变体，并能够以原则性的方式跨研究线转移技术。例如，我们应用VAE文献中的重要性加权方法来改进GAN学习，并使用利用生成样本的对抗机制来增强VAE。实验结果表明了该方法的通用性和有效性。
2018-07-11 cs.LG stat.ML
Accelerating Monte Carlo Bayesian Inference via Approximating Predictive Uncertainty over Simplex
估计贝叶斯学习模型的预测不确定性在各种决策问题中至关重要，例如，强化学习，检测对抗攻击，自动驾驶汽车。由于模型后验几乎总是难以处理的，因此大多数努力都是为了找到一个准确的近似真实后验。即使获得了模型后验的适当估计，也需要另一种近似来计算期望输出的预测分布。一种常见的精确解是使用蒙特卡罗（MC）积分。然而，它需要维护大量的样本，反复评估模型并对多个模型输出进行平均。在许多现实世界的情况下，这在计算上是禁止的。在这项工作中，假设获得精确的后验或体面的近似，我们提出了一个通用的框架来近似模型后验引起的输出概率分布与参数化模型和摊销的方式。其目的是近似一个特定的贝叶斯模型的真实不确定性，同时减轻MC集成在测试时的繁重工作量。所提出的方法是普遍适用于贝叶斯分类模型，允许后验抽样。从理论上讲，我们表明，摊销的想法不会产生额外的成本近似性能。实证结果验证了我们的方法的强大的实际性能。
2019-09-26 cs.LG stat.ML
Robustness of Bayesian Neural Networks to Gradient-Based Attacks
University of Trieste（的里雅斯特大学）；University of Oxford（牛津大学）；SISSA（国际高等研究院）
对抗攻击的脆弱性是在安全关键型应用中采用深度学习的主要障碍之一。尽管在实践和理论方面作出了重大努力，但问题仍然存在。本文分析了贝叶斯神经网络（BNN）在大数据、过参数化极限下的对抗攻击几何。我们表明，在极限情况下，对基于梯度的攻击的脆弱性是由于数据分布的退化而产生的，即，当数据位于周围空间的低维子流形上时。作为一个直接的后果，我们证明了在极限BNN后验是强大的基于梯度的对抗攻击。在MNIST和Fashion MNIST数据集上的实验结果支持这一论点，这些数据集具有使用Hamilton Monte Carlo和变分推理训练的BNN，表明BNN可以对基于梯度的对抗攻击表现出高准确性和鲁棒性。
2020-06-24 cs.LG stat.ML
Adversarial Robustness Guarantees for Gaussian Processes
University of Oxford（牛津大学）
高斯过程（GP）允许对模型不确定性进行原则性计算，使其对安全关键应用具有吸引力。这样的场景要求GP决策不仅准确，而且对扰动具有鲁棒性。在本文中，我们提出了一个框架来分析GP的对抗鲁棒性，定义为模型的决策有界扰动的不变性。给定输入空间$T\subseteq \mathbb{R}^d$的一个紧致子集，一个点$x^*$和一个GP，我们通过计算$T$中GP的预测范围的上下界来提供对抗鲁棒性的可证明保证。我们开发了一个分支定界方案，以完善的界限，并显示，对于任何$ε> 0$，我们的算法是保证收敛到值$ε$ -接近的实际值，在许多迭代。该算法可以随时处理回归和分类任务，并在实践中使用大多数内核的解析公式。我们评估我们的方法的合成和标准的基准数据集，包括SPAM，MNIST和FashionMNIST的集合。我们研究了近似推理技术对鲁棒性的影响，并演示了我们的方法如何用于可解释性。我们的实证结果表明，对抗的鲁棒性GP增加准确的后验估计。
2021-04-07 cs.LG stat.ML
Neural Networks with Recurrent Generative Feedback
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）；Rice University（莱斯大学）
神经网络易受输入扰动的影响，如加性噪声和对抗攻击。相比之下，人类的感知对这种扰动的鲁棒性要强得多。贝叶斯大脑假说指出，人类大脑使用内部生成模型来更新感官输入的后验信念。这种机制可以解释为内部生成模型的最大后验概率（MAP）估计与外部环境之间的自一致性。受这一假设的启发，我们通过引入生成循环反馈来增强神经网络的自一致性。我们在卷积神经网络（CNN）上实例化这种设计。所提出的框架，被称为卷积神经网络与反馈（CNN-F），引入了一个生成反馈与潜在变量现有的CNN架构，其中一致的预测是通过交替MAP推理贝叶斯框架下。在实验中，CNN-F在标准基准测试中显示出比传统前馈CNN显著提高的对抗鲁棒性。
2020-11-10 cs.CV cs.LG cs.NE
AAANE: Attention-based Adversarial Autoencoder for Multi-scale Network Embedding
Hefei University of Technology（合肥工业大学）；University of Technology Sydney（悉尼科技大学）；Chinese Academy of Sciences（中国科学院）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
网络嵌入表示连续向量空间中的节点并保留来自网络的结构信息。现有方法在考虑多尺度结构信息时，如节点的一阶和二阶邻近度，通常采用“一刀切”的方法，忽略了不同尺度在嵌入学习中所起的不同作用。在本文中，我们提出了一个基于注意力的对抗性自动编码器网络嵌入（AAANE）框架，该框架促进了不同尺度的协作，并让它们投票选择鲁棒的表示。所提出的AAANE由两个部分组成：1）基于注意力的自动编码器有效地捕获高度非线性的网络结构，这可以在训练过程中去强调不相关的尺度。2)对抗正则化通过将潜在嵌入的后验分布与给定的先验分布相匹配来引导自动编码器学习鲁棒表示。这是首次尝试将注意力机制引入多尺度网络嵌入。在真实网络上的实验结果表明，我们学习的注意力参数是不同的每个网络和所提出的方法优于现有的国家的最先进的方法网络嵌入。
2018-03-24 cs.LG stat.ML
Adversarial Robustness Guarantees for Classification with Gaussian Processes
University of Oxford（牛津大学）
研究了高斯过程分类模型的对抗鲁棒性。给定包含测试点$x^*$和在数据集$\mathcal{D}$上训练的GPC的输入空间$T\subseteq \mathbb{R}^d$的紧凑子集，我们的目标是计算$T$中所有点上GPC的最小和最大分类概率。为了做到这一点，我们展示了如何在$T$中导出GPC输出的函数下限和上限，并在分支定界优化算法中实现这些。对于任何错误阈值$ε> 0$选择的先验，我们表明，我们的算法是保证达到值$ε$ -接近的实际值在1000多次迭代。我们应用我们的方法来研究GPC模型在2D合成数据集，SPAM数据集和MNIST数据集子集上的鲁棒性，提供不同GPC训练技术的比较，并展示我们的方法如何用于可解释性分析。我们的实证分析表明，GPC的鲁棒性增加更准确的后验估计。
2020-03-11 cs.LG stat.ML
Adversarial Canonical Correlation Analysis
North Carolina State University（北卡罗来纳州立大学）
典型相关分析（CCA）是一种统计技术，用于从多个数据源或视图中提取公共信息。它已被用于各种表示学习问题，如降维，词嵌入和聚类。最近的工作在深度学习上下文中给出了CCA概率基础，并使用数据日志似然的变分下界来估计模型参数。另外，对抗技术近年来已经出现，作为自动编码器中变分贝叶斯方法的强大替代方案。在这项工作中，我们探索了最近在深度变分CCA（VCCA和VCCA-Private）中工作的直接对抗性替代方案，我们称之为ACCA和ACCA-Private，并展示了这些方法如何提供更强大，更灵活的方式来匹配来自编码器的近似后验，比VCCA和VCCA-Private模型更大的先验类别。这允许更直接地追求构成良好表示的新先验，例如解开变化的潜在因素。我们通过使用一个新设计的数据集，我们称之为缠结MNIST，提供进一步的分析VCCA-Private和ACCA-Private的多层次解纠缠特性。我们还为这些模型设计了一个验证标准，该标准在理论上是有基础的，与任务无关的，并且在实践中效果良好。最后，我们填补了一个小的研究空白，推导出一个额外的可变下限VCCA，允许表示使用特定于视图的信息，从两个输入视图。
2020-06-09 cs.AI cs.CV cs.LG
Evasion Attacks Against Bayesian Predictive Models
Inst. Math. Sciences, Spanish Nat. Research Council（数学科学研究所，西班牙国家研究理事会）；Universidad Autónoma de Madrid, Escuela de Doctorado（马德里自治大学，博士学院）；CUNEF Universidad Madrid, Spain（CUNEF马德里大学，西班牙）
针对贝叶斯预测模型对抗攻击脆弱性研究不足的问题，本文提出了设计最优规避攻击的通用方法，针对两类对抗目标提出基于梯度的新型攻击并分析其在不同计算设置下的特性。
2025-06-11 cs.LG stat.ML
Perception-in-the-Loop Adversarial Examples
MPI-SWS（马克斯·普朗克软件系统研究所）；Newcastle University（纽卡斯尔大学）
我们提出了一种可扩展的黑盒感知循环技术，用于为深度神经网络分类器找到对抗性示例。黑盒意味着我们的过程只能访问分类器的输入输出，而不能访问内部结构、参数或中间置信度值。环中感知意味着输入之间的接近度的概念可以直接从人类参与者那里查询，而不是任意选择的度量。我们的技术是基于协方差矩阵自适应演化策略（CMA-ES），黑箱优化方法。CMA-ES以黑盒方式迭代地探索搜索空间，通过根据分布生成候选者群体，根据成本函数选择最佳候选者，并更新后验分布以支持最佳候选者。我们运行CMA-ES使用人类参与者提供的健身功能，使用的见解，在CMA-ES中的最佳候选人的选择可以自然地建模为一个感知任务：挑选顶部$k$输入感知最接近一个固定的输入。我们的经验表明，使用小种群和少量迭代来寻找对抗性示例是可行的。我们比较了CMA-ES在MNIST基准测试中的性能，并与其他使用$L_p$范数作为成本函数的黑盒方法进行了比较，结果表明，它在成功找到对抗性示例和最小化原始输入与对抗性输入之间的距离方面都表现良好。在MNIST、CIFAR 10和GTSRB基准测试的实验中，我们证明了CMA-ES在使用感知在环时，可以通过少量迭代和小种群规模找到感知相似的对抗性输入。最后，我们证明了专门训练对$L_\infty$规范具有鲁棒性的网络仍然容易受到感知相似的对抗性示例的影响。
2019-01-21 cs.AI cs.LG cs.NE
Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks
School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）
针对文本对抗样本威胁，基于对抗样本偏离正常文本流形的特性，提出MLMD方法利用掩码语言模型检测差异，再通过GradMLMD的梯度引导跳过非关键词，在保证性能的同时降低计算开销。
2025-04-08 cs.AI cs.CL cs.LG
Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks
Advanced Research Lab（先进研究实验室）；NavInfo Europe（航景欧洲公司）
对抗训练已被证明是提高模型对抗鲁棒性的有效技术。然而，在优化模型的准确性和鲁棒性之间似乎存在固有的权衡。为此，我们提出了对抗并发训练（ACT），它采用对抗训练的协作学习框架，我们训练一个强大的模型，结合自然模型在极大极小化游戏。ACT鼓励两个模型通过使用特定于任务的决策边界来对齐它们的特征空间，并更广泛地探索输入空间。此外，自然模型充当正则化器，强制鲁棒模型应该学习的特征的先验。我们对模型行为的分析表明，ACT导致了一个鲁棒的模型，具有较低的模型复杂性，在学习的表示中具有更高的信息压缩，以及表示收敛到更平坦的最小值的高后验熵解决方案。我们证明了所提出的方法在不同的数据集和网络架构的有效性。在ImageNet上，ACT在100次迭代的非目标攻击下达到了68.20%的标准准确率和44.29%的鲁棒性准确率，提高了标准对抗训练方法的65.70%标准准确率和42.36%鲁棒性。
2020-08-18 cs.CV cs.LG
