Revisiting Adversarial Risk
Carnegie Mellon University（卡内基梅隆大学）
对抗扰动的最新研究表明，在标准测试精度和对抗精度之间存在固有的权衡。具体来说，他们表明，没有分类器可以同时对对抗性扰动具有鲁棒性，并实现高标准的测试精度。然而，这与标准概念相反，在图像分类等任务中，人类是具有低错误率的鲁棒分类器。在这项工作中，我们表明，这种混乱背后的主要原因是在文献中使用的对抗扰动的不精确定义。为了解决这个问题，我们对对抗扰动的现有定义提出了一个轻微但重要的修改。基于修改后的定义，我们表明，对抗和标准精度之间没有权衡;存在鲁棒的分类器，并实现高标准精度。我们进一步研究了对抗风险的新定义的几个性质及其与现有定义的关系。
2019-03-23 cs.LG stat.ML
Adversarial Risk and the Dangers of Evaluating Against Weak Attacks
DeepMind（深度思维）
本文研究了最近提出的防御对抗性示例和评估对抗性鲁棒性的方法。我们激励“对抗性风险”作为实现对最坏情况输入具有鲁棒性的模型的目标。然后，我们将常用的攻击和评估指标定义为真实对抗风险的易处理替代目标。这表明模型可能会优化这个替代品，而不是真正的对抗风险。我们将这个概念形式化为“对对手的模糊性”，并开发工具和算法来识别模糊模型和设计透明模型。我们证明了这是一个重要的问题，在实践中重新利用梯度自由优化技术到对抗攻击，我们用它来降低最近提出的几个防御的准确性接近零。我们希望我们的配方和结果将帮助研究人员开发更强大的防御。
2018-06-12 cs.CR cs.LG stat.ML
Are You A Risk Taker? Adversarial Learning of Asymmetric Cross-Domain Alignment for Risk Tolerance Prediction
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机学院）；Raiz Invest Limited（Raiz Invest有限公司(公司)）
目前的调查分析和风险容忍度建模研究大多缺乏专业知识和特定领域的模型。鉴于生成对抗学习在跨域信息中的有效性，针对域规模不等式问题，设计了一个非对称跨域生成对抗网络（ADGAN）. ADGAN利用信息充足域提供额外的信息，通过域对齐来改进信息不足域上的表示学习。我们提供两个数据源的数据分析和用户模型：消费者消费信息和调查信息。我们进一步在具有视图嵌入结构的真实数据集上测试ADGAN，并显示ADGAN可以比最先进的技术更好地处理类不平衡和不合格的数据空间，证明了利用不对称域信息的有效性。
2020-04-18 cs.LG stat.ML
Protecting from Malware Obfuscation Attacks through Adversarial Risk Analysis
Institute of Mathematical Sciences, ICMAT-CSIC（数学科学研究所（ICMAT-CSIC））
恶意软件是一个主要的全球风险，每年影响数百万用户。检测系统中的标准算法在处理通过混淆工具传递的恶意软件时执行不足。我们详细说明了这项研究的开源变形软件，利用混合框架，以获得相关功能的二进制文件。然后，我们提供了一个改进的替代解决方案的基础上，对抗性风险分析，我们说明描述一个例子。
2019-11-09 cs.CR cs.LG stat.ML
Risk-Sensitive Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）；DeepMind（深度思维）
我们研究风险敏感的模仿学习，代理的目标是执行至少以及专家的风险概况。我们首先制定我们的风险敏感的模仿学习设置。我们考虑生成对抗方法的模仿学习（GAIL），并推导出我们的配方，我们称之为风险敏感GAIL（RS-GAIL）的优化问题。然后，我们推导出两个不同版本的RS-GAIL优化问题，旨在匹配的代理和专家w.r.t.的风险配置文件。Jensen-Shannon（JS）发散度和Wasserstein距离，并基于这些优化问题开发风险敏感的生成对抗模仿学习算法。我们评估了我们的算法的性能，并将其与GAIL和风险规避模仿学习（RAIL）算法在两个MuJoCo和两个OpenAI经典控制任务中进行了比较。
2018-12-24 cs.AI cs.LG stat.ML
On Data Augmentation and Adversarial Risk: An Empirical Analysis
Johannes Kepler University（约翰内斯·开普勒大学）；Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
数据增强技术已成为深度学习的标准实践，因为它已被证明可以大大提高模型的泛化能力。这些技术依赖于不同的想法，例如保持不变的变换（例如，专家定义的增强），统计分析（例如，Mixup）和学习数据分布（例如，GANs）。然而，在对抗性环境中，仍然不清楚在什么条件下这种数据增强方法降低甚至恶化了错误分类的风险。因此，在本文中，我们分析了不同的数据增强技术对对抗风险的影响，通过三个措施：（a）众所周知的风险下的对抗攻击，（b）一个新的措施的预测变化的压力的基础上拉普拉斯算子，（c）的影响，训练样本预测。我们的实证分析的结果反驳的假设，即数据增强引起的分类性能的改善总是伴随着对抗攻击下的风险的改善。此外，我们的研究结果表明，增广数据比非增广数据有更大的影响，对所产生的模型。总之，我们的研究结果表明，通用数据增强，不考虑到数据和任务的特点，必须谨慎应用。
2020-07-06 cs.LG stat.ML
Adversarial Risk Bounds for Neural Networks through Sparsity based Compression
Institute for Theoretical Information Technology（理论信息技术研究所）；RWTH Aachen University（亚琛工业大学）
神经网络已经被证明容易受到其输入的微小对抗性扰动的影响，特别是对于在$\ell_\infty$攻击下的高维数据。为了解决这个问题，已经采用了对抗训练等技术来获得在训练集上鲁棒的模型。然而，此类模型对对抗性扰动的鲁棒性可能无法推广到看不见的数据。为了研究鲁棒性如何推广，最近的工作假设输入具有有界$\ell_2$ -范数，以便在没有显式维度依赖的情况下约束$\ell_\infty$攻击的对抗风险。在这项工作中，我们专注于$\ell_\infty$攻击$\ell_\infty$有界的输入和证明基于边缘的界限。具体来说，我们使用基于压缩的方法，该方法依赖于有效压缩可调参数集，而不会扭曲对抗风险。为了实现这一点，我们将有效稀疏性和有效联合稀疏性的概念应用于神经网络的权重矩阵。这导致边界不显式依赖于输入维度，也不依赖于类的数量。我们的研究结果表明，具有近似稀疏权矩阵的神经网络不仅具有增强的鲁棒性，而且具有更好的泛化能力。
2019-06-03 cs.LG stat.ML
The Many Faces of Adversarial Risk
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
对抗风险量化了分类器在对抗扰动数据上的性能。文献中出现了许多对抗性风险的定义，这些定义在数学上并不严格，在细节上也有细微的差别。在本文中，我们重新审视这些定义，使他们严格，并严格审查他们的异同。我们的技术工具来自最优运输，稳健的统计，功能分析和博弈论。我们的贡献包括：将Strassen定理推广到非平衡最优传输环境，并应用于具有不等先验的对抗分类;证明了对抗鲁棒性与基于$\infty$ -Wasserstein不确定集的鲁棒假设检验之间的等价性;证明了在对抗者和算法之间的二人博弈中存在纯Nash均衡;以及通过属于$\infty$ -Wasserstein不确定性集合的一对分布之间的最小贝叶斯误差来表征对抗风险。我们的研究结果推广和深化了最近发现的最佳运输和对抗鲁棒性之间的联系，并揭示了Choquet容量和博弈论的新联系。
2022-01-22 cs.IT cs.LG math.IT
Adversarial Feature Learning of Online Monitoring Data for Operational Risk Assessment in Distribution Networks
Shanghai Jiaotong University（上海交通大学）；Tennessee Technological University（田纳西理工大学）；North China Electric Power University（华北电力大学）
随着配电网在线监测系统的部署，通过它们收集的大量数据包含了丰富的网络运行状态信息。通过利用这些数据，本文提出了一种基于双向生成对抗网络（BiGANs）的无监督方法，用于配电网的操作风险评估。该方法包括两个阶段：（1）对抗性特征学习。从在线监测数据中提取最具代表性的特征，并计算特征的统计指数$\mathcal{N}_ϕ$，在此期间，我们对真实数据不做任何假设或简化。(2)业务风险评估。将标准化$\mathcal{N}_ϕ$的总体均值的置信水平$1-α$与分为紧急、高风险、预防和正常的操作风险水平相结合，计算每个数据点的p值，并与$\fracα{2}$进行比较，以确定风险水平。该方法能够发现真实数据的潜在结构，并提供更准确的评估结果。合成数据来说明所提出的方法中涉及的参数的选择。实际在线监测数据的案例研究验证了该方法在风险评估中的有效性和优势。
2019-07-21 cs.LG stat.ML
A law of adversarial risk, interpolation, and label noise
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
在监督学习中，已经证明数据中的标签噪声可以插值，而不会影响测试准确性。我们表明，插值标签噪声诱导对抗脆弱性，并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设，我们的结果几乎是紧的。然后，我们研究这个问题的不同组成部分如何影响这个结果，包括分布的属性。我们还讨论了非均匀的标签噪声分布，并证明了一个新的定理，表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后，我们提供了理论和经验证据，均匀的标签噪声比典型的现实世界的标签噪声更有害。最后，我们将展示如何感应偏置放大标签噪声的影响，并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Generative Adversarial Regression (GAR): Learning Conditional Risk Scenarios
Telfer School of Management University of Ottawa（奥克塔维亚大学塔弗尔管理学院）
GAR通过生成器学习条件风险场景，结合最小最大框架提升鲁棒性，实验显示其在风险保留和稳定性方面优于传统方法。
2026-03-09 cs.LG math.OC q-fin.PM
A General Retraining Framework for Scalable Adversarial Classification
Vanderbilt University（范德堡大学）；Shanghai Jiaotong University（上海交通大学）
传统的分类算法假设训练数据和测试数据来自相似的分布。这种假设在对抗性设置中被违反，其中恶意行为者修改实例以逃避检测。针对对抗性规避攻击和鲁棒学习，已经开发了许多自定义方法。我们提出了第一个系统和通用的再训练框架，它可以：a）提高\emph{arbitrary}学习算法的鲁棒性，面对b）比任何现有方法更广泛的对抗模型。我们证明了，在自然条件下，再训练框架最小化了最优对抗风险的上限，并展示了如何将这一结果扩展到规避攻击的近似值。广泛的实验评估表明，我们的再训练方法与最先进的优化对抗风险的算法几乎没有区别，但更通用，可扩展性更强。实验还证实，如果没有再训练，我们的对抗框架会大大降低学习的有效性。相比之下，再训练显著提高了对规避攻击的鲁棒性，而不会显著影响整体准确性。
2016-11-26 cs.GT cs.LG stat.ML
Theoretical Analysis of Adversarial Learning: A Minimax Approach
The University of Sydney（悉尼大学）
在这里，我们提出了一个一般的理论方法来分析存在对手的风险范围。具体来说，我们试图将对抗学习问题纳入极大极小框架。我们首先表明，原来的对抗学习问题可以减少到一个极大极小统计学习问题，通过引入分布之间的传输映射。然后，我们证明了一个新的风险界的覆盖数在弱版本的Lipschitz条件下的极大极小问题。我们的方法可以应用于多类分类问题和常用的损失函数，如铰链和坡道损失。作为一些说明性的例子，我们推导出SVM、深度神经网络和PCA的对抗风险边界，我们的边界有两个数据依赖项，可以优化以实现对抗鲁棒性。
2019-01-24 cs.LG stat.ML
Risk Management with Feature-Enriched Generative Adversarial Networks (FE-GAN)
University College London（伦敦大学学院）
本文研究FE-GAN在金融风险管理中的应用，通过纳入前期数据衍生的额外输入序列增强GAN架构，评估WGAN和Tail-GAN，结果显示其显著提升VaR和ES估计性能，Tail-GAN在ES估计中更优。
2024-11-23 cs.LG q-fin.RM stat.ML
Adversarial Consistency and the Uniqueness of the Adversarial Bayes Classifier
Mathematics, Courant Institute, New York, USA（数学，Courant研究所，纽约，美国）
本文研究对抗学习中的凸替代损失一致性，发现其等价于对抗贝叶斯分类器的唯一性，为鲁棒分类器设计提供理论指导。
2024-10-21 cs.LG math.ST stat.ML
Statistically Robust Neural Network Classification
University of Oxford（牛津大学）；Twitter Cortex（推特Cortex）
尽管它们取得了许多成功，但在许多情况下，对抗性风险度量并不能提供适当的鲁棒性度量。例如，测试时的扰动可能会发生在概率的方式，而不是由一个明确的对手，而穷人的训练-测试概括的对抗性指标可以限制其使用简单的问题。出于这一动机，我们开发了一个概率鲁棒风险框架，统计鲁棒风险（SRR），它考虑逐点腐败分布，而不是最坏情况下的对手。与自然风险和对抗性风险相比，SRR提供了一种独特的、互补的稳健性能衡量标准。我们表明，SRR承认的估计和训练计划，这是简单和有效的自然风险：这些只是需要噪声的输入，但有一个原则性的推导究竟如何以及为什么要这样做。此外，我们从理论和实验上证明，与对抗性风险相比，它可以提供更好的泛化性能，从而能够应用于高维数据集。
2021-08-01 cs.LG stat.ML
You Don't Need Robust Machine Learning to Manage Adversarial Attack Risks
该综述梳理对抗机器学习攻击的相关文献，评估其对普通实体的真实风险，指出多数威胁无需采用高成本的鲁棒ML方案，同时给出了需使用鲁棒模型的场景建议。
2023-06-16 cs.LG stat.ML
Generalization Bounds for Adversarial Contrastive Learning
Wuhan University（武汉大学）
众所周知，深度网络对对抗攻击很脆弱，对抗性训练是用于训练鲁棒模型的最流行方法之一。为了利用未标记的数据，最近的工作已经将对抗训练应用于对比学习（对抗对比学习; ACL），并获得了有希望的鲁棒性能。然而，ACL的理论还没有得到很好的理解。为了填补这一空白，我们利用Rademacher复杂性来分析ACL的泛化性能，特别关注$\ell_p$攻击下的线性模型和多层神经网络（$p \ge 1$）。我们的理论表明，下游任务的平均对抗风险可以由上游任务的对抗无监督风险的上界。实验结果验证了我们的理论。
2023-02-21 cs.LG stat.ML
Adversarial Risk and Robustness: General Definitions and Implications for the Uniform Distribution
University of Virginia（弗吉尼亚大学）
我们研究对抗扰动时的实例均匀分布在$\{0,1\}^n$。我们研究了适用于任何问题和任何分类器的“固有”界限，以及适用于特定问题和特定假设类的界限。由于目前的文献包含对抗风险和鲁棒性的多个定义，我们首先根据它们的目标对这些定义进行分类，我们通过将实例推到错误区域来确定其中一个是保证错误分类的定义。然后，我们研究了一些经典的算法学习单调连接，并比较其对抗风险和鲁棒性在不同的定义下攻击的假设使用的实例从均匀分布。我们观察到，有时这些定义导致显着不同的界限。因此，本研究主张使用错误区域定义，即使其他定义，在其他上下文中，可能与错误区域定义。使用错误区域定义的对抗扰动，然后我们研究的风险和鲁棒性的任何分类问题的实例均匀分布在$\{0,1\}^n$的任何分类器的固有界限。使用布尔超立方体的等周不等式，我们表明，对于初始错误$0.01$，总是存在一个对抗扰动，改变$O(\sqrt{n})$位的实例，以增加风险$0.5$，分类器的决策毫无意义。此外，还使用中心极限定理，我们表明，当$n\to \infty$，在最多$c \cdot \sqrt{n}$位的扰动，对于一个通用的常数$c< 1.17$，足以增加$0.5$的风险，和相同的$c \cdot \sqrt{n} $位的扰动平均足以增加$1$的风险，从而限制了稳健性的$c \cdot \sqrt{n}$。
2018-10-29 cs.CC cs.CR cs.LG
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University（卡内基梅隆大学）
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而，迄今为止，令人惊讶的是，统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下，给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比（AdvSNR）表示，它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合，我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界，并设计了一个计算效率高的估计器，以实现此最佳速率。我们的结果建立在最小的假设集，同时涵盖了广泛的对抗性扰动，包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Privacy Risks of Securing Machine Learning Models against Adversarial Examples
Princeton University（普林斯顿大学）；National University of Singapore（新加坡国立大学）
近年来，机器学习模型的攻击和防御之间的军备竞赛已经成为安全社区和隐私社区的前沿。然而，以前的研究的一个很大的局限性是，安全域和隐私域通常被分开考虑。因此，尚不清楚一个领域的防御方法是否会对另一个领域产生任何意想不到的影响。在本文中，我们采取了一个步骤，解决这一限制相结合的两个领域。特别是，我们衡量了六种最先进的防御方法对成员推理攻击的成功，这些方法可以减轻对抗性示例的风险（即，逃避攻击）。成员推断攻击确定单个数据记录是否是模型训练集的一部分。这种攻击的准确性反映了训练算法关于训练集个体成员的信息泄漏。对抗性示例的对抗性防御方法会影响模型的决策边界，使得模型预测在每个输入周围的小区域内保持不变。然而，这个目标是在训练数据上优化的。因此，训练集中的单个数据记录对鲁棒模型有显著影响。这使得模型更容易受到推理攻击。为了执行成员推理攻击，我们利用现有的推理方法，利用模型预测。我们还提出了两个新的推理方法，利用结构特性的强大的模型对不利扰动的数据。我们的实验评估表明，与自然训练（无防御）方法相比，对抗性防御方法确实可以增加目标模型对成员推断攻击的风险。
2019-08-25 cs.CR cs.LG stat.ML
Deep Learning Defenses Against Adversarial Examples for Dynamic Risk Assessment
Vicomtech Foundation（维康特奇基金会）；Basque Research and Technology Alliance（巴斯克研究与技术联盟）
深度神经网络最初是在几十年前开发的，但直到最近，由于其计算能力的要求，它们才开始被广泛使用。从那时起，它们越来越多地应用于许多领域，并取得了深远的进步。更重要的是，它们已被用于关键事项，例如在医疗程序或自动驾驶中做出决策，其中风险管理至关重要。在这些领域的诊断或决策中的任何错误都可能导致严重事故，甚至死亡。这是令人关注的，因为已经多次报道攻击这种类型的模型是直接的。因此，必须对这些攻击进行研究，以评估其风险，并开发防御措施，使模型更加强大。在这项工作中，选择了最广为人知的攻击（对抗攻击），并对其实施了几种防御（即对抗训练，降维和预测相似性）。所获得的结果使得模型在保持相似精度的同时更加鲁棒。这个想法是使用乳腺癌数据集和VGG 16和密集神经网络模型开发的，但解决方案可以应用于其他领域的数据集和不同的卷积和密集深度神经网络模型。
2020-07-02 cs.CR cs.LG stat.ML
Adversarial Learning of Label Dependency: A Novel Framework for Multi-class Classification
National Taiwan University（国立台湾大学）
最近的工作表明，利用标签之间的关系提高了多标签分类的性能。我们提出了一种新的框架，基于生成对抗网络（GANs）来建模标签依赖。该算法通过区分真实的和生成的标签集来学习对标签依赖性进行建模。为了欺骗分类器，分类器或生成器学习生成具有接近真实数据的依赖关系的标签集。在两个大规模图像分类基准数据集（MS-COCO和NUS-WIDE）上的实验和比较表明，该方法提高了模型的泛化能力
2018-11-12 cs.LG stat.ML
Linking Generative Adversarial Learning and Binary Classification
在这篇文章中，我们指出了生成对抗（GA）训练和二进制分类之间的基本联系-任何强大的分类器本质上都会计算真实样本和生成样本之间的（f-）分歧。在决策理论中反复重新推导的结果对GA网络（GANs）具有影响，通过设计模糊损失函数，为训练f-GANs提供了另一种视角。
2017-09-05 cs.AI cs.LG stat.ML
Defending Malware Classification Networks Against Adversarial Perturbations with Non-Negative Weight Restrictions
Google（谷歌）
越来越多的文献表明，深度神经网络容易受到对抗性输入修改的影响。最近，这项工作已经从图像分类扩展到布尔特征上的恶意软件分类。在本文中，我们提出了几种在这个特定领域训练受限网络的新方法，这些方法在防止对抗性扰动方面非常有效。我们从一个完全抗对抗的神经网络开始，它具有严格的非负权重限制，相当于学习单调布尔函数，然后尝试放松约束以提高分类器的准确性。
2018-06-23 cs.CR cs.LG stat.ML
Proper Network Interpretability Helps Adversarial Robustness in Classification
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
最近的工作经验表明，存在对抗性的例子，可以隐藏神经网络的可解释性（即，使网络解释图在视觉上相似），或可解释性本身容易受到对抗攻击。在本文中，我们从理论上证明，通过适当的解释测量，实际上很难防止预测规避对抗攻击引起解释差异，正如MNIST、CIFAR-10和Restricted ImageNet上的实验所证实的那样。在此基础上，我们开发了一个可解释性感知的防御方案，该方案仅建立在促进鲁棒解释的基础上（而不需要诉诸对抗性损失最小化）。我们表明，我们的防御实现了鲁棒的分类和鲁棒的解释，特别是针对大扰动攻击的最先进的对抗性训练方法。
2020-10-21 cs.LG stat.ML
Boosting Deep Learning Risk Prediction with Generative Adversarial Networks for Electronic Health Records
University of Southern California（南加州大学）；AI Foundations, IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心AI基础部门）；Binghamton University, SUNY（纽约州立大学宾汉姆顿大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
电子健康记录（EHRs）的快速增长，以及随之而来的数据驱动医疗保健（DDH）的机会，已经引起了广泛的兴趣和关注。深度学习方法的设计和应用的最新进展已经显示出有希望的结果，并正在推动医疗保健学术界和行业的巨大变化，但这些方法中的大多数依赖于大量的标记数据。在这项工作中，我们提出了一个通用的深度学习框架，该框架能够在有限的EHR数据的情况下提高风险预测性能。我们的模型采用了一种改进的生成对抗网络，即ehrGAN，它可以通过模仿真实的患者记录来提供合理的标记EHR数据，以半监督学习的方式来增强训练数据集。我们使用这种生成模型与基于卷积神经网络（CNN）的预测模型，以提高发病预测性能。在两个真实的医疗数据集上的实验表明，我们提出的框架产生了真实的数据样本，并在几个最先进的基线上使用生成的数据实现了分类任务的显着改进。
2017-09-06 cs.LG stat.ML
Dual Adversarial Co-Learning for Multi-Domain Text Classification
Carleton University（卡尔顿大学）
在本文中，我们提出了一种新的双对抗的多域文本分类（MDTC）的共同学习方法。该方法学习共享私有网络进行特征提取，并在基于差异的协同学习框架下，采用双对抗正则化方法同时对齐不同领域以及标记和未标记数据之间的特征，旨在提高分类器的泛化能力。我们在多领域情感分类数据集上进行了实验。实验结果表明，该方法实现了最先进的MDTC性能。
2019-09-18 cs.IR cs.LG stat.ML
Regularizing Neural Networks via Adversarial Model Perturbation
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
在深度学习中，非常需要有效的正则化技术来减轻过拟合并提高泛化能力。这项工作提出了一个新的正则化方案，基于这样的理解，即经验风险的平坦局部极小值导致模型更好地泛化。该方案被称为对抗模型扰动（AMP），其中不是直接最小化经验风险，而是通过SGD最小化替代"AMP损失"。具体地说，AMP损失是通过在参数空间中的每个点上应用"最差"范数有界扰动从经验风险中获得的。与大多数现有的正则化方案相比，AMP有很强的理论依据，因为最小化AMP损失在理论上可以证明有利于经验风险的平坦局部最小值。在各种现代深度架构上进行的大量实验使AMP成为正则化方案中最新的技术水平。我们的代码可在www.example.com上获得。
2021-05-07 cs.AI cs.LG stat.ML
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University（卡内基梅隆大学）；Conversant LLC（Conversant有限责任公司）；California Institute of Technology（加州理工学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布，该预测分布针对（近似）匹配训练数据统计的最坏情况条件标签分布（对抗分布）鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的，但该框架的对偶公式是一个凸优化问题，可以重新转换为具有指定凸代理损失的风险最小化模型，我们称之为对抗代理损失。我们表明，对抗性代理损失填补了现有的空白，代理损失建设一般多类分类问题，同时更好地与原始多类损失对齐，保证Fisher一致性，使一种方式，通过内核技巧，将丰富的特征空间，并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Adversarial Reprogramming of Text Classification Neural Networks
University of California San Diego（加州大学圣地亚哥分校）
对抗性重编程已经成功地利用预先训练的神经网络分类器进行替代分类任务，而无需修改原始网络。这种攻击场景中的对手训练对输入的附加贡献，以将神经网络重新用于新的分类任务。虽然这种重编程方法适用于具有连续输入空间（例如图像）的神经网络，但它不直接适用于针对文本分类等任务训练的神经网络，其中输入空间是离散的。重新使用这样的分类网络需要攻击者学习一个对抗程序，将输入从一个离散空间映射到另一个离散空间。在这项工作中，我们引入了一个基于上下文的词汇重映射模型来重新编程神经网络训练的特定序列分类任务，一个新的序列分类任务所需的对手。我们提出了在白盒和黑盒设置中的对抗程序的训练程序。我们通过逆向地重新利用各种文本分类模型（包括LSTM、双向LSTM和CNN）来演示我们的模型的应用，以用于替代分类任务。
2019-08-15 cs.CR cs.LG stat.ML
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Cleaning up the neighborhood: A full classification for adversarial partial monitoring
DeepMind
部分监控是著名的多臂强盗框架的推广，其中学习者不能直接观察到损失。我们完成了有限对抗部分监控的分类，包括所有游戏，解决了Bartok等人提出的一个开放问题。一路上，我们简化和改进现有的算法，并纠正以前的分析中的错误。我们的第二个贡献是巴托克[2013]研究的一类游戏的新算法，其中我们证明了后悔上界和下界，这些上界和下界揭示了后悔对游戏结构的依赖性。
2018-05-23 cs.LG stat.ML
Lower Bounds on Adversarial Robustness for Multiclass Classification with General Loss Functions
University College London（伦敦大学学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
该研究针对多分类对抗鲁棒分类问题，推导了通用损失下鲁棒风险最小化的对偶与重心重构形式，给出多种损失的显式刻画，可高效计算紧下界并助力鲁棒分类器设计，还揭示了其与公平装箱、广义重心问题的关联，通过数值实验验证了交叉熵损失下可得到更紧下界。
2025-10-02 cs.LG math.OC stat.ML
Lipschitz Networks and Distributional Robustness
The Australian National University（澳大利亚国立大学）；Data 61；Google Brain（谷歌大脑）；The University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The University of Sydney（悉尼大学）
鲁棒风险最小化有几个优点：它已被研究，以提高模型的泛化性能和对抗性扰动的鲁棒性。我们通过涉及模型的Lipschitz常数的正则化经验风险来约束足够丰富以包括深度神经网络的模型类的分布鲁棒风险。这使我们能够解释和量化深度神经网络的鲁棒性。作为一个应用，我们展示了对抗训练风险的分布鲁棒风险上界。
2018-09-04 cs.LG stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University（东北大学）
最先进的深度神经网络（DNN）容易受到对抗性示例的攻击：精心设计的对输入的微小扰动，人类无法察觉，可能会误导DNN。为了了解对抗性示例的根本原因，我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量，我们提出了一个更实用的强对抗性示例的相关定义，该定义还单独限制了沿信号方向的扰动。我们表明，线性分类器可以强大的对抗性的例子攻击的情况下，没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机（SVM）分类器的数值实验，验证了定量公式的正确性.结果表明，设计一般的强对抗性鲁棒学习系统是可行的，但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Adversarial Attacks on Time Series
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
时间序列分类模型在研究界已经获得了显着的重要性。然而，在为这些模型生成对抗性样本方面还没有做太多的研究。这些对抗性样本可能成为安全问题。在本文中，我们提出了利用对抗性转换网络（ATN）在一个蒸馏模型攻击各种时间序列分类模型。对分类模型的拟议攻击利用一个蒸馏模型作为替代，模仿受攻击的经典时间序列分类模型的行为。我们提出的方法被应用到1-最近邻动态时间规整（1-NN）DTW，全连接网络和全卷积网络（FCN）上，所有这些都是在42个加州大学河滨分校（UCR）数据集上训练的。在本文中，我们证明了这两个模型都容易受到所有42个数据集的攻击。据我们所知，这种对时间序列分类模型的攻击以前从未发生过。最后，我们建议未来开发时间序列分类模型的研究人员将对抗性数据样本纳入其训练数据集中，以提高对抗性样本的弹性，并将模型鲁棒性考虑为评估指标。
2019-03-01 cs.LG stat.ML
Effectiveness of Adversarial Examples and Defenses for Malware Classification
University of North Texas（北德克萨斯大学）
人工神经网络已经成功地用于许多不同的分类任务，包括恶意软件检测和区分恶意和非恶意程序。尽管人工神经网络在这些任务上表现得非常好，但它们也容易受到对抗性示例的影响。对抗性样本是一个样本，它被做了微小的修改，因此神经网络会错误地分类它。已经提出了许多技术，用于制作对抗性样本和强化神经网络来对抗它们。以前的大多数工作都是在图像领域完成的。一些攻击已被用于恶意软件领域，该领域通常处理二进制特征向量。为了更好地理解恶意软件分类中对抗性示例的空间，我们研究了恶意软件领域中制作对抗性示例和防御技术的不同方法，并比较了它们在多个数据集上的有效性。
2019-09-10 cs.CR cs.LG stat.ML
On the existence of solutions to adversarial training in multiclass classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究多类分类中对抗训练解的存在性，在不可知分类器设定下证明三个模型均存在Borel可测鲁棒分类器，并建立对抗训练与最优传输及全变差正则化的新联系，同时改进了二分类情形下的存在性结果。
2023-05-29 cs.LG math.OC stat.ML
Fundamental Tradeoffs in Distributionally Adversarial Training
University of Southern California（南加州大学）；Adobe Research（奥多比研究院）
对抗性训练是提高模型对对抗性扰动的鲁棒性的最有效技术之一。然而，这种方法对模型的全部影响还没有得到很好的理解。例如，虽然对抗性训练可以降低对抗性风险（对对手的预测误差），但有时会增加标准风险（当没有对手时的泛化误差）。更重要的是，这种行为受到学习问题的各种元素的影响，包括训练数据的大小和质量，输入中对抗性扰动的具体形式，模型过度参数化和对手的力量等。在本文中，我们专注于\emph{distribution perturbing}对手的框架，其中对手可以改变测试分布在附近的训练数据分布。通过分布之间的Wasserstein距离定义邻域，并且邻域的半径是对手操纵能力的度量。我们研究了标准风险和对抗风险之间的权衡，并推导出帕累托最优权衡，在特定类别的模型中，在无限数据限制下，特征维度保持固定。我们考虑三种学习设置：1）线性模型类的回归; 2）高斯混合数据模型下的二元分类，线性分类器类; 3）随机特征模型类的回归（可以等效地表示为具有随机第一层权重的两层神经网络）。我们发现，标准和对抗风险之间的权衡表现在所有三种设置。我们进一步描述了Pareto最优的权衡曲线，并讨论了各种因素，如特征相关性，对手的力量或两层神经网络的宽度将如何影响这种权衡。
2021-01-15 cs.LG math.ST stat.ML
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia（弗吉尼亚大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的，并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中，我们提出了一个原则性的对抗性的例子检测方法，可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发，在K类分类问题中，我们训练K个二元分类器，其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时，我们首先使用一个训练好的分类器来获得输入的预测标签（比如k），然后使用第k个二元分类器来确定输入是干净的样本（k类）还是被干扰的样本（其他类）。我们进一步设计了一种生成方法来检测/分类对抗性的例子，通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估，并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
Encryption Inspired Adversarial Defense for Visual Classification
Tokyo Metropolitan University（东京都立大学）
无论模型是否受到攻击，传统的对抗性防御都会降低分类准确性。此外，大多数基于图像处理的防御由于模糊梯度的问题而失败。在本文中，我们提出了一种新的对抗性防御，这是一个防御性的变换的训练和测试图像的启发感知图像加密方法。所提出的方法利用了一个秘密密钥的逐块像素洗牌方法。实验进行了自适应和非自适应最大范数有界白盒攻击，同时考虑混淆梯度。实验结果表明，该方法在CIFAR-10数据集上，在噪声距离为8/255的干净图像和对抗性样本上分别达到了91.55%和89.66%的准确率。因此，所提出的防御优于最先进的对抗性防御，包括潜在对抗性训练，对抗性训练和温度计编码。
2020-05-16 cs.CR cs.LG stat.ML
Benign Overfitting in Adversarially Robust Linear Classification
Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
“良性过拟合”，即分类器记住噪声训练数据，但仍然获得良好的泛化性能，引起了机器学习界的极大关注。为了解释这一令人惊讶的现象，一系列的工作提供了理论上的理由，在过参数化的线性回归，分类和核方法。然而，目前尚不清楚良性过拟合是否仍然发生在存在对抗性示例的情况下，即，用微小的故意扰动来欺骗分类器的例子。在本文中，我们证明了良性过拟合确实发生在对抗性训练中，这是一种防御对抗性示例的原则性方法。详细地，我们证明了在$\ell_p$对抗性扰动下，对抗性训练的线性分类器在亚高斯混合数据上的风险界。我们的研究结果表明，在适度的扰动下，对抗训练的线性分类器可以实现接近最优的标准和对抗风险，尽管过拟合的噪声训练数据。数值实验验证了我们的理论研究结果。
2021-12-31 cs.LG math.OC stat.ML
Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity
The University of Sydney（悉尼大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究了一个基于分布鲁棒机会约束的对抗分类模型。我们表明，在Wasserstein歧义下，该模型的目标是最小化错误分类距离的条件风险值，我们探索了与早期提出的对抗性分类模型和最大边缘分类器的联系。我们还提供了一个重新制定的分布鲁棒模型的线性分类，并表明它是等价于最小化正则化斜坡损失的目标。数值实验表明，尽管这个公式的非凸性，标准下降方法似乎收敛到这个问题的全局极小值。受此观察的启发，我们表明，对于某一类分布，正则化斜坡损失最小化问题的唯一稳定点是全局最小值。
2021-11-04 cs.LG math.OC stat.ML
The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究对抗性多类分类问题，通过将其等价转化为广义重心问题与多边际最优传输问题，揭示了对抗学习的几何结构，并证明求解这些对偶问题可恢复最优鲁棒分类规则与对抗策略。
2023-05-26 cs.LG math.AP math.OC
Time Series Simulation by Conditional Generative Adversarial Net
Wells Fargo（富国银行）
生成对抗网络（GAN）是一种强大的机器学习工具，可用于图像数据的分析和生成。在本文中，我们提出使用条件生成对抗网络（CGAN）学习和模拟时间序列数据。条件可以是包含不同种类辅助信息的分类变量和连续变量。我们的模拟研究表明，CGAN是能够学习不同类型的正常和重尾分布，以及不同的时间序列的相关结构，它可以进一步生成与训练数据分布一致的条件预测分布。我们还提供了一个深入的讨论的基本原理的GAN和神经网络分层样条绘制一个明确的连接与现有的统计方法的分布生成。在实践中，CGAN在市场风险和交易对手风险分析中有着广泛的应用：它可以用于学习历史数据，生成计算风险价值（VaR）和预期短缺（ES）的情景，并预测市场风险因素的变化。我们提出了一个真实的数据分析，包括回测，以证明CGAN是能够优于历史模拟，一个流行的方法在市场风险分析计算的VaR。CGAN还可以应用于经济时间序列的建模和预测，最后给出了CGAN用于经济模型假设冲击分析和潜在CCAR情景生成的实例。
2019-04-25 cs.LG eess.IV stat.ML
Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
针对高斯混合模型上的单指标模型，在流式SGD下推导$\ell_2$-对抗训练学习动力学的确定性等价，分析两种学习率调度，揭示各向异性协方差和岭参数不匹配导致精确线搜索次优。
2026-07-02 cs.LG math.OC math.PR
Adversarial Attacks on Graph Classification via Bayesian Optimisation
University of Oxford（牛津大学）
图神经网络是一种在广泛的基于图的学习任务中有效的流行模型，已被证明容易受到对抗性攻击。虽然大多数文献都集中在节点级分类任务中的这种脆弱性上，但很少有人致力于分析对图级分类的对抗性攻击，这是生物化学和社交网络分析等众多现实应用的一个重要问题。现有的几种方法通常需要不切实际的设置，例如访问受害者模型的内部信息，或者不切实际的大量查询。我们提出了一种新的贝叶斯优化为基础的攻击方法的图分类模型。我们的方法是黑盒，查询效率和吝啬的扰动。我们经验验证了所提出的方法的有效性和灵活性，广泛的图形分类任务，涉及不同的图形属性，约束和攻击模式。最后，我们分析了产生的对抗样本背后的常见可解释模式，这可能会进一步揭示图分类模型的对抗鲁棒性。
2021-11-04 cs.AI cs.CR cs.LG
Towards Adversarial Training with Moderate Performance Improvement for Neural Network Classification
Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
已有研究表明，深度神经网络在推理过程中容易受到噪声样本，特别是对抗样本的影响。现实世界应用中的强大深度学习系统与脆弱的神经网络之间的差距仍然很大。目前的对抗训练策略提高了对抗样本的鲁棒性。然而，这些方法会导致精度降低时，输入的例子是干净的，从而阻碍了实用性。在本文中，我们研究了一种方法，保护神经网络分类从敌对的样本，并提高其准确性时，输入的例子是干净的。我们在各种不同的网络和数据集上展示了我们所提出的方法的多功能性和有效性。
2018-07-01 cs.AI cs.CV cs.LG
Adversarial Attacks on Deep-Learning Based Radio Signal Classification
Linköping University（林雪平大学）
尽管深度学习（DL）在许多计算机视觉和语言处理应用中取得了巨大成功，但它非常容易受到对抗攻击的影响。我们考虑使用DL的无线电信号（调制）分类任务，并提出了实用的方法，在该应用程序中的白盒和通用的黑盒对抗攻击的制作。我们表明，这些攻击可以大大降低分类性能，输入的扰动极小。特别地，这些攻击比经典的干扰攻击明显更强大，这在无线物理层使用基于DL的算法时引起了显著的安全性和鲁棒性问题。
2018-08-23 cs.CR cs.IT cs.LG
Asymptotic Behavior of Adversarial Training in Binary Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
一直有报道称，许多机器学习模型容易受到对抗性攻击，即，应用于数据点的小的加性对抗扰动可能导致错误分类。使用经验风险最小化的对抗性训练被认为是防御对抗性攻击的最先进方法。尽管在实践中取得了成功，但在理解对抗训练的泛化性能方面仍存在一些问题。在本文中，我们推导出了二进制分类中对抗训练性能的精确理论预测。我们考虑高维制度，其中数据的维度与训练数据集的大小以恒定的比率增长。我们的研究结果提供了精确的渐近标准和对抗测试误差的估计获得对抗训练$\ell_q$ -范数有界扰动（$q \ge 1$）的歧视性二元模型和生成高斯混合模型的相关功能。此外，我们使用这些尖锐的预测来揭示几个有趣的观察各种参数的作用，包括过参数化比率，数据模型，以及攻击预算的对抗性和标准误。
2021-07-14 cs.IT cs.LG eess.SP
The Geometry of Adversarial Training in Binary Classification
Hausdorff Center for Mathematics（豪斯多夫数学中心）；University of Bonn（波恩大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；North Carolina State University（北卡罗来纳州立大学）
我们建立了一个非参数二进制分类的对抗训练问题的家庭和一个家庭的正则化风险最小化问题，其中正则化是一个非局部周边功能之间的等价性。由此产生的正则化风险最小化问题承认$L^1+$（非局部）$\operatorname{TV}$，一种经常在图像分析和基于图形的学习中研究的形式的精确凸松弛。一个丰富的几何结构，揭示了这一重新制定，这反过来又使我们能够建立一系列的性质的最佳解决方案的原始问题，包括存在的最小和最大的解决方案（解释在一个合适的意义上），并存在的正规解决方案（也解释在一个合适的意义上）。此外，我们强调了对抗训练和周长最小化问题之间的联系如何为涉及周长/总变差的正则化风险最小化问题家族提供了一种新颖的、可直接解释的统计动机。我们的大多数理论结果与用于定义对抗攻击的距离无关。
2022-08-01 cs.LG math.AP math.MG
Localized Adversarial Training for Increased Accuracy and Robustness in Image Classification
Ohio State University（俄亥俄州立大学）；California State Polytechnic University, Pomona（加州州立理工大学波莫纳分校）
当今最先进的图像分类器无法正确分类精心操纵的对抗图像。在这项工作中，我们开发了一种新的，本地化的对抗攻击，通过不知不觉地改变正常图像的背景来生成对抗的例子。我们首先使用这种攻击来突出神经网络对图像背景变化的不必要的敏感性，然后将其用作新训练技术的一部分：局部对抗训练。通过在训练集中包含局部对抗性图像，我们能够创建一个分类器，该分类器在自然输入和对抗性输入上的损失都小于非对抗性训练的对应模型。在MNIST和CIFAR-10数据集上对我们的本地化对抗训练算法进行的评估显示，自然图像的准确性损失降低，对抗对抗输入的鲁棒性增强。
2019-09-10 cs.CR cs.CV cs.LG
Risk Analysis and Design Against Adversarial Actions
Dipartimento di Ingegneria dell’Informazione – Università di Brescia（信息工程系——布雷西亚大学）；NASA Langley Research Center（NASA兰利研究中心）；Dipartimento di Elettronica, Informazione e Bioingegneria – Politecnico di Milano（电子、信息与生物工程系——米兰理工学院）
本文提出一个通用且原则性强的框架，通过松弛优化技术评估模型在部署时面对不同对抗行动的鲁棒性，无需额外测试数据即可在无分布设置下评估模型脆弱性，并扩展至分布外框架。
2025-05-02 cs.AI cs.LG math.ST
