Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa人工智能）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是仅基于仅限于输出标签~（硬标签）到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例，避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST，CIFAR-10和ImageNet的有效性，证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比，我们提出的方法始终实现了2倍到10倍的攻击成功率，同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Stochastic Local Winner-Takes-All Networks Enable Profound Adversarial Robustness
Cyprus University of Technology（塞浦路斯理工大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Aalborg University（奥尔堡大学）
这项工作探讨了基于随机竞争的激活，即随机本地赢家通吃（LWTA），对抗强大的（基于梯度的）白盒和黑盒对抗攻击的潜力;我们特别关注对抗训练设置。在我们的工作中，我们取代了传统的基于ReLU的非线性块包括本地和随机竞争的线性单元。每个网络层的输出现在产生稀疏输出，这取决于每个块中赢家采样的结果。我们依靠变分贝叶斯框架进行训练和推理;我们结合了传统的基于PGD的对抗训练参数，以提高整体对抗鲁棒性。正如我们的实验表明，新兴的网络产生最先进的鲁棒性，对强大的对抗攻击，同时保持非常高的分类率在良性的情况下。
2021-12-05 cs.LG stat.ML
Labeled Graph Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
\emph{generative adversarial networks}（GANs）作为一种新的生成模型训练方法，在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络（LGGAN）来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法，例如引文网络和蛋白质图的集合。实验结果表明，该模型能够生成与训练数据结构特征相匹配的标记图，在质量和通用性上优于其他方法。为了进一步评估生成的图的质量，我们将它们用于图分类的下游任务，结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Stochastic Linear Optimization with Adversarial Corruption
Northwestern University（西北大学）
我们扩展了具有对抗性腐败的随机强盗模型（Lykouriset等人，2018）到随机线性优化问题（Dani等人，2008年）。我们的算法是不可知的腐败量所选择的自适应对手。该算法的遗憾只在腐败量中线性增加。我们的算法涉及使用Löwner-John的椭球进行探索，并将时间范围划分为具有指数增长大小的时期，以限制腐败的影响。
2019-09-04 cs.LG stat.ML
Label-Removed Generative Adversarial Networks Incorporating with K-Means
Nankai University（南开大学）；Tianjin University（天津大学）；Hunan University（湖南大学）
生成对抗网络（GANs）在生成逼真图像方面取得了巨大成功。其中大多数是条件模型，尽管在实践中获取类标签是昂贵和耗时的。为了减少对标记数据的依赖，我们提出了一种无条件生成对抗模型，称为K-Means-GAN（KM-GAN），它将K-Means中更新中心的思想融入到GANs中。具体来说，我们通过对从网络中提取的特征应用K-Means来重新设计GANs的框架。利用从K-Means获得的标签，我们从深度度量学习（DML）的角度提出了新的目标函数。与以往的工作不同，在KM-GAN中，将样本作为特征提取器而不是分类器，同时利用K-Means使样本的特征更具代表性。在MNIST，Fashion-10，CIFAR-10和CelebA等数据集上进行了实验，结果表明KM-GAN生成的样本质量与一些条件生成对抗模型相当。
2019-02-19 cs.LG stat.ML
Learning from Label Proportions with Generative Adversarial Networks
University of Chinese Academy of Sciences（中国科学院大学）；University of International Business and Economics（对外经济贸易大学）
在本文中，我们利用生成对抗网络（GANs）来推导一个有效的算法LLP-GAN，用于从标签比例（LLP）中学习，其中只有标签中的袋级比例信息可用。LLP-GAN具有端到端的结构，根据对抗学习机制进行近似，而不会对分布进行限制性假设。因此，我们可以直接在实例级分类器上进行归纳。在适度的假设下，我们给出了显式的生成表示，并证明了LLP-GAN的全局最优性。此外，与现有的方法相比，我们的工作赋予LLP求解器从深层模型继承能力的可扩展性。基准数据集上的几个实验证明了所提出的方法的生动的优势。
2019-12-02 cs.LG stat.ML
An Algorithm for Stochastic and Adversarial Bandits with Switching Costs
University of Copenhagen（哥本哈根大学）；Università degli Studi di Milano（米兰大学）
我们提出了一个算法的随机和对抗性的多臂土匪切换成本，该算法支付的价格$λ$每次切换正在播放的手臂。我们的算法基于Zimmert和Seldin（2021）的Tsallis-INF算法的改编，并且不需要预先知道政权或时间范围。在不经意的对抗设置中，它达到了$O\big((λK)^{1/3}T^{2/3} + \sqrt{KT}\big)$的最小最大最优遗憾界，其中$T$是时间范围，$K$是手臂的数量。在随机约束的对抗机制中，包括随机机制作为特殊情况，它实现了$O\left(\big((λK)^{2/3} T^{1/3} + \ln T\big)\sum_{i \neq i^*} Δ_i^{-1}\right)$的遗憾界，其中$Δ_i$是次优间隙，$i^*$是唯一的最优臂。在$λ= 0$（无转换成本）的特殊情况下，这两个界在常数内都是极小极大最优的。我们还探讨了问题的变体，其中切换成本允许随着时间的推移而变化。我们提供的实验评估显示我们的算法的竞争力与相关的基线中的随机，随机约束的对抗，对抗制度与固定的切换成本。
2021-02-19 cs.LG stat.ML
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Best of both worlds: Stochastic & adversarial best-arm identification
Adobe Research, USA（Adobe研究院，美国）；University of California, Berkeley, USA（加州大学伯克利分校，美国）；Queensland University of Technology - ACEMS, Australia（昆士兰理工大学 - ACEMS，澳大利亚）；Massachusetts Institute of Technology, USA（麻省理工学院，美国）；SequeL team, INRIA Lille - Nord Europe, France（INRIA里尔 - 北欧，法国）
研究在任意对抗性奖励下的多臂老虎机最佳臂识别问题，探讨在随机和对抗场景下如何设计鲁棒的最优算法，证明无法同时满足两种场景的最优性，并提出一种参数无关算法在随机场景下达到下界，同时对抗鲁棒。
2026-10-20 cs.LG stat.ML
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits
University of Copenhagen（哥本哈根大学）；ICREA（加泰罗尼亚高等研究院）；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种新的多臂土匪随机算法中的间隙估计策略，并将其与Seldin和Slivkins（2014）的EXP3++算法相结合。在随机制度的策略减少了从$(\ln t)^3$到$(\ln t)^2$的时间跨度上的遗憾的依赖性，并消除了顺序为$Δe^{1/Δ^2}$的附加因子，其中$Δ$是问题实例的最小间隙。在对抗制中，后悔保证保持不变。
2017-05-09 cs.LG stat.ML
Stochastic Shortest Path with Adversarially Changing Costs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
随机最短路径（SSP）是规划和控制中的一个著名问题，其中智能体必须以最小的总期望费用到达目标状态。在本文中，我们提出了对抗性SSP模型，该模型还考虑了成本随时间的对抗性变化，而底层的过渡函数保持不变。在形式上，代理与SSP环境交互用于$K$事件，成本函数在事件之间任意改变，并且代理不知道转换。我们开发的第一个算法的对抗性SSP和证明高概率遗憾界的$\widetilde O (\sqrt{K})$假设所有的成本是严格的积极的，和$\widetilde O (K^{3/4})$在一般情况下。我们是第一个考虑这种对抗性SSP的自然设置，并获得次线性遗憾。
2022-04-05 cs.LG stat.ML
Stochastic Activation Pruning for Robust Adversarial Defense
Amazon AI（亚马逊人工智能）；UT Austin（得克萨斯大学奥斯汀分校）；UC Irvine（加利福尼亚大学欧文分校）；CMU（卡内基梅隆大学）；Caltech（加州理工学院）；Imperial College London（伦敦帝国理工学院）
众所周知，神经网络容易受到对抗性样本的攻击。精心选择的对真实图像的扰动，虽然人类无法察觉，但会导致错误分类，并威胁到深度学习系统在野外的可靠性。为了防止对抗性的例子，我们从博弈论中获得灵感，并将问题转换为对手和模型之间的最小最大零和博弈。一般来说，对于这样的博弈，双方的最优策略需要一个随机策略，也称为混合策略。有鉴于此，我们提出了随机激活修剪（SAP），这是一种对抗性防御的混合策略。SAP修剪激活的随机子集（优先修剪幅度较小的那些），并按比例增加幸存者以进行补偿。我们可以将SAP应用于预训练的网络，包括对抗训练的模型，而无需微调，从而提供对抗示例的鲁棒性。实验表明，SAP赋予对攻击的鲁棒性，提高准确性和保持校准。
2018-03-05 cs.LG stat.ML
Adversarial Robustness via Label-Smoothing
Criteo AI Lab（科韬人工智能实验室）
我们研究标签平滑作为提高监督深度学习模型对抗鲁棒性的一种手段。在建立了一个彻底而统一的框架后，我们提出了这种通用方法的几种变体：对抗性方法、玻尔兹曼方法和次佳标签平滑方法，并解释了如何构建您自己的方法。在各种数据集（MNIST，CIFAR 10，SVHN）和模型（线性模型，MLP，LeNet，ResNet）上，我们通过更好地考虑数据集的几何形状，证明了标签平滑通常可以提高对抗各种攻击（FGSM，BIM，DeepFool，Carlini-Wagner）的鲁棒性。所提出的标签平滑方法有两个主要优点：它们可以作为修改的交叉熵损失来实现，因此不需要对网络架构进行任何修改，也不会导致训练时间增加，并且它们可以提高标准和对抗精度。
2019-10-15 cs.AI cs.LG stat.ML
On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems
University of Michigan（密歇根大学）
本文研究了基于扰动的算法在随机和对抗多臂强盗问题中的最优性。对于随机的情况下，我们提供了一个统一的后悔分析的亚威布尔和有界扰动时，奖励是亚高斯。我们的边界是实例最优的子威布尔扰动参数2，也有一个匹配的下尾界，和所有有界的支持扰动，有足够的概率质量的极端支持。对于对抗设置，我们证明了严格的障碍，对两个自然的解决方案的方法，使用离散选择理论和极值理论的工具。我们的结果表明，最佳扰动，如果它存在，将是弗雷歇型。
2019-12-10 cs.LG stat.ML
Adversarial Label Learning
Virginia Tech（弗吉尼亚理工大学）
我们考虑训练分类器的任务没有标签。我们提出了一种弱监督的方法-对抗标签学习-训练分类器，使其在对抗为训练数据选择标签的对手时表现良好。弱监管限制了对手可以选择的标签。因此，该方法使用投影原始-对偶次梯度下降来最小化分类器的出错率的上限。最小化这个界限可以防止弱监督中的偏见和依赖性。在三个真实数据集上的实验表明，该方法可以在没有标签的情况下进行训练，并且在弱监督学习中的性能优于其他方法。
2019-01-29 cs.AI cs.LG stat.ML
Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了分布特定PAC模型中齐次半空间的不可知学习问题。对于一个广泛的家庭的结构化分布，包括对数凹分布，我们表明，非凸SGD有效地收敛到一个解决方案的误分类误差$O(\opt)+\eps$，其中$\opt$是最佳拟合半空间的误分类误差。与此形成鲜明对比的是，我们表明，优化任何凸代理固有地导致误分类错误的$ω(\opt)$，即使在高斯边缘。
2020-06-11 cs.LG stat.ML
Adversarial Resilience against Clean-Label Attacks in Realizable and Noisy Settings
D-MATH IFOR ETH Zürich（苏黎世联邦理工学院数学研究所）
针对干净标签对抗攻击，我们扩展了可实现设定下的弃权（不执行）学习方法至不可知噪声设定，首次给出阈值分类器在对抗噪声下的理论保证。
2025-04-17 cs.LG stat.ML
A law of adversarial risk, interpolation, and label noise
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
在监督学习中，已经证明数据中的标签噪声可以插值，而不会影响测试准确性。我们表明，插值标签噪声诱导对抗脆弱性，并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设，我们的结果几乎是紧的。然后，我们研究这个问题的不同组成部分如何影响这个结果，包括分布的属性。我们还讨论了非均匀的标签噪声分布，并证明了一个新的定理，表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后，我们提供了理论和经验证据，均匀的标签噪声比典型的现实世界的标签噪声更有害。最后，我们将展示如何感应偏置放大标签噪声的影响，并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Modeling Adversarial Noise for Adversarial Training
Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）
深度神经网络已被证明易受对抗性噪声的影响，促进了防御对抗攻击的发展。受对抗性噪声包含良好的泛化特征以及对抗性数据和自然数据之间的关系可以帮助推断自然数据并做出可靠预测的事实的启发，本文我们研究通过学习对抗标签之间的转换关系来建模对抗噪声。（即用于生成对抗数据的翻转标签）和自然标签（即自然数据的地面真实标签）。具体来说，我们引入了一个依赖于实例的转移矩阵来关联对抗标签和自然标签，这些标签可以无缝地嵌入目标模型（使我们能够对更强的自适应对抗噪声进行建模）。实验结果表明，该方法可以有效地提高对抗准确率。
2022-07-17 cs.LG
Efficient Testable Learning of Halfspaces with Adversarial Label Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣地亚哥分校）
我们给出了第一个多项式时间算法的可测试学习的半空间在对抗标签噪声的存在下的高斯分布。在最近引入的可测试学习模型中，需要产生一个测试器-学习器，这样如果数据通过测试器，那么人们可以信任鲁棒学习器对数据的输出。我们的测试-学习器在时间上运行$\poly(d/\eps)$，并输出具有误分类误差$O(\opt)+\eps$的半空间，其中$\opt$是最佳拟合半空间的0-1误差。在技术层面上，我们的算法采用了迭代软定位技术，通过适当的测试来增强，以确保数据分布与高斯分布足够相似。
2023-03-09 cs.LG stat.ML
Adversarial Extreme Multi-label Classification
Aalto University（阿尔托大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
极端多标签分类的目标是学习一个分类器，该分类器可以从一个非常大的目标标签集合中为一个实例分配一小部分相关标签。极端分类中的数据集表现出长尾标签，这些标签具有少量的正训练实例。在这项工作中，我们提出了极端分类的学习任务，大量的尾部标签作为学习中存在的对抗扰动。这种观点激发了一个强大的优化框架和等价于相应的正则化目标。在所提出的鲁棒性框架下，我们证明了极端分类中汉明损失对尾标签检测的有效性。等效正则化目标与基于近端梯度的优化相结合，在precision@k和nDCG@k的倾向评分版本上比最先进的方法表现得更好（相对于PFastreXML -领先的基于树的方法高达20%，相对于SLEEC -领先的标签嵌入方法60%）。此外，我们还强调了稀疏求解器在大规模线性分类的广泛使用的包中的次优性，这本身就很有趣。我们还研究了标签图的谱特性，为理解基于汉明损失的one-vs-rest方案与标签嵌入方法的性能控制条件提供了新的见解。
2018-03-05 cs.LG stat.ML
Adversarial Training with Stochastic Weight Average
Electronics and Telecommunications Research Institute（电子与电信研究所）
对抗训练深度神经网络经常遇到严重的过拟合问题。最近，有人解释说，过拟合的发生是因为训练数据的样本复杂度不足以推广鲁棒性。在传统的机器学习中，从数据缺乏中缓解过拟合的一种方法是使用集成方法。然而，对抗性训练多个网络是非常昂贵的。此外，我们发现在选择目标模型来生成对抗性示例时存在一个两难问题。对集成成员的优化攻击将是对集成的次优攻击，会引起协变量偏移，而对集成的攻击将削弱成员，失去集成的好处。在本文中，我们提出了具有随机权重平均（SWA）的对抗训练;在进行对抗训练的同时，我们在训练轨迹中聚合时间权重状态。通过采用SWA，可以在不增加大量计算量的情况下获得集成的好处，并且不会面临困境。此外，我们还进一步改进了SWA，使其适用于对抗训练。在CIFAR-10、CIFAR-100和SVHN上的实验结果表明，该方法可以提高模型的鲁棒性。
2020-09-21 cs.LG stat.ML
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
On Target Shift in Adversarial Domain Adaptation
Duke University（杜克大学）
训练域和测试域之间的不一致性是机器学习技术推广中的一个基本问题。最近，已经提出了几种方法来通过对抗性深度学习来学习域不变特征表示。然而，标签转移，其中每个类别中的数据的百分比是不同的域之间，受到较少的关注。标签转换在许多情况下自然会出现，特别是在行为研究中，行为是自由选择的。在这项工作中，我们提出了一种名为Domain Adversarial nets for Target Shift（DATS）的方法，用于在学习域不变表示的同时解决标签移位问题。这是通过使用分布匹配来估计盲测试集中的标签比例来实现的。我们扩展这个框架来处理多个域，通过开发一个计划来增加源域最相似的目标域。实验结果表明，该框架在大的标签移位下表现良好，具有一定的实用价值。
2019-03-15 cs.LG stat.ML
Local Competition and Stochasticity for Adversarial Robustness in Deep Learning
Cyprus University of Technology（塞浦路斯理工大学）；University of California Irvine（加州大学欧文分校）；National and Kapodistrian University of Athens（雅典国立及卡波迪斯特里亚大学）；Aalborg University（奥尔堡大学）
这项工作通过考虑具有随机局部赢家通吃（LWTA）激活的深度网络来解决深度学习中的对抗鲁棒性。这种类型的网络单元导致每个模型层的稀疏表示，因为单元被组织在块中，其中只有一个单元生成非零输出。引入单元的主要操作原理在于随机参数，因为网络对竞争单元进行后验采样以选择获胜者。我们将这些LWTA参数与贝叶斯非参数化领域的工具相结合，特别是印度自助餐过程的破棒构造，以允许推断对手头数据建模至关重要的每一层的子部分。然后，通过随机变分贝叶斯进行推理。我们使用基准数据集对我们的模型进行了彻底的实验评估。正如我们所展示的，我们的方法对对抗性扰动具有很高的鲁棒性，在强大的对抗攻击方案中具有最先进的性能。
2021-03-29 cs.LG stat.ML
Multi-Label Adversarial Perturbations
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）
对抗性示例是微妙扰动的输入，旨在误导机器学习模型走向不正确的输出。虽然大多数现有的工作集中在多类分类问题中产生对抗性扰动，但许多现实世界的应用程序都属于多标签设置，其中一个实例可能与多个标签相关联。例如，垃圾邮件制造者可能会生成带有恶意广告的对抗性垃圾邮件，同时保持其他标签（如主题标签）不变。为了分析多标签学习模型的脆弱性和鲁棒性，我们研究了多标签对抗性扰动的生成。这是一项具有挑战性的任务，因为与一个实例相关联的正标签的数量不确定，以及多个标签通常彼此不互斥的事实。为了弥补这一缺陷，本文提出了一种针对多标签分类问题的通用攻击框架，并对深度神经网络的扰动进行了初步分析。利用标签之间的排序关系，我们进一步设计了一个基于排序的框架来攻击多标签排序算法。我们指定了两个拟议的框架之间的连接，并分别设计了两个具体的方法接地上的每一个产生有针对性的多标签扰动。在真实世界的多标签图像分类和排序问题上的实验证明了我们提出的框架的有效性，并提供了不同的有针对性的攻击策略下的多标签深度学习模型的脆弱性的见解。几个有趣的发现，包括一个未经打磨的防御策略，这可能会提高多标签深度学习模型的可解释性和鲁棒性，在最后进一步提出和讨论。
2019-01-02 cs.CR cs.LG stat.ML
Where is the Bottleneck of Adversarial Learning with Unlabeled Data?
RIKEN（理化学研究所）
深度神经网络（DNN）由于对抗性样本而非常脆弱。为了增强DNN的鲁棒性，提出了对抗训练，这需要大规模但标记良好的数据。然而，对大规模数据进行良好的注释是相当昂贵的。为了弥补这一不足，一些开创性的工作正在利用大规模的未标记数据。在本文中，我们观察到，开创性的工作并没有表现良好，因为在未标记的数据上的伪标签的质量是相当差的，特别是当未标记的数据的量是显着大于标记的数据。我们认为伪标签的质量是使用未标记数据进行对抗学习的瓶颈。为了解决这个瓶颈，我们利用深度协同训练，它训练两个深度网络，并通过利用对等体的对抗性示例来鼓励两个网络分歧。基于深度协同训练，我们提出了用于对抗性学习的鲁棒协同训练（RCT）。我们在CIFAR-10和SVHN数据集上进行了全面的实验。实证结果表明，我们的RCT可以显着优于基线（例如，鲁棒自训练（Robust Self-Training，简称RSE））在标准测试精度和鲁棒测试精度w.r.t.不同的数据集，不同的网络结构，以及不同类型的对抗训练。
2019-11-20 cs.LG stat.ML
Sign-OPT: A Query-Efficient Hard-label Adversarial Attack
UCLA（加州大学洛杉矶分校）；IBM Research（IBM研究院）
我们研究了最实际的问题设置，用于评估具有有限访问权限的机器学习系统的对抗鲁棒性：用于生成对抗示例的硬标签黑盒攻击设置，其中允许有限的模型查询，并且仅向查询的数据输入提供决策。已经提出了几种算法来解决这个问题，但它们通常需要大量（> 20，000）的查询来攻击一个示例。其中，最先进的方法之一（Cheng等人，2019）表明，硬标签攻击可以建模为优化问题，其中目标函数可以通过具有附加模型查询的二分搜索来评估，从而可以应用零阶优化算法。在本文中，我们采用相同的优化公式，但建议直接估计在任何方向上的梯度的符号，而不是梯度本身，这享有单次查询的好处。使用这个单一的查询预言检索符号的方向导数，我们开发了一种新的查询效率的签名OPT方法的硬标签黑盒攻击。我们提供了新算法的收敛性分析，并在MNIST，CIFAR-10和ImageNet上的几个模型上进行实验。我们发现，与当前最先进的方法相比，Sign-OPT攻击始终需要少5倍到10倍的查询，并且通常收敛到具有较小扰动的对抗性示例。
2020-02-14 cs.LG stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们考虑一个任意宽度的单隐藏层Leaky ReLU网络，该网络在任意初始化后通过随机梯度下降（SGD）进行训练。我们证明了SGD产生的神经网络具有竞争力的分类精度的最佳半空间分布的广泛的一类分布，包括日志凹各向同性和硬边缘分布。等价地，当数据分布是线性可分的但被对抗性标签噪声破坏时，这样的网络可以泛化，尽管有过拟合的能力。据我们所知，这是第一个表明SGD训练的过参数化神经网络在数据被对抗性标签噪声破坏时可以泛化的工作。
2021-02-15 cs.LG math.OC stat.ML
Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously
University of Copenhagen（哥本哈根大学）；University of Southern California（南加州大学）
我们开发了第一个通用的半强盗算法，同时实现$\mathcal{O}(\log T)$后悔随机环境和$\mathcal{O}(\sqrt{T})$后悔对抗性的环境中没有知识的制度或轮数$T$。我们的界的领导问题相关常数不仅在一些最坏的情况下的意义下是最优的研究，但也是最优的两个具体的半土匪问题的情况。我们的算法和分析扩展了（Zimmert & Seldin，2019）最近的工作，用于多臂强盗的特殊情况，但重要的是需要一种专门为半强盗设计的新型混合正则化器。在合成数据上的实验结果表明，该算法在不同的环境下确实表现出良好的一致性。最后，我们提供了一个初步的扩展，我们的结果充分的强盗反馈。
2019-09-26 cs.LG stat.ML
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University（卡尔顿大学）；Northwestern Polytechnical University（西北工业大学）
部分标签（PL）学习解决了每个训练实例与一组候选标签相关联的问题，这些候选标签包括真实标签和不相关的噪声标签。在本文中，我们提出了一种新的多层次生成模型部分标签学习（MGPLL），它解决了这个问题，学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言，MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪，并使用多类预测器将训练实例映射到去噪标签向量，而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习，以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
Wasserstein Adversarial Regularization (WAR) on label noise
University Bretagne Sud（布列塔尼南部大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；IRISA（法国信息与自动化系统研究所）；InterDigital R&D（InterDigital研发中心）；Université de Paris（巴黎大学）；Wageningen University（瓦赫宁根大学）；École Polytechnique（巴黎综合理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
噪声标签经常出现在视觉数据集中，特别是当它们从众包或Web抓取中获得时。我们提出了一种新的正则化方法，使学习鲁棒的分类器存在噪声数据。为了实现这一目标，我们提出了一种新的基于Wasserstein距离的对抗正则化方案。使用该距离允许通过利用标签空间的几何属性来考虑类之间的特定关系。我们的Wasserstein对抗正则化（WAR）编码选择性正则化，这促进了一些类之间的分类器的平滑性，同时保留了其他类之间决策边界的足够复杂性。我们首先讨论了如何以及为什么对抗正则化可以在标签噪声的背景下使用，然后展示了我们的方法在五个被噪声标签破坏的数据集上的有效性：在基准测试和真实数据集中，WAR都优于最先进的竞争对手。
2021-06-29 cs.CV cs.LG stat.ML
Task-Aware Variational Adversarial Active Learning
UNIST（蔚山科学技术院）
通常，由于高标记成本限制了深度学习技术的应用领域，标记大量数据是具有挑战性的。主动学习（AL）通过查询未标记池中待注释的信息量最大的样本来解决这个问题。最近已经探索的两个有前途的方向AL是任务无关的方法来选择数据点，远离当前的标记池和任务感知的方法，依赖于任务模型的角度。不幸的是，前者没有利用任务的结构，而后者似乎没有很好地利用整体数据分布。在这里，我们提出了任务感知变分对抗AL（TA-VAAL），修改任务不可知的VAAL，考虑标签和未标记池的数据分布，通过放松任务学习损失预测排名损失预测，并通过使用排名条件生成对抗网络嵌入VAAL的归一化排名损失信息。我们提出的TA-VAAL优于各种基准数据集的平衡/不平衡标签分类以及语义分割和它的任务感知和任务不可知的AL属性与我们的深入分析证实了最先进的。
2020-12-08 cs.LG stat.ML
Exploring the Back Alleys: Analysing The Robustness of Alternative Neural Network Architectures against Adversarial Attacks
ST Engineering Electronics-SUTD Cyber Security Laboratory（新科工程电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University of the Negev（本-古里安大学）；Deutsche Telekom Innovation Laboratories at Ben-Gurion University of the Negev（本-古里安大学德国电信创新实验室）
我们研究人工神经网络（ANN）的替代变体在多大程度上容易受到对抗攻击的影响。我们在三个不同的数据集上分析了原始图像空间中常规随机ANN和脉冲神经网络（SNN）的对抗鲁棒性。我们的实验表明，随机人工神经网络的变种几乎同样容易受到传统的人工神经网络时，面对简单的迭代梯度为基础的攻击，在白盒设置。然而，我们观察到，在黑盒设置，随机人工神经网络比传统的人工神经网络更强大，当面临边界攻击，可转移性和代理攻击。因此，我们提出了改进的攻击和防御机制的随机人工神经网络在黑盒设置。在执行基于代理的黑盒攻击时，可以采用随机模型作为代理，以观察对随机和确定性目标的更高攻击成功率。这种成功可以进一步提高我们提出的方差模仿（VM）代理训练方法，对随机目标。最后，采用防御者的角度来看，我们调查的可行性采用随机切换模型的混合物作为一个可行的硬化机制。我们观察到，这样的方案确实提供了部分硬化。
2020-03-11 cs.LG stat.ML
Multi-Modal Adversarial Autoencoders for Recommendations of Citations and Subject Labels
Kiel University（基尔大学）；ZBW – Leibniz Information Centre for Economics（ZBW——莱布尼茨经济信息中心）
我们提出了用于推荐的多模态对抗性自动编码器，并在两个不同的任务上对其进行了评估：引用推荐和主题标签推荐。我们分析了对抗正则化，稀疏性和不同输入方式的影响。通过进行408个实验，我们证明了对抗正则化始终提高了自动编码器的推荐性能。然而，我们证明，这两个任务不同的项目共现的语义在这个意义上，项目共现类似于相关性的情况下引用，但意味着多样性的情况下，主题标签。我们的研究结果表明，提供部分项目集作为输入是有帮助的，当项目同现相似的相关性。因此，当面对一个新的推荐任务时，考虑项目共现的语义对于选择合适的模型是至关重要的。
2019-07-22 cs.IR cs.LG stat.ML
Siamese networks for generating adversarial examples
Schlumberger（斯伦贝谢（Schlumberger）公司）
机器学习模型容易受到对抗性样本的影响。对手修改输入数据，使得人类仍然分配相同的标签，然而，机器学习模型错误地分类它。文献中的先前方法表明，甚至可以为远程托管模型生成对抗性示例。在本文中，我们提出了一种基于Siamese网络的方法来生成多类目标CNN的对抗性示例。我们假设对手不具备目标数据分布的任何知识，并且我们使用未标记的不匹配数据集来查询目标，例如，对于ResNet-50目标，我们使用Food-101数据集作为查询。最初，目标模型为查询数据集分配标签，并在从这些多类标签导出的图像对上训练Siamese网络。我们学习的\emph{adversarial perturbations}的暹罗模型，并表明，这些扰动也是对抗w.r.t.目标模型。在实验结果中，我们用TinyImageNet/Food-101查询数据集证明了我们的方法在MNIST，CIFAR-10和ImageNet目标上的有效性。
2018-05-03 cs.LG stat.ML
Doubly Stochastic Adversarial Autoencoder
Cylance（Cylance公司）
任何自动编码器网络都可以通过对其隐藏代码向量施加任意先验分布而变成生成模型。变分自编码器（VAE）[2]使用KL发散惩罚来施加先验，而对抗自动编码器（AAE）[1]使用{ \it生成对抗网络} GAN [3]。GAN将{ \it采样}算法的复杂性与极小极大博弈中{ \it搜索}纳什均衡的复杂性进行了交换。这种极大极小架构在数据示例和流经生成器和对手的梯度的帮助下进行训练。AAE的一个直接修改是用最大平均差异（MMD）检验代替对手[4-5]。这种替换导致了一种新型的概率自动编码器，这也是我们的论文中讨论。我们提出了一种新的概率自动编码器中的对手AAE被替换为空间的{ \it随机}功能。该替换引入了新的随机性源，其可以被认为是用于鼓励{ \it探索}的连续控制。这可以防止对手过于接近生成器，从而导致生成的样本更加多样化。
2018-07-19 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Are Labels Required for Improving Adversarial Robustness?
DeepMind（深度思维）
最近的工作揭示了一个有趣的（有点令人惊讶的）发现，训练模型对对抗性扰动保持不变需要比标准分类所需的数据集大得多的数据集。这一结果是在许多现实世界应用中部署鲁棒机器学习模型的关键障碍，其中标记数据是昂贵的。我们的主要观点是，未标记数据可以成为标记数据的竞争替代品，用于训练对抗性鲁棒模型。从理论上讲，我们表明，在一个简单的统计设置中，从未标记的数据中学习对抗鲁棒模型的样本复杂度与完全监督的情况相匹配，直到常数因子。在CIFAR-10等标准数据集上，使用未标记数据的简单无监督对抗训练（UAT）方法比单独使用4K监督示例提高了21.7%的鲁棒准确性，并从相同数量的标记示例中捕获了95%以上的改进。最后，我们报告了通过使用来自未经管理的8000万微小图像数据集的额外未标记数据，CIFAR-10在对抗最强已知攻击方面比以前的最先进技术提高了4%。这表明我们的发现也扩展到了更现实的情况，即未标记的数据也是未经管理的，因此为改进对抗训练开辟了一条新的途径。
2019-12-05 cs.CV cs.LG stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Stochastic Combinatorial Ensembles for Defending Against Adversarial Examples
University of Toronto（多伦多大学）
许多深度学习算法很容易被简单的对抗性例子所欺骗。为了解决现有防御的局限性，我们设计了一个概率框架，可以从单个模型中生成指数级大的模型集合，只需线性成本。该框架利用神经网络深度和随机性来决定是否在层之间插入噪声去除算子，例如VAE。我们的经验表明，模型梯度的重要作用，当涉及到确定可转移性的对抗性的例子，并利用这一结果来证明，它是可能的训练模型有限的对抗攻击可转移性。此外，我们提出了一种基于度量学习的检测方法，以检测那些没有希望被恶意工程噪声清除的对抗性示例。
2018-09-08 cs.CR cs.LG stat.ML
Weakly Labeled Sound Event Detection Using Tri-training and Adversarial Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文考虑了一个半监督学习框架，通过结合三重训练和对抗学习来解决DCASE 2019挑战任务4的弱标记复调声音事件检测问题。task 4的目标是检测单个音频片段中多个声音事件的起始和偏移。整个数据集由具有强标记（具有边界的声音事件标记）的合成数据和具有弱标记（声音事件标记）的真实数据以及未标记数据集组成。给定这个数据集，我们应用三训练，其中两个不同的分类器用于在弱标记和未标记数据集上获得伪标签，并且最终分类器使用强标记数据集和具有伪标签的弱/未标记数据集进行训练。此外，我们应用对抗学习来减少真实数据集和合成数据集之间的域差距。我们使用task 4数据集的验证集评估了我们的学习框架，在实验中，我们的学习框架显示出比基线模型有相当大的性能改进。
2019-10-14 cs.LG cs.SD eess.AS
Fast Adversarial Label-Flipping Attack on Tabular Data
University of Auckland（奥克兰大学）
针对表格数据，提出快速对抗性标签翻转攻击FALFA，通过转换攻击目标并利用线性规划降低复杂度，在十个真实数据集上展示其强大攻击潜力，凸显防御必要性。
2023-10-16 cs.LG
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Label-Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是一个通过对抗训练学习生成分布的框架。最近，他们的类条件扩展（例如，条件GAN（cGAN）和辅助分类器GAN（AC-GAN）由于其学习解纠缠表示和提高训练稳定性的能力而受到广泛关注。然而，它们的训练需要大规模准确的类标记数据，这在现实世界中收集起来往往很费力或不切实际。为了解决这个问题，我们提出了一种新的GANs家族，称为标签噪声鲁棒GANs（rGANs），通过引入噪声过渡模型，即使在训练标签有噪声的情况下，也可以学习干净的标签条件生成分布。特别是，我们提出了两个变体：rAC-GAN，它是AC-GAN和标签噪声鲁棒分类模型之间的桥接模型，以及rcGAN，它是cGAN的扩展，可以在不依赖任何分类器的情况下解决这个问题。除了提供理论背景之外，我们还通过使用不同的GAN配置，各种噪声设置和多个评估指标（其中我们总共测试了402个条件）的广泛实验来证明我们的模型的有效性。我们的代码可在https://github.com/takuhirok/rGAN/上获得。
2019-05-02 cs.CV cs.LG stat.ML
An Empirical Analysis of Federated Learning Models Subject to Label-Flipping Adversarial Attack
本文实证分析了选定的联邦学习模型对对抗攻击的响应，探讨了不同模型在标签翻转攻击下的鲁棒性差异及实际应用影响。
2024-12-24 cs.LG
Adversarial Constraint Learning for Structured Prediction
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
基于约束的学习通过让用户指定结构化输出的一般属性（例如物理定律施加的约束）来减少收集标签的负担。我们提出了一个新的框架，同时学习这些约束条件，并使用它们进行监督，绕过使用领域的专业知识手动指定约束的困难。学习需要结构化输出的黑盒模拟器，它会生成有效的标签，但不需要对其相应的输入或输入-标签关系进行建模。在训练时，我们限制模型产生无法通过对抗训练与模拟标签区分的输出。为我们的框架提供少量的标记输入，产生了一个新的半监督结构化预测模型;我们在多个任务上评估了这个模型-跟踪，姿态估计和时间序列预测-并发现它只需要少量的标记输入就可以实现高精度。在某些情况下，根本不需要标签。
2018-05-31 cs.CV cs.LG stat.ML
Attack Transferability Characterization for Adversarially Robust Multi-label Classification
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Inria（法国国家信息与自动化研究所）
尽管多标签规避攻击的普遍存在，它是一个开放的，但重要的问题是描述的多标签学习系统的对抗性脆弱性的来源，并评估其可攻击性。在这项研究中，我们专注于针对多标签分类器的非目标规避攻击。威胁的目标是在相同的输入扰动下，尽可能多的标签导致分类错误。我们的工作获得了深入的了解多标签对抗攻击的攻击的转移性的基础上的多标签分类器的功能特性的特征。通过建立对抗风险的信息论分析，我们揭示了攻击的可转移性水平如何决定分类器的可攻击性。此外，我们提出了一个以可转移性为中心的可攻击性评估，命名为软攻击性估计（SAE），以评估目标多标签分类器的内在脆弱性水平。然后将该估计器作为可转移性调整正则化项集成到多标签学习范式中，以实现对抗性鲁棒分类。对真实数据的实验研究与理论分析相呼应，验证了可迁移正则化多标记学习方法的有效性。
2021-06-29 cs.CR cs.LG
Domain Knowledge Alleviates Adversarial Attacks in Multi-Label Classifiers
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）；University of Cagliari（卡利亚里大学）
对基于机器学习的分类器的对抗攻击以及防御机制已在单标签分类问题的背景下得到广泛研究。在本文中，我们将注意力转移到多标签分类，其中关于所考虑的类别之间的关系的领域知识的可用性可以提供一种自然的方式来发现不连贯的预测，即，与位于训练数据分布之外的对抗性示例相关联的预测。我们探索这种直觉的一个框架中，一阶逻辑知识转换为约束，并注入到一个半监督学习问题。在这种设置下，约束分类器学习满足边缘分布上的领域知识，并且可以自然地拒绝具有不一致预测的样本。尽管我们的方法在训练过程中没有利用任何攻击知识，但我们的实验分析令人惊讶地揭示了领域知识约束可以有效地帮助检测对抗性示例，特别是如果攻击者不知道这些约束。
2021-12-29 cs.CR cs.LG stat.ML
Adversarial Self-Supervised Contrastive Learning
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
现有的对抗性学习方法大多使用类标签来生成导致错误预测的对抗性样本，然后将其用于增强模型的训练以提高鲁棒性。虽然最近的一些工作提出了利用未标记数据的半监督对抗学习方法，但它们仍然需要类标签。然而，我们真的需要类标签来进行深度神经网络的对抗性鲁棒训练吗？在本文中，我们提出了一种新的对抗攻击的未标记的数据，这使得模型混淆扰动数据样本的实例级身份。此外，我们提出了一个自监督的对比学习框架对抗训练一个强大的神经网络没有标记的数据，其目的是最大限度地提高数据样本的随机扩增和它的实例之间的相似性对抗扰动。我们在多个基准数据集上验证了我们的方法，鲁棒对比学习（RoCL），在这些数据集上，它获得了与最先进的监督对抗学习方法相当的鲁棒准确性，并显着提高了对黑盒和不可见攻击类型的鲁棒性。此外，通过与监督对抗损失的进一步联合微调，RoCL获得了比单独使用自监督学习更高的鲁棒准确性。值得注意的是，RoCL在强大的迁移学习中也表现出令人印象深刻的结果。
2020-10-26 cs.CV cs.LG stat.ML
Bandits with adversarial scaling
Microsoft Research NYC（微软研究院纽约分院）；Cornell University（康奈尔大学）；Google Research NYC（谷歌研究院纽约分院）
我们研究“对抗缩放”，一个多臂的强盗模型，其中奖励有一个随机和一个对抗组件。我们的模型捕捉显示广告的“点击率”可以分解为一个（固定跨时间）手臂质量组件和一个非随机的用户相关性组件（固定跨武器）。尽管我们的模型的相对随机性，我们证明了两个设置，大多数土匪算法遭受。在积极的一面，我们表明，两个算法，一个从动作消除和一个从镜像下降家庭是适应性足够强大的对抗缩放。我们的研究结果揭示了自适应参数选择的鲁棒性随机土匪，这可能是独立的利益。
2020-08-29 cs.GT cs.LG stat.ML
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University（迪肯大学）
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性，但对抗训练（AT）方法通常倾向于高容量模型，即，模型越大，鲁棒性越好。这往往会限制它们在小模型上的有效性，而小模型在存储或计算资源非常有限的情况下更可取（例如，移动设备）。在本文中，我们利用知识蒸馏的概念，以提高小模型的鲁棒性，从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法，并确定了一种可以提高鲁棒性的常用技术：使用鲁棒的软标签-预测鲁棒的模型。根据这一观察，我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏（RSLAD）训练强大的小学生模型。RSLAD充分利用了由强大的（对抗训练的）大型教师模型产生的强大软标签，以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性，以提高小模型对最先进攻击（包括AutoAttack）的鲁棒性。我们还提供了一组关于我们的RSLAD的理解，以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
