Boltzmann Encoded Adversarial Machines
Unlearn.AI, Inc.（Unlearn.AI公司）
受限玻尔兹曼机（RBM）是一类生成神经网络，其通常被训练以最大化对数似然目标函数。我们认为，基于似然的训练策略可能会失败，因为目标没有充分惩罚那些在训练数据分布概率较低的区域中放置高概率的模型。为了克服这个问题，我们引入了玻尔兹曼编码对抗机器（BEAM）。BEAM是针对对手训练的RBM，对手使用RBM的隐藏层激活来区分训练数据和模型生成的概率分布。我们提出的实验表明，BEAM在多个基准测试中优于RBM和GANs。
2018-04-23 cs.LG stat.ML
A Spectral View of Adversarially Robust Features
Stanford University（斯坦福大学）
针对学习对抗鲁棒模型的困难，提出开发对抗鲁棒特征的更简单问题，建立其与数据集几何谱属性的联系，提供鲁棒特征及鲁棒性下界，并验证其能有效学习鲁棒且准确的模型。
2024-08-25 cs.LG stat.ML
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology（佐治亚理工学院）
在训练过程中注入对抗性示例，称为对抗性训练，可以提高对单步攻击的鲁棒性，但对未知的迭代攻击则不行。为了应对这一挑战，我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发，我们提出了级联对抗训练，它转移了对抗训练最终结果的知识。我们从零开始训练网络，除了从正在训练的网络中注入一步对抗图像外，还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级（像素级）相似性学习，以忽略未知的像素级扰动。在训练过程中，我们注入对抗图像，而不替换它们相应的干净图像，并惩罚两个嵌入（干净和对抗）之间的距离。实验结果表明，级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性，但对一步攻击的鲁棒性下降。我们表明，结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程学院）；Université polytechnique Hauts-de-France（上法兰西理工大学）；IEMN-DOAE
虽然机器学习应用程序由于在解决复杂问题方面表现出的效率而成为主流，但它们存在固有的对抗攻击漏洞。对抗攻击包括对输入的附加噪声，其可以欺骗检测器。最近，成功的现实世界可打印对抗补丁被证明对最先进的神经网络有效。在从基于数字噪声的攻击到现实世界物理攻击的转变中，影响目标检测的无数因素也将影响对抗补丁。在这些因素中，视角是最有影响力的因素之一，但尚未得到充分的研究。在本文中，我们研究了视角对对抗补丁有效性的影响。为了这个目的，我们提出了第一种方法，认为多视图的背景下，通过结合现有的对抗补丁与透视几何变换，以模拟视角变化的影响。我们的方法已在两个数据集上进行了评估：第一个数据集，其中包含了最真实世界的多视图上下文的约束，和第二个数据集，经验隔离的视角的影响。实验表明，视角显着影响对抗补丁的性能，在某些情况下，补丁失去了大部分的有效性。我们相信，这些结果激励考虑到在未来的对抗攻击的视角的影响，并开辟了新的机会，对抗性防御。
2021-10-10 cs.CR cs.LG
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Adversarial Debiasing for Unbiased Parameter Recovery
Paris School of Economics（巴黎经济学院）
针对机器学习预测作为代理变量时导致回归系数估计偏差的问题，本文提出偏差检测测试与对抗性去偏算法，通过模拟和非洲森林覆盖实证实验验证其可恢复真实系数，适用于预测为回归因变量的场景。
2025-02-17 cs.LG stat.ML
Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
近年来，机器学习算法，更具体地说，深度学习算法，已经广泛应用于包括网络安全在内的许多领域。然而，机器学习系统容易受到对抗攻击，并且这限制了机器学习的应用，特别是在非静止的对抗性环境中，诸如网络安全领域，其中实际的对手（例如，恶意软件开发者）存在。本文全面总结了针对基于机器学习技术的安全解决方案的对抗攻击的最新研究，并说明了它们带来的风险。首先，对抗攻击方法的特点是基于他们的发生阶段，攻击者的目标和能力。然后，我们分类的对抗攻击和防御方法在网络安全领域的应用。最后，我们强调了最近研究中发现的一些特征，并讨论了其他对抗性学习领域的最新进展对网络安全领域未来研究方向的影响。本文首次讨论了在网络安全领域实施端到端对抗攻击的独特挑战，将其映射到统一的分类中，并使用分类突出未来的研究方向。
2021-03-13 cs.CR cs.LG stat.ML
Vulnerability Under Adversarial Machine Learning: Bias or Variance?
Waterloo AI Institute, University of Waterloo（滑铁卢大学滑铁卢人工智能研究所）；ADC Automotive Distance Control Systems GmbH, Continental（大陆集团ADC汽车距离控制系统有限公司）
先前的研究已经揭示了深度神经网络在对抗性机器学习背景下的脆弱性，导致最近对这一领域的极大关注。一个有趣的问题是对抗性机器学习的偏差-方差关系，这可能会为这种行为提供更深入的见解。偏差和方差的概念是分析和评价机器学习模型泛化能力和可靠性的主要方法之一。虽然它已被广泛用于其他机器学习模型，但在深度学习领域还没有得到很好的探索，在对抗性机器学习领域更是探索得很少。在这项研究中，我们研究了对抗性机器学习对训练的深度神经网络的偏差和方差的影响，并分析了对抗性扰动如何影响网络的泛化。我们推导出基于两个主要损失函数的分类和回归应用的偏差-方差权衡：（i）均方误差（MSE），和（ii）交叉熵。此外，我们进行定量分析与模拟和真实的数据，经验性地评估一致性与推导出的偏差方差权衡。我们的分析揭示了为什么深度神经网络从偏差-方差的角度来看在对抗性扰动下表现不佳，以及这种类型的扰动将如何改变网络的性能。此外，鉴于这些新的理论发现，我们引入了一种新的对抗性机器学习算法，其计算复杂性度低于众所周知的对抗性机器学习策略（例如，PGD），同时在较低的扰动幅度下欺骗深度神经网络时提供高成功率。
2020-08-01 cs.LG cs.NE stat.ML
An Adaptive View of Adversarial Robustness from Test-time Smoothing Defense
Georgia Institute of Technology（佐治亚理工学院）
基于学习的决策系统的安全性和鲁棒性受到对抗性示例的威胁，因为不可感知的扰动会误导神经网络产生完全不同的输出。在本文中，我们提出了一个自适应的观点，通过评估各种测试时平滑防御白盒非目标对抗性的例子。通过在ImageNet上使用预训练的ResNet-152进行对照实验，我们首先说明了对抗攻击和平滑防御之间的非单调关系。然后在数据集级别，我们观察到样本之间的大方差，并表明很容易提高准确性（甚至达到100%）或建立大规模（即，大小约为10^4）的子集，指定的方法在这些子集上的性能远远优于其他方法。最后，在样本水平上，由于不同的对抗性例子需要不同程度的防御，迭代法的潜在优势也进行了讨论。我们希望本文揭示测试时防御的有用行为，这有助于改善未来对抗鲁棒性的评估过程。
2019-11-26 cs.CR cs.LG stat.ML
Multi-view Generative Adversarial Networks
Sorbonne Universités, UPMC Univ Paris 06（索邦大学，巴黎第六大学（UPMC））
多视图数据学习是一个具有很强实际应用价值的挑战性问题。大多数相关的研究集中在分类的角度来看，并假设所有的意见是在任何时候都可用。我们认为这个框架在两个方向的扩展。首先，基于BiGAN模型，多视图BiGAN（MV-BiGAN）能够从多视图输入执行密度估计。其次，它可以处理丢失的视图，并能够在提供额外视图时更新其预测。我们说明了这些属性的一组实验在不同的数据集。
2019-04-17 cs.LG
Attack-Centric Approach for Evaluating Transferability of Adversarial Samples in Machine Learning Models
Veterans United（退伍军人联合公司）；Ozyegin University（奥兹耶金大学）
对抗样本的可转移性成为一个严重的问题，因为它们会影响机器学习系统部署的可靠性，因为它们会进入许多关键应用程序。了解影响对抗样本可转移性的因素可以帮助专家就如何构建强大可靠的机器学习系统做出明智的决策。本研究的目标是通过以攻击为中心的方法，深入了解对抗性样本可转移性背后的机制。这种以攻击为中心的视角通过评估机器学习攻击（生成它们）对给定输入数据集的影响来解释对抗性样本将如何转移。为了实现这一目标，我们使用攻击者模型生成对抗样本，并将这些样本转移到受害者模型。我们分析了对抗样本在受害者模型上的行为，并概述了四个可能影响对抗样本可转移性的因素。虽然这些因素不一定是详尽的，但它们为机器学习系统的研究人员和实践者提供了有用的见解。
2021-12-03 cs.LG
Security Matters: A Survey on Adversarial Machine Learning
University of Shanghai for Science and Technology（上海理工大学）；State Street Corporation（道富公司）；Guangzhou University（广州大学）；Fudan University（复旦大学）；Qingdao Binhai University（青岛滨海学院）
对抗性机器学习是一个快速发展的研究领域，它考虑了机器学习系统可能面临潜在的对抗性攻击者的情况，这些攻击者故意合成输入数据以使训练有素的模型出错。它总是涉及一个防御方，通常是一个分类器，以及一个旨在导致错误输出的攻击方。机器学习算法对抗性样本的研究最早是从信息安全领域开始的，它考虑的攻击方法种类要多得多。但是最近由深度学习社区推广的研究焦点强烈强调了正常输入上的“不可感知”扰动如何可能导致深度学习以假定的超人准确性产生戏剧性的错误。本文旨在全面介绍对抗性深度学习主题的一系列方面，包括其基础，典型的攻击和防御策略以及一些扩展研究。
2018-10-23 cs.CR cs.LG stat.ML
Adversarial Examples in Modern Machine Learning: A Review
Element AI（元素人工智能）
最近的研究发现，许多机器学习模型家族都容易受到对抗性示例的影响：输入是专门设计来导致目标模型产生错误输出的。在本调查中，我们专注于视觉领域的机器学习模型，其中用于生成和检测此类示例的方法已得到最广泛的研究。我们探索了各种对抗性攻击方法，适用于图像空间内容，现实世界的对抗攻击，对抗性防御，以及对抗性示例的可转移性。我们还讨论了各种对抗攻击和防御方法的优点和缺点。我们的目标是提供一个广泛的领域覆盖面，提供读者与对抗攻击和防御机制的机制的直观理解，并扩大研究这一基本问题的研究人员的社区。
2019-11-15 cs.AI cs.CR cs.LG
Adversarial Consistency-Guided Representation Learning for Multi-view Clustering
Fujian Normal University（福建师范大学）；McGill University（麦吉尔大学）
提出ACGRL框架，通过梯度反转判别器降低视图可识别性，冻结不变参考表示以分离视图特定信息，并在四个基准数据集上验证了优于现有方法的聚类性能。
2026-09-29 cs.LG
Multi-view Representation Learning from Malware to Defend Against Adversarial Variants
University of Arizona（亚利桑那大学）；University of South Florida（南佛罗里达大学）；University of Georgia（佐治亚大学）
基于深度学习的对抗性恶意软件检测器在检测从未见过的恶意软件可执行文件方面取得了可喜的成果，而无需依赖昂贵的动态行为分析和沙箱。尽管这些检测器具有这些能力，但已被证明容易受到对抗性恶意软件变体的攻击-这些变体是由机器学习生成的原始恶意软件可执行文件的精心修改的功能保留版本。由于这些对抗性修改的性质，这些对抗性方法通常使用恶意软件可执行文件的\textit{single view}（即，二进制/十六进制视图）以生成对抗性恶意软件变体。这为防守者提供了一个机会（即，恶意软件检测器）通过利用恶意软件文件的多于一个视图来检测对抗性变体（例如，除了二进制视图之外，还有源代码视图）。这个想法背后的基本原理是，虽然对手专注于二进制视图，但源代码视图中恶意软件文件的某些特征仍然未被触及，这导致检测到对抗性恶意软件变体。为了利用这个机会，我们提出了对抗性鲁棒多视图恶意软件防御（ARMD），这是一种新型的多视图学习框架，用于提高基于DL的恶意软件检测器对对抗性变体的鲁棒性。我们在三个著名的基于开源深度学习的恶意软件检测器上进行的实验表明，ARMD能够将这些恶意软件检测器的对抗鲁棒性提高多达七倍。
2022-10-25 cs.AI cs.CR cs.LG
Detection based Defense against Adversarial Examples from the Steganalysis Point of View
CAS Key Laboratory of Electromagnetic Space Information（中国科学院电磁空间信息重点实验室）；University of Science and Technology of China（中国科学技术大学）
深度神经网络（DNN）最近在许多领域取得了重大进展。然而，DNN容易受到对抗性示例的影响，这些示例是具有不可感知的扰动的样本，同时极大地误导了DNN。此外，对抗性示例可以用于对各种基于DNN的系统进行攻击，即使对手无法访问底层模型。已经提出了许多防御方法，例如混淆网络的梯度或检测对抗性示例。然而事实证明，这些防御方法都是无效的，或者不能抵抗二次对抗攻击。本文指出隐写分析可以应用于对抗性样本检测，并提出了一种通过估计对抗攻击引起的修改概率来增强隐写分析特征的方法。实验结果表明，该方法能够准确地检测出对抗性样本。此外，二次对抗攻击不能直接对我们的方法进行，因为我们的方法不是基于神经网络，而是基于高维人工特征和FLD（Fisher线性判别）集成。
2018-12-24 cs.CV cs.LG stat.ML
Adversarial Machine Learning in Network Intrusion Detection Systems
Army Cyber Institute, U.S. Military Academy（美国陆军军事学院陆军网络研究所）
对抗性示例是攻击者故意制作的机器学习系统的输入，以欺骗模型产生错误的输出。这些例子在图像识别、语音识别和垃圾邮件检测等领域取得了很大的成功。本文研究了网络入侵检测系统中对抗性问题的本质。我们专注于攻击的角度，其中包括生成能够逃避各种机器学习模型的对抗性示例的技术。更具体地说，我们探索使用演化计算（粒子群优化和遗传算法）和深度学习（生成对抗网络）作为对抗示例生成的工具。为了评估这些算法在规避NIDS的性能，我们将它们应用到两个公开的数据集，即NSL-KDD和UNSW-NB 15，我们将它们与基线扰动方法进行对比：蒙特卡洛模拟。结果表明，我们的对抗性示例生成技术在11个不同的机器学习模型中导致了很高的误分类率，以及投票分类器。我们的工作突出了基于机器学习的NIDS在对抗性干扰面前的脆弱性。
2020-04-23 cs.CR cs.LG cs.NE
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Strong Black-box Adversarial Attacks on Unsupervised Machine Learning Models
从视觉到自然语言建模，机器学习（ML）和深度学习（DL）模型在多个学习任务上实现了最先进的性能。随着ML和DL越来越多地被计算机科学的许多领域所采用，最近的研究也开始关注这些模型的安全属性。已经进行了大量的工作来了解（深度）神经网络架构是否能够抵御黑盒对抗攻击，黑盒攻击可以在不知道所使用的架构的情况下制作受干扰的输入样本来欺骗分类器。最近的工作也集中在对抗攻击的可转移性上，并发现对抗攻击通常很容易在模型、数据集和技术之间转移。然而，这种攻击及其分析尚未从无监督机器学习算法的角度涵盖。在本文中，我们试图通过多种贡献来弥合这一差距。我们首先提供了一个强大的（迭代）黑盒对抗攻击，可以制作对抗样本，将不正确的聚类算法的选择无关。我们选择了4个突出的聚类算法，以及一个真实世界的数据集来展示所提出的对抗算法的工作。使用这些聚类算法，我们还进行了一个简单的研究，跨技术的对抗攻击的可转移性。
2019-06-10 cs.CR cs.LG stat.ML
Insights on Adversarial Attacks for Tabular Machine Learning via a Systematic Literature Review
University of Luxembourg（卢森堡大学）；Luxembourg Institute of Health（卢森堡健康研究所）
本文通过首个系统文献综述，分类表格机器学习对抗攻击策略，分析实际应用考量，并指出挑战与开放问题，以指导未来研究。
2025-06-18 cs.LG
A Manifold View of Adversarial Risk
Rutgers University（罗格斯大学）；Morgan Stanley（摩根士丹利）；Stony Brook University（石溪大学）；Queens College of CUNY（纽约市立大学皇后学院）
机器学习模型的对抗风险已经被广泛研究。大多数以前的作品假设数据位于整个周围空间。我们建议从一个新的角度考虑流形假设。假设数据位于一个流形上，我们研究了两种新类型的对抗风险，正常的对抗风险，由于沿正常方向的扰动，和流形内的对抗风险，由于在流形内的扰动。我们证明了经典的对抗风险可以从两侧使用正常和流形上的对抗风险有界。我们还用一个令人惊讶的悲观案例表明，即使正常风险和流形内风险都为零，标准对抗风险也可以为非零。最后，我们用实证研究来支持我们的理论结果。我们的研究结果表明，通过只关注正常的对抗风险，可以提高分类器的鲁棒性。
2022-04-08 cs.LG
Adversarial Machine Learning in Text Analysis and Generation
Texas A&M, San Antonio（德克萨斯A&M大学圣安东尼奥分校）
对抗性机器学习的研究领域在过去的几年里引起了人们极大的兴趣。如果机器学习器或模型能够以可接受的准确性、效率等交付主要目标，同时能够抵抗不同类型和/或尝试的对抗攻击，则它是安全的。本文重点介绍了对抗性机器学习在文本分析和生成方面的研究方向和研究趋势。本文综述了GAN算法、模型、攻击类型以及攻击防御等方面的研究动态。
2021-01-14 cs.CR cs.LG
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种双编码器元对抗多视图表示学习框架，通过最大化同一数据不同增强视图间的差异与一致性，学习跨领域和任务的可迁移对抗鲁棒表示，在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
An Efficient Method for Sample Adversarial Perturbations against Nonlinear Support Vector Machines
Beijing Institute of Technology（北京理工大学）
对抗扰动在各种机器学习模型中引起了广泛的关注。本文研究了非线性支持向量机的样本对抗扰动问题。由于将数据映射到特征空间的非线性函数的隐式形式，很难获得对抗扰动的显式形式。通过研究非线性支持向量机的特性，将攻击非线性支持向量机的优化问题转化为一个非线性KKT系统。这样的系统可以通过各种数值方法求解。数值结果表明，我们的方法是有效的计算对抗扰动。
2022-06-12 cs.LG math.OC
How Wrong Am I? - Studying Adversarial Examples and their Impact on Uncertainty in Gaussian Process Machine Learning Models
机器学习模型容易受到对抗性样本的影响：对输入样本的微小扰动，故意造成错误分类。目前针对对抗性示例的防御，特别是深度神经网络（DNN），主要来自经验发展，其安全保证通常只能追溯性地证明。因此，许多防御依赖于隐藏的假设，这些假设随后被越来越复杂的攻击所颠覆。这并不奇怪：众所周知，深度学习缺乏一个全面的数学框架来提供有意义的保证。在本文中，我们利用高斯过程来研究贝叶斯推理框架中的对抗性示例。在不同的模型和数据集中，我们发现偏差水平的不确定性反映了最先进的攻击（包括对高斯过程的新型白盒攻击）引入到良性样本中的扰动。我们的实验表明，即使是未优化的不确定性阈值在许多情况下也会拒绝对抗性示例。备注：在arXiv：1812.02606（The limitations of model uncertainty in adversarial settings）中完成的修改攻击可以打破模型不确定性。
2019-01-03 cs.CR cs.LG stat.ML
Optimization Models and Interpretations for Three Types of Adversarial Perturbations against Support Vector Machines
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）
对抗扰动在各种深度神经网络中引起了广泛的关注。它们中的大多数是通过迭代计算的，不能很好地解释。相比之下，很少关注基本的机器学习模型，如支持向量机。本文研究了支持向量机的三种对抗性扰动的优化模型和解释，包括样本对抗性扰动（sAP）、类泛对抗性扰动（cuAP）和泛对抗性扰动（uAP）。对于线性二分类/多分类支持向量机（SVM），我们给出了sAP、cuAP和uAP（二分类）的显式解，以及多分类uAP的近似解。我们还得到了uAP的愚弄率的上界。这些结果不仅增加了三种对抗扰动的可解释性，而且由于可以避免迭代过程，在计算上提供了极大的方便。数值结果表明，我们的方法是快速和有效的计算三种类型的对抗扰动。
2022-04-07 cs.LG math.OC
Adversarial Machine Learning at Scale
Google Brain（谷歌大脑）；OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型，允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程，以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止，对抗训练主要应用于小问题。在这项研究中，我们将对抗训练应用于ImageNet。我们的贡献包括：（1）关于如何成功地将对抗性训练扩展到大型模型和数据集的建议，（2）观察到对抗性训练赋予单步攻击方法鲁棒性，（3）发现多步攻击方法比单步攻击方法的可转移性更低，因此单步攻击是安装黑盒攻击的最佳方法，以及（4）“标签泄漏”效应的解决方案，该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好，因为对抗示例构建过程使用真实标签，并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Adversarial Neural Machine Translation
Sun Yat-sen University（中山大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文研究了一种新的神经机器翻译学习范式。我们不是像以前的作品那样最大化人工翻译的可能性，而是最小化人工翻译和NMT模型给出的翻译之间的区别。为了实现这一目标，受最近生成对抗网络（GANs）成功的启发，我们采用了一种对抗训练架构，并将其命名为对抗NMT。在Adversarial-NMT中，NMT模型的训练由对手辅助，对手是精心设计的卷积神经网络（CNN）。对手的目标是区分NMT模型生成的翻译结果与人类的翻译结果。NMT模型的目标是产生高质量的翻译，以欺骗对手。利用策略梯度方法来共同训练NMT模型和对手。在英语$\rightarrow$法语和德语$\rightarrow$英语翻译任务上的实验结果表明，与几个强基线相比，Adversarial-NMT可以实现更好的翻译质量。
2018-09-30 cs.CL cs.LG stat.ML
A cryptographic approach to black box adversarial machine learning
Columbia University（哥伦比亚大学）；Proof Trading（Proof Trading（交易证明））
我们提出了一种新的随机集成技术，具有可证明的安全保证，对黑箱传输攻击。我们的证明构造了一个新的安全问题，随机二进制分类器，这是更容易经验验证和减少从这个新模型的安全性的集成分类器的安全性。我们提供了我们的随机二进制分类器的安全性的实验证据，以及整体集成的对抗性准确性的经验结果，黑盒攻击。我们的构造关键地利用了多类到二进制的减少中隐藏的随机性。
2020-02-21 cs.CR cs.LG stat.ML
Adversarial Machine Learning Attacks on Condition-Based Maintenance Capabilities
基于状态的维护（CBM）策略利用机器学习模型基于从物理环境收集的数据来评估系统的健康状态，而机器学习模型容易受到对抗攻击。恶意攻击者可以操纵收集的数据来欺骗机器学习模型并影响CBM系统的性能。在计算机视觉领域中引入的对抗性机器学习技术可用于通过向数据添加扰动来混淆训练模型来对CBM系统进行隐形攻击。隐身的性质造成了检测攻击的困难和延迟。本文介绍了CBM领域中的对抗性机器学习。一个案例研究展示了对抗性机器学习如何用于攻击CBM功能。使用快速梯度符号方法制作对抗样本，并研究了CBM系统在攻击下的性能。研究结果表明，CBM系统容易受到对抗性机器学习攻击，需要考虑防御策略。
2021-01-28 cs.AI cs.CR cs.LG
Reliable Disentanglement Multi-view Learning Against View Adversarial Attacks
College of Computer Science, Sichuan University（四川大学计算机学院）；Laboratory of Intelligent Collaborative Computing, University of Electronic Science and Technology of China（电子科技大学智能协同计算实验室）；National Key Laboratory of Fundamental Algorithms and Models for Engineering Numerical Simulation, Sichuan University（四川省工程数值模拟基础算法与模型重点实验室）；Tianfu Jincheng Laboratory（天府锦城实验室）；Sichuan National Innovation New Vision UHD Video Technology Co., Ltd.（四川省创新新视野UHD视频技术有限公司）
针对可信多视图学习中存在的对抗不可靠性问题，提出可靠解耦多视图学习框架RDML，通过证据解耦、特征重校准和视图级证据注意力抵御视图对抗攻击，在多视图分类任务上性能优于现有最优方法。
2025-05-21 cs.CR cs.CV cs.LG
The Threat of Adversarial Attacks on Machine Learning in Network Security -- A Survey
Carleton University（卡尔顿大学）
机器学习模型使许多决策支持系统变得更快、更准确、更高效。然而，与其他领域相比，机器学习在网络安全中的应用面临着更不成比例的主动对抗攻击威胁。这是因为网络安全中的机器学习应用程序（如恶意软件检测、入侵检测和垃圾邮件过滤）本身就具有对抗性。在攻击者和防御者之间的军备竞赛中，对手不断地用明确设计的输入来探测机器学习系统，以绕过系统并引起错误的预测。在本调查中，我们首先提供了机器学习技术、任务和深度的分类。然后，我们介绍了机器学习在网络安全应用中的分类。接下来，我们研究了网络安全中针对机器学习的各种对抗性攻击，并介绍了网络安全中对抗攻击的两种分类方法。首先，我们分类对抗攻击在网络安全的基础上的网络安全应用的分类。其次，我们将网络安全中的对抗攻击分为问题空间与特征空间的维度分类模型。然后，我们分析了各种防御对抗攻击的机器学习为基础的网络安全应用程序。最后，我们引入了一个对抗性风险网格图，并使用风险网格图评估了网络安全中针对机器学习的几种现有对抗攻击。我们还确定了每个攻击分类在对抗性风险网格图中的位置。
2023-03-21 cs.CR cs.LG cs.NI
Practical Attacks on Machine Learning: A Case Study on Adversarial Windows Malware
University of Cagliari（卡利亚里大学）；Pluribus One（Pluribus One公司）；University of Genova（热那亚大学）
虽然机器学习容易受到对抗性示例的影响，但它仍然缺乏系统的程序和工具来评估其在不同应用环境中的安全性。在本文中，我们将讨论如何使用实际攻击开发机器学习的自动化和可扩展的安全评估，并报告Windows恶意软件检测的用例。
2022-07-12 cs.CR cs.LG
Law and Adversarial Machine Learning
Microsoft（微软）；Berkman Klein Center for Internet and Society（伯克曼·克莱因互联网与社会研究中心）；Harvard Law School（哈佛法学院）
当机器学习系统因对抗性操纵而失败时，社会应该如何期待法律做出回应？通过基于对抗性机器学习文献的场景，我们探讨了计算机犯罪、版权和侵权法的某些方面如何与扰动、中毒、模型窃取和模型反演攻击相结合，以显示某些攻击如何比其他攻击更容易导致责任。最后，我们呼吁机器学习研究人员采取行动，投资透明的攻击和防御基准;在构建机器学习系统时考虑到取证，最后，在公民自由的背景下更多地考虑对抗性机器学习。这篇论文针对的是没有法律背景的ML研究人员。
2018-12-05 cs.CR cs.CY cs.LG
Adversarial Machine Learning for Cybersecurity and Computer Vision: Current Developments and Challenges
Purdue University（普渡大学）
我们提供了对抗性机器学习的全面概述，重点关注两个应用领域，即，网络安全和计算机视觉。对抗性机器学习的研究解决了机器学习技术广泛应用的重大威胁-它们容易受到恶意对手精心设计的攻击。例如，深度神经网络无法正确分类对抗性图像，这些图像是通过向干净图像添加不可感知的扰动而生成的。我们首先讨论针对机器学习技术的三大类攻击--中毒攻击、规避攻击和隐私攻击。然后介绍了相应的防御方法以及现有防御方法的不足和局限性。我们注意到网络安全和计算机视觉中的对抗性样本是根本不同的。虽然网络安全中的对抗性样本与训练数据相比通常具有不同的属性/分布，但计算机视觉中的对抗性图像是通过微小的输入扰动创建的。这进一步使鲁棒学习技术的开发复杂化，因为鲁棒学习技术必须承受不同类型的攻击。
2021-06-30 cs.CR cs.LG
Adversarial Security Attacks and Perturbations on Machine Learning and Deep Learning Methods
Southern New Hampshire University（南新罕布什尔大学）
不断增长的大数据和新兴的人工智能（AI）需要使用机器学习（ML）和深度学习（DL）方法。网络安全也受益于ML和DL方法用于各种类型的应用。然而，这些方法容易受到安全攻击。攻击者可以利用学习模型的训练和测试数据，或者可以探索这些模型的工作原理，以发动未来的高级攻击。ML和DL领域内的对抗性安全攻击和扰动是最近的探索，安全研究人员和实践者对此表示了极大的兴趣。文献涵盖了ML和DL方法的不同对抗性安全攻击和扰动，这些攻击和扰动有自己的表现风格和优点。需要审查和巩固的知识，是理解这一日益集中和不断增长的研究课题;然而，是研究界目前的需求。在这篇综述论文中，我们专门针对网络安全领域的新研究人员，他们可能会寻求获得有关机器学习和深度学习模型和算法的一些基本知识，以及一些相关的对抗性安全攻击和扰动。
2019-07-17 cs.CR cs.LG stat.ML
Quantum Adversarial Machine Learning: From Classical Adaptations to Quantum-Native Methods
Faculty of Computer Science, University of New Brunswick（新不伦瑞克大学计算机科学学院）；Department of Electrical Engineering, Amirkabir University of Technology（技术学院电子工程系）；Faculty of Mathematical and Computer Science, Kharazmi University（卡扎尔米大学数学与计算机科学学院）；Pázmány Péter Catholic University（帕兹曼·彼得天主教大学）；Department of Computer Engineering, Amirkabir University of Technology（技术学院计算机工程系）；Department of Computer Engineering, Ferdowsi University of Mashhad（马赞德兰大学计算机工程系）；Department of Computer Science, Tarbiat Modares University（塔里克·莫达res大学计算机科学系）
本文研究量子对抗机器学习中的攻击与防御策略，探讨其理论基础、发展趋势和关键挑战。
2026-05-12 cs.CR cs.LG
Adversarial Networks and Machine Learning for File Classification
United States Naval Academy（美国海军学院）
正确识别正在检查的文件类型是法医调查的关键部分。单独的文件类型表明嵌入的内容，如图片，视频，手稿，电子表格等的情况下，系统所有者可能希望保持他们的文件不可访问或文件类型隐藏，我们建议使用一个对抗训练的机器学习神经网络，以确定文件的真实类型，即使扩展名或文件头被混淆，以复杂的发现。我们的半监督生成对抗网络（SGAN）在对11种不同类型的文件进行分类时，准确率达到97.6%。我们还将我们的网络与传统的独立神经网络和其他三种机器学习算法进行了比较。经过逆向训练的网络被证明是最精确的文件分类器，特别是在监督样本很少的情况下。我们使用SGAN实现的文件分类器在GitHub上实现（https：//ksaintg.github.io/SGAN-File-Classier）。
2023-02-02 cs.LG
Dual Adversarial Perturbators Generate rich Views for Recommendation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing University（南京大学）
针对图对比学习推荐中对比视图差异过大易导致性能下降或训练崩溃的问题，提出双重对抗图学习方法AvoGCL，通过逐步施加对抗训练模拟课程学习，在三个真实数据集上性能显著优于现有最优方法。
2024-08-26 cs.IR cs.LG
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher（独立研究者）
本研究评估金融机器学习模型的对抗鲁棒性，通过实验揭示对抗攻击对模型性能的影响，并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
Fortify Machine Learning Production Systems: Detect and Classify Adversarial Attacks
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
生产机器学习系统一直受到敌对行为者的攻击。各种深度学习模型必须能够在保持速度的同时准确检测虚假或敌对输入。在这项工作中，我们提出了一块生产保护系统：检测传入的对抗攻击及其特征。检测对抗攻击的类型有两个主要影响：可以以结构化的方式训练底层模型，使其对这些攻击具有鲁棒性，并且可以在造成任何下游损害之前实时过滤掉攻击。对抗性图像分类空间被探索用于迁移学习中常用的模型。
2021-06-14 cs.CR cs.LG
Machine Beats Machine: Machine Learning Models to Defend Against Adversarial Attacks
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Ubitech Ltd（Ubitech有限公司）；University of West Attica（西阿提卡大学）；Philips Consumer Lifestyle BV（飞利浦消费生活方式公司）；Qlector d.o.o.（Qlector有限责任公司）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
我们建议使用机器学习模型的两层部署来防止对抗攻击。第一层确定数据是否被篡改，而第二层解决特定于域的问题。我们探索了三组特征和三个数据集变体来训练机器学习模型。我们的研究结果表明，聚类算法取得了可喜的成果。特别是，我们认为最好的结果是通过应用DBSCAN算法的结构化的结构相似性指数之间的图像和一个白色的参考图像计算的措施。
2022-09-28 cs.AI cs.LG
Deep generative models as an adversarial attack strategy for tabular machine learning
University of Luxembourg（卢森堡大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文针对表格机器学习，将四种流行深度生成模型改编为对抗性版本，用于生成符合领域约束的真实对抗样本，以测试系统鲁棒性。
2024-09-19 cs.AI cs.LG
Defending Against Adversarial Machine Learning
分析了一个对抗攻击的系统和一个防御攻击的作者归属系统。防御系统免受对抗性机器学习器的攻击可以通过在系统模型之间随机切换，通过检测和响应正常输入分布的变化，或通过使用其他方法来完成。对抗性机器学习用于识别用于将系统输入映射到输出的系统。三种类型的机器学习器用于被攻击的模型。用于对被攻击的系统建模的机器学习器是径向基函数支持向量机、线性支持向量机和前馈神经网络。使用准确度作为适应度度量来进化特征掩模。系统通过识别与正常输入的概率分布不匹配的输入来防御对抗性机器学习攻击。系统还通过在用于将系统输入映射到输出的特征掩码之间随机切换来防御对抗攻击。
2019-11-26 cs.AI cs.CR cs.LG
A Survey of Game Theoretic Approaches for Adversarial Machine Learning in Cybersecurity Tasks
U.S. Naval Research Laboratory（美国海军研究实验室）
机器学习技术目前被广泛用于自动化各种网络安全任务。这些技术中的大多数利用监督学习算法，该算法依赖于训练算法来使用相关领域中遇到的数据将传入数据分类为不同类别。这些算法的一个关键漏洞是它们容易受到对抗攻击的影响，其中被称为对手的恶意实体故意更改训练数据以误导学习算法产生分类错误。对抗攻击可能会使学习算法不适合使用，并使关键系统容易受到网络安全攻击。我们的论文提供了一个详细的调查，用于使机器学习算法强大的对抗对抗攻击使用博弈论的计算框架的最先进的技术。我们还讨论了开放的问题和挑战以及进一步研究的可能方向，这些研究将使基于深度机器学习的系统在网络安全任务中更加强大和可靠。
2019-12-04 cs.AI cs.CR cs.LG
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio（德克萨斯农工大学圣安东尼奥分校）
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中，机器支持人类，但在少数其他应用程序中（例如对抗性机器学习，社交机器人和巨魔），机器试图模仿人类。在这个范围内，我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同，基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子，但这项工作可以在许多方面进行扩展，例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
Derivation of Information-Theoretically Optimal Adversarial Attacks with Applications to Robust Machine Learning
University of Iowa（爱荷华大学）
我们考虑的理论问题，设计一个最佳的对抗攻击的决策系统，最大限度地降低了系统的可实现的性能，作为衡量退化的信号和标签之间的互信息的兴趣。这个问题是由机器学习分类器的对抗性示例的存在引起的。通过采用信息论的观点，我们试图确定对抗脆弱性是不可避免的条件，即即使是最佳设计的分类器也容易受到小的对抗扰动。我们提出了离散和连续信号的最佳对抗攻击的推导，即，找到最佳扰动分布以最小化所述退化信号与遵循连续或离散分布的信号之间的互信息。此外，我们表明，这是很难实现对抗攻击最小化互信息时，输入信号的多个冗余副本可用。这为最近提出的"特征压缩”假设提供了额外的支持，该假设解释了深度学习分类器的对抗性脆弱性。我们还报告了计算实验的结果来说明我们的理论结果。
2020-07-28 cs.IT cs.LG math.IT
Adversarial View-Consistent Learning for Monocular Depth Estimation
Microsoft Research Asia（微软亚洲研究院）
本文研究了单目深度估计（MDE）问题。现有的MDE方法通常将其建模为像素级回归问题，忽略了底层的几何属性。我们凭经验发现这可能导致次优解决方案：虽然预测的深度图在一个特定视图中呈现小的损失值，但如果在不同方向上观看，则它可能表现出大的损失。在本文中，受多视图立体视觉（MVS）的启发，我们提出了一个对抗性视图一致性学习（AVCL）框架，以迫使估计的深度图是所有合理的多个视图。为此，我们首先设计了一个可微分的深度图扭曲操作，这是端到端的可训练的，然后提出了一个姿势生成器，以对抗的方式为给定的图像生成新的视图。与可微分深度图扭曲操作协作，姿态生成器鼓励深度估计网络从硬视图学习，从而产生视图一致的深度图。我们在NYU Depth V2数据集上评估了我们的方法，实验结果表明，在最先进的MDE方法上，我们的方法具有很好的性能增益。
2019-08-04 cs.CV cs.LG eess.IV
How Well Can Generative Adversarial Networks Learn Densities: A Nonparametric View
University of Chicago（芝加哥大学）
本文研究了生成对抗网络（GAN）框架下学习密度的收敛速度，借鉴了非参数统计的见解。我们引入了一种改进的GAN估计器，通过同时利用目标密度和评估度量中的平滑程度来实现更快的速率，这在理论上弥补了文献中报道的模式崩溃问题。构造了一个极大极小下界，表明当维数较大时，新的GAN估计的速率指数接近最优。人们可以将我们的结果视为以定量的方式回答GAN在评估指标的层次结构下如何学习具有不同平滑特性的广泛密度。作为一个副产品，我们还获得了更深的ReLU神经网络的GAN的改进的泛化界。
2018-02-16 cs.LG math.ST stat.ML
A reading survey on adversarial machine learning: Adversarial attacks and their understanding
Kyushu University（九州大学）
本文综述了对抗性机器学习中的对抗性攻击分类与理解，并概述现有防御方法的局限性，为该领域未来研究方向提供参考。
2023-08-07 cs.AI cs.CR cs.LG
Politics of Adversarial Machine Learning
Harvard Law School（哈佛法学院）；University of Toronto（多伦多大学）；Harvard Kennedy School（哈佛肯尼迪学院）；Microsoft（微软）
除了安全属性外，对抗性机器学习攻击和防御还具有政治层面。它们为机器学习系统的主体和部署它们的人启用或排除某些选项，为公民自由和人权带来风险。在本文中，我们借鉴了科学技术研究、人类学和人权文献的见解，介绍了如何利用对抗攻击来压制异议，并限制对机器学习系统的调查。为了使这一点具体化，我们使用真实世界的例子来说明如何将扰动、模型反演或成员推断等攻击用于社会期望的目的。尽管这一分析的预测看起来很可怕，但还是有希望的。解决商业间谍软件行业人权问题的努力为类似措施提供了指导，以确保ML系统服务于民主而非专制目的。
2020-04-26 cs.CR cs.CY cs.LG
A Bayes-Optimal View on Adversarial Examples
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
自从发现对抗性例子--用输入的微小扰动来欺骗现代CNN分类器的能力--以来，人们一直在讨论它们是当前神经架构和训练方法特有的“bug”，还是高维几何不可避免的“特征”。在本文中，我们主张从贝叶斯最优分类的角度来检查对抗性示例。我们构建现实的图像数据集，贝叶斯最优分类器可以有效地计算，并推导出分析条件下，这些分类器是可证明的强大的分布对任何对抗攻击，即使在高维度。我们的研究结果表明，即使这些“黄金标准”的最佳分类器是鲁棒的，在相同数据集上训练的CNN也会始终如一地学习脆弱的分类器，这表明对抗性示例通常是可以避免的“错误”。我们进一步表明，在相同数据上训练的RBF SVM始终学习鲁棒分类器。在不同数据集的真实图像实验中观察到相同的趋势。
2021-03-17 cs.CR cs.CV cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
Adversarial Fair Multi-View Clustering
School of Software, Dalian University of Technology（大连理工大学软件学院）
针对多视图聚类忽视公平性的问题，提出对抗性公平多视图聚类框架，通过对抗训练移除敏感信息并理论保证公平性，实验证明公平性与聚类性能俱佳。
2025-08-06 cs.LG
