Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks
The MITRE Corporation（MITRE公司）
众所周知，机器学习（ML）模型容易受到对抗性输入的影响，研究人员已经证明，即使是自动驾驶汽车和ML即服务产品等生产系统也很容易受到影响。这些系统是不良行为者的目标。它们的中断可能造成真正的物质和经济损害。当对生产ML系统的攻击发生时，将攻击归因于负责的威胁组的能力是制定响应并追究攻击者责任的关键步骤。我们提出以下问题：可以adversarially扰动输入归因于特定的方法来产生的攻击？换句话说，有没有办法在这些攻击中找到暴露攻击算法、模型架构或攻击中使用的超参数的信号？我们引入了对抗攻击归因的概念，并创建了一个简单的监督学习实验框架，以检查发现归因信号在对抗攻击的可行性。我们发现，在CIFAR-10和MNIST数据集上区分不同攻击算法、模型和超参数生成的攻击是可能的。
2021-01-08 cs.CR cs.CV cs.LG
What Doesn't Kill You Makes You Robust(er): How to Adversarially Train against Data Poisoning
University of Siegen（锡根大学）；University of Maryland（马里兰大学）
数据投毒是一种威胁模型，其中恶意行为者篡改训练数据以在推理时操纵结果。针对这种威胁模型提出了各种防御措施，但每一种都至少有以下缺陷之一：它们很容易被自适应攻击克服，它们严重降低测试性能，或者它们不能推广到不同的数据投毒威胁模型。对抗性训练及其变体目前被认为是唯一一种针对（推理时间）对抗攻击的经验性强的防御方法。在这项工作中，我们扩展了对抗性训练框架，以防御（训练时间）数据投毒，包括有针对性的和后门攻击。我们的方法通过在训练过程中创建毒药并将其注入训练批次来使网络对此类攻击的影响脱敏。我们证明了这种防御可以承受自适应攻击，推广到不同的威胁模型，并且比以前的防御（如DP-SGD或（逃避）对抗训练）具有更好的性能权衡。
2022-02-17 cs.CR cs.CV cs.LG
Adversarial training for tabular data with attack propagation
Feedzai（Feedzai公司）；INESC-ID（葡萄牙系统与计算机工程研究所）；IST, U. de Lisboa（里斯本大学高等技术学院）
针对表格数据特征工程导致的攻击空间转换问题，提出在训练循环中跨空间传播攻击的新型对抗训练方法，在信用卡欺诈检测中有效抵御攻击并保持较低性能权衡。
2023-07-28 cs.CR cs.LG
Robust Network Slicing: Multi-Agent Policies, Adversarial Attacks, and Defensive Strategies
Syracuse University（雪城大学）
本文提出一种基于多演员和集中式评论家的深度强化学习网络切片框架，并开发了基于深度强化学习的干扰器进行对抗攻击，最后设计了纳什均衡监督的策略集成混合策略作为防御措施。
2023-11-19 cs.CR cs.LG cs.MA
Explainability and Adversarial Robustness for RNNs
Technische Universität Wien（维也纳工业大学）
递归神经网络（RNN）为构建网络数据的入侵检测系统（IDS）提供了有吸引力的特性。随着无处不在的机器学习（ML）系统的兴起，恶意行为者一直在迅速追赶，寻找利用ML漏洞获利的新方法。最近开发的对抗性ML技术专注于计算机视觉，它们对网络流量的适用性并不简单：网络数据包比图像暴露更少的特征，是连续的，并对其特征施加了几个约束。我们表明，尽管有这些完全不同的特征，但RNN可以可靠地生成对抗样本。为了了解分类器的潜在误分类，我们扩展了现有的可解释性技术，并提出了新的，特别适合于序列数据。应用它们表明，通信流的第一个数据包已经非常重要，很可能成为攻击者的目标。特征重要性方法表明，即使是相对不重要的特征也可以被有效地滥用来生成对抗样本。由于传统的评估指标（如准确性）不足以量化对抗性威胁，我们提出了对抗性鲁棒性得分（ARS）来比较IDS，捕捉对抗性鲁棒性的共同概念，并表明对抗性训练过程可以显着并成功地减少攻击面。
2020-02-19 cs.CR cs.LG cs.NI
A General Retraining Framework for Scalable Adversarial Classification
Vanderbilt University（范德堡大学）；Shanghai Jiaotong University（上海交通大学）
传统的分类算法假设训练数据和测试数据来自相似的分布。这种假设在对抗性设置中被违反，其中恶意行为者修改实例以逃避检测。针对对抗性规避攻击和鲁棒学习，已经开发了许多自定义方法。我们提出了第一个系统和通用的再训练框架，它可以：a）提高\emph{arbitrary}学习算法的鲁棒性，面对b）比任何现有方法更广泛的对抗模型。我们证明了，在自然条件下，再训练框架最小化了最优对抗风险的上限，并展示了如何将这一结果扩展到规避攻击的近似值。广泛的实验评估表明，我们的再训练方法与最先进的优化对抗风险的算法几乎没有区别，但更通用，可扩展性更强。实验还证实，如果没有再训练，我们的对抗框架会大大降低学习的有效性。相比之下，再训练显著提高了对规避攻击的鲁棒性，而不会显著影响整体准确性。
2016-11-26 cs.GT cs.LG stat.ML
A Novel Deep Learning based Model to Defend Network Intrusion Detection System against Adversarial Attacks
Bharati Vidyapeeth's Institute of Computer Applications and Management（巴拉蒂·维德亚佩特计算机应用与管理学院）；Aligarh Muslim University（阿里格尔穆斯林大学）
本研究针对基于深度学习的网络入侵检测系统（NIDS）易受对抗性攻击的问题，实现了FGSM、JSMA、PGD和C&W四种对抗攻击方法，并采用对抗训练作为防御手段，利用CICIDS-2017数据集在攻击前后及防御后三个阶段评估了模型性能。
2023-07-31 cs.AI cs.CR cs.LG
Adversarially Robust Spiking Neural Networks with Sparse Connectivity
Institute of Machine Learning and Neural Computation, Graz University of Technology, Austria（机器学习与神经计算研究所，格拉茨技术大学）；TU Graz - SAL Dependable Embedded Systems Lab, Silicon Austria Labs, Austria（格拉茨大学 - SAL 可靠嵌入式系统实验室，Silicon Austria Labs）；Chair of Cyber-Physical-Systems, Montanuniversität Leoben, Austria（智能物理系统系，蒙特安大学）
提出一种利用稀疏连接和权重的转换算法，生成稀疏且对抗鲁棒的SNN，实现高达100倍内存减少和8.6倍能效提升，同时保持高性能与鲁棒性。
2025-05-16 cs.CR cs.LG cs.NE
Certifying LLM Safety against Adversarial Prompting
Harvard University（哈佛大学）；University of Maryland（马里兰大学）
本文提出首个可认证安全保证的防御框架 erase-and-check，通过逐个擦除 token 并检查子序列来抵御对抗性提示攻击，并给出三种高效经验性防御变体，在有害提示上取得强认证安全保证。
2025-02-04 cs.AI cs.CL cs.CR
Multiple Perturbation Attack: Attack Pixelwise Under Different $\ell_p$-norms For Better Adversarial Performance
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
对抗性机器学习一直是一个主要的关注点，也是最近的热门话题，特别是随着深度神经网络在当前环境中的普遍使用。对抗攻击和防御通常被比作猫捉老鼠的游戏，其中防御者和攻击者随着时间的推移而演变。一方面，目标是开发强大而强大的深度网络，以抵抗恶意行为者。另一方面，为了实现这一目标，我们需要设计更强大的对抗攻击来挑战这些防御模型。大多数现有的攻击采用单个$\ell_p$距离（通常为$p\in\{1,2,\infty\}$）来定义接近度的概念，并执行相对于.该$p$ -范数以相同的方式更新对抗示例中的所有像素。这些$\ell_p$攻击各有优缺点;没有一种攻击可以成功突破同时针对多个$\ell_p$规范的防御模型。受这些观察的启发，我们提出了一种自然的方法：在像素级上组合各种$\ell_p$梯度投影，以实现联合对抗扰动。具体来说，我们学习如何扰动每个像素以最大化攻击性能，同时保持对抗性示例的整体视觉不可感知性。最后，通过使用标准化基准的各种实验，我们表明，我们的方法在最先进的防御机制中优于当前大多数强大的攻击，同时保持其在视觉上保持干净的能力。
2022-12-07 cs.CR cs.CV cs.LG
FAdeML: Understanding the Impact of Pre-Processing Noise Filtering on Adversarial Machine Learning
Vienna University of Technology（维也纳工业大学）；Information Technology University（信息技术大学）
基于深度神经网络（DNN）的机器学习（ML）算法最近已经成为领先的ML范式，特别是对于分类任务，因为它们具有从大型数据集有效学习的卓越能力。然而，一些众所周知的攻击，如数据集中毒，对抗性示例和网络操纵（通过添加恶意节点）的发现，使人们关注基于DNN的ML系统缺乏安全性。特别地，恶意行为者可以使用这些众所周知的攻击来引起随机/有针对性的误分类，或者引起预测置信度的改变，这仅通过轻微但系统地操纵环境参数、推断数据或数据采集块来实现。然而，大多数先前的对抗攻击没有考虑通常与ML推理模块集成的预处理噪声滤波器。我们在这项工作中的贡献是表明这是一个重大的遗漏，因为这些噪声过滤器可以使大多数现有的攻击无效，这些攻击基本上依赖于引入对抗性噪声。除此之外，我们还扩展了现有技术，提出了一种新的预处理噪声过滤器感知的对抗性ML攻击，称为FadeML。为了证明所提出的方法的有效性，我们通过利用针对“德国交通标志识别基准（GTSRB）”数据集训练的“VGGNet”DNN来生成对抗攻击图像，尽管没有视觉噪声，但即使在存在预处理噪声过滤器的情况下，也会导致分类器错误分类。
2018-11-04 cs.CR cs.LG stat.ML
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里，我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作，但这些工作中的大部分都假设了一个非对抗性的设置，在这个设置中，除了偶尔的统计故障之外，各个节点都按照算法框架的预期运行。然而，近年来，来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此，我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性，以及在不同的对抗性威胁模型下的学习。然而，部分由于世界对数据驱动决策的需求日益增长，保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中，我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Adversarially Trained Actor Critic for Offline Reinforcement Learning
Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
基于相对悲观的概念，提出了一种新的无模型的离线强化学习算法-Adversarially Trained Actor Critic（ATAC）. ATAC被设计成一个两人的Stackelberg游戏：一个策略参与者与一个经过对抗训练的价值批评者竞争，后者发现数据一致的场景，其中参与者不如数据收集行为策略。我们证明了，当行动者在两人博弈中没有后悔时，运行ATAC产生的策略可证明1）在控制悲观程度的广泛超参数范围内优于行为策略，2）与具有适当选择的超参数的数据所覆盖的最佳策略竞争。与现有的工作相比，值得注意的是，我们的框架提供了一般函数近似的理论保证和可扩展到复杂环境和大型数据集的深度RL实现。在D4 RL基准测试中，ATAC在一系列连续控制任务上始终优于最先进的离线RL算法。
2022-07-05 cs.LG
Adversarial Advantage Actor-Critic Model for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（国立台湾大学）
提出了一种新的策略学习方法-对抗性优势参与者-批评者（Adversarial A2 C），该方法显著提高了任务完成对话系统中对话策略学习的效率。受生成对抗网络（GAN）的启发，我们训练一个机器人来区分对话代理产生的响应/动作与专家的响应/动作。然后，我们将作为另一个评论家的优势演员-评论家（A2 C）的框架，鼓励对话代理，以探索国家行动的区域内的代理采取行动类似的专家。在电影票预订领域的实验结果表明，提出的对抗A2 C可以有效地加速策略探索。
2018-02-08 cs.AI cs.CL cs.LG
Are LLMs Ready for Conflict Monitoring? Empirical Evidence from West Africa
研究评估多个大语言模型在尼日利亚和喀麦隆冲突事件分类中的表现，发现普通模型有错误合法化偏差，领域适应模型有行为者选择偏差，输出对地理特定词汇框架敏感，当前模型不适用于冲突监测，呼吁针对性改进。
2026-05-05 cs.CL cs.LG
Hierarchical Soft Actor-Critic: Adversarial Exploration via Mutual Information Optimization
Blackberry Cylance（黑莓Cylance）
我们描述了一种新的扩展软演员批评分层深度Q网络（HDQN）架构使用互信息度量。拟议的扩展提供了一个合适的框架，鼓励探索在这样的层次网络。这个框架的一个自然的利用是一个对抗性的设置，其中元控制器和控制器在互信息目标上玩极小极大，但在最大化预期回报上合作。
2019-06-17 cs.AI cs.IT cs.LG
Actor-Critic Network for Q&A in an Adversarial Environment
University of Texas at Austin（德克萨斯大学奥斯汀分校）
在Q&A NLP领域已经做了大量的工作，以构建对对抗攻击更鲁棒的模型。两个重点领域是生成对抗性数据，以针对这些情况进行训练，或者修改现有架构以构建鲁棒性。本文介绍了一种方法，将这两个想法结合在一起，训练一个几乎强化学习框架中使用的批评模型。使用对抗SQuAD“Add One Sent”数据集，我们表明这种方法在防止对抗攻击方面有一些有希望的迹象。
2022-01-03 cs.AI cs.CL cs.LG
Connecting Generative Adversarial Networks and Actor-Critic Methods
Google DeepMind（谷歌DeepMind）
无监督学习中的生成对抗网络（GAN）和强化学习（RL）中的行动者-批评者方法都因难以优化而闻名。这两个领域的从业者已经积累了大量的策略来减轻这些不稳定性并改善培训。在这里，我们证明了GANs可以被视为演员不能影响奖励的环境中的演员-评论家方法。我们回顾了每类模型的稳定训练策略，包括在两者之间推广的策略和特定于该模型的策略。我们还回顾了GANs和RL算法的一些扩展，这些算法具有更复杂的信息流。我们希望通过强调这种正式的联系，我们将鼓励GAN和RL社区开发通用的，可扩展的，稳定的算法，用于深度网络的多级优化，并在社区中汲取灵感。
2017-01-18 cs.LG stat.ML
Untargeted White-box Adversarial Attack with Heuristic Defence Methods in Real-time Deep Learning based Network Intrusion Detection System
Aligarh Muslim University（阿里格尔穆斯林大学）
本研究针对基于深度学习的实时网络入侵检测系统的对抗漏洞问题，实现了四种白盒对抗攻击并验证其效果，同时提出三种启发式防御策略提升系统鲁棒性，为网络安全领域的对抗机器学习研究提供参考。
2023-10-07 cs.LG
Steering Vectors are an Adversarial Attack Surface
Sapienza University of Rome（罗马萨皮恩扎大学）；EPFL（苏黎世联邦理工学院）
本文揭示了一种隐蔽的数据投毒攻击，通过替换转向数据集中的4-6%令牌，使转向向量与反拒绝方向对齐，从而劫持目标模型，同时保留对良性提示的预期转向效果。
2026-06-04 cs.LG
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University（同济大学）
本文提出鲁棒平均场演员-评论家强化学习RoMFAC，通过结合策略梯度与动作损失函数并引入重复正则化，同时构建状态对抗随机博弈模型，有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Deep Learning Approaches for Detecting Adversarial Cyberbullying and Hate Speech in Social Networks
School of Information Technology University of Cincinnati Cincinnati, Ohio, USA；School of Human Services University of Cincinnati Cincinnati, Ohio, USA
本文针对社交网络中利用对抗技术规避检测的网络欺凌和仇恨言论问题，提出一种结合校正算法的深度学习方法，利用固定 epoch 为 100 的 LSTM 模型实现了高准确率并超越以往研究。
2024-05-30 cs.CL cs.CY cs.LG
You Don't Need Robust Machine Learning to Manage Adversarial Attack Risks
该综述梳理对抗机器学习攻击的相关文献，评估其对普通实体的真实风险，指出多数威胁无需采用高成本的鲁棒ML方案，同时给出了需使用鲁棒模型的场景建议。
2023-06-16 cs.LG stat.ML
Don't Look into the Sun: Adversarial Solarization Attacks on Image Classifiers
Offenburg University（奥芬堡大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）
针对图像分类器鲁棒性评估难题，提出基于图像日晒的对抗攻击方法，可在不破坏图像全局结构的前提下大幅降低模型准确率，且现有防御难以有效抵御。
2023-08-24 cs.AI cs.CV cs.LG
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
Practical Attacks on Voice Spoofing Countermeasures
University of Waterloo（滑铁卢大学）
语音身份验证已成为银行交易和呼叫中心对话等安全关键型操作中不可或缺的一部分。自动说话人确认系统（ASV）的脆弱性，以欺骗攻击煽动对策（CM）的发展，其任务是区分善意和欺骗的语音。ASV和CM共同构成了今天的语音认证平台，被宣传为可扩展的访问控制机制。我们开发了对CM的第一个实际攻击，并展示了恶意行为者如何有效地制作音频样本，以最严格的形式绕过语音认证。以前的作品主要集中在非主动攻击或对抗策略，对ASV不产生语音在受害者的声音。我们攻击的后果要严重得多，因为我们生成的样本听起来像受害者，消除了任何似是而非的否认的机会。此外，针对CM的少数现有对抗攻击错误地优化了特征空间中的欺骗语音，并且没有考虑ASV的存在，导致在现实设置中失败的劣质合成音频。我们通过我们的关键技术贡献消除了这些障碍：一种新颖的联合损失函数，可以直接在时域中对ASV/CM组合部署进行高级对抗攻击。我们的对手在最先进的身份验证平台上实现了关于黑箱的成功率（高达93.57%）。最后，我们对CM进行了第一次有针对性的电话网络攻击，绕过了几个挑战，并启用了各种潜在的威胁，因为呼叫中心越来越多地使用语音生物识别技术。我们的研究结果对现代语音认证系统的安全性提出了质疑，因为攻击者绕过这些措施来访问用户最有价值的资源的真正威胁。
2021-07-30 cs.CR cs.LG cs.SD
Using Reed-Muller Codes for Classification with Rejection and Recovery
University of Birmingham（伯明翰大学）；University of Oxford（牛津大学）
针对传统分类器无法处理分布外输入及弱扰动图像被误拒的问题，提出受 Reed-Muller 纠错码启发的 RMAggNet 分类器，通过纠错能力在多扰动预算下最小化错误率并保持正确率，减少额外处理。
2023-09-12 cs.LG
A Hybrid Approach Between Adversarial Generative Networks and Actor-Critic Policy Gradient for Low Rate High-Resolution Image Compression
Imperial College London（帝国理工学院）
图像压缩是在不降低图像质量的情况下减少图像字节大小的基本方法。通常使用经典算法，但最近深度学习已成功应用。在这项工作中，提出了一种用于图像压缩的深度超分辨率工作流程，将低分辨率JPEG图像映射到高分辨率。流水线由两个部分组成：首先，编码器-解码器神经网络学习如何将下采样的JPEG图像转换为高分辨率。其次，生成对抗网络（GANs）和强化学习Actor-Critic（A3 C）损失之间的组合推动编码器-解码器间接最大化高峰值信噪比（PSNR）。虽然PSNR是一个完全可微分的指标，但这项工作为通过编码器-解码器网络和强化学习策略梯度方法之间的端到端方法最大化非微分指标的新解决方案打开了大门。
2019-06-13 cs.LG eess.IV stat.ML
ACtuAL: Actor-Critic Under Adversarial Learning
MILA, Université de Montréal（蒙特利尔大学 MILA）；Polytechnique Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
生成对抗网络（GANs）是深度生成建模的强大框架。作为一个两人极大极小问题，GANs通常在实值数据上进行端到端训练，并可用于训练高维和逼真图像的生成器。然而，GANs的一个主要限制是，训练依赖于通过反向传播将梯度从卷积器传递到生成器。这使得用离散数据训练GANs从根本上变得困难，因为在这种情况下的生成通常涉及不可微函数。当动作空间由离散决策组成时，这些困难延伸到强化学习设置。我们通过重新构建GAN框架来解决这些问题，这样生成器就不再使用梯度训练，而是使用具有时间差异（TD）目标的演员-评论家框架中的学习评论家进行训练。这是一个自然的适合序列建模，我们用它来实现语言建模任务的标准教师强迫方法的改进。
2017-11-13 cs.LG stat.ML
ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对图结构多智能体对抗任务中稀疏奖励阻碍策略学习的问题，提出ARAC方法，结合注意力图神经网络建模智能体依赖与自适应散度正则化机制，实验证明其收敛更快、成功率更高且可扩展性更强。
2025-11-11 cs.LG
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对抗性模仿学习（AIL）是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中，人工对手的错误分类被用作奖励信号，该奖励信号由任何标准的强化学习（RL）算法优化。与大多数RL设置不同，AIL中的奖励是$differentiable$，但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的，因为它来自对手。我们利用形状AIL奖励函数的可微性，并制定了一类演员残差评论（ARC）RL算法。ARC算法与RL文献中的标准Actor-Critic（AC）算法并行，并使用残差评论家$C$函数（而不是标准$Q$函数）来仅近似贴现的未来回报（不包括即时奖励）。ARC算法具有与标准AC算法相似的收敛特性，其额外的优点是通过即时奖励的梯度是精确的。对于离散（表格）的情况下，有限的状态，行动，和已知的动态，我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下，函数逼近和未知的动态，我们的实验表明，ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现，并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
SAAC: Safe Reinforcement Learning as an Adversarial Game of Actor-Critics
Stanford University（斯坦福大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
尽管强化学习（RL）对于不确定性下的顺序决策问题是有效的，但它仍然无法在风险或安全是约束性约束的现实世界系统中蓬勃发展。在本文中，我们制定了RL问题的安全约束作为一个非零和游戏。虽然部署了最大熵RL，但这种提法导致了一个安全的对抗引导的软演员-评论家框架，称为SAAC。在SAAC中，对手的目标是打破安全约束，而RL代理的目标是最大化受约束的价值函数给定对手的政策。对代理人的价值函数的安全约束只表现为代理人和对手的政策之间的排斥项。与以前的方法不同，SAAC可以解决不同的安全标准，如安全探索，均值-方差风险敏感性，CVaR的一致性风险敏感性。我们说明了这些限制的对手的设计。然后，在这些变化中的每一个，我们表明代理区分自己从对手的不安全的行动，除了学习解决任务。最后，对于具有挑战性的连续控制任务，我们证明了SAAC实现更快的收敛速度，更好的效率，更少的故障，以满足安全约束比风险厌恶的分布式RL和风险中性的软演员批评算法。
2022-07-05 cs.AI cs.GT cs.LG
MAGICS: Adversarial RL with Minimax Actors Guided by Implicit Critic Stackelberg for Convergent Neural Synthesis of Robot Safety
Department of Electrical and Computer Engineering, Princeton University, USA（电气与计算机工程系，普林斯顿大学）
提出MAGICS对抗强化学习算法，通过隐式Critic Stackelberg引导的Minimax Actor保证局部收敛至minimax均衡，为深度RL机器人安全合成提供收敛保证，并在仿真和四足机器人实验中优于现有方法。
2025-04-27 cs.AI cs.LG cs.RO
Off-Policy Actor-Critic for Adversarial Observation Robustness: Virtual Alternative Training via Symmetric Policy Evaluation
Department of Information Science, Kyoto University, Kyoto, Japan（京都大学信息科学系）；ATR Neural Information Processing Laboratories, Kyoto, Japan（ATR神经信息处理实验室）；International Research Center for Neurointelligence, The University of Tokyo, Tokyo, Japan（神经智能国际研究中心）
提出一种基于对称策略评估的离策略演员-评论家方法，通过软约束优化消除额外环境交互，提升对抗性观测下的鲁棒性。
2025-06-20 cs.AI cs.LG cs.RO
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University（首尔国立大学）
我们专注于对离散序列数据模型进行对抗攻击的问题，在黑盒设置中，攻击者的目标是制作对抗示例，对受害者模型进行有限的查询访问。现有的黑盒攻击，主要是基于贪心算法，发现敌对的例子使用预先计算的关键位置扰动，这严重限制了搜索空间，并可能导致次优的解决方案。为此，我们提出了一个查询高效的黑盒攻击，使用贝叶斯优化，动态计算重要的位置，使用自动相关性确定（ARD）分类内核。当输入序列变长时，我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外，我们开发了一个后优化算法，发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明，与现有的方法相比，该方法具有更高的攻击成功率，查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
Discriminator Soft Actor Critic without Extrinsic Rewards
Kanazawa University（金泽大学）
在未知状态下，很难从少量的专家数据和采样数据中进行很好的模拟。行为克隆等监督学习方法不需要采样数据，但通常会遭受分布偏移。基于强化学习的方法，如逆强化学习和生成对抗模仿学习（GAIL），只能从少量的专家数据中学习。但是，他们往往需要与环境互动。软Q模仿学习解决了这些问题，并表明它可以有效地学习行为克隆和软Q学习与恒定的奖励。为了使该算法对分布偏移具有更好的鲁棒性，我们提出了鉴别器软演员批评（DSAC）。它使用基于对抗逆强化学习的奖励函数，而不是恒定的奖励。我们在PyBullet环境中评估了它，只有四个专家轨迹。
2020-01-31 cs.LG stat.ML
ISAACS: Iterative Soft Adversarial Actor-Critic for Safety
Princeton University（普林斯顿大学）
本文提出ISAACS方法，通过博弈论安全分析与对抗强化学习相结合，可扩展地合成鲁棒保安全控制器，并构建具有鲁棒安全保证的实时安全屏障，在5D赛车模拟器中验证了其有效性。
2024-06-07 cs.LG cs.RO cs.SY
Enabling Off-Policy Imitation Learning with Deep Actor Critic Stabilization
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文提出一种结合非策略学习的对抗模仿学习算法，通过双Q网络稳定化和价值学习（无需奖励函数推断）来提高样本效率，从而更高效地匹配专家行为。
2026-05-18 cs.AI cs.LG
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Benchmarking Robustness to Adversarial Image Obfuscations
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Google Ads Safety（谷歌广告安全部）
本文针对恶意用户通过图像混淆绕过自动内容审核的问题，提出基于 ImageNet 的新基准，模拟保留原意的剧烈对抗性修改，并评估多种模型与训练方法的鲁棒性。
2023-11-29 cs.CV cs.LG
Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation
IBM Research（IBM研究院）；Trinity College Dublin（都柏林大学）
本文提出PCAP方法，通过多身份对抗搜索发现真实攻击场景，提升模型鲁棒性，生成多样化防御数据集。
2026-05-12 cs.CR cs.LG
Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对离线强化学习策略鲁棒性不足、易受观测扰动和攻击影响的问题，提出一种结合对抗攻击与防御的框架，通过训练时扰动观测并以防御为正则项增强策略，在D4RL基准上验证了防御的有效性。
2024-05-18 cs.AI cs.LG cs.RO
DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows
EPFL（洛桑联邦理工学院）；Merantix Labs GmbH（Merantix实验室有限责任公司）
尽管最近做了很多工作，但检测计算机视觉模型的分布外（OOD）输入和对抗攻击（AA）仍然是一个挑战。在这项工作中，我们介绍了一种新的技术，DAAIN，检测OOD输入和AA图像分割在一个统一的设置。我们的方法监控神经网络的内部工作，并学习激活分布的密度估计。我们配备了一个分类头的密度估计，以区分正常和异常的输入。为了处理典型分割网络的高维激活空间，我们对它们进行子采样以获得均匀的空间和分层覆盖。子采样模式为每个监控模型选择一次，并对所有输入保持固定。由于攻击者既不能访问检测模型，也不能访问采样密钥，因此他们更难攻击分段网络，因为攻击不能通过检测器反向传播。我们使用在Cityscapes数据集上训练的ESPNet作为分割模型，仿射归一化流作为密度估计器，并使用蓝噪声来确保均匀采样，从而证明了我们方法的有效性。我们的模型可以在单个GPU上训练，使其计算效率和可部署性，而无需专门的加速器。
2021-05-30 cs.CR cs.CV cs.LG
Safety-Critical Traffic Simulation with Adversarial Transfer of Driving Intentions
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出IntSim策略，将驾驶意图与运动规划解耦，通过优化对抗意图迁移实现高效安全关键交通仿真，并在真实数据集上验证其能提升规划器处理事故场景的能力。
2025-03-07 cs.LG cs.RO
ASSS: A Differentiable Adversarial Framework for Task-Aware Data Reduction
ASSS通过可微对抗框架将数据减少转化为学习选择器与任务网络之间的博弈，实现高效的数据减少，保留98.9%性能并仅使用30%数据，优于随机采样等方法。
2026-04-05 cs.LG
Style-Agnostic Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了一种新的方法学习风格无关的表示使用风格迁移和对抗学习的强化学习框架。这里的风格是指与任务无关的细节，例如图像中背景的颜色，在不同风格的环境中推广学习到的策略仍然是一个挑战。专注于学习风格不可知的表示，我们的方法训练演员从固有的对抗风格扰动生成器生成的各种图像风格，它在演员和生成器之间进行最小-最大游戏，而不需要数据增强的专家知识或对抗训练的额外类标签。我们验证了我们的方法在Procgen和Distracting Control Suite基准测试中比最先进的方法具有竞争力或更好的性能，并进一步研究了从我们的模型中提取的特征，表明该模型更好地捕获了不变量，并且较少受到转换风格的干扰。该代码可在https://github.com/POSTECH-CVLab/style-agnostic-RL上获得。
2022-08-31 cs.CV cs.LG
Who Is the Strongest Enemy? Towards Optimal and Efficient Evasion Attacks in Deep RL
University of Maryland, College Park（马里兰大学帕克分校）；Sun Yat-sen University（中山大学）
评估强化学习（RL）代理在最强/最优对抗扰动下的最坏情况下的性能对于理解RL代理的鲁棒性至关重要。然而，找到最佳的对手是具有挑战性的，无论是在我们是否可以找到最佳的攻击和如何有效地找到它。现有的对抗性强化学习的工作要么使用基于策略的方法，可能无法找到最强的对手，或直接训练一个基于RL的对手，通过治疗代理作为环境的一部分，它可以找到最佳的对手，但可能会变得难以处理在一个大的状态空间。本文提出了一种新的攻击方法，通过设计一个名为“演员”的功能和一个名为“导演”的基于RL的学习器之间的合作，以找到最佳的攻击。参与者为给定的策略扰动方向制作状态扰动，而导演学习提出最佳策略扰动方向。我们提出的算法PA-AD在理论上是最优的，并且在具有大状态空间的环境中比之前基于RL的工作效率要高得多。实证结果表明，我们提出的PA-AD普遍优于国家的最先进的攻击方法在各种Atari和MuJoCo环境。通过将PA-AD应用于对抗训练，我们在强大对手的多个任务中实现了最先进的经验鲁棒性。代码库在https://github.com/umd-huang-lab/paad_adv_rl上发布。
2023-03-20 cs.CR cs.LG
Detection of adversarial intent in Human-AI teams using LLMs
Department of Mechanical Engineering, University of California at Santa Barbara（加州大学圣巴巴拉分校机械工程系）；Department of Computer Science, University of California at Santa Barbara（加州大学圣巴巴拉分校计算机科学系）
本文研究了大语言模型在人类-人工智能团队中作为防御监督者的潜力，通过分析交互痕迹检测恶意行为，发现LLM能实时识别恶意行为，且无需任务特定信息，表明了任务无关防御的可能性。
2026-03-21 cs.AI cs.HC cs.LG
Multi-Agent Reinforcement Learning for Assessing False-Data Injection Attacks on Transportation Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Washington University St. Louis（圣路易斯华盛顿大学）
针对导航依赖下交通网络易遭虚假数据注入攻击的问题，提出含对抗模型与分层多智能体强化学习的计算框架，以寻找最坏攻击策略，并在Sioux Falls网络上验证了适用性。
2024-03-06 cs.AI cs.CR cs.LG
Adversarial Multi-Source Transfer Learning in Healthcare: Application to Glucose Prediction for Diabetic People
CNRS-LIMSI（法国国家科学研究中心-LIMSI）；Université Paris-Saclay（巴黎萨克雷大学）；Samovar；CNRS（法国国家科学研究中心）；Télécom SudParis（巴黎南部电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Université Paris 8（巴黎第八大学）
深度学习尚未彻底改变医疗保健的一般实践，尽管在一些特定任务上取得了可喜的成果。这部分是由于数据量不足，影响了模型的训练。为了解决这一问题，可以通过使用迁移学习利用其异质性来合并来自多个卫生行为者或患者的数据。为了提高多个数据源之间的传输质量，我们提出了一个多源对抗性迁移学习框架，该框架能够学习跨源相似的特征表示，因此更通用，更容易转移。我们将这一想法应用于糖尿病患者的血糖预测，使用完全卷积神经网络。评估是通过探索不同的传输方案与三个数据集的特点是他们的高帧间和帧内变异。虽然知识转移总体上是有益的，但我们表明，通过使用对抗性训练方法，可以进一步提高统计和临床准确性，超越当前最先进的结果。特别是，当使用来自不同数据集的数据时，或者当数据集内的数据太少时，它会大放异彩。为了理解模型的行为，我们分析了学习的特征表示，并在这方面提出了一个新的度量。与标准转移相反，对抗性转移不会区分患者和数据集，有助于学习更一般的特征表示。对抗性训练框架改进了多源环境中一般特征表示的学习，增强了对未知目标的知识转移。所提出的方法可以帮助提高不同健康参与者在深度模型训练中共享数据的效率。
2020-06-29 cs.CV cs.LG eess.IV
Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks
Rowan University（罗文大学）
众所周知，人工神经网络在不断地从任务序列中学习时容易发生灾难性遗忘。已经提出了各种连续（或“增量”）学习方法来避免灾难性遗忘，但是它们通常是对手不可知的，即，他们不考虑恶意攻击的可能性。在这项工作中，我们探讨弹性权重合并（EWC），一个流行的持续学习算法，以避免灾难性遗忘的脆弱性。我们表明，智能对手可以绕过EWC的防御，而是通过在训练过程中向模型引入少量错误信息来引起逐渐和故意的遗忘。我们证明了这样一个对手的能力，通过注入“后门”攻击样本的MNIST数据集的置换和分裂基准变量的模型的控制。重要的是，一旦模型学习了对手的错误信息，对手就可以控制任何任务的遗忘量。同样，恶意行为者可以通过将精心设计的后门样本插入到该任务的测试实例的任何部分来创建关于该任务的“虚假记忆”。也许最具破坏性的是，我们发现这种漏洞非常严重;即使是单个任务的训练数据的1%，也可以通过添加后门样本来轻松损害神经网络内存。
2020-02-17 cs.AI cs.CR cs.LG
Robust SleepNets
Drexel University（德雷塞尔大学）
最先进的卷积神经网络在人脸识别和对象分类等机器学习任务中表现出色，但在存在对抗攻击时会受到严重影响。至关重要的是，部署机器学习模型的机器关键系统利用强大的模型来处理现实世界中的各种可变性和可能使用对抗攻击的恶意行为者。在这项研究中，我们调查眼睛闭合检测，以防止车辆事故有关的驾驶员脱离和驾驶员困倦。具体来说，我们专注于对抗攻击在这个应用领域，但强调的方法可以应用到许多其他领域。我们开发了两个模型来检测眼睛闭合：第一个模型的眼睛图像和第二个模型的人脸图像。我们使用投影梯度下降，快速梯度符号和DeepFool方法对抗攻击模型，并报告对抗成功率。我们还研究了训练数据增强的效果。最后，我们在扰动图像上对抗性地训练相同的模型，并报告防御这些攻击的成功率。我们希望我们的研究能够通过捕捉驾驶员的面部图像，并在驾驶员因困倦而闭上眼睛时提醒他们，从而防止潜在的交通事故。
2021-02-24 cs.CV cs.LG
Image Hijacks: Adversarial Images can Control Generative Models at Runtime
Harvard University（哈佛大学）；Cambridge University（剑桥大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究发现可控制视觉语言模型推理行为的“图像劫持”对抗样本，提出行为匹配及提示匹配算法生成劫持图像，针对LLaVA的四类攻击成功率超80%，且攻击自动化、仅需微小图像扰动。
2024-09-17 cs.CL cs.CR cs.LG
