Action Robust Reinforcement Learning via Optimal Adversary Aware Policy Optimization
MoE Key Lab of Artificial Intelligence（人工智能MOE关键实验室）；AI Institute（人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出最优对手感知策略迭代（OA-PI）框架，通过针对最优动作对手优化策略来提升深度强化学习的动作鲁棒性，并可集成到TD3和PPO等主流算法中，在保持标称性能与样本效率的同时有效增强鲁棒性。
2025-07-04 cs.LG
Adversarial Music: Real World Audio Adversary Against Wake-word Detection System
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
Amazon Alexa或Google Assistant等语音助理（VA）依赖唤醒词检测来响应人们的命令，这可能容易受到音频对抗示例的影响。在这项工作中，我们针对唤醒词检测系统进行攻击，用一些不显眼的背景音乐干扰模型，以在我们的音频对手存在时停用VA。我们根据最近的出版物实现了Amazon Alexa的模拟唤醒词检测系统。我们在唤醒词检测准确性方面验证了我们的模型。然后，我们计算我们的音频对手考虑期望超过变换，我们实现了我们的音频对手与可微合成器。接下来，我们在从现实世界收集的数百个话语样本上以数字方式验证了我们的音频对手。实验结果表明，我们可以有效地降低我们的仿真模型的识别F1分数从93.4%到11.0%。最后，我们在空中测试了我们的音频对手，并验证了它对Alexa的有效性，将其F1分数从92.5%降低到11.0%。我们还验证了非对抗性音乐不会像相同音量的音乐那样有效地禁用Alexa。据我们所知，这是第一次针对商业级VA唤醒词检测系统的真实对抗攻击。我们的代码和演示视频可以在\url{https://www.junchengbillyli.com/AdversarialMusic}上访问
2019-12-06 cs.CR cs.LG cs.SD
Towards Optimal Algorithms for Prediction with Expert Advice
Microsoft Research（微软研究院）
我们研究的经典问题的预测与专家的意见，在对抗设置几何停止时间。1965年，Cover给出了两个专家情况下的最优算法。在本文中，我们设计的最佳算法，对手和遗憾的情况下，3个专家。此外，我们证明了$2$和$3$专家的最佳算法是一个概率匹配算法（类似于汤普森抽样）对一个特定的随机对手。值得注意的是，我们的证明表明，概率匹配算法不仅是最佳的对这个特定的随机对手，但最小最大最优。我们的分析开发的上限和下限同时，类似于原始对偶方法。我们对最佳对手的分析是通过粒子在多个墙壁之间随机行走的微妙渐近性来进行的。我们使用的连接，我们开发的随机游走，以获得一个改进的算法和遗憾的情况下，$4$专家界，并提供了一个一般的框架设计的最佳算法和对手的任意数量的专家。
2016-07-11 cs.GT cs.LG math.PR
Experimental Evidence for Asymptotic Non-Optimality of Comb Adversary Strategy
Mathematical Institute（数学研究所）
对于问题的预测与专家的意见，在对抗设置有限的停止时间，我们给出了强有力的计算机证据表明，梳策略$k=5$专家是不是渐近最优的，从而提供有力的证据对猜想的Gravin，佩雷斯和Sivan。
2019-12-03 cs.GT cs.LG
Profit Maximization in Bilateral Trade against a Smooth Adversary
Google Research（谷歌研究）
研究在在线学习框架下，面对平滑对手生成的估值，设计出保证$\tilde{O}(\sqrt{T})$ regret的算法，拓展了快速收敛的适用范围，填补了经济问题的regret景观中的空白。
2026-05-12 cs.GT cs.LG
Adversarial Feature Selection against Evasion Attacks
South China University of Technology（华南理工大学）；University of Cagliari（卡利亚里大学）
模式识别和机器学习技术已越来越多地用于对抗性设置，如垃圾邮件、入侵和恶意软件检测，尽管它们针对精心设计的攻击的安全性尚未得到彻底评估，这些攻击旨在通过在测试时操纵数据来逃避检测。虽然以前的工作主要集中在设计对手感知的分类算法来对抗逃避尝试，但只有少数作者考虑了使用减少的特征集对分类器安全性的影响。一个有趣的，初步的结果是，分类安全规避可能会恶化的应用程序的特征选择。在本文中，我们提供了一个更详细的调查，这方面的特征选择对规避攻击的安全属性，脱落一些光。受以往工作的启发，对手意识的分类器，我们提出了一种新的对手意识的特征选择模型，可以提高分类器的安全性规避攻击，通过将具体的假设对手的数据操作策略。我们专注于一个高效的，基于包装的实现我们的方法，并通过实验验证其合理性不同的应用程序的例子，包括垃圾邮件和恶意软件检测。
2020-05-25 cs.CR cs.LG stat.ML
Formulating Robustness Against Unforeseen Attacks
Princeton University（普林斯顿大学）
对抗性训练等对抗性示例的现有防御通常假设对手将符合特定或已知的威胁模型，例如固定预算内的$\ell_p$扰动。在本文中，我们专注于的情况下，有一个不匹配的威胁模型假设的防御在训练过程中，在测试时的对手的实际能力。我们提出这样一个问题：如果学习器针对特定的“源”威胁模型进行训练，那么在测试期间，我们何时可以期望鲁棒性推广到更强的未知“目标”威胁模型？我们的主要贡献是正式定义了不可预见的对手的学习和泛化问题，这有助于我们从已知对手的传统角度来推理对抗风险的增加。应用我们的框架，我们推导出一个泛化范围，它将源和目标威胁模型之间的泛化差距与特征提取器的变化联系起来，该特征提取器测量给定威胁模型中提取的特征之间的预期最大差异。基于我们的泛化范围，我们提出了变化正则化（VR），它减少了训练过程中特征提取器在源威胁模型中的变化。我们根据经验证明，使用VR可以提高测试时对不可预见攻击的泛化能力，并将VR与感知对抗训练相结合（Laidlaw et al.，2021）在不可预见的攻击上实现了最先进的鲁棒性。我们的代码可在https://github.com/inspire-group/variation-regularization上公开获取。
2022-09-29 cs.LG
Defending Against Machine Learning Model Stealing Attacks Using Deceptive Perturbations
IBM Research AI（IBM研究院人工智能部门）
如果对手可以获得所选输入的输出标签，则机器学习模型容易受到简单的模型窃取攻击。为了防止这些攻击，已经提出通过省略概率分数来限制提供给对手的信息，从而显著影响所提供服务的效用。在这项工作中，我们说明了如何服务提供商仍然可以提供有用的，虽然误导，类概率信息，同时显着限制攻击的成功。我们的防御迫使对手放弃类概率，在他们训练具有可比性能的模型之前需要更多的查询。我们评估了不同对抗模型下的几种攻击策略、模型架构和超参数，并评估了我们对最强对手的防御效果。最后，我们量化注入类概率的噪声量，以测量效用损失，例如，在CIFAR-10上每查询增加1.26 nat，在MNIST上增加3.27 nat。我们的评估表明，我们的防御可以降低被盗模型的准确性至少20%，或者需要多达64倍的查询，同时保持受保护模型的准确性几乎完好无损。
2018-12-13 cs.AI cs.CR cs.LG
Repeated Bilateral Trade Against a Smoothed Adversary
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）；University of Ottawa（渥太华大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Sapienza Università di Roma（罗马大学）
研究针对平滑对手的重复双边贸易问题，完整刻画了固定价格机制在不同反馈和定价策略下的遗憾界，并设计了最优算法与匹配下界。
2023-02-21 cs.DS cs.GT cs.LG
Non-Convex Matrix Completion Against a Semi-Random Adversary
Duke University（杜克大学）
矩阵完备化是一个研究得很好的问题，具有许多机器学习应用。在实际应用中，该问题通常采用非凸优化算法求解。然而，目前对非凸算法的理论分析严重依赖于假设每个条目都以完全相同的概率$p$被观察到，这在实践中是不现实的。在本文中，我们研究了一个更现实的半随机模型，其中观察到每个条目的概率至少是$p$。即使有这种轻微的半随机扰动，我们也可以构造反例，使现有的非凸算法陷入糟糕的局部最优。鉴于负面结果，我们提出了一个预处理步骤，试图重新加权半随机输入，使其变得“类似”的随机输入。我们对此问题给出了一个近线性时间算法，并表明经过预处理后，非凸目标的所有局部最小值都可以用于近似恢复底层的地面真值矩阵。
2018-09-07 cs.DS cs.LG math.OC
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
我们研究了针对强化学习（RL）的黑箱奖励中毒攻击，其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理，以在对手先验未知的环境中学习邪恶的策略。也就是说，我们的攻击对对手的先验知识做了最少的假设：它对环境或学习者没有初始知识，除了它执行的动作之外，它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击，U2，可以证明达到接近匹配的性能，以最先进的白盒攻击，证明了奖励中毒的可行性，即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
BAAAN: Backdoor Attacks Against Autoencoder and GAN-Based Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全研究中心）；Cyber-Defence Campus, armasuisse Science and Technology（瑞士联邦国防、民防和体育部科技局网络防御园区）
自动编码器和生成对抗网络（GANs）的巨大进步导致它们应用于多个关键任务，例如欺诈检测和净化数据生成。这种日益增长的采用促进了对这些模型所产生的安全和隐私风险的研究。然而，以前的工作主要集中在成员推断攻击。在这项工作中，我们探索了对机器学习模型最严重的攻击之一，即后门攻击，针对自动编码器和GANs。后门攻击是一种训练时间攻击，其中对手在目标模型中实现只能由秘密触发器激活的隐藏后门。最先进的后门攻击主要针对基于分类的任务。我们将后门攻击的适用性扩展到自动编码器和基于GAN的模型。更具体地说，我们提出了针对自动编码器和GANs的第一个后门攻击，当后门被激活时，对手可以控制解码或生成的图像。我们的研究结果表明，对手可以构建一个后门自动编码器，为所有后门输入返回一个目标输出，同时在干净的输入上表现得完全正常。同样，对于GANs，我们的实验表明，当后门被激活时，对手可以从不同的分布中生成数据，而当后门没有被激活时，对手可以保持相同的效用。
2020-10-08 cs.AI cs.CR cs.LG
Adversarial Attacks against Deep Learning Based Power Control in Wireless Communications
University of Maryland（马里兰大学）；Intelligent Automation, Inc.（智能自动化公司）
我们考虑基于对抗机器学习的功率分配攻击，其中基站（BS）通过使用深度神经网络（DNN）将其发射功率分配给多个正交子载波以服务多个用户设备（UE）。对应于回归模型的DNN是用信道增益作为输入来训练的，并返回发射功率作为输出。虽然BS向UE分配发射功率以最大化所有UE的速率，但是存在旨在最小化这些速率的对手。对手可以是外部发射机，其目的是通过干扰被发送以测量信道增益的导频信号来操纵DNN的输入。或者，对手可以是向BS发送伪造的信道估计的流氓UE。在这两种情况下，对手仔细地制造对抗性扰动，以操纵BS的DNN的输入，这些扰动的强度上界。我们考虑针对单个UE或所有UE的攻击。我们将这些攻击与基准进行比较，其中对手缩小了DNN的输入。我们证明了对抗性攻击在降低通信速率方面比基准攻击有效得多。我们还表明，对抗性攻击对对手的不确定性具有鲁棒性，包括对信道增益的错误认识以及完全按照指定进行攻击的潜在错误。
2021-10-12 cs.LG cs.NI eess.SP
Adversarial Attacks with Multiple Antennas Against Deep Learning-Based Modulation Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, Inc.（智能自动化公司）；Virginia Tech（弗吉尼亚理工大学）
我们考虑一个无线通信系统，其中发射机向接收机发送具有不同调制类型的信号，而接收机使用其基于深度学习的分类器对接收信号的调制类型进行分类。同时，对手使用其多个天线发送对抗性扰动，以欺骗分类器对接收到的信号进行错误分类。从对抗机器学习的角度来看，我们展示了如何利用对手的多个天线来提高对抗（逃避）攻击的性能。在利用多天线对抗时，主要考虑两个问题，即天线间的功率分配和信道分集的利用。首先，我们表明，多个独立的对手，每个与一个天线不能提高攻击性能相比，一个单一的对手与多个天线使用相同的总功率。然后，我们考虑各种方式来分配功率在多个天线之间在一个单一的对手，如分配功率只有一个天线，并成正比或成反比的信道增益。通过利用信道分集，我们引入攻击，通过符号级具有最大信道增益的信道传输对抗性扰动。我们发现，这种攻击降低了分类器的准确性显着相比，其他攻击在不同的信道条件下的信道方差和信道相关性天线。此外，我们表明，攻击的成功显着提高天线的数量增加，在对手，可以更好地利用信道多样性，工艺对抗性攻击。
2020-07-31 cs.LG cs.NI eess.SP
Channel Effects on Surrogate Models of Adversarial Attacks against Wireless Signal Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, Inc.（智能自动化公司）
我们考虑一个无线通信系统，包括一个背景发射器，一个发射器，和一个对手。发射器配备有深度神经网络（DNN）分类器，用于检测来自背景发射器的正在进行的传输，并且如果频谱空闲则发送信号。同时，对手通过观察频谱来训练自己的DNN分类器作为代理模型，以检测背景发射器的正在进行的传输，并生成对抗性攻击，以欺骗发射器将信道错误分类为空闲。该代理模型可能与发射机的分类器显著不同，因为对手和发射机经历来自背景发射机的不同信道，因此它们的分类器是用不同的输入分布来训练的。该系统模型可以表示背景发射器是主要用户、发射器是次要用户并且即使信道被主要用户占用对手也试图欺骗次要用户进行发射的设置。我们考虑不同的拓扑结构来研究对手训练的不同代理模型（取决于对手所经历的信道效应的差异）如何影响对抗性攻击的性能。仿真结果表明，用不同分布的信道诱导输入训练的代理模型严重限制了攻击性能，并表明对抗性攻击的可转移性既不容易获得也不容易实现，因为用于无线应用的代理模型可能与目标模型显著不同，这取决于信道效应。
2021-03-09 cs.LG cs.NI eess.SP
A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Jiangxi Normal University（江西师范大学）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
两两比较的等级聚合在选举、体育竞赛、推荐和信息检索中显示出了良好的效果。然而，很少有人注意到这些算法的安全性问题，相反，大量的研究工作的计算和统计特性。在巨额利润的驱使下，潜在对手有很强的动机和动力去操纵排行榜。同时，秩聚合方法的内在脆弱性在文献中没有得到很好的研究。为了充分了解可能的风险，我们专注于有目的的对手谁希望指定的聚合结果，通过修改成对数据在本文中。从动力系统的角度来看，具有目标排序列表的攻击行为是属于攻击者和受害者组成的不动点。为了进行有针对性的攻击，我们制定了对手和受害者之间的相互作用作为一个博弈论框架，由两个连续的运营商，而纳什均衡建立。然后构造了两个反对HodgeRank和RankCentrality的过程来产生对原始数据的修改。此外，我们证明了受害者将产生的目标排名列表，一旦对手掌握了完整的信息。值得注意的是，所提出的方法只允许对手持有不完整的信息或不完美的反馈，并执行有目的的攻击。一系列的玩具模拟和几个真实世界的数据实验证明了建议的目标攻击策略的有效性。这些实验结果表明，所提出的方法可以实现攻击者的目标，在这个意义上，扰动排名列表的领先候选人是由对手指定的。
2022-09-13 cs.CR cs.GT cs.LG
Online Prediction in Sub-linear Space
Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们为在线学习提供了第一个次线性空间和次线性后悔算法，并提供了专家建议（针对不经意的对手），解决了Srinivas，Woodruff，Xu和Zhou最近提出的一个开放问题（STOC 2022）。我们还证明了遗忘和（强）自适应对手之间的分离证明了一个线性记忆下界的任何次线性后悔算法对自适应对手。我们的算法是基于一个新的池选择过程，绕过传统的智慧的领导者选择在线学习，和一个通用的减少，将任何弱次线性遗憾$o(T)$算法的$T^{1-α}$遗憾算法，这可能是独立的利益。我们的下界利用零和游戏中的无悔学习和均衡计算的连接，从而证明了一个强大的下界对自适应对手。
2022-11-07 cs.DS cs.LG
Online learning with graph-structured feedback against adaptive adversaries
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
我们推导出$T$轮在线学习问题的策略后悔的上界和下界，其中对手是不遗忘的，但假设有一个有界的记忆。我们得到的$\widetilde O(T^{2/3})$和$\widetilde O(T^{3/4})$的上界强可观察和弱可观察的图，分别基于分析的Exp3算法的一个变种。当对手被允许大小为1的有界内存，我们证明了匹配的下限$\widetildeΩ(T^{2/3})$的情况下，实现全信息反馈。我们还研究了一个不经意的对手与切换成本的特定损失结构，并表明，在这样的设置，非揭示强可观察的反馈图实现了下限的$\widetildeΩ(T^{2/3})$，以及。
2018-04-01 cs.IT cs.LG math.IT
Active Privacy-utility Trade-off Against a Hypothesis Testing Adversary
Imperial College London（帝国理工学院）
我们认为用户释放她的数据包含一些个人信息，以换取服务。我们将用户的个人信息建模为两个相关的随机变量，其中一个被称为秘密变量，是要保持私有，而另一个被称为有用变量，是要公开的效用。我们考虑主动顺序数据发布，其中在每个时间步，用户从有限的一组发布机制中进行选择，每个机制都揭示了关于用户个人信息的一些信息，即，真实的假设，尽管有不同的统计数据。用户以在线方式管理数据发布，使得关于潜在有用变量的最大量的信息被揭示，同时敏感变量的置信度被保持在预定义水平以下。对于效用，我们考虑了有用变量的正确检测概率和有用变量与发布数据之间的互信息（MI）。我们将这两个问题表示为马尔可夫决策过程（MDP），并通过优势行动者-批评者（A2 C）深度强化学习（RL）进行数值求解。
2021-02-18 cs.CR cs.IT cs.LG
AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Amazon（亚马逊）；Massachusetts Institute of Technology（麻省理工学院）
AdvSim2Real通过共同演化任务课程、注入对手和智能体，在冻结网络世界模型中训练，使4B智能体在未见攻击下完成率提升33.6%，并增强鲁棒性与真实浏览器迁移能力。
2026-10-07 cs.AI cs.CL cs.LG
Game of Trojans: Adaptive Adversaries Against Output-based Trojaned-Model Detectors
University of Washington（华盛顿大学）；University of Illinois（伊利诺伊大学）；Western Washington University（西华盛顿大学）
提出一种知晓SOTA检测器的自适应对抗方法，利用DNN参数高维性重新训练木马模型，通过迭代博弈建模并配合贪心算法选择样本，在保持高准确率的同时有效规避多种主流木马模型检测。
2024-02-12 cs.CR cs.LG
Adversary Resistant Deep Neural Networks with an Application to Malware Detection
Pennsylvania State University（宾夕法尼亚州立大学）；McGill University（麦吉尔大学）
除了在围棋上的胜利，深度学习在信息检索、计算机视觉和语音识别方面也有许多成功的应用。在网络安全领域，越来越多的公司对深度学习的潜力感到兴奋，并开始将其用于各种安全事件，其中最受欢迎的是恶意软件检测。这些公司声称，深度学习（DL）可以帮助扭转恶意软件感染的趋势。然而，深度神经网络（DNN）容易受到对抗性样本的影响，这是一个困扰大多数（如果不是所有）统计学习模型的缺陷。最近的研究表明，那些有恶意意图的人可以通过利用这个缺陷轻松规避深度学习驱动的恶意软件检测。为了解决这个问题，以前的工作已经开发了各种防御机制，无论是增加训练数据或提高模型的复杂性。然而，在对DNN的根本缺陷进行彻底分析后，我们发现当前防御的有效性是有限的，更重要的是，无法提供理论保证来对抗基于样本的攻击。因此，我们提出了一种新的对抗技术，通过随机取消样本中的特征来阻止攻击者构建有影响力的对抗样本。在这项工作中，我们评估了我们提出的技术对现实世界的数据集与14，679恶意软件变种和17，399良性程序。我们在理论上验证了我们的技术的鲁棒性，并在经验上表明，我们的技术显着提高了DNN对对抗样本的鲁棒性，同时保持了高的分类准确性。为了证明我们提出的方法的普遍适用性，我们还使用MNIST和CIFAR-10数据集进行实验，通常用于图像识别研究。
2017-04-27 cs.LG
Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究随机多臂老虎机中的对抗攻击与防御，提出针对UCB和汤普森采样的近最优攻击策略，并设计两种简单防御算法，使竞争比任意接近1。
2024-03-14 cs.LG stat.ML
Privacy Against Inference Attacks in Vertical Federated Learning
University of Essex（埃塞克斯大学）；Imperial College London（帝国理工学院）
垂直联邦学习被认为是，其中一个积极的一方，有真正的类标签的访问，希望建立一个分类模型，通过利用更多的功能，从被动的一方，没有访问的标签，以提高模型的准确性。在预测阶段，以逻辑回归作为分类模型，提出了几种推理攻击技术，主动方可以用来重构被动方的被视为敏感信息的特征。这些攻击主要基于集合中心的经典概念，即，Chebyshev中心，被证明是优于文献中提出的。此外，为上述攻击提供了几种理论性能保证。随后，我们考虑的最小量的信息，对手需要完全重建被动方的功能。特别是，它表明，当被动方持有一个功能，对手只知道所涉及的参数的迹象，它可以完美地重建该功能时，预测的数量是足够大的。接下来，作为一种防御机制，提出了一个隐私保护方案，恶化对手的重建攻击，同时保持VFL带来的积极的一方的全部利益。最后，实验结果证明了所提出的攻击和隐私保护方案的有效性。
2022-09-07 cs.CR cs.IT cs.LG
Sample Complexity Bounds for Robustly Learning Decision Lists against Evasion Attacks
University of Oxford（牛津大学）
对抗性机器学习中的一个基本问题是量化在存在规避攻击的情况下需要多少训练数据。在本文中，我们解决这个问题的PAC学习的框架内，专注于类的决策列表。鉴于分布假设在对抗环境中是必不可少的，我们使用满足Lipschitz条件的输入数据的概率分布：附近的点具有相似的概率。我们的关键结果表明，对手的预算（即，它可以扰乱每个输入的位数）是一个基本的数量在确定样本的复杂性的鲁棒学习。我们的第一个主要结果是一个样本复杂性下限：类单调合取（本质上是最简单的非平凡的假设类的布尔超立方体）和任何超类的样本复杂性至少指数在对手的预算。我们的第二个主要结果是一个相应的上界：对于每个固定的$k$类的$k$决策列表有多项式样本复杂性对$\log(n)$有界的对手。这进一步阐明了在均匀分布下有效的PAC学习算法是否总是可以用作有效的$\log(n)$ -鲁棒学习算法的问题。
2022-05-12 cs.LG stat.ML
When Should You Defend Your Classifier -- A Game-theoretical Analysis of Countermeasures against Adversarial Examples
Management Center Innsbruck（因斯布鲁克管理中心）；Department of Computers and Engineering, Czech Technical University in Prague（布拉格捷克理工大学计算机与工程系）
对抗性机器学习，即，增加机器学习算法对所谓的对抗性示例的鲁棒性现在是一个已建立的领域。然而，新提出的方法进行评估和比较不切实际的情况下，对手和防守者的成本不被考虑，无论是所有样本或没有样本的adversarially扰动。我们仔细研究了这些假设，并提出了先进的对抗分类游戏，它包含了对手和防守者的所有相关参数。特别是，我们考虑到双方的经济因素，以及迄今为止针对对抗性示例提出的所有对策都会降低良性样本的准确性。详细分析了两个玩家都有两个纯策略的场景，我们确定了所有最佳对策，并得出结论，在实际环境中，最有影响力的因素可能是对抗性例子的最大数量。
2021-09-27 cs.GT cs.LG
Learning Adversary Behavior in Security Games: A PAC Model Perspective
University of Southern California（南加州大学）
Stackelberg安全游戏（SSG）的最新应用，从野生动物犯罪到城市犯罪，都采用了机器学习工具来学习和预测对手的行为，使用有关防御者-对手交互的可用数据。鉴于这些最新的发展，本文致力于直接学习对手的响应函数的方法。运用PAC模型，本文为SSG中的学习奠定了坚实的理论基础（例如，理论上回答了关于学习对手行为所需的样本数量的问题），并在学习的对手模型用于规划防御者的策略时提供效用保证。该论文还旨在回答一些实际问题，例如需要多少数据来提高对手模型的准确性。此外，我们解释了最近观察到的现象，学习对手的行为的预测精度是不够的，发现效用最大化防御策略。我们提供了四个主要的贡献：（1）学习对手的反应函数在SSGs的PAC模型：（2）PAC模型的学习的关键，现有的有限理性模型在SSGs的分析;（3）基于非参数类响应函数和PAC模型分析的对手建模的全新方法，以及（4）识别条件，在该条件下，计算针对学习到的对手行为的最佳防御者策略确实是最佳策略。最后，我们从乌干达的一个国家公园的真实世界的数据进行实验，显示我们的新的对手建模方法和验证我们的PAC模型预测的好处。
2015-11-20 cs.AI cs.GT cs.LG
Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Kyushu University（九州大学）
针对传统深度学习（DL）系统和算法的对抗攻击已经被广泛研究，并且提出了各种防御。然而，针对深度强化学习（DRL）的此类攻击的可能性和可行性较少探索。由于DRL在各种复杂任务中取得了巨大的成功，设计有效的对抗攻击是构建鲁棒的DRL算法不可或缺的前提。在本文中，我们介绍了两种新的对抗攻击技术\emph{stealthily}和\emph{efficiently}攻击DRL代理。这两种技术使对手能够在最小的关键时刻注入对抗样本，同时对代理造成最严重的损害。第一种技术是\emph{critical point attack}：对手建立一个模型来预测未来的环境状态和代理的行动，评估每种可能的攻击策略的损害，并选择最佳的。第二种技术是\emph{antagonist attack}：对手自动学习一个领域不可知的模型，以发现在一个事件中攻击代理的关键时刻。实验结果证明了我们的技术的有效性。具体来说，为了成功攻击DRL代理，我们的临界点技术只需要1个（TORCS）或2个（Atari Pong和Breakout）步骤，而拮抗剂技术需要不到5个步骤（4个Mujoco任务），这是对最先进方法的重大改进。
2020-05-14 cs.AI cs.CR cs.LG
MEGEX: Data-Free Model Extraction Attack against Gradient-Based Explainable AI
NTT Social Informatics Laboratories（NTT社会信息学实验室）
可解释的人工智能的进步为其预测提供了理由，预计将加速深度神经网络在现实世界中的使用，例如机器学习即服务（MLaaS），它通过训练模型返回对查询数据的预测。部署在MLaaS中的深度神经网络面临着模型窃取攻击的威胁。模型窃取攻击是一种侵犯知识产权和隐私的攻击，其中对手仅使用其预测来窃取云中的训练模型。特别地，最近已经提出了无数据的模型窃取攻击，并且更关键。在这种攻击中，攻击者使用生成模型，而不是准备输入数据。然而，这种攻击的可行性需要研究，因为它需要比代理数据集更多的查询。在本文中，我们提出了MEGEX，一种针对基于梯度的可解释AI的无数据模型窃取攻击。在这种方法中，对手使用解释来训练生成模型，并减少查询的数量来窃取模型。我们的实验表明，我们提出的方法重建高精度的模型-0.97 $\times$和0.98 $\times$的受害者模型精度SVHN和CIFAR-10数据集给定2M和20 M查询，分别。这意味着在模型的可解释性和窃取它们的难度之间存在权衡。
2021-07-19 cs.CR cs.LG
Making targeted black-box evasion attacks effective and efficient
Aalto University（阿尔托大学）
我们研究了对手如何在黑盒环境中最佳地使用其查询预算来针对深度神经网络进行有针对性的规避攻击。我们正式的问题设置和系统地评估对手可以获得什么好处，通过使用替代模型。我们发现，有一个探索开发权衡，查询效率是在成本的有效性。我们提出了两种使用替代模型的新攻击策略，并表明它们与之前的仅查询技术一样有效，但需要的查询数量少得多，多达三个数量级。我们还表明，敏捷的对手能够通过不同的攻击技术切换，可以实现帕累托最优效率。我们展示了我们对Google Cloud Vision的攻击，表明针对现实世界预测API的黑盒攻击的难度比以前想象的要容易得多（需要大约500个查询，而不是以前的大约20，000个查询）。
2019-06-08 cs.CR cs.LG stat.ML
Fairis: Fairness-Aware Aggregation with Provable Influence Containment against Fairness Poisoning Attacks in Collaborative Machine Learning
Bowie State University（鲍伊州立大学）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Brown University（布朗大学）；Northern Virginia Community College（北弗吉尼亚社区学院）
本文提出Fairis，一种协同机器学习中针对公平性投毒攻击的服务器端重加权方案，可证能约束恶意客户端权重，在台湾信用数据集上可将隐蔽对手权重降低41%-54%，优于FairFed等方法。
2026-08-10 cs.CR cs.LG
Topological Effects on Attacks Against Vertex Classification
Northeastern University（东北大学）；Army Research Laboratory（陆军研究实验室）
最近的研究表明，顶点分类容易受到图拓扑和顶点属性的扰动。与其他机器学习领域一样，对对抗性操作的鲁棒性的担忧可能会阻止潜在用户在行动后果非常严重时采用所提出的方法。本文考虑了图的两个拓扑特征，并探讨了这些特征如何影响对手为了成功而必须扰动图的数量。我们表明，如果某些顶点包括在训练集中，它是可能的，基本上对手的所需的扰动预算。在四个引用数据集上，我们证明了如果训练集包括高度顶点或确保所有未标记节点在训练集中有邻居的顶点，我们表明对手的预算通常会增加一个很大的因素--通常是2个或更多的因素--在Nettack中毒攻击的随机训练上。即使对于特别容易的目标（那些在一两次扰动后被错误分类的目标），性能的下降也要慢得多，为不正确的类别分配了低得多的概率。此外，我们证明了这种鲁棒性，或者持续最近提出的防御措施时，或与由此产生的性能改善的后卫是有竞争力的。
2020-03-12 cs.LG stat.ML
Reducing bias and increasing utility by federated generative modeling of medical images using a centralized adversary
University of British Columbia（不列颠哥伦比亚大学）；Microsoft（微软）
我们介绍了FELICIA（FEDERATED LEARNING WITH A CentralIzed Advertisement），一种支持协作学习的生成机制。特别是，我们展示了数据有限和有偏见的数据所有者如何从其他数据所有者那里受益，同时保持所有来源的数据的私密性。这是医学图像分析中的常见情况，其中隐私立法阻止数据在本地场所之外共享。FELICIA适用于生成对抗网络（GAN）架构的大家族，包括香草和条件GANs，如本工作所示。我们表明，通过使用FELICIA机制，有限的图像样本的数据所有者可以生成高质量的合成图像，具有高实用性，而数据所有者都没有提供访问其数据。共享仅通过一个中央数据库进行，该数据库只能访问合成数据。在这里，效用被定义为在真实测试集上的分类性能。我们使用基准图像数据集（MNIST，CIFAR-10）以及皮肤病变分类任务的医学图像上的几个现实的医疗保健系统上证明了这些好处。通过多个实验，我们表明，即使在最坏的情况下，将FELICIA与真实数据相结合，也能优雅地实现与真实数据相当的性能，而大多数结果显着提高了效用。
2021-08-29 cs.AI cs.CV cs.DC
Information Design Against Gaming and Learning Adversaries
针对博弈型与学习型对手，研究二分类器弃权策略的信息设计，揭示两种防御的不可比性，并给出边界重建查询复杂度及帕累托前沿。
2026-09-29 cs.AI cs.CR cs.GT
Provable Defense against Backdoor Policies in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
在子空间触发假设下，提出了一种可证明的强化学习后门策略防御机制。后门策略是一种安全威胁，其中对手发布了看似行为良好的策略，实际上允许隐藏触发器。在部署过程中，对手可以以特定的方式修改观察到的状态，以触发意外的动作并伤害代理。我们假设代理没有资源来重新训练一个好的策略。相反，我们的防御机制通过将观察到的状态投影到“安全子空间”来净化后门策略，该安全子空间是从与干净（非触发）环境的少量交互中估计的。我们的净化策略实现$ε$近似最优的触发器的存在下，提供的清洁的交互的数量是$O\left(\frac{D}{(1-γ)^4 ε^2}\right)$，其中$γ$是折扣因子和$D$是状态空间的维度。从经验上讲，我们表明，我们的消毒防御在两个雅达利游戏环境中表现良好。
2022-11-18 cs.AI cs.LG
Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks
University of Maryland, College Park（马里兰大学帕克分校）
最近的结果表明，对监督机器学习系统的攻击是非常有效的，而防御很容易被新的攻击绕过。然而，机器学习系统的规范目前缺乏精确的对手定义，现有的攻击对发起攻击的对手的实力做出了各种各样的、可能不切实际的假设。我们提出了FAIL攻击者模型，它描述了对手的知识和控制沿四个维度。我们的模型允许我们考虑各种较弱的对手，他们对所使用的功能、学习算法和训练实例的控制有限且知识不完整。为了评估FAIL模型的效用，我们考虑在现实环境中进行有针对性的中毒攻击的问题：精心制作的毒药样本必须有干净的标签，必须单独和集体不显眼，并且必须表现出FAIL模型定义的广义形式的可转移性。通过考虑这些约束，我们设计了StingRay，这是一种针对性的中毒攻击，可以针对4种机器学习应用程序，这些应用程序使用3种不同的学习算法，并且可以绕过2种现有的防御。相反，我们证明了在广义可转移性下，先验规避攻击的有效性较低。在失败对手模型下，这种攻击评估也可能为未来的防御提出有希望的方向。
2019-03-08 cs.CR cs.LG
Fake or Compromised? Making Sense of Malicious Clients in Federated Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
针对联邦学习投毒攻击安全领域因攻击者模型假设不一产生的认知混乱，该研究提出混合攻击者模型串联现有模型，梳理攻击与防御的统一框架，明确FL系统设计需考虑的威胁谱系与未来研究方向。
2024-03-10 cs.CR cs.LG
Thieves on Sesame Street! Model Extraction of BERT-based APIs
CICS, UMass Amherst（马萨诸塞大学阿默斯特分校计算机与信息科学学院）；Google Research（谷歌研究院）
我们研究了自然语言处理中的模型提取问题，在这个问题中，一个只对受害者模型进行查询访问的对手试图重建该模型的本地副本。假设对手和受害者模型都对大型预训练语言模型进行了微调，如BERT（Devlin et al. 2019），我们证明对手不需要任何真实的训练数据来成功发起攻击。事实上，攻击者甚至不需要使用语法或语义上有意义的查询：我们表明，随机的单词序列加上任务特定的语法，形成有效的查询模型提取不同的NLP任务，包括自然语言推理和问答。因此，我们的工作突出了一个只有在NLP社区转向迁移学习方法时才变得可行的漏洞：对于几百美元的查询预算，攻击者可以提取一个性能仅略差于受害者模型的模型。最后，我们研究了两种防御策略对模型提取-成员分类和API水印-而成功的对天真的对手，是无效的对更复杂的。
2020-10-12 cs.CL cs.CR cs.LG
Model Extraction and Defenses on Generative Adversarial Networks
University of Luxembourg（卢森堡大学）
模型窃取攻击旨在通过对目标模型的查询访问来复制机器学习模型。早期的研究主要集中在判别模型上。尽管取得了成功，但对生成模型的模型窃取攻击还没有得到很好的研究。在本文中，我们系统地研究了对生成对抗网络（GANs）的模型窃取攻击的可行性。具体来说，我们首先定义了针对GANs的模型窃取攻击的准确性和保真度。然后根据攻击者的目标和背景知识，从精确度提取和保真度提取两个角度研究了针对GANs的模型窃取攻击。我们进一步进行了一个案例研究，其中对手可以将提取模型的知识转移到新的领域，以拓宽模型窃取攻击的应用范围，该模型窃取了用超过300万张图像训练的最先进的GAN。最后，考虑到GAN模型的实用性和安全性之间的权衡，我们提出了有效的防御技术来保护GANs。
2021-01-06 cs.CR cs.CV cs.LG
Adaptive Discretization against an Adversary: Lipschitz bandits, Dynamic Pricing, and Auction Tuning
MIT（麻省理工学院）；Microsoft Research NYC（微软研究院纽约）
针对对抗收益下Lipschitz赌博机的自适应离散化研究空白，提出Adversarial Zooming算法，推导了兼具最坏情况最优性和实例依赖性的悔界，并将其拓展应用于动态定价、拍卖调优等非平滑对抗场景。
2025-06-12 cs.DS cs.GT cs.LG
A New Defense Against Adversarial Images: Turning a Weakness into a Strength
Cornell University（康奈尔大学）；The Ohio State University（俄亥俄州立大学）
自然图像实际上被低密度误分类区域包围，可以通过梯度引导搜索有效地发现这些区域--从而生成对抗性图像。虽然已经提出了许多检测这些攻击的技术，但当对手完全了解检测机制并相应地调整攻击策略时，它们很容易被绕过。在本文中，我们采用了一种新的视角，并认为对抗性扰动的无处不在是一种优势，而不是弱点。我们假设，如果图像被篡改，这些对抗方向要么变得更难用梯度方法找到，要么具有比自然图像高得多的密度。我们开发了一个实际的测试，这个签名的特点，成功地检测对抗攻击，实现了前所未有的准确性下的白盒设置，对手是我们的检测机制的全部知识。
2019-12-04 cs.CR cs.LG stat.ML
AudioJailbreak: Jailbreak Attacks against End-to-End Large Audio-Language Models
Wuhan University（武汉大学）；Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；State Key Laboratory of Cryptology（密码学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究所）；Ant Group（蚂蚁集团）；Nanyang Technological University（南洋理工大学）；Zhejiang Lab（浙江实验室）；Pengcheng Laboratory（鹏城实验室）
AUDIOJAILBREAK 提出了一种针对端到端大音频-语言模型的新型音频攻击方法，具备非同步性、通用性、隐蔽性和空中鲁棒性，适用于弱攻击者场景。
2026-02-02 cs.AI cs.CR cs.LG
Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses
The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）
本文提出在确定性损失下，针对 oblivious 对手同时实现最优静态和动态遗憾的算法，并揭示适应性与 oblivious 对手在多基准下的根本差异。
2026-02-17 cs.LG stat.ML
On Model Protection in Federated Learning against Eavesdropping Attacks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Tata Consultancy Services Research（塔塔咨询服务研究中心）
本研究探讨了联邦学习抵御窃听攻击的模型保护问题，通过理论分析和数值实验评估了客户端选择、目标函数及聚合等因素对保护水平的影响，并指出差分隐私方法在该特定背景下的局限性。
2025-04-02 cs.AI cs.CR cs.LG
Achieving Better Regret against Strategic Adversaries
我们研究在线学习问题，其中学习者对对手的行为有额外的知识，即，在博弈论环境中，对手通常遵循一些无外部遗憾的学习算法。在这种假设下，我们提出了两个新的在线学习算法，准确遵循正规化领导者（AFTRL）和最佳响应（EST-BR），集中利用这些额外的知识，同时保持在最坏的情况下，有不准确的额外信息的无遗憾属性。具体地说，AFTRL实现了$O(1)$外部遗憾或$O(1)$ \emph{forward regret}对无外部遗憾对手相比，$O(\sqrt{T})$ \emph{dynamic regret}的EST-BR。据我们所知，我们的算法是第一个考虑前向后悔，实现$O(1)$对战略对手的遗憾。当采用AFTRL的一种特殊情形--精确乘性权值更新（AMWU）进行零和博弈时，我们实现了\emph{last round convergence}到纳什均衡。我们还提供了数值实验，以进一步支持我们的理论结果。特别是，我们证明了我们的方法与现有技术相比（例如，乘法权重更新（MWU）及其乐观对应物OMWU）。
2023-02-13 cs.GT cs.LG cs.MA
Adversarial Machine Learning and Defense Game for NextG Signal Classification with Deep Learning
National Security Institute（国家安全研究所）；Virginia Tech（弗吉尼亚理工大学）
本文提出了一个博弈论框架来研究基于深度学习的NextG信号分类的攻击和防御的相互作用。NextG系统（诸如为大量IoT设备设想的系统）可以采用深度神经网络（DNN）来执行各种任务，诸如用户设备识别、物理层认证和现任用户的检测（诸如在公民宽带无线电服务（CBRS）频带中）。通过训练另一个DNN作为代理模型，攻击者可以发起推理（探索性）攻击以学习受害者模型的行为，预测成功的操作模式（例如，信道接入），并干扰它们。防御机制可以通过在受害者模型的决策中引入受控错误来增加对手的不确定性（即，毒化对手的训练数据）。这种防御对攻击是有效的，但在没有攻击时会降低性能。防御者和对手之间的交互被公式化为非合作博弈，其中防御者选择防御的概率或防御水平本身（即，伪造决策的比率），并且对手选择攻击的概率。防御者的目标是最大化其回报（例如，吞吐量或传输成功率），而对手的目标是最小化该奖励及其攻击成本。纳什均衡策略被确定为一种操作模式，使得在另一方的策略固定的情况下，任何一方都不能单方面提高自己的效用。一个虚构的发挥制定为每个球员反复玩游戏，以响应对手的行动的经验频率。将纳什均衡下的性能与固定攻击和防御情况下的性能进行了比较，并量化了NextG信号分类对攻击的弹性。
2022-12-22 cs.AI cs.CR cs.GT
