Meta Stackelberg Game: Robust Federated Learning against Adaptive and Mixed Poisoning Attacks
New York University（纽约大学）；Tulane University（杜兰大学）
本文将混合攻击下的对抗联邦学习建模为贝叶斯斯塔克尔伯格马尔可夫博弈，提出结合预训练与在线自适应的元强化学习防御，并证明其收敛性与实验优势。
2024-10-22 cs.CR cs.GT cs.LG
Deceptive Fairness Attacks on Graphs via Meta Learning
University of Rochester（罗切斯特大学）；Meta；Arizona State University（亚利桑那州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究图上的欺骗性公平性攻击，通过双层优化提出基于元学习的框架FATE，可广泛适用于多种公平性定义和图学习模型，实验证明其能有效放大图神经网络偏见同时保持下游任务效用。
2023-10-24 cs.LG cs.SI stat.ML
Backdoor Attacks on Federated Meta-Learning
University of Southern California（南加州大学）
联邦学习允许多个用户协作训练共享的分类模型，同时保护数据隐私。这种方法，模型更新由中央服务器聚合，被证明容易受到中毒后门攻击：恶意用户可以改变共享模型，任意分类来自给定类的特定输入。在本文中，我们分析了后门攻击对联邦元学习的影响，用户训练一个模型，该模型可以适应不同的输出类集，只使用几个例子。虽然原则上，适应能力可以使联邦学习框架对后门攻击更加鲁棒（当新的训练样本是良性的时），但我们发现即使是一次性攻击也可以非常成功，并且在额外的训练后仍然存在。为了解决这些漏洞，我们提出了一个防御机制的灵感来自匹配网络，其中输入的类是从其特征的相似性与支持集的标记的例子预测。通过从与联邦共享的模型中删除决策逻辑，后门攻击的成功率和持久性大大降低。
2020-12-16 cs.CR cs.DC cs.LG
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
深度神经网络对对抗性样本的脆弱性促使越来越多的防御策略来提高模型的鲁棒性。然而，进展通常受到稳健性评估不足的阻碍。作为评估对抗鲁棒性的事实标准，对抗攻击通常通过迭代过程来解决制作对抗示例的优化问题。在这项工作中，我们提出了一个模型不可知的元攻击（MAMA）的方法来自动发现更强的攻击算法。我们的方法在由递归神经网络参数化的对抗攻击中学习优化器，该网络在一类数据样本和防御上进行训练，以在对抗示例生成期间产生有效的更新方向。此外，我们开发了一个模型无关的训练算法，以提高学习优化器的泛化能力时，攻击看不见的防御。我们的方法可以灵活地与各种攻击，并不断提高性能，几乎没有额外的计算成本。大量的实验证明了MAMA学习攻击的有效性，与对不同防御的最新攻击相比，可以更可靠地评估对抗鲁棒性。
2021-10-13 cs.CR cs.LG
Boosting Black-Box Adversarial Attacks with Meta Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度神经网络（DNN）在不同领域取得了显著的成功。然而，已经证明DNN即使在黑盒设置中也非常容易受到对抗性示例的影响。大量的黑盒攻击方法已经被提出。然而，这些方法通常遭受低的成功率和大的查询计数，这不能完全满足实际目的。在本文中，我们提出了一种混合攻击方法，该方法在代理模型上训练Meta对抗扰动（MAP），并通过估计模型的梯度来执行黑盒攻击。我们的方法使用Meta对抗扰动作为初始化，随后训练任何黑盒攻击方法几个时期。此外，MAP具有良好的可移植性和通用性，在某种意义上，它们可以用来提高其他黑盒对抗攻击方法的性能。大量的实验表明，我们的方法不仅可以提高攻击成功率，但也减少了查询的数量相比，其他方法。
2022-03-28 cs.CR cs.CV cs.LG
Adversarial Attacks are a Surprisingly Strong Baseline for Poisoning Few-Shot Meta-Learners
University of Cambridge（剑桥大学）
本文研究了部署的Few-Shot元学习系统的鲁棒性，当它们被馈送一个不可察觉的扰动Few-Shot数据集。我们攻击摊销的元学习者，这使我们能够精心设计输入的勾结集，这些输入被定制为在用作训练数据时欺骗系统的学习算法。联合制作的对抗性输入可能会协同操纵分类器，从而允许很难检测到的非常强大的数据中毒攻击。我们表明，在白盒设置中，这些攻击是非常成功的，可以导致目标模型的预测变得比机会更糟。然而，与一般对抗性示例的众所周知的可转移性相反，共谋集不能很好地转移到不同的分类器。我们探索两个假设来解释这一点：“过拟合”的攻击，和模型之间的不匹配的攻击产生的攻击和攻击转移。不管这些假设所提出的缓解策略如何，合谋输入的转移并不比以通常方式独立产生的对抗性输入更好。
2022-11-23 cs.CR cs.LG
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST（韩国科学技术院）
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题，提出基于对比代理目标的攻击方法Metacon，通过新代理损失缓解偏差，在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
Detecting AI Trojans Using Meta Neural Analysis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在机器学习特洛伊木马攻击中，攻击者训练一个损坏的模型，该模型在正常数据上获得良好的性能，但在具有某些触发模式的数据样本上表现为恶意行为。已经提出了几种方法来检测这种攻击，但它们对攻击策略做出了不期望的假设，或者需要直接存取训练模型，这限制了它们在实践中的实用性。本文通过引入一个Meta Neural Trojan Detection（MNTD）管道来解决这些挑战，该管道不对攻击策略进行假设，只需要对模型进行黑盒访问。该策略是训练一个元分类器，该元分类器预测给定的目标模型是否被特洛伊木马感染。为了在不了解攻击策略的情况下训练元模型，我们引入了一种称为巨型学习的技术，该技术对一组遵循一般分布的特洛伊模型进行采样。然后，我们动态优化查询集与元分类器区分木马和良性模型。我们评估MNTD与实验上的视觉，语音，表格数据和自然语言文本数据集，并对不同的木马攻击，如数据投毒攻击，模型操作攻击，和潜在的攻击。我们表明，MNTD达到97%的检测AUC分数，并显着优于现有的检测方法。此外，MNTD的推广以及实现对不可预见的攻击的高检测性能。我们还提出了一个强大的MNTD管道，即使攻击者的目的是逃避检测系统的全部知识，达到90%的检测AUC。
2020-10-01 cs.AI cs.CR cs.LG
MetaAdvDet: Towards Robust Detection of Evolving Adversarial Attacks
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；JD AI Research（京东人工智能研究院）；Shanghai University（上海大学）
深度神经网络（DNN）容易受到对抗攻击的攻击，这种攻击是通过向图像添加人类无法感知的扰动来恶意实现的，从而导致不正确的预测。现有的研究已经提出了各种方法来检测新的对抗攻击。然而，新的攻击方法不断发展，并产生新的对抗性示例来绕过现有的检测器。它需要收集数万个样本来训练检测器，而新的攻击演变的频率要比高成本的数据汇集频繁得多。因此，这种情况导致新进化的攻击样本保持在小规模。为了解决这种Few-Shot问题，我们提出了一种基于元学习的鲁棒检测方法来检测新的对抗攻击有限的例子。具体来说，学习由一个双网络框架：一个任务专用网络和主网络交替学习的检测能力，无论是看到的攻击或一个新的攻击。为了验证我们的方法的有效性，我们构建了基于三个传统的数据集，即CIFAR-10，MNIST和Fashion-MNIST的Few-Shot-fashion协议的基准测试。对它们进行了全面的实验，以验证我们的方法相对于传统的对抗攻击检测方法的优越性。
2019-08-06 cs.CV cs.LG
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks
Chongqing University（重庆大学）；Peng Cheng Lab（鹏城实验室）；Zhejiang University（浙江大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对部署阶段未知攻击的零样本防御问题，本文提出MID，通过攻击者池采样任务和多层级多一致性元蒸馏学习攻击不变特征，在分类与图像再生上均取得可泛化鲁棒性。
2024-04-04 cs.CR cs.CV cs.LG
Meta Adversarial Training against Universal Patches
Bosch Center for Artificial Intelligence（博世人工智能中心）
最近展示的物理世界对抗攻击暴露了感知系统中的漏洞，这些漏洞对自动驾驶等安全关键应用构成了严重风险。这些攻击在物理世界中放置对抗性工件，间接导致向模型的输入添加通用补丁，可以在各种上下文中欺骗它。对抗性训练是对抗图像依赖性对抗攻击的最有效的防御方法。然而，将对抗训练定制为通用补丁在计算上是昂贵的，因为最佳通用补丁取决于在训练期间改变的模型权重。我们提出了Meta对抗训练（MAT），一种对抗训练与元学习的新组合，它通过元学习通用补丁和模型训练克服了这一挑战。MAT需要很少的额外计算，同时不断适应当前模型的补丁的大集合。MAT大大提高了对图像分类和交通灯检测的通用补丁攻击的鲁棒性。
2021-06-22 cs.AI cs.CV cs.LG
DASH: A Meta-Attack Framework for Synthesizing Effective and Stealthy Adversarial Examples
University of Maine（缅因大学）；University of Florida（佛罗里达大学）；University of Tennessee, Knoxville（田纳西大学，基洛纳）
提出DASH元攻击框架，通过多阶段自适应组合Lp约束攻击方法，生成有效且感知对齐的对抗样本，在多个数据集上优于现有方法。
2026-05-25 cs.CV cs.LG
Inferring Class Label Distribution of Training Data from Classifiers: An Accuracy-Augmented Meta-Classifier Attack
KTH Royal Institute of Technology（KTH皇家理工学院）
针对机器学习（ML）模型的属性推断攻击旨在推断与模型的主要任务无关的训练数据的属性，并且迄今为止已经被公式化为二元决策问题，即，训练数据是否具有特定属性。然而，在工业和医疗保健应用中，训练数据中的标签的比例通常也被认为是敏感信息。在本文中，我们介绍了一种新的类型的属性推断攻击，不同于文献中的二元决策问题，旨在推断的类标签分布的训练数据的参数的ML分类器模型。我们提出了一种方法的基础上\emph{shadow training}和\emph{meta-classifier}训练的阴影分类器的参数与辅助数据上的分类器的准确性增强。我们评估所提出的方法与完全连接的神经网络架构的ML分类器。我们发现，所提出的\emph{meta-classifier}攻击提供了最大的相对改进的$52\%$在国家的艺术。
2022-11-08 cs.AI cs.CR cs.LG
Meta Federated Learning
University of Maryland（马里兰大学）；IBM Research（IBM研究院）；University of Virginia（弗吉尼亚大学）
由于其分布式方法及其隐私保护功能，联邦学习（FL）容易受到训练时间对抗攻击的影响。在这项研究中，我们的重点是后门攻击，其中对手的目标是造成有针对性的错误分类的输入嵌入了一个对抗性的触发器，同时保持一个可接受的性能在手头的主要学习任务。针对联邦学习中后门攻击的当代防御需要直接存取每个客户端的更新，这在最近部署安全聚合的FL设置中是不可行的。在这项研究中，我们试图回答以下问题，当安全聚合到位时，是否有可能防御后门攻击？，这是现有技术尚未解决的问题。为此，我们提出了Meta联邦学习（Meta-FL），一种新的变体的联邦学习，它不仅是兼容的安全聚合协议，但也有利于防御后门攻击。我们在两个分类数据集：SVHN和GTSRB上对Meta-FL进行了系统的评估。实验结果表明，Meta-FL不仅比经典FL具有更好的实用性，而且在抵抗对抗攻击的鲁棒性方面也提高了现代防御系统的性能.
2021-02-10 cs.CR cs.DC cs.LG
Meta-Learning the Search Distribution of Black-Box Random Search Based Adversarial Attacks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
基于随机搜索机制的对抗攻击在黑盒鲁棒性评估方面取得了令人瞩目的成果。然而，正如我们在这项工作中所展示的，它们在不同的查询预算制度的效率取决于手动设计和启发式调整的基础建议分布。我们研究了如何通过基于攻击过程中获得的信息在线调整提案分布来解决这个问题。我们认为广场攻击，这是一个国家的最先进的基于分数的黑盒攻击，并证明其性能可以提高学习控制器，调整参数的建议分布在线攻击期间。我们在具有白盒访问的CIFAR10模型上使用基于梯度的端到端训练对控制器进行训练。我们证明，插入学习控制器的攻击一致提高其黑盒鲁棒性估计在不同的查询制度高达20%的广泛的不同模型与黑盒访问。我们进一步表明，学习的自适应原则可以很好地转移到其他数据分布，如CIFAR100或ImageNet以及目标攻击设置。
2021-11-22 cs.AI cs.CV cs.LG
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Adaptive Meta-learning-based Adversarial Training for Robust Automatic Modulation Classification
Clemson University（克莱姆森大学）
本文提出基于元学习的对抗训练框架，以提升自动调制分类模型对未知对抗攻击的鲁棒性，并实现少量样本下的快速在线适应，同时显著降低在线训练时间。
2025-01-03 cs.CR cs.LG
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
针对自动调制分类（AMC）中对抗攻击与数据分布偏移问题，提出一种结合元学习与领域自适应的统一两阶段框架，显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Exploiting Meta-Learning-based Poisoning Attacks for Graph Link Prediction
University of South Florida（佛罗里达州立大学）；Snap Inc.（Snap公司）；Embry-Riddle Aeronautical University（艾姆伯-瑞德航空大学）
针对图链接预测鲁棒性研究不足的问题，本文提出一种结合加权方案策略与元学习的无权图投毒攻击，实验表明其可显著降低 GNN 链接预测性能并优于现有基线。
2025-10-19 cs.AI cs.LG
The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses
UC Berkeley（加州大学伯克利分校）；Zuse Institute Berlin（柏林祖斯研究所）；University of Southern Denmark（南丹麦大学）；TU Berlin（柏林工业大学）
本文通过元分析探讨了水印、可转移攻击和对抗防御之间的权衡，证明了三者中至少存在其一，并利用全同态加密构建了可转移攻击的实例。
2026-01-21 cs.AI cs.CR cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Dynamic Meta-Layer Aggregation for Byzantine-Robust Federated Learning
APC Roy Government College（APC罗伊政府学院）；Department of Computer Science（计算机科学系）；P.R. Thakur Government College（P.R.塔库尔政府学院）
本文提出FedAOT，通过元学习启发的自适应聚合框架，有效防御多标签翻转和未针对攻击，提升联邦学习的鲁棒性和效率。
2026-03-17 cs.LG
Learning to Cope with Adversarial Attacks
Iowa State University（爱荷华州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
部署在现实生活应用中的深度强化学习（Deep RL）算法的安全性是主要关注的问题。特别是，网络物理系统中RL代理对对抗攻击的鲁棒性尤其重要，因为恶意入侵的成本可能非常高。研究表明，在大多数现代RL算法中形成核心决策单元的深度神经网络（DNN）很容易受到对抗攻击。因此，部署在现实应用中的RL代理必须能够以在线方式检测和减轻对抗攻击。这种框架的一个例子是元学习优势层次（MLAH）代理，它利用元学习框架来在线鲁棒地学习策略。由于这个框架的机制还没有完全探索，我们进行了多次实验，以更好地了解框架的能力和局限性。我们的研究结果表明，MLAH代理表现出有趣的应对行为时，受到不同的对抗攻击，以保持名义奖励。此外，该框架表现出层次化的应对能力，基于主策略和子策略本身的适应性。从实证结果中，我们还观察到，随着对抗攻击间隔的增加，MLAH代理可以保持更高的奖励分配，尽管代价是更高的不稳定性。
2019-06-28 cs.CR cs.LG stat.ML
Lifelong Safety Alignment for Language Models
Sea AI Lab, Singapore（新加坡海智实验室）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
提出终身安全对齐框架，通过元攻击者与防御者的竞争训练，使大语言模型持续适应新越狱策略，最终将攻击成功率降至7%，提升部署安全性。
2025-05-26 cs.AI cs.CL cs.CR
Metamorphic Relation Based Adversarial Attacks on Differentiable Neural Computer
Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Carnegie Mellon University（卡内基梅隆大学）
深度神经网络（DNN）虽然成为许多新技术的驱动力，并在许多前沿应用中取得了巨大成功，但仍然容易受到对抗攻击的影响。微分神经计算机（DNC）是一种新型的计算机器，它以DNN作为中央控制器，在外部存储器模块上进行数据处理。DNC的独特架构有助于其在需要表示变量和数据结构以及在长时间尺度上存储数据的能力的任务中的最先进的性能。然而，仍然缺乏一个全面的研究如何对抗性的例子影响DNC的鲁棒性。在本文中，我们提出了一系列的任务描述的自然处理语言领域的变形关系为基础的对抗技术。我们发现，在bAbI逻辑问答任务中，DNC的近乎完美的表现可以被逆向注入的句子所降低。深入研究了内存大小对DNC鲁棒性的影响，分析了DNC失败的潜在原因。我们的研究表明，目前的挑战和潜在的机会，建设更强大的DNC。
2018-09-07 cs.CR cs.LG cs.NE
Meta Policy Switching for Secure UAV Deconfliction in Adversarial Airspace
Faculty of Engineering and Applied Sciences, Cranfield University（工程与应用科学学院，克兰菲尔德大学）
本研究提出元策略切换框架，通过动态选择稳健策略提升无人机在对抗性空域中的安全导航能力。
2025-12-13 cs.AI cs.LG
Protecting from Malware Obfuscation Attacks through Adversarial Risk Analysis
Institute of Mathematical Sciences, ICMAT-CSIC（数学科学研究所（ICMAT-CSIC））
恶意软件是一个主要的全球风险，每年影响数百万用户。检测系统中的标准算法在处理通过混淆工具传递的恶意软件时执行不足。我们详细说明了这项研究的开源变形软件，利用混合框架，以获得相关功能的二进制文件。然后，我们提供了一个改进的替代解决方案的基础上，对抗性风险分析，我们说明描述一个例子。
2019-11-09 cs.CR cs.LG stat.ML
Metamorphic Detection of Adversarial Examples in Deep Learning Models With Affine Transformations
Fraunhofer CESE（弗劳恩霍夫实验软件工程中心）
对抗攻击是小的、精心制作的扰动，肉眼无法察觉;当添加到图像中时，会导致深度学习模型对图像进行错误分类，从而产生潜在的有害结果。随着人工智能模型在消费者安全和安全密集型行业（如自动驾驶汽车、摄像头监控和人脸识别）中的兴起，越来越需要防范对抗攻击。在本文中，我们提出了一种方法，使用变形测试的原则，自动检测这样的对抗攻击。该方法可以检测到图像操作是如此之小，他们是不可能检测到的人类通过视觉检查。通过应用基于距离比保持仿射图像变换的变形关系，比较原始图像和变换后图像的行为，我们表明，我们提出的方法可以确定输入图像是否具有高精度的对抗性。
2019-07-10 cs.CV cs.LG eess.IV
Learning to Generate Noise for Multi-Attack Robustness
KAIST（韩国科学技术院）
对抗性学习已经成为规避现有方法对对抗性扰动的敏感性的成功技术之一。然而，大多数现有的防御方法都是针对单一类别的对抗性扰动（例如$\ell_\infty$攻击）进行防御的。在安全关键型应用程序中，这使得这些方法无关紧要，因为攻击者可以采用不同的对手来欺骗系统。此外，同时对多个扰动进行训练显著增加了训练期间的计算开销。为了解决这些挑战，我们提出了一种新的元学习框架，该框架显式地学习生成噪声，以提高模型对多种类型攻击的鲁棒性。其关键组件是Meta Noise Generator（MNG），其输出最佳噪声以随机扰动给定样本，使得其有助于降低各种对抗性扰动的误差。通过利用MNG生成的样本，我们训练了一个模型，通过加强标签的一致性在多个扰动。我们验证了我们的方案在各种数据集上训练的模型的鲁棒性，并针对各种各样的扰动，证明了它在多个扰动下的性能显着优于基线，且计算成本很低。
2021-06-24 cs.CR cs.CV cs.LG
Learning to Generate Image Source-Agnostic Universal Adversarial Perturbations
Northeastern University（东北大学）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
对抗性扰动对于证明深度学习模型的鲁棒性至关重要。通用对抗扰动（UAP）可以同时攻击多个图像，从而提供更统一的威胁模型，避免了图像攻击算法。然而，当从不同图像源（例如，具有不同的图像分辨率）。为了实现跨图像源的真实通用性，我们将UAP生成作为少样本学习的定制实例，其利用双层优化和学习优化（L2O）技术用于UAP生成，提高了攻击成功率（ASR）。我们首先考虑流行的模型不可知元学习（MAML）框架来元学习UAP生成器。然而，我们看到MAML框架并没有直接提供跨图像源的通用攻击，这需要我们将其与另一个L2O元学习框架集成。由此产生的用于元学习UAP生成器的方案（i）具有比诸如投影梯度下降之类的基线更好的性能（ASR高50%），（ii）具有比普通L2O和MAML框架（在适用时）更好的性能（快37%），并且（iii）能够同时处理针对不同受害者模型和图像数据源的UAP生成。
2022-08-17 cs.AI cs.CV cs.LG
Privacy Challenges in Meta-Learning: An Investigation on Model-Agnostic Meta-Learning
Sharif University of Technology（谢里夫理工大学）；Imperial College London（帝国理工学院）
本文研究了 Model-Agnostic Meta-Learning (MAML) 中的隐私挑战，分析了梯度共享导致的数据泄露风险，提出了针对任务数据集的成员推理攻击，并验证了噪声注入方法在保护隐私和抵御攻击方面的有效性。
2024-06-01 cs.CR cs.LG
Deep Neural Networks based Meta-Learning for Network Intrusion Detection
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Air University（空军大学）；Ghulam Ishaq Khan Institute of Engineering Sciences and Technology（古拉姆·伊沙克·汗工程科学与技术研究所）；Majmaah University（迈季迈阿大学）
针对网络流量攻击类型多变及数据集偏移导致检测率低的问题，提出基于深度神经网络的元学习框架INFUSE，通过融合特征与决策空间并利用深度稀疏自编码器与元学习器进行集成，在多个基准数据集上取得了高准确率与强泛化能力。
2023-07-28 cs.CV cs.LG
A First Order Meta Stackelberg Method for Robust Federated Learning
Tulane University（杜兰大学）
本文将对抗联邦学习建模为 BSMG，并提出可证明高效的 meta-SL 一阶元学习算法，以自适应防御不确定的模型投毒与后门攻击。
2023-07-16 cs.GT cs.LG
Meta Adversarial Perturbations
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）
已经提出了大量的攻击方法来生成对抗性的例子，其中迭代法已经被证明有能力找到一个强大的攻击。然而，针对新数据点的对抗扰动的计算需要从头开始解决耗时的优化问题。为了生成更强的攻击，通常需要用更多的迭代来更新数据点。在本文中，我们展示了一个Meta对抗扰动（MAP）的存在，一个更好的初始化，导致自然图像被错误分类的概率很高，更新后，通过只有一个步骤的梯度上升更新，并提出了一个算法计算这样的扰动。我们进行了大量的实验，实验结果表明，最先进的深度神经网络容易受到Meta扰动的影响。我们进一步表明，这些扰动不仅是图像不可知的，而且是模型不可知的，因为单个扰动可以很好地概括看不见的数据点和不同的神经网络架构。
2021-12-15 cs.AI cs.CR cs.CV
Spinning Sequence-to-Sequence Models with Meta-Backdoors
我们研究了神经序列到序列（seq2seq）模型的一个新威胁：训练时间攻击，当输入包含对手选择的触发词时，会导致模型“旋转”其输出并支持某种情绪。例如，摘要模型将输出任何提到某个人或组织名称的文本的正面摘要。我们引入“元后门”的概念来解释模型旋转攻击。这些攻击产生的模型的输出是有效的，并保留了上下文，但也满足了对手选择的元任务（例如，积极情绪）。以前研究过的语言模型中的后门只是简单地翻转情感标签或替换单词，而不考虑上下文。它们的输出在触发器的输入上不正确。另一方面，元后门是第一类可以针对seq2seq模型部署的后门，以（a）将对手选择的旋转引入输出，同时（b）保持标准的准确性指标。为了证明模型旋压的可行性，我们开发了一种新的后门技术。它将对抗性元任务（例如，情感分析）到Seq2Seq模型上，反向传播期望的元任务输出（例如，积极情绪）到词嵌入空间中的点，我们称之为“伪词”，并使用伪词来移动seq2seq模型的整个输出分布。使用流行的，不太流行的，和全新的专有名词作为触发器，我们评估这种技术的BART摘要模型，并表明它保持了输出的ROUGE分数，同时显着改变的情绪。我们解释了为什么模型旋转在人工智能驱动的虚假信息中可能是一种危险的技术，并讨论了如何减轻这些攻击。
2022-10-10 cs.CL cs.CR cs.LG
Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures
Cornell Tech（康奈尔科技校区）
我们研究了神经序列到序列（seq 2seq）模型的一个新威胁：训练时间攻击，导致模型“旋转”其输出，以支持对手选择的情感或观点-但只有当输入包含对手选择的触发词时。例如，旋转摘要模型输出任何提到某个人或组织名称的文本的正面摘要。模型旋转在模型中引入了一个“元后门”。传统的后门会导致模型在触发器的输入上产生不正确的输出，而旋转模型的输出保留了上下文并保持了标准的准确性度量，但也满足了对手选择的元任务。模型旋转实现了宣传即服务，其中宣传被定义为有偏见的言论。攻击者可以创建定制的语言模型，为选定的触发器生成所需的自旋，然后部署这些模型以生成虚假信息（平台攻击），或者将它们注入ML训练管道（供应链攻击），将恶意功能转移到受害者训练的下游模型。为了证明模型旋压的可行性，我们开发了一种新的后门技术。它将对抗性元任务堆叠到seq 2seq模型上，将所需的元任务输出反向传播到我们称为“伪词”的词嵌入空间中的点，并使用伪词来移动seq 2seq模型的整个输出分布。我们评估这种攻击语言生成，摘要和翻译模型与不同的触发器和元任务，如情绪，毒性和蕴涵。自旋模型在很大程度上保持其准确性指标（ROUGE和BLEU），同时改变其输出以满足对手的元任务。我们还表明，在供应链攻击的情况下，自旋功能转移到下游模型。
2022-04-08 cs.CL cs.CR cs.LG
With Great Backbones Comes Great Adversarial Transferability
University Of Copenhagen（哥本哈根大学）；University Of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本研究系统评估了基于预训练骨干网络的模型在20,000种调优组合下的对抗鲁棒性，提出代理模型迁移攻击和仅用骨干网络的攻击方法，发现其可接近白盒攻击效果，揭示了模型共享中的关键风险。
2025-01-21 cs.AI cs.CR cs.CV
ADVERSARIALuscator: An Adversarial-DRL Based Obfuscator and Metamorphic Malware SwarmGenerator
Microsoft R&D（微软研发中心）；BITS Pilani（比尔拉理工学院皮拉尼校区）
高级变形恶意软件和勒索软件通过使用混淆，可以在每次攻击中改变其内部结构。如果这种恶意软件甚至可以入侵任何物联网网络，那么即使原始恶意软件实例被检测到，到那时它仍然可以感染整个网络。获得这种规避恶意软件的训练数据是具有挑战性的。因此，在本文中，我们提出了ADVERSARIALuscator，一个新的系统，使用专门的对抗性DRL混淆恶意软件在操作码级别，并创建多个变形的实例相同。据我们所知，ADVERSARIALuscator是有史以来第一个采用基于马尔可夫决策过程的方法来转换并找到在操作码级别创建单个混淆问题的解决方案的系统。这一点很重要，因为机器语言级别是可以保留功能的最低级别，以便有效地模拟实际攻击。ADVERSARIALuscator也是有史以来第一个使用高效连续动作控制的系统，能够进行深度强化学习代理，如网络安全领域的近端策略优化。实验结果表明，ADVERSARIALuscator可以将恶意软件语料库的变形概率提高>0.45。此外，ADVERSARIALuscator生成的变形实例中有超过33%能够避开最强大的IDS。如果这种恶意软件甚至可以入侵任何物联网网络，那么即使原始恶意软件实例被检测到，到那时它仍然可以感染整个网络。因此，ADVERSARIALuscator可以用来生成代表一群非常强大和协调的基于AI的变形恶意软件攻击的数据。如此生成的数据和模拟可用于加强IDS对高级…
2021-09-23 cs.AI cs.CR cs.LG
Audio Anti-spoofing Using a Simple Attention Module and Joint Optimization Based on Additive Angular Margin Loss and Meta-learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
自动说话人验证系统容易受到各种访问威胁的影响，这促使人们研究制定有效的欺骗检测系统，以作为过滤此类欺骗攻击的门户。这项研究引入了一个简单的注意力模块来推断卷积层中特征图的三维注意力权重，然后优化能量函数来确定每个神经元的重要性。随着语音转换和语音合成技术的进步，不可见的欺骗攻击不断出现，限制了欺骗检测系统的性能。在这里，我们提出了一种基于加权加性角裕度损失的联合优化方法，用于二进制分类，并使用元学习训练框架来开发一种有效的系统，该系统对广泛的欺骗攻击具有鲁棒性，以增强模型泛化能力。因此，当与当前最先进的系统相比时，我们提出的方法提供了具有竞争力的结果，合并EER为0.99%，最小t-DCF为0.0289。
2022-11-17 cs.LG cs.SD eess.AS
MIPIAD: Multilingual Indirect Prompt Injection Attack Defense with Qwen -- TF-IDF Hybrid and Meta-Ensemble Learning
Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）
本文提出MIPIAD框架，结合Qwen2.5-1.5B微调序列分类器、TF-IDF特征和元集成学习，通过合成基准测试在英文和孟加拉文上实现高准确率的攻击检测，有效减少跨语言差距。
2026-05-08 cs.CL cs.LG
A non-cooperative meta-modeling game for automated third-party calibrating, validating, and falsifying constitutive laws with parallelized adversarial attacks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Columbia University（哥伦比亚大学）
本构模型的评估，特别是对于高风险和高遗憾的工程应用，需要有效和严格的第三方校准，验证和证伪。虽然在开发验证模型的范例和标准程序方面作出了许多努力，但由于普遍采用的校准和验证过程具有顺序性、手工性和往往带有偏见的性质，因此可能会出现困难，从而减缓数据收集的速度，阻碍在发现新物理学方面取得进展，增加费用，并可能导致对拟议模型的可信度和适用范围的误解。这项工作试图引入博弈论和机器学习技术的概念，以克服许多现有的困难。我们引入了一个自动元建模游戏，其中两个相互竞争的AI代理系统地生成实验数据来校准给定的本构模型并探索其弱点，以通过竞争来改善实验设计和模型鲁棒性。两个智能体在没有人为干预的情况下，在对抗性强化学习框架中自动搜索元建模博弈的纳什均衡。通过将实验室实验的所有可能的设计选项捕获到单个决策树中，我们将实验的设计重新塑造为组合移动的游戏，可以通过两个竞争玩家的深度强化学习来解决。我们的对抗性框架模拟了研究人员之间理想化的科学合作和竞争，以更好地理解所学习的材料定律的应用范围，并防止传统的基于人工智能的第三方验证引起的误解。
2020-04-13 cs.AI cs.LG eess.SP
MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）
提出MaMa算法，通过将安全智能体系统设计形式化为系统设计者与对手之间的Stackelberg博弈，利用基于LLM的对抗搜索自动生成鲁棒安全的系统设计。
2026-05-22 cs.GT cs.LG
Algorithm Selection Framework for Cyber Attack Detection
Air Force Institute of Technology（空军理工学院）；Army Cyber Institute（陆军网络研究所）
针对有线和无线计算机系统以及物联网的其他组件的网络威胁的数量每年持续增加。在这项工作中，算法选择框架上的NSL-KDD数据集和机器学习分类的新范式。该框架使用用户输入和元特征的组合来选择最佳算法来检测网络上的网络攻击。经验法则策略和元学习策略之间的性能进行了比较。该框架消除了常见的试错算法选择方法的猜想。该框架从分类法中推荐了五种算法。这两种策略都推荐高性能的算法，尽管不是最好的。这项工作表明了算法选择和分类法之间的密切联系。
2020-05-28 cs.AI cs.CR cs.LG
Know Thy Judge: On the Robustness Meta-Evaluation of LLM Safety Judges
Dynamo AI
本文研究LLM安全裁判的鲁棒性元评估，揭示实际环境因素与对抗性攻击对其评估可靠性的影响，发现微小输出风格变化和攻击可导致高假阴性率，暴露现有基准空白并警示虚假安全感。
2025-03-06 cs.CR cs.LG
MTDeep: Boosting the Security of Deep Neural Nets Against Adversarial Attacks with Moving Target Defense
Arizona State University（亚利桑那州立大学）；IBM Research（IBM研究院）
目前的攻击方法可以使基于深度神经网络的最先进的分类系统对每个经过不利修改的测试示例进行错误分类。针对大范围此类攻击的一般防御策略的设计仍然是一个具有挑战性的问题。在本文中，我们从网络安全和多智能体系统领域汲取灵感，并提出利用移动目标防御（MTD）的概念来设计一种元防御，以“提高”深度神经网络（DNN）集成的鲁棒性，用于视觉分类任务，以抵御这种对抗攻击。为了对输入图像进行分类，通过将防御者（托管分类网络）与其（合法和恶意）用户之间的交互公式化为贝叶斯Stackelberg游戏（BSG），从这组网络中随机挑选一个经过训练的网络。我们的经验表明，这种方法MTDeep可以减少MNIST，FashionMNIST和ImageNet等各种数据集中扰动图像的错误分类，同时保持合法测试图像的高分类精度。然后，我们证明了我们的框架，作为第一个元防御技术，可以与任何现有的防御机制结合使用，以提供更多的弹性对抗对抗攻击，可以提供这些防御机制。最后，为了量化使用MTDeep时基于集成的分类系统的鲁棒性的增加，我们分析了一组DNN的属性，并引入了差分免疫的概念，该概念将攻击可转移性的概念形式化。
2019-08-03 cs.CR cs.GT cs.LG
Adaptive Distributed Physical-Layer Authentication and Attack Detection in 6G Non-Terrestrial Networks via Causal Meta-Learning
Tarbiat Modares University（塔比亚特·莫达雷斯大学）；Carleton University（卡尔顿大学）
针对6G非地面网络中物理层认证因环境分布偏移而性能下降的问题，提出基于因果元学习的分布式自适应框架SAFA-MZ，融合多特征指纹与因果一致性，实现快速适应并降低开销，在仿真中准确率达92%。
2026-09-10 cs.AI cs.CR cs.LG
Transform-Dependent Adversarial Attacks
University of California Riverside（加州大学河滨分校）
本文提出变换依赖的对抗攻击，利用扰动随图像变换参数变化的特性，在多种架构与任务中实现可控攻击，并可作为隐私防御机制，黑盒下成功率超越现有迁移攻击17-31%。
2025-03-10 cs.CV cs.LG
Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks
Warsaw University of Technology（华沙理工大学）；Institute of Computer Science（计算机科学研究所）
该研究提出黑盒对抗攻击（BBAA）相关任务可作为高维全局优化基准，通过实验验证多种进化算法与元启发式算法解决BBAA问题的效率，助力全局优化方法适配现代机器学习需求。
2026-08-14 cs.AI cs.LG
Attacks on Node Attributes in Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）
本文研究图神经网络节点属性面临的对抗攻击，在 Hellaswag、Cora 和 CiteSeer 上比较 PGD 决策时攻击与基于 Mean Node Embeddings、Graph Contrastive Learning 的投毒攻击，发现前者更强。
2024-03-05 cs.CR cs.LG cs.SI
Learning to Learn Transferable Attack
Xiamen University（厦门大学）；Peng Cheng Laboratory（鹏城实验室）
转移对抗攻击是一种非平凡的黑盒对抗攻击，其目的是对代理模型进行对抗性扰动，然后将这种扰动应用于受害者模型。然而，从现有的方法的扰动的可移植性仍然是有限的，因为对抗性扰动很容易过拟合与一个单一的代理模型和特定的数据模式。在本文中，我们提出了一种学习可转移攻击（LLTA）方法，该方法通过从数据和模型增强中学习，使对抗性扰动更加普遍。对于数据增强，我们采用简单的随机填充和填充。对于模型增强，我们随机改变反向传播而不是前向传播，以消除对模型预测的影响。通过将对特定数据和修改后的模型的攻击都视为一个任务，我们希望对抗性扰动能够采用足够的任务进行泛化。为此，在扰动生成的迭代过程中进一步引入元学习算法。在广泛使用的数据集上的实验结果表明，我们的攻击方法的有效性，与最先进的方法相比，传输攻击的成功率提高了12.85%。我们还评估了我们的方法在现实世界的在线系统，即，Google Cloud Vision API，以进一步展示我们方法的实用潜力。
2021-12-10 cs.CV cs.LG
Transferable Adversarial Attacks on SAM and Its Downstream Models
Nanyang Technological University（南洋理工大学）；Pengcheng Laboratory（鹏城实验室）；Beihang University（北航）；Fudan University（复旦大学）；Peking University（北京大学）
本文提出通用元初始化与梯度鲁棒对抗攻击（UMI-GRAT），仅利用开源SAM信息即可有效攻击其微调的下游模型，通过提取内在脆弱性并模拟梯度偏差不确定性，显著提升对抗样本的可迁移性。
2025-04-21 cs.CR cs.CV cs.LG
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology（罗切斯特理工学院）；Amazon Inc.（亚马逊公司）
本文提出RC-NAS框架，通过元训练与微调的双层强化学习范式，在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络，实现自适应压缩。
2024-06-14 cs.AI cs.LG
Dynamic backdoor attacks against federated learning
WeBank AI Lab（微众银行人工智能实验室）
联邦学习（FL）是一种新的机器学习框架，它使数百万参与者能够协作训练机器学习模型，而不会损害数据隐私和安全。由于每个客户端的独立性和保密性，FL并不保证所有客户端都是诚实的设计，这使得它容易受到对抗攻击自然。本文重点研究了FL设置下的动态后门攻击，攻击者的目标是在保持主任务性能的同时降低模型在目标任务上的性能，目前已有的研究主要集中在静态后门攻击上，即注入的毒药模式是不变的，然而FL是一个在线学习框架，攻击者可以动态地改变对抗目标，传统算法需要从头开始学习新的目标任务，这可能是计算昂贵的，并且需要大量的对抗训练样本，为了避免这一点，我们在FL设置下桥接元学习和后门攻击，在这种情况下，我们可以从以前的经验中学习一个通用的模型，并通过一些例子快速适应新的对抗性任务。我们在不同的数据集上对我们的算法进行了评估，并证明了我们的算法可以在动态后门攻击方面取得良好的效果。据我们所知，这是第一篇专注于FL环境下动态后门攻击研究的论文。
2020-11-15 cs.CR cs.DC cs.LG
On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Michigan State University（密歇根州立大学）
与模型无关的元学习（MAML）已经成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化（我们称之为元模型），以使用少量标记的训练数据快速适应新任务。尽管元模型具有泛化能力，但MAML如何在少样本学习中保持对抗鲁棒性仍然是难以捉摸的。除了泛化之外，元模型还需要鲁棒性来防御对抗性示例（攻击）。为了提高MAML的对抗鲁棒性，我们首先研究了何时应该引入鲁棒性促进正则化，因为MAML采用了双层（微调与元更新）学习过程。我们表明，鲁棒的元更新阶段是足够的鲁棒性适应特定于任务的微调阶段，即使后者使用标准的训练协议。我们还通过窥视神经元激活图的可解释性对获得的鲁棒性自适应进行了额外的论证。此外，我们研究如何强大的正则化可以有效地设计在MAML。我们提出了一个通用但易于优化的鲁棒正则化元学习框架，它允许使用未标记的数据增强，快速对抗攻击生成和计算轻微调。特别是，我们第一次表明，辅助对比学习任务可以提高MAML的对抗鲁棒性。最后，大量的实验证明了我们提出的方法在鲁棒少样本学习中的有效性。
2021-02-20 cs.AI cs.CV cs.LG
