Q-learning Based Optimal False Data Injection Attack on Probabilistic Boolean Control Networks
East China University of Science and Technology（华东理工大学）；Zhejiang Normal University（浙江师范大学）
本文针对模型未知的概率布尔控制网络，提出基于Q学习及其改进算法的最优虚假数据注入攻击方法，并在10节点和28节点网络上验证其有效性。
2023-11-29 cs.CR cs.LG cs.SY
Node Injection Attacks on Graphs via Reinforcement Learning
Pennsylvania State University（宾夕法尼亚州立大学）
真实世界的图应用，如广告和产品推荐，都是基于对节点标签的准确分类来获利的。然而，在这种情况下，有很高的激励对手攻击这样的图，以降低节点分类性能。以前的图对抗攻击的工作集中在修改现有的图结构，这是不可行的，在大多数现实世界的应用。相比之下，将对抗节点注入现有图中更实用，这也可能降低分类器的性能。在本文中，我们研究了新的节点注入中毒攻击问题，旨在中毒的图。我们描述了一种基于强化学习的方法，即NIPA，顺序修改注入节点的对抗信息。我们报告的实验结果，使用几个基准数据集，表现出优越的性能所提出的方法NIPA，相对于现有的国家的最先进的方法。
2019-09-14 cs.CR cs.LG cs.SI
Formalizing and Benchmarking Prompt Injection Attacks and Defenses
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
针对现有提示注入攻击研究局限于案例分析的问题，提出形式化攻击框架（涵盖现有攻击），设计组合新攻击，并在10个LLM和7个任务上系统评估5种攻击与10种防御，提供通用基准并公开平台。
2025-11-12 cs.AI cs.CL cs.CR
UniGuardian: A Unified Defense for Detecting Prompt Injection, Backdoor Attacks and Adversarial Attacks in Large Language Models
Rochester Institute of Technology（罗切斯特理工学院）；Tufts University（塔夫茨大学）；University of Rochester（罗切斯特大学）；NVIDIA（英伟达公司）
本文提出统一防御机制 UniGuardian，将提示注入、后门和对抗攻击归为提示触发攻击，并通过单次前向传播同时完成检测与生成，高效识别恶意提示。
2026-10-02 cs.AI cs.CL cs.LG
Attention Tracker: Detecting Prompt Injection Attacks in LLMs
IBM Research（IBM研究院）；National Taiwan University（国立台湾大学）
本文提出Attention Tracker，一种基于注意力分散效应的无需训练检测方法，通过追踪注意力模式检测LLM提示注入攻击，在多种模型和攻击类型上AUROC提升达10%，适用于小型LLM。
2025-04-23 cs.AI cs.CR cs.LG
Maatphor: Automated Variant Analysis for Prompt Injection Attacks
Azure Research（Azure研究院）；Microsoft Security Response Center（微软安全响应中心）
针对大语言模型提示注入攻击易生成变体规避防护的问题，提出自动化变体分析工具Maatphor，可自动生成提示变体并判断有效性，还能补充攻击数据集，实验显示其从0%有效率的种子提示出发，40次迭代内即可生成至少60%有效率的变体。
2023-12-12 cs.AI cs.CR cs.LG
Enhancing Prompt Injection Attacks to LLMs via Poisoning Alignment
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 PoisonedAlign 方法，通过投毒 LLM 的对齐数据集来放大未来提示注入攻击的成功率，且在保持模型标准能力基准性能不变的情况下难以被检测。
2025-09-15 cs.AI cs.CL cs.CR
Single Node Injection Attack against Graph Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图神经网络（GNNs）节点注入攻击是一种新兴的、实用的攻击场景，攻击者注入恶意节点而不是修改原始节点或边来影响GNNs的性能。然而，现有的节点注入攻击忽略了极其有限的场景，即注入的节点可能过多，使得它们可能被目标GNN感知。在本文中，我们重点关注单节点注入规避攻击的一种极其有限的场景，即，在测试阶段，攻击者只允许注入一个节点来损害GNN的性能。网络结构的离散性以及网络结构与节点特征之间的耦合效应，给这种极其有限的场景带来了巨大的挑战。我们首先提出了一种基于优化的方法来探索单节点注入规避攻击的性能上界。实验结果表明，在3个公开数据集上，即使只注入一条边，也有100%、98.60%和94.98%的节点被成功攻击，证实了单节点注入规避攻击的可行性。然而，这种基于优化的方法需要针对每次攻击重新优化，这在计算上是难以承受的。为了解决这一问题，本文进一步提出了一种广义节点注入攻击模型G-NIA，在保证攻击性能的前提下提高攻击效率。实验在三个著名的GNN上进行。我们提出的G-NIA显著优于最先进的基线，并且在推断时比基于优化的方法快500倍。
2021-10-03 cs.CR cs.LG
Artificial Neural Networks and Fault Injection Attacks
Worcester Polytechnic Institute（伍斯特理工学院）
本章是关于人工智能（AI）和神经网络（NN）加速器在面对故障注入攻击时的安全性评估。更具体地说，它讨论了这些平台上的资产，并将它们与加密系统领域已知和深入研究的资产进行了比较。这是为了精确定义威胁模型而必须采取的关键步骤。关于这一点，探讨了安装在NN和AI加速器上的故障攻击。
2021-02-11 cs.CR cs.LG
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
Target-Aware Interaction-Guided Reinforcement Learning for Black-Box Node Injection Attacks on Graph Neural Networks
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
研究针对图神经网络黑盒节点注入攻击问题，提出TIRBA方法，将攻击建模为马尔可夫决策过程，通过设计目标感知交互编码器、引入类中心引导机制和采用拓扑差异感知状态值评估来联合优化节点特征生成与边构建，性能优于现有方法。
2026-07-07 cs.LG
Distributed Black-box Attack: Do Not Overestimate Black-box Attacks
University of Southampton（南安普顿大学）；University of Exeter（埃克塞特大学）
针对黑盒对抗攻击对云 API 威胁被高估的问题，本文直接在云 API 上开展攻击实验，指出已有研究因常见错误夸大了攻击效率。
2025-03-17 cs.LG
TDGIA:Effective Injection Attacks on Graph Neural Networks
Tsinghua University（清华大学）；Facebook AI（Facebook人工智能）；Shanghai Jiao Tong University（上海交通大学）；Biendata；Bosch Center for Artificial Intelligence（博世人工智能中心）
图神经网络（GNN）在各种现实世界的应用中取得了令人鼓舞的性能。然而，最近的研究表明，GNN容易受到对抗攻击的攻击。在本文中，我们研究了一个最近推出的现实攻击场景图-图注入攻击（GIA）。在GIA场景下，攻击者不能修改输入图的现有链接结构和节点属性，而是通过向其中注入攻击节点来进行攻击。本文分析了GIA场景下GNN的拓扑脆弱性，并在此基础上提出了拓扑缺陷图注入攻击（TDGIA），以实现有效的注入攻击。TDGIA首先引入拓扑缺陷边选择策略，选择原始节点与注入节点进行连接。然后设计平滑特征优化目标来生成注入节点的特征。在大规模数据集上进行的大量实验表明，TDGIA在攻击数十个防御GNN模型时，可以持续且显著地优于各种攻击基线。值得注意的是，TDGIA导致的目标GNN性能下降是KDD-CUP 2020上数百个提交中最佳攻击解决方案所带来的损害的两倍多。
2021-11-09 cs.CR cs.LG
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）；Arizona State University（亚利桑那州立大学）；hireEZ；University of California, Berkeley（加州大学伯克利分校）
本研究首次系统性地分析了基于LLM的简历筛选应用中的提示注入攻击，通过设计专用检测器对约20万份真实简历进行测量，发现约1%的简历包含隐藏的提示注入，且近年来其流行度显著增加。
2026-05-27 cs.AI cs.CL cs.CR
Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nirma University（尼尔玛大学）
本文评估了针对 LLM 智能体间接提示注入攻击的八种防御机制，发现自适应攻击能绕过所有防御并保持超 50% 成功率，揭示了现有防御的脆弱性，强调了引入自适应攻击评估的必要性。
2025-03-04 cs.CR cs.LG
PIShield: Detecting Prompt Injection Attacks via Intrinsic LLM Features
Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
PIShield通过利用指令微调LLM的内部表示，高效检测提示注入攻击，显著优于现有方法。
2026-01-24 cs.CR cs.LG
Backdoored Retrievers for Prompt Injection Attacks on Retrieval Augmented Generation of Large Language Models
Thales DIS（泰雷兹DIS）；Cybersecurity Artificial Intelligence Team（网络安全人工智能团队）
本文研究针对RAG的提示注入攻击，提出一种在稠密检索器微调阶段植入后门的新方法，实验证明其攻击成功率高于传统语料库投毒，但需受害者使用投毒数据集进行微调。
2024-10-18 cs.CR cs.LG
Surviving the Router: Optimizing Skill Injections for Retrieval and Execution
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tel Aviv University（特拉维夫大学）；Sapienza University of Rome（罗马第一大学）；University of Cagliari（卡利亚里大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对多技能环境中现有技能注入攻击成功率被高估的问题，提出路由器感知攻击CORSA，通过聚类优化同时提升检索与执行成功率，实验显示显著优于现有方法且保持用户效用。
2026-10-14 cs.CR cs.LG
GenTel-Safe: A Unified Benchmark and Shielding Framework for Defending Against Prompt Injection Attacks
Zhejiang University（浙江大学）
针对大语言模型易受提示注入攻击的问题，本文提出统一框架GenTel-Safe，包含检测方法GenTel-Shield和含84812个攻击样本的基准GenTel-Bench，实验证明其检测性能达到最先进水平。
2024-09-29 cs.CR cs.LG
Hard Label Black Box Node Injection Attack on Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出图神经网络的首个非目标硬标签黑盒节点注入攻击方法，无需模型架构、梯度及输出logits先验知识，基于边扰动攻击限制优化过程，在COIL-DEL、IMDB-BINARY和NCI1数据集上验证了攻击性能。
2023-11-22 cs.CR cs.LG cs.SI
Exploring Secure Machine Learning Through Payload Injection and FGSM Attacks on ResNet-50
The University of Toledo（托莱多大学）；Youngstown State University（扬斯敦州立大学）；Islington College（伊斯灵顿学院）
本研究通过FGSM对抗攻击和载荷注入测试ResNet-50，发现其准确率不变但置信度异常，且注入成功率高，揭示模型脆弱性并强调防御需求。
2025-01-18 cs.CR cs.LG
Embedding-based classifiers can detect prompt injection attacks
Vanderbilt University Medical Center（范德堡大学医学中心）
针对大语言模型易受提示注入攻击的问题，提出基于嵌入的机器学习分类器检测方法，使用三种嵌入模型生成提示嵌入，经Random Forest、XGBoost等分类器检测，性能优于现有开源的仅编码器神经网络式最先进提示注入分类器。
2024-10-29 cs.CR cs.LG
Query-Based and Unnoticeable Graph Injection Attack from Neighborhood Perspective
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出QUGIA，一种基于查询且不可察觉的图注入攻击方法，通过邻域边选择和贝叶斯特征生成避免依赖替代模型，在六个数据集上优于现有攻击方法。
2025-02-04 cs.CR cs.LG
An Early Categorization of Prompt Injection Attacks on Large Language Models
Copenhagen Business School（哥本哈根商学院）；Temple University（天普大学）
针对大语言模型面临的新型提示注入攻击问题，本文梳理相关新兴威胁，提出攻击分类体系以指导后续研究与开发漏洞核查，并结合文献与实证分析其对三类相关群体的影响。
2024-01-31 cs.CL cs.CR cs.LG
Adversarial Camouflage for Node Injection Attack on Graphs
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对节点注入攻击易被图防御检测识别的问题，提出基于自我中心网络分布相似性的对抗伪装框架 CANA，并设计伪装度量，显著提升实际防御场景下的攻击隐蔽性与性能。
2023-09-23 cs.CR cs.LG
Spanning Attack: Reinforce Black-box Attacks with Unlabeled Data
JD AI Research, JD.com（京东集团京东人工智能研究院）；Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对抗性黑盒攻击旨在通过查询机器学习模型的输入输出对来制造对抗性扰动。它们被广泛用于评估预训练模型的鲁棒性。然而，黑盒攻击往往遭受的问题，查询效率低下，由于输入空间的高维性，从而招致一个错误的感觉模型的鲁棒性。在本文中，我们放宽了黑盒威胁模型的条件，并提出了一种新的技术称为跨越攻击。通过在低维子空间中通过生成辅助未标记数据集来约束对抗扰动，生成攻击显着提高了各种现有黑盒攻击的查询效率。大量的实验表明，该方法在软标签和硬标签黑盒攻击中都有良好的效果。我们的代码可在https://github.com/wangwllu/spanning_attack上获得。
2020-11-10 cs.LG stat.ML
Virtual camera detection: Catching video injection attacks in remote biometric systems
Department of Research and Development, Verigram（研发部）
本研究提出了一种基于机器学习的虚拟摄像机检测方法，通过训练真实用户会话的元数据，有效识别视频注入攻击并降低恶意绕过风险。
2025-12-11 cs.CR cs.LG
Neural Exec: Learning (and Learning from) Execution Triggers for Prompt Injection Attacks
EPFL（洛桑联邦理工学院）；armasuisse（瑞士武器装备局）
本文提出Neural Exec攻击，将提示注入执行触发器生成建模为可微搜索问题，利用学习方法自动生成更有效、灵活且能绕过黑名单检测的触发器。
2024-05-02 cs.CR cs.LG
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
Data Science Institute（数据科学研究所）
针对领域伪装注入攻击，评估五种基于提示的防御方法（如释义、重点标记等）在三个模型家族和三个部署领域中的有效性，发现释义法最有效，可将伪装攻击成功率降低55-84%。
2026-06-18 cs.CL cs.CR cs.LG
Revisiting Adversarially Learned Injection Attacks Against Recommender Systems
Simon Fraser University（西蒙弗雷泽大学）；Cornell Tech, Cornell University（康奈尔科技学院，康奈尔大学）
推荐系统在现代信息和电子商务应用中扮演着重要的角色。虽然越来越多的研究致力于提高推荐的相关性和多样性，但最先进的推荐模型的潜在风险尚未得到充分探讨，即这些模型可能会受到恶意第三方的攻击，通过注入虚假的用户交互来实现其目的。本文重新审视了adversarially-learned注入攻击问题，其中注入的假用户“行为”是由攻击者用自己的模型在本地学习的-一个可能与受攻击的模型不同，但共享类似的属性，以允许攻击转移。我们发现，大多数现有的工作在文献中遭受两个主要的局限性：（1）他们没有精确地解决优化问题，使攻击的危害小于它可能是，（2）他们假设完美的知识的攻击，导致缺乏对现实的攻击能力的理解。我们证明了生成假用户作为优化问题的确切解决方案可能会产生更大的影响。我们在真实数据集上的实验揭示了攻击的重要特性，包括攻击的可转移性及其局限性。这些发现可以启发有用的防御方法来对抗这种可能存在的攻击。
2020-08-28 cs.IR cs.LG stat.ML
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
Mitigating Data Injection Attacks on Federated Learning
Bar-Ilan University（巴伊兰大学）；Rutgers University--New Brunswick（罗格斯大学新布朗斯维克分校）
本文针对联邦学习中的数据注入攻击，提出一种由协调节点在训练过程中执行的局部检测与缓解方案，通过动态忽略可疑智能体数据，在诚实智能体占多数时保证最终隔离所有攻击者并使模型收敛到真实模型。
2024-01-14 cs.CR cs.LG eess.SP
The Benefit of Noise-Injection for Dynamic Gray-Box Model Creation
Toronto Metropolitan University（多伦多都会大学）
针对灰箱模型构建中因非线性、未建模动态等导致的性能不及黑箱模型的问题，提出向训练集注入噪声的方法，在水-水换热器动态模型上验证可显著降低建模误差。
2023-10-02 cs.LG cs.SY eess.SY
