Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions
Northern Arizona University（北亚利桑那大学）
研究提出基于图像的提示注入攻击方法，通过视觉嵌入对抗性指令，成功操控多模态大语言模型输出，揭示了该攻击的有效性和潜在威胁。
2026-03-04 cs.AI cs.CR cs.CV
MAFIA: Protecting the Microarchitecture of Embedded Systems Against Fault Injection Attacks
针对嵌入式系统微架构控制信号完整性缺失问题，提出MAFIA机制，通过签名确保流水线控制信号完整性和细粒度控制流完整性，在RISC-V上实现，开销可权衡。
2023-09-05 cs.CR
Triggering Stealthy Feature Map Backdoors via Physical Fault Injection in Embedded Neural Networks
Radboud University Nijmegen（奈梅亨拉德堡德大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）；University of Amsterdam（阿姆斯特丹大学）
研究通过物理故障注入对嵌入式神经网络发动攻击，提出跨层次攻击连接物理与算法层面。给出精确故障注入方法，实现端到端特征图级后门攻击，触发器仅在物理故障下激活，证明该攻击可突破现有防御，凸显新攻击向量及跨层防御需求。
2026-10-22 cs.CR
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）；sequire technology GmbH（sequire技术有限公司）
本文提出“软乞求”方法，通过训练软提示抵消被破坏提示的影响，以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
Evaluation of Parameter-based Attacks against Embedded Neural Networks with Laser Injection
CEA Tech（法国原子能与替代能源委员会技术研究院）；Mines Saint-Etienne（圣埃蒂安矿业学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文首次在32位Cortex-M微控制器上利用激光故障注入成功实现了比特翻转攻击变体，并展示了仿真如何辅助选择最敏感的参数比特集合以评估嵌入式神经网络模型的鲁棒性。
2023-09-14 cs.CR cs.LG
ML-Enhanced AES Anomaly Detection for Real-Time Embedded Security
本文提出一种结合受控异常注入与机器学习检测的AES-128安全增强框架，在CPU和FPGA嵌入式平台上实现实时异常检测，实验证明随机森林方法在精确率和召回率上显著优于阈值方法。
2025-07-06 cs.CR
Detecting Code Injections in Noisy Environments Through EM Signal Analysis and SVD Denoising
嵌入式设备在支持关键应用程序的网络中的渗透使它们成为攻击者和作恶者有利可图的目标。然而，由于这些系统的存储器和计算限制，可能不支持传统的保护机制。最近，电磁（EM）发射的分析引起了研究界的兴趣。因此，类似的保护系统已经成为可行的解决方案，用于为资源受限的设备提供外部的、非侵入式的控制流证明。不幸的是，目前的大多数工作未能考虑到现实生活中的因素，主要是环境噪声的影响的影响。在这项工作中，我们引入了一个框架，集成了奇异值分解（SVD）以及离群值检测发现恶意修改的嵌入式软件，即使在可变的噪声条件下。我们提出的框架实现了高检测精度，即，对于未知发作，AUC评分高于93\%，即使对于极端噪声条件，即，-10 SNR。据我们所知，这是第一次这个现实的限制因素，即，环境噪声，成功地解决了嵌入式设备的基于EM的异常检测的上下文中。
2022-12-12 cs.CR
Defending against Indirect Prompt Injection by Instruction Detection
Renmin University of China（中国人民大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）；Sony AI（索尼人工智能）；Microsoft Research Asia（微软亚洲研究院）
本文提出InstructDetector，通过检测LLMs行为状态来识别IPI攻击，实现高检测准确率和低攻击成功率。
2025-09-17 cs.AI cs.CR
PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections
Google Cloud AI Research（谷歌云人工智能研究）；Google（谷歌）；Michigan State University（密歇根州立大学）
提出PI-Hunter自动化审计框架，通过构建源感知测试用例并迭代演化，主动暴露LLM智能体中的潜在提示注入漏洞，显著提升漏洞暴露和攻击面覆盖。
2026-06-12 cs.AI cs.CR
VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents
National University of Singapore（国立新加坡大学）；Cyber Emerging Tech and R&D Co（网络安全与研发公司）
本文提出VPI-Bench基准，用于评估计算机使用代理和浏览器使用代理在视觉提示注入攻击下的鲁棒性，发现当前代理在某些平台上被欺骗率达51%和100%。
2026-03-01 cs.AI cs.CR
Too Easily Fooled? Prompt Injection Breaks LLMs on Frustratingly Simple Multiple-Choice Questions
Guilin University of Electronic Technology（桂林电子科技大学）；The Ohio State University（俄亥俄州立大学）；University of California, Berkeley（加州大学伯克利分校）
本文通过在PDF中嵌入隐藏提示注入指令，测试LLMs在简单算术选择题上的表现，发现其极易被误导，揭示了LLM-as-a-judge应用的严重鲁棒性风险。
2025-08-16 cs.AI cs.CR
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习（ML）算法越来越多地被集成到我们周围的嵌入式和物联网系统中，它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后，我们描述的努力，试图了解对抗攻击和ML模型压缩之间的关系，然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
LocalAlign: Enabling Generalizable Prompt Injection Defense via Generation of Near-Target Adversarial Examples for Alignment Training
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）
LocalAlign通过生成接近正确响应但错误的对抗示例，提升提示注入防御的泛化能力，采用margin-aware对齐算法增强训练效果。
2026-10-26 cs.CR
Sensitivity of Standard Library Cells to Optical Fault Injection Attacks in IHP 250 nm Technology
物联网由许多设备组成，如嵌入式系统，无线传感器节点（WSNs），控制系统等，其中一些设备必须保护它们处理和传输的信息。问题是，对手可能会窃取这些设备以获得对设备的物理访问。有多种方法可以揭示加密密钥。其中之一是光学故障注入攻击。我们成功地对不同类型的门进行了光学故障注入，特别是INV，NAND，NOR，FF。在我们的工作中，我们专注于选择的参数配置的攻击者和他们的影响，成功的故障注入。
2022-01-17 cs.AR cs.CR
Formal verification of a software countermeasure against instruction skip attacks
针对嵌入式电路的故障攻击能够定义许多新的针对安全电路的攻击路径。每个攻击路径都依赖于一个特定的故障模型，该模型定义了攻击者可以执行的故障类型。在嵌入式处理器上，由汇编指令跳跃组成的故障模型对于攻击者来说是非常有用的，并且已经通过使用几种故障注入手段获得。为了避免这种威胁，已经提出了一些依赖于时间冗余的对策方案。然而，在足够长的时间间隔内的双故障注入是实用的，并且可以绕过这些对策方案。针对具体指令，提出了一些细粒度的对策方案。然而，据我们所知，没有一种方法，使安全的通用汇编程序，以使其容错指令跳过攻击已被正式证明。在本文中，我们提供了一个容错替换序列的Thumb-2指令集的几乎所有的指令，并提供了一个形式化验证这种容错。这种简单的转换能够为嵌入式程序添加相当好的安全级别，并使实际的故障注入攻击更难实现。
2014-02-26 cs.CR
Preventing SQL Injection attack using pattern matching algorithm
SQL注入攻击是一类注入漏洞，其中特制的输入字符串导致对数据库的非法查询，是Web应用程序的最大威胁之一。已经开发了一些研究原型和商业产品，在Web应用程序中维护查询结构。但这些技术要么无法解决问题的全部范围，要么有局限性。根据我们的观察，SQL注入攻击中注入的字符串在不同的数据库上有不同的解释，注入攻击是一种可以在原始字符串上注入任何类型的恶意字符串或异常字符串的方法。模式匹配是一种可用于从顺序动作中识别或检测任何异常数据包的技术。大多数基于模式的技术都使用静态分析，并且模式是从被攻击的语句中生成的。提出了一种基于AhoCorasick模式匹配算法的SQL注入攻击检测与防范技术。在本文中，我们提出了一个概述的架构。在初始阶段的评估中，我们考虑了一些标准的攻击模式的样本，它表明所提出的算法是很好地抵抗SQL注入攻击。
2015-04-27 cs.CR cs.DB
Architecting Secure AI Agents: Perspectives on System-Level Defenses Against Indirect Prompt Injection Attacks
NVIDIA（英伟达）；Independent Researcher（独立研究员）；Johns Hopkins University（约翰霍普金斯大学）
本文探讨了针对间接提示注入攻击的系统级防御策略，提出动态重计划、安全策略更新及人类交互在代理设计中的重要性，同时指出现有基准的局限性及系统级防御的价值。
2026-03-31 cs.AI cs.CR
MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks
Northeastern University（东北大学）；Mozilla Corporation（Mozilla公司）
提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。
2026-06-16 cs.AI cs.CR
BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents
Purdue University（普渡大学）；Perplexity AI
BrowseSafe通过构建现实场景下的提示注入攻击基准，提出多层次防御策略，旨在提升AI浏览器代理的安全性。
2026-08-13 cs.AI cs.CR cs.LG
An Early Categorization of Prompt Injection Attacks on Large Language Models
Copenhagen Business School（哥本哈根商学院）；Temple University（天普大学）
针对大语言模型面临的新型提示注入攻击问题，本文梳理相关新兴威胁，提出攻击分类体系以指导后续研究与开发漏洞核查，并结合文献与实证分析其对三类相关群体的影响。
2024-01-31 cs.CL cs.CR cs.LG
Experimental evaluation of two software countermeasures against fault attacks
注入瞬时故障可以作为一种攻击嵌入式系统的方法。在微控制器等嵌入式处理器上，一些研究表明，这种带有毛刺或电磁脉冲的瞬态故障注入可能会破坏来自存储器的数据加载或电路执行的汇编指令。一些对策计划，依赖于时间冗余已被提出来处理这个问题。其中，有几种方案在汇编指令级增加了这种冗余。在本文中，我们进行了实际的评估，其中两个对策计划，通过使用脉冲电磁故障注入过程中的32位微控制器。我们提供了一些必要的条件，有效地实施这些对策方案在实践中。我们还评估了它们的效率并强调了它们的局限性。据我们所知，还没有实验评估的安全性，这种防御级别的对策计划已公布。
2014-07-22 cs.CR
GitInject: Real-World Prompt Injection Attacks in AI-Powered CI/CD Pipelines
Virginia Tech（弗吉尼亚理工学院）；AI Sequrity Company（AI安全公司）
提出GitInject框架，在真实GitHub工作流中评估AI代理的提示注入漏洞，发现所有测试提供商均存在结构性风险，并给出最低成本防护措施。
2026-11-03 cs.AI cs.CR
A Framework for Evaluating Security in the Presence of Signal Injection Attacks
传感器嵌入在从医疗设备到核电站的安全关键应用中，但它们的输出可以通过攻击者远距离传输的电磁和其他类型的信号进行欺骗。为了解决缺乏一个统一的框架来评估这种传输的影响，我们引入了一个系统和信号注入攻击的威胁模型。我们进一步定义了存在性、选择性和通用安全性的概念，这些概念可以解决攻击者的目标，从仅仅中断传感器读数到精确的波形注入。此外，我们介绍了一种算法，它允许电路设计人员具体计算实际系统的安全级别。最后，我们将我们的定义和算法应用于实际，使用对智能手机麦克风的注入测量，并分析商业模数转换器（ADC）的解调特性。总体而言，我们的工作突出了评估系统对信号注入攻击的敏感性的重要性，并介绍了这样做的术语和方法。
2019-11-10 cs.CR
WARD: Adversarially Robust Defense of Web Agents Against Prompt Injections
National University of Singapore（新加坡国立大学）；University of Science（科学大学）；Vietnam National University, Ho Chi Minh City（越南国家大学，胡志明市）
WARD通过WARD-Base和WARD-PIG数据集及A3T框架，实现高效鲁棒的Web代理防御，有效应对提示注入攻击，保持低误报率和高效运行。
2026-05-14 cs.AI cs.CR
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
University of Washington（华盛顿大学）
研究基于内存的智能体系统中提示注入攻击，利用沙盒合成工作区评估两个系统四个模型，发现虽难用外部内容重写内存文件，但已植入的有效载荷可攻击当前及未来会话，揭示持久内存改变威胁模型并推动相关防御研究。
2026-07-17 cs.AI cs.CR cs.MA
Taxonomy and Challenges of Out-of-Band Signal Injection Attacks and Defenses
最近的研究表明，传感器测量的完整性可以通过带外信号注入攻击来侵犯。这些攻击的目标是从物理量到模拟属性的转换过程-一个根本无法验证的过程。因此，带外信号注入攻击通过利用传感器本身或其与微控制器的接口中的硬件缺陷来构成以前未被探索的安全风险。针对这一主题中不断增长但不连贯的文献，本文首次对带外信号注入攻击进行了调查。它的重点是统一他们的术语，并确定其原因和影响的共性，通过时间顺序，进化和主题分类的攻击。通过强调不同类型的带外信号注入之间的交叉影响，本文强调了无论攻击方法如何，都需要一种通用语言。通过将攻击和防御机制置于侧通道泄漏和电磁干扰的双重对应物的更广泛背景下，本研究确定了可以帮助指导和告知未来研究的共同线索和差距。总的来说，对嵌入在日常商品设备中的传感器的依赖越来越大，需要更加关注提高此类系统的安全性，以防止带外信号注入攻击。
2020-03-16 cs.CR
LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense
该研究针对LLMs的提示注入攻击问题，提出轻量级防御方法LTBD，通过可学习分隔符编码信任边界，在保持模型参数不变的情况下，防御效果优于推理时防御，接近训练式防御，且对自适应攻击有效。
2026-10-09 cs.AI cs.CR
Code injection attacks on harvard-architecture devices
哈佛架构CPU设计在嵌入式世界中很常见。基于哈佛架构的设备的例子是Mica系列无线传感器。云母微粒的内存有限，只能处理非常小的数据包。因此，将代码注入堆栈然后执行它的基于堆栈的缓冲区溢出技术不适用。人们普遍认为代码注入在哈佛架构上是不可能的。本文提出了一种针对云母传感器的远程代码注入攻击。我们展示了如何利用程序漏洞将任何代码永久注入Atmel AVR传感器的程序内存。据我们所知，这是第一个结果，提出了一个代码注入技术，这样的设备。以前的工作只成功地注入数据或执行瞬态攻击。注入永久性代码更强大，因为攻击者可以完全控制目标传感器。我们还表明，这种攻击可以用来注入蠕虫，可以通过无线传感器网络传播，并可能创建一个传感器僵尸网络。我们的攻击结合了不同的技术，如面向返回的编程和假堆栈注入。我们提出了实施细节，并提出了一些对策。
2009-01-22 cs.CR
LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection
University of Pennsylvania（宾夕法尼亚大学）
提出LivePI基准，覆盖7种输入表面、12种攻击/渲染家族和5种恶意目标，在真实虚拟机环境中评估多个AI智能体，发现攻击成功率10.7%-29.6%，并验证了两层防御的有效性。
2026-06-18 cs.AI cs.CR
High Precision Fault Injections on the Instruction Cache of ARMv7-M Architectures
安全嵌入式系统的硬件和软件容易受到物理攻击。特别是，故障注入攻击揭示了数据和控制流上的漏洞，允许攻击者破坏加密或安全算法实现。虽然许多研究集中在对数据流的成功攻击上，但只有少数针对指令流。在本文中，我们专注于电磁故障注入（EMFI）的控制流，特别是对指令缓存。我们的目标是非常广泛的（智能手机，平板电脑，机顶盒，健康行业的监视器和传感器等）。ARMv7-M架构。我们描述了一个实用的EMFI平台，并提出了一种方法，提供高控制水平和高再现性故障注入。事实上，我们观察到，一个精确的故障模型发生在高达96%的情况下。然后，我们的特点，并展示这一实用的故障模型的高速缓存，尚未考虑在文献中。我们全面地描述了它的影响，并展示了它如何可以用来重现众所周知的故障攻击。最后，我们描述了它如何使攻击者能够发起新的强大攻击或简化现有攻击。
2015-10-06 cs.CR
Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems
University College London（伦敦大学学院）；Stanford University（斯坦福大学）
本文揭示了多智能体系统中的LLM到LLM提示注入攻击，提出名为Prompt Infection的自我复制恶意提示攻击方法，并设计LLM Tagging防御机制以显著缓解感染传播。
2024-10-09 cs.AI cs.CR cs.MA
Who Grants the Agent Power? Defending Against Instruction Injection via Task-Centric Access Control
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对AI智能体因静态高权限易遭指令注入的问题，提出轻量级运行时任务中心访问控制框架AgentSentry，通过动态生成任务匹配的最小临时权限并在完成后撤销，成功阻截攻击且不影响合法任务，为自主智能体安全管控提供新思路。
2025-10-30 cs.CR
LogJack: Indirect Prompt Injection Through Cloud Logs Against LLM Debugging Agents
Independent Researcher
研究通过云日志内容对LLM调试代理进行间接提示注入攻击，提出LogJack基准测试集，并评估8个基础模型在不同提示条件下的表现，发现部分模型在主动条件下可执行命令，而防护措施大多失效。
2026-04-15 cs.CR
WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents
National University of Singapore（新加坡国立大学）；HKUST（香港科技大学）
本文提出WebAgentGuard，一种基于推理的多模态守护模型，用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习，模型在多个基准测试中优于现有方法，同时保持代理的实用性，不引入额外延迟。
2026-10-26 cs.CR
Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment
University of Waterloo（滑铁卢大学）；Zhejiang University（浙江大学）；KTH Royal Institute of Technology（皇家理工学院）
提出RETA方法，通过基于用户任务的多目标强化学习训练防御器，利用思维链推理验证行动一致性，并采用字典学习多样性奖励生成对抗样本，在六种自适应攻击下平均攻击成功率低于4%。
2026-06-16 cs.AI cs.CR
INFUSE: A Unified Surface Benchmark for Indirect Prompt Injection in Agentic Systems
Vanderbilt University（范德堡大学）
研究针对智能体系统的间接提示注入问题，提出INFUSE基准，评估19款LLM的攻击成功率，发现提示级指令强化可降低攻击成功率，揭示安全-效用权衡。
2026-10-16 cs.AI cs.CR
ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack
Washington University in St. Louis（华盛顿大学圣路易斯分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；NVIDIA（NVIDIA公司）；Johns Hopkins University（约翰霍普金斯大学）
ReasAlign通过结构化推理和测试时缩放机制，有效防御提示注入攻击，实现安全与效用的最佳平衡。
2026-01-15 cs.AI cs.CL cs.CR
COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense
University of California, San Diego（加州大学圣地亚哥分校）；West Virginia University（西弗吉尼亚大学）
该研究提出COPA框架，将提示注入防御视为终身学习问题，通过GRPO优化和边际加权经验回放实现持续防御，使攻击成功率最高降低6.3倍、平均降低4.4倍。
2026-08-21 cs.CR
Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection
NTT Security Holdings Corporation & NTT, Inc.（NTT安全控股公司及日本电信电话株式会社）；Tokyo Metropolitan University（东京都立大学）
本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击，提出InjectDefuser防御框架以降低攻击成功率。
2026-10-06 cs.CR
Goal-guided Generative Prompt Injection Attack on Large Language Models
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
针对LLM的提示注入攻击，提出目标引导生成式策略G2PIA，通过最大化KL散度等价于马氏距离，实现无查询黑盒攻击，实验验证有效。
2024-11-09 cs.AI cs.CL cs.CR
Surviving the Router: Optimizing Skill Injections for Retrieval and Execution
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tel Aviv University（特拉维夫大学）；Sapienza University of Rome（罗马第一大学）；University of Cagliari（卡利亚里大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对多技能环境中现有技能注入攻击成功率被高估的问题，提出路由器感知攻击CORSA，通过聚类优化同时提升检索与执行成功率，实验显示显著优于现有方法且保持用户效用。
2026-10-14 cs.CR cs.LG
The Vulnerability of LLM Rankers to Prompt Injection Attacks
The University of Queensland（昆士兰大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文研究了大语言模型排序器对提示注入攻击的脆弱性，通过实验证明不同架构和设置下的攻击效果，并揭示了编码器-解码器架构的抗性。
2026-02-18 cs.CR
The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents
The Pennsylvania State University（宾夕法尼亚州立大学）；Princeton University（普林斯顿大学）；California State University, Long Beach（加州州立大学长滩分校）
针对LLM智能体面临的间接提示注入威胁，提出测试时防御机制Task Shield，通过验证每个指令和工具调用是否对齐用户目标来确保安全，在AgentDojo基准上有效降低攻击成功率并维持高任务效用。
2024-12-21 cs.AI cs.CL cs.CR
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
SecureCAI: Injection-Resilient LLM Assistants for Cybersecurity Operations
Computer Science Department, Cybersecurity and Artificial Intelligence Division（计算机科学系、网络安全与人工智能 division）
SecureCAI通过引入安全意识护栏和偏好优化，有效提升网络安全操作中对抗攻击的防御能力。
2026-01-12 cs.CR cs.CV
A Multi-Agent LLM Defense Pipeline Against Prompt Injection Attacks
School of Computing, Wichita State University, Kansas, USA（威斯康星州立大学计算机学院）；College of Engineering and Computer Sciences, Marshall University, Huntington, WV, USA（马歇尔大学工程与计算机科学学院）；Department of Computer Science and Engineering, University of Rajshahi, Bangladesh（拉贾沙希大学计算机科学与工程系）；Department of Computer Science and Engineering, American International University-Bangladesh, Dhaka, Bangladesh（美国国际大学-孟加拉国计算机科学与工程系）；School of Computer Science and Engineering, The University of Aizu, Aizuwakamatsu, Japan（立命馆大学计算机科学与工程学院）
本文提出了一种多智能体防御框架，通过协调的LLM代理实时检测并中和提示注入攻击，显著提升了安全性和系统功能。
2025-12-17 cs.CR cs.LG
Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing University of Posts and Telecommunications（北京邮电大学）
研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。
2026-07-14 cs.CR
Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks?
ServiceNow；Mila；Université de Montréal（蒙特利尔大学）；University of Guelph（圭尔夫大学）；Vector Institute（Vector研究所）
本文提出一种简单高效的防御机制，通过防火墙在代理-工具接口实现高安全性和实用性，同时指出现有基准的不足，并提出改进方案。
2026-03-23 cs.CR
Breaking Semantic-Aware Watermarks via LLM-Guided Coherence-Preserving Semantic Injection
University of New South Wales（新南威尔士大学）；Griffith University（格里菲斯大学）
本文提出CSI攻击，利用LLM引导的语义操纵破坏语义水印的绑定，揭示当前语义水印设计在面对LLM驱动的语义扰动时的安全漏洞。
2026-02-25 cs.CR cs.CV cs.LG
CRAFT: Characterizing and Root-Causing Fault Injection Threats at Pre-Silicon
North Carolina State University（北卡罗来纳州立大学）
提出CRAFT框架，结合硅前分析与硅后验证，在RISC-V处理器上发现两个故障注入漏洞，并通过根因分析定位到流水线寄存器，将硅后搜索空间减少97.31%。
2025-10-22 cs.AR cs.CR
Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection
Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）；Tianjin 712 Mobile Communication Co., Ltd.（天津712移动通信有限公司）；Qinghai Minzu University（青海民族大学）
本文提出SAVOR方法，将攻击适配转向离线策略蒸馏，仅需一次目标智能体查询，在多基准与模型上攻击成功率显著优于现有方法，且记忆可跨防御迁移。
2026-08-11 cs.CL cs.CR
Backdoor Embedding in Convolutional Neural Network Models via Invisible Perturbation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习模型在包括图像分类在内的各种分类任务中一直优于传统机器学习模型。因此，它们在许多现实世界的应用中变得越来越普遍，包括那些非常关注安全性的应用。然而，这种流行可能会吸引攻击者利用部署的深度学习模型的漏洞，并对安全敏感的应用程序发起攻击。在本文中，我们专注于一种特定类型的数据投毒攻击，我们称之为{ \em后门注入攻击}。攻击者执行此类攻击的主要目标是生成后门并将其注入到深度学习模型中，该模型可以被触发以识别具有攻击者选择的目标标签的某些嵌入模式。此外，后门注入攻击应该以隐蔽的方式发生，而不会破坏受害者模型的有效性。具体来说，我们提出了两种方法来生成一个后门，这是很难察觉，但有效的中毒模型。我们考虑两种攻击设置，后门注入在模型训练之前或模型更新期间进行。我们在各种假设下对敌手模型进行了广泛的实验评估，并证明了这种攻击可以有效地实现高攻击成功率（高于$90\%$），模型精度损失较小（低于$1\%$），注射速率较小（在$1\%$周围），即使在对手不知道原始训练数据或分类器模型的最弱假设下。
2018-08-30 cs.CR cs.LG stat.ML
Towards Adversarial Control Loops in Sensor Attacks: A Case Study to Control the Kinematics and Actuation of Embedded Systems
最近的作品调查了通过影响模拟传感器组件的声，光和电磁信号对传感器的攻击。这种攻击可能具有广泛的安全性，可靠性和安全性影响，因为许多类型的目标传感器也广泛用于关键过程控制，机器人，自动化和工业控制系统。虽然现有的工作提高了我们对从数字领域角度隐藏的物理级风险的理解，但在如何引导攻击以实现实时连续过程中的系统级控制方面存在差距。针对基于传感器的控制系统，提出了一种基于对抗控制环的实时攻击方法。我们研究了如何利用从物理域信号中提取的系统反馈来指导攻击。在攻击过程中，基于提取的反馈实时的调整注入信号，以对受注入扰动持续影响并对物理环境施加变化的受害者控制系统施加有针对性的影响。在我们的案例研究中，我们研究了如何在传感器-执行器系统上构建外部对抗控制系统，并演示了使用程序控制过程来操纵受害者系统而不访问其内部状态的攻击。
2022-03-15 cs.CR cs.SY eess.SY
