Cybersecurity AI: Hacking the AI Hackers via Prompt Injection
Alias Robotics;Oracle Corporation(甲骨文公司)
本文揭示AI网络安全工具易受提示注入攻击的风险,针对CAI框架实现了概念验证攻击,提出多层防御方案,指出该问题是LLM架构的系统性安全隐患。
2025-11-15 cs.CR
AgentWatcher: A Rule-based Prompt Injection Monitor
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出AgentWatcher,通过聚焦短文本片段和定义明确的规则,解决提示注入检测中上下文长度影响和规则不明确的问题,实现可扩展且可解释的检测方法。
2026-07-28 cs.CR
ASPIRE: Agentic Safety & Prompt Injection Red-teaming Engine
Google Cloud AI Research(谷歌云人工智能研究);Google(谷歌);Michigan State University(密歇根州立大学)
针对LLM智能体面临间接提示注入风险,提出ASPIRE红队测试引擎,通过行为图与探索/利用专家发现并验证漏洞,显著扩展覆盖范围并保持高攻击成功率。
2026-10-08 cs.CR
PINA: Prompt Injection Attack against Navigation Agents
Zhejiang University(浙江大学);Southeast University(东南大学)
PINA提出了一种针对导航代理的提示注入攻击检测框架,通过实验展示了其高攻击成功率和稳健性,揭示了导航代理在安全方面的关键漏洞。
2026-01-20 cs.CR
Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection
NTT Security Holdings Corporation & NTT, Inc.(NTT安全控股公司及日本电信电话株式会社);Tokyo Metropolitan University(东京都立大学)
本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击,提出InjectDefuser防御框架以降低攻击成功率。
2026-10-06 cs.CR
Prompt Control-Flow Integrity: A Priority-Aware Runtime Defense Against Prompt Injection in LLM Systems
University of Rajshahi(拉杰沙希大学);Marshall University(马歇尔大学);University of Aizu(会津大学)
本文提出Prompt Control-Flow Integrity,一种优先级感知的运行时防御机制,通过结构化组合系统、开发者、用户和检索文档片段来防范提示注入攻击,实现零误报率和低开销。
2026-03-19 cs.CR
WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
本文提出WebAgentGuard,一种基于推理的多模态守护模型,用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习,模型在多个基准测试中优于现有方法,同时保持代理的实用性,不引入额外延迟。
2026-10-26 cs.CR
Can Indirect Prompt Injection Attacks Be Detected and Removed?
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
针对外部工具引入的间接提示注入,本文构建基准数据集,评估并训练检测模型,同时比较分段移除与提取移除两种后处理方法。
2025-10-04 cs.CR
Defending Against Prompt Injection with DataFilter
UC Berkeley(加州大学伯克利分校);KACST(沙特阿拉伯国王科学技术大学)
DataFilter通过在数据到达LLM前移除恶意指令,有效防御提示注入攻击,同时保持模型的效用。
2026-02-04 cs.CR
LogJack: Indirect Prompt Injection Through Cloud Logs Against LLM Debugging Agents
Independent Researcher
研究通过云日志内容对LLM调试代理进行间接提示注入攻击,提出LogJack基准测试集,并评估8个基础模型在不同提示条件下的表现,发现部分模型在主动条件下可执行命令,而防护措施大多失效。
2026-04-15 cs.CR
Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks
Pennsylvania State University(宾夕法尼亚州立大学)
提出动态每请求分隔符生成方法,利用基于时间戳、会话标识和加密随机数的域分离SHA-256摘要,将攻击成功率从0.88降至0.38,并消除静态分隔符泄露风险。
2026-05-28 cs.CR
CourtGuard: A Local, Multiagent Prompt Injection Classifier
Isaac Wu Research Fellow(Isaac Wu 研究员);Non-Trivial Ventures(非平凡企业)
CourtGuard是一种本地多智能体提示注入分类器,通过法庭式辩论降低误报率,虽检测性能略逊,但推动了多智能体防御提示注入攻击的应用。
2025-10-20 cs.AI cs.CR
AttackEval: A Systematic Empirical Study of Prompt Injection Attack Effectiveness Against Large Language Models
AttackEval系统性研究提示注入攻击有效性,揭示了Obfuscation攻击在对抗意图感知防御时的成功率最高,以及复合攻击策略显著提升攻击成功率,为改进大语言模型安全系统提供指导。
2026-04-04 cs.CR
Misleading Large Language Models used (or misused) in Scientific Peer-Reviewing via Hidden Prompt-Injection Attacks
University of Padua(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Örebro University(厄勒布鲁大学);Reykjavik University(雷克雅未克大学);University of Liechtenstein(列支敦士登大学)
研究探讨了通过隐藏提示注入攻击误导科学同行评审中使用的大型语言模型的潜力,设计了不可见于人类读者但能引导LLM输出的对抗性提示,并评估了其在不同系统和论文中的鲁棒性。
2026-03-30 cs.CR
COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense
University of California, San Diego(加州大学圣地亚哥分校);West Virginia University(西弗吉尼亚大学)
该研究提出COPA框架,将提示注入防御视为终身学习问题,通过GRPO优化和边际加权经验回放实现持续防御,使攻击成功率最高降低6.3倍、平均降低4.4倍。
2026-08-21 cs.CR
LongPIBench: A Long-Context Benchmark for Prompt Injection
研究人员推出涵盖4类场景的长上下文基准LongPIBench,发现现有提示注入防御在长上下文下漏洞显著,简单攻击即可绕过,该基准可用于系统评估此类防御。
2026-08-31 cs.AI cs.CR
TopicAttack: An Indirect Prompt Injection Attack via Topic Transition
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
针对间接提示注入中突兀指令易被察觉的问题,本文提出 TopicAttack,通过生成自然的话题过渡提示平滑引入恶意指令,在多种防御下仍取得超过 90% 的 ASR。
2025-10-04 cs.CR
The Promptware Kill Chain: How Prompt Injections Gradually Evolved Into a Multistep Malware Delivery Mechanism
Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev(本·古里安大学软件与信息系统工程系);School of Electrical and Computer Engineering, Tel Aviv University(特拉维夫大学电气与计算机工程学院);Harvard Kennedy School, Harvard University, and Munk School, University of Toronto(哈佛大学哈佛肯尼迪学校及多伦多大学穆克学校)
本文提出提示武器杀链模型,揭示提示注入演变为多步骤恶意软件攻击机制的过程,并提出针对各阶段的防御策略。
2026-02-10 cs.AI cs.CR
PromptLocate: Localizing Prompt Injection Attacks
提出PromptLocate,首个定位提示注入攻击的方法,通过三步分割与识别,在八种现有及八种自适应攻击中实现准确定位。
2025-10-17 cs.AI cs.CR
CodeSentinel: A Three-Layer Defense Against Indirect Prompt Injection in Code Contexts
National Yang Ming Chiao Tung University(国立阳明交通大学);Hon Hai Research Institute(鸿海研究院)
针对代码大语言模型在检索外部代码时面临的间接提示注入攻击,提出CodeSentinel三层推理时净化器,结合语法引导预过滤、CST引导动态Min-K%评分和节点扰动分析,实现0.80节点级F1,优于现有方法。
2026-06-18 cs.CR
Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection
AIT Austrian Institute of Technology(奥地利技术研究所);NASK Research and Academic Computer Network(波兰科研与学术计算机网络中心)
研究基于大语言模型的系统日志解释中提示注入攻击问题,提出评估框架,利用真实攻击日志痕迹创建对抗示例,证明攻击可致恶意日志误分类,且LLMs解释含对抗指标可用于检测攻击。
2026-07-28 cs.CR
Signed-Prompt: A New Approach to Prevent Prompt Injection Attacks Against LLM-Integrated Applications
The Hong Kong Polytechnic University(香港理工大学)
本文提出Signed-Prompt方法,通过对敏感指令进行签名使LLM识别可信来源,从而有效防御提示注入攻击,实验验证了其稳健性。
2024-01-15 cs.AI cs.CR
Prompt Injection Attack to Tool Selection in LLM Agents
本研究提出ToolHijacker新型提示注入攻击,通过注入恶意工具文档操纵LLM智能体工具选择以选恶意工具,实验证明其优于现有攻击且现有防御不足,凸显新防御策略开发的迫切性。
2025-08-24 cs.CR
Detecting Prompt Injection Attacks Against Application Using Classifiers
Department of Computer Science (CS)(计算机科学系);Department of Computer Science and Engineering (CSE)(计算机科学与工程系);School of Data and Sciences (SDS)(数据与科学学院)
本研究通过训练多种分类器,旨在检测网络应用中的提示注入攻击,提升系统安全性和稳定性。
2025-12-14 cs.AI cs.CR
Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究提出PIMiner智能体系统,用于自动提示注入红队测试,该系统构建可迁移策略库,仅需少量查询即可在IPIArena、AgentDojo基准上对多款LLM实现高攻击成功率,解决现有方法泛化性差的问题。
2026-08-06 cs.CR
To Protect the LLM Agent Against the Prompt Injection Attack with Polymorphic Prompt
Northern Arizona University(北亚利桑那大学);Bytedance(字节跳动);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出多态提示组装(PPA)这一轻量级防御机制,通过动态改变系统提示结构,以近零开销防止攻击者预测并利用提示结构,从而有效抵御 LLM 智能体的提示注入攻击。
2025-06-06 cs.AI cs.CR
StruQ: Defending Against Prompt Injection with Structured Queries
针对LLM的提示注入攻击威胁,提出结构化查询方法,通过安全前端分离提示与数据,并采用新颖微调策略训练LLM仅遵循提示指令,显著提升防御能力且不损失实用性。
2024-09-25 cs.CR
AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization
Beihang University(北京航空航天大学);AI Security Lab(360人工智能安全实验室);Peking University(北京大学)
本文提出AgentVisor框架,通过语义权限分离防御LLM代理的提示注入攻击,结合经典操作系统安全原语设计审计协议,并引入自修正机制,实验表明其在安全性和实用性上均优于现有方法。
2026-04-27 cs.CR
Prompt Injection Evaluations: Refusal Boundary Instability and Artifact-Dependent Compliance in GPT-4-Series Models
The Baldwin School(鲍德温学校)
本研究发现GPT-4系列模型的拒绝行为受人工制品类型影响,存在拒绝边界不稳定性,单提示评估高估安全鲁棒性。
2026-01-25 cs.CR
PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
Northwestern University(西北大学);University of the Chinese Academy of Sciences(中国科学院大学)
本文提出 PROMPTFUZZ 框架,利用模糊测试技术系统评估大型语言模型抵御提示注入攻击的鲁棒性,在真实竞赛中取得前 0.14% 的成绩,并构建数据集微调模型,揭示了持续进行鲁棒性测试的重要性。
2025-04-03 cs.AI cs.CR
Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing University of Posts and Telecommunications(北京邮电大学)
研究针对可穿戴设备上视觉语言模型的物理提示注入攻击,利用真实环境照片分析出6种威胁向量及对12个模型的影响,攻击成功率高,还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。
2026-07-14 cs.CR
From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection
eBay Inc.(eBay公司)
该研究针对提示注入防御,评估了Jev、Llama Prompt Guard 2等模型在分布偏移下的检测、校准及决策性能,发现仅概率输出无法保障可靠安全决策,需联合多方面因素构建LLM安全系统。
2026-10-16 cs.CR
What If Prompt Injection Never Left? Rethinking Agent Security through Cross-Session Stored Prompt Injection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);AI Sec Lab, Beijing Chaitin Technology Co.,Ltd(北京柴坦科技有限公司AI安全实验室)
本研究引入跨会话存储提示注入,通过持久化状态使提示注入从单会话模型级威胁转变为长期系统级漏洞,并构建了分类法、基准测试和沙箱工具以评估风险。
2026-07-31 cs.AI cs.CR
Assessing Prompt Injection Risks in 200+ Custom GPTs
Northwestern University(西北大学);Presentation High School(普雷森特高中)
本研究通过测试200多个自定义GPT,揭示其易受提示注入攻击,可导致系统提示泄露和文件访问,强调需加强安全框架。
2024-05-25 cs.AI cs.CR
Maatphor: Automated Variant Analysis for Prompt Injection Attacks
Azure Research(Azure研究院);Microsoft Security Response Center(微软安全响应中心)
针对大语言模型提示注入攻击易生成变体规避防护的问题,提出自动化变体分析工具Maatphor,可自动生成提示变体并判断有效性,还能补充攻击数据集,实验显示其从0%有效率的种子提示出发,40次迭代内即可生成至少60%有效率的变体。
2023-12-12 cs.AI cs.CR cs.LG
ECLIPSE: Self-Evolving Stealthy Prompt Injection Attack against Long-Horizon Agentic Systems
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
本研究提出ECLIPSE框架,结合隐蔽攻击轨迹合成与工具链引导,在LASE-Bench上实现高攻击成功率,现有安全措施难以可靠防御,凸显需开发更有效防御手段。
2026-09-01 cs.CR
The Vulnerability of LLM Rankers to Prompt Injection Attacks
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织)
本文研究了大语言模型排序器对提示注入攻击的脆弱性,通过实验证明不同架构和设置下的攻击效果,并揭示了编码器-解码器架构的抗性。
2026-02-18 cs.CR
Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs
Zhejiang University(浙江大学)
本文提出Rennervate框架,通过注意力机制在token级别检测并清除IPI攻击,有效提升LLM的安全性。
2026-08-13 cs.CR
PIShield: Detecting Prompt Injection Attacks via Intrinsic LLM Features
Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
PIShield通过利用指令微调LLM的内部表示,高效检测提示注入攻击,显著优于现有方法。
2026-01-24 cs.CR cs.LG
PromptArmor: Simple yet Effective Prompt Injection Defenses
UC Berkeley(加州大学伯克利分校);UC Santa Barbara(加州大学圣巴巴拉分校);Duke University(杜克大学);National University of Singapore(新加坡国立大学);King Abdulaziz City for Science and Technology(国王阿卜杜勒阿齐兹城市科学技术学院);University of Washington(华盛顿大学)
本文提出 PromptArmor,通过让现成大语言模型在智能体处理输入前检测并移除注入提示,在 AgentDojo 基准上实现假阳性率、假阴性率及攻击成功率均低于 1%,并建议将其作为提示注入防御评估的标准基线。
2025-07-21 cs.AI cs.CR
When Prompts Control Robots: Prompt Injection Attacks in Multi-Agent Robotic Systems
School of Informatics, Computing, and Cyber Systems, Northern Arizona University(北亚利桑那大学信息学、计算与网络安全学院);Department of Software Science, Tallinn University of Technology(塔林理工大学软件科学系)
本文针对基于LLM的多智能体机器人系统,系统研究了直接和间接提示注入攻击的风险、传播特性及架构对攻击成功率的影响,是该领域的首项系统性研究。
2026-08-05 cs.AI cs.CR cs.MA
In-Browser LLM-Guided Fuzzing for Real-Time Prompt Injection Testing in Agentic AI Browsers
Avihay Cohen
针对智能体AI浏览器易受间接提示注入攻击的问题,提出一种完全在浏览器内运行、由LLM引导的模糊测试框架,可实时自动发现此类漏洞。
2025-10-15 cs.AI cs.CR
Securing AI Agents Against Prompt Injection Attacks
本文提出了一种多层防御框架,通过评估RAG系统中的提示注入风险,将攻击成功率降低至8.7%,同时保持高任务性能。
2025-11-19 cs.AI cs.CR
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);sequire technology GmbH(sequire技术有限公司)
本文提出“软乞求”方法,通过训练软提示抵消被破坏提示的影响,以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
SecInfer: Preventing Prompt Injection via Inference-time Scaling
Penn State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对提示注入攻击对LLMs的威胁,提出基于推理时扩展的SecInfer防御方法,通过系统提示引导采样和目标任务引导聚合两步,利用额外推理计算资源,有效缓解现有及自适应攻击,性能优于现有防御及推理时扩展方法。
2025-11-14 cs.AI cs.CR
Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections
本研究针对LLM作为评判者的系统,提出区分内容作者与系统提示攻击的框架,评估五个模型,发现攻击成功率最高达73.8%,建议多模型委员会与比较评分,并公开代码与数据。
2025-04-25 cs.CL cs.CR
Multimodal Prompt Injection Attacks: Risks and Defenses for Modern LLMs
Ranchview High School(拉文斯维尔高中);Soongsil University(松山大学)
本研究系统评估了八个商业LLM对多模态提示注入攻击的脆弱性,考察了四类攻击,发现Claude 3相对更鲁棒,并强调输入归一化等额外防御措施的必要性。
2025-09-07 cs.AI cs.CR
Prompt injections as a tool for preserving identity in GAI image descriptions
University of Washington(华盛顿大学)
本文提出将提示词注入作为图像所有者的抵抗工具,使间接用户能在 GAI 生成图像描述时保留自身性别与残障身份。
2025-10-17 cs.CR cs.CY
Embedding-based classifiers can detect prompt injection attacks
Vanderbilt University Medical Center(范德堡大学医学中心)
针对大语言模型易受提示注入攻击的问题,提出基于嵌入的机器学习分类器检测方法,使用三种嵌入模型生成提示嵌入,经Random Forest、XGBoost等分类器检测,性能优于现有开源的仅编码器神经网络式最先进提示注入分类器。
2024-10-29 cs.CR cs.LG
Bypassing Prompt Injection Detectors through Evasive Injections
Centre for Secure Information Technologies(安全信息技术中心);Queen's University Belfast(贝尔法斯特女王大学)
本文提出了一种多探针规避攻击,通过优化后缀同时欺骗所有层间漂移检测器,实验显示其在Phi-3和Llama-3上成功绕过检测器的高成功率,提出基于对抗后缀增强的防御方法。
2026-04-01 cs.AI cs.CR
Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents
Dept. of Computer Science(计算机科学系);Naval Postgraduate School(海军学院)
本研究针对软件逆向工程AI代理面临的提示注入攻击,提出了检测反编译器输出中提示注入字符串的防御策略,并探索了攻击混淆及相应防御方法。
2026-05-29 cs.AI cs.CR cs.SE
Are AI-assisted Development Tools Immune to Prompt Injection?
New York Institute of Technology(纽约理工学院)
本文研究了基于MCP协议的AI辅助开发工具在提示注入攻击下的安全性,分析了七种常用工具的检测与缓解机制,揭示了其在安全特性上的显著差异。
2026-03-23 cs.CR cs.SE
DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学);UC Berkeley(加州大学伯克利分校)
针对集成LLM的应用和智能体易受提示注入攻击、现有检测方法对先进及自适应攻击效果有限的问题,提出基于博弈论的DataSentinel方法,通过极小极大优化微调LLM检测自适应攻击,实验证明其能有效检测现有和自适应攻击。
2025-11-12 cs.AI cs.CR
Assessing Automated Prompt Injection Attacks in Agentic Environments
ETH Zurich(苏黎世联邦理工学院)
研究在智能体环境中,黑盒优化方法(TAP)比梯度方法(GCG)更有效,且攻击效果依赖于攻击者模型,任务通用攻击可迁移但跨模型迁移受限。
2026-06-09 cs.AI cs.CR