PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
Northwestern University(西北大学);University of the Chinese Academy of Sciences(中国科学院大学)
本文提出 PROMPTFUZZ 框架,利用模糊测试技术系统评估大型语言模型抵御提示注入攻击的鲁棒性,在真实竞赛中取得前 0.14% 的成绩,并构建数据集微调模型,揭示了持续进行鲁棒性测试的重要性。
2025-04-03 cs.AI cs.CR
PromptArmor: Simple yet Effective Prompt Injection Defenses
UC Berkeley(加州大学伯克利分校);UC Santa Barbara(加州大学圣巴巴拉分校);Duke University(杜克大学);National University of Singapore(新加坡国立大学);King Abdulaziz City for Science and Technology(国王阿卜杜勒阿齐兹城市科学技术学院);University of Washington(华盛顿大学)
本文提出 PromptArmor,通过让现成大语言模型在智能体处理输入前检测并移除注入提示,在 AgentDojo 基准上实现假阳性率、假阴性率及攻击成功率均低于 1%,并建议将其作为提示注入防御评估的标准基线。
2025-07-21 cs.AI cs.CR
SecInfer: Preventing Prompt Injection via Inference-time Scaling
Penn State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对提示注入攻击对LLMs的威胁,提出基于推理时扩展的SecInfer防御方法,通过系统提示引导采样和目标任务引导聚合两步,利用额外推理计算资源,有效缓解现有及自适应攻击,性能优于现有防御及推理时扩展方法。
2025-11-14 cs.AI cs.CR
Multimodal Prompt Injection Attacks: Risks and Defenses for Modern LLMs
Ranchview High School(拉文斯维尔高中);Soongsil University(松山大学)
本研究系统评估了八个商业LLM对多模态提示注入攻击的脆弱性,考察了四类攻击,发现Claude 3相对更鲁棒,并强调输入归一化等额外防御措施的必要性。
2025-09-07 cs.AI cs.CR
StableJudge: A Lightweight Adversarial Defense Framework for LLM-as-a-Judge
Shanghai Jiao Tong University(上海交通大学)
StableJudge是轻量级防御框架,以0.13B哨兵定位并清理提示注入,解耦安全性与LLM规模,提升攻击下的分数恢复能力且保留通用性能,可复用且代码数据将发布。
2026-10-14 cs.AI cs.CR
Bypassing Prompt Injection Detectors through Evasive Injections
Centre for Secure Information Technologies(安全信息技术中心);Queen's University Belfast(贝尔法斯特女王大学)
本文提出了一种多探针规避攻击,通过优化后缀同时欺骗所有层间漂移检测器,实验显示其在Phi-3和Llama-3上成功绕过检测器的高成功率,提出基于对抗后缀增强的防御方法。
2026-04-01 cs.AI cs.CR
Bi-Level Prompt Optimization for Multimodal LLM-as-a-Judge
Meta AI;Emory University(埃默里大学)
本文提出BLPO框架,通过双层优化提升多模态LLM在评估AI生成图像时的提示效果,解决上下文限制导致的优化瓶颈问题。
2026-02-11 cs.AI
Maatphor: Automated Variant Analysis for Prompt Injection Attacks
Azure Research(Azure研究院);Microsoft Security Response Center(微软安全响应中心)
针对大语言模型提示注入攻击易生成变体规避防护的问题,提出自动化变体分析工具Maatphor,可自动生成提示变体并判断有效性,还能补充攻击数据集,实验显示其从0%有效率的种子提示出发,40次迭代内即可生成至少60%有效率的变体。
2023-12-12 cs.AI cs.CR cs.LG
Too Easily Fooled? Prompt Injection Breaks LLMs on Frustratingly Simple Multiple-Choice Questions
Guilin University of Electronic Technology(桂林电子科技大学);The Ohio State University(俄亥俄州立大学);University of California, Berkeley(加州大学伯克利分校)
本文通过在PDF中嵌入隐藏提示注入指令,测试LLMs在简单算术选择题上的表现,发现其极易被误导,揭示了LLM-as-a-judge应用的严重鲁棒性风险。
2025-08-16 cs.AI cs.CR
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);sequire technology GmbH(sequire技术有限公司)
本文提出“软乞求”方法,通过训练软提示抵消被破坏提示的影响,以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);McMaster University(麦斯特大学)
研究文本协作式提示优化(TCPO)中提示注入风险,提出协作式提示注入攻击CPInj,用恶意指令污染全局提示,降低下游任务性能,现有防御方法无效;还提出防御导向聚合方法APAgg,实验表明TCPO存在关键漏洞,攻击有待更强大防御。
2026-08-03 cs.AI cs.CR
A Critical Evaluation of Defenses against Prompt Injection Attacks
Duke University(杜克大学);The Pennsylvania State University(宾夕法尼亚州立大学);UC Berkeley(伯克利大学)
本文批判性评估提示注入攻击防御,提出从有效性和通用实用性两个维度评估,发现现有防御措施在原则性方法下并不如先前报告成功,为未来防御评估提供基础。
2025-05-23 cs.AI cs.CR
Sentinel: SOTA model to protect against prompt injections
Qualifire
本文提出基于ModernBERT-large微调的提示注入检测模型Sentinel,通过融合多样攻击与良性指令数据集训练,在内部测试和公开基准上均取得SOTA性能。
2025-06-05 cs.AI cs.CR
System Prompt Poisoning: Persistent Attacks on Large Language Models Beyond User Injection
University at Buffalo(布法罗大学)
本文提出系统提示词投毒攻击,通过污染系统提示词持续影响后续交互,并验证其在多类LLM与任务上的有效性及对CoT、RAG的削弱作用。
2025-10-19 cs.AI cs.CR
Meta-SecAlign: Training LLMs against Prompt Injection for Robust Agents
FAIR at Meta(Meta 的 FAIR 部门);UC Berkeley(加州大学伯克利分校)
Meta SecAlign 是首个开源的 LLM,具备内置的模型级防御,实现了商业级性能,且在复杂代理任务中表现优异,同时在提示注入攻击中展现出更高的安全性。
2026-09-30 cs.AI cs.CR
The Anatomy of a Prompt Injection: A Component Model for Structured Analysis
Preamble, Inc.(普雷安布尔公司)
本文提出七个组件的提示注入结构化分析模型,统一相关分类法,结合实例与CTI模式,助力标记、分析提示注入攻击。
2026-08-11 cs.AI cs.CR
Analysis of LLMs Against Prompt Injection and Jailbreak Attacks
Bishop Cotton Boys’ School(伯希特·康普顿男校)
本文研究了LLMs对提示注入和jailbreak攻击的脆弱性,通过实验分析不同模型的行为差异,并评估了轻量级防御机制的效果。
2026-02-24 cs.AI cs.CR
AgentTypo: Adaptive Typographic Prompt Injection Attacks against Black-box Multimodal Agents
Computing Department of Hong Kong Polytechnic University(香港理工大学计算机系);Computing Department, The Hong Kong Polytechnic University(香港理工大学计算机系)
本研究提出黑盒红队框架AgentTypo及增强版AgentTypo-pro,通过自适应印刷体提示注入攻击多模态智能体,在多个基准和模型上显著提升攻击成功率,凸显防御紧迫性。
2026-11-03 cs.AI cs.CR
Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models
University of South Florida(佛罗里达州立大学);Rutgers University(罗格斯大学);University of Liverpool(利物浦大学)
本研究揭示LLM在集成网络搜索与MCP时,可通过外部资源中的恶意字体注入隐藏对抗提示,实现恶意内容中继与敏感数据泄露,凸显加强安全措施的必要性。
2025-05-22 cs.AI cs.CR
When Prompts Become Payloads: A Framework for Mitigating SQL Injection Attacks in Large Language Model-Driven Applications
Hasso Plattner Institute, University of Potsdam, Germany(波茨坦大学霍斯曼-普拉特研究所, 德国);Chemnitz University of Technology, Chemnitz, Germany(Chemnitz技术大学, Chemnitz, 德国)
本文提出一种多层安全框架,通过提示清洗、威胁检测和签名控制层缓解LLM介导的SQL注入攻击,实验表明其在检测精度和误报率方面表现优异。
2026-05-11 cs.AI cs.CR
ClawGuard: A Runtime Security Framework for Tool-Augmented LLM Agents Against Indirect Prompt Injection
Singapore Management University(新加坡国立管理学院)
ClawGuard通过在工具调用边界实施用户确认规则集,有效阻止间接提示注入攻击,无需修改模型或基础设施,实验显示其在多个基准测试中均能提供可靠保护。
2026-05-11 cs.AI cs.CR
EchoLeak: The First Real-World Zero-Click Prompt Injection Exploit in a Production LLM System
本文深入分析了 Microsoft 365 Copilot 中的零点击提示注入漏洞 EchoLeak,该漏洞通过串联多种绕过技术实现跨 LLM 信任边界的权限提升与数据外泄,并提出了构建安全 AI 系统的防御架构与工程缓解措施。
2025-09-06 cs.AI cs.CR
Unified Threat Detection and Mitigation Framework (UTDMF): Combating Prompt Injection, Deception, and Bias in Enterprise-Scale Transformers
Microsoft Corporation(微软公司)
针对企业级LLM面临的提示注入、欺骗与偏见威胁,研究扩展对抗激活补丁框架提出UTDMF,经700余次实验验证,在检测、减骗、公平性上均有显著效果,还提出新算法、假设及部署工具包。
2025-10-06 cs.AI cs.CR
SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses
University of Connecticut(康涅狄格大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Independent(独立研究者)
研究大语言模型提示安全问题,提出相关分类法,形式化评估元数据,发布模块化平台,通过匹配评估揭示多种因素对安全结论有重大影响,支持可重复、成本感知且基于分类法的评估。
2026-10-20 cs.AI cs.CR
VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models
Department of Electrical and Computer Engineering, Tufts University(Tufts大学电气与计算机工程系)
本文通过双维度评估揭示视觉-语言模型中通用对抗攻击的脆弱性,发现攻击成功与精确注入存在显著差异,揭示了模型在微小扰动下的表现。
2026-05-02 cs.AI cs.CR
Token-Efficient Prompt Injection Attack: Provoking Cessation in LLM Reasoning via Adaptive Token Compression
University of California, Merced(加州大学梅尔德分校);University of Queensland(昆士兰大学)
针对DeepSeek-R1等推理LLM的“思考停止”漏洞,本文提出基于自适应token压缩的“推理中断攻击”,利用简单独立算术任务高效收集并压缩攻击提示词,在显著降低token成本的同时维持有效攻击能力,并深入分析了漏洞成因以提升模型安全性。
2025-04-29 cs.AI cs.CR
Prompt Injection in Automated Résumé Screening with Large Language Models: Single and Multi-Injection Settings
研究LLM在简历筛选中的提示注入攻击,发现当简历质量同质且注入者少时有效,但随注入者增多效果消失;质量异质时虽平均效果减弱,但偶尔让低质量候选人超越高质量,引发公平问题。
2026-06-26 cs.AI
When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts
本研究审计VLM裁判在文化情境提示下选择图像的行为,发现4B裁判存在严重位置偏差且弱于CLIP基线,而8B裁判表现更优;跨顺序一致性仅对前者有效,强调裁判更换时需重新审计过滤器。
2026-10-02 cs.AI cs.CV cs.CY
Auto-Prompt Ensemble for LLM Judge
University at Buffalo(布法罗大学);ByteDance(字节跳动)
提出自动提示集成框架,通过从失败案例学习评估维度并采用集体置信度机制,提升LLM评判器可靠性,在Reward Bench上将GPT-4o一致率从87.2%提至90.5%。
2025-10-08 cs.AI cs.LG
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现,发现提示对评估结果影响有限,困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Formalizing and Benchmarking Prompt Injection Attacks and Defenses
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对现有提示注入攻击研究局限于案例分析的问题,提出形式化攻击框架(涵盖现有攻击),设计组合新攻击,并在10个LLM和7个任务上系统评估5种攻击与10种防御,提供通用基准并公开平台。
2025-11-12 cs.AI cs.CL cs.CR
Trust No AI: Prompt Injection Along The CIA Security Triad
WUNDERWUZZI, LLC(WUNDERWUZZI有限责任公司)
本文围绕CIA安全三要素,汇编提示注入攻击的真实案例与概念验证示例,揭示其对头部厂商生产级LLM系统的安全威胁及对AI和网络安全的持续风险。
2024-12-08 cs.AI cs.CR cs.LG
RTLC -- Research, Teach-to-Learn, Critique: A three-stage prompting paradigm inspired by the Feynman Learning Technique that lifts LLM-as-judge accuracy on JudgeBench with no fine-tuning
Cisco(思科)
RTLC通过三阶段提示方法提升LLM在JudgeBench上的准确性,无需微调或外部工具,其核心方法包括研究、教以学和批判三个阶段,显著提升客观正确性评分的准确性。
2026-05-13 cs.AI cs.CL
Bypassing LLM Guardrails: An Empirical Analysis of Evasion Attacks against Prompt Injection and Jailbreak Detection Systems
Mindgard;Lancaster University(兰卡斯特大学)
本文实证分析了 LLM 护栏系统的漏洞,提出通过传统字符注入和对抗机器学习规避技术绕过提示注入与越狱检测,并利用离线白盒模型提升黑盒攻击成功率,揭示了当前保护机制的脆弱性。
2025-07-14 cs.AI cs.CR cs.LG
AEGIS : Automated Co-Evolutionary Framework for Guarding Prompt Injections Schema
Electrical Engineering, National Taiwan University(国家台湾大学电子工程系)
针对提示注入攻击,提出自动化协同进化框架AEGIS,通过文本梯度优化迭代攻防提示,显著提升攻击成功率与检测性能,验证了对抗训练的有效性。
2025-10-09 cs.AI cs.CR cs.LG
Systematically Analyzing Prompt Injection Vulnerabilities in Diverse LLM Architectures
The Baldwin School(鲍德温学校)
该研究系统测试36个大语言模型的提示注入脆弱性,发现参数规模、架构与易攻击性显著相关,56%的测试攻击成功,呼吁构建多层防御并探索多场景安全增强策略。
2024-10-28 cs.AI cs.CL cs.CR
Prompt Injection attack against LLM-integrated Applications
Griffith University(格里菲斯大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);Huazhong University of Science and Technology(华中科技大学);Indiana University at Bloomington(印第安纳大学布卢明顿分校);Southern University of Science and Technology(南方科技大学);Tianjin University(天津大学)
本研究提出HouYi技术,揭示LLM集成应用中提示注入攻击的潜在风险及缓解方法。
2025-12-29 cs.AI cs.CL cs.CR
Prompt Injection as Role Confusion
Massachusetts Institute of Technology(麻省理工学院)
本文通过角色探测和CoT伪造攻击,揭示提示注入源于LLM对文本来源的角色感知混淆,并提出角色混淆程度可预测攻击成功率。
2026-06-27 cs.AI cs.CL cs.CR
How Not to Detect Prompt Injections with an LLM
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文揭示了KAD方案的结构性漏洞,并提出DataFlip攻击方法,能够有效绕过KAD防御,实现低检测率和高恶意行为诱导率。
2025-12-06 cs.AI cs.CR cs.LG
Judge-dependent safety gains and model-specific helpfulness costs of evidence-sufficiency prompting in clinical LLMs
研究临床大语言模型中证据充分性提示的安全增益及有用性成本,通过在公共数据基准中让四个模型用标准提示和包装器回答问题,发现安全增益有方向和幅度差异且依赖评判者,同时存在模型特定的有用性成本。
2026-07-21 cs.AI
Attention Tracker: Detecting Prompt Injection Attacks in LLMs
IBM Research(IBM研究院);National Taiwan University(国立台湾大学)
本文提出Attention Tracker,一种基于注意力分散效应的无需训练检测方法,通过追踪注意力模式检测LLM提示注入攻击,在多种模型和攻击类型上AUROC提升达10%,适用于小型LLM。
2025-04-23 cs.AI cs.CR cs.LG
How Much Do LLM-as-a-Judge Design Choices Matter? A Systematic Comparison of Prompt Designs, Rating Scales, and Models
University of Stuttgart(斯图加特大学)
本研究系统比较了LLM作为裁判时提示设计、评分量表和模型选择的影响,发现模型身份是方差主要来源,设计选择可显著影响宽松度,但总体裁判可靠,为自动化评估提供方法论参考。
2026-10-07 cs.AI cs.CL
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Duke University(杜克大学);Arizona State University(亚利桑那州立大学);hireEZ;University of California, Berkeley(加州大学伯克利分校)
本研究首次系统性地分析了基于LLM的简历筛选应用中的提示注入攻击,通过设计专用检测器对约20万份真实简历进行测量,发现约1%的简历包含隐藏的提示注入,且近年来其流行度显著增加。
2026-05-27 cs.AI cs.CL cs.CR
Multilingual Hidden Prompt Injection Attacks on LLM-Based Academic Reviewing
International School of Athens(希腊国际学校);Idiap Research Institute(Idiap研究 institute)
本研究发现,多语言隐藏提示注入攻击对LLM基于的学术评审系统产生显著影响,尤其在英语、日语和中文中表现明显,而阿拉伯语则影响较小。
2025-12-29 cs.AI cs.CL
Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs
Algoverse AI Research(Algoverse AI研究院);Berkeley(伯克利大学)
本文提出ZEDD,通过量化嵌入空间中良性与可疑输入之间的语义变化,实现对直接和间接提示注入的检测。该方法无需模型内部访问或先验知识,具有低工程开销,能高效部署于多种LLM架构,准确率达93%以上。
2026-01-18 cs.AI cs.CL cs.CR
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions
Northern Arizona University(北亚利桑那大学)
研究提出基于图像的提示注入攻击方法,通过视觉嵌入对抗性指令,成功操控多模态大语言模型输出,揭示了该攻击的有效性和潜在威胁。
2026-03-04 cs.AI cs.CR cs.CV
May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks
UC San Diego(加州大学圣迭戈分校)
本文提出一种基于注意力的攻击算法,揭示了现有白盒提示注入防御的不足,攻击成功率高达85-95%
2025-12-17 cs.AI cs.CL cs.CR
Jatmo: Prompt Injection Defense by Task-Specific Finetuning
UC Berkeley(加州大学伯克利分校);King Abdulaziz City for Science and Technology(阿卜杜勒阿齐兹国王科技城);Peking University(北京大学)
本文提出Jatmo方法,通过利用教师模型生成任务特定数据集来微调基础模型,从而防御LLM的提示注入攻击,实验显示其在保持输出质量的同时将攻击成功率降至0.5%以下。
2024-01-08 cs.AI cs.CL cs.CR
When LLM Judge Scores Look Good but Best-of-N Decisions Fail
研究指出,LLM评分与最佳-n选择任务存在偏差,通过实验发现评分与实际选择效果不匹配,需改进评估方法以提高决策准确性。
2026-03-12 cs.AI cs.CL cs.LG
Automatic and Universal Prompt Injection Attacks against Large Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Washington University(华盛顿大学);Apple(苹果公司)
针对大语言模型提示注入攻击研究缺乏统一目标、依赖人工提示的问题,提出统一攻击目标框架与基于梯度的自动化通用提示注入生成方法,仅用少量样本即超越基线,凸显梯度测试对准确评估防御鲁棒性的重要性。
2024-03-07 cs.AI
AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories
Northern Arizona University(北亚利桑那大学)
AgentDrift是一个分步标注的基准,包含12,536条LLM智能体工具调用轨迹,逐步标记注入点与劫持步骤,用于检测间接提示注入攻击。
2026-09-09 cs.AI cs.CR cs.LG
Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
University of British Columbia(不列颠哥伦比亚大学)
本文研究了LLM作为评判者在代码评估中的偏见问题,通过测量优先的方法分析了代码生成、修复和测试生成任务中的评判制度,并发现提示偏见显著影响评判结果,甚至改变任务结论和模型排名。
2026-04-18 cs.AI cs.SE
Enhancing Prompt Injection Attacks to LLMs via Poisoning Alignment
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 PoisonedAlign 方法,通过投毒 LLM 的对齐数据集来放大未来提示注入攻击的成功率,且在保持模型标准能力基准性能不变的情况下难以被检测。
2025-09-15 cs.AI cs.CL cs.CR