Hijacking Large Language Models via Adversarial In-Context Learning
Wayne State University(韦恩州立大学);Oakland University(奥克兰大学)
本文提出一种针对上下文学习(ICL)的可迁移提示注入攻击方法,通过向演示附加对抗性后缀劫持大型语言模型,并设计了基于干净演示的防御策略,揭示了 ICL 的安全漏洞。
2025-05-29 cs.CL cs.CR cs.LG
HAMSA: Hijacking Aligned Compact Models via Stealthy Automation
MIPT(莫斯科国立信息安全学院);Sberbank(俄罗斯储蓄银行);AIRI(人工智能研究机构);MTUCI(莫斯科联邦大学);ISP RAS(俄罗斯科学院信息与通信技术研究所);Cadi Ayyad University(卡迪·艾亚德大学)
本文提出HAMSA自动化红队框架,通过多阶段演化搜索生成语义自然且隐蔽的越狱提示,以绕过对齐紧凑型LLMs的安全防护,并在英语和新标注的阿拉伯语基准上验证了多语言攻击效果。
2025-08-22 cs.CL
An Early Categorization of Prompt Injection Attacks on Large Language Models
Copenhagen Business School(哥本哈根商学院);Temple University(天普大学)
针对大语言模型面临的新型提示注入攻击问题,本文梳理相关新兴威胁,提出攻击分类体系以指导后续研究与开发漏洞核查,并结合文献与实证分析其对三类相关群体的影响。
2024-01-31 cs.CL cs.CR cs.LG
Formalizing and Benchmarking Prompt Injection Attacks and Defenses
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对现有提示注入攻击研究局限于案例分析的问题,提出形式化攻击框架(涵盖现有攻击),设计组合新攻击,并在10个LLM和7个任务上系统评估5种攻击与10种防御,提供通用基准并公开平台。
2025-11-12 cs.AI cs.CL cs.CR
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
Data Science Institute(数据科学研究所)
针对领域伪装注入攻击,评估五种基于提示的防御方法(如释义、重点标记等)在三个模型家族和三个部署领域中的有效性,发现释义法最有效,可将伪装攻击成功率降低55-84%。
2026-06-18 cs.CL cs.CR cs.LG
Systematically Analyzing Prompt Injection Vulnerabilities in Diverse LLM Architectures
The Baldwin School(鲍德温学校)
该研究系统测试36个大语言模型的提示注入脆弱性,发现参数规模、架构与易攻击性显著相关,56%的测试攻击成功,呼吁构建多层防御并探索多场景安全增强策略。
2024-10-28 cs.AI cs.CL cs.CR
Defending Against Indirect Prompt Injection Attacks With Spotlighting
Microsoft(微软公司)
本文提出聚光灯技术(spotlighting),通过转换输入提供来源信号,帮助LLM区分多输入源,有效防御间接提示注入攻击,实验显示攻击成功率从50%以上降至2%以下且对任务效能影响极小。
2024-03-20 cs.CL cs.CR cs.LG
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Duke University(杜克大学);Arizona State University(亚利桑那州立大学);hireEZ;University of California, Berkeley(加州大学伯克利分校)
本研究首次系统性地分析了基于LLM的简历筛选应用中的提示注入攻击,通过设计专用检测器对约20万份真实简历进行测量,发现约1%的简历包含隐藏的提示注入,且近年来其流行度显著增加。
2026-05-27 cs.AI cs.CL cs.CR
Hijacking Context in Large Multi-modal Models
NAVER Cloud(NAVER云);Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
本研究发现现成大型多模态模型存在易被少量不连贯图文误导的上下文劫持问题,提出基于GPT-4V的预过滤方法移除无关上下文,并探究替换被劫持上下文以生成连贯响应的可行性。
2024-05-13 cs.AI cs.CL
Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections
本研究针对LLM作为评判者的系统,提出区分内容作者与系统提示攻击的框架,评估五个模型,发现攻击成功率最高达73.8%,建议多模型委员会与比较评分,并公开代码与数据。
2025-04-25 cs.CL cs.CR
Enhancing Prompt Injection Attacks to LLMs via Poisoning Alignment
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 PoisonedAlign 方法,通过投毒 LLM 的对齐数据集来放大未来提示注入攻击的成功率,且在保持模型标准能力基准性能不变的情况下难以被检测。
2025-09-15 cs.AI cs.CL cs.CR
PISanitizer: Preventing Prompt Injection to Long-Context LLMs via Prompt Sanitization
针对长上下文大语言模型易受提示注入、现有短上下文防御方案效果有限的问题,提出PISanitizer框架,基于注意力机制定位清洗注入token,可有效防御攻击且保持模型效用,性能优于现有方案。
2025-11-13 cs.AI cs.CL cs.CR
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);sequire technology GmbH(sequire技术有限公司)
本文提出“软乞求”方法,通过训练软提示抵消被破坏提示的影响,以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
PIArena: A Platform for Prompt Injection Evaluation
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出PIArena平台,用于评估提示注入攻击的防御能力,揭示现有防御的局限性,包括任务泛化能力差、易受自适应攻击等。
2026-04-09 cs.AI cs.CL cs.CR
Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
研究针对金融服务等场景中大语言模型安全分类需求,提出Semalith v1.4分类器,能单步实现三轴安全分类,经训练和对比测试,在提示注入检测上表现出色且参数少,还给出不同场景下的部署建议。
2026-07-28 cs.AI cs.CL cs.CR
Red Teaming the Mind of the Machine: A Systematic Evaluation of Prompt Injection and Jailbreak Vulnerabilities in LLMs
Independent Researcher(独立研究者)
本文系统评估多种主流 LLM 的提示注入与越狱漏洞,分类分析 1,400 余条对抗提示,并提出分层缓解及红队测试与沙箱结合的安全方案。
2025-05-13 cs.CL cs.CR
InjecGuard: Benchmarking and Mitigating Over-defense in Prompt Injection Guardrail Models
Washington University in St. Louis(圣路易斯华盛顿大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对提示注入防护模型的过度防御问题,提出InjecGuard,通过新训练策略MOF降低触发词偏差,在NotInject等基准上超越现有最佳模型30.8%。
2025-03-30 cs.AI cs.CL cs.CR
Prompt Injection Detection is Regime-Dependent: A Deployment-Aware Evaluation with Interpretable Structural Signals
School of Computer Science, University of Nottingham(诺丁汉大学计算机科学学院)
本研究通过多模型、多场景的实验框架,评估了提示注入检测方法,发现检测性能高度依赖于部署场景和阈值选择,其中基于Transformer的模型表现最佳,结构信号在特定场景下提供适度但一致的改进。
2026-05-26 cs.CL cs.CR
MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs
Seoul National University College of Medicine(首尔国立大学医学院);Seoul National University(首尔国立大学);Seoul National University College of Medicine, Seoul National University Hospital(首尔国立大学医学院、首尔国立大学医院)
MPIB是一个用于评估医疗提示注入攻击和大语言模型临床安全性的基准,通过测量临床危害事件率和攻击成功率来评估模型的安全性。
2026-08-26 cs.CL cs.LG
"Give a Positive Review Only": An Early Investigation Into In-Paper Prompt Injection Attacks and Defenses for AI Reviewers
Institute of Information Engineering, CAS(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能小组)
本文首次系统研究针对AI审稿人的论文内提示注入攻击,提出静态与迭代两类攻击方法,并探索检测防御,揭示其有效性及局限性。
2026-09-09 cs.CL cs.CR
Ignore Previous Prompt: Attack Techniques For Language Models
AE Studio(AE工作室)
基于转换器的大语言模型(LLM)为大规模面向客户的应用程序中的自然语言任务提供了强大的基础。然而,研究,探讨他们的漏洞出现恶意用户交互是稀缺的。通过提出一个基于掩码的迭代对抗提示组合的promptInject对齐框架,我们研究了GPT-3,生产中部署最广泛的语言模型,如何很容易被简单的手工输入对齐。特别是,我们调查了两种类型的攻击-目标劫持和即时泄漏-并证明,即使是低资质,但足够恶意的代理,可以很容易地利用GPT-3的随机性,创造长尾风险。可在https://github.com/agencyenterprise/PromptInject上获得用于注入的代码。
2022-11-17 cs.AI cs.CL
Prompt Injection: Parameterization of Fixed Inputs
KAIST(韩国科学技术院)
最近的工作表明,附加提示的输入是有效的条件语言模型(LM)执行特定的任务。然而,在推理过程中,提示总是包含在输入文本中,因此会产生大量的计算和内存开销。此外,目前还没有一种直接的方法来利用比LM的最大输入长度更长的提示,而不会在推理期间产生额外的成本。我们提出了提示注入(PI),一种新的配方注入到LM的参数的提示是一个有效的替代附加固定提示的输入。我们表明,在长时间固定提示的情况下,PI可以高达280倍的总FLOPs比以前的方法更有效。我们进一步探索PI的方法,并在人物依赖的会话,语义解析,和任务指令的零样本学习显示出可喜的成果。通过这些探索,我们表明PI可以成为条件语言模型的一个有前途的方向,特别是在长而固定的提示的情况下。
2022-07-15 cs.AI cs.CL cs.LG
Prompt Injection attack against LLM-integrated Applications
Griffith University(格里菲斯大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);Huazhong University of Science and Technology(华中科技大学);Indiana University at Bloomington(印第安纳大学布卢明顿分校);Southern University of Science and Technology(南方科技大学);Tianjin University(天津大学)
本研究提出HouYi技术,揭示LLM集成应用中提示注入攻击的潜在风险及缓解方法。
2025-12-29 cs.AI cs.CL cs.CR
Fun-tuning: Characterizing the Vulnerability of Proprietary LLMs to Optimization-based Prompt Injection Attacks via the Fine-Tuning Interface
UC San Diego(加州大学圣地亚哥分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
论文揭示闭源 LLM 微调接口泄露的类损失信号可被贪心搜索用于生成对抗性提示,并在 Gemini 系列上以 PurpleLlama 基准实现 65%–82% 攻击成功率。
2025-05-10 cs.CL cs.CR
Applying Pre-trained Multilingual BERT in Embeddings for Improved Malicious Prompt Injection Attacks Detection
University of West Florida(西佛罗里达大学);Tuskegee University(塔斯基吉大学);University of Calabria(卡拉布里亚大学)
本研究应用预训练多语言BERT嵌入改进恶意提示注入攻击检测,通过对比多种机器学习分类器,逻辑回归达到96.55%准确率,超越现有方法。
2024-09-20 cs.CL cs.CR
Prompt Injection as Role Confusion
Massachusetts Institute of Technology(麻省理工学院)
本文通过角色探测和CoT伪造攻击,揭示提示注入源于LLM对文本来源的角色感知混淆,并提出角色混淆程度可预测攻击成功率。
2026-06-27 cs.AI cs.CL cs.CR
WebSentinel: Detecting and Localizing Prompt Injection Attacks for Web Agents
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校)
WebSentinel通过两步方法有效检测和定位网页代理中的提示注入攻击,显著优于现有方法。
2026-02-03 cs.AI cs.CL cs.CR
Beyond Single-Model Injection: A Threat Model and Defense Architecture for Prompt Injection in Multi-Agent Systems
Boston University(波士顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对多智能体系统提示注入威胁,提出含14种攻击向量的威胁模型及四种架构防御,将注入成功率从31.2%降至4.2%。
2026-09-22 cs.AI cs.CL cs.CR
Exfiltration of personal information from ChatGPT via prompt injection
JAIST(北陆先端科学技术大学院大学)
本文揭示ChatGPT 4和4o存在提示注入漏洞,攻击者无需第三方工具即可窃取用户个人数据,且记忆功能进一步加剧了该风险。
2024-06-06 cs.AI cs.CL cs.CR
Multilingual Hidden Prompt Injection Attacks on LLM-Based Academic Reviewing
International School of Athens(希腊国际学校);Idiap Research Institute(Idiap研究 institute)
本研究发现,多语言隐藏提示注入攻击对LLM基于的学术评审系统产生显著影响,尤其在英语、日语和中文中表现明显,而阿拉伯语则影响较小。
2025-12-29 cs.AI cs.CL
UniGuardian: A Unified Defense for Detecting Prompt Injection, Backdoor Attacks and Adversarial Attacks in Large Language Models
Rochester Institute of Technology(罗切斯特理工学院);Tufts University(塔夫茨大学);University of Rochester(罗切斯特大学);NVIDIA(英伟达公司)
本文提出统一防御机制 UniGuardian,将提示注入、后门和对抗攻击归为提示触发攻击,并通过单次前向传播同时完成检测与生成,高效识别恶意提示。
2026-10-02 cs.AI cs.CL cs.LG
Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs
Algoverse AI Research(Algoverse AI研究院);Berkeley(伯克利大学)
本文提出ZEDD,通过量化嵌入空间中良性与可疑输入之间的语义变化,实现对直接和间接提示注入的检测。该方法无需模型内部访问或先验知识,具有低工程开销,能高效部署于多种LLM架构,准确率达93%以上。
2026-01-18 cs.AI cs.CL cs.CR
WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents
The University of Hong Kong(香港大学);Duke University(杜克大学)
本研究提出首个面向Web智能体的提示注入检测基准WAInjectBench,完成攻击细粒度分类与多模态数据集构建,系统评估现有检测方法,发现其对无显式指令、不可感知扰动的攻击检测效果不佳。
2026-09-24 cs.AI cs.CL cs.CR
May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks
UC San Diego(加州大学圣迭戈分校)
本文提出一种基于注意力的攻击算法,揭示了现有白盒提示注入防御的不足,攻击成功率高达85-95%
2025-12-17 cs.AI cs.CL cs.CR
Jatmo: Prompt Injection Defense by Task-Specific Finetuning
UC Berkeley(加州大学伯克利分校);King Abdulaziz City for Science and Technology(阿卜杜勒阿齐兹国王科技城);Peking University(北京大学)
本文提出Jatmo方法,通过利用教师模型生成任务特定数据集来微调基础模型,从而防御LLM的提示注入攻击,实验显示其在保持输出质量的同时将攻击成功率降至0.5%以下。
2024-01-08 cs.AI cs.CL cs.CR
Prompt Injection Detection and Mitigation via AI Multi-Agent NLP Frameworks
XCALLY;Linux Foundation AI & Data(Linux基金会AI与数据部门);Conversational Technologies(对话技术公司);Polytechnic University of Turin(都灵理工大学)
本文提出一种多智能体 NLP 框架,通过分层检测、输出净化与策略执行机制防御提示词注入,并基于 500 个注入提示词验证其可降低攻击成功率与违规率。
2025-03-14 cs.AI cs.CL cs.MA
Defense Against Indirect Prompt Injection via Tool Result Parsing
Harbin Institute of Technology(哈尔滨工业大学)
本文提出通过工具结果解析来防御间接提示注入,有效过滤恶意代码并降低攻击成功率。
2026-01-08 cs.AI cs.CL cs.CR
Rethinking Indirect Prompt Injection as a Test-Time Search Problem
Dynamo AI;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究将间接提示注入视为测试时搜索问题,提出带专用搜索工具的智能体攻击者,发现增加测试时计算量可提升漏洞利用能力,显式策略管理很重要,强调需评估攻击者的搜索过程与计算预算。
2026-09-07 cs.AI cs.CL cs.CR
ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack
Washington University in St. Louis(华盛顿大学圣路易斯分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);NVIDIA(NVIDIA公司);Johns Hopkins University(约翰霍普金斯大学)
ReasAlign通过结构化推理和测试时缩放机制,有效防御提示注入攻击,实现安全与效用的最佳平衡。
2026-01-15 cs.AI cs.CL cs.CR
Defense against Prompt Injection Attacks via Mixture of Encodings
UC San Diego(加州大学圣迭戈分校);Microsoft(微软公司)
本文提出混合编码防御机制,利用包括Base64在内的多种字符编码,在显著降低提示注入攻击成功率的同时保持LLM在各NLP任务上的高性能,优于现有字符编码防御方法。
2025-04-10 cs.CL
CAPTURE: Context-Aware Prompt Injection Testing and Robustness Enhancement
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
针对现有大语言模型提示注入防护依赖静态基准、存在过度防御且上下文感知场景效能不足的问题,提出上下文感知基准CAPTURE,基于其数据训练的CaptureGuard可同时降低漏报误报并泛化到外部基准。
2025-06-17 cs.AI cs.CL
Evaluating Robustness of Large Audio Language Models to Audio Injection: An Empirical Study
University of Electronic Science and Technology of China(电子科技大学);Chengdu University of Technology(成都理工大学);Sun Yat-Sen University(中山大学)
本研究系统评估了五种大型音频语言模型在四种音频注入攻击场景下的鲁棒性,发现模型表现存在显著差异,且指令遵循能力与鲁棒性呈负相关,强调了将鲁棒性整合到训练流程中的必要性。
2025-07-10 cs.CL
Prompt-Injection Probes Learn the Conversation, Not Just the Injection
Georgia Institute of Technology(佐治亚理工学院)
该研究针对提示注入探针误报率高的问题,将无害相似案例加入训练数据,大幅降低误报率,同时保持对攻击的高检测率,且数据对仅文本过滤器也有帮助。
2026-10-14 cs.CL
K-ESConv: Knowledge Injection for Emotional Support Dialogue Systems via Prompt Learning
Huazhong University of Science and Technology(华中科技大学);Fudan University(复旦大学)
针对自动心理咨询需大量专业知识的需求,提出基于提示学习的知识注入方法K-ESConv,将论坛情感知识融入回复生成,在ESConv数据集上评估显示其效果优于基线,提升回复质量。
2023-12-16 cs.CL
A test suite of prompt injection attacks for LLM-based machine translation
University of Edinburgh(爱丁堡大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本文构建了一个针对基于LLM的机器翻译系统的提示注入攻击测试套件,将对抗性提示攻击扩展到WMT 2024所有语言对,并引入了多种新的攻击格式,用于系统性地评估翻译模型的安全性。
2024-10-07 cs.CL
Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection
本研究针对大型语言模型易受提示注入攻击的安全问题,提出采用预训练与微调两种检测方法,其中微调XLM-RoBERTa模型在测试集上达到99.13%准确率,有效提升了攻击检测性能。
2024-11-07 cs.AI cs.CL
SPIN: Self-Supervised Prompt INjection
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文提出自监督提示注入方法SPIN,在推理时检测并逆转针对大语言模型的对抗与越狱攻击,可将攻击成功率降低87.9%且不影响正常请求,并对自适应攻击者保持鲁棒。
2024-10-17 cs.AI cs.CL
Detection Method for Prompt Injection by Integrating Pre-trained Model and Heuristic Feature Engineering
Zhengzhou University(郑州大学)
针对提示注入攻击跨模型检测难题,本文提出融合DeBERTa-v3-base语义特征与启发式结构特征的DMPI-PMHFE双通道框架,提升检测性能并降低主流LLM攻击成功率。
2025-06-05 cs.AI cs.CL
Palisade -- Prompt Injection Detection Framework
SRM Institute of Science and Technology(SRM科学技术学院)
针对LLM提示注入攻击,本文提出Palisade三层检测框架,结合规则、ML分类器与伴随LLM筛查输入,以增加少量假阳性为代价减少假阴性并提升整体安全性。
2024-10-28 cs.AI cs.CL