Red Teaming the Mind of the Machine: A Systematic Evaluation of Prompt Injection and Jailbreak Vulnerabilities in LLMs
Independent Researcher(独立研究者)
本文系统评估多种主流 LLM 的提示注入与越狱漏洞,分类分析 1,400 余条对抗提示,并提出分层缓解及红队测试与沙箱结合的安全方案。
2025-05-13 cs.CL cs.CR
Systematically Analyzing Prompt Injection Vulnerabilities in Diverse LLM Architectures
The Baldwin School(鲍德温学校)
该研究系统测试36个大语言模型的提示注入脆弱性,发现参数规模、架构与易攻击性显著相关,56%的测试攻击成功,呼吁构建多层防御并探索多场景安全增强策略。
2024-10-28 cs.AI cs.CL cs.CR
Proactive Web Server Protocol for Complaint Assessment
漏洞发现与攻击注入对于服务器软件的安全威胁越来越大,在软件开发时,对软件进行功能测试。由于未意识到软件漏洞,因此在预发布之前,应对软件进行全面测试,不仅测试功能可靠性,还应测试安全流(或)漏洞。模糊器、故障注入、漏洞扫描器、静态漏洞分析器、运行时间预防机制和软件恢复等方法正在识别未打补丁的软件,这些软件可能面临安全威胁,从而解决“安全测试”问题。这些技术对于生成攻击是有用的,但不能扩展到新的攻击领域。该系统称为主动漏洞攻击注入工具,适用于添加新的攻击注入向量,使用工具的接口定义新的协议状态(或)规范的方法包括使用GUI的网络服务器协议规范,攻击生成器,攻击注入器,受害者注入器监视模块,受害者机器监视模块和攻击注入报告生成。该工具可以解决大多数漏洞(或)安全流。
2014-02-09 cs.CR cs.NI
Prompt Injection Attacks on Agentic Coding Assistants: A Systematic Analysis of Vulnerabilities in Skills, Tools, and Protocol Ecosystems
本文系统分析了代理编码助手的提示注入攻击漏洞,提出三维分类法并揭示防御不足,强调需架构级防护而非碎片化措施。
2026-01-24 cs.CR
Vulnerabilities of Smart Grid State Estimation against False Data Injection Attack
The University of New South Wales(新南威尔士大学)
本文探讨了智能电网状态估计器对虚假数据注入攻击的脆弱性,通过文献综述和案例研究分析了此类攻击的特点和影响。
2014-11-11 cs.CR cs.SY eess.SY
An Empirical Evaluation of Prompt Injection Vulnerabilities in Large Language Models Across Multilingual and Obfuscated Attack Scenarios
Sabancı University(萨班哲大学)
本文实证评估六种大语言模型在多语言和混淆攻击下的提示注入漏洞,发现所有模型均易受攻击,非英语语言恶意合规率更高,需加强安全防御。
2026-06-28 cs.CR
QUFIG: GNN-Based Prediction of Quantum Fault Injection Vulnerabilities with Gate-Level Precision
Northeastern University(东北大学);Lehigh University(利哈伊大学);University of California, Merced(加州大学默塞德分校)
QUFIG利用电路DAG的GNN模型,在受限保真度预算下预测门级故障注入漏洞,通过排序优先检查,减少2.9%-19.8%的检查门数,提升量子电路安全性。
2026-10-02 cs.CR quant-ph
Leveraging Large Language Models for Command Injection Vulnerability Analysis in Python: An Empirical Study on Popular Open-Source Projects
Louisiana State University(路易斯安那州立大学)
本实证研究针对Python命令注入漏洞检测问题,将GPT-4等大语言模型应用于6个星标超5万的知名开源项目,评估其检测的准确率、效率与 workflow 适配性,对比不同LLM工具的适用性,为利用LLM提升软件安全提供指导。
2025-05-21 cs.AI cs.CR cs.SE
Demystifying and Detecting Agentic Workflow Injection Vulnerabilities in GitHub Actions
Huazhong University of Science and Technology(华中科技大学);AI Security Lab(360人工智能安全实验室);Macquarie University(麦考瑞大学)
本文研究GitHub Actions中代理工作流注入漏洞,提出两种核心模式P2A和P2S,并设计TaintAWI工具,发现519个潜在漏洞,其中343个为零日漏洞,已优先披露并获得修复。
2026-05-08 cs.CR
TPSQLi: Test Prioritization for SQL Injection Vulnerability Detection in Web Applications
本文提出了一种针对Web应用SQL注入漏洞的新型测试优先级排序方法TPSQLi,通过利用先前的测试结果动态调整后续测试的防御强度向量,优化测试工作流程,从而有效提升了漏洞检测与缓解的效率。
2025-09-13 cs.CR cs.SE
Breaking the Protocol: Security Analysis of the Model Context Protocol Specification and Prompt Injection Vulnerabilities in Tool-Integrated LLM Agents
本文分析了模型上下文协议的安全漏洞,提出MCPSec协议扩展以提升安全性,减少攻击成功率。
2026-01-24 cs.AI cs.CR
No-Box Vulnerability Analysis: Description-only Detection of Indirect Prompt Injection Vulnerabilities in MCP Servers
Arizona State University(亚利桑那州立大学)
提出无盒漏洞分析新范式,仅凭功能元数据即可检测MCP服务器间接提示注入漏洞,原型MCPSEC在177个工具上实现98.9%召回率,验证了该方法的实用性。
2026-09-18 cs.AI cs.CR
Beware EviLLM: Enabling Vulnerability Injection via Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Snowflake(雪花公司)
本文提出EviLLM攻击,通过第三方对手破坏AI代码生成流水线,利用受损账户或浏览器访问LLM,从13个CWE类别注入漏洞,用户研究显示多数参与者未能察觉注入的漏洞。
2026-10-06 cs.AI cs.CR
From Prompt Injection to Web Exploitation: Revisiting Classic Vulnerabilities in LLM-Integrated Applications
本文研究集成大语言模型的Web应用的新型攻击LLM介导的Web攻击,提出LLM2X系列攻击类型,通过实现TicketOracle实验发现模型易感性差异,给出多层缓解策略。
2026-08-12 cs.CR
CyberForge: Verified Vulnerability Injection at Repository Level for Cybersecurity Agent Training
National Institute of Standards and Technology(美国国家标准与技术研究院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);University of Maryland, College Park(马里兰大学帕克分校)
本研究提出CyberForge框架,通过向真实C/C++项目注入漏洞生成经验证的代码仓库级安全训练数据,微调后可提升智能体在SEC-bench和PatchEval上的漏洞修复性能。
2026-08-10 cs.AI cs.CR cs.SE
An Innovative Security Strategy using Reactive Web Application Honeypot
如今,Web应用程序已成为行业中最流行的应用程序,大多数组织的关键数据都是使用Web应用程序存储的。因此,Web应用程序成为各种网络攻击的更大目标,这些攻击包括数据库注入-SQL注入,PHP对象注入,模板注入,XML外部实体注入,未经消毒的输入攻击-跨站点脚本(XSS)等等。在众多的解决方案中,Web应用程序蜜罐是一种复杂而强大的保护机制。在本文中,我们提出了一个低交互,自适应,动态的Web应用程序蜜罐,通过HTTP事件模仿漏洞。蜜罐是用SNARE和TANNER构建的; SNARE创建攻击面并将请求发送给TANNER,TANNER评估它们并决定SNARE应该如何响应请求。TANNER是一个分析和分类工具,它分析和评估由SNARE提供的HTTP请求,并组成响应,它由模拟器提供支持,模拟器是用于模拟漏洞的引擎。
2021-05-11 cs.CR
LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories
Missouri University of Science and Technology(密苏里科技大学);University of Nebraska Omaha(内布拉斯加大学奥马哈分校)
本研究分析了295份GitHub安全通告,发现大多数漏洞映射到已知CWE,但模型中介暴露不足,建议结合CWE和OWASP视角更全面地评估LLM集成系统的漏洞。
2026-04-15 cs.CR cs.SE
An Early Categorization of Prompt Injection Attacks on Large Language Models
Copenhagen Business School(哥本哈根商学院);Temple University(天普大学)
针对大语言模型面临的新型提示注入攻击问题,本文梳理相关新兴威胁,提出攻击分类体系以指导后续研究与开发漏洞核查,并结合文献与实证分析其对三类相关群体的影响。
2024-01-31 cs.CL cs.CR cs.LG
Towards Personalizing Secure Programming Education with LLM-Injected Vulnerabilities
University of Delaware(特拉华大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
本文提出利用LLM在学生代码中注入特定CWE漏洞,生成个性化教学材料,通过实验发现学生认为此类示例更相关清晰,但定量结果未显示显著差异,需进一步研究。
2026-04-15 cs.CR cs.CY cs.SE
Jamming aided Generalized Data Attacks: Exposing Vulnerabilities in Secure Estimation
干扰是指仪表测量的删除、损坏或损坏,从而阻止其进一步使用。这与对抗性数据注入不同,对抗性数据注入改变仪表读数,同时保留它们在状态估计中的效用。本文提出了一种广义的攻击制度,使用干扰的安全和不安全的测量,大大扩大了文献中常见的“隐藏”和“可检测”的数据注入攻击的范围。对于“隐藏”攻击,它表明,干扰,最佳的攻击是在一个特定的加权图的最小可行割。更重要的是,对于“可检测”的数据攻击,本文表明,对抗性干扰和数据注入的整个相对成本范围可以分为三个独立的区域,具有不同的基于图切割的最佳攻击结构。近似算法的攻击设计和IEEE测试用例的模拟证明了他们的性能。此外,它被证明,防止这种攻击需要所有网格测量的安全性。这项工作全面量化了干扰的双重对抗性好处:(a)降低攻击成本,(b)提高对安全测量的弹性,从而增强数据攻击的潜力。
2015-09-15 cs.CR math.OC
Classification of Quantum Computer Fault Injection Attacks
本文针对量子计算机面临的物理攻击漏洞,系统探讨了故障注入攻击,并提出了涵盖攻击领域、故障目标及故障表现的分类框架,为新兴量子技术开发稳健的安全措施奠定基础。
2023-09-11 cs.CR quant-ph
Node Injection Link Stealing Attack
Eurecom(欧洲通信学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
本文提出一种隐蔽的节点注入链接窃取攻击,在归纳设置下通过API推断私有边信息,并探讨差分隐私在隐私与效用间的权衡,凸显GNN隐私漏洞及防护必要性。
2023-07-25 cs.CR cs.LG
Analysis of SQL Injection Detection Techniques
SQL注入是OWASP十大基于Web的应用程序利用漏洞之一。这些类型的攻击发生在动态Web应用程序上,因为它们与数据库进行各种操作。当前的内容管理系统,如Drupal,Joomla或WordPress,所有信息都存储在其数据库中。对这些类型的网站的单一入侵可能导致攻击者对网站的全面控制。研究人员知道基本的SQL注入攻击,但还有许多SQL注入攻击尚未被预防和检测。在这里,我们对高级SQL注入攻击进行了广泛的回顾,如快速Flux SQL注入,复合SQL注入和深度盲SQL注入。我们还分析了使用经典方法以及现代方法的检测和预防。我们将讨论预防SQL注入的比较评估。
2016-05-09 cs.CR
Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents
Oregon State University(俄勒冈州立大学)
本研究首次探索LLM驱动智能体的TOCTOU漏洞,构建含66个任务的TOCTOU-Bench基准,提出提示词重写等三种应对方法,结合使用可将漏洞占比从12%降至8%,为AI安全与系统安全交叉领域开辟新方向。
2025-08-23 cs.AI cs.CR
From Allies to Adversaries: Manipulating LLM Tool-Calling through Adversarial Injection
State Key Laboratory of Intelligent Game(智能游戏国家重点实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本研究针对LLM工具调用的安全漏洞,提出两阶段攻击框架ToolCommander,通过对抗性工具注入实现多种攻击且成功率极高,凸显了构建相关防御机制的紧迫性。
2025-02-07 cs.AI cs.CR
Applying Pre-trained Multilingual BERT in Embeddings for Improved Malicious Prompt Injection Attacks Detection
University of West Florida(西佛罗里达大学);Tuskegee University(塔斯基吉大学);University of Calabria(卡拉布里亚大学)
本研究应用预训练多语言BERT嵌入改进恶意提示注入攻击检测,通过对比多种机器学习分类器,逻辑回归达到96.55%准确率,超越现有方法。
2024-09-20 cs.CL cs.CR
On Understanding, Identifying, and Mitigating Vulnerabilities in Agentic Large Language Models
Florida International University(佛罗里达国际大学);Middle Tennessee State University(中田纳西州立大学);New Jersey Institute of Technology(新泽西理工学院)
本研究针对智能体大语言模型安全开展系统文献综述,提出四层漏洞分类法,发现攻击研究多于防御研究、感知层漏洞研究占比偏高等现状,识别7个开放问题及架构耦合的核心不安全根源。
2026-08-12 cs.AI cs.CR
Multi-Agent Penetration Testing AI for the Web
University College London(伦敦大学学院)
本文提出多智能体 Web 渗透测试系统 MAPTA,通过 LLM 编排、工具执行与端到端漏洞验证,在 XBOW 基准和高星 GitHub 项目中低成本发现多类严重漏洞。
2025-08-28 cs.AI cs.CR
Invisible Injections: Exploiting Vision-Language Models Through Steganographic Prompt Embedding
该研究首次系统探究针对视觉语言模型的隐写提示注入攻击,提出多域嵌入框架,验证了主流VLM存在相关漏洞并给出防御方案,为多模态AI安全部署提供参考。
2025-07-30 cs.CR
No SQL, No Injection? Examining NoSQL Security
NoSQL数据存储系统由于其可扩展性和易用性而变得非常流行。本文探讨了NoSQL数据库安全措施的成熟度,解决了它们新的查询和访问机制。例如,新的查询格式的出现使得旧的SQL注入技术变得无关紧要,但是NoSQL数据库通常对注入免疫吗?在这里,我们提出了一些攻击NoSQL数据库的技术,如注入和CSRF。我们分析了这些漏洞的来源,并提出了减轻攻击的方法。我们发现,这个新的充满活力的技术领域缺乏安全措施和意识,多年来在传统的RDBMS SQL系统中开发。
2015-06-12 cs.CR
From ASR to ASP: Evaluating Prompt Attack Vulnerabilities Against Open-Source LLMs
LMU Munich(慕尼黑莱茵恩大学);RUB Bochum(波恩鲁姆大学);MCML;A*STAR(新加坡科技研究局)
提出攻击成功概率(ASP)指标,评估14个开源和3个闭源LLM对提示注入攻击的脆弱性,发现催眠攻击可达约90% ASP,忽略前缀攻击可突破所有开源模型。
2026-09-28 cs.CL cs.CR
A Formal Approach to Exploiting Multi-Stage Attacks based on File-System Vulnerabilities of Web Applications (Extended Version)
Web应用程序需要访问文件系统以执行许多不同的任务。因此,在分析Web应用程序的安全性时,安全分析人员应该考虑文件系统操作对整个应用程序安全性的影响。此外,分析应考虑文件系统漏洞如何与其他漏洞相互作用,导致攻击者侵入Web应用程序。在本文中,我们首先提出了一个文件系统漏洞的分类,然后,基于这种分类,我们提出了一个正式的方法,允许一个利用文件系统漏洞。我们给出了Web应用程序、数据库和文件系统的形式化表示,并展示了如何推理文件系统漏洞。我们还展示了如何结合文件系统漏洞和SQL注入漏洞来识别复杂的多阶段攻击。我们已经开发了一个自动工具,实现了我们的方法,我们通过讨论几个真实世界的案例研究,这是见证了我们的工具可以生成,并利用,复杂的攻击,据我们所知,没有其他国家的最先进的工具的Web应用程序的安全可以找到它的效率。
2017-05-10 cs.CR
What All the PHUZZ Is About: A Coverage-guided Fuzzer for Finding Vulnerabilities in PHP Web Applications
本文提出面向 PHP Web 应用的覆盖率引导模糊测试框架 PHUZZ,可检测 SQL 注入、XSS 等多类漏洞,并在 115 个流行 WordPress 插件中发现 20 余个安全问题和 2 个新 CVE。
2024-06-10 cs.CR
In-Browser LLM-Guided Fuzzing for Real-Time Prompt Injection Testing in Agentic AI Browsers
Avihay Cohen
针对智能体AI浏览器易受间接提示注入攻击的问题,提出一种完全在浏览器内运行、由LLM引导的模糊测试框架,可实时自动发现此类漏洞。
2025-10-15 cs.AI cs.CR
Evasion of IoT Malware Detection via Dummy Code Injection
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出通过伪代码注入逃避基于功率侧信道的恶意软件检测,揭示了现有检测框架的漏洞。
2026-02-09 cs.CR cs.LG
On the security of modern Single Sign-On Protocols: Second-Order Vulnerabilities in OpenID Connect
OAuth是Web授权的新事实标准。OAuth的一个重要限制是它是为授权而不是身份验证而设计的。因此,使用OAuth进行身份验证会导致严重的漏洞,如Zhou et. [44]和Chen et.等[9]。OpenID Connect是在OAuth之上创建的,通过提供联合身份管理和用户身份验证来填补这一空白。OpenID Connect于2014年2月标准化,但Google,Microsoft,AOL和PayPal等领先公司已经在其Web应用程序中使用它[1],[2],[3],[30]。在本文中,我们描述了OpenID Connect协议,并提供了第一次深入分析的关键功能之一:发现和动态注册扩展。我们提出了一类新的攻击OpenID连接,属于二阶漏洞的类别。这些攻击包括两个阶段:首先,注入有效载荷由合法应用程序存储。稍后,此有效载荷用于安全关键操作。我们的新攻击类别-称为恶意端点攻击-利用OpenID Connect扩展发现和动态注册。这些攻击会破坏用户身份验证,损害用户隐私,并启用服务器端请求伪造(SSRF),客户端代码注入和拒绝服务(DoS)。因此,当这些扩展以其目前的形式启用时,OpenID Connect协议的安全性无法得到保证。我们联系了OpenID Connect和OAuth规范的作者。他们承认我们的恶意端点攻击,并认识到需要改进规范[29]。我们目前正在讨论如何缓解现有的问…
2016-01-07 cs.CR
Physical and Software Based Fault Injection Attacks Against TEEs in Mobile Devices: A Systemisation of Knowledge
本文系统梳理了针对移动设备TEE的物理与软件故障注入攻击方法,重点分析EMFI等非侵入性技术的威胁与案例,并提出动态异常检测等对策以增强TEE韧性。
2024-11-22 cs.CR
Automatic Web Security Unit Testing: XSS Vulnerability Detection
将安全测试集成到软件开发人员的工作流程中,不仅可以节省单独安全测试的资源,还可以通过在开发周期的早期检测来降低修复安全漏洞的成本。我们提出了一种自动测试方法来检测一种常见的跨站点脚本(XSS)漏洞所造成的不受信任的数据的不正确编码。我们自动提取在Web应用程序中使用的编码函数来清理不可信的输入,然后通过自动生成XSS攻击字符串来评估其有效性。我们的评估表明,这种技术可以检测到0天的XSS漏洞,不能发现的静态分析工具。我们还将证明我们的方法可以有效地覆盖常见类型的XSS漏洞。这种方法可以推广到针对其他类型注入(如命令行注入)的输入验证测试。
2018-04-02 cs.CR
AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset
National Institute of Standards and Technology, Software and Systems Division(美国国家标准与技术研究院软件与系统 division);Université Grenoble Alpes, CNRS, LIG(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,LIG实验室)
本文提出AVIATOR,首个AI代理漏洞注入框架,通过协调AI代理、工具分析和迭代自我纠正,生成高保真漏洞数据,提升漏洞检测模型性能。
2026-10-27 cs.AI cs.CR
Agent Data Injection Attacks are Realistic Threats to AI Agents
Seoul National University(首尔国立大学);Largosoft;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
介绍智能体数据注入攻击(ADI)这一新型间接提示注入,其伪装可信数据注入恶意数据使智能体执行意外操作,研究发现现实智能体漏洞及ADI在多种模型和智能体设置中有效,揭示智能体安全关键差距。
2026-07-07 cs.AI cs.CR
Broken Quantum: A Systematic Formal Verification Study of Security Vulnerabilities Across the Open-Source Quantum Computing Simulator Ecosystem
QreativeLab
本文通过COBALT QAI工具对45个开源量子模拟框架进行形式化安全审计,发现547个安全漏洞,包括新型量子特定攻击向量QASM注入,并验证所有13种漏洞模式。
2026-04-14 cs.CR cs.SE quant-ph
Source Code Analysis to Remove Security Vulnerabilities in Java Socket Programs: A Case Study
本文通过对一个用Java开发的文件阅读器服务器套接字程序(面向连接的套接字)的源代码分析,阐述了5个重要的软件安全漏洞的识别、影响分析和消除方案,这些漏洞如果不被关注,可能会严重影响运行软件的服务器以及托管服务器的网络。本文研究的五个漏洞是:(1)资源注入,(2)路径操纵,(3)系统信息泄漏,(4)拒绝服务和(5)未释放资源漏洞。我们分析了这些漏洞出现在文件读取器服务器套接字程序中的原因,讨论了在程序中不加注意的影响,并提出了从程序中删除这些漏洞的解决方案。我们还分析了任何潜在的性能权衡(如代码大小的增加和功能的损失),可能会出现,同时将建议的解决方案上的服务器程序。所提出的解决方案本质上是非常通用的,并且可以被适当地修改以纠正以任何其他程序设计语言开发的软件中的任何这样的漏洞。我们使用Fortify源代码分析器对文件阅读器服务器程序进行源代码分析,该程序在Windows XP虚拟机上使用标准J2SE v.7开发工具包实现。
2013-02-06 cs.CR
Exposing Citation Vulnerabilities in Generative Engines
QueryLift Inc.(QueryLift公司);Keio University(庆应义塾大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文研究生成引擎中引用来源的投毒风险,通过分析引用来源的出版属性评估内容注入障碍,发现美国政治答案比日本更易受投毒攻击。
2026-03-02 cs.CL cs.CR cs.IR
Evaluation of Static Analysis on Web Applications
Web服务正在成为业务关键组件,通常部署有可能被恶意利用的关键软件错误。Web漏洞扫描器允许通过从攻击者的角度强调服务来检测Web服务中的安全漏洞。然而,研究和实践表明,不同的扫描程序在漏洞检测方面的表现是不同的。本文提出了一个定性的评估Web应用程序中发现的安全漏洞。一些著名的漏洞扫描器已被用于识别Web服务实现中的安全漏洞。已经观察到许多漏洞,这证实了许多服务是在没有进行适当的安全测试的情况下部署的。此外,在回顾和考虑了几篇文章后,检测到的漏洞的差异和观察到的大量误报突出了Web漏洞扫描器在检测Web服务中的安全漏洞方面的局限性。此外,这项工作将讨论的静态分析方法,发现安全漏洞的Web应用程序,并补充它与成熟的研究成果或解决方案。这些漏洞包括破坏的访问控制、跨站点脚本、SQL注入、缓冲区溢出、不受限制的文件上传、破坏的身份验证等。Web应用程序正在成为企业的关键任务组件,可能存在黑客可以恶意利用的多个软件漏洞。少数漏洞扫描器已被用于检测Web服务应用程序中的安全漏洞,并发现了许多漏洞,从而证实了许多在线应用程序在没有进行充分安全测试的情况下启动。
2022-12-13 cs.CR
VUDENC: Vulnerability Detection with Deep Learning on a Natural Codebase for Python
Humboldt-Universität zu Berlin(柏林洪堡大学);University of Paderborn(帕德博恩大学);University of Bern(伯尔尼大学)
识别潜在的易受攻击的代码对于提高我们软件系统的安全性非常重要。然而,软件漏洞的手动检测需要专业知识并且是耗时的,并且必须由自动化技术支持。目的:这种自动化漏洞检测技术应该实现高准确性,将开发人员直接指向易受攻击的代码片段,扩展到真实世界的软件,跨特定软件项目的边界进行概括,并且不需要或仅需要适度的设置或配置工作。方法:在本文中,我们将介绍VUDENC(Vulnerability Detection with深度学习on a Natural Codebase),这是一个基于深度学习的漏洞检测工具,可以自动从大型真实Python代码库中学习易受攻击代码的特征。VUDENC应用word 2 vec模型来识别语义相似的代码标记并提供矢量表示。然后,使用长短期记忆单元(LSTM)网络对易受攻击的代码令牌序列进行细粒度分类,突出显示源代码中可能包含漏洞的特定区域,并为其预测提供置信度。结果如下:为了评估VUDENC,我们使用了来自不同GitHub存储库的1,009个可修复性提交,这些存储库包含七种不同类型的漏洞(SQL注入,XSS,命令注入,XSRF,远程代码执行,路径泄露,Open重定向)用于培训。在实验评测中,VUDENC的召回率为78%-87%,准确率为82%-96%,F1评分为80%-90%。VUDENC的代码、漏洞的数据集和word 2 vec模型的Python语料库都可以复制。结论…
2022-01-20 cs.CR cs.LG cs.SE
Exploring Vulnerabilities and Protections in Large Language Models: A Survey
Zscaler, Inc.(奇安信公司)
本综述系统考察了大型语言模型在提示词攻击和对抗性攻击两大领域的安全漏洞,探讨了各类威胁的原理与影响,并提出了相应的防御策略与稳健框架,为构建能抵御复杂攻击的弹性AI系统提供了重要参考。
2024-06-01 cs.CL cs.CR cs.LG
Safeguarding Deliberation in Digital Democracy
IRIT(图卢兹计算机研究所);Université Toulouse Capitole(图卢兹第一大学);Toulouse School of Economics(图卢兹经济学院);Corvinus University of Budapest(布达佩斯考文纽斯大学);University of Manchester(曼彻斯特大学)
研究揭示了共识生成LLMs在数字民主中的提示注入漏洞,并提出鲁棒性方法以减少方向性失败。
2026-10-08 cs.CR cs.CY
Securing AI Agents Against Prompt Injection Attacks
本文提出了一种多层防御框架,通过评估RAG系统中的提示注入风险,将攻击成功率降低至8.7%,同时保持高任务性能。
2025-11-19 cs.AI cs.CR
Trust No AI: Prompt Injection Along The CIA Security Triad
WUNDERWUZZI, LLC(WUNDERWUZZI有限责任公司)
本文围绕CIA安全三要素,汇编提示注入攻击的真实案例与概念验证示例,揭示其对头部厂商生产级LLM系统的安全威胁及对AI和网络安全的持续风险。
2024-12-08 cs.AI cs.CR cs.LG
Logic layer Prompt Control Injection (LPCI): A Novel Security Vulnerability Class in Agentic Systems
Qorvex Consulting(Qorvex咨询公司);Roshan Consulting(Roshan咨询公司);OWASP Top 10 for LLMs(OWASP顶级LLM列表);NIST GenAI PWG(NIST生成AI工作组);Deloitte Enterprise Risk | Internal Audit | Technology GRC(德勤企业风险管理|内部审计|技术治理与合规);Reykjavik University(雷克雅未克大学);Nokia, Technology Center, Ulm, Germany(诺基亚技术中心,德国乌尔姆)
本文提出逻辑层提示控制注入(LPCI),一种针对智能体系统的新型安全漏洞,通过记忆或工具输出嵌入隐蔽载荷,绕过过滤器并跨会话触发未授权行为。
2025-08-06 cs.AI cs.CR cs.LG
Exploring Automated Vulnerability Identification in JavaScript Code Using Large Language Models
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
本研究实证评估大型语言模型在JavaScript代码漏洞识别中的效果,发现微调后准确率从29%提升至60%,优于传统SAST工具,可作补充手段。
2026-09-15 cs.AI cs.CR
Jailbreaking and Mitigation of Vulnerabilities in Large Language Models
Hunan University Changsha, PRC;Georgia Institute of Technology Atlanta, USA;Kyoto University Kyoto, Japan;Purdue University West Lafayette, USA;National Taiwan Normal University Taipei, ROC;University of Liverpool Suzhou, PRC;Hong Kong University of Science;University of Hawaii Honolulu, USA;The University of Texas at Dallas Dallas, USA;University of Wisconsin-Madison Madison, USA;Emory University Atlanta, USA;College of William \& Mary Williamsburg, USA
本文综述了大语言模型在提示注入和越狱攻击下的漏洞,分类攻击方法并评估防御策略,指出研究空白与未来方向。
2026-05-27 cs.AI cs.CR cs.LG
You shall not pass: Mitigating SQL Injection Attacks on Legacy Web Applications
SQL注入(SQLi)攻击对Web应用程序的安全性构成了重大威胁。现有的方法不支持面向对象的编程,这使得这些方法无法保护诸如WordPress、Joomla或Drupal等真实世界的Web应用程序免受SQLi攻击。我们提出了一种新的混合静态-动态分析的PHP Web应用程序,限制每个PHP功能访问数据库。我们的工具SQLBlock将Web应用程序中易受攻击的PHP函数的攻击面减少到一组查询描述符,这些描述符展示了PHP函数的良性功能。我们实现了SQLBlock作为MySQL和PHP的插件。我们的方法不需要对Web应用程序进行任何修改。我们评估了Wordpress,Joomla,Drupal,Magento及其插件中的11个SQLi漏洞。我们证明了SQLBlock成功地阻止了所有11个SQLi漏洞,性能开销可以忽略不计(即,在高负载的Web服务器上最多为3%)
2020-07-12 cs.CR
Java Components Vulnerabilities - An Experimental Classification Targeted at the OSGi Platform
OSGi平台在两个不同的应用领域发现了越来越多的兴趣:嵌入式系统和应用服务器。然而,该平台的安全属性几乎没有研究,这可能会阻碍其在生产系统中的使用。基于OSGi的应用程序的动态方面(可以在运行时扩展)使它们容易受到恶意代码注入的攻击,这一点尤为重要。因此,我们对OSGi平台进行了系统的审计,以便构建一个漏洞目录,该目录旨在引用源于核心规范的OSGi漏洞,以及与Java语言使用相关的行为。不考虑标准服务。为了支持这种审计,定义了一个半正式的漏洞模式,它可以唯一地描述每个漏洞的基本属性,在模式中包含详细描述,引用已知的安全保护,并跟踪利用漏洞的概念验证OSGi捆绑包的实现状态。在分析目录的基础上,建立了一个健壮的OSGi平台,并提出了改进OSGi规范的建议。
2007-07-27 cs.CR cs.OS