Ensembling Large Language Models for Code Vulnerability Detection: An Empirical Evaluation
Shandong Normal University(山东师范大学);College of AI, Tsinghua University(清华大学人工智能学院);Huazhong University of Science and Technology(华中科技大学);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);Chongqing University(重庆大学);Peking University(北京大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本研究探索集成学习提升大型语言模型代码漏洞检测性能,评估了五种LLM在三大数据集上的三种策略,并提出动态门控堆叠(DGS)变体,实验证明集成方法显著提升检测效果,DGS在类别不平衡和多分类任务中表现更优。
2025-09-18 cs.SE
M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection
本文提出M2CVD方法,通过LLMs与代码模型协作增强漏洞语义描述,提升代码漏洞检测准确性,并在真实数据集上显著优于基线。
2024-07-19 cs.SE
An Empirical Study of Vulnerability Handling Times in CPython
本研究通过回归分析发现,CPython漏洞修复时间主要由报告者身份决定,严重性、概念验证代码、提交、评论和引用等因素均无解释力,从而增进了对Python生态安全的理解。
2025-05-25 cs.CR cs.SE
Conflicting Scores, Confusing Signals: An Empirical Study of Vulnerability Scoring Systems
本文首次对CVSS、SSVC、EPSS和可利用性指数四种漏洞评分系统进行大规模实证比较,基于600个真实漏洞揭示其在优先级排序和风险捕捉上的显著差异,强调需要更透明一致的漏洞评估。
2025-08-19 cs.CR cs.SE
Do I really need all this work to find vulnerabilities? An empirical case study comparing vulnerability detection techniques on a Java application
应用漏洞检测技术是使用软件项目有限资源的许多任务之一。目的:本研究的目标是通过实证研究的效率和有效性的四种技术对基于Java的Web应用程序的使用软件漏洞检测技术,以帮助管理人员和其他决策者作出明智的选择。实验方法:我们将四种不同类别的漏洞检测技术\textendash-系统性手动渗透测试(SMPT)、探索性手动渗透测试(EMPT)、动态应用程序安全测试(DAST)和静态应用程序安全测试(SAST)\textendash应用于开源病历系统。结果:我们使用SAST发现了最多的漏洞。然而,EMPT发现了更严重的漏洞。对于每种技术,我们都发现了使用其他技术没有发现的独特漏洞。手动技术(EMPT、SMPT)的效率在每小时漏洞(VpH)方面与自动技术(DAST、SAST)的效率相当或更好。结论:从业者应该选择的漏洞检测技术可能会因项目的目标和可用资源而异。如果组织的目标是找到项目中的“所有”漏洞,那么他们需要在资源允许的范围内使用尽可能多的技术。
2022-08-02 cs.CR cs.SE
Why Not Fix It Once and for All? An Empirical Study of Multiple Patches for Vulnerability Fixes in Open-Source Software
University of Texas at Dallas(达拉斯大学)
研究开源软件多补丁漏洞修复,通过人工检查1646条记录开发分类法,比较多补丁与单补丁修复特征及类别间特征变化,评估检测方法,为多补丁修复研究提供新见解和基础。
2026-07-16 cs.CR cs.SE
Benchmarking Software Vulnerability Detection Techniques: A Survey
软件漏洞可能会造成严重的后果,这就是为什么已经提出了许多技术来防御它们。其中,漏洞检测技术是一个主要的重点领域。然而,缺乏一个全面的方法来衡量这些建议的技术。在本文中,我们提出的第一个调查,全面调查和总结的现状软件漏洞检测基准。我们回顾了目前的文献基准漏洞检测,包括基准方法的技术提出的论文和实证研究。我们还分别讨论了传统和基于深度学习的漏洞检测技术的基准测试方法。我们的调查分析了基准测试软件漏洞检测技术的挑战和所涉及的困难。我们总结了基准测试软件漏洞检测技术的挑战,并描述了解决这些挑战的可能解决方案。
2023-03-29 cs.SE
On Categorizing Open Source Software Security Vulnerability Reporting Mechanisms on GitHub
本研究通过分析GitHub上679个开源项目,发现电子邮件是主要漏洞报告渠道、无SECURITY.md文件的项目安全性更低,为改进开源项目安全策略提供了建议。
2025-02-12 cs.SE
Shallow or Deep? An Empirical Study on Detecting Vulnerabilities using Deep Learning
深度学习(DL)技术在软件工程研究界正在兴起。越来越多的方法已经在DL模型之上被开发出来,这也是由于可用于训练这些模型的软件相关数据的空前数量。深度学习在软件工程领域的一个最新应用是自动检测软件漏洞。虽然已经开发了几种DL模型来解决这个问题,但关于它们的实际有效性仍然存在有限的经验证据,特别是当与浅层机器学习技术相比时。在本文中,我们通过使用三个漏洞数据集和五个不同的源代码表示(即,将代码提供给分类器以评估其是否易受攻击的格式)来比较两个广泛使用的基于DL的模型和一个浅机器学习模型在(i)将代码函数分类为易受攻击或非易受攻击(即,二进制分类),以及(ii)基于代码函数所包含的特定类型的脆弱性(或者“干净”,如果不存在脆弱性)来对代码函数进行分类。作为基线,我们在研究中使用了Google Cloud Platform提供的AutoML实用程序。我们的研究结果表明,实验模型仍然远远不能确保可靠的漏洞检测,并且浅学习分类器代表了最新的基于DL的模型的竞争基准。
2021-03-22 cs.SE
How Do Solidity Versions Affect Vulnerability Detection Tools? An Empirical Study
University of Salerno(萨莱诺大学);University of Luxembourg(卢森堡大学);University of Verona(维罗纳大学)
本文通过实证研究探讨 Solidity 版本演进对智能合约漏洞检测工具在 pragma 指令兼容性、检测有效性和执行时间三个方面的影响,并利用 SmartBugs 框架对大量真实合约进行系统分析。
2026-10-30 cs.SE
VFFINDER: A Graph-based Approach for Automated Silent Vulnerability-Fix Identification
针对开源项目静默漏洞修复难以识别的问题,提出基于图神经网络VFFINDER方法,利用AST结构特征区分修复与非修复提交,在36K+提交数据集上显著提升精确率、召回率和F1,并加速识别过程。
2023-09-05 cs.SE
Evaluating Large Language Models for Multilingual Vulnerability Detection at Dual Granularities
Tianjin University(天津大学);Kyushu University(九州大学);The University of Melbourne(墨尔本大学);Monash University(蒙纳士大学)
本研究评估了大型语言模型在多语言漏洞检测中的性能,发现GPT-4o在函数级和行级检测中表现优异,优于其他模型。
2026-03-10 cs.SE
Microservice Vulnerability Analysis: A Literature Review with Empirical Insights
该研究综述62篇文献并识别126个微服务安全漏洞,提出按架构特征划分的漏洞分类法,且用三种工具扫描四个基准应用加以验证和映射分析。
2024-07-31 cs.CR cs.SE
Guiding AI to Fix Its Own Flaws: An Empirical Study on LLM-Driven Secure Code Generation
George Mason University(乔治梅森大学)
本研究针对大语言模型生成不安全代码的问题,检验自生成漏洞提示的作用,发现指导性提示可预防漏洞,原始检测反馈能提升修复效果,带解释的反馈在部分基准中更优。
2026-09-07 cs.SE
Vulnerability Detection is Just the Beginning
漏洞检测在安全软件开发中起着关键作用。有许多不同的漏洞检测工具和技术可供选择,但有关使用哪些漏洞检测技术以及何时使用的信息不足。本研究的目的是通过对每种技术的效率和有效性的实证分析,帮助管理者和其他决策者在软件项目中对使用不同的软件漏洞检测技术做出明智的选择。我们将在两个项目中检查用于查找漏洞的漏洞检测技术、发现的漏洞类型、漏洞的可利用性以及修复漏洞所需的工作量之间的关系,我们将确保所有发现的漏洞均已修复。然后,我们将研究如何在更广泛的开源软件中看到这些关系,其中从业者可能会使用不同的漏洞检测技术,或者可能不会修复由于资源限制而发现的所有漏洞。
2021-03-09 cs.CR cs.SE
An Empirical Study of the Imbalance Issue in Software Vulnerability Detection
ITIS, Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所);SnT, University of Luxembourg(卢森堡大学)
本文通过实证研究发现,软件漏洞检测中不平衡问题影响模型性能,聚焦损失、类平衡损失和随机过采样在不同指标上各有优势,但无一能全面优化。
2026-02-12 cs.AI cs.SE
An Empirical Study of Vulnerability Detection using Federated Learning
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学)
本文提出VulFL评估框架,系统研究联邦学习在不同CWE漏洞检测任务及数据异构场景下的性能,证明其优于独立训练并分析配置策略影响,为设计高性能联邦漏洞检测方案提供指导。
2024-11-25 cs.AI cs.CR cs.SE
Silent Vulnerability-fixing Commit Identification Based on Graph Neural Networks
提出VFFINDER,一种基于图神经网络的自动化静默漏洞修复识别方法,通过带注释的AST捕获代码结构变化,在精确率、召回率和F1上显著优于现有方法并加速识别过程。
2023-09-15 cs.SE
Augmenting Software Bills of Materials with Software Vulnerability Description: A Preliminary Study on GitHub
本文针对SBOMs缺乏软件漏洞信息的问题,提出用项目依赖项暴露的CVE信息增强40个开源项目的SBOMs,并通过提交pull requests和问卷调查进行评估,反馈表明该方法具有实用价值。
2025-05-27 cs.SE
On the Effect of Transitivity and Granularity on Vulnerability Propagation in the Maven Ecosystem
重用软件库是现代软件工程的支柱。到2022年,平均每个Java应用程序依赖于40个第三方库。依赖这些库会使项目暴露于潜在的漏洞,并可能使应用程序及其用户处于危险之中。不幸的是,对软件生态系统的研究表明,受此类漏洞影响的项目数量正在增加。以前的调查通常会根据依赖关系级别来推断依赖关系,但我们认为这会大大增加受影响项目的实际数量。在这项工作中,我们研究了传递性和粒度对Maven生态系统中漏洞传播的影响。在我们的研究方法论中,我们收集了3 M最新Maven软件包的大型数据集。我们获得了这个数据集的完整的可传递依赖集,构建了整个程序调用图,并进行了可达性分析。这种方法允许我们识别实际上受到使用易受攻击的依赖关系影响的Maven包。我们的实证结果表明:(1)当且仅当所有的传递依赖都被考虑时,我们的数据集中大约1/3的包被识别为脆弱的。(2)只有不到1%的软件包在其依赖项中具有到易受攻击代码的可达调用路径,这远远低于基于依赖项的简单分析。(3)限制所解析的依赖关系树的深度可能是减少昂贵的细粒度(脆弱性)分析的计算时间的有用技术。我们讨论了我们的工作的影响,并为研究人员和从业人员提供可操作的见解。
2023-01-19 cs.SE
A Ground-Truth-Based Evaluation of Vulnerability Detection Across Multiple Ecosystems
University of Applied Sciences Munich(慕尼黑应用科学大学);Findustrial
本文基于真实数据集评估多生态系统中漏洞检测工具的差异,展示了透明数据集构建对可重复安全研究的重要性。
2026-04-22 cs.CR cs.SE
Explaining the Contributing Factors for Vulnerability Detection in Machine Learning
Concordia University(康考迪亚大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Hawaii(夏威夷大学)
本文研究不同漏洞特征表示与机器学习模型组合对17个项目漏洞检测准确性的影响,发现词袋嵌入结合随机森林的基线模型可稳定提升约4%准确率,并揭示了漏洞签名跨项目迁移的局限性。
2024-06-05 cs.AI cs.SE
Understanding Binary Code Similarity for Real-World Vulnerability Detection: A Large-Scale Empirical Study
Institute of Information Engineering, CAS(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Hangzhou Dianzi University(杭州电子科技大学);Shandong University(山东大学)
通过分析6万固件镜像,研究影响二进制代码相似性检测(BCSD)性能的关键因素,提出构建感知查询策略和TPL感知两阶段搜索方法,显著提升漏洞检测准确率。
2026-06-27 cs.CR cs.SE
An Empirical Study of Deep Learning Models for Vulnerability Detection
Iowa State University(爱荷华州立大学)
代码的深度学习(DL)模型最近在漏洞检测方面取得了巨大进展。在某些情况下,基于DL的模型优于静态分析工具。虽然已经提出了许多伟大的模型,但我们还没有很好地理解这些模型。这限制了模型鲁棒性的进一步提高,调试和部署的漏洞检测。在本文中,我们在两个广泛使用的漏洞检测数据集Devign和MSR上调查和复制了9个最先进的(SOTA)深度学习模型。我们研究了三个方面的6个研究问题,即模型能力,训练数据和模型解释。我们通过实验证明了模型不同运行之间的变异性以及不同模型输出之间的低一致性。我们研究了针对特定类型的漏洞训练的模型,并与同时针对所有漏洞训练的模型进行了比较。我们探讨了DL可能认为“难以”处理的程序类型。我们研究了训练数据大小和训练数据组成与模型性能的关系。最后,我们研究了模型解释,并分析了模型用于预测的重要特征。我们相信,我们的研究结果可以帮助更好地理解模型的结果,提供指导准备训练数据,并提高模型的鲁棒性。我们所有的数据集、代码和结果都可以在https://doi.org/10.6084/m9.figshare.20791240上找到。
2023-02-12 cs.CR cs.LG cs.SE
Representation Matters: An Empirical Study of Program Representations for LLM Vulnerability Reasoning
University at Buffalo, SUNY(纽约州立大学布法罗分校)
通过 RepBench 基准比较原始源码与基于静态分析的程序表示,发现 AST+PDG 组合准确率达 83.2%,远超原始源码的 53.5%,表明精心选择的结构化表示能提供更优的准确率-开销权衡。
2026-06-25 cs.CR cs.SE
Large-Scale Empirical Analysis of Continuous Fuzzing: Insights from 1 Million Fuzzing Sessions
Osaka University(大阪大学);Kyushu University(九州大学);Nara Women’s University(奈良女子大学)
针对OSS-Fuzz中878个项目约112万次会话的实证研究表明,持续模糊测试早期可发现大量既有缺陷,且覆盖率增长有助于后续漏洞检测。
2025-10-18 cs.SE
Empirical Analysis of Vulnerabilities Life Cycle in Golang Ecosystem
本文实证分析 Golang 生态系统的漏洞生命周期,构建多源数据融合框架量化补丁滞后,发现 66.10% 的模块受漏洞影响,并揭示两类修复传播滞后及其成因,提出及时发布和索引补丁版本以提升生态安全。
2024-01-17 cs.SE
An Empirical Evaluation of LLM-Based Approaches for Code Vulnerability Detection: RAG, SFT, and Dual-Agent Systems
Department of Electrical, Computer, and Software Engineering(电气、计算机与软件工程系);Ontario Tech University(安大略技术大学)
本文通过实证评估,比较了RAG、SFT和双智能体系统在代码漏洞检测中的有效性,发现RAG在准确率和F1分数上表现最佳,SFT和双智能体系统也展示了良好的性能,证明了领域专业知识对LLM在实际漏洞检测中的重要性。
2026-01-01 cs.AI cs.SE
FaultLine: Automated Proof-of-Vulnerability Generation Using LLM Agents
FaultLine通过分层推理驱动的LLM智能体工作流,自动追踪漏洞数据流并生成PoV测试,在100个多语言漏洞数据集上相比CodeAct 2.1实现77%的相对改进。
2025-07-21 cs.SE
Knowdit: Agentic Smart Contract Vulnerability Detection with Auditing Knowledge Summarization
Nanyang Technological University(南洋理工大学);National Superior College for Engineers, Beihang University(北京航空航天大学高等工程学院);Bitslab;The Chinese University of Hong Kong(香港中文大学)
Knowdit利用审计知识摘要和多智能体框架,通过迭代循环检测智能合约漏洞,有效识别高和中严重性漏洞,优于现有基线方法。
2026-07-02 cs.AI cs.CR cs.SE
Are We Learning the Right Features? A Framework for Evaluating DL-Based Software Vulnerability Detection Solutions
University of Southern California(南加州大学)
本文提出了一种评估基于深度学习的软件漏洞检测解决方案的框架,通过设计特征保持和消除扰动来衡量虚假和漏洞特征对预测的影响。
2025-05-23 cs.SE
The Impact of a Major Security Event on an Open Source Project: The Case of OpenSSL
Heartbleed漏洞在2014年引起了OpenSSL的国际关注。这个几乎奄奄一息的项目是公共Web服务器和超过10亿台移动设备的关键安全组件。这个漏洞导致了对OpenSSL的新投资。目的:本研究的目标是确定Heartbleed漏洞如何改变OpenSSL的软件演变。我们研究漏洞、代码质量、项目活动和软件工程实践的变化。方法:我们使用混合方法,从网站收集多种类型的定量数据和定性数据,并采访了一位致力于Heartbleed后更改的开发人员。我们使用回归不连续性分析来确定Heartbleed导致的代码和项目活动指标的水平和斜率变化。结果:OpenSSL项目在Heartbleed之后对代码质量和安全性做出了巨大的改进。截至2016年底,OpenSSL每月提交数量增加了两倍,发现并修复了91个漏洞,代码复杂性显著降低,并获得了CII最佳实践徽章,证明其使用了良好的开源开发实践。结论:OpenSSL项目提供了一个开源项目在安全事件发生后如何适应和改进的模型。OpenSSL的发展表明,已知漏洞的数量并不是项目安全性的有用指标。少量的漏洞可能只是表明项目没有花费太多的精力来寻找漏洞。这项研究表明,项目活动和CII徽章最佳实践可能是比漏洞计数更好的代码质量和安全性指标。
2020-05-28 cs.CR cs.SE
Vul4Py: Benchmarking Automated Vulnerability Repair in Python with Paired Exploit and Functional Oracles
Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学);University of New South Wales(新南威尔士大学)
本研究提出Vul4Py基准测试,含100个Python真实漏洞及配对预言机,对比三类AVR方法,发现智能体OpenHands修复漏洞数远超同类方法,配对预言机保障结果可信。
2026-08-04 cs.SE
Revelio: Cost-Efficient Agentic Memory Safety Vulnerability Detection For Repository-Scale Codebases
University of California, Berkeley(加州大学伯克利分校)
提出Revelio框架,通过生成可执行漏洞证明并用确定性消毒器验证,结合低成本LLM和轻量静态分析,在仓库级代码库中高效发现内存安全漏洞,7个项目中19个新漏洞,成本约300美元。
2026-06-23 cs.AI cs.CR cs.MA
Code Vulnerability Detection: A Comparative Analysis of Emerging Large Language Models
针对软件开发依赖开源项目引发的漏洞问题,本文对比了Llama、CodeGemma等新兴LLM与BERT、GPT-3等现有模型的代码漏洞检测性能,发现CodeGemma的F1分数和召回率在新兴模型中最高,为提升软件安全实践提供参考。
2024-09-16 cs.SE
Investigating Vulnerability Disclosures in Open-Source Software Using Bug Bounty Reports and Security Advisories
本文对3,798条GitHub安全公告和4,033份OSS漏洞悬赏报告进行实证研究,首次明确OSS漏洞从安全公告和悬赏报告传播至全球漏洞数据库的过程,揭示了CVE分配的遗漏与延迟问题,并提出改善建议。
2025-01-29 cs.CR cs.SE
Predicting Likely-Vulnerable Code Changes: Machine Learning-based Vulnerability Protections for Android Open Source Project
Google(谷歌)
本文提出一个基于机器学习的漏洞预防框架,在代码提交前自动触发安全审查,通过分类器识别高风险变更,在AOSP数据集上实现约80%召回率、98%精确率和1.7%误报率。
2024-05-26 cs.AI cs.CR cs.CY
An Empirical Study of Security-Policy Related Issues in Open Source Projects
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Osaka(大阪大学)
本研究通过分析 711 个问题及比较六类社区健康文件,发现安全文件相关请求多为添加文件,且含链接的报告关闭更快,为改进安全报告策略提供实证依据。
2025-10-16 cs.SE
QLPro: Automated Code Vulnerability Discovery via LLM and Static Code Analysis Integration
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
QLPro框架通过集成LLM与静态分析工具提升开源项目漏洞检测能力,在JavaTest数据集上比CodeQL多检出17个已知漏洞,并新发现6个未知漏洞(含2个0-day)。
2025-07-19 cs.AI cs.CR cs.SE
Deep Learning based Vulnerability Detection: Are We There Yet?
软件漏洞的自动检测是软件安全中的一个基本问题。现有的程序分析技术遭受高的假阳性或假阴性。深度学习(DL)的最新进展导致人们对将DL应用于自动漏洞检测的兴趣激增。最近的几项研究表明,在检测漏洞方面,准确率高达95%。在本文中,我们问,“如何以及国家的最先进的DL为基础的技术在现实世界中的脆弱性预测的情况下执行?".令我们惊讶的是,我们发现他们的表现下降了50%以上。对导致这种急剧性能下降的原因的系统调查揭示了现有的基于DL的脆弱性预测方法受到训练数据的挑战(例如,数据重复,脆弱类别的分布不切实际等)并且利用模型选择(例如,简单的基于令牌的模型)。因此,这些方法通常不会学习与漏洞的实际原因相关的特征。相反,它们从数据集中学习不相关的工件(例如,具体的变量/函数名称等)。利用这些实证研究结果,我们展示了一个更有原则的方法,数据汇集和模型设计,基于现实的设置脆弱性预测,可以导致更好的解决方案。由此产生的工具的性能显着优于研究的基线:与文献中表现最好的模型相比,准确率提高了33.57%,召回率提高了128.38%。总体而言,本文阐述了现有的基于DL的漏洞预测系统的潜在问题,并绘制了未来的基于DL的漏洞预测研究的路线图。本着这种精神,我们提供了所有支持我们结果的工件:https://git.io/Jf6IA。
2020-09-03 cs.SE
TPSQLi: Test Prioritization for SQL Injection Vulnerability Detection in Web Applications
National Taiwan University(台湾大学);CyberLink Corporation(网路家庭资讯事业股份有限公司);National Yang Ming Chiao Tung University(国立阳明交通大学);National Dong Hwa University(国立东华大学)
本文提出了一种针对Web应用SQL注入漏洞的新型测试优先级排序方法TPSQLi,通过利用先前的测试结果动态调整后续测试的防御强度向量,优化测试工作流程,从而有效提升了漏洞检测与缓解的效率。
2025-09-13 cs.CR cs.SE
Vulnerability Detection Through an Adversarial Fuzzing Algorithm
针对模糊测试耗时、计算成本高,小型开发者难以开展全面安全测试的问题,本研究在现有进化算法基础上加入对抗方法生成测试用例,提升了模糊测试的效率,可在个人设备上运行并发现更多漏洞。
2023-07-21 cs.SE
Learning to Triage Vulnerability Reports from Program Analysis: An Empirical Study in Node.js
Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services(亚马逊网络服务)
本文针对Node.js,基于程序分析工具数据训练机器学习模型,实现漏洞报告优先级排序,最优模型在召回90%可利用报告时可排除75%良性报告,具备实用潜力。
2026-08-11 cs.CR cs.LG cs.SE
Answer Is Cheap, Show Me the Evidence! Augmenting Automated Vulnerability Assessment with Evidence
Zhejiang University(浙江大学);Huawei(华为)
研究针对现有自动化漏洞评估方法缺乏证据支持的问题,提出EAVA框架,通过LLM智能体和两阶段训练流程实现更优性能,且提供的证据对安全专家实用。
2026-08-27 cs.SE
On the Evaluation of Large Language Models in Multilingual Vulnerability Repair
本研究通过七种编程语言的大规模实证,评估了LLM在多语言漏洞修复中的性能,发现指令微调的GPT-4o表现优异,尤其擅长修复独特和危险漏洞,并展现了跨语言泛化能力。
2025-08-05 cs.SE
VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection
VulAgent是一个基于假设验证的多智能体漏洞检测框架,通过多视角检测流水线精确定位敏感代码并构建触发路径引导LLM验证,显著提升了漏洞检测准确率并大幅降低误报。
2025-09-15 cs.SE
Leveraging Large Language Models for Command Injection Vulnerability Analysis in Python: An Empirical Study on Popular Open-Source Projects
Louisiana State University(路易斯安那州立大学)
本实证研究针对Python命令注入漏洞检测问题,将GPT-4等大语言模型应用于6个星标超5万的知名开源项目,评估其检测的准确率、效率与 workflow 适配性,对比不同LLM工具的适用性,为利用LLM提升软件安全提供指导。
2025-05-21 cs.AI cs.CR cs.SE
Advanced Vulnerability Scanning for Open Source Software: Detection and Mitigation of Log4j Vulnerabilities
University of Montana(蒙大拿大学)
本研究开发了高级Log4j扫描工具,通过自动化扫描和持续监控,提高漏洞检测准确性,减少误报,提升开源软件安全性。
2026-01-01 cs.SE
An Empirical Study of Blockchain System Vulnerabilities: Modules, Types, and Patterns
区块链作为一种分布式账本技术,变得越来越受欢迎,特别是在实现有价值的加密货币和智能合约方面。然而,区块链软件系统不可避免地存在许多bug。虽然智能合约中的漏洞已经被广泛研究,但底层区块链系统的安全漏洞却很少被探索。在本文中,我们从四个代表性的区块链,比特币,以太坊,门罗币和恒星,对区块链的系统漏洞进行了实证研究。具体来说,我们首先设计了一个系统化的过滤过程,从GitHub上的34,245个问题/PR(拉取请求)和85,164个提交中有效地识别出1,037个漏洞及其2,317个补丁。因此,我们构建了第一个区块链漏洞数据集。然后,我们在三个级别上对该数据集进行独特的分析,包括(i)通过识别和关联跨项目的模块路径来进行文件级脆弱模块分类,(ii)通过自然语言处理和文本级脆弱性类型聚类基于相似性的句子聚类,及(iii)代码─通过生成和聚类捕获补丁代码的语法和语义信息的代码更改签名,片段我们的分析揭示了三个关键发现:(i)一些区块链模块比其他模块更容易受到影响;值得注意的是,与共识,钱包和网络相关的每个模块都有200多个问题;(ii)大约70%的区块链漏洞属于传统类型,但我们也确定了四种特定于区块链的新类型;(iii)我们获得了21个特定于区块链的漏洞模式,这些模式捕获了独特的区块链属性和状态,并证明它们可以用于检测其他流行区块链中的类似漏洞,如Dogecoin,Bitcoin SV和Zca…
2023-02-21 cs.CR cs.SE
VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
University of Pittsburgh(匹兹堡大学);Purdue University(普渡大学);Amazon Web Services(亚马逊网络服务)
本研究构建了多语言代码漏洞检测基准VICBench,包含100个CVE对应的VIC,规模显著大于现有数据集,经评估现有漏洞检测算法性能有限,该基准可用于可靠评估漏洞检测方法。
2026-08-13 cs.AI cs.CL cs.CR
Empirical Review of Smart Contract and DeFi Security: Vulnerability Detection and Automated Repair
本文实证综述了智能合约与DeFi安全领域,将攻击归纳为六类,评估了42种漏洞检测技术和8种自动修复工具,并指出了未来需解决的开放问题。
2023-09-06 cs.CR cs.SE
Software Vulnerability Prediction in Low-Resource Languages: An Empirical Study of CodeBERT and ChatGPT
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
针对新兴语言软件漏洞数据稀缺问题,本研究实证评估了CodeBERT在Kotlin、Swift和Rust上的预测性能下降现象,发现数据采样无效而ChatGPT能显著提升预测效果。
2024-04-26 cs.CR cs.LG cs.SE
Vulnerability Detection with Fine-grained Interpretations
尽管基于机器学习(ML)和深度学习(DL)的漏洞检测器(VD)取得了成功,但它们仅限于提供关于给定代码是否易受攻击的决策,而没有关于代码的哪一部分与检测到的漏洞相关的细节。我们提出了IVDetect一个可解释的漏洞检测器,其理念是使用人工智能(AI)来检测漏洞,同时使用智能助手(IA)通过提供VD解释易受攻击的语句。对于漏洞检测,我们通过数据和控制依赖分别考虑易受攻击的语句及其周围的上下文。这使得我们的模型更好地区分易受攻击的语句,而不是像现有方法那样使用易受攻击的代码和上下文代码的混合。除了粗粒度的漏洞检测结果外,我们还利用可解释的AI为用户提供细粒度的解释,包括程序依赖图(PDG)中的子图,以及与检测到的漏洞相关的关键语句。我们对漏洞数据库的实证评估表明,IVDetect在nDCG和MAP排名前10位的得分上比现有的基于DL的方法高出43%-84%和105%-255%。IVDetect通过其解释正确地指出了与漏洞相关的易受攻击的陈述-在67%的情况下排名前5位。它比基线解释模型的准确性提高了12.3%-400%和9%-400%。
2021-06-19 cs.CR cs.SE
Data-Driven Vulnerability Detection and Repair in Java Code
Java平台提供了各种API来促进安全编码。然而,对于缺乏网络安全培训的开发人员来说,正确使用安全API通常具有挑战性。先前的工作表明,许多开发人员滥用安全API;这种滥用可能会将漏洞引入软件,使安全保护无效,并向黑客提供安全漏洞。为了消除这种API相关的漏洞,本文提出了SEADER -我们的新方法,检测和修复安全API滥用。给定一个示例性的不安全代码片段及其安全对应代码片段,SEADER会比较这些代码片段并进行数据依赖性分析,以推断安全API滥用模板和相应的修复操作。根据推断的信息,给定一个程序,SEADER执行过程间静态分析,以搜索任何安全API滥用,并针对这些漏洞提出定制的修复建议。为了评估SEADER,我们将其应用于25个<不安全,安全>代码对,SEADER成功地推断出18个独特的API误用模板和相关修复。通过这些漏洞修复模式,我们进一步将SEADER应用于10个开源项目,这些项目总共包含32个已知漏洞。我们的实验表明,SEADER检测漏洞的准确率为100%,召回率为84%,准确率为91%。此外,我们将SEADER应用于100个Apache开源项目,并检测到988个漏洞; SEADER始终正确地定制修复建议。根据SEADER的输出,我们提交了60个pull requests。截至目前,已有18个项目的开发商对SEADER的建议给予了积极的反馈。我们的研究结果表明,SEADE…
2021-02-13 cs.CR cs.SE