Machine vs Machine: Using AI to Tackle Generative AI Threats in Assessment
University of Exeter(埃克塞特大学);University of Salford(索尔福德大学)
本文提出机器对机器的双重策略理论框架,结合静态分析与动态测试来评估高等教育评估在生成式人工智能面前的脆弱性,并给出脆弱性评分理论。
2025-05-31 cs.AI cs.CY
How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence
The University of Queensland(昆士兰大学)
本研究针对数字化评估中生成式AI带来的学术诚信等挑战,提出MAGE框架以评估行业基准模型ChatGPT4的批判性思维能力,帮助教育者判定评估内容的AI脆弱性,为评估设计提供依据。
2024-06-20 cs.AI
Cyber Threat Detection and Vulnerability Assessment System using Generative AI and Large Language Model
Persistent Systems(Persistent Systems公司);Dayananda Sagar Academy of Technology and Management(达亚南达·萨加尔技术与管理学院);Infinity Tech Group(Infinity科技集团)
本文提出基于RoBERTa模型的网络威胁检测系统,通过加密数据和生成令牌提升检测准确率,优于传统BERT模型。
2026-01-08 cs.AI cs.CR cs.LG
POLAR: Automating Cyber Threat Prioritization through LLM-Powered Assessment
该研究聚焦大语言模型在网络威胁情报应用中的内在脆弱性,提出融合分层、自回归细化与人在回路监督的分类方法分析失败案例,揭示三类核心脆弱性并给出系统设计的可行见解。
2025-10-02 cs.AI cs.CR
EvalSVA: Multi-Agent Evaluators for Next-Gen Software Vulnerability Assessment
Harbin Institute of Technology(哈尔滨工业大学);Fudan University(复旦大学);Peng Cheng Laboratory(鹏城实验室);Northwestern Polytechnical University(西北工业大学)
EvalSVA提出多智能体评估器框架,利用多个大语言模型协作,在有限数据下提升软件漏洞评估的准确率和F1分数,并构建多语言数据集以支持评估。
2024-12-11 cs.AI cs.SE
A Mixture of Linear Corrections Generates Secure Code
Carnegie Mellon University(卡内基梅隆大学);Colorado State University(科罗拉多州立大学);Monash University(墨尔本大学)
本研究通过表示工程发现LLMs内部能区分安全与漏洞代码,并据此开发了推理时引导技术MoC,通过调节token生成概率有效提升代码安全性且不损害功能。
2025-07-13 cs.AI cs.CR
Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment
Northern Arizona University(北亚利桑那大学);Department of Software Science(软件科学系);Tallinn University of Technology(塔林技术大学)
本文提出了一种系统级安全框架,用于评估和处理LLM系统中的风险,通过结合系统建模与攻击-防御树,分析医疗场景中的多步骤攻击路径,并提供可比较的防御策略。
2026-03-08 cs.AI cs.CR
No-Box Vulnerability Analysis: Description-only Detection of Indirect Prompt Injection Vulnerabilities in MCP Servers
Arizona State University(亚利桑那州立大学)
提出无盒漏洞分析新范式,仅凭功能元数据即可检测MCP服务器间接提示注入漏洞,原型MCPSEC在177个工具上实现98.9%召回率,验证了该方法的实用性。
2026-09-18 cs.AI cs.CR
RAVEN: Retrieval-Augmented Vulnerability Exploration Network for Memory Corruption Analysis in User Code and Binary Programs
University of California, Berkeley(加州大学伯克利分校)
提出RAVEN框架,结合LLM代理与检索增强生成,自动生成遵循Google Project Zero模板的漏洞分析报告,在105个样本上平均质量得分54.21%。
2026-06-05 cs.AI cs.CR cs.MA
The Unified Approach For Organizational Network Vulnerability Assessment
当前的业务网络基础设施随着最新的服务器、服务、连接和端口的频繁添加而快速变化,有时每天都在增加,并且笔记本电脑、存储介质和无线网络的流入无法控制。随着越来越多的漏洞和利用,再加上IT基础设施的不断发展,组织目前需要更多的漏洞评估。统一网络脆弱性评估过程(UnifiedProcessforNetworkVulnerabilityAssessments)是统一软件开发过程(UnifiedSoftwareDevelopmentProcess,简称UnifiedProcess)的一个重要分支,是一种流行的迭代式、增量式软件开发过程框架。
2013-10-09 cs.SE
VulStamp: Vulnerability Assessment using Large Language Model
本文提出VulStamp框架,结合静态分析与大型语言模型提取漏洞代码意图,并采用基于强化学习的提示调优方法,实现无需人工描述的漏洞严重性评估。
2025-06-25 cs.SE
Propagation-Based Vulnerability Impact Assessment for Software Supply Chains
National University of Singapore(新加坡国立大学)
提出基于分层工作列表的算法和VPSS动态指标,实现全生态系统调用图级漏洞传播分析,并在Java Maven生态系统的100个真实漏洞上验证了有效性。
2025-10-09 cs.CR cs.SE
A Survey on Data-driven Software Vulnerability Assessment and Prioritization
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
软件漏洞(SV)的复杂性和规模不断增加,给许多软件系统带来了巨大的安全风险。在实践中,由于资源有限,SV评估和优先级帮助从业者设计最佳的SV缓解计划的基础上,各种SV的特点。SV数据源和数据驱动技术(如机器学习和深度学习)的激增将SV评估和优先级排序提升到了一个新的水平。我们的调查提供了过去研究工作的分类,并强调了数据驱动的SV评估和优先级排序的最佳实践。我们还讨论了目前的局限性,并提出了解决这些问题的潜在解决方案。
2022-04-04 cs.AI cs.CR cs.LG
Towards an Improved Understanding of Software Vulnerability Assessment Using Data-Driven Approaches
The University of Adelaide(阿德莱德大学);Centre for Research on Engineering Software Technologies (CREST)(工程软件技术研究中心(CREST))
本论文通过数据驱动方法,系统化知识并提供新技术与建议,以提升软件漏洞评估的理解与实践,促进更及时有效的修复规划。
2023-06-20 cs.CR cs.LG cs.SE
Answer Is Cheap, Show Me the Evidence! Augmenting Automated Vulnerability Assessment with Evidence
Zhejiang University(浙江大学);Huawei(华为)
研究针对现有自动化漏洞评估方法缺乏证据支持的问题,提出EAVA框架,通过LLM智能体和两阶段训练流程实现更优性能,且提供的证据对安全专家实用。
2026-08-27 cs.SE
SoK: Automated Vulnerability Repair: Methods, Tools, and Assessments
本SoK研究按漏洞分析、补丁生成、补丁验证三步体系化梳理自动化漏洞修复(AVR)方法,构建含144个漏洞的C/C++基准数据集Vul4C,评估了多款C/C++和Java的AVR工具,并指出未来研究方向。
2025-06-13 cs.SE
DeepCVA: Automated Commit-level Vulnerability Assessment with Deep Multi-task Learning
CREST - The Centre for Research on Engineering Software Technologies, The University of Adelaide(CREST - 工程软件技术研究中心,阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
越来越多的人建议识别代码提交中的软件漏洞(SV),以提前警告潜在的安全风险。然而,在检测到对安全性有贡献的提交后,缺乏对它们进行评估的努力,以及时提供有关SV的可利用性、影响和严重性的信息。这些信息对于规划和优先考虑已识别SV的缓解措施非常重要。我们提出了一种新的深度多任务学习模型DeepCVA,基于通用漏洞评分系统(CVSS)指标同时自动执行七个提交级漏洞评估任务。我们对246个真实软件项目中包含542个不同SV的1,229个可扩展性贡献提交进行了大规模实验,以评估我们模型的有效性和效率。我们发现DeepCVA是性能最好的模型,马修斯相关系数比许多监督和无监督基线模型高出38%至59.8%。DeepCVA所需的训练和验证时间比七个累积评估模型少6.3倍,从而大大降低了模型维护成本。总的来说,DeepCVA提供了第一个有效和高效的解决方案,可以在软件系统的早期自动评估SV。
2021-08-18 cs.CR cs.LG cs.SE
Automated Software Vulnerability Assessment with Concept Drift
软件工程研究人员越来越多地使用自然语言处理(NLP)技术来自动化软件漏洞(SV)评估使用的描述在公共存储库。然而,现有的基于NLP的方法遭受概念漂移。这个问题是由于缺乏对新的(词汇表外的)术语的适当处理而导致的,这些术语用于随着时间的推移评估看不见的SV。为了使用SV的描述进行具有概念漂移的自动SV评估,我们提出了一种结合字符和单词特征的系统方法。该方法被用来预测七个脆弱性特征(VC)。每个VC的最佳模型是使用我们定制的基于时间的交叉验证方法从八个NLP表示和六个著名的机器学习模型中选择的。我们已经使用所提出的方法在国家漏洞数据库(NVD)中的100,000多个SV上进行了大规模实验。结果表明,即使不重新训练模型,我们的方法也可以有效地解决NVD中2000年至2018年报告的SV描述的概念漂移问题。此外,我们的方法相比,现有的单词的方法具有竞争力。我们还研究如何构建具有更少特征的紧凑概念漂移感知模型,并就SV评估的分类器和NLP表示的选择给出一些建议。
2021-03-21 cs.CR cs.SE
LEOPARD: Identifying Vulnerable Code for Vulnerability Assessment through Program Metrics
识别代码库中的潜在脆弱位置是有效脆弱性评估的关键步骤;即,它可以极大地帮助安全专家将他们的时间和精力投入到最需要的地方。已经提出了基于度量和基于模式的方法来识别脆弱代码。前者依赖于机器学习,由于非脆弱代码和脆弱代码之间的严重不平衡或缺乏特征来表征漏洞,因此无法很好地工作。后者需要已知漏洞的先验知识,只能识别类似但不是新类型的漏洞。在本文中,我们提出并实现了一个通用的,轻量级的和可扩展的框架,LEOPARD,通过程序度量来识别潜在的脆弱功能。LEOPARD不需要事先了解已知的漏洞。它有两个步骤,结合两套系统推导的指标。首先,它使用复杂性度量将目标应用程序中的函数分组到一组bin中。然后,它使用脆弱性指标对每个bin中的函数进行排名,并将顶部的函数识别为潜在脆弱的函数。我们在11个实际项目上的实验结果表明,LEOPARD可以通过识别20%的功能作为脆弱的,并优于基于机器学习和基于静态分析的技术覆盖74.0%的脆弱功能。我们进一步提出了三个应用程序的LEOPARD手动代码审查和模糊,通过我们发现了22个新的错误在实际应用程序,如PHP,radare 2和FFmpeg,其中8个是新的漏洞。
2020-01-19 cs.SE
SVA-ICL: Improving LLM-based Software Vulnerability Assessment via In-Context Learning and Information Fusion
SVA-ICL通过上下文学习和信息融合(结合源代码与漏洞描述)选择高质量示例来增强LLM性能,在包含12,071个C/C++漏洞的数据集上,其准确率、F1分数和MCC指标均优于现有最先进的SVA基线。
2025-05-28 cs.SE
On the Use of Fine-grained Vulnerable Code Statements for Software Vulnerability Assessment Models
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
许多研究已经开发了机器学习(ML)方法来检测函数中的软件漏洞(SV)和导致此类SV的细粒度代码语句。然而,利用这些检测输出进行数据驱动的SV评估以提供有关SV的可利用性、影响和严重性的信息的工作很少。这些信息对于了解SV并确定其修复的优先级非常重要。使用来自200个真实项目中429个SV的1,782个功能的大规模数据,我们研究了用于自动化功能级SV评估任务的ML模型,即,预测七个通用漏洞评分系统(CVSS)指标。我们特别研究的价值和使用的脆弱的报表作为输入开发的评估模型,因为SV的功能起源于这些报表。我们发现,脆弱的报表是5.8倍小的大小,但表现出7.5-114.5%的评估性能(马修斯相关系数(MCC))比非脆弱的报表。消除易受攻击语句的上下文进一步提高了性能,最高可达8.9%(0.64 MCC和0.75 F1-Score)。总的来说,我们提供了初步的但有前途的ML为基础的基线功能级SV评估,铺平了道路,在这个方向上的进一步研究。
2022-03-16 cs.CR cs.LG cs.SE
Mitigating Data Imbalance for Software Vulnerability Assessment: Does Data Augmentation Help?
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
该研究针对软件漏洞评估中CVSS类别数据不平衡的问题,采用9种数据增强技术开展大规模实验,验证了缓解数据不平衡可显著提升模型预测性能,为该领域提供了首个有效的解决方案参考。
2024-07-15 cs.CR cs.LG cs.SE
Impact assessment for vulnerabilities in open-source software libraries
针对开源软件库漏洞影响评估依赖专家、成本高且易错的问题,本文提出一种与漏洞类型和编程语言无关的实用方法,并通过 Java 概念验证和案例研究展示其可即时评估应用是否受影响。
2015-04-21 cs.CR cs.SE
Towards Deep Learning Enabled Cybersecurity Risk Assessment for Microservice Architectures
针对微服务架构安全风险评估效率低的问题,提出基于深度学习自然语言处理模型的CyberWise Predictor框架,通过分析漏洞描述预测漏洞指标,在自动预测新漏洞指标上达92%平均准确率,助力开发者识别和缓解安全风险。
2024-03-22 cs.SE
Variables are a Curse in Software Vulnerability Prediction
Institute of Information Systems (IFIS), University of Lübeck(吕贝克大学信息系统研究所(IFIS))
本文针对变量命名无限多样导致深度学习漏洞预测难以学习程序内在功能的问题,提出名称依赖边、抽象语法图和3属性编码方案,去除具体变量名,显著提升预测性能并大幅降低内存占用。
2024-06-18 cs.AI cs.CR cs.LG
ReVul-CoT: Towards Effective Software Vulnerability Assessment with Retrieval-Augmented Generation and Chain-of-Thought Prompting
School of Artificial Intelligence and Computer Science, Nantong University(南通大学人工智能与计算机学院)
ReVul-CoT通过整合检索增强生成与链式推理提示,提升软件漏洞评估的准确性和效率。
2025-11-21 cs.SE
Multitask-based Evaluation of Open-Source LLM on Software Vulnerability
提出基于公开数据集 Big-Vul 的定量评估流水线,从检测、评估、定位和描述四类任务考察开源 LLM 的软件漏洞处理能力及局限。
2024-07-06 cs.SE
VulZoo: A Comprehensive Vulnerability Intelligence Dataset
本文提出全面漏洞情报数据集VulZoo,涵盖17个流行信息源并构建数据连接,提供自动化脚本,解决了现有漏洞评估技术数据准备重复且缺乏全局概览的问题。
2024-09-24 cs.CR cs.SE
Automated Code-centric Software Vulnerability Assessment: How Far Are We? An Empirical Study in C/C++
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
本文首次实证比较C/C++函数级漏洞评估中的多类ML与DL模型,并引入多任务学习,发现ML更高效,多任务DL可使MCC平均提升8-22%。
2024-08-03 cs.CR cs.LG cs.SE
LLM-Powered Code Vulnerability Repair with Reinforcement Learning and Semantic Reward
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Louisiana State University(路易斯安那州立大学);University of the Incarnate Word(道成肉身大学)
本文提出SecRepair系统,利用CodeGen2大语言模型结合强化学习与语义奖励机制,在生成漏洞修复代码的同时提供完整漏洞描述,并在6个开源物联网操作系统中验证了其对零日及N日漏洞的识别与修复能力。
2024-02-22 cs.AI cs.SE
An Investigation into Inconsistency of Software Vulnerability Severity across Data Sources
软件漏洞(SV)严重性评估是通知SV补救和分类的重要任务。SV严重性分数的排名通常用于建议修补工作的优先级。然而,严重性评估是一项困难且主观的手动任务,它依赖于专业知识、知识和标准化的报告方案。因此,执行独立分析的不同数据源可能会提供相互冲突的严重性评级。这些数据源之间的不一致性会影响严重性评估数据的可靠性,从而影响SV优先级排序和修复。在本研究中,我们调查了SV报告生命周期中严重度等级的不一致性。我们的分析有助于描述此问题的性质,识别相关因素,并确定不一致性对下游任务的影响。我们的研究结果观察到,SV的严重程度往往缺乏考虑或被低估,在初始报告,这样的SV因此得到较低的优先级。我们确定了六个潜在的属性,与这种误判,并表明,严重程度报告计划的不一致,可以严重降低下游严重程度预测的性能高达77%。我们的研究结果有助于提高对SV严重性数据不一致的认识,并引起人们对这一数据质量问题的关注。这些见解可以帮助开发人员更好地考虑SV严重性数据源,并提高后续SV优先级的可靠性。此外,我们鼓励研究人员更多地关注SV严重程度数据的选择。
2022-01-16 cs.CR cs.SE
Constructing a Knowledge Graph from Textual Descriptions of Software Vulnerabilities in the National Vulnerability Database
Simula Research Laboratory(西穆拉研究实验室);University of Oslo(奥斯陆大学);Norwegian Computing Center(挪威计算中心);BI Norwegian Business School(BI挪威商学院)
提出从NVD文本构建漏洞知识图谱的新方法,结合NER、关系抽取与实体预测,修复缺失实体并评估性能。
2023-05-15 cs.AI cs.CL cs.CR
Detecting and Characterizing Low and No Functionality Packages in the NPM Ecosystem
Faculty of Engineering, Kasetsart University(泰国农业大学工程学院);Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学)
本研究针对npm生态系统中低功能/无功能包的安全风险问题,完善相关定义并提出纯数据包概念,开发基于规则的静态分析检测工具,在2025年npm生态中验证其94%的准确率,为降低依赖管理中的技术债务与安全风险提供支持。
2025-10-06 cs.SE
CoSA: Context-Aware Severity Assessment via Context Analysis with Large Language Models
Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学);GovTech(政府科技局)
CoSA是一种基于大语言模型的上下文感知漏洞严重程度评估方法,通过两阶段仓库剪枝策略与Transformer预测器,在6816个CVSS标注实例上较最优基线提升了14.4%准确率与15.3% Macro-F1
2026-08-17 cs.CR cs.SE
Enhancing Large Language Models with Faster Code Preprocessing for Vulnerability Detection
GECAD, ISEP, Polytechnic of Porto(GECAD、ISEP、波尔图理工学院)
本文提出SCoPE2代码预处理框架,在SCoPE基础上优化处理效率,使处理时间减少97.3%,并提升大语言模型漏洞检测的F1分数。
2025-05-08 cs.LG cs.SE
Generating Mitigations for Downstream Projects to Neutralize Upstream Library Vulnerability
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术开发区(滨江)区块链与数据安全研究所)
针对无源代码和补丁时第三方库漏洞难以修复的问题,提出 LUMEN 框架,通过检索相似变通方案或基于类型生成缓解策略,成功缓解 70.2% 的受影响函数且无功能损失。
2026-10-22 cs.SE
Data Quality for Software Vulnerability Datasets
使用基于学习的技术来实现自动化的软件漏洞检测一直是软件安全领域内的长期兴趣。这些数据驱动的解决方案由用于培训和基准测试的大型软件漏洞数据集支持。然而,我们观察到,为这些解决方案提供动力的数据质量目前考虑不周,阻碍了所产生结果的可靠性和价值。虽然人们对软件漏洞数据准备挑战的认识不断提高,但对软件漏洞数据质量的潜在负面影响的调查却很少。例如,我们无法确认漏洞标签是否正确或一致。我们的研究旨在通过检查四个国家的最先进的软件漏洞数据集的五个固有的数据质量属性,以及问题可能对软件漏洞预测模型的后续影响,以解决这些缺点。令人惊讶的是,我们发现所有分析的数据集都存在一些数据质量问题。特别是,我们发现20-71%的漏洞标签在现实世界的数据集中是不准确的,17-99%的数据点是重复的。我们观察到,这些问题可能会对下游模型造成重大影响,要么阻止有效的模型训练,要么提高基准性能。我们主张必须克服这些挑战。我们的研究结果将使更好地考虑和评估软件漏洞数据质量的未来。
2023-01-13 cs.SE
The Distributed Open-Source Vulnerability Ecosystem
Munich University of Applied Sciences(慕尼黑应用科学大学);Findustrial GmbH(Findustrial有限公司)
研究软件供应链安全中漏洞识别问题,提出将漏洞管理视为信息交换与转换分布式过程的概念框架,追踪漏洞信息流程,分析扫描器结果不一致原因,探讨对相关方面的影响。
2026-07-17 cs.CR cs.SE
VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities
针对现有大语言模型漏洞修复评估依赖表层验证、性能高估的问题,提出基于PoC漏洞利用的VulnRepairEval框架,构建含23个真实Python CVE的基准,测试12款LLM发现最优模型修复率仅约21.7%,凸显真实场景评估的必要性。
2025-09-03 cs.CR cs.SE
Large Language Models for Secure Code Assessment: A Multi-Language Empirical Study
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司)
本文研究了多语言环境下大型语言模型在安全代码评估中的有效性,通过实验发现GPT-4o在漏洞检测和CWE分类中表现最佳,并开发了CODEGUARDIAN工具提升开发人员的漏洞检测效率。
2026-02-17 cs.CR cs.SE
Exploiting Library Vulnerability via Migration Based Automating Test Generation
针对第三方库漏洞影响评估难的问题,提出基于漏洞利用代码的测试生成方法VESTA,通过新增迁移步骤提升测试与漏洞利用的相似性,在30个漏洞、60组漏洞-项目对的实验中,成功率达71.7%,较基线方法TRANSFER提升53.4%。
2023-12-15 cs.SE
ChatGPT for Vulnerability Detection, Classification, and Repair: How Far Are We?
本研究评估ChatGPT在漏洞预测、分类、严重性评估和修复中的表现,发现其性能有限,需微调以提升泛化能力。
2023-10-15 cs.CR cs.SE
Learning Graph-based Patch Representations for Identifying and Assessing Silent Vulnerability Fixes
针对现有漏洞修复识别忽略代码结构信息的问题,提出基于图的补丁表示框架GRAPE,通过联合图结构与图卷积网络学习结构特征,在三项相关任务上表现优于基线方法。
2024-09-13 cs.SE
On the combination of static analysis for software security assessment -- a case study of an open-source e-government project
静态应用程序安全测试(SAST)是软件工程中一种流行的质量保证技术。然而,将SAST工具集成到行业级产品开发和安全评估中带来了各种技术和管理挑战。在这项工作中,我们报告了一个纵向的案例研究,采用SAST作为一个开源的电子政务项目的人驱动的安全评估的一部分。我们描述了SAST如何被选择,评估,并结合成一个新的方法进行软件安全评估。该方法进行了初步评估,使用半结构化访谈。我们的研究结果表明,(1)虽然一些SAST工具优于其他工具,它是可能的,以实现更好的性能,通过组合一个以上的SAST工具和(2)SAST工具应使用到一个实用的性能,并在现实世界的项目中结合三角形的方法,人为驱动的脆弱性评估。
2021-03-23 cs.SE
Conflicting Scores, Confusing Signals: An Empirical Study of Vulnerability Scoring Systems
本文首次对CVSS、SSVC、EPSS和可利用性指数四种漏洞评分系统进行大规模实证比较,基于600个真实漏洞揭示其在优先级排序和风险捕捉上的显著差异,强调需要更透明一致的漏洞评估。
2025-08-19 cs.CR cs.SE
VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection
提出仓库级评估系统VulEval,通过函数级检测、依赖预测和仓库级检测三项任务及大规模数据集,填补了过程间漏洞检测评估的空白。
2024-04-24 cs.CR cs.SE