PACEbench: A Framework for Evaluating Practical AI Cyber-Exploitation Capabilities
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
大语言模型(LLMs)的自主性引发了对现实世界网络安全评估需求，当前基准测试缺乏真实世界复杂性缺乏完整覆盖所有信息点，不得过度概括，不得跳过关键方法细节与{
2025-10-13 cs.AI cs.CR
EmoRAG: Evaluating RAG Robustness to Symbolic Perturbations
ZJU Hangzhou China（浙江大学杭州校区）；NTU Singapore（南洋理工大学）；Hengxin Tech. Singapore（新加坡恒心科技）；NUS Singapore（国立新加坡大学）；NJU Nanjing China（南京大学）；PKU Beijing China（北京大学）
EmoRAG研究揭示RAG系统对细微表情符号扰动的鲁棒性问题，发现单个表情符号可导致检索严重误导，并提出针对性防御措施。
2025-12-01 cs.AI cs.CL cs.CR
SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code
ByteDance（字节跳动）
SafeGenBench是一个专门评估大语言模型生成代码安全性的基准框架，通过SAST和LLM评判自动检测漏洞，揭示现有模型在生成无漏洞代码方面的显著不足。
2025-06-20 cs.AI cs.CR
Semantics-Preserving Evasion of LLM Vulnerability Detectors
Northeastern University（东北大学）；University of Pennsylvania（宾夕法尼亚大学）
研究发现基于LLM的漏洞检测器在保持语义的逃避攻击下存在系统性失效，提出联合鲁棒性指标以评估检测器的鲁棒性。
2026-01-30 cs.AI cs.CR cs.LG
LLMs in Web Development: Evaluating LLM-Generated PHP Code Unveiling Vulnerabilities and Limitations
University of Oslo（奥斯陆大学）
本研究通过混合检测方法评估2500个GPT-4生成的PHP网站的安全性，发现大量高危漏洞，公开相关数据集并强调生成式AI用于软件开发需严格安全测试。
2024-05-21 cs.AI cs.SE
Leveraging Large Language Models for Command Injection Vulnerability Analysis in Python: An Empirical Study on Popular Open-Source Projects
Louisiana State University（路易斯安那州立大学）
本实证研究针对Python命令注入漏洞检测问题，将GPT-4等大语言模型应用于6个星标超5万的知名开源项目，评估其检测的准确率、效率与 workflow 适配性，对比不同LLM工具的适用性，为利用LLM提升软件安全提供指导。
2025-05-21 cs.AI cs.CR cs.SE
Enhancing Large Language Models for Secure Code Generation: A Dataset-driven Study on Vulnerability Mitigation
South China University of Technology（华南理工大学）；University of Innsbruck（因斯布鲁克大学）
本文针对LLM生成代码的安全漏洞风险，构建了含180个样本的SecuCoGen数据集，通过代码生成、修复和分类实验评估现有模型，并提出缓解漏洞、增强鲁棒性的方法。
2023-10-25 cs.AI cs.CL cs.CR
RAVEN: Retrieval-Augmented Vulnerability Exploration Network for Memory Corruption Analysis in User Code and Binary Programs
University of California, Berkeley（加州大学伯克利分校）
提出RAVEN框架，结合LLM代理与检索增强生成，自动生成遵循Google Project Zero模板的漏洞分析报告，在105个样本上平均质量得分54.21%。
2026-06-05 cs.AI cs.CR cs.MA
One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders
The Chinese University of Hong Kong（香港中文大学）
本研究提出FORGE基准，评估搜索增强LLM在检索结果被污染时推荐虚假产品的脆弱性，发现单个污染页面即可导致高达27%的推荐错误率，且推理能力无法缓解此问题。
2026-08-25 cs.AI cs.CL
How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence
The University of Queensland（昆士兰大学）
本研究针对数字化评估中生成式AI带来的学术诚信等挑战，提出MAGE框架以评估行业基准模型ChatGPT4的批判性思维能力，帮助教育者判定评估内容的AI脆弱性，为评估设计提供依据。
2024-06-20 cs.AI
Bridging AI and Software Security: A Comparative Vulnerability Assessment of LLM Agent Deployment Paradigms
University of Manouba（马努巴大学）；University of Jendouba（坚杜拜大学）；University of Sfax（斯法克斯大学）；DataDoIt；South Mediterranean University（南地中海大学）
本研究通过统一威胁框架比较函数调用与MCP两种LLM智能体部署范式，发现函数调用攻击成功率更高，链式攻击效果显著，为安全部署提供实证指导。
2025-07-08 cs.AI cs.CR
Retrieve, Reproduce, Reveal: Dissecting Retrieval-Augmented Software Vulnerability Detection
Esslingen University（埃斯林根应用技术大学）；University of Tübingen（图宾根大学）
本研究通过复现六个开源RAG4SVD系统、建立统一基准并进行组件级分析，揭示检索增强漏洞检测的可复现性与性能依赖问题，强调需在流水线组件层面进行评估。
2026-09-30 cs.AI cs.SE
A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models
本文提出一种面向大语言模型聊天机器人的多维操作风险评估指标，结合技术复杂度与情境因素，并通过增强 Garak 框架验证其在 RAG 场景下指导风险缓解与模型改进的有效性。
2025-05-07 cs.AI cs.CR cs.CY
Evaluating Open-Weight LLMs for Generating Structured Threat Information for Autonomous Vehicle Vulnerabilities
The University of Alabama（阿拉巴马大学）；Alabama Water Institute（阿拉巴马水研究所）
研究自动驾驶车辆漏洞相关结构化威胁信息生成问题，利用开放权重语言模型，通过构建CAV-STIXGen数据集评估11个模型，分析CWE和MITRE ATT&CK共现，展示AI辅助转换可自动化威胁情报并优先防御运输安全。
2026-07-20 cs.AI cs.CR
Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
本研究揭示了开放权重模型对预填充攻击的系统性漏洞，通过评估多种策略发现其普遍易受攻击，强调了加强防御的必要性。
2026-02-16 cs.AI cs.CL cs.CR
On Predicting Vulnerability Severity Using In-Context Learning: An Industrial Case Study
William & Mary（威廉玛丽学院）；Microsoft（微软公司）；Cisco Systems（思科系统公司）
本研究通过工业案例，用可本地部署的开源LLM的上下文学习从C/C++代码片段预测CVSS v3.1评分，发现CodeLlama2-7B在轻量输出约束提示下可接近云服务性能，且Big-Vul可作为工业数据代理。
2026-08-25 cs.AI cs.CR
The Consistency Dilemma in LLMs: Generator-Evaluator Agreement and Vulnerability to Mistakes
Massachusetts Institute of Technology（麻省理工学院）
提出生成器-评估器自一致性度量，发现模型自一致性越高，在临床环境中对已验证错误的脆弱性越大，揭示LLMs中的一致性困境。
2026-07-01 cs.AI cs.CY
PatchBench: Evaluating AI Agents for Vulnerability Patching
University of Maryland（马里兰大学）
本研究针对AI智能体漏洞修补评估的两大威胁，提出新基准PatchBench，发现仅基于PoC的验证会高估解决率1.83倍，揭示了当前修补智能体的局限。
2026-09-04 cs.AI cs.CR cs.SE
Exploring Automated Vulnerability Identification in JavaScript Code Using Large Language Models
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
本研究实证评估大型语言模型在JavaScript代码漏洞识别中的效果，发现微调后准确率从29%提升至60%，优于传统SAST工具，可作补充手段。
2026-09-15 cs.AI cs.CR
SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction
SWE-Test通过输入预测任务，利用覆盖率引导模糊测试挖掘真实C/C++程序中的深层分支，将漏洞发现分解为三种模式，评估发现约束推断是主要瓶颈，最佳模型通过率仅55%。
2026-09-09 cs.AI cs.SE
PoisonBench: Assessing Large Language Model Vulnerability to Data Poisoning
Anthropic；University of Oxford（牛津大学）；Mila；WhiteBox
PoisonBench通过8个场景和21个模型评估偏好学习中的数据投毒脆弱性，发现模型规模不增强抵抗力、攻击效果与投毒比例呈对数线性关系且可泛化到外推触发器，揭示了现有防御的不足。
2025-06-06 cs.AI cs.CL cs.CR
Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts
Manchester Metropolitan University（曼彻斯特城市大学）
本文用 SALAD-Bench 的 1,200 条提示评估四款 LLM 对人工与算法对抗提示的抵抗，揭示鲁棒性、攻击可迁移性及危害类别差异，为防御提供依据。
2025-10-12 cs.AI cs.CR cs.CY
A Comparative Analysis of Vulnerability Management Tools: Evaluating Nessus, Acunetix, and Nikto for Risk Based Security Solutions
针对网络安全威胁态势演变下组织选择漏洞管理工具的挑战，本文全面比较分析Nessus、Acunetix和Nikto的检测准确率、CVSS风险评分等多维度指标，为基于风险的安全解决方案提供工具选择参考。
2024-11-28 cs.CR
Evaluating Large Language Models for Security Bug Report Prediction
本文评估了基于提示和微调方法在预测安全漏洞报告中的性能，发现提示方法在召回率上表现更好但精度较低，而微调方法在精度上更优但召回率下降，且推理速度更快。
2026-01-30 cs.AI cs.CR cs.LG
Bringing Order Amidst Chaos: On the Role of Artificial Intelligence in Secure Software Engineering
本文通过实证评估SASTT、数据集与即时建模等方法，揭示安全软件工程中漏洞预测的工具局限和上下文重要性，以提升AI缺陷预测效果。
2025-01-09 cs.AI cs.CL cs.CR
Evaluating Large Language Models in Vulnerability Detection Under Variable Context Windows
University of Central Florida（中佛罗里达大学）
本研究评估了Java代码分词长度对十个主要LLM漏洞检测准确性与明确性的影响，发现各模型表现不一，建议未来开发最小化输入长度影响并采用减少分词的预处理技术以提升性能。
2025-01-30 cs.CR cs.LG
Evaluating the Vulnerability of ML-Based Ethereum Phishing Detectors to Single-Feature Adversarial Perturbations
本研究评估以太坊钓鱼检测模型对单特征对抗攻击的脆弱性，发现攻击影响因算法而异，并提出对抗训练与特征选择等缓解策略以增强鲁棒性。
2025-04-24 cs.CR
CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps
Department of Artificial Intelligence, Chung-Ang University（Chung-Ang大学人工智能系）；Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University（Chung-Ang大学高级成像科学研究院，多媒体与电影）
研究大语言模型多跳推理能力评估难题，提出CRiT-QA数据集，通过反事实实体转换推理链、注入干扰链解决模型依赖知识和利用捷径问题，实验表明该数据集能暴露模型弱点，为评估多跳推理及开发可靠模型提供基础。
2026-07-14 cs.AI
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出基准ERAS，通过对比有无局部分割歧义的句子，揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
Chart Deception in Vision-Language Models: From Vulnerability to Mitigation
York University（约克大学）；University of Alberta（阿尔伯塔大学）
研究视觉语言模型对图表欺骗的鲁棒性，引入VisDeception基准和欺骗分数，发现模型易受影响，提出推理时多智能体缓解框架，揭示可靠性差距，确立相关评估及推理方向以开发更可信的视觉分析VLM。
2026-07-28 cs.AI
Evaluating Large Language Models for Line-Level Vulnerability Localization
School of Software, Beihang University（北京航空航天大学软件学院）；Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）；Singapore Management University（新加坡管理大学）
本文评估了大型语言模型在行级漏洞定位中的表现，发现判别微调在有充足训练数据时效果显著，而提示方法在低数据环境下更有效，同时提出了改进微调过程的策略。
2025-12-26 cs.CR cs.SE
A Benchmark Suite for Evaluating Caches' Vulnerability to Timing Attacks
处理器缓存中基于时间的侧通道或隐蔽通道继续对计算机系统构成威胁，它们是最近许多Spectre和Meltdown攻击的关键。基于改进现有的三步模型的缓存定时为基础的攻击，这项工作提出了88强类型的理论定时为基础的漏洞在处理器缓存。为了理解和评估处理器缓存中所有可能类型的漏洞，本文进一步提出并实现了一个新的基准套件，该套件可用于测试给定处理器或缓存设计易受哪些类型的基于缓存定时的攻击。总共有1094个自动生成的测试程序，涵盖了88个理论漏洞。基准测试套件生成缓存计时漏洞分数，可用于评估特定缓存实现对不同攻击的脆弱程度。较小的Cache Timing Vulnerability Score意味着设计更安全，并且可以很容易地比较不同机器之间的分数。评估是在商用英特尔和AMD处理器上进行的，显示处理器实现的差异可能导致它们容易受到不同类型的攻击。除了测试商用处理器之外，基准测试和缓存定时漏洞分数还可用于帮助新安全处理器缓存的设计者评估其设计对基于缓存定时的攻击的敏感性。
2019-11-19 cs.CR
EduZone: A Framework for Evaluating LLM Safety for K-12 Students and Teachers
EduZone是针对K-12教育场景的LLM安全评估框架，整合多维度要素生成对抗交互，评估10个LLMs后发现其对教育特定风险更脆弱，现有防护措施不足，该框架可助力开发更安全的教育类LLMs。
2026-08-04 cs.AI cs.CY
SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
本文提出 SegSub 框架，通过图像扰动系统评估视觉-语言模型在知识冲突下的幻觉脆弱性，并通过微调提升冲突检测能力。
2025-05-09 cs.AI cs.CL cs.CV
VulnGym: Evaluating Vulnerability Management Strategies against Advanced Persistent Threats
Università degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
针对企业网络受APT攻击及现有漏洞管理评估缺陷，提出VulnGym模拟工具，通过模拟基于真实APT配置文件训练的攻击者与执行可配置补丁策略的防御者对抗，依多因素定制漏洞管理，经实验验证其有效性。
2026-07-28 cs.CR
Revisiting the Performance of Deep Learning-Based Vulnerability Detection on Realistic Datasets
University of Waterloo（滑铁卢大学）
本文构建真实场景漏洞数据集Real-Vul，评估四种深度学习漏洞检测模型，揭示其在实际代码库中精确率和F1分数大幅下降，并针对过拟合问题提出数据增强方法，最多可提升30%性能。
2024-07-03 cs.AI cs.CR cs.LG
Prompting the Priorities: A First Look at Evaluating LLMs for Vulnerability Triage and Prioritization
本文评估四款LLM结合十二种提示技术在SSVC漏洞分类决策上的表现，发现Gemini整体最佳、示例提示通常有益，但模型仍会高估风险，只能辅助而非替代专家判断。
2025-10-21 cs.CR
Autosploit: A Fully Automated Framework for Evaluating the Exploitability of Security Vulnerabilities
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；NEC Corporation（日本电气公司）
系统中存在安全漏洞并不一定意味着它可以被利用。在这项研究中，我们介绍了Autosploit -一个自动化的框架，用于评估漏洞的可利用性。给定易受攻击的环境和相关漏洞，Autosploit将自动在环境的不同配置上测试漏洞，以确定成功利用现有漏洞所需的特定属性。由于测试所有可能的系统配置是不可行的，我们引入了一个有效的方法来测试和搜索所有可能的配置环境。Autosploit实现的高效测试过程基于两种算法：广义二进制分裂和Barinel，分别用于无噪声和噪声环境。我们实现了所提出的框架，并使用真正的漏洞进行评估。结果表明，Autosploit能够自动识别影响在无噪声和噪声环境中利用漏洞的能力的系统属性。这些重要结果可用于更准确和有效的风险评估。
2020-06-30 cs.AI cs.CR cs.SE
Evaluating the NIST Bugs Framework Against CWE as a Successor for Automated Vulnerability Classification
The University of Alabama（阿拉巴马大学）
本研究评估NIST漏洞框架（BF）作为CWE继任者的可行性，通过专家标注和LLM自动化实验，证明BF在结构化程度和自动化友好性上优于CWE，但存在属性指导不足等空白。
2026-09-16 cs.CR cs.SE
Bringing UFUs Back into the Air With FUEL: A Framework for Evaluating the Effectiveness of Unrestricted File Upload Vulnerability Scanners
针对不受限制文件上传漏洞扫描器缺乏统一评估框架的问题，提出FUEL模拟15种漏洞场景，并扩展Fuxploider-NG将准确率从约50%提升至90%以上。
2024-05-26 cs.CR
On the Validity of Traditional Vulnerability Scoring Systems for Adversarial Attacks against LLMs
College of Technological Innovation Zayed University（扎耶德大学技术创新学院）
本研究通过量化比较 56 种针对大语言模型的对抗攻击在 CVSS 等传统漏洞评分系统下的评分变异，揭示现有指标因取值刚性而难以有效区分攻击，并提出需开发更灵活、通用的 LLM 专用漏洞评估指标。
2024-12-28 cs.AI cs.CR
MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出MobileCybench基准，用可执行探针评估AI智能体在Android应用中的漏洞发现能力，实验表明顶级智能体在恶意应用场景下触发率53.8%，并发现23个新漏洞。
2026-09-22 cs.AI cs.CR cs.LG
Shedding Light on CVSS Scoring Inconsistencies: A User-Centric Study on Evaluating Widespread Security Vulnerabilities
本文通过196名用户的在线调查及59人后续调查，研究CVSS漏洞评分的不一致性、影响因素与用户认知，并提出改进评分一致性的建议。
2024-05-08 cs.CR
Evaluating Line-level Localization Ability of Learning-based Code Vulnerability Detection Models
University of Cagliari, Italy（卡利亚里大学）；CINI, Italy（CINI）
针对基于学习的代码漏洞检测模型仅能标记整段函数而无法精确定位漏洞行的问题，提出基于可解释性的检测对齐（DA）评估方法，发现模型预测持续受非漏洞行偏差影响。
2025-10-13 cs.CR cs.LG
Evaluating and Enhancing the Vulnerability Reasoning Capabilities of Large Language Models
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
DAGVul通过建模漏洞推理为有向无环图生成任务，提升大型语言模型在漏洞检测中的推理能力，实验显示其推理F1分数平均提高18.9%。
2026-02-06 cs.CR
VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
University of Pittsburgh（匹兹堡大学）；Purdue University（普渡大学）；Amazon Web Services（亚马逊网络服务）
本研究构建了多语言代码漏洞检测基准VICBench，包含100个CVE对应的VIC，规模显著大于现有数据集，经评估现有漏洞检测算法性能有限，该基准可用于可靠评估漏洞检测方法。
2026-08-13 cs.AI cs.CL cs.CR
Evaluating Graph Vulnerability and Robustness using TIGER
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
网络鲁棒性在我们理解复杂的互联系统（如交通、通信和计算机网络）中起着至关重要的作用。虽然在网络鲁棒性领域已经进行了大量的研究，但目前还没有全面的开源工具箱来帮助研究人员和从业人员解决这一重要问题。缺乏可用的工具阻碍了现有工作的可重复性和检查，新研究的发展和新思想的传播。我们贡献了TIGER，一个开源的Python工具箱来解决这些挑战。TIGER包含22个图形鲁棒性度量，包括原始版本和快速近似版本; 17个故障和攻击策略; 15个启发式和基于优化的防御技术;以及4个仿真工具。通过使研究网络鲁棒性所需的工具民主化，我们的目标是帮助研究人员和从业者分析他们自己的网络;并促进该领域新研究的发展。TIGER已被整合到Nvidia数据科学教学工具包中，提供给世界各地的教育工作者;佐治亚理工学院的数据和可视化分析课程有超过1,000名学生。TIGER开源于：https://github.com/safreita1/TIGER
2021-08-15 cs.CR cs.LG cs.SI
PATCHEVAL: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilities
Huazhong University of Science and Technology（华中科技大学）；ByteDance（字节跳动）
针对现有漏洞修复基准的缺陷，本文提出覆盖Go、JS、Python的多语言基准PATCHEVAL，基于千个近年CVE构建数据集并配套沙箱验证环境，评估主流LLM与智能体的漏洞修复能力以指导后续AVR研究。
2025-11-14 cs.CR cs.SE
RLCracker: Evaluating the Worst-Case Vulnerability of LLM Watermarks with Adaptive RL Attacks
Shanghai Jiao Tong University（上海交通大学）；National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）
本文提出RLCracker，通过强化学习方法评估LLM水印的最坏情况漏洞，证明水印对改写攻击高度敏感，并在有限样本下实现高移除率。
2026-05-14 cs.CR
Evaluating the Vulnerability Landscape of LLM-Generated Smart Contracts
Deakin University（迪肯大学）
本研究评估了LLM生成的智能合约的安全性，发现其存在严重漏洞，提出缓解措施和开发指南以提高区块链安全。
2026-02-03 cs.CR
Evaluating Vulnerability of Chiplet-Based Systems to Contactless Probing Techniques
本文评估了基于chiplet的系统对激光非接触式探测的脆弱性，发现中介层导线驱动器更易被探测，且延迟传感器无法有效防御激光探测。
2024-05-23 cs.CR
VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection
提出仓库级评估系统VulEval，通过函数级检测、依赖预测和仓库级检测三项任务及大规模数据集，填补了过程间漏洞检测评估的空白。
2024-04-24 cs.CR cs.SE
GraftyVul: Synthesising Insecure Programs Through Real-World Vulnerability Grafting
University of New South Wales（新南威尔士大学）；Nullify；CSIRO（澳大利亚联邦科学与工业研究组织）
GraftyVul是通过将真实世界漏洞植入开源项目构建不安全程序的系统，生成212个跨5种语言、23个CWE类别的可验证漏洞程序，在多样性等指标上优于13个常用数据集，可用于评估漏洞修复系统。
2026-08-31 cs.CR cs.SE
From Generalist to Specialist: Exploring CWE-Specific Vulnerability Detection
本文针对漏洞类型异质性问题，提出并验证为每个CWE训练专用分类器，再以多分类方式构建统一检测系统，性能优于单一二分类器。
2024-08-05 cs.CR cs.SE
