PrescientFuzz: A more effective exploration approach for grey-box fuzzing
PrescientFuzz利用目标程序控制流图语义信息,通过输入语料库调度器优先选择接近未覆盖边的输入进行变异,在Google FuzzBench基准测试中实现了领先的平均代码覆盖率和排名。
2025-01-24 cs.CR cs.SE
Bug Histories as Sources of Compiler Fuzzing Mutators
提出IssueMut方法,从编译器缺陷历史中自动挖掘变异子,集成到现有模糊测试器中,在GCC和LLVM上发现65个新缺陷,其中60个被确认或修复。
2025-10-09 cs.SE
SeedSmith: LLM-Driven Seed Synthesis for Directed Fuzzing
UC Santa Barbara(加州大学圣塔芭芭拉分校);Arizona State University(亚利桑那州立大学)
研究针对定向模糊测试常无法触发崩溃的问题,提出SeedSmith这一基于大语言模型的管道,通过复制分析师工作流程合成种子,提升模糊器性能,在Magma和ARVO上取得显著加速和发现新漏洞的成果。
2026-07-16 cs.CR cs.SE
FMViz: Visualizing Tests Generated by AFL at the Byte-level
软件模糊测试是一种强有力的测试技术,已经成为工业界自动化软件测试和软件漏洞检测的事实上的方法。模糊的随机性使得监控和理解模糊器的行为变得困难。在本文中,我们报告了模糊突变可视化工具(FMViz)的开发,该工具专注于可视化模糊器中的字节级突变。特别是,FMViz扩展了美国模糊Lop(AFL),以可视化生成的测试输入,并突出显示连续生成的种子之间的变化,作为一个模糊活动的进展。我们的工具的首要目标是帮助开发人员和学生更好地理解AFL模糊器的内部工作原理。在本文中,我们提出了FMViz的体系结构,讨论了它的一个示例案例研究,并概述了未来的工作。FMViz是开源的,可在https://github.com/AftabHussain/afl-test-viz上公开获取。
2021-12-25 cs.SE
SLOPT: Bandit Optimization Framework for Mutation-Based Fuzzing
Ricerca Security, Inc.(里卡安全公司);University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
在过去的十年中,基于突变的模糊已经成为最常见的漏洞发现解决方案之一。当针对特定程序时,模糊可以被优化,并且鉴于此,一些研究已经采用在线优化方法来自动进行,即,以程序不可知的方式为任何给定的程序调整模糊器。然而,以往的研究既没有充分探讨适合在线优化方法的变异方案,也没有适合变异方案的在线优化方法。在这项研究中,我们提出了一个称为SLOPT的优化框架,包括一个强盗友好的突变方案和突变方案友好的强盗算法。SLOPT的优点是它通常可以合并到现有的模糊器中,例如AFL和Honggfuzz。作为概念验证,我们通过将SLOPT集成到AFL++中来实现SLOPT-AFL++,并表明SLOPT提供的程序无关优化使SLOPT-AFL++在所有10个实际FuzzBench程序中实现了比AFL++更高的代码覆盖率。此外,我们对来自OSS-Fuzz的几个真实世界的程序运行了SLOPT-AFL++,并成功地识别了三个以前未知的漏洞,尽管这些程序已经在OSS-Fuzz上被AFL++模糊了相当多的CPU天数。
2022-11-07 cs.CR cs.LG cs.SE
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
Fuzzing是一种常用的技术,旨在通过自动制作程序输入来测试软件。目前,最成功的模糊算法强调简单,低开销的策略,在执行过程中有效地监视程序状态的能力。通过编译时插装,这些方法可以访问程序状态的许多方面,包括覆盖率、数据流以及异构故障检测和分类。然而,现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法,使用这种状态信息来优化变异算子,使用强化学习(RL)。通过将OpenAI Gym与libFuzzer集成,我们能够同时利用强化学习和模糊化的进步,在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来,直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题,并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
LLAMA: Multi-Feedback Smart Contract Fuzzing Framework with LLM-Guided Seed Generation
本文提出基于LLM的多反馈智能合约模糊测试框架LLAMA,结合分层提示生成种子、多反馈优化机制和进化模糊引擎,显著提升了代码覆盖率与漏洞检测能力。
2025-07-16 cs.CR cs.SE
LLAMAFUZZ: Large Language Model Enhanced Greybox Fuzzing
University of California, Davis(加州大学戴维斯分校);University of Hong Kong(香港大学)
本文提出LLAMAFUZZ,利用大语言模型生成有效输入,提升灰盒模糊测试对结构化数据的处理能力,实验表明其在发现漏洞方面表现优异。
2026-03-17 cs.AI cs.CR cs.SE
Adaptive Grey-Box Fuzz-Testing with Thompson Sampling
Bloomberg(彭博)
模糊测试或“模糊”是指广泛部署的一类技术,用于通过生成一组输入来测试程序,以明确地找到错误和识别安全缺陷。灰盒模糊是最流行的模糊检测策略,它结合了轻量级程序插装和数据驱动过程来生成新的程序输入。在这项工作中,我们提出了一个机器学习的方法,建立在AFL,卓越的灰箱模糊,通过自适应学习概率分布在其变异算子的程序特定的基础上。这些操作员,这是随机选择均匀的AFL和突变模糊一般,决定如何产生新的输入,模糊的功效的核心部分。我们的主要贡献是两方面的:首先,我们表明,从训练计划中估计的突变算子的采样分布可以显着提高AFL的性能。其次,我们介绍了一个汤普森采样,基于带宽的优化方法,微调的mutator分布自适应,在模糊的过程中,一个单独的程序。一组跨复杂程序的实验表明,调整突变运算符分布生成的输入集产生显着更高的代码覆盖率,并发现更多的崩溃更快,更可靠的AFL的基线版本以及其他基于AFL的学习方法。
2018-08-24 cs.AI cs.SE
Semantic-Aware Fuzzing: An Empirical Framework for LLM-Guided, Reasoning-Driven Input Mutation
School of Computing, Queen’s University(女王大学计算机学院);McGill University(麦吉尔大学);Defence R&D Canada(国防研发加拿大)
针对现有模糊测试缺乏语义推理的问题,提出集成推理LLM与AFL++的微服务框架,实验表明Deepseek表现最佳,变异质量取决于提示复杂度与模型选择。
2025-09-23 cs.AI cs.CR cs.SE
Revisiting Neural Program Smoothing for Fuzzing
Robert Bosch GmbH(罗伯特·博世有限公司);Saarland University(萨尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文通过大规模实验重新评估NPS模糊器,发现其原有性能主张不成立,并实现Neuzz++、提出评测指南与可复现平台MLFuzz。
2023-09-28 cs.AI cs.CR cs.SE
Evolutionary Mutation-based Fuzzing as Monte Carlo Tree Search
基于覆盖率的灰盒模糊检测(CGF)已被证实可以有效地发现安全漏洞。种子调度是从种子库中选择一个输入作为下一次模糊迭代的种子的过程,在CGF中起着核心作用。虽然已经提出了许多种子调度策略,他们中的大多数单独对待这些种子,并没有显式地考虑种子之间的关系。在这项研究中,我们做了一个关键的观察,种子之间的关系是有价值的种子调度。我们设计并提出了一个“种子突变树”,通过调查和利用种子之间的突变关系。利用“种子变异树”,我们进一步将种子调度问题建模为一个蒙特卡罗树搜索(MCTS)问题。也就是说,我们选择下一个种子模糊通过步行这个“种子突变树”通过最佳路径,基于MCTS的估计。我们实现了两个原型,AFL之上的AlphaFuzz和AFL++之上的AlphaFuzz++。三个数据集(UniFuzz数据集,CGC二进制文件和12个真实世界的二进制文件)的评估结果表明,AlphaFuzz和AlphaFuzz++优于最先进的模糊器,具有更高的代码覆盖率和更多的发现漏洞。特别是,AlphaFuzz发现了3个新的漏洞与CVE。
2022-06-15 cs.CR cs.SE
Targeted Testing of Compiler Optimizations via Grammar-Level Composition Styles
本文提出TargetFuzz,通过语法层面的组合风格进行定向模糊测试,提升编译器优化的测试覆盖率和触发效率。
2025-12-04 cs.SE
CovRL: Fuzzing JavaScript Engines with Coverage-Guided Reinforcement Learning for LLM-based Mutation
Yonsei University(延世大学);Suresofttech Inc.(Suresofttech公司)
本文提出CovRL技术,通过TF-IDF构建加权覆盖率图并结合强化学习将覆盖率反馈直接集成到LLM变异器中,显著提升了JavaScript引擎模糊测试的代码覆盖率与漏洞发现能力。
2024-02-19 cs.CL cs.CR cs.LG
Pythia: Grammar-Based Fuzzing of REST APIs with Coverage-guided Feedback and Learning-based Mutations
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
本文介绍了Pythia,这是第一个模糊器,它通过覆盖率引导反馈和基于学习的变异策略来增强基于语法的模糊,用于有状态的REST API模糊。Pythia使用统计模型从结构上有效的种子输入中学习目标REST API的常见使用模式。然后,它通过注入少量偏离常见使用模式的噪声,同时仍然保持句法有效性,从而生成基于学习的突变。Pythia的变异策略有助于生成语法上有效的测试用例,覆盖率引导的反馈有助于优先考虑更有可能找到bug的测试用例。我们提出了三个生产规模的实验评估,开源云服务表明,Pythia优于以前的方法,无论是在代码覆盖率和新的错误发现。使用Pythia,我们发现了29个新的错误,我们正在向各自的服务所有者报告的过程中。
2020-05-23 cs.LG cs.SE
Dynamic Conformance Testing of WebGPU Through Specification-Driven Mutation
New Jersey Institute of Technology(新泽西理工学院)
提出LANTERN框架,通过从WebGPU规范提取语法和语义约束来变异一致性测试,在Chromium中发现包括堆损坏在内的三个可复现错误,验证了语义感知变异测试的有效性。
2026-09-23 cs.CR cs.SE
Better Pay Attention Whilst Fuzzing
Fuzzing是漏洞检测的主流方法之一。然而,即使是最先进的模糊方法在一段时间后也变得无效,即,由于现有方法不能有效地将模糊注意力集中在覆盖难以触发的程序路径上,因此覆盖率几乎没有提高。换句话说,他们不能生成可以打破瓶颈的输入,因为在捕获测试输入和程序覆盖之间的复杂关系方面存在根本性的困难。特别地,现有的模糊器受到以下主要限制:1)缺乏对程序的总体分析以识别最“有回报”的种子,以及2)缺乏可以连续地选择和变异种子的更相关的“字节”的有效变异策略。在这项工作中,我们提出了一种称为ATTuzz的方法来系统地解决这两个问题。首先,我们提出了一个轻量级的动态分析技术,估计“奖励”覆盖每个基本块,并选择最有价值的种子。其次,我们根据神经网络模型对所选种子进行变异,该模型预测给定种子的某些字节上的某些变异是否会覆盖某个“奖励”块。该模型是一个配备了注意力机制的深度学习模型,该机制在模糊化的同时定期学习和更新。我们的评估表明,ATTuzz在实现更高的边缘覆盖率和发现新错误方面,在13个流行的现实世界程序上显着优于5个最先进的灰盒模糊器。特别是,ATTuzz在24小时运行中实现了2倍于AFL的边缘覆盖率和4倍于AFL的bug检测。此外,ATTuzz从长远来看持续改善边缘覆盖,即,在5天内实现比AFL多50%的覆盖率。
2021-12-14 cs.CR cs.SE
Large Language Models are Zero-Shot Fuzzers: Fuzzing Deep-Learning Libraries via Large Language Models
检测深度学习(DL)库中的错误(例如,TensorFlow/PyTorch)对于几乎所有下游DL系统都至关重要,可以确保最终用户的有效性/安全性。同时,传统的模糊技术对于这样一个具有挑战性的领域可能很难有效,因为输入DL程序需要满足输入语言(例如,Python)语法/语义和用于张量计算的DL API输入/形状约束。为了解决这些限制,我们提出TitanFuzz -第一种直接利用大语言模型(LLM)来生成模糊DL库的输入程序的方法。LLM是在数十亿代码片段上训练的巨大模型,可以自动回归生成类似人类的代码片段。我们的关键见解是,现代LLM还可以在其训练语料库中包含大量调用DL库API的代码片段,因此可以隐式地学习语言语法/语义和复杂的DL API约束,以生成有效的DL程序。更具体地说,我们使用生成和填充LLM(例如,Codex/InCoder)生成和变异有效/多样的输入DL程序,以进行模糊化。我们的实验结果表明,TitanFuzz可以实现比TensorFlow/PyTorch上最先进的模糊器高30.38%/50.84%的代码覆盖率。此外,TitanFuzz能够检测到65个bug,其中41个已经被确认为以前未知的bug。本文表明,现代Titanic LLM可以直接执行几十年来研究的基于生成和基于突变的模糊,同时完全自动化,可推广,并适用于传统方法(如DL系统)具有挑战性的领域。我们希望Ti…
2023-03-07 cs.SE
HornFuzz: Fuzzing CHC solvers
针对缺乏 CHC 求解器专用模糊测试工具的问题,提出基于蜕变测试的变异灰盒工具 HornFuzz,并在 Spacer 中发现多个严重缺陷。
2023-06-08 cs.SE
Static Exploration of Taint-Style Vulnerabilities Found by Fuzzing
污点类型的漏洞包括大多数模糊发现的程序故障。这些漏洞通常表现为受污染的程序输入导致的内存访问违规。尽管模糊器已经帮助发现了大多数软件中的污点类型的漏洞,但它们受限于(i)测试覆盖范围;(ii)可模糊测试用例的可用性。因此,单独的模糊化不能提供所有污染类型的漏洞都已被发现的高度保证。在本文中,我们使用静态模板匹配找到模糊发现漏洞的递归。为了弥补模板匹配固有的不完整性,我们实现了一个简单而有效的匹配排名算法,使用测试覆盖率数据集中注意力在那些匹配,包括未经测试的代码。我们使用Clang/LLVM编译器工具链对我们的方法进行原型设计,并将其与afl-fuzzz(一种现代覆盖率引导模糊器)结合使用。使用案例研究进行的开放vSwitch代码库,我们表明,我们的原型发现角落的情况下,缺乏一个模糊的测试工具的模块。我们的工作表明,静态分析可以有效地补充模糊测试,是一个有用的除了安全评估工具集。此外,我们的技术承诺提高程序分析和测试的有效性,并作为一个混合漏洞发现框架的构建块。
2017-06-01 cs.CR cs.PL cs.SE
FlakiMe: Laboratory-Controlled Test Flakiness Impact Assessment. A Case Study on Mutation Testing and Program Repair
许多关于软件测试的研究都隐含着这样的假设:测试失败是确定性的,它们总是见证相同缺陷的存在。然而,这种假设并不总是正确的,因为一些测试失败是由于所谓的测试失败,即,不确定结果的测试。不幸的是,重复测试对测试和依赖于测试的活动(如突变测试和自动程序修复)有很大的影响。为了解决这个问题,我们引入了一个测试片状评估和实验平台,称为FlakiMe,支持播种(可控)程度的片状到一个给定的测试套件的行为。因此,FlakiMe为研究人员提供了在实验室控制条件下调查测试片状性对其技术影响的方法。我们使用FlakiME报告案例研究的结果和见解,这些案例研究评估了片状性对突变测试和程序修复的影响。这些结果表明,5%的片状故障足以影响突变评分,但效果大小是适度的(2% - 4%),而它完全消除了程序修复修补50%的主题程序的能力。我们还观察到,flakiness具有特定于案例的效果,这主要会破坏许多测试所覆盖的bug的修复。此外,我们发现,最小量的用户反馈足以减轻片状的影响。
2019-12-06 cs.SE
Recurrent Neural Networks for Fuzz Testing Web Browsers
University of Glasgow(格拉斯哥大学)
基于生成的模糊测试是一种软件测试方法,能够发现软件中不同类型的错误和漏洞。然而,它是已知的是非常耗时的设计和微调经典的模糊,以实现可接受的覆盖范围,即使是小规模的软件系统。为了解决这个问题,我们研究了一种基于机器学习的模糊测试方法,在该方法中,我们概述了一系列基于循环神经网络(RNN)的测试用例生成器,并训练那些现成的数据集上的测试用例生成器,其中最少的人为微调。与以前的工作相比,所提出的生成器不依赖于启发式采样策略,而是从预测分布中进行有原则的采样。我们提供了一个详细的分析,以证明在一个具有挑战性的Web浏览器测试场景的特点和有效性的建议发电机。实验结果表明,基于RNN的生成器能够提供更好的覆盖率比基于变异的方法,并能够发现路径没有发现一个经典的模糊。我们的研究结果补充了其他领域的研究结果,表明基于RNN的模糊生成是一种可行的途径,可以在使用合适的模型选择/分析程序的条件下提高软件质量。
2018-12-12 cs.CR cs.LG cs.SE
Not all bytes are equal: Neural byte sieve for fuzzing
Microsoft Research(微软研究院)
Fuzzing是一种流行的动态程序分析技术,用于发现复杂软件中的漏洞。Fuzzing涉及向目标程序提供精心编制的恶意输入,这些输入旨在导致崩溃、缓冲区溢出、内存错误和异常。以有效的方式制作恶意输入是一个困难的开放问题,通常生成此类输入的最佳方法是通过将均匀随机突变应用于预先存在的有效输入(种子文件)。我们提出了一种学习技术,使用神经网络学习模式的输入文件,从过去的模糊探索,以指导未来的模糊探索。特别地,神经模型学习一个函数来预测输入文件中的好(和坏)位置,以基于过去的突变和对应的代码覆盖信息来执行模糊突变。我们实现了几个神经模型,包括LSTM和序列到序列模型,可以编码可变长度的输入文件。我们将我们的模型在国家的最先进的AFL(美国模糊Lop)模糊,并显示显着的改进,在代码覆盖率,独特的代码路径,崩溃的各种输入格式,包括ELF,PNG,PDF和XML。
2017-11-10 cs.LG cs.SE
Breaking Models to Test the Judge: A Mutation Testing Approach for Semantic Evaluators of Domain Class Diagrams
Université de Montréal(蒙特利尔大学)
该研究针对领域类图语义评估器,提出一种变异测试方法,通过注入语义缺陷生成变体并评估评判器检测缺陷的能力,其结果与人工评估基本一致,可作为语义评判器分析的可扩展替代方案。
2026-08-17 cs.SE
Benchmarking and Revisiting Code Generation Assessment: A Mutation-Based Approach
本文提出10种变异策略和3个新指标,通过12,834个提示变体评估五个代码大语言模型,揭示现有基准测试存在有偏评估,呼吁更鲁棒的代码生成评估方法。
2025-05-11 cs.SE
Fuzzing with Quantitative and Adaptive Hot-Bytes Identification
本文提出一种定量与自适应热字节识别的模糊测试方法,通过表达性模型和信息量度量学习输入与分支条件的关系,并根据当前瓶颈分支动态调整策略,在真实程序和 LAVA-M 数据集上实现了更高的分支覆盖率和更多的漏洞发现。
2023-07-05 cs.CR cs.SE
Mutation Analysis for Cyber-Physical Systems: Scalable Solutions and Results in the Space Domain
为航天系统开发的机载嵌入式软件(空间软件)必须遵守严格的软件质量保证程序。例如,验证和确认活动通常由第三方组织执行和评估。为了进一步尽量减少人为错误的风险,欧洲空间局(欧空局)等空间机构正在寻找评估软件测试活动的自动化解决方案,这在这方面发挥着至关重要的作用。多年来,突变分析已被证明是一个很有前途的解决方案的自动化评估的测试套件,它包括测量的质量测试套件的注入故障导致测试失败的百分比。已经提出了许多优化技术,解决可扩展性和准确性问题,以促进突变分析的工业应用。然而,到目前为止,有两个主要问题阻止航天局在空间软件开发中实施突变分析。在本文中,我们增强了突变分析优化技术,使其适用于嵌入式软件,并提出了一个管道,成功地将它们集成到解决可扩展性和准确性问题,在这种情况下,如上所述。此外,我们报告的最大的研究涉及嵌入式软件系统的突变分析文献。我们的研究是欧空局ESTEC资助的一个研究项目的一部分,该项目涉及空间部门的私营公司(GomSpace Luxembourg和LuxSpace)。这些工业伙伴提供了本文所报告的案例研究,其中包括管理目前在轨微型卫星的星载软件系统、已部署立方体卫星使用的一套库以及欧空局认证的数学库。
2021-08-23 cs.SE
Low-Cost and Comprehensive Non-textual Input Fuzzing with LLM-Synthesized Input Generators
本文提出G2FUZZ方法,利用LLM合成并变异Python输入生成器生成非文本数据,再结合传统模糊测试工具进一步变异,实现低成本且全面的非文本输入模糊测试,在代码覆盖率和漏洞发现上优于SOTA工具。
2025-01-31 cs.SE
Potential Errors and Test Assessment in Software Product Line Engineering
软件产品线(SPL)是一种开发富变体软件系统的方法。与非变量系统相比,由于可能的产品数量越来越多,测试SPL是广泛的。存在不同的方法来测试SPL,但很少有研究评估这些测试的质量,通过错误检测能力。这种测试评估是基于错误注入到被测系统的正确版本。然而,据我们所知,在SPL工程的潜在错误从来没有被系统地确定之前。本文概述了现有的范例,指定软件产品线和错误,可能会发生在各自的规范过程。对于测试质量的评估,我们利用变异测试技术SPL工程和实现识别的错误作为变异算子。这使我们能够针对缺陷产品运行现有测试,以进行测试评估。从结果中,我们得出结论的错误倾向的调查SPL设计范式和如何SPL测试的质量可以提高。
2015-04-09 cs.SE
Latent Space Class Dispersion: Effective Test Data Quality Assessment for DNNs
针对DNN变异测试计算成本高的问题,提出潜空间类别离散度(LSCD)指标衡量测试集质量,实验证明其与变异得分高相关,可作为低成本替代方案。
2025-03-24 cs.SE
Property-Based Mutation Testing
变异测试是一种成熟的软件质量保证技术,用于评估测试套件。虽然它非常适合于估计测试套件的一般故障揭示能力,但当被测软件必须针对特定需求进行验证时,它并不实用和提供信息。这通常是嵌入式软件的情况,其中软件通常根据严格指定的安全属性进行验证。在这种情况下,(i)只有当突变体可以影响测试特性的满足时,突变体才是相关的,以及(ii)只有当突变体导致违反该特性时,突变体才被有意义地杀死。为了解决这些限制的突变测试,我们介绍了基于属性的突变测试,一种方法,用于评估测试套件的能力,行使软件相对于一个给定的属性。我们评估我们的基于属性的突变测试框架的Simulink模型的安全关键的网络物理系统(CPS)从汽车和航空电子领域,并演示如何基于属性的突变测试比常规突变测试更翔实。这些结果为CPS的突变测试和测试用例生成开辟了新的视角。
2023-01-31 cs.SE
Fuzz4All: Universal Fuzzing with Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Stuttgart(斯图加特大学)
本文提出 Fuzz4All,利用 LLM 自动提示与迭代模糊循环实现跨六种语言、九类系统的通用模糊测试,覆盖率优于专用工具并发现 98 个缺陷。
2024-12-09 cs.LG cs.SE
On the Use of Mutation in Injecting Test Order-Dependency
背景:测试片状性被认为是影响复杂软件系统回归测试过程的一个主要问题。不稳定的测试会表现出不确定的行为,向开发人员发送令人困惑的信号,并破坏他们对测试套件的信任。工业报告和研究都强调了片状性对软件质量和开发人员生产力的负面影响。虽然研究人员努力设计可以帮助开发人员解决测试片状问题的解决方案,但由于缺乏足够大的数据集来利用学习技术,这些解决方案的详细说明和评估受到阻碍。目的:为了解决这一问题,我们进行了一项探索性研究,探讨了一种新的方法来生产数据集的测试。方法:我们提出了一种方法,依赖于程序变异注入flakiness在软件测试。特别是,我们计划从测试中删除辅助语句,使其结果依赖于顺序,即,在某些运行命令中通过,但在其他命令中失败。我们打算将我们的基于变异的方法应用到一组14个Java项目中,以评估测试变异在注入顺序依赖性方面的有效性,并生成一个可用于研究片状的新数据集。
2021-04-15 cs.SE
Fuzzing for CPS Mutation Testing
本文提出利用模糊测试为安全攸关CPS的C/C++软件生成变异测试数据,并通过在轨卫星组件实证表明其显著优于或可补充符号执行。
2023-08-15 cs.SE
Mut4All: Fuzzing Compilers via LLM-Synthesized Mutators Learned from Bug Reports
Beijing Jiaotong University(北京交通大学);Singapore Management University(新加坡管理大学);University of Alberta(阿尔伯塔大学);Tianjin University(天津大学)
Mut4All通过LLM合成变异器自动发现编译器错误,实现高效且跨语言的模糊测试
2026-10-06 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Fuzzing-based Mutation Testing of C/C++ Software in Cyber-Physical Systems
本文提出用模糊测试替代符号执行对 CPS 中 C/C++ 软件进行变异测试,并在卫星系统组件上验证其可检测 40%-90% 开发者测试遗漏的变异体,结合 Clang、内存消毒器和 laf-intel 插桩效果最佳,检测率比符号执行最高提升 50 个百分点。
2025-07-03 cs.SE
Evaluating the effectiveness of class-level LLM-generated test suites in Python
American University of Sharjah(沙迦美国大学);The University of Jordan(约旦大学);Utah Valley University(犹他谷大学)
本研究评估提示策略和模型选择对LLM生成Python测试套件的影响,发现可执行性差异大,模型选择比提示更重要,建议以可执行性为门槛并结合变异测试评估。
2026-09-22 cs.SE
KQFuzz: Knowledge-Guided Fuzzing for Quantum Libraries via Large Language Models
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University of Technology(浙江工业大学);College of Computing and Data Science(计算与数据科学学院);School of Physical and Mathematical Sciences(物理与数学科学学院)
针对量子库模糊测试灵活性和效率不足问题,提出KQFuzz,利用代码库知识结合适应度引导评估与两级变异,实现高质量测试生成。在三个量子库上测试效果显著优于其他方法,发现多个错误,推动量子计算领域发展。
2026-07-29 cs.AI cs.MA cs.SE
DeepGo: Predictive Directed Greybox Fuzzing
College of Computer, National University of Defense Technology(计算机学院,国防科技大学)
针对现有定向灰盒模糊测试依赖启发式算法、对未执行路径缺乏预见导致效率低的问题,提出DeepGo工具,结合路径转移模型、VEE预测与RLF模型及动作组概念,通过最优路径高效抵达目标位点。
2025-07-29 cs.LG cs.SE
LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework
University of Bari, Bari, Italy(巴里大学)
AgoneTest框架通过标准化评估流程,评估大型语言模型生成的Java单元测试质量,展示其在覆盖率和缺陷检测上的表现,并探讨提示策略对测试质量的影响。
2025-11-26 cs.AI cs.SE
Interleaved Learning and Exploration: A Self-Adaptive Fuzz Testing Framework for MLIR
提出FLEX自适应模糊测试框架,利用神经网络生成、扰动采样和反馈增强循环,在MLIR上发现80个新缺陷,覆盖率提升42%。
2025-10-09 cs.SE
TEASMA: A Practical Methodology for Test Adequacy Assessment of Deep Neural Networks
TEASMA利用训练集和现有充分性度量构建DNN专用的故障检测率预测模型,以准确评估测试集充分性,实验证明其预测与实际FDR高度相关,为部署前验证DNN提供了可靠依据。
2024-10-09 cs.SE
How does Simulation-based Testing for Self-driving Cars match Human Perception?
本研究针对自动驾驶汽车仿真测试的越界质量指标与人类感知匹配度不明的问题,开发VR框架SDC-Alabaster开展50人实证研究,发现测试复杂度、交互可能性、年龄等会影响人类对测试用例安全性与真实感的评估,凸显相关研究的必要性。
2024-01-26 cs.SE