Large-Scale Empirical Analysis of Continuous Fuzzing: Insights from 1 Million Fuzzing Sessions
Osaka University(大阪大学);Kyushu University(九州大学);Nara Women’s University(奈良女子大学)
针对OSS-Fuzz中878个项目约112万次会话的实证研究表明,持续模糊测试早期可发现大量既有缺陷,且覆盖率增长有助于后续漏洞检测。
2025-10-18 cs.SE
"Silent Is Not Actually Silent": An Investigation of Toxicity on Bug Report Discussion
本研究通过定性分析GitHub上的203个缺陷线程,揭示了缺陷报告讨论中毒性行为的成因及其对协作和问题解决的负面影响,并提出了缓解建议。
2025-05-01 cs.SE
Fully Automated Functional Fuzzing of Android Apps for Detecting Non-crashing Logic Bugs
Android应用程序是基于GUI的事件驱动软件,近年来变得无处不在。显然,功能正确性对于应用程序的成功至关重要。然而,除了崩溃错误之外,非崩溃功能错误(在本工作中简称为“非崩溃错误”),如无意的功能故障,无声的用户数据丢失和不正确的显示信息也很普遍,即使在流行的,经过良好测试的应用程序中也是如此。这些非崩溃功能错误通常由程序逻辑错误引起,并在图形用户界面(GUI)上表现出来。在实践中,这些错误在有效检测它们方面构成了重大挑战,因为(1)当前的实践严重依赖于昂贵的小规模手动验证(缺乏自动化);(2)现代全自动测试仅限于崩溃错误(缺乏测试预言机)。本文通过引入独立视图模糊来填补这一空白,这是一种用于检测Android应用程序中非崩溃功能错误的新颖的全自动方法。受变形测试的启发,我们的主要见解是利用Android应用程序的普遍独立视图属性,从一组验证某些应用程序属性的种子测试中制造属性保留突变测试。变异的测试有助于在额外的不利条件下测试测试应用程序。任何属性冲突都表明可能存在功能错误,需要进一步手动确认。我们已经实现了我们的方法作为一个自动化的,端到端的功能模糊工具,精灵。给定一个应用程序,(1)Genie自动检测非崩溃错误,而不需要人类提供的测试和预言(因此完全自动化);(2)检测到的非崩溃错误是多种多样的(因此是通用的,不限于特定的功能属性),这使Genie与以前的工作不同。
2021-10-05 cs.SE
COMMITGUARD: Differential Slice Fuzzing for Commit-Induced Bug Detection
Cheriton School of Computer Science University of Waterloo(滑铁卢大学切里顿计算机科学学院);Department of Computer Science University of Calgary(卡尔加里大学计算机科学系)
COMMITGUARD是一种基于提交感知差分切片的模糊测试方法,通过对比提交前后代码切片的 sanitizer 报告,从300次开源项目提交中识别出7份候选漏洞,其中5份为真实漏洞,平均分析单提交耗时32.4分钟,修改函数覆盖率达75.36%。
2026-08-19 cs.SE
Mut4All: Fuzzing Compilers via LLM-Synthesized Mutators Learned from Bug Reports
Beijing Jiaotong University(北京交通大学);Singapore Management University(新加坡管理大学);University of Alberta(阿尔伯塔大学);Tianjin University(天津大学)
Mut4All通过LLM合成变异器自动发现编译器错误,实现高效且跨语言的模糊测试
2026-10-06 cs.SE
The Seeds of the FUTURE Sprout from History: Fuzzing for Unveiling Vulnerabilities in Prospective Deep-Learning Libraries
针对现有模糊测试框架难以适配新兴深度学习库的问题,提出首个通用模糊测试框架FUTURE,通过利用历史漏洞微调LLM生成测试代码,在多个新库及PyTorch中检测出大量未知漏洞,显著提升检测与复现效果。
2024-12-11 cs.SE
Fuzzing Deep-Learning Libraries via Automated Relational API Inference
越来越多的研究致力于DL模型测试。然而,在测试DL库方面的工作仍然有限,这些库是构建、训练和运行DL模型的基础。以前的模糊DL库工作只能为文档示例、开发人员测试或DL模型调用的API生成测试,留下大量未经测试的API。在本文中,我们提出了DeepREL,这是第一种自动推断关系API以实现更有效的DL库模糊化的方法。我们的基本假设是,对于被测的DL库,可能存在许多共享类似输入参数和输出的API;通过这种方式,我们可以很容易地从调用的API“借用”测试输入来测试其他关系API。此外,我们形式化的关系API的值等价和状态等价的概念,作为有效的错误发现的预言机。我们已经实现了DeepREL作为DL库的全自动端到端关系API推理和模糊技术,其1)基于API语法或语义信息自动推断潜在的API关系,2)合成用于调用关系API的具体测试程序,3)通过代表性测试输入验证推断的关系API,以及最后4)对经验证的关系API执行模糊化以发现潜在的不一致。我们对两个最流行的DL库PyTorch和TensorFlow的评估表明,DeepREL可以比最先进的FreeFuzz多覆盖157%的API。到目前为止,DeepREL总共检测到162个bug,其中106个已经被开发人员确认为以前未知的bug。令人惊讶的是,DeepREL在三个月的时间内检测到了整个PyTorch问题跟踪系统中13.5%的高优先级错误。此外,…
2022-07-12 cs.SE
An Empirical Study of OSS-Fuzz Bugs
连续模糊是一种越来越流行的自动质量和安全保证技术。Google维护OSS-Fuzz:一个针对开源软件的持续模糊服务。我们对OSS-Fuzz进行了第一次实证研究,分析了在316个项目中发现的23,907个错误。我们研究的模糊发现故障的特点,这种故障的生命周期,随着时间的推移,模糊运动的演变。我们发现,OSS-Fuzz通常能有效地快速找到bug,开发人员通常能快速修补它们。然而,漏洞,超时,内存不足的错误是有问题的,人们很少文件的安全漏洞的CVE,和模糊活动往往表现出间断的均衡,开发人员可能会惊讶于发现的bug的大峰值。我们的研究结果对未来的模糊研究和实践的影响。
2021-03-21 cs.CR cs.SE
Risk Estimation in Differential Fuzzing via Extreme Value Theory
University of Texas at El Paso(埃尔帕索德克萨斯大学);Ruhr University Bochum(波鸿鲁尔大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文研究利用极值理论(EVT)估计差分模糊测试中遗漏或低估软件错误的风险,通过分析随机过程的尾部分布,在真实Java库实验中证明基于EVT的外推优于基线方法并节省数千万次字节码执行。
2025-11-04 cs.SE
Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
深度学习(DL)技术在许多具有挑战性的任务中被证明是有效的,并在实践中被广泛采用。然而,以前的工作表明,DL库,构建和执行DL模型的基础,包含错误,并可能导致严重的后果。不幸的是,现有的测试方法仍然不能全面地测试DL库。它们利用现有的训练模型,只在模型推理阶段检测错误。在这项工作中,我们提出松饼来解决这些问题。为此,Muffin应用了一种专门设计的模型模糊方法,该方法允许它生成不同的DL模型来探索目标库,而不是仅依赖于现有的训练模型。Muffin通过定制一组度量标准来测量不同DL库之间的不一致性,从而在模型训练阶段实现了差异测试。通过这种方式,Muffin可以最好地运用库代码来检测更多的bug。为了评估Muffin的有效性,我们对三个广泛使用的DL库进行了实验。结果表明,Muffin可以在流行的DL库的最新版本中检测到39个新错误,包括Tensorflow,CNTK和Theano。
2022-05-09 cs.SE
GraphFuzz: Automated Testing of Graph Algorithm Implementations with Differential Fuzzing and Lightweight Feedback
针对图算法测试输入空间大、代码覆盖引导模糊测试效率低的问题,提出首个面向图算法的反馈引导模糊测试框架GraphFuzz,通过算法特定轻量反馈提升语料多样性,支持黑/灰盒测试,结合差分测试发现12个未知漏洞。
2025-02-21 cs.SE
DESIL: Detecting Silent Bugs in MLIR Compiler Infrastructure
本文提出 DESIL,一种针对 MLIR 编译器基础设施的静默 Bug 检测方法,通过定义 UB 消除规则生成无 UB 程序、设计 lowering 路径优化策略并结合差分测试,成功检测出 23 个静默 Bug 和 19 个崩溃 Bug。
2025-04-02 cs.SE
Fuzzing: Randomness? Reasoning! Efficient Directed Fuzzing via Large Language Models
Security Technology Inc.(360安全技术公司);School of Science Edith Cowan University(科学学院,埃迪斯科文大学)
针对模糊测试中随机性导致效率低下的问题,提出融合大语言模型的定向模糊测试框架RandLuzz,通过生成可达种子、构建漏洞专属变异器提升测试效率,实验验证其相较现有工具速度提升显著。
2025-06-30 cs.AI cs.CR cs.PL
HornFuzz: Fuzzing CHC solvers
针对缺乏 CHC 求解器专用模糊测试工具的问题,提出基于蜕变测试的变异灰盒工具 HornFuzz,并在 Spacer 中发现多个严重缺陷。
2023-06-08 cs.SE
Large Language Models are Zero-Shot Fuzzers: Fuzzing Deep-Learning Libraries via Large Language Models
检测深度学习(DL)库中的错误(例如,TensorFlow/PyTorch)对于几乎所有下游DL系统都至关重要,可以确保最终用户的有效性/安全性。同时,传统的模糊技术对于这样一个具有挑战性的领域可能很难有效,因为输入DL程序需要满足输入语言(例如,Python)语法/语义和用于张量计算的DL API输入/形状约束。为了解决这些限制,我们提出TitanFuzz -第一种直接利用大语言模型(LLM)来生成模糊DL库的输入程序的方法。LLM是在数十亿代码片段上训练的巨大模型,可以自动回归生成类似人类的代码片段。我们的关键见解是,现代LLM还可以在其训练语料库中包含大量调用DL库API的代码片段,因此可以隐式地学习语言语法/语义和复杂的DL API约束,以生成有效的DL程序。更具体地说,我们使用生成和填充LLM(例如,Codex/InCoder)生成和变异有效/多样的输入DL程序,以进行模糊化。我们的实验结果表明,TitanFuzz可以实现比TensorFlow/PyTorch上最先进的模糊器高30.38%/50.84%的代码覆盖率。此外,TitanFuzz能够检测到65个bug,其中41个已经被确认为以前未知的bug。本文表明,现代Titanic LLM可以直接执行几十年来研究的基于生成和基于突变的模糊,同时完全自动化,可推广,并适用于传统方法(如DL系统)具有挑战性的领域。我们希望Ti…
2023-03-07 cs.SE
Agentic Fuzzing: Opportunities and Challenges
KAIST(韩国科学技术院)
本文提出代理模糊测试方法,通过历史漏洞引导深度代理进行推理,发现逻辑漏洞变种。AFuzz在V8引擎发现40个漏洞,获35000美元奖金,并被分配两个CVE。
2026-05-11 cs.CR cs.SE
MoCo: Fuzzing Deep Learning Libraries via Assembling Code
针对深度学习库模糊测试在输入多样性、测试预言构建等方面的局限,提出基于代码组装的MoCo模糊测试方法,可快速定位漏洞,在三类主流DL库中检测出64个新漏洞。
2024-05-13 cs.SE
TOPr: Enhanced Static Code Pruning for Fast and Precise Directed Fuzzing
本文提出TOPr,通过函数签名匹配等轻量级启发式增强静态代码剪枝,在保持高速的同时精确恢复间接控制流,显著提升定向模糊测试的速度、可达性与缺陷发现效率。
2023-09-18 cs.SE
MirrorFuzz: Leveraging LLM and Shared Bugs for Deep Learning Framework APIs Fuzzing
College of Electronic Engineering, National University of Defense Technology(国防科技大学电子工程学院)
针对深度学习框架API的共享缺陷问题,提出MirrorFuzz,利用历史缺陷数据匹配相似API,并借助大语言模型生成代码进行模糊测试,显著提升覆盖率并发现大量新缺陷。
2025-10-17 cs.CR cs.SE
Silent Bugs in Deep Learning Frameworks: An Empirical Study of Keras and TensorFlow
Polytechnique Montreal(蒙特利尔理工学院)
本研究首次实证调查Keras与TensorFlow中的静默缺陷,通过分析1168个问题识别出77个可复现缺陷,分类并评估其影响,提出防护指南。
2023-09-01 cs.LG cs.SE
LLAMAFUZZ: Large Language Model Enhanced Greybox Fuzzing
University of California, Davis(加州大学戴维斯分校);University of Hong Kong(香港大学)
本文提出LLAMAFUZZ,利用大语言模型生成有效输入,提升灰盒模糊测试对结构化数据的处理能力,实验表明其在发现漏洞方面表现优异。
2026-03-17 cs.AI cs.CR cs.SE
LLM-Based Invariant Testing for Software Functional Bugs
Northeastern University(东北大学);University of California, Davis(加州大学戴维斯分校);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
研究针对软件功能缺陷,提出基于大语言模型的LISA不变式测试框架,在API n-gram反馈指导下迭代生成API序列和程序不变式,相比其他方法有更高缺陷检测率和代码覆盖率,能为开发者提供高可信度缺陷候选。
2026-07-22 cs.SE
INSTILLER: Towards Efficient and Realistic RTL Fuzzing
针对现有CPU RTL模糊测试输入指令过长、难模拟真实中断等问题,提出基于VACO的指令蒸馏工具INSTILLER,搭配硬件相关种子策略,在覆盖率、漏洞检测等指标上优于现有方法。
2024-01-29 cs.CR cs.SE
Pythia: Grammar-Based Fuzzing of REST APIs with Coverage-guided Feedback and Learning-based Mutations
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
本文介绍了Pythia,这是第一个模糊器,它通过覆盖率引导反馈和基于学习的变异策略来增强基于语法的模糊,用于有状态的REST API模糊。Pythia使用统计模型从结构上有效的种子输入中学习目标REST API的常见使用模式。然后,它通过注入少量偏离常见使用模式的噪声,同时仍然保持句法有效性,从而生成基于学习的突变。Pythia的变异策略有助于生成语法上有效的测试用例,覆盖率引导的反馈有助于优先考虑更有可能找到bug的测试用例。我们提出了三个生产规模的实验评估,开源云服务表明,Pythia优于以前的方法,无论是在代码覆盖率和新的错误发现。使用Pythia,我们发现了29个新的错误,我们正在向各自的服务所有者报告的过程中。
2020-05-23 cs.LG cs.SE
DARWIN: Survival of the Fittest Fuzzing Mutators
Fuzzing是一种被业界广泛采用的自动化软件测试技术。一个流行的变体是基于变异的模糊,它在实践中发现了大量的错误。虽然研究界已经研究基于突变的模糊化多年,但模糊器内的算法交互非常复杂,并且可以与模糊器的每个实例中的随机性一起导致不可预测的效果。大多数改善这种脆弱交互的努力都集中在优化种子调度上。然而,像Google的FuzzBench这样的现实世界的结果突出表明,这些方法在实践中并没有始终如一地显示出改进。另一种改进模糊算法的方法是优化变异调度。不幸的是,现有的变异调度方法也未能说服,因为缺少现实世界的改善或太多的用户控制的参数,其配置需要有关目标程序的专家知识。这就留下了一个具有挑战性的问题,即巧妙地处理测试用例并实现可测量的改进。我们提出了DARWIN,一种新的突变调度程序,第一个显示模糊的改进,在一个现实的情况下,不需要引入额外的用户可配置的参数,开放这种方法的广泛模糊社区。达尔文使用演化策略系统地优化和适应模糊过程中变异算子的概率分布。我们实现了一个原型的基础上流行的通用模糊AFL。在我们自己的覆盖率实验中,DARWIN在FuzzBench中的表现明显优于最先进的突变调度器和AFL基线,并在MAGMA基准测试中找到了21个错误中最快的15个。最后,DARWIN在广泛使用的实际应用中发现了20个独特的bug(包括一个新bug),比AFL多66%。
2022-10-21 cs.CR cs.SE
Learning Inputs in Greybox Fuzzing
灰盒模糊测试是一种轻量级的测试方法,可以有效地检测错误和安全漏洞。然而,灰盒模糊器随机地改变程序输入以执行新的路径;这使得覆盖由复杂检查保护的代码变得具有挑战性。在本文中,我们提出了一种技术,扩展灰盒模糊的方法,学习新的输入的基础上已经探索的程序执行。可以学习这些输入,以便它们引导对特定执行的探索,例如,增加路径覆盖或揭示漏洞的探索。我们已经评估了我们的技术,并将其与传统的灰盒模糊26现实世界的基准。相比之下,我们的技术显着增加了路径覆盖率(高达3倍),并检测到更多的错误(高达38%),通常更快。
2018-07-20 cs.CR cs.SE
May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs
Nanjing University(南京大学);Nantong University(南通大学)
FUEL通过LLMs利用反馈信息提升深度学习框架模糊测试的效果,提高代码覆盖率并发现多个新漏洞。
2026-01-17 cs.SE
Fuzzing Deep Learning Compilers with HirGen
针对深度学习编译器高级IR优化阶段缺陷率高的问题,提出HirGen自动化测试技术,通过三种覆盖率准则、高级IR语言特性利用及三个测试预言,在TVM中检测出21个缺陷,并优于现有基线。
2023-06-21 cs.SE
Greybox Fuzzing of Distributed Systems
本文提出首个分布式系统灰盒模糊测试框架 Mallory,通过 Lamport 时间线抽象和 Q-learning 自适应注入故障,相比 Jepsen 探索更多行为并更快发现缺陷,在 Braft、Dqlite 和 Redis 等系统中发现 22 个零日缺陷。
2023-08-12 cs.SE
Large Language Models are Edge-Case Fuzzers: Testing Deep Learning Libraries via FuzzGPT
本文提出 FuzzGPT 技术,通过微调和上下文学习引导大型语言模型合成异常程序以进行模糊测试,在 PyTorch 和 TensorFlow 上检测出 76 个漏洞,大幅超越 TitanFuzz。
2023-04-04 cs.SE
What Happens When We Fuzz? Investigating OSS-Fuzz Bug History
本研究通过分析 OSS-Fuzz 的 44,102 个历史缺陷,发现模糊测试能将缺陷中位未解决时间缩短至 2 天,有效帮助项目在发布前快速修复问题。
2023-05-19 cs.SE
REST API Fuzzing by Coverage Level Guided Blackbox Testing
随着Web应用程序的增长,REST API已成为服务之间的主要通信方法。为了保证系统的可靠性和安全性,软件质量可以通过有效的测试方法来保证。黑盒模糊测试是进行大规模测试的有效方法之一。然而,传统的黑盒模糊测试产生随机数据而不判断输入的质量。我们为REST API实现了一个黑盒模糊测试方法。通过测试覆盖水平反馈,解决了在不知道突变有效性的情况下盲目突变的问题。我们还通过降低REST API的测试复杂度来增强变异策略,生成更合适的测试用例来覆盖可能的路径。我们通过测试两个大型开源项目来评估我们的方法,并报告和确认了89个错误。此外,我们在APIs.guru中发现了来自64个远程API服务的351个错误。该工作在https://github.com/iasthc/hsuan-fuzz上。
2021-12-31 cs.SE
Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
North Carolina State University(北卡罗来纳州立大学);ShanghaiTech University(上海科技大学);Cornell University(康奈尔大学)
本文提出FlashFuzz,利用LLM自动合成API级测试驱动程序,将覆盖率引导模糊测试有效应用于PyTorch和TensorFlow,显著提升覆盖率、有效率和生成速度,并发现42个未知缺陷。
2025-09-18 cs.SE
Automated Conformance Testing for JavaScript Engines via Deep Compiler Fuzzing
JavaScript(JS)是一种流行的、与平台无关的程序设计语言。为了确保JS程序在不同平台上的互操作性,JS引擎的实现应该符合ECMAScript标准。然而,这样做是具有挑战性的,因为API行为有许多微妙的定义,并且定义不断发展。我们提出了COMFORT,一个新的编译器模糊框架,用于检测JS引擎的错误和行为偏离ECMAScript标准。COMFORT利用基于深度学习的语言模型的最新进展,自动生成JS测试代码。与以前的模糊器不同,COMFORT利用结构良好的ECMAScript规范自动生成测试数据以及测试程序,以暴露开发人员或手动编写的测试用例可能忽略的错误。然后,COMFORT在生成的测试用例上应用差异测试方法,以暴露标准一致性错误。我们将COMFORT应用于十个主流JS引擎。在200小时的自动化并发测试运行中,我们发现了所有测试过的JS引擎中的错误。我们已经确定了158个独特的JS引擎错误,其中129个已经得到验证,115个已经被开发人员修复。此外,21个Comfort生成的测试用例已添加到Test262,官方ECMAScript一致性测试套件。
2021-04-15 cs.PL cs.SE
Fuzzm: Finding Memory Bugs through Binary-Only Instrumentation and Fuzzing of WebAssembly
WebAssembly二进制文件通常是从内存不安全的语言(如C和C++)编译的。由于WebAssembly的线性内存和缺少保护功能,例如,堆栈金丝雀,源代码级内存漏洞可在编译的WebAssembly二进制文件中利用,有时甚至比本机代码更容易。本文解决了通过WebAssembly的第一个仅二进制模糊器检测此类漏洞的问题。我们的方法,称为Fuzzm,结合金丝雀仪器检测堆栈和堆上的溢出和下溢,一个有效的覆盖仪器,一个WebAssembly VM,和流行的AFL模糊的输入生成算法。除了作为模糊的预言机,我们的金丝雀还作为一个独立的二进制硬化技术,以防止在生产中利用脆弱的二进制文件。我们用28个真实的WebAssembly二进制文件来评估Fuzzm,其中一些是从源代码编译的,另一些是在没有源代码的情况下发现的。模糊器探索数千条执行路径,触发数十次崩溃,每秒执行数百次程序执行。当用于二进制加固时,该方法可以防止以前发布的针对易受攻击的WebAssembly二进制文件的漏洞,同时降低运行时开销。
2021-10-28 cs.CR cs.SE
Effectiveness and Scalability of Fuzzing Techniques in CI/CD Pipelines
Fuzzing已被证明是自动化软件测试的一项基本技术,但也是一项昂贵的技术。随着CI/CD实践在软件开发中的越来越多的采用,一个自然的问题是“考虑到代码更改的速度和自动化交付/部署实践,将模糊集成到CI/CD管道中的最佳方法是什么?”'.事实上,Böhme和Zhu最近的一项研究表明,每五个bug中就有四个是由最近的代码更改(即回归)引入的。在本文中,我们将从自动化软件测试和持续开发两个角度来仔细研究模糊器与CI/CD管道的集成。首先,我们研究了一个优化的机会来分类不需要模糊处理的提交,并通过实验分析发现,在我们分析的9个库中,有3个库的CI/CD中的平均模糊处理工作量可以减少约63%(6个库的平均模糊处理工作量>40%)。其次,我们调查了模糊活动持续时间对CI/CD流程的影响:较短的模糊活动,例如15分钟(与现场24小时的智慧相反)有助于更快的管道,并且仍然可以发现重要的错误,但也可能降低其检测复杂错误的能力。最后,我们讨论了一个优先级策略,自动分配资源的基础上,一组预定义的优先级策略模糊活动。我们的研究结果表明,连续模糊测试(作为CI/CD自动化测试的一部分)确实是有益的,有很多优化的机会,以提高模糊测试的有效性和可扩展性。
2022-06-07 cs.CR cs.SE
Fuzzing BusyBox: Leveraging LLM and Crash Reuse for Embedded Bug Unearthing
针对嵌入式设备中广泛使用的BusyBox的漏洞问题,提出利用LLM生成目标特定初始种子增强模糊测试、复用相似目标崩溃数据的两种技术,无需传统模糊测试即可在最新BusyBox中发现崩溃,提升嵌入式漏洞检测效率。
2024-03-06 cs.CR cs.SE
Evolutionary Generative Fuzzing for Differential Testing of the Kotlin Compiler
本文提出一种黑盒生成式模糊测试方法,结合语义接口模型、扩充上下文无关文法及两种遗传算法生成Kotlin程序,用于K1和K2编译器的差分测试,有效发现并确认了多个编译器缺陷。
2024-01-12 cs.SE
QuSema: Detecting Silent Bugs in Quantum Libraries via Quantum-knowledge-enhanced Agents
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University of Technology(浙江工业大学)
QuSema是一个利用量子语义和文档作为预言机的自主测试智能体,通过智能体循环检测量子库中的静默缺陷,在基准上优于现有工具并发现多个新缺陷。
2026-10-08 cs.AI cs.SE quant-ph
Harnessing LLMs for Document-Guided Fuzzing of OpenCV Library
本文提出 VISTAFUZZ 技术,利用大语言模型解析 OpenCV API 文档并提取参数约束与依赖关系,以文档引导方式生成测试输入进行模糊测试,在 330 个 API 中发现 17 个新缺陷。
2025-07-19 cs.SE
Fuzzing Processing Pipelines for Zero-Knowledge Circuits
本文提出首个针对零知识电路处理流水线的系统性模糊测试技术,基于蜕变测试预言检测逻辑漏洞,实现为开源工具Circuzz,在4个不同ZK流水线中发现16个漏洞,其中15个已被修复。
2024-11-04 cs.CR cs.PL cs.SE
Hunting CUDA Bugs at Scale with cuFuzz
NVIDIA(英伟达);Stanford University(斯坦福大学)
cuFuzz通过全程序模糊测试解决GPU模糊测试中的虚假阳性、缺乏设备端反馈和工具不兼容问题,发现43个新漏洞,包括非法内存访问和数据竞争。
2026-03-12 cs.CR cs.SE
Stateful Greybox Fuzzing
针对协议实现中需特定状态才能触发的缺陷,本文提出自动识别 enum 具名常量状态变量并跟踪状态序列的有状态灰盒模糊测试方法,显著提升状态覆盖、代码覆盖和漏洞发现效率。
2022-05-16 cs.CR cs.SE
Fuzzing Automatic Differentiation in Deep-Learning Libraries
针对深度学习库中自动微分组件测试不足的问题,提出首个API级模糊测试器$\ abla$Fuzz,利用差分测试一阶及高阶梯度并过滤数值不稳定性误报,在四大主流库中检测出173个缺陷,显著优于现有方法。
2023-02-08 cs.SE
FeatureFuzz: Treating Bug-prone Features as Core Primitives for Compiler Fuzzing
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Institute of Dataspace, Hefei Comprehensive National Science Center(合肥综合性国家科学中心数据空间研究所);Honor Device Co., Ltd(荣耀终端有限公司)
FeatureFuzz通过语义逻辑重组发现编译器缺陷,有效提升模糊测试的多样性与发现能力。
2026-10-19 cs.SE
TorchProbe: Fuzzing Dynamic Deep Learning Compilers
本文提出TorchProbe方法,通过保持语义的代码变换生成动态特性测试用例,对PyTorch 2.0编译器及Triton进行模糊测试,发现20个未知缺陷。
2023-10-30 cs.SE
ResolverFuzz: Automated Discovery of DNS Resolver Vulnerabilities with Query-Response Fuzzing
针对DNS解析器漏洞检测难的问题,提出聚焦短查询-响应序列、结合PCFG输入生成与字节级变异、用差分测试聚类识别非崩溃漏洞的ResolverFuzz系统,在主流DNS软件中发现23个漏洞,19个已确认修复,15个获CVE编号。
2023-10-04 cs.CR cs.NI cs.SE
Assurances in Software Testing: A Roadmap
作为研究人员,我们已经知道如何使测试更有效和更高效地发现bug。然而,由于模糊(即,自动化测试)在实践中越来越广泛地被采用,从业者们会问:模糊测试活动提供了什么保证不会暴露错误?在合理的剩余风险下,何时停止模糊器是安全的?模糊器应该运行多久才能达到足够的覆盖范围?现在是我们超越日益复杂的测试技术的创新,围绕测试过程的解释和量化建立一个知识体系,并制定合理的方法,以可衡量的准确性估计和推断这些数量的时候了。在我们对未来的展望中,从业者利用丰富的统计工具集来评估剩余风险,获得统计保证,并分析正在进行的模糊活动的成本效益权衡。我们提出了一个总体框架作为第一个出发点,以应对这一根本挑战,并讨论了大量的具体机会,为未来的研究。
2018-12-17 cs.SE
MTFuzz: Fuzzing with a Multi-Task Neural Network
Fuzzing是一种广泛用于检测软件错误和漏洞的技术。大多数流行的模糊器使用进化搜索来生成新的输入以最大化代码覆盖率。从本质上讲,这些模糊器从一组种子输入开始,对其进行变异以生成新的输入,并使用进化适应度函数来识别有希望的输入以进行进一步的变异。尽管取得了成功,但进化模糊者往往会陷入长序列的非生产性突变中。近年来,基于机器学习(ML)的变异策略已经报道了有希望的结果。然而,现有的基于ML的模糊器受到缺乏质量和多样性的训练数据的限制。由于目标程序的输入空间是高维和稀疏的,因此收集证明成功和不成功突变的许多不同样本来训练模型是极其昂贵的。在本文中,我们通过使用多任务神经网络来解决这些问题,该网络可以基于多个相关任务的不同训练样本来学习输入空间的紧凑嵌入(即,预测不同类型的覆盖率)。紧凑嵌入可以通过将大多数突变集中在嵌入的梯度高的部分上来指导突变过程。\tool发现$11$以前看不见的错误,并实现了平均$2\times$更多的边缘覆盖率相比,5个国家的最先进的模糊10个现实世界的程序。
2020-09-11 cs.SE
SyzScope: Revealing High-Risk Security Impacts of Fuzzer-Exposed Bugs in Linux kernel
模糊技术已经成为软件缺陷发现的最有效的方法之一。近年来,出现了24*7连续模糊测试平台来测试软件的关键部分,例如,Linux内核。虽然能够发现许多错误并提供复制器(例如,概念证明),一个主要问题是它们忽略了本应内置的关键功能,即,评估bug的安全影响。众所周知,缺乏对安全影响的理解可能会导致错误修复延迟以及补丁传播。在本文中,我们开发SyzScope,一个系统,可以自动发现新的“高风险”的影响,给出了一个错误,看似“低风险”的影响。通过分析syzbot上的一千多个低风险bug,SyzScope成功地确定了183个低风险bug(超过15%)实际上包含高风险影响,例如,控制流劫持和任意内存写入,其中一些仍然没有可用的补丁。
2021-11-11 cs.CR cs.SE
XAMT: Cross-Framework API Matching for Testing Deep Learning Libraries
本文提出跨框架模糊测试方法XAMT,通过匹配不同深度学习框架中功能等价的API并进行差分测试,在五个主流框架上检测出17个缺陷,弥补了框架内测试的不足。
2025-08-18 cs.SE
Rethinking Smart Contract Fuzzing: Fuzzing With Invocation Ordering and Important Branch Revisiting
区块链智能合约已经产生了各种有趣和引人注目的应用程序,并成为互联网的革命性力量。不少从业者致力于开发检测智能合约中bug的工具。一种努力是围绕静态分析技术,这种技术严重地受到高假阳性率的影响。另一系列的工作集中在模糊技术。不幸的是,目前智能合约的模糊方法倾向于从合约的初始状态开始进行模糊,这会花费太多的能量围绕初始状态,因此通常无法发现其他状态触发的错误。此外,大多数现有的方法平等地对待每个分支,未能照顾到那些罕见的或更有可能拥有bug的分支。这可能会导致资源浪费在普通分支上。在本文中,我们试图从三个方面来解决这些挑战:(1)在生成函数调用序列时,我们显式地考虑函数之间的数据依赖关系,以便于探索更丰富的状态。我们通过附加一个新的序列S2来进一步延长函数调用序列S1,这样S2就可以从不同于初始状态的状态开始模糊化。(2)我们采用了一个分支距离为基础的措施,不断发展的测试用例迭代向目标分支。(3)我们采用分支搜索算法来发现稀有和脆弱的分支,并设计一个能量分配机制来处理这些关键分支。我们实现了IR-Fuzz,并在12 K个真实世界的合同中对其进行了广泛的评估。实证结果表明:(i)IR-Fuzz比最先进的模糊方法实现了高28%的分支覆盖率,(ii)IR-Fuzz检测到更多的漏洞,并将漏洞检测的平均准确性提高了7%。
2023-01-12 cs.CR cs.PL cs.SE
Free Lunch for Testing: Fuzzing Deep-Learning Libraries from Open Source
深度学习(DL)系统可以让我们的生活变得更加轻松,因此越来越受到学术界和工业界的关注。同时,DL系统中的错误可能是灾难性的,甚至可能在安全关键应用中威胁到人类生命。迄今为止,大量的研究工作一直致力于测试DL模型。然而,有趣的是,测试底层DL库的工作仍然有限,这些库是构建、优化和运行DL模型的基础。一个潜在的原因是,底层DL库的测试生成可能相当具有挑战性,因为它们的公共API主要在Python中公开,由于动态类型,甚至很难自动确定API输入参数类型。在本文中,我们提出了FreeFuzz,第一种通过从开源中挖掘来模糊DL库的方法。更具体地说,FreeFuzz从三个不同的来源获得代码/模型:1)来自库文档的代码片段,2)库开发人员测试,以及3)野生的DL模型。然后,FreeFuzz自动运行所有收集的代码/模型,并使用插装来跟踪每个覆盖的API的动态信息,包括调用期间每个参数的类型和值,以及输入/输出张量的形状。最后,FreeFuzz将利用跟踪的动态信息对每个覆盖的API执行模糊测试。在PyTorch和TensorFlow这两个最流行的DL库上对FreeFuzz进行的广泛研究表明,FreeFuzz能够自动跟踪模糊1158个流行API的有效动态信息,比最先进的LEMON多9倍,开销比LEMON低3.5倍。到目前为止,FreeFuzz已经检测到PyTorch和TensorFlow的49个bug…
2022-02-25 cs.SE
Fuzz4All: Universal Fuzzing with Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Stuttgart(斯图加特大学)
本文提出 Fuzz4All,利用 LLM 自动提示与迭代模糊循环实现跨六种语言、九类系统的通用模糊测试,覆盖率优于专用工具并发现 98 个缺陷。
2024-12-09 cs.LG cs.SE