Free Lunch for Testing: Fuzzing Deep-Learning Libraries from Open Source
深度学习(DL)系统可以让我们的生活变得更加轻松,因此越来越受到学术界和工业界的关注。同时,DL系统中的错误可能是灾难性的,甚至可能在安全关键应用中威胁到人类生命。迄今为止,大量的研究工作一直致力于测试DL模型。然而,有趣的是,测试底层DL库的工作仍然有限,这些库是构建、优化和运行DL模型的基础。一个潜在的原因是,底层DL库的测试生成可能相当具有挑战性,因为它们的公共API主要在Python中公开,由于动态类型,甚至很难自动确定API输入参数类型。在本文中,我们提出了FreeFuzz,第一种通过从开源中挖掘来模糊DL库的方法。更具体地说,FreeFuzz从三个不同的来源获得代码/模型:1)来自库文档的代码片段,2)库开发人员测试,以及3)野生的DL模型。然后,FreeFuzz自动运行所有收集的代码/模型,并使用插装来跟踪每个覆盖的API的动态信息,包括调用期间每个参数的类型和值,以及输入/输出张量的形状。最后,FreeFuzz将利用跟踪的动态信息对每个覆盖的API执行模糊测试。在PyTorch和TensorFlow这两个最流行的DL库上对FreeFuzz进行的广泛研究表明,FreeFuzz能够自动跟踪模糊1158个流行API的有效动态信息,比最先进的LEMON多9倍,开销比LEMON低3.5倍。到目前为止,FreeFuzz已经检测到PyTorch和TensorFlow的49个bug…
2022-02-25 cs.SE
MoCo: Fuzzing Deep Learning Libraries via Assembling Code
针对深度学习库模糊测试在输入多样性、测试预言构建等方面的局限,提出基于代码组装的MoCo模糊测试方法,可快速定位漏洞,在三类主流DL库中检测出64个新漏洞。
2024-05-13 cs.SE
LLM-Powered Silent Bug Fuzzing in Deep Learning Libraries via Versatile and Controlled Bug Transfer
Hong Kong University of Science and Technology(香港科技大学);Lingnan University(岭南大学);Huawei(华为);Central University of Finance and Economics(中央财经大学)
利用大语言模型实现深度学习库中无声bug的模糊测试,通过多功能且可控的bug转移技术发现79个新bug。
2026-02-27 cs.SE
Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
North Carolina State University(北卡罗来纳州立大学);ShanghaiTech University(上海科技大学);Cornell University(康奈尔大学)
本文提出FlashFuzz,利用LLM自动合成API级测试驱动程序,将覆盖率引导模糊测试有效应用于PyTorch和TensorFlow,显著提升覆盖率、有效率和生成速度,并发现42个未知缺陷。
2025-09-18 cs.SE
Testing Deep Learning Library APIs via Cross-Framework Differential Fuzzing
The University of Queensland(昆士兰大学)
本文提出跨框架差分模糊测试方法Xamt,用于测试7个深度学习库的API,构建676个经验证的API组,识别出72个差异案例,其中25份已被开发者确认并修复。
2026-10-30 cs.SE
RULF: Rust Library Fuzzing via API Dependency Graph Traversal
鲁棒性是Rust库开发的一个关键问题,因为Rust承诺如果开发人员只使用安全的API,就不会有未定义行为的风险。Fuzzing是一种检验程序健壮性的实用方法。然而,由于缺乏模糊目标,现有的模糊工具不能直接应用于库API。模糊目标的设计主要依靠人工逐个设计,劳动强度大。为了解决这个问题,本文提出了一种新的自动模糊目标生成方法,通过API依赖图遍历模糊Rust库。我们确定了图书馆模糊化的几个基本要求,包括模糊目标的有效性和有效性,高API覆盖率和效率。为了满足这些要求,我们首先采用宽度优先搜索修剪找到API序列的长度阈值下,然后我们向后搜索更长的序列未覆盖的API,最后我们优化的序列集作为一个集合覆盖问题。我们实现了我们的模糊目标生成器,并进行模糊实验与AFL++在几个现实世界中流行的Rust项目。我们的工具最终为每个库生成7到118个模糊目标,API覆盖率高达0.92。我们以24小时为阈值对每个目标进行了测试,并从7个库中找到了30个以前未知的bug。
2021-10-22 cs.SE
Risk Estimation in Differential Fuzzing via Extreme Value Theory
University of Texas at El Paso(埃尔帕索德克萨斯大学);Ruhr University Bochum(波鸿鲁尔大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文研究利用极值理论(EVT)估计差分模糊测试中遗漏或低估软件错误的风险,通过分析随机过程的尾部分布,在真实Java库实验中证明基于EVT的外推优于基线方法并节省数千万次字节码执行。
2025-11-04 cs.SE
Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models
本文提出 LLM 驱动的 DFUZZ,通过 API 白盒信息引导边界情况推理与测试程序生成,提升 TensorFlow 和 PyTorch 的 API 覆盖率并发现 37 个 bug。
2025-01-08 cs.SE
Large Language Models are Edge-Case Fuzzers: Testing Deep Learning Libraries via FuzzGPT
本文提出 FuzzGPT 技术,通过微调和上下文学习引导大型语言模型合成异常程序以进行模糊测试,在 PyTorch 和 TensorFlow 上检测出 76 个漏洞,大幅超越 TitanFuzz。
2023-04-04 cs.SE
KQFuzz: Knowledge-Guided Fuzzing for Quantum Libraries via Large Language Models
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University of Technology(浙江工业大学);College of Computing and Data Science(计算与数据科学学院);School of Physical and Mathematical Sciences(物理与数学科学学院)
针对量子库模糊测试灵活性和效率不足问题,提出KQFuzz,利用代码库知识结合适应度引导评估与两级变异,实现高质量测试生成。在三个量子库上测试效果显著优于其他方法,发现多个错误,推动量子计算领域发展。
2026-07-29 cs.AI cs.MA cs.SE
InsightQL: Advancing Human-Assisted Fuzzing with a Unified Code Database and Parameterized Query Interface
The University of Melbourne(墨尔本大学);The Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对模糊测试易因阻塞点陷入覆盖率瓶颈、人工分析成本高的问题,提出带统一数据库和参数化查询界面的人类辅助框架InsightQL,在FuzzBench基准测试中显著提升代码覆盖率。
2025-10-06 cs.SE
Security Knowledge-Guided Fuzzing of Deep Learning Libraries
提出Orion模糊测试工具,结合引导式与边界情况输入生成,基于历史漏洞根因构建规则,在TensorFlow和PyTorch上检测出135个漏洞,其中76个已确认,显著优于现有模糊测试工具。
2023-12-24 cs.CR cs.SE
XAMT: Cross-Framework API Matching for Testing Deep Learning Libraries
本文提出跨框架模糊测试方法XAMT,通过匹配不同深度学习框架中功能等价的API并进行差分测试,在五个主流框架上检测出17个缺陷,弥补了框架内测试的不足。
2025-08-18 cs.SE
Effectiveness and Scalability of Fuzzing Techniques in CI/CD Pipelines
Fuzzing已被证明是自动化软件测试的一项基本技术,但也是一项昂贵的技术。随着CI/CD实践在软件开发中的越来越多的采用,一个自然的问题是“考虑到代码更改的速度和自动化交付/部署实践,将模糊集成到CI/CD管道中的最佳方法是什么?”'.事实上,Böhme和Zhu最近的一项研究表明,每五个bug中就有四个是由最近的代码更改(即回归)引入的。在本文中,我们将从自动化软件测试和持续开发两个角度来仔细研究模糊器与CI/CD管道的集成。首先,我们研究了一个优化的机会来分类不需要模糊处理的提交,并通过实验分析发现,在我们分析的9个库中,有3个库的CI/CD中的平均模糊处理工作量可以减少约63%(6个库的平均模糊处理工作量>40%)。其次,我们调查了模糊活动持续时间对CI/CD流程的影响:较短的模糊活动,例如15分钟(与现场24小时的智慧相反)有助于更快的管道,并且仍然可以发现重要的错误,但也可能降低其检测复杂错误的能力。最后,我们讨论了一个优先级策略,自动分配资源的基础上,一组预定义的优先级策略模糊活动。我们的研究结果表明,连续模糊测试(作为CI/CD自动化测试的一部分)确实是有益的,有很多优化的机会,以提高模糊测试的有效性和可扩展性。
2022-06-07 cs.CR cs.SE
GraphFuzz: Automated Testing of Graph Algorithm Implementations with Differential Fuzzing and Lightweight Feedback
针对图算法测试输入空间大、代码覆盖引导模糊测试效率低的问题,提出首个面向图算法的反馈引导模糊测试框架GraphFuzz,通过算法特定轻量反馈提升语料多样性,支持黑/灰盒测试,结合差分测试发现12个未知漏洞。
2025-02-21 cs.SE
MASFuzzer: Fuzz Driver Generation and Adaptive Scheduling via Multidimensional API Sequences
Beihang University(北京航空航天大学);Jinan University(暨南大学)
MASFuzzer通过多维API序列生成和自适应调度策略提升软件库测试效率,实现更高的代码覆盖率和漏洞发现能力。
2026-04-20 cs.SE
LibLMFuzz: LLM-Augmented Fuzz Target Generation for Black-box Libraries
The Beacom College of Computer and Cyber Sciences(计算机与网络科学学院);Dakota State University(达科他州立大学)
LibLMFuzz通过结合LLM和轻量级工具链,实现对闭源库的自动模糊测试,生成正确驱动程序并提高覆盖率。
2025-07-20 cs.CR cs.LG cs.SE
DocTer: Documentation Guided Fuzzing for Testing Deep Learning API Functions
本研究提出DocTer技术,通过依存句法分析树自动构建规则从深度学习API文档提取特有输入约束,用于生成测试输入检测API bug,在三大主流深度学习库上实现85.4%的约束提取准确率,发现大量未知bug与文档问题。
2024-03-06 cs.SE
WFC/WFD: Web Fuzzing Commons, Dataset and Guidelines to Support Experimentation in REST API Fuzzing
针对 REST API 模糊测试在认证、故障分类和公平实验方面的挑战,本文提出 WFC/WFD 共享库与含36个 API 的数据集,并基于 EvoMaster 等工具对比给出实验指南。
2025-09-01 cs.SE
Scheduzz: Constraint-based Fuzz Driver Generation with Dual Scheduling
针对自动生成库模糊测试驱动易违背用法约定且无条件执行浪费资源的问题,提出基于LLM约束提取与双重调度的Scheduzz,提升覆盖率并发现33个新缺陷。
2025-07-24 cs.CR cs.SE
FuzzAgent: Multi-Agent System for End-to-End Evolutionary Library Fuzzing
The University of Hong Kong(香港大学);Southeast University(东南大学)
FuzzAgent通过多智能体协作实现库模糊测试的迭代进化,提升覆盖率和崩溃分析的准确性,优于现有方法45.1%至191.2%。
2026-10-30 cs.CR cs.SE
Fuzz Driver Synthesis for Rust Generic APIs
针对现有方法无法为Rust泛型API生成有效模糊测试驱动的问题,本文通过扩展API依赖图、结合类型约束求解与相似度过滤的方法,实现了高泛型API覆盖率和低无效驱动率,还发现了23个未知漏洞。
2023-12-19 cs.SE
Coverage-Guided Multi-Agent Harness Generation for Java Library Fuzzing
University of Lübeck(吕贝克大学)
本文提出一种多智能体架构,通过 LLM 功能智能体自动化生成 Java 库的模糊 harnesses,提升模糊测试效率并发现漏洞。
2026-03-09 cs.CR cs.SE
Generics-Aware Fuzz Target Generation for Rust Libraries via Structured API Analysis
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Beijing Institute of Control Engineering(北京控制工程研究所)
该研究针对Rust库模糊测试中现有工具约束处理不足导致覆盖率低的问题,提出GRAFT方法,通过结构化API分析生成可编译模糊目标,在13个Rust crate上的API覆盖率和编译成功率均优于现有工具。
2026-08-11 cs.SE
Prompt Fuzzing for Fuzz Driver Generation
提出PromptFuzz,一种覆盖率引导的提示模糊测试工具,通过迭代生成模糊驱动程序来探索未发现的库代码,在14个真实库上相比OSS-Fuzz和Hopper分别提升1.61倍和1.63倍分支覆盖率,并检测到33个真实新错误。
2024-05-29 cs.CR cs.SE
Detecting and Understanding Real-World Differential Performance Bugs in Machine Learning Libraries
University of Colorado Boulder(科罗拉多大学博尔德分校);TU Wien(维也纳工业大学)
降低系统性能的编程错误非常普遍,但是很少有工具支持分析这些错误。我们提出了一种基于差分性能分析的方法-我们发现输入的性能变化很大,尽管具有相同的大小。为了确保性能的差异是鲁棒的(即,也适用于大输入),我们不仅比较单个输入的性能,而且比较输入类的性能,其中每个类都有类似的输入参数,由它们的大小。因此,每个类别由从输入大小到性能的性能函数表示。重要的是,我们还提供了一个解释,为什么性能不同的形式,可以很容易地用来修复性能错误。在我们的方法中的两个主要阶段是发现与模糊和解释与决策树分类器,其中每一个都支持聚类。首先,我们提出了一个进化模糊算法来产生输入。对于这个模糊任务,独特的挑战是,我们不仅需要具有最差性能的输入类,而且需要一组表现出不同性能的类。我们使用聚类来合并相似的输入类,这显着提高了我们的模糊器的效率。其次,我们解释了程序输入和内部的差异性能。我们采用聚类和决策树的判别学习方法来定位可疑的代码区域。我们将我们的技术应用于一系列应用程序。在一组微基准测试中,我们证明了我们的方法在寻找输入以表征差分性能方面优于最先进的模糊器。在一组案例研究中,我们发现并解释了流行的机器学习框架中的多个性能错误。其中四个bug在本文中首次报道,已经被开发人员修复。
2020-06-03 cs.LG cs.PF cs.SE
Automatic, Expressive, and Scalable Fuzzing with Stitching
Carnegie Mellon University(卡内基梅隆大学)
STITCH通过拼接技术实现自动、表达性强且可扩展的模糊测试,发现更多真实bug并提高精度。
2026-02-21 cs.CR cs.SE
HDR-Fuzz: Detecting Buffer Overruns using AddressSanitizer Instrumentation and Fuzzing
缓冲区溢出是软件库和应用程序中普遍存在的漏洞。模糊测试是检测漏洞的有效技术之一。灰盒模糊器,如AFL自动生成一个序列的测试输入一个给定的程序使用健身指导搜索过程。文献中最近提出的方法引入了一种称为“净空”的缓冲区溢出特定适应性度量,该度量跟踪每个生成的测试输入与暴露漏洞的接近程度。这种方法显示了良好的初始承诺,但由于其依赖于保守的点到分析,因此有些不精确和昂贵。受上述方法的启发,在本文中,我们提出了一种新的自上而下的方法来检测缓冲区溢出漏洞。这种方法使用与模糊器并行运行的ASAN(地址消毒器)的扩展版本,并向模糊器报告恰好更接近暴露缓冲区溢出漏洞的测试输入。ASAN风格的插装是精确的,因为它不依赖于指向分析。在本文中,我们描述了我们的方法,以及实施和评估的方法。
2021-04-21 cs.SE cs.SY eess.SY
Hunting CUDA Bugs at Scale with cuFuzz
NVIDIA(英伟达);Stanford University(斯坦福大学)
cuFuzz通过全程序模糊测试解决GPU模糊测试中的虚假阳性、缺乏设备端反馈和工具不兼容问题,发现43个新漏洞,包括非法内存访问和数据竞争。
2026-03-12 cs.CR cs.SE
Fuzz4All: Universal Fuzzing with Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Stuttgart(斯图加特大学)
本文提出 Fuzz4All,利用 LLM 自动提示与迭代模糊循环实现跨六种语言、九类系统的通用模糊测试,覆盖率优于专用工具并发现 98 个缺陷。
2024-12-09 cs.LG cs.SE
Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tongji University(同济大学);Fudan University(复旦大学)
在过去的十年中,深度学习(DL)系统已被广泛部署在各个领域,以方便我们的日常生活。与此同时,确保DL系统的正确性(例如,由于其固有的不确定性),并且DL系统中的错误可能导致严重的后果,甚至可能威胁人类生命。在文献中,研究人员已经探索了各种技术来测试,分析和验证DL模型,因为它们的质量直接影响相应的系统行为。最近,研究人员还提出了用于测试底层操作符级DL库(如TensorFlow和PyTorch)的新技术,这些库为每个高级DL操作符提供了通用的二进制实现,以便在许多平台上运行各种DL模型。然而,针对新兴张量编译器的可靠性的工作仍然有限,这些编译器旨在直接将高级张量计算图编译为高性能二进制文件,以提高效率,可移植性和可扩展性。本文针对张量编译器测试这一重要问题,提出了一种实用的模糊测试技术Tzer,用于广泛使用的TVM张量编译器。由于高级中间表示(IR)的变异空间有限,Tzer专注于对TVM的低级IR进行变异。更具体地说,Tzer利用覆盖反馈指导的通用和张量编译器特定的变异器进行进化IR变异;此外,Tzer还与IR变异串联执行传递变异,以实现更有效的模糊化。我们的研究结果表明,Tzer在张量编译器测试方面大大优于现有的模糊技术,覆盖率比第二好的技术高75%,测试价值高50%。到目前为止,Tzer已经检测到49个TVM以前未知的bug,其中37个bug得到确认,25个bug得到修复(PR…
2022-02-21 cs.CR cs.LG cs.PL
Equitable Intelligence in Practice: A Fairness Audit of Open Large Language Models for Library Reference Services
Indiana University School of Medicine(印第安纳大学医学院);Montana State University(蒙大拿州立大学);San Leandro Public Library(圣莱安德罗公共图书馆)
本研究评估了三个开源大型语言模型在图书馆参考服务中的公平性,发现无显著种族差异,但存在轻微性别差异,强调持续监测的重要性。
2026-10-12 cs.DL cs.SE
Benchmarking Deep Learning Fuzzers
本研究首次对DL模糊测试器进行真实基准评估,发现其检测能力有限,并提出轻量级边界情况生成器扩展,显著提升FreeFuzz、DeepRel和DocTer的缺陷检测数量。
2023-10-10 cs.SE
Enhancing Fuzz Testing Efficiency through Automated Fuzz Target Generation
Faculty of Information Technology, Ton Duc Thang University(信息科技学院,通德盛大学)
本文提出通过静态分析库源代码自动提升模糊测试效率,重点在于自动化生成模糊目标并优化执行分析过程。
2026-01-17 cs.CR cs.SE