HF-DGF: Hybrid Feedback Guided Directed Grey-box Fuzzing
本文提出HF-DGF定向灰盒模糊测试框架,通过集成控制流距离、数据流影响分数和切片覆盖率的混合反馈机制引导种子调度,并采用向后步进算法和选择性插桩策略,在41个真实漏洞上实现了比AFL等工具更快的崩溃复现和更高的静态分析效率。
2025-06-29 cs.SE
GraphFuzz: Automated Testing of Graph Algorithm Implementations with Differential Fuzzing and Lightweight Feedback
针对图算法测试输入空间大、代码覆盖引导模糊测试效率低的问题,提出首个面向图算法的反馈引导模糊测试框架GraphFuzz,通过算法特定轻量反馈提升语料多样性,支持黑/灰盒测试,结合差分测试发现12个未知漏洞。
2025-02-21 cs.SE
Pythia: Grammar-Based Fuzzing of REST APIs with Coverage-guided Feedback and Learning-based Mutations
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
本文介绍了Pythia,这是第一个模糊器,它通过覆盖率引导反馈和基于学习的变异策略来增强基于语法的模糊,用于有状态的REST API模糊。Pythia使用统计模型从结构上有效的种子输入中学习目标REST API的常见使用模式。然后,它通过注入少量偏离常见使用模式的噪声,同时仍然保持句法有效性,从而生成基于学习的突变。Pythia的变异策略有助于生成语法上有效的测试用例,覆盖率引导的反馈有助于优先考虑更有可能找到bug的测试用例。我们提出了三个生产规模的实验评估,开源云服务表明,Pythia优于以前的方法,无论是在代码覆盖率和新的错误发现。使用Pythia,我们发现了29个新的错误,我们正在向各自的服务所有者报告的过程中。
2020-05-23 cs.LG cs.SE
XMutant: XAI-based Fuzzing for Deep Learning Systems
Technical University of Munich(慕尼黑工业大学);fortiss GmbH(fortiss有限公司);North Carolina State University(北卡罗来纳州立大学)
XMutant利用XAI技术提升深度学习系统测试效率,生成更多有效失败输入并加速测试过程。
2025-11-27 cs.SE
May the Feedback Be with You! Unlocking the Power of Feedback-Driven Deep Learning Framework Fuzzing via LLMs
Nanjing University(南京大学);Nantong University(南通大学)
FUEL通过LLMs利用反馈信息提升深度学习框架模糊测试的效果,提高代码覆盖率并发现多个新漏洞。
2026-01-17 cs.SE
LLAMA: Multi-Feedback Smart Contract Fuzzing Framework with LLM-Guided Seed Generation
本文提出基于LLM的多反馈智能合约模糊测试框架LLAMA,结合分层提示生成种子、多反馈优化机制和进化模糊引擎,显著提升了代码覆盖率与漏洞检测能力。
2025-07-16 cs.CR cs.SE
MUZZ: Thread-aware Grey-box Fuzzing for Effective Bug Hunting in Multithreaded Programs
灰盒模糊测试由于其轻量级的测试工具、快速的覆盖反馈和动态调整策略,已经揭示了真实世界软件中成千上万的漏洞。然而,直接将灰盒模糊应用于依赖于输入的多线程程序可能效率极低。在实践中,多线程相关的错误通常隐藏在复杂的程序流中。同时,现有的灰盒模糊技术没有强调线程交织影响多线程程序的执行状态。因此,主流的灰盒模糊器不能有效地测试多线程程序中的问题段,尽管他们可能会获得高的代码覆盖率统计。为此,我们提出MUZZ,一个新的灰盒模糊技术,在多线程程序中的错误狩猎。MUZZ拥有三种新颖的线程感知插装,即面向覆盖插装、线程上下文插装和调度干预插装。在模糊化过程中,这些工具产生运行时反馈,以强调线程交织引起的执行状态。通过利用动态种子选择和执行策略中的反馈,MUZZ保留了更多有价值的种子,这些种子在多线程上下文中暴露了错误。我们在12个真实世界的软件程序上评估MUZZ。实验表明,MUZZ在多线程相关种子生成和并发漏洞检测方面优于AFL。此外,通过针对生成的种子重放目标程序,MUZZ还揭示了更多的并发错误(例如,数据竞争,线程泄漏)比AFL。MUZZ总共检测到8个新的并发漏洞和19个新的并发错误。在撰写本文时,已为报告的问题分配了4个CVE ID。
2020-07-31 cs.SE
Execution Divergence Graphs:Effective Discovery of Control-Flows from Execution Traces as Fuzzing Feedback
CISPA Helmholtz Center for Information Security(CISPA 赫尔姆霍兹信息安全中心)
探讨利用运行时执行构建的类控制流图结构反馈来指导模糊测试器的方法,先介绍简单差异检测法,后提出基于执行差异图的改进方法,实现并证明其优于基线盲目模糊测试器。
2026-07-07 cs.CR cs.SE
Improving Linux-Kernel Tests for LockDoc with Feedback-driven Fuzzing
LockDoc是一种从系统处于基准负载下时记录的动态执行跟踪中提取内核数据结构的锁定规则的方法。这些锁定规则可以例如用于定位同步错误。对于高规则精度和彻底的错误发现,该方法在很大程度上取决于基准测试的选择:它们必须触发内核子系统中与目标数据结构相关的尽可能多的代码的执行。然而,现有的测试套件,如Linux测试项目(LTP)提供的那些测试套件,在LTP的情况下,仅实现了VFS子系统的大约35%的基本块覆盖率,当为与文件系统相关的数据结构提取锁定规则时,VFS子系统是相关的子系统。在本文中,我们将讨论如何补充LTP套件以提高LockDoc场景的代码覆盖率。我们重新调整了syzkaller --一个覆盖率引导的模糊器,目标是验证内核API的鲁棒性--1)不以内核崩溃为目标,2)最大化特定内核子系统的代码覆盖率。因此,我们生成了可以在LTP之外运行的新基准程序,并将VFS基本块覆盖率提高了26.1%。
2021-09-16 cs.SE
Investigating Coverage Guided Fuzzing with Mutation Testing
覆盖率引导模糊测试(CGF)是一种有效的测试技术,已经从各种软件应用程序中检测出数十万个错误。它专注于最大化代码覆盖率,以在模糊化过程中揭示更多的错误。然而,更高的覆盖率并不一定意味着更好的故障检测能力。触发一个错误不仅涉及到特定的程序路径,但也达到感兴趣的程序状态在该路径。在本文中,我们使用变异测试,以提高CGF在检测错误。我们使用变异分数作为反馈来指导模糊检测错误,而不仅仅是覆盖代码。为了评估我们的方法,我们在5个基准上进行了精心设计的实验。我们选择国家的最先进的模糊技术Zest作为基线,并构建两个修改后的技术,它使用我们的方法。实验结果表明,该方法可以提高CGF在代码覆盖率和错误检测。
2022-05-01 cs.SE
BeDivFuzz: Integrating Behavioral Diversity into Generator-based Fuzzing
分支覆盖率是评价模糊器性能的一个常用指标。然而,我们认为,仅仅关注覆盖许多不同的分支(即,丰富性)是不够的,因为大多数被覆盖的分支可能只被执行过一次,这不能激发对被覆盖代码的可靠性的高置信度。相反,执行分支的分布(即,均匀性)也应当考虑。也就是说,只有当生成的输入不仅触发许多不同的分支,而且还使用不同的输入均匀地触发它们时,才给出行为多样性。我们介绍BeDivFuzz,一个反馈驱动的模糊技术的发电机为基础的模糊。BeDivFuzz在语法有效输入的空间中区分结构保持和结构改变的突变,并根据收到的程序反馈将其突变策略偏向有效性和行为多样性。我们已经在Ant、Maven、Rhino、Closure、Nashorn和Tomcat上评估了BeDivFuzz。结果表明,BeDivFuzz比最先进的技术实现了更好的行为多样性,这是通过生态学领域既定的生物多样性指标(即Hill数)来衡量的。
2022-02-26 cs.SE
PTrix: Efficient Hardware-Assisted Fuzzing for COTS Binary
尽管它在发现软件缺陷方面很有效,但最好的灰盒模糊器之一美国模糊Lop(AFL)在模糊测试源不可用程序时效率低下。AFL的二进制模糊模式,QEMU-AFL,通常比其源可用模糊模式慢2- 5倍。减速主要是由沉重的动态仪器造成的。最近的模糊技术使用英特尔处理器跟踪(PT),一个轻量级的跟踪功能,支持最新的英特尔CPU,以消除动态仪器的需要。然而,我们发现这些基于PT的模糊技术在模糊真实世界的程序时甚至比QEMU-AFL更慢,使得它们不如QEMU-AFL有效。这种低性能是由于从高度压缩的PT跟踪中提取代码覆盖率信息的速度很慢造成的。在这项工作中,我们提出了PTrix的设计和实现,充分释放PT模糊通过三种新技术的好处。首先,PTrix提出了一种PT跟踪和目标程序执行高度并行的方案。第二,直接将解码后的PT轨迹作为模糊化的反馈,避免了代价高昂的代码覆盖信息重构。第三,PTrix以比基于边缘的代码覆盖更强的反馈来维护新的反馈,这有助于达到AFL可能没有的新代码空间和缺陷。我们评估PTrix通过比较其性能与国家的最先进的模糊。我们的研究结果表明,在相同的时间内,PTrix实现了显着更高的模糊化速度,并达到其他模糊错过的代码区域。此外,PTrix在一组以前模糊化的二进制文件中确定了35个新的漏洞,显示了其补充现有模糊器的能力。
2019-05-25 cs.CR cs.SE
$μ$AFL: Non-intrusive Feedback-driven Fuzzing for Microcontroller Firmware
Fuzzing是发现软件缺陷最有效的方法之一。然而,将其应用于微控制器固件会带来许多挑战。例如,基于重新宿主的解决方案不能准确地对外围设备行为进行建模,因此不能用于模糊对应的驱动程序代码。在这项工作中,我们提出了$μ$ AFL,硬件在环的方法来模糊微控制器固件。它利用现有的嵌入式系统开发中的调试工具,构建一个AFL兼容的模糊框架。具体来说,我们使用调试软件狗来桥接PC上的模糊环境和微控制器设备上的目标固件。为了收集代码覆盖率信息而无需昂贵的代码插装,$μ$ AFL依赖于ARM ETM硬件调试功能,该功能透明地收集指令跟踪并将结果流式传输到PC。然而,原始ETM数据是模糊的,并且需要巨大的计算资源来恢复实际的指令流。因此,我们提出了一种替代表示的代码覆盖率,它保留了相同的路径敏感性作为原始的AFL算法,但可以直接工作的原始ETM数据,而不匹配它们与反汇编指令。为了进一步减少工作量,我们使用DWT硬件功能来选择性地收集感兴趣的运行时信息。我们在恩智浦和意法半导体两家主要供应商提供的两块真实评估板上对$μ$ AFL进行了评估。通过我们的原型,我们在意法半导体SDK附带的驱动程序代码中发现了10个零日漏洞,在恩智浦SDK中发现了3个零日漏洞。已为他们分配了8个社区教育机会。考虑到供应商SDK在实际产品中的广泛采用,我们的结果令人担忧。
2022-04-19 cs.CR cs.SE
ABTest: Behavior-Driven Testing for AI Coding Agents
York University(约克大学);Polytechnique Montreal(蒙特利尔高等工程学院);Concordia University(康考迪亚大学)
本文提出ABTest框架,通过挖掘用户报告的异常生成可执行测试用例,发现AI编码代理在真实场景中的鲁棒性差异及新故障模式。
2026-04-22 cs.SE
SkipFuzz: Active Learning-based Input Selection for Fuzzing Deep Learning Libraries
许多现代软件系统都是由TensorFlow和PyTorch等深度学习库支持的。随着深度学习的流行,深度学习库的安全性是一个关键问题。模糊深度学习库提出了两个挑战。首先,为了达到库的功能,模糊器必须使用来自每个API函数的有效输入域的输入,这可能是未知的。其次,许多输入是多余的。随机采样的无效输入可能不会触发新的行为。虽然现有方法部分解决了第一个挑战,但它们忽视了第二个挑战。我们提出了SkipFuzz,一种模糊深度学习库的方法。为了生成有效的输入,SkipFuzz使用主动学习来学习每个API函数的输入约束。通过使用模糊化过程中获得的信息,SkipFuzz推断出输入约束的模型,从而生成有效的输入。SkipFuzz包括主动学习器,其查询测试执行器以获得用于推理的反馈。在构建假设之后,主动学习者提出查询并使用来自测试执行器的反馈来细化假设,该反馈指示库是否接受或拒绝输入,即,是否满足输入约束来自不同类别的输入用于调用库来检查一组输入是否满足函数的输入约束。一个类别中的输入通过它们将满足的可能的输入约束而与其他类别区分开,例如它们是特定形状的张量。因此,SkipFuzz能够通过消除输入约束的可能候选来细化其假设。这种基于主动学习的方法解决了冗余输入的挑战。使用SkipFuzz,我们发现并报告了43起崩溃。其中28个已得到确认,分配了13个独特的CVE。
2022-12-08 cs.SE
Perception-Guided Fuzzing for Simulated Scenario-Based Testing of Autonomous Driving Systems
提出SimsV,一种面向多模块自动驾驶系统的感知引导模糊测试方法,通过高保真模拟器生成测试输入和预言机,成功发现商业级4级ADS Apollo的感知弱点及碰撞等严重问题。
2024-08-24 cs.SE
Graph-Aware Fuzzing for Graph Database Management Systems
Tianjin University(天津大学);Capital Normal University(首都师范大学)
针对图数据库管理系统现有测试方法不足,提出GRAF框架。通过基于级联依赖解析的图上下文感知查询生成有效多样查询,用执行状态反馈引导变异操作,提升测试效果,发现众多未知漏洞。
2026-07-07 cs.SE
Semantic Fuzzing with Zest
期望结构化输入的程序通常由语法分析阶段和语义分析阶段组成,语法分析阶段解析原始输入,语义分析阶段对解析的输入进行检查并执行程序的核心逻辑。QuickCheck谱系中基于生成器的测试工具是为这些程序生成随机语法有效的测试输入的一种很有前途的方法。我们提出了热情,一种技术,自动引导快速检查一样的随机输入生成器,以更好地探索语义分析阶段的测试程序。Zest将随机输入生成器转换为确定性参数生成器。我们提出的关键见解,突变的无类型的参数域映射到输入域的结构突变。Zest利用代码覆盖率和输入有效性形式的程序反馈来执行反馈导向的参数搜索。我们评估了Zest对AFL和QuickCheck的五个Java程序:Maven,Ant,BCEL,Closure和Rhino。Zest在基准语义分析阶段中覆盖的分支是基线技术的1.03 - 2.81倍。此外,我们在这些基准测试的语义分析阶段发现了10个新的错误。Zest是可靠快速地找到这些bug的最有效的技术,平均最多需要10分钟才能找到每个bug。
2019-06-07 cs.SE
MOTIF: A tool for Mutation Testing with Fuzzing
MOTIF利用灰盒模糊测试生成C语言单元测试用例,克服了符号执行的局限性,能有效检测变异体中的注入故障,在安全关键CPS软件测试中表现更优。
2024-06-04 cs.SE
Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing
Academy of Military Sciences(军事科学院)
本文提出ScenarioFuzz方法,通过历史启发的场景模糊测试发现自动驾驶系统中的漏洞,提升安全性验证效率。
2024-07-05 cs.AI cs.NE cs.SE
spotFuzzer: Static Instrument and Fuzzing Windows COTs
Windows系统的安全性研究在学术界还没有引起足够的重视。这些新方法大多是针对Linux系统设计的,很难移植到Windows系统。Fuzzing for Windows程序总是遭受其封闭源代码。因此,我们需要找到一种合适的方法来实现Windows程序的反馈。据我们所知,目前还没有针对Windows的稳定且可扩展的静态插装工具,而DynamoRIO等动态工具的性能一直受到批评。更糟糕的是,动态插装工具的使用场景非常有限,对于许多系统服务或大型商业软件来说是无能为力的。在本文中,我们提出了spotInstr,一种新的静态工具,用于检测Windows二进制文件。它是轻量级的,可以在很短的时间内检测大多数Windows PE程序。同时,spotInstr提供了一组过滤器,可用于选择检测点或限制目标区域。基于这些过滤器,我们提出了一种新的内存敏感的仪器方法,可以加快仪器和模糊。在此基础上,我们设计了一个系统spotFuzzer,它利用spotInstr的功能,可以模糊大多数Windows二进制文件。我们对spotInstr和spotFuzzer进行了多方面的测试,以展示其卓越的性能和稳定性。
2022-01-20 cs.SE
Testing Storage-System Correctness: Challenges, Fuzzing Limitations, and AI-Augmented Opportunities
Institute of Computing Technology, Chinese Academy of Sciences (ICT, CAS)(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室)
本文探讨了存储系统正确性测试的挑战,分析了模糊测试的局限性,并提出了利用人工智能技术提升测试效果的可能性。
2026-02-06 cs.AI cs.CR cs.SE
Program Environment Fuzzing
本文提出一种基于灰盒模糊测试扩展的程序环境模糊测试方法,通过记录系统调用并选择性变异来搜索导致崩溃的环境,无需人工环境建模,其 EnvFuzz 工具在真实软件中发现 33 个未知缺陷(含 16 个 CVE)。
2024-09-02 cs.SE
Learning Failure-Inducing Models for Testing Software-Defined Networks
University of Luxembourg(卢森堡大学);Lero centre, University of Limerick(利默里克大学莱罗中心);University of Ottawa(渥太华大学)
本文提出机器学习引导的模糊测试方法FuzzSDN,同时生成诱发SDN故障的测试数据并学习故障条件模型,实验表明其故障发现能力和模型精确率、召回率均显著优于现有方法。
2024-01-08 cs.CR cs.LG cs.NI
CovRL: Fuzzing JavaScript Engines with Coverage-Guided Reinforcement Learning for LLM-based Mutation
Yonsei University(延世大学);Suresofttech Inc.(Suresofttech公司)
本文提出CovRL技术,通过TF-IDF构建加权覆盖率图并结合强化学习将覆盖率反馈直接集成到LLM变异器中,显著提升了JavaScript引擎模糊测试的代码覆盖率与漏洞发现能力。
2024-02-19 cs.CL cs.CR cs.LG
NeuronFuzz: Safety Neuron Guided Fuzzing for LLM Safety Evaluation
University of Bristol(布里斯托尔大学)
NeuronFuzz是一种安全神经元引导的LLM安全评估白盒模糊测试框架,通过利用安全神经元激活值生成反馈,在21个模型上实现了高越狱发现率和零样本迁移能力,性能优于基线方法。
2026-08-28 cs.AI cs.CR cs.LG
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
University of Maryland(马里兰大学);New York University(纽约大学)
本文提出GRIEF模糊器,通过时间多请求追踪发现LLM服务层漏洞,包括15个漏洞,10个已确认,涉及缓存隔离失败、跨请求性能干扰和崩溃问题。
2026-05-11 cs.AI cs.CR cs.LG
ReFuzzer: Feedback-Driven Approach to Enhance Validity of LLM-Generated Test Programs
本文提出 ReFuzzer,利用本地 LLM 反馈循环检测并修复编译与运行时违规,显著提升 LLM 生成测试程序的有效率及 LLVM/Clang 关键组件覆盖率。
2025-08-05 cs.PL cs.SE
DeepHunter: Hunting Deep Neural Network Defects via Coverage-Guided Fuzzing
Nanyang Technological University(南洋理工大学);Harbin Institute of Technology(哈尔滨工业大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Kyushu University(九州大学);NVIDIA AI Technology Center(英伟达人工智能技术中心)
随着过去十年的数据爆炸,基于深度神经网络(DNN)的软件经历了前所未有的飞跃,并正在成为许多新颖工业应用的关键驱动力,包括许多安全关键场景,如自动驾驶。尽管在各种人类智能任务中取得了巨大的成功,但与传统软件类似,DNN也可能表现出由隐藏缺陷引起的不正确行为,从而导致严重的事故和损失。在本文中,我们提出了DeepHunter,一个自动化的模糊测试框架,用于搜索通用DNN的潜在缺陷。DeepHunter执行变形突变以生成新的语义保留的测试,并利用多个可插入的覆盖标准作为反馈,从不同的角度指导测试生成。为了向实际规模的DNN扩展,DeepHunter批量维护多个测试,并根据主动反馈优先选择测试。DeepHunter的有效性在3个流行的数据集(MNIST,CIFAR-10,ImageNet)和7个具有不同复杂性的DNN上进行了广泛的研究,并在6个覆盖标准作为反馈。大规模实验表明,DeepHunter可以(1)通过指导显著提高覆盖率;(2)生成有用的测试来检测错误行为,并促进DNN模型质量评估;(3)在DNN量化过程中准确捕获潜在缺陷,用于平台迁移。
2018-11-16 cs.AI cs.CR cs.LG
LLMs and Fuzzing in Tandem: A New Approach to Automatically Generating Weakest Preconditions
本文提出结合大语言模型与模糊测试生成最弱前条件,通过模糊指导提升生成效果。
2025-12-17 cs.AI cs.LO cs.SE
Feedback-based, Automated Failure Testing of Microservice-based Applications
现代分布式应用程序正在向微服务架构发展,其中每个服务都是独立开发和管理的,并且不断提供新功能和更新。微服务架构的一个指导原则是,它必须被构建为预测和减轻各种硬件和软件故障。为了测试微服务的故障处理能力,本文提出了一种基于反馈的自动化故障测试技术,用于基于微服务的应用程序,旨在快速暴露故障处理逻辑中的缺陷。在一个中等规模的微服务基准测试系统上的初步实验结果表明了该方法的有效性。
2019-08-20 cs.SE
PrescientFuzz: A more effective exploration approach for grey-box fuzzing
PrescientFuzz利用目标程序控制流图语义信息,通过输入语料库调度器优先选择接近未覆盖边的输入进行变异,在Google FuzzBench基准测试中实现了领先的平均代码覆盖率和排名。
2025-01-24 cs.CR cs.SE
PBFuzz: Agentic Directed Fuzzing for PoV Generation
University of California, Riverside(加州大学河滨分校);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
PBFuzz通过模拟人类专家流程,自动提取语义约束并高效生成漏洞证明输入,实验表明其在效率和漏洞触发性能上优于现有方法。
2026-10-27 cs.CR cs.SE
Large Language Models for Fuzz Testing in Microservices: A Systematic Literature Review
University of Helsinki(赫尔辛基大学);Free University of Bozen-Bolzano(博尔扎诺自由大学)
本文通过系统文献综述分析20项研究,发现LLM主要用作微服务黑盒模糊测试的语义输入生成器,可提升输入有效性与测试效果,但存在评估异质性等挑战,为相关设计部署提供支撑。
2026-09-07 cs.SE
GapForge: Directed Compiler Fuzzing via Coverage-Gap Analysis
Key Lab of High Confidence Software Technologies (Peking University), Ministry of Education(高可信软件技术教育部重点实验室);Peking University(北京大学)
研究针对现代编译器代码库覆盖难问题,提出基于大型语言模型的GapForge测试生成技术,通过覆盖驱动评分、路径差异分析等步骤,将覆盖差距作为区域级目标,显著优于现有技术,提高了编译器覆盖率并发现多个实际故障。
2026-07-20 cs.SE
Hunting CUDA Bugs at Scale with cuFuzz
NVIDIA(英伟达);Stanford University(斯坦福大学)
cuFuzz通过全程序模糊测试解决GPU模糊测试中的虚假阳性、缺乏设备端反馈和工具不兼容问题,发现43个新漏洞,包括非法内存访问和数据竞争。
2026-03-12 cs.CR cs.SE
Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tongji University(同济大学);Fudan University(复旦大学)
在过去的十年中,深度学习(DL)系统已被广泛部署在各个领域,以方便我们的日常生活。与此同时,确保DL系统的正确性(例如,由于其固有的不确定性),并且DL系统中的错误可能导致严重的后果,甚至可能威胁人类生命。在文献中,研究人员已经探索了各种技术来测试,分析和验证DL模型,因为它们的质量直接影响相应的系统行为。最近,研究人员还提出了用于测试底层操作符级DL库(如TensorFlow和PyTorch)的新技术,这些库为每个高级DL操作符提供了通用的二进制实现,以便在许多平台上运行各种DL模型。然而,针对新兴张量编译器的可靠性的工作仍然有限,这些编译器旨在直接将高级张量计算图编译为高性能二进制文件,以提高效率,可移植性和可扩展性。本文针对张量编译器测试这一重要问题,提出了一种实用的模糊测试技术Tzer,用于广泛使用的TVM张量编译器。由于高级中间表示(IR)的变异空间有限,Tzer专注于对TVM的低级IR进行变异。更具体地说,Tzer利用覆盖反馈指导的通用和张量编译器特定的变异器进行进化IR变异;此外,Tzer还与IR变异串联执行传递变异,以实现更有效的模糊化。我们的研究结果表明,Tzer在张量编译器测试方面大大优于现有的模糊技术,覆盖率比第二好的技术高75%,测试价值高50%。到目前为止,Tzer已经检测到49个TVM以前未知的bug,其中37个bug得到确认,25个bug得到修复(PR…
2022-02-21 cs.CR cs.LG cs.PL
Misbehavior Forecasting for Focused Autonomous Driving Systems Testing
North Carolina State University(北卡罗来纳州立大学);Technical University of Munich, fortiss GmbH(慕尼黑工业大学, fortiss有限公司)
Foresee通过恶意行为预测技术提高自动驾驶系统测试效率,发现更多故障并提升故障检测能力。
2025-12-21 cs.SE
Adaptive and AI-Augmented Security Testing: A Systematic Survey of Program Analysis, Feedback-Driven Testing, and Hybrid Learning-Based Approaches
Mississippi State University(密西西比州立大学)
本文系统综述了自适应和AI增强的安全测试研究,探讨了程序分析、DevSecOps、反馈驱动模糊测试、LLM自动化测试生成及混合系统等五个领域,揭示了结构化程序表示与自适应测试机制之间的断层,并提出五个开放研究挑战。
2026-04-29 cs.CR cs.PL cs.SE
Does Failure Feedback Direct Agent Self-Modification?
该研究通过分析达尔文哥德尔机日志及模型实验,发现失败反馈对智能体自我修改的目标特定引导性有限,仅特定场景下目标反馈可提升修复效果,评估需区分目标修复、迁移及未见过的净变化。
2026-10-14 cs.MA cs.SE
WhiteFox: White-Box Compiler Fuzzing Empowered by Large Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Huazhong University of Science and Technology(华中科技大学)
WhiteFox 是首个利用大语言模型结合编译器源代码信息的白盒模糊测试器,通过多智能体框架分析优化源码并生成针对性测试,在三大深度学习编译器中触发深层优化的能力最高超出最先进方法 8 倍,并发现 101 个缺陷。
2024-09-04 cs.LG cs.PL cs.SE
Benchmarking Code Improvement with Progressive, Adaptive, and Interactive Feedback
University of Texas at Dallas(达拉斯大学);University of Central Florida(中佛罗里达大学);FPT Software AI Center(FPT软件人工智能中心)
提出PAIR-Bench基准,通过渐进式提示和结构化反馈协议,细粒度评估大语言模型在代码改进中的修复能力、泛化能力和所需辅助程度。
2026-07-03 cs.SE
Characterizing Feedback Statements in Machine Learning Jupyter Notebooks
Delft University of Technology(代尔夫特理工大学)
本研究通过挖掘 GitHub 和 Kaggle 上的 Jupyter notebook,提取并分类了超过百万条反馈语句,构建了分类体系,揭示了探索性反馈的主导地位及对静默失败的防御实践。
2026-09-22 cs.SE
Refining Fuzzed Crashing Inputs for Better Fault Diagnosis
DiffMin 在保持崩溃行为的前提下迭代精化模糊测试生成的崩溃输入,使其更接近通过输入,从而提升故障定位准确性,可作为灰盒模糊测试后的预调试步骤。
2025-05-06 cs.SE
Failure Mechanism Traceability and Application in Human System Interface of Nuclear Power Plants using RESHA
近年来,已经做出了相当大的努力,用数字仪器和控制系统使现有的和新的核电站现代化。然而,行业和监管机构对这些系统的风险和后果分析也相当关注。值得关注的是数字共因故障,特别是由于软件缺陷。软件的这些故障可能发生在系统的控制和监视中。虽然已经提出了许多方法来识别软件故障模式,如系统理论过程分析,数字系统的危害和后果分析等,这些方法主要集中在系统的控制动作路径上。相比之下,信息反馈路径缺乏不安全控制动作,这些动作通常与软件基本事件相关;因此,此类系统中软件基本事件的评估不清楚。在这项工作中,我们提出的想法,中间处理器和不安全的信息流(UIF),以帮助安全分析师跟踪故障机制的反馈途径,以及如何将它们集成到一个故障树,以提高评估能力。提出的概念证明了两个全面的案例研究,一个智能传感器集成平台的无人驾驶自动驾驶汽车和另一个代表性的先进的人类系统接口的安全关键工厂监控。定性的软件基本事件的识别,并进行故障树分析的基础上,一个改进的Redundancy引导系统理论的危险分析方法。案例研究表明,使用UIF和中间处理器的故障树,以提高高度复杂的数字仪表反馈的软件故障的可追溯性。改进后的方法阐明了当系统中存在多个部件依赖时故障树的构造。
2022-05-24 cs.SE
Agentic Program Repair from Test Failures at Scale: A Neuro-symbolic approach with static analysis and test execution feedback
Meta
本文提出基于 Llama 与 ReAct 的 Engineering Agent,利用静态分析、测试执行反馈和 LLM-as-a-Judge 大规模修复测试失败,并通过离线基准与三个月生产部署验证其效果。
2025-07-24 cs.AI cs.PL cs.SE
Fantastic Adaptive Taxonomies and How to Use Them
University of California, Berkeley(加州大学伯克利分校);Apple(苹果公司);Bespoke Labs(Bespoke实验室)
研究智能体系统失败反馈问题,提出AdaMAST方法将轨迹转换为自适应失败分类法,该分类法能作为共享反馈接口,在智能体系统搜索、运行时及轨迹选择等方面改进智能体,提升准确率和分辨率。
2026-07-30 cs.AI cs.SE