Petri Nets-based Methods on Automatically Detecting for Concurrency Bugs in Rust Programs
Tongji university(同济大学)
本文提出一种基于Petri网的Rust并发缺陷检测方法,通过语法保持的程序转换、上下文感知状态压缩和可达性分析,结合流敏感指针分析,在基准测试中显著降低了误报和漏报,并实现了比动态工具Miri更快的验证速度。
2025-09-23 cs.FL cs.PL cs.SE
Deep Learning Based Concurrency Bug Detection and Localization
针对并发缺陷数据缺乏、语义表征不足及二分类难以定位代码行的问题,提出结合预训练模型、异构图神经网络、CCPG 与 SubgraphX 的检测定位方法,性能显著优于现有方法。
2025-08-28 cs.SE
HIPPODROME: Data Race Repair using Static Analysis Summaries
实现无错误的并发程序是现代软件开发中的一项具有挑战性的任务。最先进的静态分析在生产代码中发现了数百个并发错误,可以扩展到大型代码库。然而,在不断变化的代码库中修复这些错误对程序员来说是一项艰巨的工作,特别是因为并发代码中的修复可能会以微妙的方式引入其他错误。在这项工作中,我们将展示如何利用组合静态分析的并发错误检测,使一个新的自动程序修复(APR)技术的数据竞赛在大型并发Java代码库。我们的工作的关键创新是一个算法,翻译的分析工具推断的程序摘要的错误报告的目的,到小的本地补丁,修复并发错误(不引入新的)。这种协同作用使得将组合静态并发分析的优点扩展到APR成为可能,使我们的方法有效(它可以检测和修复比现有工具更多的错误),可扩展(它需要几秒钟来分析和建议修复相当大的代码库),并且可用(通常,它不需要用户的注释,并且可以执行连续的自动修复)。我们对流行的开源项目进行的研究证实,我们的工具自动生成类似于开发人员过去提出的并发修复。
2021-08-06 cs.PL cs.SE
RaceFixer -- An Automated Data Race Fixer
提出自动化修复单变量原子性违规并发缺陷的工具 RaceFixer,结合 ThreadSanitizer 报告与静态分析生成并合并补丁,提升修复质量、性能与代码可读性。
2024-01-08 cs.PL cs.SE
MUZZ: Thread-aware Grey-box Fuzzing for Effective Bug Hunting in Multithreaded Programs
灰盒模糊测试由于其轻量级的测试工具、快速的覆盖反馈和动态调整策略,已经揭示了真实世界软件中成千上万的漏洞。然而,直接将灰盒模糊应用于依赖于输入的多线程程序可能效率极低。在实践中,多线程相关的错误通常隐藏在复杂的程序流中。同时,现有的灰盒模糊技术没有强调线程交织影响多线程程序的执行状态。因此,主流的灰盒模糊器不能有效地测试多线程程序中的问题段,尽管他们可能会获得高的代码覆盖率统计。为此,我们提出MUZZ,一个新的灰盒模糊技术,在多线程程序中的错误狩猎。MUZZ拥有三种新颖的线程感知插装,即面向覆盖插装、线程上下文插装和调度干预插装。在模糊化过程中,这些工具产生运行时反馈,以强调线程交织引起的执行状态。通过利用动态种子选择和执行策略中的反馈,MUZZ保留了更多有价值的种子,这些种子在多线程上下文中暴露了错误。我们在12个真实世界的软件程序上评估MUZZ。实验表明,MUZZ在多线程相关种子生成和并发漏洞检测方面优于AFL。此外,通过针对生成的种子重放目标程序,MUZZ还揭示了更多的并发错误(例如,数据竞争,线程泄漏)比AFL。MUZZ总共检测到8个新的并发漏洞和19个新的并发错误。在撰写本文时,已为报告的问题分配了4个CVE ID。
2020-07-31 cs.SE
What we can learn from how programmers debug their code
研究人员已经开发了许多调试方法来帮助程序员在调试过程中,但这些方法很少在实践中使用。在本文中,我们将探讨程序员如何调试他们的代码,以及研究人员在开发调试方法时应该考虑什么。我们进行了一个在线问卷调查,102名程序员提供了最近修复的错误的信息。我们发现大多数bug(69.6%)是语义bug.内存和并发性bug不那么频繁地发生(6.9%和8.8%),但它们消耗更多的调试时间。定位一个bug比复制和修复它更困难,程序员通常只使用IDE内置的工具进行调试。此外,程序员在调试时经常使用复制-观察-演绎模式。这些结果表明,调试支持是特别有价值的内存和并发错误。此外,研究人员应该专注于故障定位阶段,并将他们的工具集成到常用的IDE中。
2021-03-23 cs.SE
Can we find bugs using LLM-generated oracles?
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所)
针对 24 个 Java 仓库的受控实验表明,LLM 生成的测试预言仍倾向反映程序实际行为,但其生成能力强于分类能力且故障检测潜力优于 Evosuite。
2026-10-06 cs.SE
From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
Department of EECS, University of Tennessee, Knoxville, TN, USA(田纳西大学诺克斯维尔分校电气与计算机工程系)
研究大语言模型能否从自然语言业务需求生成测试预言机,提出基于Defects4J的流程,对10个实际错误进行实验,评估预言机在与需求衍生预言机及被测系统一致性上表现,发现大语言模型有泛化但存在差异,为后续研究提供可行性参考。
2026-07-14 cs.SE
Modelling Concurrency Bugs Using Machine Learning
Imperial College of Science, Technology and Medicine(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院)
本研究比较常见与最新的机器学习方法,利用合成数据集模拟并发程序,验证模型类型的基本限制,以支持自动检测并发缺陷并提升工具准确性与语言灵活性。
2023-05-08 cs.LG cs.PL cs.SE
Understanding Concurrency Vulnerabilities in Linux Kernel
虽然有大量的工作,分析并发相关的软件错误和开发技术,检测和修补它们,很少注意到并发相关的安全漏洞。两者的不同之处在于,并非所有的bug都是漏洞:对于可利用的bug,需要有一种方法让攻击者触发其执行并造成损害,例如,泄露敏感数据或运行恶意代码。为了填补这一空白,我们进行了第一次经验研究的并发漏洞报告在Linux操作系统在过去的十年。我们专注于分析常见漏洞和暴露(CVE)数据库中存档的已确认漏洞,然后根据漏洞类型,利用模式和开发人员采用的补丁策略将其分类为不同的组。我们使用代码片段来说明各个漏洞类型和补丁策略。我们还使用统计数据来说明整个情况,包括每种漏洞类型的百分比。我们希望对这个问题有一些了解,例如,并发漏洞继续对系统安全构成严重威胁,即使是内核开发人员也很难对其进行分析和修补。因此,需要更多的努力来开发分析和修补这些漏洞的工具和技术。
2022-12-11 cs.CR cs.SE
Compiler Testing With Relaxed Memory Models
针对现有并发编译器测试技术无法兼顾边界内漏洞覆盖与大规模程序可扩展性的问题,提出工业级测试工具Téléchat,通过对比源与架构内存模型下的程序行为发现漏洞,性能优于现有技术且已部署应用。
2024-01-29 cs.AR cs.PL cs.SE
QuSema: Detecting Silent Bugs in Quantum Libraries via Quantum-knowledge-enhanced Agents
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University of Technology(浙江工业大学)
QuSema是一个利用量子语义和文档作为预言机的自主测试智能体,通过智能体循环检测量子库中的静默缺陷,在基准上优于现有工具并发现多个新缺陷。
2026-11-17 cs.AI cs.SE quant-ph
A Study of Using Multimodal LLMs for Non-Crash Functional Bug Detection in Android Apps
针对传统GUI测试难以检测非崩溃功能性(NCF)Bug的问题,本研究实证探索了利用多模态LLM作为测试预言机检测Android应用NCF Bug的有效性,发现其检测率达49%并新发现24个未知Bug,揭示了该方法的潜力与局限。
2024-07-26 cs.SE
Design choices made by LLM-based test generators prevent them from finding bugs
University of Waterloo(滑铁卢大学)
本文批判性评估了Codium CoverAgent等基于LLM的测试生成工具,发现其测试预言被设计为通过,导致无法有效发现bug,甚至通过验证缺陷代码并拒绝揭示bug的测试而使情况恶化,对软件质量产生负面影响。
2024-12-18 cs.AI cs.SE
Empowering Student Debugging in Parallel Programming with Execution Traces and Large Language Models
The University of Texas at San Antonio(圣安东尼奥德州大学);The University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出ParaView工具,通过执行记录与可视化帮助学生调试并发程序,结合大语言模型分析错误,实验表明调试成功率显著提升。
2026-06-15 cs.DC cs.SE
Fully Automated Functional Fuzzing of Android Apps for Detecting Non-crashing Logic Bugs
Android应用程序是基于GUI的事件驱动软件,近年来变得无处不在。显然,功能正确性对于应用程序的成功至关重要。然而,除了崩溃错误之外,非崩溃功能错误(在本工作中简称为“非崩溃错误”),如无意的功能故障,无声的用户数据丢失和不正确的显示信息也很普遍,即使在流行的,经过良好测试的应用程序中也是如此。这些非崩溃功能错误通常由程序逻辑错误引起,并在图形用户界面(GUI)上表现出来。在实践中,这些错误在有效检测它们方面构成了重大挑战,因为(1)当前的实践严重依赖于昂贵的小规模手动验证(缺乏自动化);(2)现代全自动测试仅限于崩溃错误(缺乏测试预言机)。本文通过引入独立视图模糊来填补这一空白,这是一种用于检测Android应用程序中非崩溃功能错误的新颖的全自动方法。受变形测试的启发,我们的主要见解是利用Android应用程序的普遍独立视图属性,从一组验证某些应用程序属性的种子测试中制造属性保留突变测试。变异的测试有助于在额外的不利条件下测试测试应用程序。任何属性冲突都表明可能存在功能错误,需要进一步手动确认。我们已经实现了我们的方法作为一个自动化的,端到端的功能模糊工具,精灵。给定一个应用程序,(1)Genie自动检测非崩溃错误,而不需要人类提供的测试和预言(因此完全自动化);(2)检测到的非崩溃错误是多种多样的(因此是通用的,不限于特定的功能属性),这使Genie与以前的工作不同。
2021-10-05 cs.SE
Automatically finding atomic regions for fixing bugs in Concurrent programs
本文提出了一种技术,用于自动构建一个修复错误的并发程序:给定一个并发程序,不满足用户提供的断言,我们推断原子块修复程序。原子块保护一段代码,并确保它在不受其他线程中断的情况下运行。我们的技术使用一个验证工具作为一个子程序,以找到最小的原子区域,消除所有的错误在一个给定的程序。保持原子区域较小可以实现最大的并发性。我们已经在一个名为AtomicInf的工具中实现了我们的方法。AtomicInf的用户可以为推断的修复在强和弱原子性语义之间进行选择。虽然前者更容易找到,但后者提供了有关修复的错误的更多信息。我们在几个基准测试中运行了AtomicInf,并在所有基准测试中找到了最小和最精确的原子区域。我们在我们的设置中实现了一种早期的技术,并观察到AtomicInf的平均速度是早期方法的1.7倍。
2014-03-07 cs.SE
The Foundation Cracks: A Comprehensive Study on Bugs and Testing Practices in LLM Libraries
Xi'an Jiaotong University, China(西安交通大学);Singapore Management University, Singapore(新加坡国立管理学院);University of Massachusetts Amherst, USA(马萨诸塞大学阿姆赫斯特分校);Nanyang Technological University, Singapore(南洋理工大学)
该研究首次针对HuggingFace Transformers和vLLM两类主流LLM库的缺陷特征与测试实践开展实证分析,明确缺陷类型与核心成因,指出现有测试的不足并提出质量保障建议。
2025-06-14 cs.AI cs.SE
Tests4Py: A Benchmark for System Testing
针对现有基准测试存在系统预言机不足、单元测试稀疏的问题,研究团队推出源自BugsInPy的Tests4Py基准,含79个bug、配备功能正确性验证预言机且支持两类测试生成,可为测试生成等领域研究提供前沿评估支撑。
2024-05-14 cs.SE
GLIB: Towards Automated Test Oracle for Graphically-Rich Applications
Fuxi AI Lab in Netease(网易伏羲AI实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校)
诸如游戏的图形丰富的应用程序是无处不在的,其具有图形用户界面(GUI)的吸引人的视觉效果,该图形界面提供了软件应用程序和最终用户之间的桥梁。然而,各种类型的图形毛刺可能会出现这种GUI的复杂性,并已成为软件兼容性问题的主要组成部分之一。我们对网易公司游戏开发团队的bug报告进行了研究。表示在GUI渲染期间经常发生图形故障,严重降低了图形丰富的应用程序(如视频游戏)的质量。针对这类应用的现有自动化测试技术主要集中在生成各种GUI测试序列并检查测试序列是否会导致崩溃。这些技术需要持续的人工关注来捕获非崩溃的bug,例如导致图形故障的bug。在本文中,我们提出了第一步,在自动化测试甲骨文检测非崩溃的图形丰富的应用程序中的错误。具体来说,我们提出了基于代码的数据增强技术的\texttt{GLIB}来检测游戏GUI故障。我们在20个真实世界的游戏应用程序上对\texttt{GLIB}进行了评估(提供错误报告),结果表明,\texttt{GLIB}在检测非崩溃错误(如游戏GUI故障)时可以达到100\ %的准确率和99.5\ %的召回率。\texttt{GLIB}在另外14款真实游戏(无bug报告)上的实际应用进一步证明了\texttt{GLIB}能够有效地发现GUI故障,\texttt{GLIB}报告的53个bug中有48个已经得到确认和修复。
2021-07-15 cs.CV cs.LG cs.SE
TOGA: A Neural Method for Test Oracle Generation
测试被广泛认为是软件开发生命周期的重要阶段。有效的软件测试可以提供诸如缺陷发现、防止回归和文档化等好处。就文档而言,单元测试表达了开发人员所设想的单元的预期功能。一个测试预言,通常表示为一个条件,记录一个单元在给定的测试前缀下的预期行为。合成功能测试预言是一个具有挑战性的问题,因为它必须捕获预期的功能,而不是实现的功能。在本文中,我们提出了TOGA(神经方法测试甲骨文GenerAtion),一个统一的基于转换器的神经方法来推断异常和断言测试甲骨文的基础上的上下文的焦点方法。我们的方法可以处理文档不明确或缺少文档的单元,甚至可以处理缺少实现的单元。我们评估我们的方法上的预言推理的准确性和功能的错误发现。我们的技术比现有的Oracle推理方法提高了33%的准确性,在一个测试数据集上实现了96%的整体准确性。此外,我们表明,当与自动化测试生成工具(EvoSuite)集成时,我们的方法在大型Java程序中发现了57个真实世界的错误,其中包括30个在我们的评估中没有发现的任何其他自动化测试方法的错误。
2022-04-20 cs.SE
Finding Cross-rule Optimization Bugs in Datalog Engines
本文提出增量规则求值方法 IRE 及工具 Deopt,通过对比优化前后 Datalog 程序结果来检测跨规则优化缺陷,在四个成熟引擎中发现 30 个缺陷,并显著提升有效测试用例生成效率。
2024-02-20 cs.SE
LLM-Powered Silent Bug Fuzzing in Deep Learning Libraries via Versatile and Controlled Bug Transfer
Hong Kong University of Science and Technology(香港科技大学);Lingnan University(岭南大学);Huawei(华为);Central University of Finance and Economics(中央财经大学)
利用大语言模型实现深度学习库中无声bug的模糊测试,通过多功能且可控的bug转移技术发现79个新bug。
2026-02-27 cs.SE
Automated Discovery of Test Oracles for Database Management Systems Using LLMs
UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
本文提出Argus框架,利用LLM生成语义等价的SQL骨架,并通过形式化证明确保正确性,从而自动发现数据库管理系统中的测试oracle,发现40个新bug。
2026-03-24 cs.DB cs.PL cs.SE
CITADEL: Context Similarity Based Deep Learning Framework Bug Finding
Xi'an Jiaotong University(西安交通大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
针对深度学习框架测试工具覆盖缺陷类型有限且效率低的问题,提出基于上下文相似性的Citadel方法,自动生成带预言的测试用例,有效检测出PyTorch和TensorFlow上多个现有工具无法发现的性能缺陷,触发率显著提升。
2025-10-28 cs.SE
The Virtues of Conflict: Analyzing Modern Concurrency
现代共享内存多处理器允许内存操作重新排序的性能原因。在为这种架构编写的程序中,这些重新排序常常是细微错误的来源。传统的弱内存程序验证方法往往依赖于交织语义,这容易导致状态空间爆炸,从而严重限制了分析的可扩展性。近年来,人们对使用偏序对弱内存程序的动态执行进行建模重新产生了兴趣。然而,这样的方法通常需要ad-hoc机制来正确捕获现实世界程序中存在的数据和控制流选择/冲突。在这项工作中,我们提出了一种新的,冲突意识,可组合,真正的并发语义为使用C/C++为现代弱内存架构编写的程序。我们利用我们的符号语义一般事件结构的基础上,建立一个有效的决策过程,检测断言违反有界多线程程序。使用一个大的,有代表性的基准集,我们表明,我们的冲突意识的语义优于最先进的偏序为基础的方法。
2016-02-26 cs.SE
Neural-Based Test Oracle Generation: A Large-scale Evaluation and Lessons Learned
该研究通过大规模复现实验评估前沿神经网络测试预言生成方法TOGA的实际有效性,发现其存在误分类率高、假阳性多等局限,为该领域技术改进与评估提供了参考。
2023-08-25 cs.SE
LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle
Huazhong University of Science and Technology(华中科技大学)
研究针对大语言模型代理框架测试不足问题,提出LogicHunter模糊测试框架。通过规范驱动生成有效极端输入,引入智能预言机解决预言机歧义。在三个框架上评估,发现众多未知错误,智能预言机精度高,远超基线方法。
2026-07-08 cs.SE
TOGLL: Correct and Strong Test Oracle Generation with LLMs
本文提出TOGLL,一种基于大语言模型的测试预言生成方法,通过微调七个代码LLM并利用最优提示,在25个Java项目上生成正确、多样且强大的预言,检测出1,023个EvoSuite无法发现的独特缺陷,性能远超现有方法。
2024-12-10 cs.SE
UBfuzz: Finding Bugs in Sanitizer Implementations
本文提出测试框架 UBfuzz,通过生成含未定义行为的程序并利用 crash-site mapping 测试预言机进行差分测试,在 GCC 和 LLVM sanitizers 中发现 31 个 bug,揭示了 sanitizer 的假阴性问题。
2024-01-09 cs.CR cs.PL cs.SE
Exposing Bugs in JavaScript Engines through Test Transplantation and Differential Testing
上下文JavaScript是当今流行的程序设计语言,有几种实现在竞争市场主导地位。虽然有规范文档和一致性测试套件来指导引擎开发,但还是会出现错误,并产生重要的实际后果。实现正确的引擎是具有挑战性的,因为规范是故意不完整的,并且经常演变。Objective.本文研究了使用测试移植和差异测试来揭示JavaScript引擎中的功能错误。前一种技术在另一个引擎上运行给定引擎的回归测试套件。后一种技术模糊现有的输入,然后比较不同引擎产生的输出与差分预言。法我们对来自五个主要参与者的引擎进行了实验-Apple,Facebook,Google,Microsoft和Mozilla-以评估测试移植和差异测试的有效性。结果我们的研究结果表明,这两种技术都揭示了一些错误,其中许多已被开发人员证实。我们报告了35个测试移植错误(其中23个已确认,19个已修复),并报告了24个差异测试错误(其中17个已确认,10个已修复)。结果表明,大多数这些错误影响两个引擎-苹果的JSC和微软的ChakraCore(分别为24和26个错误)。总之,我们的研究结果表明,测试移植和差分测试是很容易应用和非常有效的发现错误的复杂软件,如JavaScript引擎。
2020-12-07 cs.SE
Fail-Aware and Explainable Test Oracle Prediction
Department of Computer and Systems Sciences(计算机与系统科学系)
研究针对测试预言机构建难题,提出基于代码语言模型的FOCAL方法预测测试前缀成败,通过学习带标签数据、强调失败案例损失及基于行为证据预测,相比基线方法提升了未见过项目失败案例性能并提供更丰富解释。
2026-07-14 cs.AI cs.SE
Soliduzz: Finding Miscompilations in Smart-Contract Compilers with Assertion-Driven Equivalence Oracles
TU Wien(维也纳工业大学);Consensys Diligence
Soliduzz是一种用断言驱动等价预言机结合乘积程序、符号EMI等变形转换,在solc等三款EVM智能合约编译器中发现29个bug的方法。
2026-10-13 cs.PL cs.SE
Spotting Setting-Related UI Display Bugs in Android Apps
School of Informatics (National Characteristic Demonstration Software School), Xiamen University(厦门大学信息学院(国家示范性软件学院));Fujian Engineering Research Center of High-Performance Intelligent Computing Systems(福建省高性能智能计算系统工程研究中心)
研究安卓应用因设置引发的用户界面显示错误,通过实证研究找模式作测试依据,提出工具SUDFinder,用注入测试活动确保覆盖,评估发现能有效识别错误,有一定精度,部分已被确认和修复。
2026-07-07 cs.SE
PatchGuru: Patch Oracle Inference from Natural Language Artifacts
Singapore University of Technology and Design(新加坡科技设计大学);University of Melbourne(墨尔本大学);Imperial College London(帝国理工学院);CISPA Helmholtz Center for Information Security(CISPA赫尔霍兹信息安全中心)
PatchGuru通过大语言模型从自然语言制品推断补丁规范,提高补丁验证的准确性与效率。
2026-07-28 cs.SE
Doc2OracLL: Investigating the Impact of Documentation on LLM-based Test Oracle Generation
本研究针对现有研究未深入探究Javadoc注释结合其他上下文对测试预言生成的影响等不足,深入调研Javadoc注释在基于大语言模型的测试预言生成中的作用。
2025-03-25 cs.SE
Characterizing Real-World Bugs in Tile Programs for Automated Bug Detection
University of Texas at Dallas(达拉斯大学);Institute of Systems for Advanced Computing, Fudan University(复旦大学高级计算系统研究所);Beijing Tongming Lake Information Technology Application Innovation Center(北京通明湖信息技术应用创新中心);Shanghai Institute of Systems for Open Computing(上海开放计算系统研究所);Key Lab of HCST (PKU), MOE(北京大学计算机辅助设计与图形学教育部重点实验室;计算机科学系,北京大学);SCS, Peking University
本文首次系统研究了Tile程序代码生成中的Bug,通过收集401个GitHubbug报告,识别出301个Tile程序代码生成Bug,分析其根本原因、症状、输入模式、触发测试或acles以及修复策略,为构建针对Tile编译器基础设施的调试、测试和修复工具提供基础见解。
2026-07-30 cs.SE
SmartOracle -- An Agentic Approach to Mitigate Noise in Differential Oracles
North Carolina State University(北卡罗来纳州立大学)
SmartOracle通过代理系统减少差分预言机噪声,提高模糊测试准确性并降低分析成本
2026-01-21 cs.LG cs.SE
MoCo: Fuzzing Deep Learning Libraries via Assembling Code
针对深度学习库模糊测试在输入多样性、测试预言构建等方面的局限,提出基于代码组装的MoCo模糊测试方法,可快速定位漏洞,在三类主流DL库中检测出64个新漏洞。
2024-05-13 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
The proposal of a novel software testing framework
软件测试通常用于检查程序的有效性。测试预言机在软件测试中扮演着重要的角色。本研究的重点是通过引入一个测试框架来进行类级测试。针对基于规格说明的软件测试,提出了一种基于维也纳开发方法(VDM++)形式语言的测试预言生成技术。本文描述了一个从VDM++容器类规范到C++测试Oracle类的三阶段转换过程。最后介绍了如何将派生测试预言集成到一个功能测试框架中。这种技术迎合了面向对象的特点,如继承和聚合,但并发性不考虑在这项工作中。翻译问题,限制和评价的技术进行了讨论。所提出的方法是说明与流行的三角形问题的案例研究的帮助。
2014-08-26 cs.SE
Exposing Go's Hidden Bugs: A Novel Concolic Framework
Telecom Paris(巴黎电信学院);Ledger Donjon
本文提出Zorya框架,结合具体和符号执行技术全面评估Go程序,通过系统探索执行路径发现传统测试无法检测的漏洞,并利用Ghidra的P-Code中间表示进行分析。
2025-05-26 cs.CR cs.SE
Towards More Realistic Evaluation for Neural Test Oracle Generation
本文揭示了现有神经测试预言生成评估中前缀来源、指标和基线等不真实设置导致的性能误判,并提出引入排序步骤、Found@K 指标及 TEval+ 评估方法以更真实地衡量和提升 NTOG 方法的成本效益。
2023-05-26 cs.SE
AugmenTest: Enhancing Tests with LLM-Driven Oracles
本文提出AugmenTest,利用LLM从文档推断测试预言机,在142个Java类和203个独特测试上评估,Extended Prompt达30%成功率,优于TOGA的8.2%。
2025-01-29 cs.SE
Hunting CUDA Bugs at Scale with cuFuzz
NVIDIA(英伟达);Stanford University(斯坦福大学)
cuFuzz通过全程序模糊测试解决GPU模糊测试中的虚假阳性、缺乏设备端反馈和工具不兼容问题,发现43个新漏洞,包括非法内存访问和数据竞争。
2026-03-12 cs.CR cs.SE
Finding XPath Bugs in XML Document Processors via Differential Testing
提出基于差分测试的 XPress 系统,通过生成引用目标节点上下文的 XML 文档和 XPath 查询,有效发现多种 XML 处理器中的逻辑错误。
2024-01-10 cs.SE
Testing Database Engines via Query Plan Guidance
提出查询计划引导(QPG)方法,通过变异数据库状态生成多样查询计划,引导自动化测试发现数据库引擎逻辑错误,在SQLite、TiDB和CockroachDB中发现53个新错误,效率显著高于随机和覆盖率引导方法。
2023-12-29 cs.SE
Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries
The Hong Kong University of Science and Technology(香港科学与技术大学);Monash University(墨尔本大学)
本文提出DLLens,一种LLM增强的深度学习库差分测试技术,通过LLM合成API对应实现并结合静态分析提取路径约束来生成多样化测试输入,在TensorFlow和PyTorch上显著提升了对应实现合成数量、分支覆盖率和缺陷检测能力。
2025-05-08 cs.AI cs.SE
Scaling Automated Database System Testing
National University of Singapore(新加坡国立大学)
SQLancer++通过自适应SQL生成器实现自动数据库测试的扩展,发现并修复了196个新错误。
2026-01-26 cs.DB cs.SE
High-concurrency Custom-build Relational Database System's design and SQL parser design based on Turing-complete automata
数据库系统是软件项目中不可缺少的一部分。它在数据组织和存储中起着重要作用。它的性能和效率直接关系到软件的性能。现在我们有很多通用的关系数据库系统可以在我们的项目中使用,比如SQL Server、MySQL、Oracle等,不可否认的是,在大多数情况下,我们都可以轻松的使用这些数据库系统来完成我们的项目,但是考虑到通用性,通用的数据库系统往往不能发挥极致的速度,完全适应我们的项目。在极少数项目中,我们需要设计一个完全适应我们项目的数据库系统,并具有高效率和并发性。因此,考虑一个可行的数据库系统设计方案是非常重要的(这里我们只考虑关系数据库系统)。同时,对于数据库系统来说,SQL解释和执行模块是必要的。根据形式语言和自动机的理论,该模块的实现可以用自动机来完成。在实验中,我们做了以下几个方面的工作:1)设计了一个小型的关系数据库,并利用该数据库完成了一个高并发的学生选课系统。2)我们设计了一个通用的自动机模块,它可以完成从解析到执行的操作。采用了策略模型和事件驱动的设计方案,并对一般自动机进行了改进,如在自动机中加入了类似记忆的结构,使其更好地存储上下文。所有这些使得自动机模型可以应用于各种场合,而不仅仅是SQL语句的解析和执行。
2020-08-11 cs.DB cs.SE
Quantum Machine Learning-based Test Oracle for Autonomous Mobile Robots
针对自主移动机器人回归测试中预言机难以确定的问题,提出结合量子储层计算与残差神经网络的混合框架QuReBot,实现更快训练和更精确预测,误差较经典基线降低15%。
2025-08-04 cs.SE
SATORI: Static Test Oracle Generation for REST APIs
针对REST API测试工具支持的测试预言类型有限的问题,提出基于大语言模型、通过分析OpenAPI规范生成测试预言的静态方法SATORI,其F1值优于动态方法AGORA+,二者互补可发现90%的标注预言,还在主流API中发现18个漏洞。
2025-09-01 cs.SE
Perfect is the enemy of test oracle
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Middle East Technical University(中东技术大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于学习的测试预言机方法SEER,通过联合嵌入单元测试与测试方法构建分类器,在无需确切正确行为的情况下准确预测测试通过或失败,并在5000多个Java单元测试上验证了其高效性、准确性与泛化能力。
2023-04-05 cs.AI cs.LG cs.SE
An Empirical Study on Failed Error Propagation in Java Programs with Real Faults
在测试过程中,开发人员可以在方法的外部或内部放置Oracle。给定错误的执行状态,即,一个与预期的错误不同的错误,如果它被放置在不能访问不正确的程序状态或程序状态不再被破坏的程序点处,则Oracle可能无法暴露该错误。在这种情况下,oracle会受到失败的错误传播的影响。我们进行了一项实证研究,以衡量失败的错误传播缺陷4J,参考基准的Java程序与真正的故障,考虑所有6个项目(386个真正的错误和459个固定的方法)。我们的研究结果表明,失败的错误传播的流行是可以忽略不计的测试时,在单元级。然而,当提供系统级输入时,失败的错误传播的发生率大幅增加。这表明,方法后置条件仅根据外部可观察状态/数据进行预测就足够了,并且在系统级测试时应检查中间步骤。
2020-11-21 cs.SE