A Tale of Two DL Cities: When Library Tests Meet Compiler
针对DL编译器模型加载阶段测试不足的问题,提出OPERA方法,迁移DL库测试知识并结合多样性测试优先级策略,在三款编译器上检测到170个未知缺陷,效率提升显著。
2024-08-14 cs.SE
Repro: An Open-Source Library for Improving the Reproducibility and Usability of Publicly Available Research Code
University of Pennsylvania(宾夕法尼亚大学)
我们介绍了Repro,一个开源库,旨在提高研究代码的可重复性和可用性。该库提供了一个轻量级的Python API,用于在Docker容器中运行研究人员发布的软件,其中包含代码所需的运行时配置和依赖关系。由于每个包的环境设置都由Docker处理,因此用户不必自己进行任何配置。一旦安装了Repro,用户就可以运行图书馆目前支持的30多篇论文的代码。我们希望研究人员看到通过将他们的研究代码包含在Repro中为他人提供的价值,并考虑为他们自己的研究代码添加支持。
2022-04-29 cs.AI cs.CL cs.SE
LLM Based Input Space Partitioning Testing for Library APIs
针对库API复杂输入空间测试难题,提出基于LLM理解代码并划分输入空间的LISP方法,覆盖率优于EvoSuite并发现13个CVE漏洞。
2024-12-15 cs.CR cs.SE
Testing Global Constraints
UCLouvain(鲁汶天主教大学)
每个约束编程(CP)求解器都暴露了一个用于解决组合问题的约束库。为了有用,CP求解器需要没有bug。因此,求解器的测试对于使开发人员和用户有信心至关重要。我们提出了一个Java库,允许任何基于JVM的求解器来测试各个约束的实现是正确的。该库可以用于在持续集成工具中执行的测试套件中,也可以用于发现违反某些属性(弧一致性等)的最低限度实例,以帮助开发人员使用标准调试器识别问题的根源。
2018-07-11 cs.AI cs.SE
ConcoLixir: Reactive LLM Discovery Oracles for Python Concolic Testing
National Chengchi University(国立政治大学)
针对Python符号执行中库调用降级、语义操作难解和路径覆盖停滞问题,提出ConcoLixir,利用LLM作为发现预言生成种子、输入并引导覆盖,平均行覆盖率提升8.6-17.0个百分点,成本仅$1.63。
2026-06-26 cs.SE
Cross-View of Testing Techniques Toward Improving Web-Based Application Testing
Web应用程序(WA)的失败可能会导致机构的崩溃,因此,随着时间的推移,高质量的WA的重要性正在增加。测试是决定WA是否可靠的最佳质量度量之一。WA的测试方法缺乏对WA的功能需求测试的适当覆盖。另一方面,一些方法产生的测试用例已经覆盖WA的测试,但他们也产生了大量的无关测试用例。本研究分析了WA和GUI应用程序的主要测试方法。此外,我们还概述了测试驱动开发及其对当前开发的影响。然后给出了满足适当测试的良好测试方法的规范。
2012-05-30 cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
深度学习(DL)技术在许多具有挑战性的任务中被证明是有效的,并在实践中被广泛采用。然而,以前的工作表明,DL库,构建和执行DL模型的基础,包含错误,并可能导致严重的后果。不幸的是,现有的测试方法仍然不能全面地测试DL库。它们利用现有的训练模型,只在模型推理阶段检测错误。在这项工作中,我们提出松饼来解决这些问题。为此,Muffin应用了一种专门设计的模型模糊方法,该方法允许它生成不同的DL模型来探索目标库,而不是仅依赖于现有的训练模型。Muffin通过定制一组度量标准来测量不同DL库之间的不一致性,从而在模型训练阶段实现了差异测试。通过这种方式,Muffin可以最好地运用库代码来检测更多的bug。为了评估Muffin的有效性,我们对三个广泛使用的DL库进行了实验。结果表明,Muffin可以在流行的DL库的最新版本中检测到39个新错误,包括Tensorflow,CNTK和Theano。
2022-05-09 cs.SE
Model-based Testing of the Java Network API
测试网络系统是一项挑战。客户端或服务器端不能单独测试。我们提出了一个解决方案,使用工具“Modbat”,生成Java的网络库java.nio,在那里我们测试阻塞和非阻塞网络功能的测试用例。我们的测试模型可以动态地模拟多个工作线程和客户线程中的操作,这要归功于精心编排的设计,在确保进度的同时涵盖了非确定性。
2017-03-21 cs.SE
Assessing and Improving the Mutation Testing Practice of PIT
突变测试被广泛用于支持软件工程研究的实验。由于现代工具可以自动化整个突变分析过程,因此它可以应用于现实世界的项目。然而,流行的突变测试工具使用一组限制性的突变体,不符合突变测试文献所支持的社区标准。这可能是有问题的,因为突变的有效性取决于它的突变体。因此,我们研究如何有效的突变体的一个流行的突变测试工具,命名为PIT,相比全面的,从文献和个人经验。我们表明,全面的突变体是很难杀死和编码的故障没有被捕获的突变体的PIT的范围为11%至62%的Java类的考虑项目。
2016-01-11 cs.SE
Improving the Technical Aspects of Software Testing in Enterprises
许多软件开发项目由于质量问题而失败。软件测试能够创建高质量的软件产品。由于这是一项繁琐而昂贵的任务,而且往往难以管理,因此其技术背景和组织实施都必须有充分的基础。我们与开发软件的区域公司合作,以了解他们在测试方面的明显弱点和优势。通过分析和比较优势,我们得出了最佳实践。在本文中,我们解释了该项目的背景和素描的设计科学研究方法论使用。然后,我们介绍了一个图形分类框架,帮助企业判断建议的适用性。最后,我们提出了五个技术方面的测试建议的细节。对于每一个建议,我们给出了基于分类框架的实施建议。
2010-11-02 cs.SE
Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
North Carolina State University(北卡罗来纳州立大学);ShanghaiTech University(上海科技大学);Cornell University(康奈尔大学)
本文提出FlashFuzz,利用LLM自动合成API级测试驱动程序,将覆盖率引导模糊测试有效应用于PyTorch和TensorFlow,显著提升覆盖率、有效率和生成速度,并发现42个未知缺陷。
2025-09-18 cs.SE
QSPE: Enumerating Skeletal Quantum Programs for Quantum Library Testing
Manufacturing Industry Chain Collaboration Industrial Software Key Laboratory of Sichuan Province(四川省制造业产业链协同工业软件重点实验室);Southwest Jiaotong University(西南交通大学);State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Zhejiang University(浙江大学);Kyushu University(九州大学);University of Luxembourg(卢森堡大学);Institute of AI for Industries(产业人工智能研究院)
QSPE通过差分测试原理和基于状态向量的验证方法,高效生成量子程序变体并检测编译错误,显著提升量子库测试的准确性与效率。
2026-01-17 cs.SE quant-ph
Improving Testing Behavior by Gamifying IntelliJ
本文提出 IntelliGame,一个 IntelliJ 的游戏化插件,通过多级成就系统激励开发者改善测试行为;实验表明,受激励的开发者编写更多测试、获得更高覆盖率与变异分数,并更早完成功能。
2023-10-17 cs.SE
Improving the Testability of Object-oriented Software during Testing and Debugging Processes
可测试性是在程序中存在错误的情况下,测试是否会检测到错误的概率。如何有效地发现故障取决于软件的可测试性。许多研究人员提出了定性和定量的技术来提高和衡量软件的可测试性。在文献中,大量的可靠性增长模型已被用于评估和衡量软件在测试和运行阶段的定量质量评估。了解软件故障分布及其复杂性可以提高软件的可测试性。通过了解故障分布和故障复杂度,可以使测试工作量的分配变得容易,这将简化从软件中发现故障的过程。因此,软件的可测试性将得到改善。文中给出了该模型的参数以及不同复杂度的故障在软件中所占的比例,并利用在开源环境下开发的两个面向对象软件MySQL for python和Squirrel SQL Client的故障数据进行了估计
2013-08-15 cs.SE
NovaQ: Improving Quantum Program Testing through Diversity-Guided Test Case Generation
针对量子程序可靠性保障需求,本文提出多样性引导测试框架NovaQ,结合分布式生成器与新颖性评估模块,实验显示其在多样性和bug检测上优于现有基线。
2025-09-05 cs.SE
Improving Random Testing via LLM-powered UI Tarpit Escaping for Mobile Apps
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新 institute)
本文提出基于LLM的随机GUI测试方法,通过监控UI相似性识别陷阱并建议事件逃离,提升移动应用测试覆盖率和bug发现率,实验显示HybridMonkey和HybridDroidbot在12个应用上平均覆盖率提升54.8%和44.8%。
2026-04-13 cs.SE
Harnessing LLMs for Document-Guided Fuzzing of OpenCV Library
本文提出 VISTAFUZZ 技术,利用大语言模型解析 OpenCV API 文档并提取参数约束与依赖关系,以文档引导方式生成测试输入进行模糊测试,在 330 个 API 中发现 17 个新缺陷。
2025-07-19 cs.SE
Free Lunch for Testing: Fuzzing Deep-Learning Libraries from Open Source
深度学习(DL)系统可以让我们的生活变得更加轻松,因此越来越受到学术界和工业界的关注。同时,DL系统中的错误可能是灾难性的,甚至可能在安全关键应用中威胁到人类生命。迄今为止,大量的研究工作一直致力于测试DL模型。然而,有趣的是,测试底层DL库的工作仍然有限,这些库是构建、优化和运行DL模型的基础。一个潜在的原因是,底层DL库的测试生成可能相当具有挑战性,因为它们的公共API主要在Python中公开,由于动态类型,甚至很难自动确定API输入参数类型。在本文中,我们提出了FreeFuzz,第一种通过从开源中挖掘来模糊DL库的方法。更具体地说,FreeFuzz从三个不同的来源获得代码/模型:1)来自库文档的代码片段,2)库开发人员测试,以及3)野生的DL模型。然后,FreeFuzz自动运行所有收集的代码/模型,并使用插装来跟踪每个覆盖的API的动态信息,包括调用期间每个参数的类型和值,以及输入/输出张量的形状。最后,FreeFuzz将利用跟踪的动态信息对每个覆盖的API执行模糊测试。在PyTorch和TensorFlow这两个最流行的DL库上对FreeFuzz进行的广泛研究表明,FreeFuzz能够自动跟踪模糊1158个流行API的有效动态信息,比最先进的LEMON多9倍,开销比LEMON低3.5倍。到目前为止,FreeFuzz已经检测到PyTorch和TensorFlow的49个bug…
2022-02-25 cs.SE
RobOT: Robustness-Oriented Testing for Deep Learning Systems
最近,人们对将软件工程技术应用于深度学习(DL)系统的质量保证的兴趣显著增长。一个流行的方向是深度学习测试,其中对抗性示例(又名~缺陷)通过模糊搜索或在某些测试度量的帮助下的引导搜索来发现。然而,最近的研究表明,现有DL测试方法常用的神经元覆盖度量与模型鲁棒性无关。它也不是检验后模型稳健性置信度的有效度量。在这项工作中,我们提出了一个新的测试框架,称为面向健壮性测试(RobOT)来解决这个差距。RobOT的一个关键部分是定量测量1)每个测试用例在提高模型鲁棒性(通常通过再训练)方面的价值,以及2)模型鲁棒性改进的收敛质量。RobOT利用所提出的度量自动生成测试用例,提高模型的鲁棒性。所提出的指标也是一个强有力的指标,如何以及鲁棒性的改善,通过测试收敛。在多个基准数据集上的实验证实了RobOT在提高DL模型鲁棒性方面的有效性和效率,对抗鲁棒性提高了67.02%,比最先进的DeepGini高出50.65%。
2021-02-13 cs.SE
COMET: Coverage-guided Model Generation For Deep Learning Library Testing
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院);University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学)
针对现有 DL 模型生成技术层 API 覆盖不足的问题,本文提出 COMET,利用变异算子、覆盖引导搜索与模型综合提升测试多样性,并在八个 DL 库中发现 32 个新缺陷。
2023-01-30 cs.AI cs.SE
Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries
The Hong Kong University of Science and Technology(香港科学与技术大学);Monash University(墨尔本大学)
本文提出DLLens,一种LLM增强的深度学习库差分测试技术,通过LLM合成API对应实现并结合静态分析提取路径约束来生成多样化测试输入,在TensorFlow和PyTorch上显著提升了对应实现合成数量、分支覆盖率和缺陷检测能力。
2025-05-08 cs.AI cs.SE
A Feature-Oriented Corpus for Understanding, Evaluating and Improving Fuzz Testing
Fuzzing是一种很有前途的安全漏洞检测技术。新开发的模糊器通常根据在易受攻击的程序/二进制文件上发现的错误数量进行评估。然而,现有的语料库通常不捕捉的功能,防止模糊发现错误,导致模糊的利弊评价的结论。一个典型的例子是,Driller比AFL检测到更多的错误,但它的评估无法确定Driller的进步是否源于concolic执行,因为,例如,它在解决数据集的魔法值方面的能力尚不清楚。在本文中,我们提出了解决上述问题的基础上产生语料库的搜索阻碍功能。作为概念验证,我们设计了FEData,这是一个原型语料库,目前专注于四个搜索阻碍功能,以生成用于模糊测试的易受攻击程序。与现有的只能回答“如何”的语料库不同,FEData还可以通过暴露(或理解)模糊器中已识别弱点的原因来进一步回答“为什么”。“为什么”信息是改进模糊器的关键。
2019-05-04 cs.SE
Improving Deep Learning Framework Testing with Model-Level Metamorphic Testing
本文提出ModelMeta,一种模型级蜕变测试方法,通过四个面向模型结构的蜕变关系和QR-DQN策略生成多样化测试输入,并细粒度分析训练损失、资源使用等指标,以突破现有方法在测试输入多样性和缺陷检测范围上的局限。
2025-07-06 cs.SE
OpenCat: Improving Interoperability of ADS Testing
针对现有ADAS基准测试用例因格式特定、模型定制导致复用性与互操作性受限的问题,提出转换器OpenCat将OpenDRIVE测试用例转换为Catmull-Rom样条格式,提升测试场景复用性,通过SensoDat数据集验证了转换精度及无偏评估能力,并为ADAS基准优化提供建议。
2025-02-12 cs.SE
LibProf: A Python Profiler for Improving Cold Start Performance in Serverless Applications
本文提出 Python 分析器 LibProf,通过动态程序分析识别无服务器应用中的低效库初始化,在 15 个应用上实现冷启动最高 2.26 倍加速和 1.51 倍内存降低。
2024-06-17 cs.DC cs.PF cs.SE
LLMs are All You Need? Improving Fuzz Testing for MOJO with Large Language Models
School of Electrical and Computer Engineering, University of Sydney(悉尼大学电气与计算机工程学院)
针对新兴语言MOJO缺乏测试框架和语料库导致LLM幻觉降低模糊测试效果的问题,提出首个基于LLM的自适应模糊测试框架MOJOFuzzer,通过多阶段过滤和运行时反馈迭代变异,显著提升了测试有效性及覆盖率,并发现13个未知错误。
2025-10-11 cs.AI cs.SE
TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
PinChecker: Identifying Unsound Safe Abstractions of Rust Pinning APIs
本文提出 PinChecker 工具,通过新中间表示 RPIL 和合成驱动方法,自动检测 Rust 库中固定 API 契约的违反,在 13 个流行库中发现 2 个错误。
2025-06-20 cs.SE
Improving CASA Runtime Performance by Exploiting Basic Feature Model Analysis
在软件产品线工程(SPLE)中,系统家族被设计出来,而不是独立地开发单个系统。组合交互测试已被证明是有效的测试环境中的SPLE,其中一个代表性的子集的产品被选择用于测试的地方,整个家庭。这样的产品子集可以通过计算所谓的t-wise覆盖阵列(tCA)来确定,其计算是NP完全的。最近,已经提出了利用基本特征模型分析的约简规则,其减少了软件产品线(SPL)的tCA计算期间需要考虑的元素的数量。我们应用这些规则CASA,模拟退火算法tCA生成SPL。我们使用133个公开可用的特征模型评估了CASA的改编版本,平均可以记录$61.8\%$的中值执行时间的加速,同时保留了生成的数组的覆盖范围。
2013-12-05 cs.SE
Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models
本文提出 LLM 驱动的 DFUZZ,通过 API 白盒信息引导边界情况推理与测试程序生成,提升 TensorFlow 和 PyTorch 的 API 覆盖率并发现 37 个 bug。
2025-01-08 cs.SE
Reasoning and Improving on Software Resilience against Unanticipated Exceptions
在软件中,有在规格说明和设计时预期的错误,在开发和测试时遇到的错误,以及在生产模式中发生但从未预料到的错误。在本文中,我们的目的是推理的软件正确处理意外异常的能力。我们提出了一种算法,称为短路测试,它注入异常测试套件执行过程中,以模拟意外的错误。该算法收集用作输入的数据,用于验证捕获两个弹性属性的两个正式异常合约。我们对9个测试套件的评估,平均78%的行覆盖率,分析了241个执行的catch块,显示其中101个暴露了弹性属性,84个可以转换为更有弹性。
2013-12-31 cs.SE
From Library Portability to Para-rehosting: Natively Executing Microcontroller Software on Commodity Hardware
查找微控制器(MCU)固件中的错误是一项挑战,即使对于拥有源代码的设备制造商也是如此。MCU运行与x86不同的指令集,并暴露出非常不同的开发环境。这使x86上许多现有的复杂软件测试工具失效。为了维护一个统一的开发和测试环境,一个简单的方法是将源代码重新编译为商品机器的本机可执行文件(称为rehosting)。然而,ad-hoc re-hosting是一项艰巨而繁琐的任务,并且存在许多问题(库依赖性,内核依赖性和硬件依赖性)。在这项工作中,我们系统地探讨了MCU软件的可移植性问题,并提出pararehosting,以减轻移植过程。具体来说,我们抽象和实现一个便携式MCU(PMCU)使用POSIX接口。它模拟了MCU内核的常见功能。对于外围特定的逻辑,我们提出了基于HAL的外围功能替换,其中高级别的硬件功能被替换为主机上的等效后端驱动程序。这些后端驱动程序由精心设计的para-API调用,可以在许多MCU操作系统中重用。我们将常见的HAL函数分为四种类型,并实现了用于快速后端开发的模板。使用所提出的方法,我们已经成功地重新托管了9个MCU操作系统,包括广泛部署的Amazon FreeRTOS、ARM Mbed OS、Zephyr和LiteOS。为了证明我们的方法在安全测试方面的优越性,我们使用现成的动态分析工具(AFL和ASAN)对重新托管的程序,并发现了28个以前未知的错误,其中5个…
2021-07-04 cs.CR cs.DC cs.PL
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Guelph(圭尔夫大学)
尽管机器学习(ML)已经成功地自动化了各种软件工程需求,但软件测试仍然是一个极具挑战性的话题。在本文中,我们的目标是通过直接增强随机数生成器(RNG)与深度强化学习(RL)代理使用一个有效的,自动提取的状态表示的测试下的软件,以提高软件的生成测试。使用Cosmos SDK作为测试平台,我们证明了所提出的DeepRNG框架对具有超过350,000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
Lie to Me: Finding Bugs in ZK DSL Toolchains with Adversarial Witness Injection
TU Wien, Austria(维也纳工业大学);Consensys Diligence, Austria(Consensys Diligence)
本研究提出测试框架Liezz,通过对抗性见证注入发现Circom等ZK DSL工具链的健全性漏洞,发现13个漏洞,其中7个具健全性影响,该方法可触及有效执行测试遗漏的失败。
2026-09-01 cs.CR cs.SE
Evaluating and Improving Static Application Security Testing Tools for Rust
University of Hong Kong(香港大学);Nanjing University(南京大学);Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学)
本文评估主流Rust SAST工具的有效性与弱点,提出LLM辅助的TRUST框架,发现6种SAST工具的46个故障,为改进Rust SAST工具提供指导。
2026-10-16 cs.CR cs.SE
An Empirical Study of Library Usage and Dependency in Deep Learning Frameworks
Polytechnique Montreal(蒙特利尔理工学院);Queen’s University(女王大学)
深度学习(dl)的最新进展已经导致了几个dl软件库的发布,如pytorch,Caffe和TensorFlow,以帮助机器学习(ml)从业者开发和部署最先进的深度神经网络(DNN),但他们无法正确应对dl库中的限制,如测试或数据处理。在本文中,我们提出了一个定性和定量分析的最频繁的dl库组合,分布的dl库依赖性的ml工作流程,并制定了一套建议(i)硬件建设者更优化的加速器和(ii)库建设者更完善的未来版本。我们的研究基于1,484个开源深度学习项目,其中46,110个贡献者是根据他们的声誉选择的。首先,我们发现深度学习库的使用呈增长趋势。其次,我们强调了深度学习库的几种使用模式。此外,我们还发现了dl库与最常见的组合之间的依赖关系,我们发现pytorch和Scikit-learn以及Keras和TensorFlow是18%和14%的项目中最常见的组合。开发人员在相同的项目中使用两个或三个dl库,并且倾向于在相同的函数和相同的文件中使用不同的多个dl库。开发人员展示了使用各种深度学习库的模式,并且更喜欢参数少、目标简单的简单函数。最后,我们提出了研究人员,图书馆维护人员和硬件供应商的影响,我们的研究结果。
2022-11-28 cs.AI cs.SE
A Scenario-Based Functional Testing Approach to Improving DNN Performance
School of Engineering, Computing and Mathematics, Oxford Brookes University(牛津布鲁克斯大学工程、计算与数学学院)
本文提出迭代式场景功能测试方法,通过识别、确认薄弱场景并结合迁移学习进行针对性再训练,在自动驾驶赛车 DNN 感知系统上验证了性能提升且资源消耗更低。
2023-07-13 cs.LG cs.SE
Improving Constraint Models with LLM Agents
TU Wien(维也纳技术大学)
该研究提出一种基于LLM智能体的框架,通过迭代诊断修复改进约束模型,在9个组合优化问题的27个测试实例中多数表现优于原模型,部分问题求解速度提升超两个数量级,证明自主智能体方法可支持约束模型优化。
2026-09-23 cs.AI cs.LO cs.SE