Generalized Coverage Criteria for Combinatorial Sequence Testing
针对以动作与断言序列为测试向量的系统,提出广义序列覆盖准则、测试套件生成工具及贝叶斯风险量化框架,并实证验证其缺陷发现、风险评估与覆盖效果。
2023-10-31 cs.SE
Selectively Combining Multiple Coverage Goals in Search-Based Unit Test Generation
单元测试是软件开发过程的关键部分,确保程序中基本编程单元的正确性(例如,方法)。基于搜索的软件测试(SBST)是一种自动生成测试用例的方法。SBST通过指定覆盖标准(例如,分支覆盖)。然而,一个好的测试套件必须有不同的属性,这不能通过使用单独的覆盖标准来捕获。因此,最先进的方法结合了多个标准来生成测试用例。由于组合多个覆盖标准会带来多个优化目标,与使用单个标准相比,它会损害测试套件对某些标准的覆盖。为了解决这个问题,我们提出了一种新的方法命名为\textbf{smart selection}。智能选择算法根据各准则之间的覆盖相关性和覆盖目标之间的包容关系,选择覆盖目标的子集,以减少优化目标的数量,避免遗漏所有准则的任何属性。我们进行实验,以评估智能选择$400$ Java类与三个国家的最先进的遗传算法。平均而言,智能选择优于在$65.1\%$上组合两种方法之间具有显著差异的类的所有目标。
2022-08-08 cs.SE
Revisiting "Revisiting Neuron Coverage for DNN Testing: A Layer-Wise and Distribution-Aware Criterion": A Critical Review and Implications on DNN Coverage Testing
Università della Svizzera italiana(瑞士意大利语大学);King’s College London(伦敦国王学院);KAIST(韩国科学技术院)
本文对神经覆盖标准进行了批判性回顾,指出其偏离核心原则,并提出改进方向,影响DNN覆盖测试方法。
2026-01-13 cs.SE
Cross-coverage testing of functionally equivalent programs
该研究提出功能等价程序的交叉覆盖概念,将其应用于测试套件增强,证实交叉测试比随机基线更能提升覆盖率,且可发现人工构造的功能缺失故障,为冗余软件测试提供新方法。
2023-04-28 cs.SE
Testing Criteria for Mobile Apps Based on Callback Sequences
应用程序质量已被证明是应用程序采用的最重要指标。为了保证质量,开发人员主要使用测试来发现应用程序中的错误,并应用结构和GUI测试覆盖标准。然而,移动应用程序的行为比GUI操作更多,例如,应用程序还处理来自传感器的事件,并通过Android API调用服务和AsyncTasks执行长时间运行的后台任务。我们的研究发现,通过回调交互的重要应用行为应该在测试中涵盖,因为回调之间的数据共享很常见,并且是许多现有错误的原因。我们设计了一系列基于回调序列的测试准则,并使用回调控制流自动机(CCFA)来测量测试的覆盖率。我们的实验表明,在我们的标准的指导下,测试可以发现更多的错误和触发错误比最先进的工具更快。
2019-11-20 cs.SE
Understanding the Effectiveness of Coverage Criteria for Large Language Models: A Special Angle from Jailbreak Attacks
本文从越狱攻击视角评估传统覆盖率准则在LLM安全测试中的有效性,发现神经元覆盖率能区分正常与越狱查询,并据此提出实时检测、测试用例优先级排序及覆盖率引导的攻击样本生成三种应用,显著提升模型安全性。
2025-04-01 cs.SE
Situation Coverage Testing for a Simulated Autonomous Car -- an Initial Case Study
由于AR必须处理的外部情况(地形,障碍物,人类,对等机器人)的范围和多样性,因此很难测试自主机器人(AR)软件。测试充分性的通用措施可能无法解决这种多样性。明确的情况覆盖已被提出作为一种解决方案,但很少有实证研究其有效性。在本文中,我们描述了一个实现的情况覆盖测试一个简单的模拟自动驾驶汽车,并评估其能力,找到种子故障相比,随机测试生成方法。在我们的实验中,这两种方法的性能是相似的,情况覆盖率有一个非常轻微的优势。我们的结论是,对于这里使用的简单的研究级AR软件,情况覆盖可能没有比随机生成更大的好处。当应用于更复杂和成熟的软件时,它可能是有价值的。
2019-11-15 cs.SE
Minimum Number of Test Paths for Prime Path and other Structural Coverage Criteria
被测软件系统可以被建模为一个由一组顶点(V)和一组边(E)组成的图。测试用例是图上满足特定测试标准的测试路径。在本文中,我们提出了一种方法,以实现最小数量的测试路径需要覆盖不同的结构覆盖标准。我们的方法可以适应总理路径,边对,简单和完整的往返,边缘和节点覆盖标准。我们的方法通过将图转化为流图并求解最小流问题来获得最优解。我们提出了一个算法的最小流问题,匹配的最佳已知的解决方案的复杂性$O(|V| |E|)$。我们的方法是通过两组测试进行评估。首先,我们测试代表实际软件的图形。在第二个测试中,我们创建不同复杂度的随机图。在每个测试中,我们测量测试路径的数量,测试路径的长度,最小测试路径数量的下限和执行时间。
2018-09-22 cs.SE
Investigating Coverage Guided Fuzzing with Mutation Testing
覆盖率引导模糊测试(CGF)是一种有效的测试技术,已经从各种软件应用程序中检测出数十万个错误。它专注于最大化代码覆盖率,以在模糊化过程中揭示更多的错误。然而,更高的覆盖率并不一定意味着更好的故障检测能力。触发一个错误不仅涉及到特定的程序路径,但也达到感兴趣的程序状态在该路径。在本文中,我们使用变异测试,以提高CGF在检测错误。我们使用变异分数作为反馈来指导模糊检测错误,而不仅仅是覆盖代码。为了评估我们的方法,我们在5个基准上进行了精心设计的实验。我们选择国家的最先进的模糊技术Zest作为基线,并构建两个修改后的技术,它使用我们的方法。实验结果表明,该方法可以提高CGF在代码覆盖率和错误检测。
2022-05-01 cs.SE
Coverage measurement in model-based testing of web applications: Tool support and an industrial experience report
针对工业Web应用MBT中多类覆盖率数据需实时集成的需求,本文开发开源工具MBTCover,支持代码、需求与模型覆盖率的实时测量报告,并总结多个大型自动化测试项目的工业应用经验。
2024-08-12 cs.SE
Metamorphic Coverage
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
研究针对变质测试中代码覆盖不准确、变异测试成本高的问题,提出变质覆盖(MC)度量。在五种变质测试方法上评估MC,发现其与错误修复位置重叠度高,比行覆盖更敏感且耗时少,用于反馈指导时比代码覆盖能多发现错误,可广泛应用于评估和改进测试。
2026-07-17 cs.SE
DJPlus: Generating minimal test suites for strong coverage criteria in graph models
İstanbul Technical University(伊斯坦布尔理工大学);University of Antwerp(安特卫普大学);Graz University of Technology(格拉茨工业大学)
DJPlus提出一种优化驱动的测试生成方法,在满足图覆盖需求的同时生成精简测试套件,通过减少冗余测试步骤显著缩短执行时间,并在四个真实系统上验证了强覆盖准则的可行性。
2026-09-09 cs.SE
Enhancing NeuroEvolution-Based Game Testing: A Branch Coverage Approach for Scratch Programs
本文针对Scratch游戏测试提出基于分支覆盖的适应度函数扩展NEATEST框架,引导神经进化最大化分支探索,实验表明其比语句覆盖方法具有更高的分支覆盖率和更低的故障误报率。
2025-07-12 cs.SE
REST API Fuzzing by Coverage Level Guided Blackbox Testing
随着Web应用程序的增长,REST API已成为服务之间的主要通信方法。为了保证系统的可靠性和安全性,软件质量可以通过有效的测试方法来保证。黑盒模糊测试是进行大规模测试的有效方法之一。然而,传统的黑盒模糊测试产生随机数据而不判断输入的质量。我们为REST API实现了一个黑盒模糊测试方法。通过测试覆盖水平反馈,解决了在不知道突变有效性的情况下盲目突变的问题。我们还通过降低REST API的测试复杂度来增强变异策略,生成更合适的测试用例来覆盖可能的路径。我们通过测试两个大型开源项目来评估我们的方法,并报告和确认了89个错误。此外,我们在APIs.guru中发现了来自64个远程API服务的351个错误。该工作在https://github.com/iasthc/hsuan-fuzz上。
2021-12-31 cs.SE
Increasing System Test Coverage in Production Automation Systems
介绍了一种支持测试技术人员识别全集成自动化生产系统(aPS)控制软件可能未测试行为的方法。基于一种引导式半自动系统测试方法,在测试过程中记录执行轨迹,允许后续的覆盖评估。由于aPS的行为高度依赖于软件,因此可以识别遗漏的系统行为并评估其重要性。通过与工业界的密切合作,这种方法代表了第一种用于生产自动化系统测试的覆盖率评估方法,可应用于实际工业对象,并由工业专家进行评估。
2022-12-07 cs.SE
Maximizing Patch Coverage for Testing of Highly-Configurable Software without Exploding Build Times
针对Linux内核补丁测试中现有配置方案构建耗时长且难保证补丁覆盖的问题,提出krepair方法,仅对快速构建但补丁覆盖差的配置做少量修改,即可实现平均98.5%的补丁覆盖率,同时保持构建速度比最大覆盖配置快10.5倍。
2024-04-27 cs.SE
CoCoFuzzing: Testing Neural Code Models with Coverage-Guided Fuzzing
基于深度学习的代码处理模型在预测方法名称、总结程序和注释生成等任务上表现出了良好的性能。然而,尽管取得了巨大的进步,但深度学习模型往往容易受到对抗攻击,这可能会导致这些模型对意外输入的错误分类,从而严重威胁到这些模型的鲁棒性和可推广性。为了解决上述问题,已经提出了许多深度学习测试方法,然而,这些方法主要集中在测试图像、音频和文本分析等领域中的深度学习应用,由于程序的独特性质,其不能直接应用于神经模型以用于代码。在本文中,我们提出了一个基于覆盖率的模糊框架CoCoFuzzing,用于测试基于深度学习的代码处理模型。特别是,我们首先提出了十个变异算子自动生成有效的和语义保持源代码的例子作为测试,然后我们提出了一个基于神经元覆盖的方法来指导测试的生成。我们研究了CoCoFuzzing在三种最先进的神经代码模型上的性能,即,NeuralCodeSum、CODE2SEQ和CODE2VEC。我们的实验结果表明,CoCoFuzzing可以生成有效的和语义保留的源代码的例子,用于测试这些模型的鲁棒性和泛化能力,并提高神经元的覆盖率。此外,这些测试可用于通过对抗性再训练来提高目标神经代码模型的性能。
2021-06-17 cs.SE
Coverage-Guided Testing for Deep Learning Models: A Comprehensive Survey
本文全面综述了深度学习模型的覆盖引导测试(CGT)方法,包括测试覆盖率分析、输入生成与优化,并系统分类了现有方法、评估实践及未来挑战,为DL模型质量保证提供路线图。
2025-07-01 cs.SE
Code Coverage Aware Test Generation Using Constraint Solver
代码覆盖率已用于软件测试环境中,主要作为评估生成的测试套件质量的指标。最近,代码覆盖分析被用作测试优化的白盒测试技术。大多数的研究活动集中在使用代码覆盖率的测试优先级和自动化测试策略中的选择。在文献中,使用代码覆盖率进行测试生成的努力较少。本文提出了一种新的基于代码覆盖率的测试用例生成(CCTG)的概念,通过在测试生成过程中利用代码覆盖率分析来改变现有的做法。CCTG使用代码覆盖率数据来计算输入参数对约束求解器的影响,以自动生成有效的测试套件。我们将这种方法应用于一些现实世界的案例研究。实验结果表明,新的测试生成方法能够生成有效的测试用例,并能检测出新的故障。
2020-09-07 cs.SE
Model-based Automated Testing of JavaScript Web Applications via Longer Test Sequences
JavaScript已成为Web开发中使用最广泛的语言之一。然而,由于动态和事件驱动的特性,确保用JavaScript编写的Web应用程序的正确性和可靠性是具有挑战性的。针对JavaScript Web应用程序的动态分析技术已经有很多种,但它们在覆盖范围和可扩展性方面都有局限性。在本文中,我们提出了一种基于模型的自动化方法,通过测试较长的事件序列,在合理的时间内实现高代码覆盖率。我们将我们的方法实现为工具LJS,并在21个公开的基准测试(总共18,559行代码)上进行了广泛的实验。LJS平均在10分钟内达到86.4%的行覆盖率,比基于广度优先搜索的自动化测试工具JSDep高5.4%。特别是,在大型应用程序中,LJS的覆盖率比JSDep高11- 18%。我们的经验发现支持更长的测试序列可以实现更高的代码覆盖率在JavsScript测试。
2019-05-19 cs.SE
Mind the Gap: The Difference Between Coverage and Mutation Score Can Guide Testing Efforts
提出预言差距(覆盖率与变异分数之差)框架,通过三项研究证明其能揭示测试工作的范围和质量,帮助从业者识别弱预言测试重要代码的文件。
2023-09-05 cs.SE
Presentation Proposal: Towards Efficient Data-flow Test Data Generation Using KLEE
数据流覆盖率是白盒测试的标准之一,它关注变量定义与其使用之间的关系,一些实证研究证明了数据流测试比控制流测试更有效。然而,由于缺乏有效的工具支持,数据流测试在实践中仍然没有得到采用。为此,我们提出了一个指导符号执行的方法来有效地搜索程序路径,以满足数据流覆盖标准。我们在KLEE上实现了这种方法,并用30个程序主题进行了评估,这些程序主题是由以前的数据流测试文献、SIR、SV-COMP基准中使用的主题构建的。此外,我们正计划将数据流测试技术集成到新提出的符号执行引擎SmartUnit中,SmartUnit是一种基于云的工业软件单元测试服务,支持基于覆盖率的测试。已成功帮助国内多家知名企业和机构在实践中采用基于覆盖率的测试,累计测试了超过百万行的行业真实代码。
2019-03-19 cs.SE
Overview of Test Coverage Criteria for Test Case Generation from Finite State Machines Modelled as Directed Graphs
Czech Technical University in Prague(布拉格捷克理工大学);Karlstad University(卡尔斯塔德大学)
测试覆盖率标准是测试工程师在从被测系统模型生成测试用例时的一个基本概念。它们通常用于软件、电子或物联网(IoT)系统的用户界面、中间件和后端系统部件的测试用例生成。测试覆盖率标准定义了测试系统的动作或组合的数量,非正式地确定了测试集的潜在“强度”。由于以前没有研究总结了有限状态机的所有常用测试覆盖标准,并全面讨论了它们的包容性,等效性或非可比性,本文提供了这一概述。在这项研究中,14个最常见的测试覆盖率标准和7个通过有向图定义的有限状态机的同义词进行了总结和比较。这些结果为研究人员和行业测试工程师在设置基于软件或物联网系统的测试策略时提供了有用的概述。
2022-03-17 cs.AI cs.FL cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
TATG: Tracking-Aware Testing Objective for LLM-based Test Generation
University of Limerick(利默里克大学);University of Ottawa(渥太华大学)
针对复杂Java方法自动化单元测试生成难的问题,TATG提出基于大语言模型的单元测试生成方法,引入统一目标表示跟踪测试需求,采用两阶段工作流程,实验证明其相比其他方法有显著提升。
2026-11-09 cs.SE
Reinforcement Learning-Based REST API Testing with Multi-Coverage
本文提出基于Q-learning的REST API测试方法MUCOREST,通过最大化代码覆盖率和输出覆盖率提升缺陷发现能力,实验表明其缺陷发现数量比现有方法高11.6%-261.1%,且所需API调用更少。
2024-10-20 cs.SE
Testing SSD Firmware with State Data-Aware Fuzzing: Accelerating Coverage in Nondeterministic I/O Environments
针对SSD固件在非确定性I/O环境下传统测试覆盖率提升缓慢的问题,提出状态数据感知模糊测试方法,利用内部状态引导输入生成,实验证明在保持相同覆盖率和缺陷检测能力的同时可减少约67%的命令开销。
2025-05-05 cs.SE
Fine-grained Code Coverage Measurement in Automated Black-box Android Testing
今天,有数百万的第三方Android应用程序。这些应用程序中有一些是错误的,甚至是恶意的。为了识别这些应用程序,包括Google在内的Android社区正在开发用于自动化黑盒测试和动态分析的新框架。代码覆盖率是评估这些框架有效性的最常见指标之一。此外,代码覆盖率被用作指导进化和模糊测试技术的适应度函数。然而,在黑盒Android应用程序测试中,没有可靠的工具来测量细粒度的代码覆盖率。我们提出了Android代码覆盖工具,简称ACVTool,它可以检测Android应用程序,并在类,方法和指令粒度的黑盒设置中测量代码覆盖率。在我们的实验中,ACVTool已经成功检测了96.9%的应用程序。它引入了一个可以忽略不计的插装时间开销,并且它的运行时开销对于自动化测试工具来说是可以接受的。我们在一个大规模的实验与Sapienz,一个国家的最先进的测试工具,细粒度的预防级别的代码覆盖率ACVTool提供的帮助,发现了更大的故障比粗粒度的代码覆盖率指标。
2018-12-27 cs.CR cs.SE
On the Effectiveness of Modular Testing with EvoSuite
Bryn Mawr College(布林茅尔学院)
本文探讨了Java面向对象程序中模块化随机测试的有效性,提出emote改进方法,通过放松限制提升目标方法的分支覆盖率。
2026-04-29 cs.SE
SmartUnit: Empirical Evaluations for Automated Unit Testing of Embedded Software in Industry
在本文中,我们针对嵌入式软件的自动化单元覆盖率为基础的测试。为了实现这一目标,通过分析工业需求和我们以前在自动化单元测试工具CAUT上的工作,我们重新构建了一个新的工具SmartUnit,以解决我们合作伙伴公司的工程需求。SmartUnit是一个动态符号执行实现,支持语句、分支、边界值和MC/DC覆盖。SmartUnit已经在实际项目中测试了超过一百万行代码。出于保密动机,我们选择了三个内部真实项目进行实证评估。我们还对两个开源数据库项目SQLite和PostgreSQL进行了评估,以测试我们的工具的可扩展性,因为嵌入式软件项目的规模大多不大,平均只有5 K-50 K行代码。从我们的实验结果来看,一般来说,商业嵌入式软件中90%以上的函数实现了100%的语句、分支、MC/DC覆盖,SQLite中80%以上的函数实现了100%的MC/DC覆盖,PostgreSQL中60%以上的函数实现了100%的MC/DC覆盖。此外,SmartUnit能够在单元测试级别找到运行时异常。我们还报告了SQLite中的异常,如数组索引越界和被零除。此外,我们还分析了自动化单元测试覆盖率低的原因,并对工业上手工单元测试相对于自动化单元测试的情况进行了调查。
2018-06-17 cs.SE
Vulnerability Coverage as an Adequacy Testing Criterion
主流软件应用程序和工具是可配置的平台,具有大量参数及其值。这些参数之间的某些设置和可能的交互可能会加强(或削弱)这些应用程序对某些已知漏洞的安全性和鲁棒性。然而,大量的漏洞报告和与这些工具相关联,使这些工具的详尽测试不可行,对这些漏洞不可行。作为一般软件测试问题的一个实例,要解决的研究问题是被测系统是否健壮和安全。本文介绍了“漏洞覆盖率”的概念,这是一个充分测试给定应用程序的某些类别的漏洞的概念,正如国家漏洞数据库(NVD)所报告的那样。其思想是利用通用漏洞评分系统(CVSS)作为一种手段来衡量进化算法生成的测试输入的适应度,然后通过模式匹配识别与生成的漏洞向量相匹配的漏洞,然后对这些识别出的漏洞进行测试。我们报告了两个进化算法的性能(即,遗传算法和粒子群优化)在生成脆弱性模式矢量中的应用。
2020-06-14 cs.SE
RACC: Representation-Aware Coverage Criteria for LLM Safety Testing
Peking University(北京大学)
本文提出RACC,一种专为LLM安全测试设计的覆盖标准,通过提取安全表示并评估测试提示的激活情况,有效提升测试套件质量,同时对冗余输入不敏感,适用于大规模神经网络的安全测试。
2026-05-12 cs.AI cs.CL cs.CR
ResTest: Targeted Coverage of Residual Not-Covered Code Using Large Language Models for Web GUI Testing
Key Lab of HCST (PKU), MOE(北京大学);SCS(北京大学);Peking University, Beijing, China(中国科学院软件研究所;中国科学院大学);Key Lab of HCST (PKU) & NERC of SE, MOE(北京通明湖信息技术应用创新中心);Peking University, Beijing, China(复旦大学高级计算系统研究所);Institute of Software Chinese Academy of Sciences, University of Chinese Academy of Sciences, Beijing, China;Beijing Tongming Lake Information Technology Application Innovation Center (TLAIC), China;Fudan University Institute of Systems for Advanced Computing, China
本文提出Temac,一种基于LLM多智能体协作的自动化Web GUI测试方法,通过构建知识库并引导智能体执行未覆盖功能,显著提升了代码覆盖率并发现了大量真实故障。
2026-09-24 cs.SE
Testing Retrieval-Augmented Generation Systems with Chunk Coverage
Università della Svizzera italiana(瑞士意大利语大学)
研究用块覆盖率(CC)测试检索增强生成(RAG)系统的检索组件,CC衡量语料块检索比例,可指导测试选择与生成,通过实验表明CC引导测试能更快达覆盖率且提高故障检测有效性,无需测试预言机就能捕捉检索多样性。
2026-07-21 cs.SE
Automated, Cost-effective, and Update-driven App Testing
应用程序在我们社会中的普遍作用导致了测试自动化方法的定义,以确保其可靠性。然而,最先进的方法往往会产生大量的测试输入,不太可能达到超过50%的方法覆盖率。在本文中,我们提出了一种策略,以实现显着更高的覆盖率的代码更新的测试输入的数量少得多,从而减轻了测试预言的问题。更具体地说,我们提出了ATUA,一个基于模型的方法,综合应用模型与静态分析,集成了一个动态细化的状态抽象功能,并结合互补的测试策略,包括(1)覆盖的模型结构,(2)覆盖的应用程序代码,(3)随机探索,(4)覆盖的依赖关系,通过信息检索确定。其基于模型的策略使ATUA能够生成一小部分输入,这些输入仅用于执行受更新影响的代码。反过来,这使得常见的测试Oracle解决方案更具成本效益,因为它们往往涉及人工工作。一项针对九个流行Android应用程序的72个应用程序版本进行的大型实证评估表明,在测试应用程序更新时,ATUA比最先进的方法更有效,工作量更少。
2021-12-06 cs.SE
An Overview of Structural Coverage Metrics for Testing Neural Networks
University of Texas, Austin(德克萨斯大学奥斯汀分校);University of Manchester(曼彻斯特大学);KBR(KBR公司);Princeton University(普林斯顿大学);Palo Alto High School(帕洛阿尔托高中)
深度神经网络(DNN)模型,包括那些用于安全关键领域的模型,需要进行彻底的测试,以确保它们在不同的场景中能够可靠地表现良好。在本文中,我们概述了用于测试DNN模型的结构覆盖度量,包括神经元覆盖(NC),k-多节神经元覆盖(kMNC),前k神经元覆盖(TKNC),神经元边界覆盖(NBC),强神经元激活覆盖(SNAC)和修改的条件/决策覆盖(MC/DC)。我们评估了用于感知任务的现实DNN模型(包括LeNet-1,LeNet-4,LeNet-5和ResNet 20)以及用于自治的网络(TaxiNet)的指标。我们还提供了一个工具DNNCov,它可以测量所有这些指标的测试覆盖率。DNNCov输出信息丰富的覆盖报告,使研究人员和从业人员能够评估DNN测试的充分性,比较不同的覆盖措施,并在测试期间更方便地检查模型的内部结构。
2022-08-05 cs.AI cs.LG cs.SE
Testing as an Investment
软件测试是一项昂贵而重要的任务。大量的研究和工业努力已经投入到改进软件测试技术,包括标准,工具等。这些研究可以提供指导方针,以选择合适的测试技术,为软件工程师。不过,在一些工程项目中,商业问题可能比技术问题更重要,因此我们需要游说非技术成员支持我们的决定。本文介绍了一个著名的投资模型--Nelson-Siegel模型,用于评价和预测不同测试标准下的测试过程。通过这个模型,我们提供了一个新的视角来理解整个测试过程中的短期,中期和长期投资回报。从投资的角度出发,对三个检验标准进行了初步的实验研究。结果表明,语句覆盖准则在获得长期收益方面表现最好;短期和中期的测试收益取决于程序的规模和包含的错误数量。
2017-08-03 cs.SE
Probabilistic Condition, Decision and Path Coverage of Circuit-based Quantum Programs
Faculty of Engineering of the University of Porto(波尔图大学工程学院);INESC-ID(葡萄牙信息与控制研究所);LASIGE, Faculty of Science of the University of Lisbon(里斯本大学理学院LASIGE)
本文提出六个量子定制的覆盖标准及其概率变体,通过QaCoCo工具评估540个电路的覆盖情况,发现路径覆盖受限,引入概率覆盖以增强结构覆盖,并通过突变测试发现故障检测与结构覆盖无显著相关性。
2026-04-29 cs.SE quant-ph
Coverage-Guided Road Selection and Prioritization for Efficient Testing in Autonomous Driving Systems
University of Milano-Bicocca(米兰比可卡大学);Technical University of Munich(慕尼黑工业大学);fortiss(福蒂斯研究所)
本文提出了一种覆盖引导的道路选择与优先级分配方法,通过减少冗余并保持多样性,提高自动驾驶系统测试效率,实现测试套件大小减少89%并提升故障检测能力95倍。
2026-01-13 cs.SE
Test Adequacy for Metamorphic Testing: Criteria, Measurement, and Implication
本文针对变质测试缺乏充分性评估准则的问题,从被测软件必要性质的角度提出新的测试充分性准则和度量方法,实验证明该度量能有效反映测试套件的缺陷检测能力,为构建高质量 MT 测试套件提供指导。
2024-12-30 cs.SE
Improve Model Testing by Integrating Bounded Model Checking and Coverage Guided Fuzzing
由Simulink或Ptolemy建立的控制逻辑模型在工业现场得到了广泛的应用。保证控制逻辑模型的安全性和可靠性是一个迫切需要解决的问题。测试用例生成技术被广泛应用于保证软件的安全性和可靠性。最先进的模型测试工具采用模型检验技术或基于搜索的方法来生成测试用例。传统的基于Simulink仿真的搜索技术存在速度慢、开销大等问题。传统的模型检验技术如符号执行在处理非线性元素和复杂循环时性能有限。最近,覆盖率引导模糊技术被认为是有效的测试用例生成,由于其高效率和令人印象深刻的效果,在复杂的分支循环。在本文中,我们应用模糊方法来改善模型测试,并证明了有效性。模糊化方法旨在通过变异有价值的种子来覆盖更多的程序分支。受此启发,我们提出了一种新的集成技术SPsCGF,它利用有界模型检验的符号执行,产生测试用例作为初始种子,然后进行模糊的基础上,这些有价值的种子。以这种方式,我们的工作结合了模型检验方法和模糊技术的优点,在一个新的方式。由于控制逻辑模型总是接收信号输入,因此我们专门为信号设计了新型变异算子,以改进模型测试中现有的模糊方法。在由工业案例组成的评估基准上,SPsCGF可以实现8%到38%的模型覆盖率和3倍到10倍的时间效率。
2022-11-09 cs.SE
Generation and Optimization of Test cases for Object-Oriented Software Using State Chart Diagram
测试任何软件系统的过程都是一项巨大的任务,既耗时又昂贵。随着软件的规模和复杂性增加,进行充分测试所需的时间和工作量也会增加,这可能会导致项目预算超支、软件系统开发延迟或某些测试用例可能无法覆盖。在SDLC(软件开发生命周期)中,通常软件测试阶段花费大约40 - 70%的时间和成本。基于状态的测试在软件测试中经常使用。测试数据生成是软件测试的关键问题之一。正确生成的测试集不仅可以定位软件系统中的错误,而且有助于降低与软件测试相关的高成本。通常期望可以自动生成测试套件内的测试序列形式的测试数据以实现所需的测试覆盖。针对基于状态的软件测试,提出了一种测试数据生成的优化方法。本文从状态图出发,导出了第一状态转移图。然后,从状态图中提取所有需要的信息。然后生成测试用例。最后,通过计算每个测试用例的节点覆盖率来最小化一组测试用例。还确定哪些测试用例被其他测试用例覆盖。我们的测试生成技术的优点是,它通过最小化时间和成本来优化测试覆盖率。提出的测试数据生成方案生成满足变迁路径覆盖准则、路径覆盖准则和动作覆盖准则的测试用例。以自动售票机(ATM)为例进行了分析.
2012-06-02 cs.SE
Minimal TestCase Generation for Object-Oriented Software with State Charts
今天,状态图是工业界对系统行为建模的事实标准。测试数据生成是软件测试的关键问题之一。针对基于状态的软件测试,提出了一种测试数据生成的约简方法。本文从状态图出发,导出了第一状态转移图。然后,从状态图中提取所有需要的信息。然后生成测试用例。最后,通过计算每个测试用例的节点覆盖率来最小化一组测试用例。还确定哪些测试用例被其他测试用例覆盖。我们的测试生成技术的优点是,它通过最小化时间和成本来优化测试覆盖率。该测试数据生成方案生成满足变迁路径覆盖准则、路径覆盖准则和动作覆盖准则的测试用例。最后以铁路自动售票机为例进行了分析。
2012-08-10 cs.SE
Basic Block Coverage for Search-based Unit Testing and Crash Reproduction
基于搜索的技术已被广泛用于白盒测试生成。这些方法中的许多依赖于方法级和分支距离算法来指导搜索过程,并生成具有高的线和分支覆盖率的测试用例。尽管这两种算法取得了积极的结果,但它们只使用与显式分支的覆盖相关的信息(例如,由条件和循环语句指示),但忽略基本代码块中潜在的隐式分支。如果这种隐式分支发生在运行时(例如,如果在无分支方法中抛出异常),则现有的适应度函数不能指导搜索过程。为了解决这个问题,我们引入了一个新的次要目标,称为基本块覆盖(BBC),它考虑到控制流图中的相关基本块的覆盖水平。我们评估了BBC对基于搜索的单元测试生成(使用DynaMOSA算法)和基于搜索的崩溃再现(使用STDistance和WeightedSum适应度函数)的影响。我们的研究结果表明,对于单元测试生成,BBC提高了分支覆盖率的生成测试。虽然很小(约1.5%),但分支覆盖率的这种改进是系统性的,并导致输出域覆盖率和隐式运行时异常覆盖率的增加,以及运行时状态的多样性。在碰撞再现方面,结合STDistance和WeightedSum,BBC有助于为每个适应度函数再现3个新的碰撞。BBC使用STDistance和WeightedSum分别显著减少了再现43.5%和45.1%的碰撞所需的时间。对于这些崩溃,BBC平均减少了71.7%(对于STDistance)和68.7%(对于WeightedSum)的消耗时间。
2022-03-04 cs.SE
Testing Agentic Workflows with Structural Coverage Criteria
Carleton University(卡尔顿大学);Cisco Systems(思科系统)
针对多智能体工作流的结构化测试问题,提出基于类型化协调图的覆盖驱动测试方法,通过DSPy生成可执行场景,有效检测工具访问、限制和委托路径的结构性回归。
2026-05-26 cs.SE
Epic-Organized vs. Requirement-Aligned Gherkin: An Empirical Evaluation of LLM-Based Acceptance Criteria Generation
Tampere University(坦佩雷大学);University of Jyväskylä(于韦斯屈莱大学)
研究比较史诗组织与需求对齐的 LLM 生成 Gherkin 验收标准,发现史诗组织在正确性、可执行性和完整性上更优,语义覆盖率相当。
2026-07-03 cs.SE
TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
Random Grammar-based Testing for Covering All Non-Terminals
在软件测试的上下文中,生成复杂的数据输入经常使用基于语法的规范来执行。由于组合的原因,详尽地生成给定大小的数据实际上是不可能的,大多数方法要么基于随机技术,要么基于覆盖标准。在本文中,我们将展示如何结合这两种技术,通过偏置随机生成,以优化满足覆盖标准的概率。
2013-11-26 cs.SE
DLFuzz: Differential Fuzzing Testing of Deep Learning Systems
深度学习(DL)系统越来越多地应用于安全关键领域,如自动驾驶汽车。保证DL系统的可靠性和鲁棒性具有重要意义。现有的神经元测试方法往往无法包含测试数据集中的稀有输入,并且神经元覆盖率较低。在本文中,我们提出了DLFuzz,第一个差分模糊测试框架,以指导DL系统暴露不正确的行为。DLFuzz不断对输入进行细微的变异,以最大化神经元覆盖率以及原始输入和变异输入之间的预测差异,而无需手动标记工作或交叉引用具有相同功能的其他DL系统的预言机。我们提出了两个著名的数据集的实证评估,以证明其效率。与最先进的深度学习白盒测试框架DeepXplore相比,DLFuzz不需要额外的努力来寻找类似的功能性深度学习系统进行交叉引用检查,但可以生成多338.59%的对抗性输入,同时具有89.82%的小扰动,平均获得高2.86%的神经元覆盖率,节省20.11%的时间消耗。
2018-08-28 cs.SE
A Comparison of Inquiry-Based Conceptual Feedback vs. Traditional Detailed Feedback Mechanisms in Software Testing Education: An Empirical Investigation
当前测试教育工具提供的关于学生测试套件中缺陷的反馈要么模仿行业代码覆盖工具,要么列出学生测试套件中缺少的特定教师测试用例。虽然在某种意义上是有用的,但这些类型的反馈类似于揭示问题的解决方案,这可能会无意中鼓励学生采用试错法进行测试,而不是使用更系统的方法来鼓励学习。除了没有教学生为什么他们的测试套件是不够的,这种类型的反馈可能会激励学生变得依赖于反馈,而不是自己思考。为了解决这一缺陷,有机会调查替代反馈机制,包括积极加强测试的概念。我们认为,使用基于探究的学习方法比简单地提供答案更好。为了促进这种类型的学习,我们提出了测试导师,一个基于网络的作业提交平台,通过可定制的反馈引擎支持不同层次的测试教学法。我们评估了不同类型的反馈的影响,通过实证研究,在两个校长级课程。我们使用Testing Tutor为学生提供不同类型的反馈,无论是传统的详细代码覆盖反馈还是基于探究的学习概念反馈,并比较效果。结果表明,接受概念反馈的学生有更高的代码覆盖率(不同的措施),更少的冗余测试用例,更高的编程成绩比谁收到传统的代码覆盖率反馈的学生。
2020-11-25 cs.SE
Prioritized Process Test: An Alternative to Current Process Testing Strategies
信息和物联网系统中的测试流程和工作流是典型软件测试工作的主要部分。一致的和有效的基于路径的测试用例,以支持这些测试。由于软件系统工作流的某些部分具有比其他部分更高的业务优先级,因此在测试用例的生成中必须涉及这一事实。在本文中,我们提出了一个优先级的过程测试(PPT),这是一个基于模型的测试用例生成算法,目前已建立的算法,使用有向图和测试要求来模拟测试系统的替代。PPT接受有向多重图作为模型来表达优先级,并且使用边权重代替测试需求。为了确定测试用例的测试覆盖级别,使用了测试深度级别的概念。我们将所呈现的PPT与五个备选方案进行了比较(即,过程循环测试,由过程循环测试、蛮力算法、基于集合覆盖的解决方案和基于匹配的前缀图解决方案创建的测试集的朴素约简)用于边缘覆盖和边缘对覆盖。为了评估这些策略产生的基于路径的测试用例的最优性,我们使用了基于这些测试用例的属性的14个度量标准和为三个真实世界系统创建的59个模型。对于所有边缘覆盖,PPT在大多数指标方面产生了比替代方案更优的测试用例。对于边对覆盖,PPT策略产生了类似的结果的替代品。因此,PPT策略是一个适用的替代方案,因为它同时反映了所需的测试覆盖级别和业务优先级。
2019-03-20 cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Groningen(格罗宁根大学)
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响,发现AI生成的测试在代码长度和断言密度上表现突出,且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
Coverage Isn't Enough: SBFL-Driven Insights into Manually Created vs. Automatically Generated Tests
The University of Osaka(大阪大学)
本研究通过比较SBFL得分和覆盖率,揭示自动测试与手动测试在故障定位中的优劣,为测试方法的结合提供依据。
2025-12-12 cs.SE
Mathematical Execution: A Unified Approach for Testing Numerical Code
本文介绍了数学执行(ME),一个新的,统一的方法来测试数字代码。其核心思想是:(1)通过一个表示函数来捕获期望的测试目标;(2)将自动化测试问题转化为表示函数的最小化问题。最小化问题将通过数学优化来解决。ME的主要特征是它仅通过执行表示函数来指导输入空间探索,从而避免了对程序语义的静态或符号推理,这对于数字代码来说特别具有挑战性。为了说明这一特点,我们开发了一个基于ME的算法覆盖率为基础的测试的数字代码。我们还展示了应用和适应ME到其他相关问题的潜力,包括路径可达性测试,边界值分析和可满足性检查。为了证明ME的实际好处,我们实现了CoverMe,这是一个基于分支覆盖率测试的概念验证实现,并在Sun的C数学库(用于例如Android,Matlab,Java和JavaScript)上对其进行了评估。我们比较了CoverMe与随机测试和Austin,一个公开的基于分支覆盖的测试工具,支持数字代码(Austin结合了符号执行和基于搜索的自动化)。我们的实验结果表明,CoverMe实现了接近最佳的覆盖率,大大高于随机测试的所有测试程序,在所有评估的覆盖率指标。与Austin相比,CoverMe将分支覆盖率从43%提高到91%,所需时间明显缩短(平均6.9秒对6058.4秒)。
2016-10-04 cs.PL cs.SE