Can defects be fixed with weak test suites? An analysis of 50 defects from Defects4J
自动程序修复技术,其目标是自动生成正确的补丁,为现实世界的缺陷,在过去的十年中,得到了很多的关注。已经提出和开发了许多不同的技术和工具。然而,即使是最复杂的程序修复技术也只能修复一小部分缺陷,同时产生大量不正确的补丁。这种低性能的一个可能原因是,真实世界程序的测试套件通常太弱,无法保证程序的行为。为了了解弱测试套件可以在多大程度上修复缺陷,我们分析了来自Defects4J的50个真实世界的缺陷,其中我们发现高达84%的缺陷可以被正确修复。这一结果表明,目前的自动程序修复技术有很大的改进空间。此外,我们总结了七个故障定位策略和七个补丁生成策略,是有用的定位和修复这些缺陷,并比较这些策略与当前的修复技术。研究结果表明,在未来的研究中,提高自动程序修复的潜在方向。
2017-05-12 cs.SE
SAGE: Semantic-Aware Gray-Box Game Regression Testing with Large Language Models
Waseda University(早稻田大学);City University of Hong Kong(香港城市大学);Southwest University(西南大学);Institute of Science Tokyo(东京科学大学)
提出SAGE框架,利用LLM引导强化学习自动生成测试套件,通过语义多目标优化精简测试,并基于更新日志语义分析优先排序,在Overcooked Plus和Minecraft中实现高效回归测试。
2026-06-19 cs.SE
Seeding Contradiction: a fast method for generating full-coverage test suites
针对回归测试套件全覆盖生成效率低的问题,提出静态方法Seeding Contradiction,通过在基本块植入错误指令并利用SMT证明器生成反例,快速构建全覆盖测试套件。
2023-09-08 cs.SE
ComReg: A Complex Network Approach to Prioritize Test Cases for Regression Testing
执行回归测试是为了确保软件某个部分的变更不会影响软件的其他部分。执行所有现有的测试用例是重新建立这种信心的最佳方式。然而,回归测试是一个昂贵的过程-可能没有足够的资源(例如,时间、劳动力),以允许重新执行所有测试用例。回归测试优先级技术试图根据一些标准对回归测试套件进行重新排序,以便更早地执行最高优先级的测试用例。在这项研究中,我们希望优先级测试用例的回归测试的依赖网络的基础上的故障。在软件测试中,一些故障是其他故障(引导故障)的后果是很常见的。此外,当且仅当前导故障已被移除时,相关故障才能被移除。我们的目标是确定测试用例的优先级,以便在系统测试阶段暴露主要故障(故障依赖网络中最核心的故障)的测试用例在回归测试中首先执行。我们提出了ComReg,一个基于故障依赖网络的测试用例优先级排序技术。我们将故障依赖网络建模为有向图,并识别出主要故障,以确定回归测试用例的优先级。我们使用的中心性聚合技术,认为六个网络代表中心性指标,以确定故障依赖网络中的领先故障。我们还讨论了使用故障社区从优先回归测试套件中选择任意百分比的测试用例。我们进行了案例研究,评估所提出的方法的有效性和适用性。
2014-11-26 cs.SE
Code Coverage Based Test Case Selection and Prioritization
回归测试的目的,是在对现有软件作出多项修订或改动后,确保软件能达到预期的功能。回归测试或可透过隐藏软件在功能性及非功能性应用方面的回归或软件错误,以证明经修订的软件的质素。事实上,测试用例集的维护是巨大的,因为它需要在大规模的测试用例上投入大量的时间和金钱。因此,最小化测试集成为减少回归测试预算的必要条件。准确地说,这篇研究论文希望提出一种创新的方法,有效地选择和优先级的测试用例,作为回报,可能会获得最大的代码平均。
2013-12-07 cs.SE
CATTO: Just-in-time Test Case Selection and Execution
回归测试确保被测系统(SUT)在更改后仍能按预期工作。最简单的回归测试方法包括针对SUT的更改版本重新运行整个测试套件。但是,这可能会导致耗时且耗费资源的过程;在处理大型和/或复杂的SUT和测试套件时,需要使用\eg。为了解决这个问题,可以使用测试用例选择(TCS)策略。这样的策略寻求构建一个临时的测试套件,该测试套件仅包括那些与对SUT所做的更改相关的测试用例,从而避免执行那些不执行更改部分的测试用例。本文介绍了CATTO(Commit Adaptive Tool for Test suite Optimization)和CATTO INTELLIJ PLUGIN。前者是一个为Java编写的SUT实现TCS策略的工具,而后者是一个包装器,允许开发人员直接在IntelliJ中使用\toolName。我们还对七个开源Java SUT进行了CATTO的初步评估,包括测试套件大小的减少、故障暴露测试用例和故障检测能力。结果是有希望的,并建议CATTO可以帮助开发人员进行回归测试时。该工具的视频演示和文档可从以下网址获得:\url{https://catto-tool.github.io/}
2022-06-17 cs.SE
A Pairwise T-Way Test Suite Generation Strategy Using Gravitational Search Algorithm
在复杂的软件系统中,由于一个或多个输入参数之间的相互作用,经常会发生软件故障。软件测试设计技术可以用来保证软件开发的质量。穷举测试测试所有可能的测试配置;然而,考虑到时间和资源的限制,它是不可行的。成对t-路测试是一种抽样策略,它专注于测试每一对参数组合,有效地减少了生成的测试大小,而不是彻底测试。在本文中,我们提出了一种新的成对t-路策略称为成对引力搜索算法策略(PGSAS)。PGSAS利用引力搜索算法(GSA)生成最佳的成对测试套件。PGSAS的性能是对现有的t-路策略测试套件的大小进行基准测试。初步结果表明,PGSAS在大多数配置中提供了有竞争力的结果,并在某些情况下胜过其他策略。
2021-07-29 cs.SE
Dynamic Analysis of Regression Problems in Industrial Systems: Challenges and Solutions
本文介绍了运行时验证、测试和静态分析技术在几个工业项目中的应用经验。我们讨论了我们经历的八个最相关的挑战,以及我们为应对这些挑战而制定的战略。
2017-05-23 cs.SE
Dynamic Solution Probability Acceptance within the Flower Pollination Algorithm for t-way Test Suite Generation
花形启发式算法是求解一般优化问题的新一代元启发式算法。本文在花极化算法(FPA)的基础上提出了一种改进算法imFPA。在imFPA中,静态选择概率被动态解选择概率所取代,以增强整个搜索过程的多样化和集约化。实验采用组合t路测试集生成问题(其中t表示相互作用强度)表明,imFPA产生非常有竞争力的结果相比,现有的战略。
2019-02-13 cs.SE
Automated Regression Unit Test Generation for Program Merges
将其他分支合并到当前工作分支中在协作软件开发中很常见。然而,开发人员仍然严重依赖文本合并工具来处理复杂的合并任务。潜在的语义合并冲突可能无法被检测到,并降低软件质量。回归测试能够防止回归错误,在实际软件开发中得到了广泛的应用。然而,合并后的软件可能无法很好地检查重新运行现有的整个测试套件。直观地说,如果测试套件未能同时覆盖不同分支的更改,则合并冲突将无法被检测到。最近,有人提出对3路合并进行验证,但这种方法甚至不支持一些常见的情况,例如对程序的不同部分进行不同的更改。在本文中,我们提出了一种回归单元测试生成方法,专门用于检查程序合并,根据我们提出的测试预言。我们的通用测试预言机不仅支持我们检查3路合并,还支持2路合并和章鱼合并。考虑到项目中除了方法变更外,其他位置也可能出现冲突,本文设计了一种基于项目整体依赖性分析的UUT选择算法。在此基础上,我们实现了一个工具TOM来生成Java程序合并的单元测试。我们还设计了由389个冲突3路合并和389个冲突八达通合并组成的基准MCon 4J,以促进对该主题的进一步研究。实验结果表明,TOM发现了45个冲突的3路合并和87个冲突的章鱼合并,而基于验证的工具无法工作的MCon 4J。
2020-02-29 cs.SE
On the Risks of using LLM-Generated Tests for Regression Testing
SnT, University of Luxembourg(卢森堡大学科学与技术研究中心)
该研究针对145个开源项目拉取请求,发现8%-17%的LLM生成回归测试为漏洞强化测试,未经人工验证会引发新型技术债务。
2026-10-09 cs.SE
$μ$OpTime: Statically Reducing the Execution Time of Microbenchmark Suites Using Stability Metrics
TU Berlin(柏林工业大学);ECDF(欧洲计算数据基金会);Simula Research Laboratory(西穆拉研究实验室)
提出 $μ$OpTime,依据历史完整运行与稳定性指标为每个微基准测试静态配置最少测量重复次数,从而显著缩短套件执行时间并可靠支持 CI/CD 性能回退检测。
2025-10-21 cs.DC cs.SE
A Slice-Based Change Impact Analysis for Regression Test Case Prioritization of Object-Oriented Programs
针对面向对象程序回归测试用例优先级排序问题,提出基于受影响切片图(ASG)和受影响组件耦合度(ACC)的静态方法,通过计算节点故障易发性排序测试用例,经七个案例验证比现有技术可行且性能可接受。
2025-08-26 cs.SE
Artificial Intelligence helps making Quality Assurance processes leaner
精益流程专注于以有效的方式做简单的事情。人工智能和机器学习为优化流程提供了新的机会。所提出的方法表明,通过使用机器学习作为测试管理的支持工具,测试过程的改进。范围是回归测试选择的半自动化。提出的精益测试过程使用机器学习作为支持机器,同时保持人类测试经理负责适当的测试用例选择。1引言许多已建立的长期运行的项目和程序在发布测试期间执行回归测试。回归测试是发布测试的一部分,以确保过去版本的功能在新版本中仍然可以正常工作。在许多项目中,这些回归测试的很大一部分不是自动化的,因此需要手动执行。手动测试是昂贵且耗时的[1],这就是为什么为了节省时间和金钱,通常只执行所有可能的回归测试的相关子集。根据软件过程的不同,可以使用不同的方法来识别正确的回归测试集。源代码文件级别是这种识别的常见入口点[2]。高级方法结合了不同的文件级方法[3]。为了处理黑盒测试,可以使用[4]或[5]这样的方法来确定测试用例的优先级。为了决定哪些测试可以跳过,需要回归测试套件中测试的相关性排名。根据相关性,测试是否在特定版本的回归测试集中。这个决定是测试经理在专家支持下的任务。在大型(通常是4到5位数)回归测试套件的情况下,这项任务可能很耗时,因为选择是特定于每个版本的。趋势是持续的优先级排序[6],这项工作希望通过提出的基于ML的黑盒回归测试用例优先级排序方法来支持。任何回归测试选择都是在发布特定变更时进行的。更改可…
2019-06-07 cs.SE
Substate Profiling for Effective Test Suite Reduction
测试用例缩减(TSR)的目的是从回归测试用例集中去除冗余的测试用例。典型的TSR方法确保原始测试套件覆盖的结构剖面元素也被缩减的测试套件覆盖。这是合理的,结构配置文件可能无法隔离失败的运行,通过运行,这减少了有效性的TSR方面的缺陷检测。这促使我们探索基于程序变量的集体值的状态配置文件。本文介绍了子状态剖析,一种新的形式的状态剖析,增强现有的基于配置文件的分析技术,如TSR和覆盖率为基础的故障定位。与现有的捕获程序状态的方法相比,子状态分析更实用,粒度更细。我们评估了我们的方法,使用13个多故障主题程序,包括53个缺陷。我们的研究涉及贪婪TSR使用子状态配置文件和四个结构配置文件,即,基本块,分支,def-use对,以及三者的组合。对于大多数受试者,Substate Profiling检测到了相当多的缺陷,减少程度相当。此外,在许多情况下,发现子状态剖面与结构剖面是互补的,因此,将两种类型结合起来是有益的。
2018-08-24 cs.SE
Addressing the Regression Test Problem with Change Impact Analysis for Ada
回归测试选择问题--在给定变化的情况下选择测试集的子集--在过去的二十年里得到了广泛的研究。然而,这个问题已经看到了很少的关注时,限制到高临界的发展和“安全”的选择,需要选择的测试。此外,还没有提出用于程序设计语言Ada的实用方法。在本文中,我们介绍了一种方法来解决选择问题的组合的静态和动态数据的程序和变更集。我们提出了一个变更影响分析Ada,选择需要重新执行的安全测试集,以确保没有回归。我们已经在商业单元测试工具VectorCAST中实现了这种方法,并在一些开源示例上进行了验证。在DNS服务器(IRONSIDES)的全功能Ada实现的示例中,实验结果显示测试用例执行减少了97%。
2016-06-14 cs.SE
Can Old Tests Do New Tricks for Resolving SWE Issues?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司)
本文提出TestPrune,通过重用回归测试自动最小化测试套件,提升问题复现和修复效率,实验证明在多个基准测试中显著提高复现和修复率。
2026-05-08 cs.SE
Evaluating the effectiveness of class-level LLM-generated test suites in Python
American University of Sharjah(沙迦美国大学);The University of Jordan(约旦大学);Utah Valley University(犹他谷大学)
本研究评估提示策略和模型选择对LLM生成Python测试套件的影响,发现可执行性差异大,模型选择比提示更重要,建议以可执行性为门槛并结合变异测试评估。
2026-09-22 cs.SE
Change Impact Analysis Based Regression Testing of Web Services
PDPM Indian Institute of Information Technology, Design and Manufacturing Jabalpur(PDPM印度信息技术设计与制造学院贾巴尔普尔)
减少在Web服务中进行更改所需的工作量是Web服务项目维护和发展的主要目标之一。通常,Web服务的功能和非功能测试是通过测试WSDL中指定的操作来执行的。回归测试是通过识别之后对Web服务代码和WSDL所做的更改来执行的。在这篇论文中,我们提出了一个工具支持的方法来执行有效的回归测试的Web服务。通过将Web服务表示为WSDL元素的有向图,我们识别并收集图中更改的部分,并使用此信息来减少回归测试工作。具体来说,我们识别,分类,并捕获Web服务测试需求的两种不同的方式,即,Web服务的操作化回归测试(ORTWS)和Web服务的参数化回归测试(PRTWS)。这两种方法可以结合起来,以减少Web服务项目中的回归测试工作。所提出的方法是原型作为一个工具,命名为自动Web服务变更管理(AWSCM),这有助于在选择相关的测试用例构建减少测试套件从旧的测试套件。我们提出了一些案例研究不同的Web服务项目,以证明所提出的工具的适用性。还估计了Web服务回归测试工作量的减少。
2014-08-07 cs.AI cs.DC cs.SE
Introducing Automated Regression Testing in Open Source Projects
为了学习如何将自动化回归测试引入现有的中等规模开源项目,我们使用开源项目FreeCol进行了一个长期的现场实验。结果表明:(1)引入测试对项目有利,对外部创新者也是可行的;(2)测试可以加强开发人员之间的沟通;(3)信号对于吸引项目参与者填补创新者退出后留下的新空缺职位非常重要。为创新者提取了五个规范性策略,并提供了两个关于开源项目学习创新能力的说明。
2010-01-05 cs.SE
Towards Automatic Generation of Amplified Regression Test Oracles
针对回归测试中测试放大面临的测试预言问题,提出一种利用SUT执行时的对象状态数据放大回归测试预言的方法,初步评估表明该方法能大幅增强行为变化检测能力。
2023-07-28 cs.SE
CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems
School of EECS, University of Ottawa(渥太华大学电气与计算机工程学院);Centre for Software Excellence, Huawei Canada(华为加拿大软件卓越中心)
针对基于LLM系统回归测试的独特挑战,提出CASPER框架,通过进化切片识别与基于执行日志行为信息的优先级排序,实现更优的回归切片处理效果。
2026-08-04 cs.SE
Handling Constraints in Combinatorial Interaction Testing in the presence of Multi Objective Particle Swarm and Multithreading
背景:组合测试策略最近由于其不同的应用而受到了广泛的关注。在其简单的形式中,组合策略可以基于它们的相互作用(或组合)将系统的几个输入参数(配置)减少到一个小集合中。在实践中,软件系统的输入配置受到约束,特别是在高度可配置的系统的情况下。要在策略中实现这一功能,会给构造带来许多困难。虽然现在有很多组合交互测试策略,但很少有支持约束的。目的:本文提出了一种新的策略,在存在约束条件的情况下构造组合交互测试集。方法:给出了详细的设计和算法.为了克服多个判断标准的最优解,多目标粒子群优化和多线程。该战略及其相关的算法进行了广泛的评估,使用不同的基准和比较。结果:我们的结果是有前途的评价结果显示了每个算法的效率和性能的战略。基准测试的结果也表明,该策略可以有效地生成约束测试套件相比,国家的最先进的战略。结论:该策略为约束组合交互测试集的构建提供了一种新的思路。该战略可为今后的执行工作奠定新的有效基础。
2018-04-20 cs.SE
E-Test: E'er-Improving Test Suites
Università della Svizzera Italiana (USI)(瑞士意大利语大学);Università Milano-Bicocca(米兰比可卡大学);Constructor Institute of Technology (CIT)(Constructor技术学院)
E-Test通过利用大型语言模型识别未测试的执行场景,有效提升测试套件质量并减少维护成本。
2025-10-21 cs.SE
Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks
Concordia University(康考迪亚大学)
本文提出STING框架,通过语义改变的程序变体增强回归测试,提高基准测试的可靠性。实验显示,77%的实例存在至少一个存活变体,测试覆盖率提升,修复率下降,揭示了基准测试的不足。
2026-08-07 cs.SE
Multi-objective Test Case Selection Through Linkage Learning-based Crossover
测试用例选择(TCS)旨在选择测试套件的一个子集来运行回归测试。选择通常基于过去的覆盖率和执行成本数据。研究人员已经成功地使用多目标进化算法(MOEAs),如NSGA-II及其变体,来解决这个问题。这些MOEA使用传统的交叉算子,通过遗传重组创建新的候选解决方案。最近的数值优化研究表明,使用机器学习(特别是链接年龄学习)可以进行更好的重组。受这一领域最新进展的启发,我们提出了一种新的NSGA-II变体,称为L2-NSGA,它使用链接学习来优化测试用例选择。特别是,我们使用一个无监督的聚类算法来推断有前途的模式之间的解决方案(子集的测试套件)。然后,在L2-NSGA的下一次迭代中使用这些模式来创建保留这些推断模式的解决方案。我们的研究结果表明,我们的定制使NSGA-II更有效的测试用例选择。由L2-NSGA生成的测试套件子集比文献中用于回归测试的MOEA生成的测试套件子集更便宜,并且检测到更多的故障。
2021-07-20 cs.NE cs.SE
TestSelector: Automatic Test Suite Selection for Student Projects -- Extended Version
计算机科学课程的教师通常必须创建全面的测试套件来评估编程作业。创建这样的测试套件通常不是微不足道的,因为它涉及到从一组(半)随机生成的测试中选择有限数量的测试。当考虑到所需的大量测试输入时,例如,用于评估算法练习的手动测试选择策略不能扩展。为了促进这一过程,我们提出了Teststory,一个新的框架,自动选择最佳的测试套件的学生项目。与现有方法相比,Teststrom的主要优点是它可以轻松地扩展任意复杂的代码覆盖度量,而不需要将这些度量编码到精确约束求解器的逻辑中。我们展示了Testernet的灵活性,通过扩展它支持一系列经典的代码覆盖率的措施,并使用它来选择测试套件的一些现实世界的算法项目,进一步表明,所选的测试套件优于随机选择的学生的代码中发现的错误。
2022-07-19 cs.LO cs.SE
FaultLens: Learning Compact Behavioral Test Suites for Generated Operational Programs
FaultLens是一种学习紧凑行为测试套件的方法,通过混合故障驱动贪心组件与多样性组件,在低计算成本下实现高故障覆盖率,可降低尾部回归风险。
2026-09-11 cs.AI cs.SE
An ensemble meta-estimator to predict source code testability
Iran University of Science and Technology(伊朗科技大学)
与大多数其他软件质量属性不同,可测试性不能仅仅基于源代码的特性进行评估。测试套件的有效性和分配给测试的预算极大地影响了被测代码的可测试性。测试集的大小决定了测试工作量和成本,而覆盖度量则表明了测试的有效性。因此,考虑到测试预算,可测试性可以根据测试套件提供的测试用例的覆盖率和数量来衡量。本文提供了一个新的方程来估计一个给定的测试套件的大小和覆盖率的可测性。该公式已被用于标记属于110个Java项目的23,000个类及其可测试性度量。使用262个度量对标记的类进行向量化。标记的向量被送入一系列有监督的机器学习算法,回归,以预测源代码度量的可测试性。回归模型预测的R2为0.68,均方误差为0.03,适用于实践的可测试性。15个软件度量高度影响可测试性预测确定使用的学习模型上的特征重要性分析技术。与预测分支覆盖率作为测试标准的相关研究相比,由于采用了新的标准、度量和数据,所提出的模型将平均绝对误差提高了38%。作为可测试性预测的一个应用,它表明,42个臭Java类的自动重构,旨在提高15个有影响力的软件度量,可以提高其可测试性的平均86.87%。
2022-08-24 cs.LG cs.SE