The Probabilistic Bounds on the Feasibility of the Defect Prediction Models in Real-World Testing Environments
开发软件缺陷预测(SDP)模型的研究旨在减少测试人员的工作量,从而减少花费在目标模块上的时间。然而,虽然已经对开发预测模型或试图减轻开发预测模型中的相关问题进行了大量的研究,但仍然不知道所开发的预测模型是否真的适用于真实世界的测试环境。通过这篇文章,我们弥合了这一研究差距,找到了开发的二进制缺陷预测模型在现实世界的测试环境中的可行性。由于机器学习(ML)的应用跨越了许多领域,我们希望本文能够为分析所开发的预测模型在实时场景下的相关应用中的可行性提供足够的研究基础。
2023-01-16 cs.SE
Continuous and Resource Managed Regression Testing: An Industrial Use Case
回归测试是涉及硬件的软件和嵌入式产品质量控制的重要组成部分。它也是产品周期中最昂贵和最耗时的部分之一。为了提高开发周期和回归测试的成本效益,我们使用测试用例优先级和选择技术,在测试过程中更早地运行更重要的测试用例。在本文中,我们考虑一个功能测试用例优先级的访问只对版本控制的代码库和回归历史。优先级是用来帮助我们的测试用例选择,我们已经选择了5-25(0.4%-2.0%的1254)测试用例来验证我们的方法。选择技术与其他优先级方法一起,使我们能够将当前的静态,重新测试所有回归测试塑造成一个更具资源管理的回归测试框架。这个框架将更好地服务于敏捷的工作方式,并允许我们更明智地分配测试资源。这是与一家大型国际芬兰公司在嵌入式工业领域的合作。
2019-10-23 cs.SE
Regression Testing Optimization for ROS-based Autonomous Systems: A Comprehensive Review of Techniques
本文首次系统综述了基于ROS的自主系统回归测试优化技术,分类分析了122项研究,并提出了未来研究方向,以提升测试效率与有效性。
2025-06-19 cs.SE
Managing Object-Oriented Integration and Regression Testing
面向对象软件的系统测试比传统软件的测试要复杂得多。特别是高度增量和迭代的开发周期需要更多的更改和部分实现。重新实现的类。在开发过程中,必须进行更多的集成和回归测试,以达到稳定的阶段。在这个演示文稿中,我们提出了一个图表捕捉所有可能的依赖关系和面向对象的程序中的相互作用。然后,我们给出了算法和覆盖标准,以确定集成响应。回归测试策略和所有测试用例将在一些实施后执行。修改活动。最后总结了一些实践经验和体会。
1999-02-05 cs.SE
Guiding Testing Activities by Predicting Defect-prone Parts Using Product and Inspection Metrics
产品度量,如尺寸或复杂性,通常用于识别易出现缺陷的部件或集中质量保证活动。与此相反,早期获得的质量信息,如检查提供的信息,通常不被使用。目前,只有很少的经验是记录在文献中的早期缺陷检测活动的数据是否可以支持识别的缺陷倾向的部分,后来在开发过程中。本文比较了通常用于预测易出现缺陷的部件的选定产品和检验指标。基于在不同环境中进行的两个案例研究的初步经验,说明了预测容易出现缺陷的零件的不同指标的适用性。这些研究表明,检查缺陷数据似乎是一个合适的预测器,某些检查和产品指标的组合导致了我们的上下文中的最佳优先级。
2013-12-03 cs.SE
A New Proposed Technique to Improve Software Regression Testing Cost
在本文中,我们描述了回归测试过程,以测试和验证对软件所做的更改。提出了一种基于决策树和测试选择过程的自动化测试技术,以降低测试成本。将该方法应用于实际案例,结果表明该方法具有较好的效果.
2011-11-23 cs.SE
The Impact of Using Regression Models to Build Defect Classifiers
Queen’s University(女王大学);Kyushu University(九州大学)
通常的做法是将连续缺陷计数离散化为缺陷和非缺陷类,并在构建缺陷分类器(离散化分类器)时将它们用作目标变量。然而,这种连续缺陷计数的离散化导致信息丢失,这可能会影响缺陷分类器的性能和解释。构建缺陷分类器的另一种可能的方法是通过使用回归模型,然后将预测的缺陷计数离散化为有缺陷和无缺陷的类别(基于回归的分类器)。在本文中,我们比较了使用这两种方法(即,离散化分类器和基于回归的分类器)跨六个常用的机器学习分类器(即,线性/逻辑回归、随机森林、KNN、SVM、CART和神经网络)和17个数据集。我们发现:i)对于两种分类器构建方法,基于随机森林的分类器优于其它分类器(最佳AUC); ii)与通常实践相反,使用离散化缺陷计数(即,离散化分类器)并不总是导致更好的性能。因此,我们建议未来的缺陷分类研究应该考虑建立基于回归的分类器(特别是当模型数据集的缺陷率较低时)。此外,我们建议,这两种方法建立缺陷分类器应进行探索,所以最好的性能分类器时,可以使用确定最有影响力的功能。
2022-02-12 cs.LG cs.SE
ComReg: A Complex Network Approach to Prioritize Test Cases for Regression Testing
执行回归测试是为了确保软件某个部分的变更不会影响软件的其他部分。执行所有现有的测试用例是重新建立这种信心的最佳方式。然而,回归测试是一个昂贵的过程-可能没有足够的资源(例如,时间、劳动力),以允许重新执行所有测试用例。回归测试优先级技术试图根据一些标准对回归测试套件进行重新排序,以便更早地执行最高优先级的测试用例。在这项研究中,我们希望优先级测试用例的回归测试的依赖网络的基础上的故障。在软件测试中,一些故障是其他故障(引导故障)的后果是很常见的。此外,当且仅当前导故障已被移除时,相关故障才能被移除。我们的目标是确定测试用例的优先级,以便在系统测试阶段暴露主要故障(故障依赖网络中最核心的故障)的测试用例在回归测试中首先执行。我们提出了ComReg,一个基于故障依赖网络的测试用例优先级排序技术。我们将故障依赖网络建模为有向图,并识别出主要故障,以确定回归测试用例的优先级。我们使用的中心性聚合技术,认为六个网络代表中心性指标,以确定故障依赖网络中的领先故障。我们还讨论了使用故障社区从优先回归测试套件中选择任意百分比的测试用例。我们进行了案例研究,评估所提出的方法的有效性和适用性。
2014-11-26 cs.SE
Formalizing Regression Testing for Agile and Continuous Integration Environments
School Of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本研究将敏捷与持续集成环境中的持续回归测试形式化为时间有序构建链与回归测试窗口,证明其可退化为经典retest-all,并通过表示两种先进算法验证了形式化的可靠性与完备性。
2025-11-04 cs.SE
Introducing Automated Regression Testing in Open Source Projects
为了学习如何将自动化回归测试引入现有的中等规模开源项目,我们使用开源项目FreeCol进行了一个长期的现场实验。结果表明:(1)引入测试对项目有利,对外部创新者也是可行的;(2)测试可以加强开发人员之间的沟通;(3)信号对于吸引项目参与者填补创新者退出后留下的新空缺职位非常重要。为创新者提取了五个规范性策略,并提供了两个关于开源项目学习创新能力的说明。
2010-01-05 cs.SE
A Safe Regression Testing Technique for Web Services based on WSDL Specification
基于规格说明的Web服务回归测试是检验Web服务质量的重要活动。Web服务中的一个主要问题是,只有提供者拥有源代码,而用户和代理都只有基于XML的规范。因此,从用户和代理的角度来看,需要对Web服务进行基于规范的回归测试。现有的技术是基于代码的。由于Web服务的动态行为,Web服务经历了快速的维护和演化过程。需要重新测试网络服务,以验证更改的影响。在本文中,我们提出了一个自动化的安全规范为基础的回归测试方法,使用原始的和修改后的WSDL规范的变化识别。所有相关的测试用例都是可重用的,因此我们的回归测试选择方法是安全的。
2015-06-03 cs.SE
Regression Testing in Remote and Hybrid Software Teams: An Exploratory Study of Processes, Tools, and Practices
CESAR School(CESAR学院);UFRPE(巴西雷西夫联邦大学);University of Calgary(卡尔加里大学)
本研究探讨远程和混合团队中回归测试的流程、工具和实践,发现其依赖文档、自动化和工具集成来支持异步协作,揭示了回归测试作为社会技术实践的演变。
2026-03-08 cs.SE
Using Defect Prediction to Improve the Bug Detection Capability of Search-Based Software Testing
自动测试生成器,如基于搜索的软件测试(SBST)技术,取代了手动编写测试用例的繁琐和昂贵的任务。SBST技术在生成具有高代码覆盖率的测试时是有效的。然而,高代码覆盖率是否足以最大限度地增加发现的bug数量?我们认为,SBST需要集中在有缺陷的领域,而不是在非缺陷的代码领域,以最大限度地发现错误的可能性搜索测试用例。缺陷预测算法提供了有关软件中容易出现错误的区域的有用信息。因此,我们制定了本论文的目标:\textit{Improve the bug detection capability of SBST by incorporating defect prediction information}。为了实现这一目标,我们设计了两个研究目标,即,1)开发一种新的方法(SBST $_{CL}$),该方法基于类有缺陷的可能性将时间预算分配给类,以及2)开发一种新的策略(SBST $_{ML}$)来指导底层搜索算法(即,遗传算法)对一类中的缺陷区域进行优化。通过对Defects4J数据集中434个真实报告的错误进行实证评估,我们证明了我们的新方法SBST $_{CL}$在资源受限的环境中,在时间预算紧张的情况下,比最先进的SBST更有效。
2022-06-14 cs.SE
Focusing Testing by Using Inspection and Product Metrics
一个众所周知的识别软件中容易出现缺陷的部分以便集中测试的方法是使用不同种类的产品度量,例如大小或复杂性。虽然这种方法已经在许多情况下进行了评估,但问题仍然是,是否有进一步的机会来提高测试的重点。一个想法是识别其他类型的信息,这些信息可以指示容易出现缺陷的软件部件的位置。特别是软件检查的数据似乎很有希望。这种数据可能已经导致软件部分具有固有的困难或编程挑战,因此可能容易出现缺陷。本文首先解释了如何使用检查和产品度量来集中测试活动。其次,我们比较了通常用于预测缺陷倾向部件的选定产品和检查指标(例如,尺寸和复杂性度量、检查缺陷内容度量和缺陷密度度量)。基于在不同环境中进行的两个案例研究的初步经验,说明了预测容易出现缺陷的零件的不同指标的适用性。研究表明,检查缺陷数据似乎是一个合适的预测器,某些检查和产品指标的组合导致了我们的上下文中的最佳优先级。此外,定性的经验,这证实了预期的好处,使用检查结果,以优化测试。
2014-02-04 cs.SE
What Makes Software Bugs Escape Testing? Evidence from a Large-Scale Empirical Study
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Naples Federico II(那不勒斯费德里科二世大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文通过大规模实证研究,分析了软件缺陷在生产环境中的表现与演变,揭示了发布后缺陷集中于老旧、高频修改和高 churn 组件,强调了进化和过程动态对缺陷产生的影响。
2026-04-29 cs.SE
Time-Space Efficient Regression Testing for Configurable Systems
可配置系统是指可以从一组选项中进行调整的系统。它们是普遍存在的,测试它们是重要和具有挑战性的。用于测试可配置系统的现有方法要么是不可靠的(即,它们可能错过断层揭示构造)或不成比例。本文提出了EvoSPLat,可配置系统的回归测试技术。EvoSPLat建立在我们以前开发的技术SPLat的基础上,SPLat可以从测试中探索所有动态可达配置。EvoSPLat针对回归测试中的两种使用场景进行了调优:回归配置选择(RCS)和回归测试选择(RTS)。EvoSPLat for RCS修剪不受更改影响的配置(非测试),而EvoSPLat for RTS修剪不受更改影响的测试(非配置)。在进化的背景下处理这两种情况是很重要的。实验结果表明,EvoSPLat是有前途的。我们观察到可配置Java程序的时间(22%)和配置数量(45%)大幅减少。在一个大型的真实世界可配置系统(GCC)的案例研究中,EvoSPLat减少了35%的运行时间。将EvoSPLat与采样技术进行比较,2-wise是最有效的技术,但它错过了两个错误,而EvoSPLat检测所有错误的速度平均比6-wise快四倍。
2017-02-11 cs.SE
How good does a Defect Predictor need to be to guide Search-Based Software Testing?
缺陷预测器、静态缺陷检测器和检查代码的人员可以在通过测试发现程序中有缺陷的部分之前找到它们。诸如基于搜索的软件测试(SBST)技术之类的自动测试生成器可以使用该信息来将它们对测试用例的搜索引导到可能存在错误的代码,从而加速检测现有错误的过程。然而,这些工具或人类给出的预测往往是不精确的,这可能会误导SBST技术,并可能降低其性能。在本文中,我们研究了缺陷预测的不精确性对SBST缺陷检测有效性的影响。我们的研究发现,召回的缺陷预测,即,正确识别错误代码的概率对SBST的错误检测有效性有显著影响,且效应量较大。另一方面,精确度的影响,一个衡量假警报,是没有实际意义的一个非常小的效果大小所示。特别是,SBST技术发现7.5个错误平均减少每5%的召回(420个错误)。在结合缺陷预测和SBST的背景下,我们的建议是在牺牲精度的情况下增加缺陷预测器的召回率,同时保持至少75%的精度。考虑到缺陷预测器的不精确性,特别是低召回值,SBST技术应该被设计为搜索测试用例,这些测试用例也覆盖了程序中预测的非错误部分,同时优先考虑被预测为错误的部分。
2021-10-06 cs.SE
Unveiling Hidden DNN Defects with Decision-Based Metamorphic Testing
当代DNN测试工作经常使用变形测试(MT)进行。一般来说,事实上的MT框架使用语义保留突变来改变DNN输入图像,并确定DNN是否可以产生一致的预测。然而,我们发现DNN可能依赖于错误的决策(DNN输入上的某些组件)来进行预测,这可能仍然会偶然保留输出。现有的MT框架会忽略这种DNN缺陷。然而,错误的决定可能会导致对现实生活中可能存在的各种图像的连续错误预测。这项研究旨在揭示由不正确的DNN决策引起的隐藏DNN缺陷的普遍性(但保留一致的DNN预测)。为此,我们定制和优化了现代可解释AI(XAI)技术,以识别表示DNN进行预测的输入图像中的区域的视觉概念。然后,我们扩展了现有的基于MT的DNN测试框架,以检查DNN在测试输入及其突变输入上做出的决策的一致性。我们的评估表明,现有的MT框架忽略了由错误决策引起的大量DNN缺陷。我们进行人体评估,以证明我们发现的有效性并阐明其特征。通过DNN基于决策的变形关系的镜头,我们重新审视现有MT框架提出的变形转换的有效性。我们总结了这项研究的经验教训,可以为未来的DNN测试提供见解和指导。
2022-10-10 cs.SE
Human-AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing
Institute for Software and Systems Engineering, Technical University of Clausthal(克莱斯塔尔工业大学软件与系统工程研究所);Hacon Ingenieurgesellschaft mbH – A Siemens Company(Hacon工程公司(西门子旗下))
本文探讨了通过智能体AI系统生成系统级回归测试脚本,提升自动化测试效率,并强调持续的人机协作对敏捷测试的重要性。
2026-04-13 cs.SE
CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems
School of EECS, University of Ottawa(渥太华大学电气与计算机工程学院);Centre for Software Excellence, Huawei Canada(华为加拿大软件卓越中心)
针对基于LLM系统回归测试的独特挑战,提出CASPER框架,通过进化切片识别与基于执行日志行为信息的优先级排序,实现更优的回归切片处理效果。
2026-08-04 cs.SE
NodeSRT: A Selective Regression Testing Tool for Node.js Application
Node.js是构建Web应用程序最流行的框架之一。随着软件系统的成熟,运行整个回归测试套件的成本可能会变得很大。选择性回归测试(SRT)是一种只执行测试子集的技术,回归测试集可以更有效地检测软件故障。以前的SRT研究主要集中在标准的桌面应用程序。Node.js应用程序被认为很难执行测试缩减,因为Node的异步、事件驱动的编程模型,而且JavaScript是一种动态规划语言。在本文中,我们介绍了NodeSRT,一个用于Node.js应用程序的选择性回归测试框架。NodeSRT通过执行静态和动态分析,识别变更方法和测试之间的关系,然后将回归测试集缩减为仅受变更影响的测试,以改善回归测试集的执行时间。为了评估我们的选择技术,我们将NodeSRT应用于两个开源项目:Uppy和Simorgh,然后将我们的方法与retest-all策略和当前行业标准的SRT技术:Jest OnlyChange进行比较。结果表明,NodeSRT根据更改正确选择受影响的测试,比Jest OnlyChange快250%,精确450%。
2021-03-31 cs.SE
The Impact of Defect (Re) Prediction on Software Testing
针对跨项目缺陷预测中Bandit Algorithm早期易选到不合适数据而遗漏缺陷的问题,提出测试后再预测并重新测试相关模块的方法,实验表明其可在不降低准确率的同时稳定减少缺陷遗漏。
2024-09-10 cs.SE
Testing Multiple Linear Regression Systems with Metamorphic Testing
回归是最常用的统计技术之一。然而,测试回归系统是一个巨大的挑战,因为缺乏测试预言一般。在本文中,我们表明,变形测试是一种有效的方法来测试多个线性回归系统。在此过程中,我们确定内在的数学性质的线性回归,然后提出11个变形关系用于测试。他们的有效性进行检查,使用突变分析与一系列不同的回归程序。我们进一步研究如何以更有效的方式采用测试。我们的工作是适用于检查预测系统的可靠性的基础上回归,已被广泛应用于经济,工程和科学,以及统计用户操纵的回归计算。
2021-08-17 cs.SE stat.ME
Distributed, Cross-Platform, and Regression Testing Architecture for Service-Oriented Architecture
根据领先的IT专家的说法,当今的大型企业正在经历业务转型。他们采用基于服务的IT模型(如SOA)来开发企业信息系统和应用程序。事实上,SOA是松散耦合的可互操作组件的集成,可能使用异构软件技术和硬件平台构建。因此,传统的测试架构不足以验证和确认SOA系统的质量以及它们是否按照规范运行。本文首先讨论了各种最先进的SOA应用程序测试方法,然后提出了一种新的自动化,分布式,跨平台,面向SOA系统的回归测试架构。该测试体系结构由测试引擎、测试代码生成器、测试用例生成器、测试执行器和测试监控器等测试单元组成。实验结果表明,所提出的测试架构管理使用并行代理测试异构Web服务的技术是不兼容的测试框架。作为未来的工作,测试SOA应用程序的非功能方面进行调查,以便允许测试性能,安全性,可用性和可伸缩性等属性。
2012-03-24 cs.SE
JITLine: A Simpler, Better, Faster, Finer-grained Just-In-Time Defect Prediction
即时(JIT)缺陷预测模型是一个分类器,用于预测提交是否是缺陷引入。最近,CC 2 Vec--一种用于即时缺陷预测的深度学习方法--已经被提出。然而,CC 2 Vec需要整个数据集(即,训练+测试)进行模型训练,假设所有未标记的测试数据集都是预先可用的,这不符合即时缺陷预测的关键原则。我们的复制研究表明,在排除用于模型训练的测试数据集后,CC 2 Vec的F度量值对于OpenStack下降了38.5%,对于Qt下降了45.7%,这突出了排除用于Just-In-Time缺陷预测的测试数据集的负面影响。此外,CC 2 Vec无法在线路级别执行细粒度预测(即,对于给定的提交,哪些行是最危险的)。在本文中,我们提出了JITLine --一种即时缺陷预测方法,用于预测缺陷引入提交并识别与该缺陷引入提交相关联的行(即,缺陷线)。通过对来自OpenStack和Qt的37,524次提交的案例研究,我们发现我们的JITLine方法比最先进的方法(即,CC 2 Vec和DeepJIT)和我们的方法在行级别的细粒度预测比基线NLP方法准确133%-150%(前10名准确度)。因此,我们的JITLine方法可以帮助从业者更好地优先考虑引入缺陷的提交,并更好地识别有缺陷的行。
2021-03-16 cs.SE
The Relevance of Assumptions and Context Factors for the Integration of Inspections and Testing
将检测过程与测试过程相结合有望带来几个好处,包括减少质量保证工作或提高缺陷检测率。这些过程的系统集成需要了解这些过程之间的关系,特别是检查缺陷和测试缺陷之间的关系。这种知识通常取决于具体情况,需要通过分析或经验获得。如果这种知识不可用,则需要针对特定背景做出假设。本文描述了集成检查和测试过程的假设和背景因素的相关性,并提供了以系统的方式导出假设的机制。
2013-12-03 cs.SE
Deep Learning Framework Testing via Model Mutation: How Far Are We?
本文系统评估了基于模型变异的深度学习框架测试方法的缺陷检测能力,揭示其误报率高且缺陷常被开发者忽略,并通过构建缺陷数据集和提出优化策略,在23个模型中识别出39个独特缺陷,其中31个获开发者确认。
2025-07-07 cs.SE
Machine Learning and Evolutionary Computing for GUI-based Regression Testing
ReTest是一种新颖的Java应用程序测试工具,它具有图形用户界面(GUI),结合了猴子测试和差异测试。由于这种组合避开了oracle问题,因此它能够生成基于GUI的回归测试。ReTest利用进化计算(EC),特别是遗传算法(GA),优化这些测试的代码覆盖率。虽然这在软件测试方面确实是一个理想的目标,并可能发现许多错误,但它缺少一个主要因素:人类行为。因此,人类测试人员经常发现结果不太合理,难以解释。本文提出了一种新的方法来改善初始种群的遗传算法与机器学习(ML)的帮助下,形成ML技术增强EC(MLEC)算法。为了做到这一点,利用现有的测试来提取关于人类测试人员如何使用给定GUI的信息。然后利用获得的数据来训练人工神经网络(ANN),该网络在运行时分别对可用的GUI操作及其底层GUI组件进行排名-减少手动创建和自动生成的回归测试之间的差距。尽管该方法是在ReTest之上实现的,但它可以很容易地用于指导任何形式的猴子测试。结果表明,只有很少的训练数据,人工神经网络是能够达到82%的准确性和由此产生的测试代表一个改进,而不会减少整体代码覆盖率和性能显着。
2018-02-11 cs.SE
Early Detection of Performance Regressions by Bridging Local Performance Data and Architectural Models
本研究提出一种桥接组件级本地性能数据与系统级架构模型的轻量级方法,可在开发阶段早期检测不同强度偏差、各类工作负载下的系统性能回归,补充传统测试资源不足的问题。
2024-08-15 cs.SE
Regression Testing of Virtual Prototypes Using Symbolic Execution
近年来,虚拟平台和虚拟原型技术在电子企业中被广泛应用,以加速软件开发。实践证明,这些技术可以大大缩短产品上市时间,提高产品质量。一个挑战是如何测试和验证虚拟原型。在本文中,我们提出了如何进行回归测试的虚拟原型在不同版本中使用符号执行。假设我们有旧版本和新版本的虚拟原型,我们首先对新版本应用符号执行并收集所有路径约束。然后,收集路径约束用于指导旧版本的符号执行。对于探索的每个路径,我们比较两个版本之间的设备状态,以检查它们的行为是否相同。我们已经将这种方法应用于广泛使用的虚拟原型,并检测到许多差异。实验结果表明,该方法是有效的。
2016-01-22 cs.SE
Studying the Feasibility and Importance of Software Testing: An Analysis
软件测试是软件质量保证的关键要素,代表了对规格、设计和编码的最终审查。软件测试是通过运行软件来测试软件的功能性和正确性的过程。软件测试通常出于以下两个原因之一而执行:缺陷检测和可靠性评估。将软件测试应用于缺陷检测的问题在于,软件只能提示缺陷的存在,而不能提示缺陷的不存在(除非测试是详尽的)。将软件测试应用于可靠性估计的问题是用于选择测试用例的输入分布可能是有缺陷的。软件测试的关键是试图找到失败的模式-这需要在所有可能的输入上对代码进行详尽的测试。软件测试,取决于所采用的测试方法,可以在开发过程中的任何时候实施。
2010-01-23 cs.SE
SAGE: Semantic-Aware Gray-Box Game Regression Testing with Large Language Models
Waseda University(早稻田大学);City University of Hong Kong(香港城市大学);Southwest University(西南大学);Institute of Science Tokyo(东京科学大学)
提出SAGE框架,利用LLM引导强化学习自动生成测试套件,通过语义多目标优化精简测试,并基于更新日志语义分析优先排序,在Overcooked Plus和Minecraft中实现高效回归测试。
2026-06-19 cs.SE
Classifying and Qualifying GUI Defects
图形用户界面(GUI)是软件系统的组成部分,需要用户进行交互。在过去的十年中,软件测试人员特别关注GUI测试,并设计了有效发现几种GUI错误的技术。然而,在GUI中引入新类型的交互(例如,直接操作)呈现了当前测试技术没有针对的新类型的错误。我们相信,为了推进GUI测试,社区需要一个全面的、高层次的GUI故障模型,它包含了所有类型的交互。本文的主要工作包括以下四个方面:1)建立了GUI故障模型,对GUI故障进行识别和分类。2)一个实证分析,用于评估所提出的故障模型对实际GUI中发现的故障的相关性。3)针对这些故障,对两种GUI测试工具(即GUITAR和Jubula)进行了实证评估。4)我们根据故障模型开发的GUI变种人。这些突变体是免费提供的,并且可以被开发人员重用,用于对他们的GUI测试工具进行基准测试。
2017-03-28 cs.SE
Alteron: A Tool for Behavioral Regression Testing Across NLP Classifier Versions
University of Dhaka(达卡大学)
该研究提出工具Alteron,通过变形测试检测NLP分类器版本间的行为回归,在评估中识别出16个行为回归,其中11个为发布阻塞性问题,可揭示基准指标遗漏的故障。
2026-08-03 cs.SE
Change Impact Analysis Based Regression Testing of Web Services
PDPM Indian Institute of Information Technology, Design and Manufacturing Jabalpur(PDPM印度信息技术设计与制造学院贾巴尔普尔)
减少在Web服务中进行更改所需的工作量是Web服务项目维护和发展的主要目标之一。通常,Web服务的功能和非功能测试是通过测试WSDL中指定的操作来执行的。回归测试是通过识别之后对Web服务代码和WSDL所做的更改来执行的。在这篇论文中,我们提出了一个工具支持的方法来执行有效的回归测试的Web服务。通过将Web服务表示为WSDL元素的有向图,我们识别并收集图中更改的部分,并使用此信息来减少回归测试工作。具体来说,我们识别,分类,并捕获Web服务测试需求的两种不同的方式,即,Web服务的操作化回归测试(ORTWS)和Web服务的参数化回归测试(PRTWS)。这两种方法可以结合起来,以减少Web服务项目中的回归测试工作。所提出的方法是原型作为一个工具,命名为自动Web服务变更管理(AWSCM),这有助于在选择相关的测试用例构建减少测试套件从旧的测试套件。我们提出了一些案例研究不同的Web服务项目,以证明所提出的工具的适用性。还估计了Web服务回归测试工作量的减少。
2014-08-07 cs.AI cs.DC cs.SE
(Why) Is My Prompt Getting Worse? Rethinking Regression Testing for Evolving LLM APIs
The Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM API静默更新导致的性能回归问题,通过毒性检测案例研究,提出需重新审视回归测试,并指出因正确性概念、提示词脆弱性和非确定性需根本改变传统测试方法。
2024-02-06 cs.CL cs.SE
GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing
Beijing Jiaotong University(北京交通大学);Independent Researcher(独立研究者)
提出GUITestScape基准和GUIJudge评估器,通过覆盖交互与显示缺陷的508个预设缺陷及过程感知评估方法,解决现有GUI测试评估局限于预定义标注和交互缺陷的问题。
2026-10-30 cs.AI cs.SE
Applying Security Testing Techniques to Automotive Engineering
本文系统分类了现有安全回归测试方法,分析其抽象级别、安全问题、测试技术、工具支持与评估情况,并指出未来研究方向。
2023-09-18 cs.CR cs.SE
Mubric: Mutation Testing-Guided Rubric Generation for LLM Evaluation
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Mubric提出基于变异测试的评分标准生成方法,通过挖掘缺陷并注入参考响应来迭代改进评分标准,在703个任务上以7.48个百分点的优势超越最强基线。
2026-09-30 cs.AI cs.SE
Information-Theoretic Testing and Debugging of Fairness Defects in Deep Neural Networks
University of Texas at El Paso(得克萨斯大学埃尔帕索分校);University of Colorado Boulder(科罗拉多大学博尔德分校);Pennsylvania State University(宾夕法尼亚州立大学)
提出信息论测试与调试框架DICE,通过量化受保护信息比特数衡量公平性缺陷严重程度,并利用因果调试定位训练不足的层和神经元,有效发现、排序和定位DNN中的公平性缺陷。
2023-04-09 cs.LG cs.SE
Three-Stage Adjusted Regression Forecasting (TSARF) for Software Defect Prediction
针对传统NHPP类软件可靠性增长模型适应性差、机器学习方法受限于缺陷数据样本不足的问题,提出面向软件缺陷预测的三阶段调整回归预测方法TSARF。
2024-01-31 cs.SE cs.SY eess.SY
SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning
Electronic Arts(美国艺电)
本文提出SUPERNOVA系统,结合基于风险的测试与机器学习实现AAA游戏测试选择与缺陷预防自动化,在已发布体育游戏中减少55%以上测试工时,并以71%精确率和77%召回率预测缺陷变更列表。
2023-06-28 cs.LG cs.SE
Smoke Testing for Machine Learning: Simple Tests to Discover Severe Defects
TU Clausthal(克劳斯塔尔工业大学);University of Goettingen(哥廷根大学)
机器学习如今是软件应用程序中数据分析的标准技术。软件工程师需要适用于这些新型系统的质量保证技术。在这篇文章中,我们讨论了几十年来一直是教科书一部分的标准软件测试技术是否也适用于测试机器学习软件的问题。具体地说,我们试图确定通用的和简单的烟雾测试,这些测试可以用来断言基本函数可以在不崩溃的情况下执行。我们发现,我们可以得到这样的测试使用类似的技术等价类和边界值分析。此外,我们发现这些概念也可以应用于超参数,以进一步提高烟雾测试的质量。尽管我们的方法几乎是微不足道的,但我们能够在我们测试的所有三个机器学习库中找到错误,并在三个库中的两个库中找到严重错误。这表明,常见的软件测试技术在机器学习时代仍然有效,并且考虑如何使它们适应这种新的环境可以帮助发现和防止严重的错误,即使在成熟的机器学习库中。
2021-10-29 cs.LG cs.SE
Metamorphic Relation Prioritization for Effective Regression Testing
Montana State University(蒙大拿州立大学);University of North Florida(北佛罗里达大学)
变形测试(MT)被广泛用于测试面临预言机问题的程序。它使用一组变形关系(MR),这是多个输入之间的关系,并相应的输出,以确定是否被测程序是错误的。典型地,MR在它们检测被测程序中的故障的能力方面变化,并且一些MR倾向于检测相同的故障集合。在本文中,我们提出了优先考虑MR的方法,以提高回归测试的MT的效率和有效性。我们提出了两种MR优先级排序方法:(1)基于故障和(2)基于覆盖率。为了评估这些MR优先化方法,我们在三个复杂的开源软件系统上进行实验。我们的研究结果表明,我们开发的MR优先级的方法显着优于目前的做法,执行的源和后续测试用例的MR在一个特设的方式在故障检测的有效性。此外,基于故障的MR优先化导致减少需要执行的源和后续测试用例的数量,以及减少检测故障所花费的平均时间,这将导致在测试过程期间节省时间和成本。
2021-09-20 cs.LG cs.SE
A Novel Multiple Ensemble Learning Models Based on Different Datasets for Software Defect Prediction
National University of Sciences and Technology(国家科技大学)
软件测试是保证软件质量的重要手段之一。据发现,测试成本超过总项目成本的50%。有效和高效的软件测试利用最少的软件资源。因此,重要的是要构建的过程,不仅能够执行有效的测试,但也最大限度地减少了项目资源的利用。软件测试的目标是最大限度地发现软件系统中的缺陷。软件测试中发现的缺陷越多,测试的效率就越高。人们提出了不同的技术来检测软件中的缺陷,并充分利用资源,取得了良好的效果。随着世界不断走向数据驱动的方法来做出重要的决策。因此,在本研究论文中,我们对公开的数据集进行了机器学习分析,并试图达到最大的准确性。本文的主要重点是在数据集上应用不同的机器学习技术,并找出哪种技术产生有效的结果。特别地,我们提出了一种集成学习模型,并在不同的数据集上对KNN、决策树、SVM和朴素贝叶斯方法进行了比较分析,结果表明集成学习方法在准确率、精确率、召回率和F1-score方面都优于其他方法。在CM 1上训练的集成模型的分类准确率为98.56%,在KM 2上训练的集成模型的分类准确率同样为98.18%,在PC 1上训练的集成学习模型的分类准确率为99.27%。这表明,与其他技术相比,Entrance是进行缺陷预测的更有效的方法。
2020-08-30 cs.LG cs.SE stat.ML
AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows
Independent Researcher(独立研究者)
AgentAssay通过行为指纹和自适应预算优化,实现非确定性AI代理工作流的高效回归测试,显著降低测试成本并提高检测能力。
2026-03-03 cs.AI cs.SE
The Impact of Software Testing with Quantum Optimization Meets Machine Learning
Campbellsville University(坎贝尔斯维尔大学)
本文提出一种量子退火与机器学习结合的混合框架,用于优化CI/CD测试用例优先级排序,在Defects4J上实现缺陷检测效率提升25%、执行时间减少30%,并验证了其在混合量子-经典生态系统中的可扩展性。
2025-06-02 cs.AI cs.LG cs.SE