Concurrency-related Flaky Test Detection in Android apps
通过测试验证Android应用程序是困难的,因为存在测试。由于不确定的执行环境,一系列事件(测试)可能以不可预测的方式导致成功或失败。在这项工作中,我们提出了一种方法和工具FlakeShovel通过系统的探索事件顺序检测的测试。我们的主要观察是,对于移动应用程序中的测试,有一个测试框架线程创建测试事件,一个主用户界面(UI)线程处理这些事件,可能还有几个其他后台线程异步运行。对于任何事件e,其执行涉及潜在的非确定性,我们定位e必须发生的最早(最晚)事件之后(之前)。然后,我们有效地探索上/下限事件之间的时间表,同时将事件分组在单个语句中,以确定测试结果是否是错误的。我们还创建了一套名为DroidFlaker的主题程序来研究Android应用程序中的重复测试。我们在主题套件DroidFlaker上的实验证明了我们的测试检测的有效性。我们的工作是对现有的测试检测工具的补充,比如Deflaker,它只检查失败的测试。FlakeShovel可以在通过的测试中检测到重复测试,正如我们的方法和实验所示。
2021-05-21 cs.SE
Flaky Test Recognition when Testing CPSs Using Hybrid Models
North Carolina State University(北卡罗来纳州立大学)
本研究在HyTest基础上整合TReVa与FlaRe形成HyTestTF,可在CPS开发早期阶段仅一轮额外测试中用混合模型识别不稳定测试用例与条件,实证显示其能正确区分不稳定与非不稳定测试用例
2026-08-10 cs.SE
The Importance of Discerning Flaky from Fault-triggering Test Failures: A Case Study on the Chromium CI
Flaky测试是指在同一个被测程序版本的不同执行中通过和失败的测试。他们让开发人员调查错误警报(测试失败),浪费了宝贵的开发人员时间。为了解决这个问题,已经提出了许多识别非线性测试的预测方法。虽然有希望,这些方法的实际效用仍然不清楚,因为它们还没有在一个持续集成(CI)的过程中进行评估。特别是,仍然不清楚遗漏故障的影响,即,在不同的CI周期中,将故障触发测试失败视为故障。为了填补这一空白,我们在Chromium CI中应用了最先进的片状预测方法,并检查了它们的性能。也许令人惊讶的是,我们发现,尽管高精度(99.2%)的方法,他们的应用导致许多错误错过,约76.2%的所有回归故障。为了解释这一结果,我们分析了故障触发失败,并表明,故障检测具有很强的故障揭示能力,即,它们揭示了所有回归故障的1/3以上,这表明所有方法的固有局限性,这些方法集中于识别重复测试,而不是重复测试失败。更进一步,我们构建了以故障为中心的预测方法,并通过考虑新功能对其进行优化。有趣的是,我们发现这些方法比以测试为重点的方法表现更好,MCC从0.20增加到0.42。总的来说,我们的研究结果意味着,一方面,未来的研究应该集中在预测的抗剥落测试失败,而不是抗剥落测试和需要采用更彻底的实验方法时,评估片状预测方法,另一方面。
2023-02-21 cs.SE
Just-in-Time Flaky Test Detection via Abstracted Failure Symptom Matching
本研究提出一种基于抽象化失败症状匹配的即时不稳定测试检测方法,在SAP HANA的CI数据上验证显示准确率超96%,较传统重跑策略节省约58%机器时间。
2023-11-04 cs.SE
An Empirical Study of Flaky Tests in Python
在没有任何代码更改的情况下导致虚假故障的测试,即,干扰测试,妨碍回归测试,增加维护成本,可能会隐藏真正的bug,并降低对测试的信任。虽然片状的普遍性和重要性已经得到了很好的证实,但之前的研究主要集中在Java项目上,因此提出了如何推广研究结果的问题。为了提供一个更好的理解,在软件开发中的作用,超越Java的,我们实证研究的流行,原因,和在Python,目前最流行的程序设计语言编写的软件中的flakiness程度。为此,我们从流行的PyPI包索引中抽取了22352个开源项目,并分析了它们的876186个测试用例。我们的调查表明,flakiness在Python中和在Java中一样普遍。然而,原因是不同的:顺序依赖是Python中一个更主要的问题,在我们的数据集中,7571个重复测试中有59%是由顺序依赖引起的。另外28%是由测试基础设施问题引起的,这是以前没有记录的片状原因。剩下的13%主要归因于项目对网络和随机性API的使用,这表明了通常用Python编写的软件类型。我们的数据还表明,找到可重复测试需要比文献中经常做的更多的运行:一个通过测试的案例平均不重复的95%的置信度将需要170次重新运行。
2021-01-22 cs.SE
The Effects of Computational Resources on Flaky Tests
本文评估 CPU、内存等计算资源对不稳定测试的影响,基于 52 个多语言项目和 27 种配置识别 RAFT,发现 46.5% 的不稳定测试受资源影响。
2023-10-18 cs.SE
Do Automatic Test Generation Tools Generate Flaky Tests?
本研究针对自动测试生成工具产生不稳定测试的普遍性与特性尚不明确的问题,通过对数千个Java、Python项目用对应工具生成测试并多次执行,发现生成测试的不稳定性普遍,现有抑制机制可有效缓解,且成因与开发者编写的测试存在差异,为工具改进和相关研究提供基础。
2023-10-08 cs.SE
Time-based Repair for Asynchronous Wait Flaky Tests in Web Testing
针对Web测试中由异步等待引起的不稳定测试问题,构建数据集发现开发者常通过调整等待时间修复,据此提出基于代码相似性和历史更改的自动化修复方法TRaf,有效缩短等待时间并显著降低测试执行时间。
2023-05-19 cs.SE
Understanding Flaky Tests: The Developer's Perspective
Flaky测试是在对相同的代码运行时显示出看似随机的结果(通过或失败)的软件测试。以前的工作已经检查了修复的重复测试,并提出了自动化的解决方案,以定位和修复重复测试-我们通过检查软件开发人员对这种现象的性质,相关性和挑战的看法来补充它。我们要求21名专业开发人员对他们之前修复的200个测试进行分类,根据片状的性质,片状的起源和修复工作。我们用有关固定策略的信息来补充这一分析。随后,我们对121名开发人员进行了在线调查,这些开发人员的工业编程经验中位数为5年。我们的研究表明:这种不稳定性是由于几种不同的原因造成的,其中四种以前从未被报道过,尽管这是修复成本最高的;不稳定性被绝大多数开发人员认为是重要的,不管他们的团队的规模和项目的领域如何,它会对资源分配、调度和测试套件的感知可靠性产生影响;开发人员报告面临的挑战主要是复制剥落行为和识别剥落的原因。数据和材料[https://doi.org/10.5281/zenodo.3265785]。
2019-07-02 cs.SE
A Qualitative Study on the Sources, Impacts, and Mitigation Strategies of Flaky Tests
测试片状形成一个主要的测试问题。不完整的测试会显示出不确定的结果,这会削弱持续集成,并导致开发人员调查错误警报。工业报告表明,在大规模上,重复测试的增加破坏了对测试套件的信任,并带来了显着的计算成本。为了缓解这一问题,从业人员不得不确定风险测试并调查其影响。为了阐明这种缓解机制,我们采访了14位从业者,旨在确定(i)测试生态系统中的片状来源,(ii)片状的影响,(iii)从业者在解决片状时采取的措施,以及(iv)这些措施的自动化机会。我们的分析表明,除了测试和代码之外,脆弱性还源于系统组件、测试基础设施和外部因素之间的交互。我们还强调了片状对测试实践和产品质量的影响,并表明采用指导方针以及稳定的基础设施是缓解问题的关键措施。
2021-12-09 cs.SE
Flakify: A Black-Box, Language Model-based Predictor for Flaky Tests
软件测试确保代码变更不会对现有功能产生不利影响。然而,测试用例可以是可扩展的,即,在执行过程中传递和失败,即使是同一版本的源代码。不稳定的测试用例会给软件开发带来额外的开销,因为它们会导致不必要的调试生产或测试代码的尝试。最先进的基于ML的测试用例预测器依赖于预定义的功能集,这些功能集要么是特定于项目的,要么需要访问生产代码,而软件测试工程师并不总是可以访问生产代码。因此,在本文中,我们提出了Flakify,一个黑盒,语言模型为基础的预测器,用于测试用例。Flakify完全依赖于测试用例的源代码,因此不需要(a)访问生产代码(黑盒),(b)检查测试用例,(c)预定义功能。为此,我们采用了CodeBERT,一个预先训练好的语言模型,并对其进行了微调,以使用测试用例的源代码来预测JavaScript测试用例。我们在两个公开的数据集(FlakeFlagger和IDoFT)上评估了Flakify的测试用例,并使用两种不同的评估程序(交叉验证和按项目验证)将我们的技术与FlakeFlagger方法进行了比较。Flakify在使用交叉验证和按项目验证的两个数据集上都获得了很高的F1分数,并且在FlakeFlagger数据集上进行评估时,在精度和召回率方面分别超过了FlakeFlagger 10和18个百分点,从而减少了不必要的调试测试用例和生产代码的成本。当用于预测新项目的测试用例时,Flak…
2022-08-16 cs.SE
Understanding and Detecting Flaky Builds in GitHub Actions
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出基于机器学习的方法,用于检测GitHub Actions中不稳定构建,提升了F1分数20.3%。
2026-02-02 cs.SE
Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study
Heidelberg University(海德堡大学);University of Mannheim(曼海姆大学);SAP(思爱普)
本研究探讨了仅通过测试代码是否能有效分类不稳定测试,发现LLM在无额外上下文时表现有限,需进一步结合检索增强生成等方法提升泛化能力。
2026-02-05 cs.SE
Flaky Tests in a Large Industrial Database Management System: An Empirical Study of Fixed Issue Reports for SAP HANA
Heidelberg University(海德堡大学);SAP
本研究通过分析SAP HANA的问题报告,发现并发问题是最常见的测试不稳定性原因,并提出利用LLMs进行标记的方法以提高测试稳定性分析的效率。
2026-02-03 cs.SE
What Made This Test Flake? Pinpointing Classes Responsible for Test Flakiness
Flaky测试被定义为通过对同一版本的代码间歇性地通过和失败来表现非确定性行为的测试。这些测试通过错误的警报削弱了持续集成,浪费了开发人员的时间,破坏了他们对回归测试的信任。为了减轻片状的影响,研究人员和工业专家都提出了检测和隔离片状测试的策略和工具。然而,由于开发人员难以本地化和理解其原因,因此很少修复故障测试。此外,使用大型代码库的开发人员通常需要知道非确定性的来源以保持代码质量,即,避免引入与不确定性行为有关的技术债务,并避免引入新的风险测试。为了帮助完成这些任务,我们提出了将故障定位技术重新定位到故障组件定位问题,即,精确定位导致测试不确定性行为的程序类。特别是,我们采用基于频谱的故障定位(SBFL),一种基于覆盖的故障定位技术,通常采用其简单性和有效性。我们还利用其他数据源,如更改历史和静态代码指标,以进一步改善本地化。我们的研究结果表明,增加SBFL的变化和代码指标排名前1和前5名的建议,在26%和47%的情况下,类。总的来说,我们成功地减少了平均数量的类检查,以找到第一个类的19%的类覆盖的类测试。我们的研究结果还表明,本地化的方法是有效的主要片状类别,如并发和异步等待,表明他们的一般能力,以确定分布式组件。
2022-07-20 cs.SE
How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection
Heidelberg University(海德堡大学);Northeastern University(东北大学);SAP
研究基于代码检测不稳定测试的局限性,分析发现常用基准测试有捷径、评估协议夸大通用性。整理C-IDoFT和CI日志数据集,重新构建不稳定预测,围绕观察到的失败及执行环境下测试失败可能性展开,数据集和挖掘方法支持此方向。
2026-07-13 cs.SE
A Generic Approach to Fix Test Flakiness in Real-World Projects
针对现有测试不稳定性修复技术泛化性差的问题,提出结合LLM与程序分析的神经符号技术FlakyDoctor,在真实项目多类型不稳定测试修复上效果优于现有方法,且部分补丁已被合并。
2024-04-15 cs.SE
A Preliminary Study of Fixed Flaky Tests in Rust Projects on GitHub
本文初步研究 GitHub 上 Rust 项目中已修复的 flaky tests,通过分析 53 个测试发现异步等待和并发问题是主要根本原因,为理解 Rust 测试 flakiness 的成因与修复策略提供依据。
2025-02-04 cs.SE
Evaluating Shaker for Flaky Test Detection in Python Projects
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学计算机中心);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
首次实证评估 Shaker 在 Python 中的不稳定测试检测,发现其相对普通重执行无显著优势,并揭示跨环境重用真实数据集会降低工具召回率的风险。
2026-09-23 cs.SE
Practical Flaky Test Prediction using Common Code Evolution and Test History Data
非确定性行为的测试用例会导致开发人员对他们的回归测试套件失去信任,并最终忽略失败。因此,检测漏洞测试是维护代码质量的一项关键任务,因为它为任何形式的系统响应建立了必要的基础,例如测试验证或自动调试。以前的研究已经提出了各种方法来检测flakiness,但当试图在工业环境中部署这些方法时,它们对仪器,测试重新运行或特定于语言的工件的依赖是令人望而却步的。因此,在本文中,我们调查的预测,没有这样的要求,底层的程序设计语言,CI,构建或测试执行框架的测试。相反,我们只依赖于最常用的工件,即测试的结果和持续时间,以及关于代码演变的基本信息,来构建能够检测脆弱性的预测模型。此外,我们的方法不需要额外的重新运行,因为它从现有的测试执行中收集这些数据。我们根据建议的功能训练了几个已建立的分类器,并在一个大型工业软件系统上评估了它们的性能,从中我们收集了100个测试和100个非测试和代码历史的数据集。最好的模型仅使用3个特征就能够达到95.5%的F1分数:测试的翻转率,过去54天内对源文件的更改数量,以及最近一次拉取请求中更改的文件数量。
2023-03-18 cs.SE
Debugging Flaky Tests using Spectrum-based Fault Localization
本文提出SFFL,一种基于频谱的故障定位扩展,利用不稳定测试的覆盖变化特征,在101个Python不稳定测试上平均将故障定位到代码库的3.5%,比传统SFL提升18.7%。
2023-05-08 cs.SE
A Large-Scale Dynamic Characterization of Flaky Tests in Quantum Software: The Qiskit Terra Case Study
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Toronto Metropolitan University(多伦多都会大学)
本文通过大规模动态分析量子软件中的不稳定性问题,发现尽管整体不稳定性率较低,但某些测试在多个版本中反复出现,需大量执行才能可靠检测。
2026-06-05 cs.SE
FlaPy: Mining Flaky Python Tests at Scale
FlaPy是一个通过重跑测试套件来大规模挖掘Python不稳定测试的框架,利用容器化隔离、多种依赖安装策略和SLURM并行化,实现准确、高效的大规模扫描,并以表格呈现结果。
2023-05-08 cs.SE
Reduction of Test Re-runs by Prioritizing Potential Order Dependent Flaky Tests
University of Dhaka(达卡大学)
针对现有OD不稳定测试检测方法需大量无关重跑的问题,提出基于测试类共享静态字段识别潜在OD测试并排序的方法,可显著减少测试执行量与不必要重跑,提升检测效率。
2025-10-30 cs.SE
Flaky Test Sanitisation via On-the-Fly Assumption Inference for Tests with Network Dependencies
不完整的测试会导致严重的问题,因为它们会中断依赖于所有测试成功的自动构建过程,并破坏测试的可信度。已经确定了许多导致测试剥落的原因,并且存在程序分析来检测这样的测试。通常,这些方法为开发人员提供关于如何重构测试以使测试结果具有确定性的建议。我们认为,一个来源的flakiness是缺乏假设,准确地描述在何种情况下测试是有意义的。我们设计了一个消毒技术,可以隔离flaky测试快速推断这样的假设上飞,允许自动构建继续作为flaky测试被忽略。我们证明了这种方法的Java和Groovy程序实现它作为扩展的三个流行的测试框架(JUnit4,JUnit5和Spock),可以透明地注入推断的假设。如果使用JUnit5,则可以部署这些扩展,而无需重构项目源代码。我们演示和评估我们的方法的效用,使用一组六个流行的现实世界的程序,解决已知的测试片状问题,在这些程序中所造成的依赖于网络可用性的测试。我们发现,我们的方法有效地消毒引起的网络连接问题的高精度和召回故障。
2022-08-01 cs.SE
Identifying Flakiness in Quantum Programs
本文通过分析 14 个量子软件仓库,识别出 12 个仓库中的 flaky tests,归纳其成因与修复方法,并指出量子程序员尚未充分采用现有应对措施,为研究和实践提供定量依据。
2023-07-07 cs.SE
FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests
University of Waterloo(滑铁卢大学)
本文提出 FlaKat 框架,利用机器学习分类器和采样技术预测 flaky 测试的根因类别,并提出基于信息论的 FDC 指标验证分类效果。
2024-03-01 cs.AI cs.SE
NeuroFlake: A Neuro-Symbolic LLM Framework for Flaky Test Classification
Institute of Information Technology, University of Dhaka(达卡大学信息技术学院)
本文提出NeuroFlake框架,通过结合神经网络与符号方法,提升故障测试分类的鲁棒性与泛化能力,实验表明其在F1-score上优于现有方法。
2026-05-12 cs.SE
FlakyGuard: Automatically Fixing Flaky Tests at Industry Scale
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Uber Technologies(优步技术)
针对现有基于大型语言模型(LLMs)的不稳定测试修复方法因上下文问题在工业场景失效的问题,提出FlakyGuard,通过代码图结构与选择性图探索获取相关上下文,在工业真实测试中修复率达47.6%且开发者接受度高。
2025-11-18 cs.AI cs.LG cs.PL
Empirical Study of Restarted and Flaky Builds on Travis CI
持续集成(CI)是一种开发实践,开发人员经常将代码集成到公共代码库中。在代码被集成之后,CI服务器运行测试套件和其他工具以产生一组报告(例如,短绒和测试的输出)。如果CI测试运行的结果是意外的,开发人员可以选择手动重新启动构建,在相同的代码上重新运行相同的测试套件;如果重新启动的构建结果与原始构建不同,这可能会揭示构建的脆弱性。在这项研究中,我们分析了重新启动的构建,重新构建,以及它们对开发工作流的影响。我们观察到,开发人员至少重新启动了1.72%的构建,在我们的Travis CI数据集中共有56,522个重新启动的构建。我们观察到,更成熟和更复杂的项目更有可能包括重新启动的构建。重新启动的构建大多是最初由于测试、网络问题或Travis CI限制(如执行超时)而失败的构建。最后,我们观察到重新启动的构建对开发工作流有重大影响。事实上,在54.42%的重新启动的构建中,开发人员在最初失败的一个小时内分析并重新启动构建。这表明开发人员等待CI结果,中断他们的工作流程来解决问题。重新启动的构建也将合并拉取请求的速度降低了三倍,使合并时间的中位数从16小时降低到48小时。
2021-07-18 cs.SE
An Analysis of LLM Fine-Tuning and Few-Shot Learning for Flaky Test Detection and Classification
Ontario Tech University(安大略理工大学);Faculty of Science(理学院)
本文分析LLM微调与少样本学习在Flaky测试检测与分类中的性能与成本差异,提出基于Siamese网络的FSL方法FlakyXbert,并在FlakyCat和IDoFT数据集上验证其在有限数据下具有竞争力和成本效益。
2025-02-04 cs.AI cs.SE
Detecting and Evaluating Order-Dependent Flaky Tests in JavaScript
本文针对 JavaScript 项目中 Jest 测试框架的顺序依赖型不稳定测试,提出系统化随机化重排检测方法,在 81 个项目中识别出 55 个顺序依赖型测试,并发现共享模拟状态这一新成因。
2025-01-22 cs.SE
WEFix: Intelligent Automatic Generation of Explicit Waits for Efficient Web End-to-End Flaky Tests
本文提出 WEFix,通过浏览器 UI 变化预测客户端代码执行并自动生成显式等待预言,以修复 Web 端到端测试中的 UI 型不稳定问题,实验显示其正确率达 98%,开销由 3.7× 降至 1.25×。
2024-02-15 cs.SE
Taming Timeout Flakiness: An Empirical Study of SAP HANA
本文实证研究了SAP HANA系统测试中测试超时对脆弱性的影响,发现超时占脆弱失败的70%,并提出超时优化方法,将超时相关脆弱失败减少80%,同时降低25%的中位超时值。
2024-09-28 cs.SE
Delta Debugging for Cyber-Physical Systems with Flaky Test Executions
Mondragon University(蒙德拉贡大学);Simula Research Laboratory(西穆拉研究实验室)
针对网络物理系统模拟器不稳定致故障难调试问题,提出结合统计分析、重复执行和环境感知约简的三种增量调试算法,经案例系统评估,可减少调试时间、提高故障重现性,为调试CPS提供实用基础。
2026-07-29 cs.SE
JS-TOD: Detecting Order-Dependent Flaky Tests in Jest
本文提出 JS-TOD 工具,通过系统化随机重排并重复运行 Jest 测试、测试套件和 describe 块,检测依赖执行顺序的不稳定测试,并识别出共享文件与共享 mocking 状态两类主要成因。
2025-08-30 cs.SE
Automated Test Validators for Flaky Cyber-Physical System Simulators: Approach and Evaluation
University of Ottawa(渥太华大学);University of Michigan at Dearborn(密歇根大学迪尔伯恩分校)
本文提出使用测试验证器过滤无效测试输入,通过遗传编程和决策树生成方法,展示其在航空航天、网络和自动驾驶领域中的有效性,证明GP结合Ochiai方法在准确性上更具优势。
2026-04-16 cs.SE
The Vocabulary of Flaky Tests in the Context of SAP HANA
Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学);SAP
本研究在SAP HANA背景下评估了基于源代码标识符识别易失败测试的方法,通过复现和改进现有技术,提高了识别准确率,但实际应用中仍受限。
2026-02-27 cs.SE
Identifying Flaky Tests in Quantum Code: A Machine Learning Approach
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本文提出一种基于多机器学习模型的平台,用于自动检测量子程序中的不稳定测试,其中极端梯度提升和决策树模型表现最优,并扩展了相关数据集,以提升量子软件测试的可靠性。
2025-02-06 cs.LG cs.SE
Test Flakiness' Causes, Detection, Impact and Responses: A Multivocal Review
片状测试(具有非确定性结果的测试)对软件测试提出了重大挑战。众所周知,它们会导致重大问题,例如降低测试的有效性和效率以及延迟软件发布。近年来,人们对片状测试越来越感兴趣,研究集中在片状的不同方面,例如确定原因,检测方法和缓解策略。测试不稳定性也成为从业者的一个关键讨论点(在博客文章、技术杂志等中)。因为整个行业都感受到了测试的影响。本文提出了一个多角度的审查,调查如何测试,作为一个主题,已在研究和实践中解决。我们总共涵盖了651篇文章(560篇学术文章和91篇灰色文献文章/帖子),并使用四个不同的维度构建了相关研究和知识的主体:原因,检测,影响和反应。对于每一个维度,我们都提供了一个分类,并对现有的研究、讨论、方法和工具进行了分类。有了这个,我们提供了一个全面的和当前的快照现有的想法测试片状,涵盖学术观点和工业实践,并确定限制和机会,为未来的研究。
2022-12-01 cs.SE
On the use of test smells for prediction of flaky tests
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦理工大学)
回归测试是交付高质量软件的一个重要阶段。然而,重复测试妨碍了测试结果的评估,并可能增加成本。这是因为一个测试集可能通过或失败,这是不确定的,并且为了正确地识别测试的脆弱性,需要多次重新运行测试集。为了应对这一挑战,已经提出了基于预测模型和机器学习的方法。现有的方法的基础上使用的测试用例词汇可能是上下文敏感的,容易过拟合,表现出较低的性能时,在跨项目的情况下执行。为了克服这些局限性,我们调查使用测试气味作为预测的气味测试。我们进行了一项实证研究,以了解测试气味是否具有良好的性能,作为一个分类器,以预测在跨项目的情况下,片状,并分析了每个测试气味的信息增益。我们还比较了基于测试气味的方法和基于词汇的方法。因此,我们获得了一个分类器,具有合理的性能(随机森林,0.83),以预测在测试阶段的片状。该分类器在跨项目预测中表现出比基于词汇的模型更好的性能。断言轮盘赌和睡眠测试气味类型是与最佳信息增益值相关的气味类型。
2021-09-14 cs.LG cs.SE
FlakyFix: Using Large Language Models for Predicting Flaky Test Fix Categories and Test Code Repair
School of EECS, University of Ottawa(渥太华大学电子工程与计算机科学学院);York University(约克大学);University of Limerick(利默里克大学)
针对不稳定测试修复支持不足的问题,提出FlakyFix框架,先预测13类测试自身导致的不稳定测试的修复类别,再将该信息加入GPT-3.5 Turbo提示词引导修复,显著提升修复效果,预计51%-83%的修复可通过测试。
2024-08-30 cs.AI cs.LG cs.SE
A Survey on How Test Flakiness Affects Developers and What Support They Need To Address It
非确定性地通过和失败的测试用例,即所谓的非确定性测试,近年来已成为软件工程研究的一个热点领域。虽然这一研究重点已经得到了一些行业的热情认可,但以前的工作主要是通过挖掘软件存储库使用以代码为中心的方法来研究片状。然而,从软件仓库中提取的数据无法告诉我们开发人员如何看待漏洞:测试漏洞在开发人员的日常工作中有多普遍,它如何影响他们,最重要的是:他们希望我们研究人员做些什么?为了回答这些问题,我们调查了335名不同领域的专业软件开发人员和测试人员。调查对象确认,艾滋病毒检测是一个普遍而严重的问题,从而加强了正在进行的艾滋病毒检测研究。开发人员不太担心重新运行测试所导致的计算成本,而更多地担心对测试结果的信任丧失。因此,他们希望有IDE插件来检测测试代码,并对问题进行更好的可视化,特别是显示测试结果的仪表板;他们还希望有更多的培训和关于剥落的信息。这些重要方面需要研究人员和工具开发人员的关注。
2022-04-08 cs.SE
Automating Detection and Root-Cause Analysis of Flaky Tests in Quantum Software
本文提出利用LLMs自动化检测量子软件中的故障测试并识别其根本原因,通过扩展数据集和评估模型性能,展示了LLMs在提升量子软件测试可靠性方面的潜力。
2026-03-09 cs.AI cs.ET cs.SE
Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis
Toronto Metropolitan University(多伦多都会大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本研究针对量子软件中不稳定测试的检测难题,构建基于transformers与余弦相似度的自动化检测框架,扩充54%的不稳定测试数据集,验证了LLM的检测效果并指出根因识别的提升方向。
2024-10-31 cs.AI cs.SE
The Vocabulary of Flaky Tests in Swift
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学信息学院);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本研究首次针对 Swift 语言评估基于词汇的机器学习不稳定测试预测,通过 15 个开源项目数据训练分类器,随机森林达到最优性能(F1=0.86),并揭示并发与同步词汇是主要不稳定信号,同时指出词汇预测的固有局限。
2026-09-25 cs.SE
Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems
University of Ottawa(渥太华大学)
本文实证研究了自动驾驶系统仿真测试中的不稳定性,发现其普遍存在并显著影响随机化测试结果,并提出仅需单次运行的机器学习分类器,在三个测试设置中分别取得85%、82%和96%的F1分数,显著优于需多次重跑的非ML基线。
2023-11-30 cs.AI cs.SE
A Systematic Evaluation of Environmental Flakiness in JavaScript Tests
Massey University(梅西大学);Victoria University of Wellington(惠灵顿维多利亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对JavaScript测试中环境因素导致的刺鼻性问题,提出js-env-sanitizer工具,通过跳过和报告刺鼻测试以提高CI构建效率。
2026-02-22 cs.SE
What is the Vocabulary of Flaky Tests? An Extended Replication
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦技术大学)
由于自动化测试的广泛采用,软件系统一直在不断发展并以高质量交付。一个经常出现的问题是,存在非确定性测试,一个可能通过或失败的测试用例。一个有希望的,但缺乏更多经验证据的方法是收集自动化测试的静态数据,并使用它们来预测它们的脆弱性。在本文中,我们进行了一项实证研究,以评估使用代码标识符来预测测试片状。为了做到这一点,我们首先复制了Pinto等人以前研究的大部分内容。(MSR~2020年)。通过使用不同的ML Python平台(Scikit-learn)并在分析中添加不同的学习算法来扩展这种复制。然后,我们使用来自不同项目的数据集和其他测试来验证训练模型的性能。我们成功地重复了Pinto等人的结果。(2020),使用Scikit-learn时略有差异;不同算法的性能与之前使用的算法相似。关于验证,我们注意到训练模型的召回率较小,分类器呈现出不同范围的下降。这在项目内和项目间的测试片状预测中都观察到。
2021-03-23 cs.AI cs.SE
Empirical Analysis of Factors and their Effect on Test Flakiness - Practitioners' Perceptions
开发人员总是希望确保他们对代码库的最新更改不会破坏现有功能。如果测试用例失败,他们希望这些失败与提交的变更有关。不幸的是,重复测试可能是测试失败的原因。开发人员花时间将可能的测试失败与提交的更改联系起来,结果发现这些失败的原因是测试不稳定。识别真正的失败还是测试失败的两难境地影响了开发人员对什么是测试脆弱性的看法。先前对测试片状性的研究仅限于测试气味和检测测试片状性的工具。在本文中,我们进行了多个案例研究,在斯堪的纳维亚半岛的四个不同的行业,以了解从业者的看法,测试片状和这是如何不同的行业。我们观察到,在从业者如何看待测试片状性方面几乎没有差异。我们确定了23个因素,被认为是影响测试片状。这些感知的因素分为1)软件测试质量,2)软件质量,3)实际Flaky测试和4)公司特定的因素。我们已经研究了影响的性质,如因素是否增加,减少或影响检测测试片状的能力。我们与4家公司的不同参与者验证了我们的研究结果,以避免偏见。被试对所识别的影响因素及其影响的平均一致率分别为86%和86%。
2019-06-03 cs.SE
Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA
本研究基于SAP HANA的12周测试数据开展实证分析,发现测试执行时长与不稳定率强正相关,提出拆分长时测试可缓解测试不稳定,但需考虑拆分的设置开销。
2024-09-16 cs.SE
A Large Language Model Approach to Identify Flakiness in C++ Projects
本文提出一种基于大语言模型的方法,通过微调 Mistral-7b、Llama2-7b 和 CodeLlama-7b 模型,在代码层面识别 C++ 项目中不稳定测试的根本原因,实验表明 Mistral-7b 性能最优,为高效调试不稳定测试提供了新途径。
2025-06-05 cs.SE
On the Flakiness of LLM-Generated Tests for Industrial and Open-Source Database Management Systems
Heidelberg University(海德堡大学);SAP;University of Mannheim(曼海姆大学)
研究发现LLM生成的测试在工业和开源数据库管理系统中存在不稳定性问题,主要源于对不确定顺序的依赖,并强调了为LLM提供定制上下文的重要性。
2026-01-13 cs.SE
Cross-Project Flakiness: A Case Study of the OpenStack Ecosystem
Kyushu University(九州大学);Tianjin University(天津大学);University of Waterloo(滑铁卢大学);Shinshu University(信州大学)
通过分析OpenStack生态系统中649个项目,研究跨项目脆弱性(影响多个项目的脆弱测试)和不一致脆弱性(测试在某些项目中脆弱而在其他项目中稳定)的现象,发现跨项目脆弱性影响55%的项目,并显著增加审查时间和计算成本,单元测试中70%表现出跨项目脆弱性,主要原因为CI中的竞态条件、不一致的构建配置和依赖不匹配。
2026-05-28 cs.SE