On the Flakiness of LLM-Generated Tests for Industrial and Open-Source Database Management Systems
Heidelberg University(海德堡大学);SAP;University of Mannheim(曼海姆大学)
研究发现LLM生成的测试在工业和开源数据库管理系统中存在不稳定性问题,主要源于对不确定顺序的依赖,并强调了为LLM提供定制上下文的重要性。
2026-01-13 cs.SE
A Survey on How Test Flakiness Affects Developers and What Support They Need To Address It
非确定性地通过和失败的测试用例,即所谓的非确定性测试,近年来已成为软件工程研究的一个热点领域。虽然这一研究重点已经得到了一些行业的热情认可,但以前的工作主要是通过挖掘软件存储库使用以代码为中心的方法来研究片状。然而,从软件仓库中提取的数据无法告诉我们开发人员如何看待漏洞:测试漏洞在开发人员的日常工作中有多普遍,它如何影响他们,最重要的是:他们希望我们研究人员做些什么?为了回答这些问题,我们调查了335名不同领域的专业软件开发人员和测试人员。调查对象确认,艾滋病毒检测是一个普遍而严重的问题,从而加强了正在进行的艾滋病毒检测研究。开发人员不太担心重新运行测试所导致的计算成本,而更多地担心对测试结果的信任丧失。因此,他们希望有IDE插件来检测测试代码,并对问题进行更好的可视化,特别是显示测试结果的仪表板;他们还希望有更多的培训和关于剥落的信息。这些重要方面需要研究人员和工具开发人员的关注。
2022-04-08 cs.SE
Test Flakiness' Causes, Detection, Impact and Responses: A Multivocal Review
片状测试(具有非确定性结果的测试)对软件测试提出了重大挑战。众所周知,它们会导致重大问题,例如降低测试的有效性和效率以及延迟软件发布。近年来,人们对片状测试越来越感兴趣,研究集中在片状的不同方面,例如确定原因,检测方法和缓解策略。测试不稳定性也成为从业者的一个关键讨论点(在博客文章、技术杂志等中)。因为整个行业都感受到了测试的影响。本文提出了一个多角度的审查,调查如何测试,作为一个主题,已在研究和实践中解决。我们总共涵盖了651篇文章(560篇学术文章和91篇灰色文献文章/帖子),并使用四个不同的维度构建了相关研究和知识的主体:原因,检测,影响和反应。对于每一个维度,我们都提供了一个分类,并对现有的研究、讨论、方法和工具进行了分类。有了这个,我们提供了一个全面的和当前的快照现有的想法测试片状,涵盖学术观点和工业实践,并确定限制和机会,为未来的研究。
2022-12-01 cs.SE
A Qualitative Study on the Sources, Impacts, and Mitigation Strategies of Flaky Tests
测试片状形成一个主要的测试问题。不完整的测试会显示出不确定的结果,这会削弱持续集成,并导致开发人员调查错误警报。工业报告表明,在大规模上,重复测试的增加破坏了对测试套件的信任,并带来了显着的计算成本。为了缓解这一问题,从业人员不得不确定风险测试并调查其影响。为了阐明这种缓解机制,我们采访了14位从业者,旨在确定(i)测试生态系统中的片状来源,(ii)片状的影响,(iii)从业者在解决片状时采取的措施,以及(iv)这些措施的自动化机会。我们的分析表明,除了测试和代码之外,脆弱性还源于系统组件、测试基础设施和外部因素之间的交互。我们还强调了片状对测试实践和产品质量的影响,并表明采用指导方针以及稳定的基础设施是缓解问题的关键措施。
2021-12-09 cs.SE
Systemic Flakiness: An Empirical Analysis of Co-Occurring Flaky Test Failures
本研究通过经验分析发现脆弱测试失败常以集群形式共现(系统性脆弱性),提出基于静态距离的机器学习轻量识别方法,主要原因为网络与外部依赖不稳定。
2025-04-23 cs.SE
A Systematic Evaluation of Environmental Flakiness in JavaScript Tests
Massey University(梅西大学);Victoria University of Wellington(惠灵顿维多利亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对JavaScript测试中环境因素导致的刺鼻性问题,提出js-env-sanitizer工具,通过跳过和报告刺鼻测试以提高CI构建效率。
2026-02-22 cs.SE
Taming Timeout Flakiness: An Empirical Study of SAP HANA
本文实证研究了SAP HANA系统测试中测试超时对脆弱性的影响,发现超时占脆弱失败的70%,并提出超时优化方法,将超时相关脆弱失败减少80%,同时降低25%的中位超时值。
2024-09-28 cs.SE
On the Use of Mutation in Injecting Test Order-Dependency
背景:测试片状性被认为是影响复杂软件系统回归测试过程的一个主要问题。不稳定的测试会表现出不确定的行为,向开发人员发送令人困惑的信号,并破坏他们对测试套件的信任。工业报告和研究都强调了片状性对软件质量和开发人员生产力的负面影响。虽然研究人员努力设计可以帮助开发人员解决测试片状问题的解决方案,但由于缺乏足够大的数据集来利用学习技术,这些解决方案的详细说明和评估受到阻碍。目的:为了解决这一问题,我们进行了一项探索性研究,探讨了一种新的方法来生产数据集的测试。方法:我们提出了一种方法,依赖于程序变异注入flakiness在软件测试。特别是,我们计划从测试中删除辅助语句,使其结果依赖于顺序,即,在某些运行命令中通过,但在其他命令中失败。我们打算将我们的基于变异的方法应用到一组14个Java项目中,以评估测试变异在注入顺序依赖性方面的有效性,并生成一个可用于研究片状的新数据集。
2021-04-15 cs.SE
An Empirical Study of Flaky Tests in Python
在没有任何代码更改的情况下导致虚假故障的测试,即,干扰测试,妨碍回归测试,增加维护成本,可能会隐藏真正的bug,并降低对测试的信任。虽然片状的普遍性和重要性已经得到了很好的证实,但之前的研究主要集中在Java项目上,因此提出了如何推广研究结果的问题。为了提供一个更好的理解,在软件开发中的作用,超越Java的,我们实证研究的流行,原因,和在Python,目前最流行的程序设计语言编写的软件中的flakiness程度。为此,我们从流行的PyPI包索引中抽取了22352个开源项目,并分析了它们的876186个测试用例。我们的调查表明,flakiness在Python中和在Java中一样普遍。然而,原因是不同的:顺序依赖是Python中一个更主要的问题,在我们的数据集中,7571个重复测试中有59%是由顺序依赖引起的。另外28%是由测试基础设施问题引起的,这是以前没有记录的片状原因。剩下的13%主要归因于项目对网络和随机性API的使用,这表明了通常用Python编写的软件类型。我们的数据还表明,找到可重复测试需要比文献中经常做的更多的运行:一个通过测试的案例平均不重复的95%的置信度将需要170次重新运行。
2021-01-22 cs.SE
Do Automatic Test Generation Tools Generate Flaky Tests?
本研究针对自动测试生成工具产生不稳定测试的普遍性与特性尚不明确的问题,通过对数千个Java、Python项目用对应工具生成测试并多次执行,发现生成测试的不稳定性普遍,现有抑制机制可有效缓解,且成因与开发者编写的测试存在差异,为工具改进和相关研究提供基础。
2023-10-08 cs.SE
Understanding Flaky Tests: The Developer's Perspective
Flaky测试是在对相同的代码运行时显示出看似随机的结果(通过或失败)的软件测试。以前的工作已经检查了修复的重复测试,并提出了自动化的解决方案,以定位和修复重复测试-我们通过检查软件开发人员对这种现象的性质,相关性和挑战的看法来补充它。我们要求21名专业开发人员对他们之前修复的200个测试进行分类,根据片状的性质,片状的起源和修复工作。我们用有关固定策略的信息来补充这一分析。随后,我们对121名开发人员进行了在线调查,这些开发人员的工业编程经验中位数为5年。我们的研究表明:这种不稳定性是由于几种不同的原因造成的,其中四种以前从未被报道过,尽管这是修复成本最高的;不稳定性被绝大多数开发人员认为是重要的,不管他们的团队的规模和项目的领域如何,它会对资源分配、调度和测试套件的感知可靠性产生影响;开发人员报告面临的挑战主要是复制剥落行为和识别剥落的原因。数据和材料[https://doi.org/10.5281/zenodo.3265785]。
2019-07-02 cs.SE
Automated flakiness detection in quantum software bug reports
针对量子软件领域缺乏不稳定测试相关研究的问题,本文梳理了量子软件错误报告中不稳定测试自动检测的挑战与潜在方案,呼吁学界关注并协作解决该新兴问题。
2024-08-09 cs.SE
What Made This Test Flake? Pinpointing Classes Responsible for Test Flakiness
Flaky测试被定义为通过对同一版本的代码间歇性地通过和失败来表现非确定性行为的测试。这些测试通过错误的警报削弱了持续集成,浪费了开发人员的时间,破坏了他们对回归测试的信任。为了减轻片状的影响,研究人员和工业专家都提出了检测和隔离片状测试的策略和工具。然而,由于开发人员难以本地化和理解其原因,因此很少修复故障测试。此外,使用大型代码库的开发人员通常需要知道非确定性的来源以保持代码质量,即,避免引入与不确定性行为有关的技术债务,并避免引入新的风险测试。为了帮助完成这些任务,我们提出了将故障定位技术重新定位到故障组件定位问题,即,精确定位导致测试不确定性行为的程序类。特别是,我们采用基于频谱的故障定位(SBFL),一种基于覆盖的故障定位技术,通常采用其简单性和有效性。我们还利用其他数据源,如更改历史和静态代码指标,以进一步改善本地化。我们的研究结果表明,增加SBFL的变化和代码指标排名前1和前5名的建议,在26%和47%的情况下,类。总的来说,我们成功地减少了平均数量的类检查,以找到第一个类的19%的类覆盖的类测试。我们的研究结果还表明,本地化的方法是有效的主要片状类别,如并发和异步等待,表明他们的一般能力,以确定分布式组件。
2022-07-20 cs.SE
Flaky Tests in a Large Industrial Database Management System: An Empirical Study of Fixed Issue Reports for SAP HANA
Heidelberg University(海德堡大学);SAP
本研究通过分析SAP HANA的问题报告,发现并发问题是最常见的测试不稳定性原因,并提出利用LLMs进行标记的方法以提高测试稳定性分析的效率。
2026-02-03 cs.SE
Debugging Flaky Tests using Spectrum-based Fault Localization
本文提出SFFL,一种基于频谱的故障定位扩展,利用不稳定测试的覆盖变化特征,在101个Python不稳定测试上平均将故障定位到代码库的3.5%,比传统SFL提升18.7%。
2023-05-08 cs.SE
Identifying Flakiness in Quantum Programs
本文通过分析 14 个量子软件仓库,识别出 12 个仓库中的 flaky tests,归纳其成因与修复方法,并指出量子程序员尚未充分采用现有应对措施,为研究和实践提供定量依据。
2023-07-07 cs.SE
A Large Language Model Approach to Identify Flakiness in C++ Projects
本文提出一种基于大语言模型的方法,通过微调 Mistral-7b、Llama2-7b 和 CodeLlama-7b 模型,在代码层面识别 C++ 项目中不稳定测试的根本原因,实验表明 Mistral-7b 性能最优,为高效调试不稳定测试提供了新途径。
2025-06-05 cs.SE
JS-TOD: Detecting Order-Dependent Flaky Tests in Jest
本文提出 JS-TOD 工具,通过系统化随机重排并重复运行 Jest 测试、测试套件和 describe 块,检测依赖执行顺序的不稳定测试,并识别出共享文件与共享 mocking 状态两类主要成因。
2025-08-30 cs.SE
An Empirical Study of Flaky Tests in JavaScript
片状测试(具有非确定性结果的测试)可能会对测试效率和软件可靠性造成问题。测试套件中的零散测试也会显著延迟软件发布。已经有几项研究试图量化不同程序设计语言中测试片状性的影响(例如,Java和Python)和应用程序域(例如,移动和基于GUI)。本文对JavaScript中的JavaScript测试状态进行了实证研究。我们从两个方面研究了JavaScript项目中的重复测试:这些项目中重复测试的主要原因和常见的修复策略。通过分析来自GitHub的大型、得分最高的JavaScript项目的452次提交,我们发现并发相关问题(例如,等待、竞争条件或死锁)是测试不稳定的最主要原因。其他导致重复测试的主要原因是特定于操作系统的(例如,在特定OS或OS版本上工作的特征)和网络稳定性(例如,因特网可用性或不良套接字管理)。就如何处理恶意测试而言,大多数恶意测试(>80%)都是固定的,以消除恶意行为,开发人员有时会跳过,隔离或删除恶意测试。
2022-07-03 cs.SE
Practical Flaky Test Prediction using Common Code Evolution and Test History Data
非确定性行为的测试用例会导致开发人员对他们的回归测试套件失去信任,并最终忽略失败。因此,检测漏洞测试是维护代码质量的一项关键任务,因为它为任何形式的系统响应建立了必要的基础,例如测试验证或自动调试。以前的研究已经提出了各种方法来检测flakiness,但当试图在工业环境中部署这些方法时,它们对仪器,测试重新运行或特定于语言的工件的依赖是令人望而却步的。因此,在本文中,我们调查的预测,没有这样的要求,底层的程序设计语言,CI,构建或测试执行框架的测试。相反,我们只依赖于最常用的工件,即测试的结果和持续时间,以及关于代码演变的基本信息,来构建能够检测脆弱性的预测模型。此外,我们的方法不需要额外的重新运行,因为它从现有的测试执行中收集这些数据。我们根据建议的功能训练了几个已建立的分类器,并在一个大型工业软件系统上评估了它们的性能,从中我们收集了100个测试和100个非测试和代码历史的数据集。最好的模型仅使用3个特征就能够达到95.5%的F1分数:测试的翻转率,过去54天内对源文件的更改数量,以及最近一次拉取请求中更改的文件数量。
2023-03-18 cs.SE
Flaky Test Sanitisation via On-the-Fly Assumption Inference for Tests with Network Dependencies
不完整的测试会导致严重的问题,因为它们会中断依赖于所有测试成功的自动构建过程,并破坏测试的可信度。已经确定了许多导致测试剥落的原因,并且存在程序分析来检测这样的测试。通常,这些方法为开发人员提供关于如何重构测试以使测试结果具有确定性的建议。我们认为,一个来源的flakiness是缺乏假设,准确地描述在何种情况下测试是有意义的。我们设计了一个消毒技术,可以隔离flaky测试快速推断这样的假设上飞,允许自动构建继续作为flaky测试被忽略。我们证明了这种方法的Java和Groovy程序实现它作为扩展的三个流行的测试框架(JUnit4,JUnit5和Spock),可以透明地注入推断的假设。如果使用JUnit5,则可以部署这些扩展,而无需重构项目源代码。我们演示和评估我们的方法的效用,使用一组六个流行的现实世界的程序,解决已知的测试片状问题,在这些程序中所造成的依赖于网络可用性的测试。我们发现,我们的方法有效地消毒引起的网络连接问题的高精度和召回故障。
2022-08-01 cs.SE
Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis
Toronto Metropolitan University(多伦多都会大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本研究针对量子软件中不稳定测试的检测难题,构建基于transformers与余弦相似度的自动化检测框架,扩充54%的不稳定测试数据集,验证了LLM的检测效果并指出根因识别的提升方向。
2024-10-31 cs.AI cs.SE
How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection
Heidelberg University(海德堡大学);Northeastern University(东北大学);SAP
研究基于代码检测不稳定测试的局限性,分析发现常用基准测试有捷径、评估协议夸大通用性。整理C-IDoFT和CI日志数据集,重新构建不稳定预测,围绕观察到的失败及执行环境下测试失败可能性展开,数据集和挖掘方法支持此方向。
2026-07-13 cs.SE
The Vocabulary of Flaky Tests in Swift
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学信息学院);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本研究首次针对 Swift 语言评估基于词汇的机器学习不稳定测试预测,通过 15 个开源项目数据训练分类器,随机森林达到最优性能(F1=0.86),并揭示并发与同步词汇是主要不稳定信号,同时指出词汇预测的固有局限。
2026-09-25 cs.SE
WEFix: Intelligent Automatic Generation of Explicit Waits for Efficient Web End-to-End Flaky Tests
本文提出 WEFix,通过浏览器 UI 变化预测客户端代码执行并自动生成显式等待预言,以修复 Web 端到端测试中的 UI 型不稳定问题,实验显示其正确率达 98%,开销由 3.7× 降至 1.25×。
2024-02-15 cs.SE
On the use of test smells for prediction of flaky tests
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦理工大学)
回归测试是交付高质量软件的一个重要阶段。然而,重复测试妨碍了测试结果的评估,并可能增加成本。这是因为一个测试集可能通过或失败,这是不确定的,并且为了正确地识别测试的脆弱性,需要多次重新运行测试集。为了应对这一挑战,已经提出了基于预测模型和机器学习的方法。现有的方法的基础上使用的测试用例词汇可能是上下文敏感的,容易过拟合,表现出较低的性能时,在跨项目的情况下执行。为了克服这些局限性,我们调查使用测试气味作为预测的气味测试。我们进行了一项实证研究,以了解测试气味是否具有良好的性能,作为一个分类器,以预测在跨项目的情况下,片状,并分析了每个测试气味的信息增益。我们还比较了基于测试气味的方法和基于词汇的方法。因此,我们获得了一个分类器,具有合理的性能(随机森林,0.83),以预测在测试阶段的片状。该分类器在跨项目预测中表现出比基于词汇的模型更好的性能。断言轮盘赌和睡眠测试气味类型是与最佳信息增益值相关的气味类型。
2021-09-14 cs.LG cs.SE
What is the Vocabulary of Flaky Tests? An Extended Replication
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦技术大学)
由于自动化测试的广泛采用,软件系统一直在不断发展并以高质量交付。一个经常出现的问题是,存在非确定性测试,一个可能通过或失败的测试用例。一个有希望的,但缺乏更多经验证据的方法是收集自动化测试的静态数据,并使用它们来预测它们的脆弱性。在本文中,我们进行了一项实证研究,以评估使用代码标识符来预测测试片状。为了做到这一点,我们首先复制了Pinto等人以前研究的大部分内容。(MSR~2020年)。通过使用不同的ML Python平台(Scikit-learn)并在分析中添加不同的学习算法来扩展这种复制。然后,我们使用来自不同项目的数据集和其他测试来验证训练模型的性能。我们成功地重复了Pinto等人的结果。(2020),使用Scikit-learn时略有差异;不同算法的性能与之前使用的算法相似。关于验证,我们注意到训练模型的召回率较小,分类器呈现出不同范围的下降。这在项目内和项目间的测试片状预测中都观察到。
2021-03-23 cs.AI cs.SE
FlakyFix: Using Large Language Models for Predicting Flaky Test Fix Categories and Test Code Repair
School of EECS, University of Ottawa(渥太华大学电子工程与计算机科学学院);York University(约克大学);University of Limerick(利默里克大学)
针对不稳定测试修复支持不足的问题,提出FlakyFix框架,先预测13类测试自身导致的不稳定测试的修复类别,再将该信息加入GPT-3.5 Turbo提示词引导修复,显著提升修复效果,预计51%-83%的修复可通过测试。
2024-08-30 cs.AI cs.LG cs.SE
A Large-Scale Dynamic Characterization of Flaky Tests in Quantum Software: The Qiskit Terra Case Study
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Toronto Metropolitan University(多伦多都会大学)
本文通过大规模动态分析量子软件中的不稳定性问题,发现尽管整体不稳定性率较低,但某些测试在多个版本中反复出现,需大量执行才能可靠检测。
2026-06-05 cs.SE
Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems
University of Ottawa(渥太华大学)
本文实证研究了自动驾驶系统仿真测试中的不稳定性,发现其普遍存在并显著影响随机化测试结果,并提出仅需单次运行的机器学习分类器,在三个测试设置中分别取得85%、82%和96%的F1分数,显著优于需多次重跑的非ML基线。
2023-11-30 cs.AI cs.SE
Automating Detection and Root-Cause Analysis of Flaky Tests in Quantum Software
本文提出利用LLMs自动化检测量子软件中的故障测试并识别其根本原因,通过扩展数据集和评估模型性能,展示了LLMs在提升量子软件测试可靠性方面的潜力。
2026-03-09 cs.AI cs.ET cs.SE
Predicting Flaky Tests Categories using Few-Shot Learning
Flaky测试是在同一版本的程序上运行时产生不同结果的测试。这种不确定性行为会给持续集成带来错误信号,浪费开发人员的时间,降低他们对测试套件的信任。研究强调了保持测试无剥落的重要性。近年来,研究界提出了许多静态和动态的方法来推进对伪测试的检测。虽然有希望,但这些方法主要集中在将测试分类为合格或不合格,即使报告了高性能,理解片状的原因仍然具有挑战性。这一部分对于旨在解决它的研究人员和开发人员至关重要。为了帮助理解给定的故障测试,我们提出了FlakyCat,这是第一种基于根本原因类别对故障测试进行分类的方法。FlakyCat依赖于CodeBERT进行代码表示,并利用基于Siamese网络的少样本学习方法来训练具有少量数据的多类分类器。我们对FlakyCat进行了训练,并在一组从开源Java项目中收集的343项测试中对FlakyCat进行了评估。我们的评估表明,FlakyCat准确地对重复测试进行分类,加权F1得分为70%。此外,我们研究了我们的方法对每个类别的性能,揭示了异步等待,无序收集和时间相关的测试是准确分类,而并发相关的测试是更具有挑战性的预测。最后,为了便于理解FlakyCat的预测,我们提出了一种新的技术CodeBERT为基础的模型的可解释性,突出代码语句影响的分类。
2022-08-31 cs.SE
Assessing the Feasibility of Selective Instrumentation for Runtime Code Coverage in Large C++ Game Engines
ASGAARD Lab, University of Alberta(阿尔伯塔大学 ASGAARD 实验室);Ubisoft La Forge(育碧拉福尔奇)
本文提出了一种针对大型C++游戏引擎的有选择性仪器化方法,以实现低开销的代码覆盖率,同时保持测试稳定性。
2026-01-23 cs.SE
Detecting and Evaluating Order-Dependent Flaky Tests in JavaScript
本文针对 JavaScript 项目中 Jest 测试框架的顺序依赖型不稳定测试,提出系统化随机化重排检测方法,在 81 个项目中识别出 55 个顺序依赖型测试,并发现共享模拟状态这一新成因。
2025-01-22 cs.SE
Android Instrumentation Testing in Continuous Integration: Practices, Patterns, and Performance
University of Toronto(多伦多大学);Trent University(特伦特大学)
研究Android持续集成中仪器测试的实践、模式及性能,发现仅10.6%的仓库使用仪器测试,常用社区组件或自定义脚本设置模拟器,不同设置方式在可靠性、效率和成本上有差异。
2026-04-03 cs.SE
MUZZ: Thread-aware Grey-box Fuzzing for Effective Bug Hunting in Multithreaded Programs
灰盒模糊测试由于其轻量级的测试工具、快速的覆盖反馈和动态调整策略,已经揭示了真实世界软件中成千上万的漏洞。然而,直接将灰盒模糊应用于依赖于输入的多线程程序可能效率极低。在实践中,多线程相关的错误通常隐藏在复杂的程序流中。同时,现有的灰盒模糊技术没有强调线程交织影响多线程程序的执行状态。因此,主流的灰盒模糊器不能有效地测试多线程程序中的问题段,尽管他们可能会获得高的代码覆盖率统计。为此,我们提出MUZZ,一个新的灰盒模糊技术,在多线程程序中的错误狩猎。MUZZ拥有三种新颖的线程感知插装,即面向覆盖插装、线程上下文插装和调度干预插装。在模糊化过程中,这些工具产生运行时反馈,以强调线程交织引起的执行状态。通过利用动态种子选择和执行策略中的反馈,MUZZ保留了更多有价值的种子,这些种子在多线程上下文中暴露了错误。我们在12个真实世界的软件程序上评估MUZZ。实验表明,MUZZ在多线程相关种子生成和并发漏洞检测方面优于AFL。此外,通过针对生成的种子重放目标程序,MUZZ还揭示了更多的并发错误(例如,数据竞争,线程泄漏)比AFL。MUZZ总共检测到8个新的并发漏洞和19个新的并发错误。在撰写本文时,已为报告的问题分配了4个CVE ID。
2020-07-31 cs.SE
Using Dynamic Binary Instrumentation to Detect Failures in Robotics Software
自动化和机器人系统(ARS)广泛、复杂,并且越来越多地与公众接触。这些系统中的许多都是安全关键型的,检测软件错误以防止损害至关重要。我们提出了一个家庭的新技术来检测不寻常的程序执行和不正确的程序行为。我们通过在运行时间收集低级信号并使用这些信号构建机器学习模型来对执行行为进行建模。这些模型可以识别以前看不见的执行,这些执行更有可能出现错误。我们描述了一个易于处理的方法收集动态二进制运行时信号的ARS,允许系统吸收大部分的开销从动态仪器。ARS的体系结构特别适合于隐藏插装的开销。我们在ARDUPILOT(一种流行的开源自动驾驶软件系统)和HUSKY(一种无人驾驶地面车辆)的仿真中展示了这些方法的效率。我们对执行进行检测,以收集数据,并从中构建执行的监督机器学习模型,并评估这些模型的准确性。我们还分析了开发具有不同准确度的模型所需的训练数据量,测量使用分析工具的执行所增加的开销,并分析哪些运行时信号对于检测被测程序上的异常行为最有用。此外,我们还分析了时间延迟对ARS功能行为的影响。
2022-01-29 cs.SE
spotFuzzer: Static Instrument and Fuzzing Windows COTs
Windows系统的安全性研究在学术界还没有引起足够的重视。这些新方法大多是针对Linux系统设计的,很难移植到Windows系统。Fuzzing for Windows程序总是遭受其封闭源代码。因此,我们需要找到一种合适的方法来实现Windows程序的反馈。据我们所知,目前还没有针对Windows的稳定且可扩展的静态插装工具,而DynamoRIO等动态工具的性能一直受到批评。更糟糕的是,动态插装工具的使用场景非常有限,对于许多系统服务或大型商业软件来说是无能为力的。在本文中,我们提出了spotInstr,一种新的静态工具,用于检测Windows二进制文件。它是轻量级的,可以在很短的时间内检测大多数Windows PE程序。同时,spotInstr提供了一组过滤器,可用于选择检测点或限制目标区域。基于这些过滤器,我们提出了一种新的内存敏感的仪器方法,可以加快仪器和模糊。在此基础上,我们设计了一个系统spotFuzzer,它利用spotInstr的功能,可以模糊大多数Windows二进制文件。我们对spotInstr和spotFuzzer进行了多方面的测试,以展示其卓越的性能和稳定性。
2022-01-20 cs.SE
HDR-Fuzz: Detecting Buffer Overruns using AddressSanitizer Instrumentation and Fuzzing
缓冲区溢出是软件库和应用程序中普遍存在的漏洞。模糊测试是检测漏洞的有效技术之一。灰盒模糊器,如AFL自动生成一个序列的测试输入一个给定的程序使用健身指导搜索过程。文献中最近提出的方法引入了一种称为“净空”的缓冲区溢出特定适应性度量,该度量跟踪每个生成的测试输入与暴露漏洞的接近程度。这种方法显示了良好的初始承诺,但由于其依赖于保守的点到分析,因此有些不精确和昂贵。受上述方法的启发,在本文中,我们提出了一种新的自上而下的方法来检测缓冲区溢出漏洞。这种方法使用与模糊器并行运行的ASAN(地址消毒器)的扩展版本,并向模糊器报告恰好更接近暴露缓冲区溢出漏洞的测试输入。ASAN风格的插装是精确的,因为它不依赖于指向分析。在本文中,我们描述了我们的方法,以及实施和评估的方法。
2021-04-21 cs.SE cs.SY eess.SY
Fault Detection in C Programs using Monitoring of Range Values: Preliminary Results
本技术报告介绍了作为AutoSeer项目一部分所做的工作。我们在这个项目中的工作是开发一个源代码到源代码的编译器,MANET,为C语言,可用于仪器的关键部分的应用程序进行测试。其目的是使用LARA提供的面向汇编的方法来指导汇编流程并定义插装策略。这允许分离原始目标应用程序和检测次要关注点。这项工作的目标之一是开发一个源代码到源代码的C编译器,根据输入策略修改代码。这些修改可以提供针对性能和调试工具的代码转换,但在本工作中,它们用于注入代码,收集有关某些变量在运行时所取值的信息。这个编译器由AOP方法支持,该方法支持插装策略的定义。我们决定扩展现有的源到源编译器Cetus,并将其与LARA耦合,LARA是一种从目标程序设计语言中部分抽象出来的AOP语言。我们提出并评估了一种方法来检测故障的C程序通过监视变量的范围值。我们考虑各种监控策略,并使用两个实际应用程序,GZIP文件压缩器和ABS,由工业合作伙伴提供的程序。LARA中规定了不同的策略,并使用MANET自动应用。实验结果表明,我们的方法有潜力,但阻碍了不占数组和控制变量中的值。当将我们的方法与更传统的方法(将输出与预期结果进行比较)进行比较时,我们对ABS的预测准确率约为54%,对GZIP的预测准确率约为83%。
2015-05-07 cs.SE
Software Testing Meets Bayesian Workflow: A Literature-Driven Artifact Study of Probabilistic Programs
本研究结合软件测试与贝叶斯工作流,从《Statistical Rethinking》提取17种概率模型可测试属性,实现测试预言机并以59个模型验证,发现多数测试稳定,且标准变异算子无法捕获概率属性追踪的故障。
2026-10-14 cs.SE
Dynamic Taint Tracking using Partial Instrumentation for Java Applications
针对Java应用动态污点跟踪的运行时开销问题,提出方法级部分插桩策略,通过PetaBlox静态分析确定源汇范围内方法,结合修改的Phosphor实现插桩,在Dacapo基准测试中较完全插桩版本性能显著提升。
2024-11-28 cs.CR cs.PL cs.SE
Integration-First Structural Coverage for Embedded Software:Trace-Based Evidence, Hybrid Runtime Analysis, and Cross-Variant Consolidation
accemic
针对嵌入式软件结构覆盖仅在单元级收集的不匹配问题,提出优先集成的覆盖策略,结合混合运行时分析(hRA)实现类发行版二进制的覆盖测量,通过Hyper Coverage整合多维度证据,定位未测试源码行。
2026-08-14 cs.SE
Targeted Greybox Fuzzing with Static Lookahead Analysis
自动测试生成通常旨在生成输入,以探索被测程序中的新路径,从而发现bug。现有的工作,因此,集中在引导探索程序的部分,更有可能包含错误,通过使用离线静态分析。在本文中,我们介绍了一种新的技术,有针对性的灰盒模糊使用一个在线的静态分析,引导模糊对一组目标位置,例如,位于最近修改的部分程序。这是通过首先从语义上分析模糊器的测试套件中的输入所探索的每个程序路径来实现的。这个分析的结果然后被用来控制模糊器的专用功率调度,其确定从测试套件模糊输入的频率。我们通过为以太坊智能合约扩展最先进的工业模糊器来实现我们的技术,并在27个真实世界的基准测试中评估其有效性。使用在线分析特别适合智能合约领域,因为它不需要任何代码插装-插装到合约中会改变它们的语义。我们的实验表明,有针对性的模糊显着优于标准的灰盒模糊达到83%的挑战性目标位置(高达14倍的中位数加速)。
2019-05-17 cs.CR cs.SE