Systemic Flakiness: An Empirical Analysis of Co-Occurring Flaky Test Failures
本研究通过经验分析发现脆弱测试失败常以集群形式共现(系统性脆弱性),提出基于静态距离的机器学习轻量识别方法,主要原因为网络与外部依赖不稳定。
2025-04-23 cs.SE
JS-TOD: Detecting Order-Dependent Flaky Tests in Jest
本文提出 JS-TOD 工具,通过系统化随机重排并重复运行 Jest 测试、测试套件和 describe 块,检测依赖执行顺序的不稳定测试,并识别出共享文件与共享 mocking 状态两类主要成因。
2025-08-30 cs.SE
An Empirical Study of Flaky Tests in Python
在没有任何代码更改的情况下导致虚假故障的测试,即,干扰测试,妨碍回归测试,增加维护成本,可能会隐藏真正的bug,并降低对测试的信任。虽然片状的普遍性和重要性已经得到了很好的证实,但之前的研究主要集中在Java项目上,因此提出了如何推广研究结果的问题。为了提供一个更好的理解,在软件开发中的作用,超越Java的,我们实证研究的流行,原因,和在Python,目前最流行的程序设计语言编写的软件中的flakiness程度。为此,我们从流行的PyPI包索引中抽取了22352个开源项目,并分析了它们的876186个测试用例。我们的调查表明,flakiness在Python中和在Java中一样普遍。然而,原因是不同的:顺序依赖是Python中一个更主要的问题,在我们的数据集中,7571个重复测试中有59%是由顺序依赖引起的。另外28%是由测试基础设施问题引起的,这是以前没有记录的片状原因。剩下的13%主要归因于项目对网络和随机性API的使用,这表明了通常用Python编写的软件类型。我们的数据还表明,找到可重复测试需要比文献中经常做的更多的运行:一个通过测试的案例平均不重复的95%的置信度将需要170次重新运行。
2021-01-22 cs.SE
Understanding and Detecting Flaky Builds in GitHub Actions
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出基于机器学习的方法,用于检测GitHub Actions中不稳定构建,提升了F1分数20.3%。
2026-02-02 cs.SE
Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study
Heidelberg University(海德堡大学);University of Mannheim(曼海姆大学);SAP(思爱普)
本研究探讨了仅通过测试代码是否能有效分类不稳定测试,发现LLM在无额外上下文时表现有限,需进一步结合检索增强生成等方法提升泛化能力。
2026-02-05 cs.SE
Flaky Tests in a Large Industrial Database Management System: An Empirical Study of Fixed Issue Reports for SAP HANA
Heidelberg University(海德堡大学);SAP
本研究通过分析SAP HANA的问题报告,发现并发问题是最常见的测试不稳定性原因,并提出利用LLMs进行标记的方法以提高测试稳定性分析的效率。
2026-02-03 cs.SE
The Vocabulary of Flaky Tests in Swift
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学信息学院);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本研究首次针对 Swift 语言评估基于词汇的机器学习不稳定测试预测,通过 15 个开源项目数据训练分类器,随机森林达到最优性能(F1=0.86),并揭示并发与同步词汇是主要不稳定信号,同时指出词汇预测的固有局限。
2026-09-25 cs.SE
Flaky Test Recognition when Testing CPSs Using Hybrid Models
North Carolina State University(北卡罗来纳州立大学)
本研究在HyTest基础上整合TReVa与FlaRe形成HyTestTF,可在CPS开发早期阶段仅一轮额外测试中用混合模型识别不稳定测试用例与条件,实证显示其能正确区分不稳定与非不稳定测试用例
2026-08-10 cs.SE
Empirical Study of Restarted and Flaky Builds on Travis CI
持续集成(CI)是一种开发实践,开发人员经常将代码集成到公共代码库中。在代码被集成之后,CI服务器运行测试套件和其他工具以产生一组报告(例如,短绒和测试的输出)。如果CI测试运行的结果是意外的,开发人员可以选择手动重新启动构建,在相同的代码上重新运行相同的测试套件;如果重新启动的构建结果与原始构建不同,这可能会揭示构建的脆弱性。在这项研究中,我们分析了重新启动的构建,重新构建,以及它们对开发工作流的影响。我们观察到,开发人员至少重新启动了1.72%的构建,在我们的Travis CI数据集中共有56,522个重新启动的构建。我们观察到,更成熟和更复杂的项目更有可能包括重新启动的构建。重新启动的构建大多是最初由于测试、网络问题或Travis CI限制(如执行超时)而失败的构建。最后,我们观察到重新启动的构建对开发工作流有重大影响。事实上,在54.42%的重新启动的构建中,开发人员在最初失败的一个小时内分析并重新启动构建。这表明开发人员等待CI结果,中断他们的工作流程来解决问题。重新启动的构建也将合并拉取请求的速度降低了三倍,使合并时间的中位数从16小时降低到48小时。
2021-07-18 cs.SE
Taming Timeout Flakiness: An Empirical Study of SAP HANA
本文实证研究了SAP HANA系统测试中测试超时对脆弱性的影响,发现超时占脆弱失败的70%,并提出超时优化方法,将超时相关脆弱失败减少80%,同时降低25%的中位超时值。
2024-09-28 cs.SE
Evaluating Shaker for Flaky Test Detection in Python Projects
Centro de Informática Universidade Federal de Pernambuco(伯南布哥联邦大学计算机中心);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
首次实证评估 Shaker 在 Python 中的不稳定测试检测,发现其相对普通重执行无显著优势,并揭示跨环境重用真实数据集会降低工具召回率的风险。
2026-09-23 cs.SE
A Large-Scale Dynamic Characterization of Flaky Tests in Quantum Software: The Qiskit Terra Case Study
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Toronto Metropolitan University(多伦多都会大学)
本文通过大规模动态分析量子软件中的不稳定性问题,发现尽管整体不稳定性率较低,但某些测试在多个版本中反复出现,需大量执行才能可靠检测。
2026-06-05 cs.SE
An Empirical Study on README contents for JavaScript Packages
现代软件项目经常利用README.md来共享关键信息,例如与其软件相关的安装和使用示例。此外,这些文件也是软件开发人员和潜在用户更新和有用文档的重要来源。尽管如此,新手和经验丰富的开发人员有时都不确定一个好的README文件需要什么。为了理解README的内容,我们调查了43,900个JavaScript包的内容。结果表明,这些包包含共同的内容主题(即,使用、安装和许可证)。此外,我们发现特定于应用程序的包更频繁地包括诸如选项之类的内容主题,而基于库的包更频繁地包括其他特定的内容主题(即,安装和许可)。
2018-02-27 cs.SE
Characterizing Structural Testability in JavaScript: An Empirical Study
Motorola Solutions(摩托罗拉解决方案);Simon Fraser University(西蒙菲莎大学)
本文针对 JavaScript 结构可测试性展开大规模实证研究,定义七维结构并汇总为 CTS,应用于 30 个开源项目,分析其分布等,发现结构有挑战的函数集中在少量文件且通过多种重复配置出现,为相关研究奠定基础。
2026-07-29 cs.SE
Empirical Analysis of Factors and their Effect on Test Flakiness - Practitioners' Perceptions
开发人员总是希望确保他们对代码库的最新更改不会破坏现有功能。如果测试用例失败,他们希望这些失败与提交的变更有关。不幸的是,重复测试可能是测试失败的原因。开发人员花时间将可能的测试失败与提交的更改联系起来,结果发现这些失败的原因是测试不稳定。识别真正的失败还是测试失败的两难境地影响了开发人员对什么是测试脆弱性的看法。先前对测试片状性的研究仅限于测试气味和检测测试片状性的工具。在本文中,我们进行了多个案例研究,在斯堪的纳维亚半岛的四个不同的行业,以了解从业者的看法,测试片状和这是如何不同的行业。我们观察到,在从业者如何看待测试片状性方面几乎没有差异。我们确定了23个因素,被认为是影响测试片状。这些感知的因素分为1)软件测试质量,2)软件质量,3)实际Flaky测试和4)公司特定的因素。我们已经研究了影响的性质,如因素是否增加,减少或影响检测测试片状的能力。我们与4家公司的不同参与者验证了我们的研究结果,以避免偏见。被试对所识别的影响因素及其影响的平均一致率分别为86%和86%。
2019-06-03 cs.SE
What is the Vocabulary of Flaky Tests? An Extended Replication
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦技术大学)
由于自动化测试的广泛采用,软件系统一直在不断发展并以高质量交付。一个经常出现的问题是,存在非确定性测试,一个可能通过或失败的测试用例。一个有希望的,但缺乏更多经验证据的方法是收集自动化测试的静态数据,并使用它们来预测它们的脆弱性。在本文中,我们进行了一项实证研究,以评估使用代码标识符来预测测试片状。为了做到这一点,我们首先复制了Pinto等人以前研究的大部分内容。(MSR~2020年)。通过使用不同的ML Python平台(Scikit-learn)并在分析中添加不同的学习算法来扩展这种复制。然后,我们使用来自不同项目的数据集和其他测试来验证训练模型的性能。我们成功地重复了Pinto等人的结果。(2020),使用Scikit-learn时略有差异;不同算法的性能与之前使用的算法相似。关于验证,我们注意到训练模型的召回率较小,分类器呈现出不同范围的下降。这在项目内和项目间的测试片状预测中都观察到。
2021-03-23 cs.AI cs.SE
On the Impact of Micro-Packages: An Empirical Study of the npm JavaScript Ecosystem
用户贡献的开源软件(OSS)生态系统的兴起表明了它们在软件工程学科中的普遍性。图书馆通过在整个生态系统中相互依赖来共同工作。从这些生态系统中出现了一个最小化的库,称为微包。当一个关键的生态系统依赖性的中断对不知情的用户产生影响时,微包就成了问题.在本文中,我们研究了微包在npm JavaScript生态系统中的影响。具体来说,我们对169,964个JavaScript npm包进行了实证研究,以了解(i)微包的普遍现象,(ii)微包继承的大小依赖性以及(iii)开发人员使用成本(即,获取、安装、加载时间)。研究结果发现,微包构成了npm生态系统的重要组成部分。除了易于阅读和理解之外,我们还展示了一些微包具有很长的依赖链,并且与其他npm包一样会产生同样多的使用成本。我们设想,这项工作激发了开发人员意识到他们的第三方依赖关系对软件生态系统中的关键变化有多敏感的需求。
2017-09-14 cs.SE
JavaScript Dead Code Identification, Elimination, and Empirical Assessment
本研究提出 Lacuna 方法自动检测并消除 JavaScript 死代码,并通过实验证明其能改善移动 Web 应用加载时间并减少网络传输字节数。
2023-08-31 cs.SE
Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA
本研究基于SAP HANA的12周测试数据开展实证分析,发现测试执行时长与不稳定率强正相关,提出拆分长时测试可缓解测试不稳定,但需考虑拆分的设置开销。
2024-09-16 cs.SE
The Vocabulary of Flaky Tests in the Context of SAP HANA
Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学);SAP
本研究在SAP HANA背景下评估了基于源代码标识符识别易失败测试的方法,通过复现和改进现有技术,提高了识别准确率,但实际应用中仍受限。
2026-02-27 cs.SE
Automated Test Validators for Flaky Cyber-Physical System Simulators: Approach and Evaluation
University of Ottawa(渥太华大学);University of Michigan at Dearborn(密歇根大学迪尔伯恩分校)
本文提出使用测试验证器过滤无效测试输入,通过遗传编程和决策树生成方法,展示其在航空航天、网络和自动驾驶领域中的有效性,证明GP结合Ochiai方法在准确性上更具优势。
2026-04-16 cs.SE
On the use of test smells for prediction of flaky tests
Federal University of Paraná(巴拉那联邦大学);Federal University of Technology - Paraná(巴拉那联邦理工大学)
回归测试是交付高质量软件的一个重要阶段。然而,重复测试妨碍了测试结果的评估,并可能增加成本。这是因为一个测试集可能通过或失败,这是不确定的,并且为了正确地识别测试的脆弱性,需要多次重新运行测试集。为了应对这一挑战,已经提出了基于预测模型和机器学习的方法。现有的方法的基础上使用的测试用例词汇可能是上下文敏感的,容易过拟合,表现出较低的性能时,在跨项目的情况下执行。为了克服这些局限性,我们调查使用测试气味作为预测的气味测试。我们进行了一项实证研究,以了解测试气味是否具有良好的性能,作为一个分类器,以预测在跨项目的情况下,片状,并分析了每个测试气味的信息增益。我们还比较了基于测试气味的方法和基于词汇的方法。因此,我们获得了一个分类器,具有合理的性能(随机森林,0.83),以预测在测试阶段的片状。该分类器在跨项目预测中表现出比基于词汇的模型更好的性能。断言轮盘赌和睡眠测试气味类型是与最佳信息增益值相关的气味类型。
2021-09-14 cs.LG cs.SE
An Empirical Study of Large Language Models for Type and Call Graph Analysis in Python and JavaScript
实证评估24个LLM在Python和JavaScript调用图分析与类型推断中的表现,发现LLM在类型推断上优于传统工具,但在调用图生成上仍不及传统静态分析工具。
2025-07-16 cs.SE
Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems
University of Ottawa(渥太华大学)
本文实证研究了自动驾驶系统仿真测试中的不稳定性,发现其普遍存在并显著影响随机化测试结果,并提出仅需单次运行的机器学习分类器,在三个测试设置中分别取得85%、82%和96%的F1分数,显著优于需多次重跑的非ML基线。
2023-11-30 cs.AI cs.SE
Detecting and Mitigating Flakiness in REST API Fuzzing
Beihang University(北京航空航天大学);Kristiania University of Applied Sciences and Oslo Metropolitan University(克里斯蒂亚纳应用科学大学与奥斯陆都会大学)
本文研究了EvoMaster生成的REST API测试中的不稳定性,通过36个REST API的实证研究,分析了不稳定性来源,并提出FlakyCatch工具来检测和缓解不稳定性。
2026-03-30 cs.SE
Model-based Automated Testing of JavaScript Web Applications via Longer Test Sequences
JavaScript已成为Web开发中使用最广泛的语言之一。然而,由于动态和事件驱动的特性,确保用JavaScript编写的Web应用程序的正确性和可靠性是具有挑战性的。针对JavaScript Web应用程序的动态分析技术已经有很多种,但它们在覆盖范围和可扩展性方面都有局限性。在本文中,我们提出了一种基于模型的自动化方法,通过测试较长的事件序列,在合理的时间内实现高代码覆盖率。我们将我们的方法实现为工具LJS,并在21个公开的基准测试(总共18,559行代码)上进行了广泛的实验。LJS平均在10分钟内达到86.4%的行覆盖率,比基于广度优先搜索的自动化测试工具JSDep高5.4%。特别是,在大型应用程序中,LJS的覆盖率比JSDep高11- 18%。我们的经验发现支持更长的测试序列可以实现更高的代码覆盖率在JavsScript测试。
2019-05-19 cs.SE
Automated Refactoring of Legacy JavaScript Code to ES6 Modules
Athens University of Economics and Business(雅典经济与商业大学)
本文研究了将遗留ES5代码自动转换为ES6模块,通过命名导入/导出语言构造实现细粒度重用,减少模块耦合并增强模块依赖。
2021-07-21 cs.SE
Cross-Project Flakiness: A Case Study of the OpenStack Ecosystem
Kyushu University(九州大学);Tianjin University(天津大学);University of Waterloo(滑铁卢大学);Shinshu University(信州大学)
通过分析OpenStack生态系统中649个项目,研究跨项目脆弱性(影响多个项目的脆弱测试)和不一致脆弱性(测试在某些项目中脆弱而在其他项目中稳定)的现象,发现跨项目脆弱性影响55%的项目,并显著增加审查时间和计算成本,单元测试中70%表现出跨项目脆弱性,主要原因为CI中的竞态条件、不一致的构建配置和依赖不匹配。
2026-05-28 cs.SE
Dependency Smells in JavaScript Projects
现代软件开发中的依赖管理为希望保持最新功能和修复同时确保向后兼容性的开发人员带来了许多挑战。项目维护人员选择了各种各样的,有时是相互冲突的方法来维护他们的依赖关系。选择不合适的方法可能会给项目带来bug和漏洞,引入破坏性的更改,导致无关的安装,并降低依赖性的可理解性,使其他人更难有效地做出贡献。在本文中,我们经验性地研究了经常性的依赖管理问题(依赖气味)的证据。我们查看了1,146个活动JavaScript存储库的数据集的提交数据,以分类,量化和理解依赖气味。通过对从业者的一系列调查,我们确定并量化了七种受欢迎程度不同的依赖气味,并调查了为什么它们会在整个项目历史中被引入。我们的研究结果表明,依赖气味在JavaScript项目中很普遍,80%的项目中出现了两种或两种以上不同的气味,但它们通常会感染项目的少数依赖项。我们的观察表明,依赖气味的数量往往会随着时间的推移而增加。实践者认为依赖气味会带来许多问题,包括安全威胁、bug、依赖破坏、运行时错误和其他维护问题。这些气味通常是在开发人员对依赖不当行为和npm生态系统的缺点做出反应时引入的。
2021-08-18 cs.SE
Blocking JavaScript without Breaking the Web: An Empirical Investigation
现代网站严重依赖JavaScript(JS)来实现合法功能以及侵犯隐私的广告和跟踪。诸如NoScript之类的浏览器扩展会阻止任何未被可信端点列表加载的脚本,从而希望阻止侵犯隐私的脚本,同时避免破坏合法的网站功能。在本文中,我们研究在不破坏合法功能的情况下,在Web上阻止JS是否可行。为此,我们在10万个网站上进行了大规模的JS阻塞测量研究。我们评估了不同JS阻塞策略在跟踪预防和功能破坏方面的有效性。我们的评估依赖于对网络请求和资源负载的定量分析以及对视觉破坏的手动定性分析。首先,我们表明,虽然阻止所有脚本在减少跟踪方面非常有效,但它会显着降低大约三分之二的测试网站的功能。其次,我们表明,选择性阻止的脚本子集的基础上策划的列表实现了更好的权衡。然而,仍有大约15%的“混合”脚本,它们基本上将跟踪和合法功能合并在一起,因此无法在不造成网站中断的情况下被阻止。最后,我们表明,细粒度的阻塞的JS方法的子集,而不是脚本,减少了3.8 $\times$的主要破损,同时提供相同级别的跟踪预防。我们的工作突出了细粒度JS拦截的承诺和开放的挑战,以在不破坏网络的情况下进行跟踪预防。
2023-03-23 cs.CR cs.SE
Do Stack Overflow Answer Edits Occur Beyond Java? A Replication on Python and JavaScript
Faculty of Information and Communication Technology, Mahidol University(马希隆大学信息与通信技术学院);State University of Ceara (UECE)(塞阿拉州立大学)
本研究在Python和JavaScript上复现Java相关研究,发现这两种语言的已采纳回答编辑率约为Java的2.5倍,且编辑数量随GitHub项目人气升高而增加,原研究结论可推广至Java之外。
2026-08-13 cs.SE
When LLMs Invent Rust Crates: An Empirical Study of Hallucination Patterns and Mitigation
Southern University of Science and Technology(南方科技大学);Nankai University(南开大学)
本研究首次大规模实证分析LLM生成Rust代码中的包幻觉问题,发现不同模型幻觉率惊人一致且对参数不敏感,并探索了提示工程缓解策略。
2026-08-17 cs.SE
To Type or Not to Type? A Systematic Comparison of the Software Quality of JavaScript and TypeScript Applications on GitHub
本研究通过挖掘604个GitHub项目对比JS与TS的软件质量,发现TS代码质量和可理解性更优,但缺陷倾向性更高、修复时间更长,减少any类型使用可优化多数质量指标。
2022-03-21 cs.SE
From Logic to Toolchains: An Empirical Study of Bugs in the TypeScript Ecosystem
Simon Fraser University(西蒙菲莎大学)
本文通过实证研究揭示TypeScript生态系统中错误的主要来源,发现工具配置和异步处理问题占主导,同时指出静态类型虽减少传统错误,但增加了构建系统脆弱性。
2026-01-29 cs.SE
Intertwining Ecosystems: A Large Scale Empirical Study of Libraries that Cross Software Ecosystems
各种技术栈和第三方库使用的增加导致开发人员不可避免地切换技术。为了帮助这些开发人员,维护人员已经开始将他们的库发布到多种技术,即,一个跨生态系统的图书馆我们的目标是探索这些跨生态系统库在生态系统之间交织的程度。我们对来自五个不同软件生态系统的110万个库进行了大规模的实证研究,即,PyPI for Python,CRAN for R,Maven for Java,RubyGems for Ruby,NPM for JavaScript,以确定4,146个GitHub项目,这些项目将库发布到这五个生态系统。分析他们的贡献,我们首先发现这些跨生态系统库的绝大多数贡献者(中位数为37.5%)来自单一生态系统,同时也从目标生态系统之外获得了很大一部分贡献(中位数为24.06%)。我们还发现,跨生态系统库是使用多种程序设计语言编写的。具体而言,三个(即,PyPI,CRAN,RubyGems)的大部分源代码都是使用非特定于该生态系统的语言编写的。随着生态系统变得相互交织,这为研究开辟了新的途径,例如跨生态系统库是否可以解决寻找替代库的问题,或者这些库如何适应每个生态系统。
2022-08-13 cs.SE
VibeCheck: Assessing the Quality of LLM-Generated Unit Tests: A Multi-agent Empirical Study across Heterogeneous Repositories
University of Dhaka(达卡大学)
VibeCheck通过多智能体实证研究,评估LLM生成的单元测试质量,发现测试可运行但断言弱、边界覆盖不足,提出可靠性导向的评估框架。
2026-09-09 cs.SE
On the Diversity of Software Package Popularity Metrics: An Empirical Study of npm
软件系统通常利用开源软件库来重用功能。这样的库可以通过软件包管理器(如JavaScript的npm)轻松获得。由于在这样的包分发中可用的包的巨大数量,开发者通常基于其流行度来决定依赖于或贡献于软件包。此外,研究人员通常依赖流行度指标进行数据采样并为他们的研究选择合适的候选人。然而,受欢迎程度的含义是相对的,可以以多种方式定义和测量,即使在考虑相同的研究时,也可能产生不同的结果。在本文中,我们展示了在软件工程研究中流行的意义是如何不同的证据。此外,我们实证分析了不同的软件流行性措施之间的关系。作为一个案例研究,对于175 k npm包的大型数据集,我们从三个开源跟踪系统(libraries.io,npmjs.com和GitHub)中计算并提取了9个不同的流行度指标。我们发现,实际上流行度可以用不同的无关指标来衡量,每个指标都可以在特定的上下文中定义。这表明需要一个通用的框架,将使用一个投资组合的流行度度量从不同的概念。
2019-01-14 cs.SE
Not All Dependencies are Equal: An Empirical Study on Production Dependencies in NPM
现代软件系统通常是通过利用其他人以库和包的形式编写的代码来构建的,以加速其开发。虽然使用第三方软件包有很多好处,但软件项目往往依赖于大量的软件包。因此,开发人员面临着通过保持项目依赖性的最新和无安全漏洞来维护项目依赖性的艰巨挑战。然而,在生产环境中,项目依赖关系会对项目的安全性构成威胁,这种情况有多频繁?我们使用Node Package Manager(npm)对100个JavaScript项目进行了实证研究,以量化项目依赖关系发布到生产环境的频率,并分析其特征及其对安全性的影响。我们的结果表明,只有不到1%的已安装依赖项被发布到生产环境。我们的分析表明,软件包的功能不足以决定它是否会被发布到生产环境。事实上,59%的已安装依赖配置为运行时依赖,并没有在生产中使用,而28.2%的依赖配置为开发依赖在生产中使用,揭穿了依赖管理的两个常见假设。调查结果还表明,大多数安全警报针对的是生产中未使用的依赖项,这使得它们极不可能对软件的安全性构成风险。我们的研究揭示了依赖管理更复杂的一面:并非所有的依赖都是平等的。生产中使用的安全性对安全性暴露更敏感,应优先考虑。然而,当前的工具在识别生产依赖性方面缺乏适当的支持。
2022-08-29 cs.SE
LLM-based vs. Search-based Merge Conflict Resolution: An Empirical Study of Competing Paradigms
Federal Fluminense University(联邦弗鲁米嫩塞大学)
本文通过实证研究比较了基于大语言模型和基于搜索的合并冲突解决方法,揭示了两者在实际场景中的优劣势及权衡。
2026-05-15 cs.SE
An Empirical Comparison of Dependency Network Evolution in Seven Software Packaging Ecosystems
几乎每一种流行的程序设计语言都带有一个或多个包管理器。由这样的包管理器分发的软件包形成大的软件生态系统。这些打包生态系统包含大量定期更新的包版本,并且与其他包版本有许多依赖关系。虽然打包生态系统对各自的开发人员社区非常有用,但它们面临着与规模、复杂性和进化速度相关的挑战。典型的问题是向后不兼容的软件包更新,以及依赖于已经过时或不活动的软件包的风险。本文使用libraries.io数据集对七个不同规模和年龄的包装生态系统的包依赖网络演变之间的相似性和差异性进行了定量实证分析:Cargo for Rust,CPAN for Perl,CRAN for R,npm for JavaScript,NuGet for.NET平台,Packagist for PHP和RubyGems for Ruby。我们提出了新的指标来捕捉这些依赖网络的增长,易变性,可恢复性和脆弱性,并使用这些指标来分析和比较它们的演变。我们观察到,依赖网络往往会随着时间的推移而增长,无论是在大小和软件包更新的数量,而少数软件包负责大部分的软件包更新。大多数软件包依赖于其他软件包,但只有一小部分软件包占大多数反向依赖。我们观察到一个高比例的脆弱的软件包,由于高和越来越多的传递依赖。这些发现有助于评估软件包依赖网络的质量,并通过依赖管理工具和强加的政策来改善它。
2017-10-13 cs.SE
Evaluating Maintainability Prejudices with a Large-Scale Study of Open-Source Projects
夸大或上下文的变化会使维护性经验变得有偏见。例如,JavaScript通常被视为最不优雅的语言,因此可维护性最低。这种偏见不应在事先没有经验验证的情况下指导决策。我们基于偏见制定了10个关于可维护性的假设,并在大量开源项目(6,897个GitHub存储库,4.02亿行,5种程序设计语言)中进行了测试。我们用五个静态分析度量来操作可维护性。我们发现,JavaScript代码并不比其他代码差,Java代码比C#代码具有更高的可维护性,C代码比其他代码具有更长的方法。Java代码中的接口文档的质量比其他代码中的要好。由团队开发的代码并不具有更高和更大的代码库,也不具有更低的可维护性。具有高可维护性的项目并不更受欢迎或更经常分叉。总体而言,大多数假设没有得到开放源数据的支持。
2018-06-12 cs.PL cs.SE
Exploring Multi-Programming-Language Commits and Their Impacts on Software Quality: An Empirical Study on Apache Projects
本研究通过对18个Apache项目的197,566次提交进行实证分析,发现多编程语言提交(MPLCs)显著增加开发复杂度、延长问题解决时间并引入更多缺陷,从而降低软件质量。
2023-11-12 cs.SE
Detect--Repair--Verify for LLM-Generated Code: A Multi-Language, Multi-Granularity Empirical Study
Concordia University(麦科德大学)
本文通过检测-修复-验证工作流评估LLM生成代码的安全性,发现多阶段修复能提升安全性和正确性,但修复可靠性依赖于修复范围和测试基础。
2026-03-24 cs.SE
An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation
University of Alberta(阿尔伯塔大学);University of Stuttgart(斯图加特大学);Northeastern University(东北大学)
本文提出TestPilot,利用LLM依据函数签名、实现和文档示例自动生成JavaScript单元测试,并通过失败信息重提示修复;在25个npm包上验证其覆盖率显著优于Nessie且跨模型有效。
2023-12-11 cs.AI cs.SE
Understanding Resolution of Multi-Language Bugs: An Empirical Study on Apache Projects
本文通过对 54 个 Apache 项目中的 66,932 个缺陷进行实证研究,揭示了多编程语言缺陷在比例、变更复杂度、开放时间和重新打开率等方面的特征,并识别出 6 个成因和 5 种跨语言调用机制,表明多语言缺陷会增加开发难度。
2023-07-05 cs.SE
Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
UFMG(米纳斯吉拉斯联邦大学);Univ. Bordeaux, CNRS, Bordeaux INP, LaBRI(波尔多大学、法国国家科学研究中心、波尔多国立高等电子与计算机学院、拉布里实验室)
本文研究了编码代理生成测试中模拟的使用情况,发现代理更倾向于修改测试并添加模拟,同时指出模拟测试可能更容易自动生成但验证效果较弱。
2026-01-30 cs.SE
What Do Contribution Guidelines Say About Software Testing?
Department of Computer Science, UFMG(计算机系,巴西联邦大学)
本文通过分析200个开源项目贡献指南,发现78%的项目提供测试文档,其中多数位于CONTRIBUTING文件中,但关于编写测试的指导较少,单元测试覆盖率较高,而集成和端到端测试较少被提及。
2026-02-03 cs.SE
Mind the Gap: How SBOM Specification Ambiguities Lead to Divergent Software Bills of Materials. An Empirical Tool Study
Univ. Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA)
本研究通过评估三种SBOM生成器在3000多个项目上的表现,揭示其差异主要源于规范歧义而非实现错误,并呼吁未来标准明确依赖范围、来源和表示规则以提升合规性。
2026-09-18 cs.CR cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段,实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布,并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE