Fail Fast - Fail Often: Enhancing Agile Methodology using Dynamic Regression, Code Bisector and Code Quality in Continuous Integration (CI)
敏捷实践作为传统软件开发方法的替代方案,正受到业界的广泛关注。然而,在将敏捷[2]与测试驱动开发(TDD)[10]实践、云部署、持续集成(CI)、不间断性能、负载、安全和可访问测试相结合方面存在许多挑战。在这些挑战中,持续集成是一种在软件测试中被广泛讨论和实践的方法。本文描述了一种在持续集成中使用代码质量、代码平分线和动态回归来改进敏捷方法的方法。用于此分析、设计和开发的工具集是Jenkins、Robot Framework [4]、Perforce和Git。
2015-06-29 cs.SE
Verificarlo CI: continuous integration for numerical optimization and debugging
针对数值代码开发中浮点精度问题难以及时发现、数值回归易延迟暴露的痛点,提出用于数值优化与调试的持续集成工作流Verificarlo CI,并通过两个测试用例验证了其适用性。
2024-07-11 cs.SE
How do Machine Learning Projects use Continuous Integration Practices? An Empirical Study on GitHub Actions
Federal University of Rio Grande do Norte(北里奥格兰德州联邦大学);University of Otago(奥塔哥大学);Federal Institute of Rio Grande do Norte(北里奥格兰德州联邦学院)
本研究通过分析185个GitHub项目,发现机器学习项目在持续集成中构建时间更长、测试覆盖率较低,并面临独特挑战,为优化CI实践提供了实证依据。
2024-03-14 cs.LG cs.SE
Continuous Integration, Delivery and Deployment: A Systematic Review on Approaches, Tools, Challenges and Practices
背景:持续的做法,即,持续集成、交付和部署是软件开发行业的实践,使组织能够频繁可靠地发布新功能和产品。随着对持续实践的兴趣和文献的不断增加,系统地审查和综合采用和实施持续实践的方法、工具、挑战和实践是很重要的。目的:这项研究的目的是系统地审查最先进的持续做法,对方法和工具进行分类,确定这方面的挑战和做法,并确定未来研究的差距。方法:我们使用系统文献综述(SLR)方法对2004年至2016年6月1日期间发表的关于连续实践的同行评审论文进行了综述。我们采用主题分析方法分析从审查69篇论文中提取的数据,使用预定义的标准。结果如下:我们已经确定了30种方法和相关工具,这些方法和工具通过以下方式促进了持续实践的实现:(1)“减少持续集成(CI)中的构建和测试时间";(2)“增加CI中构建和测试结果的可见性和意识”;(3)“支持(半)自动化持续测试”;(4)“检测CI中的违规、缺陷和故障”;(5)“减少CI中的构建和测试时间”。(5)“解决部署管道中的安全性和可伸缩性问题”,以及(6)“提高部署过程的可靠性和可靠性”。我们还确定了一系列关键因素,如“测试(努力和时间)”,“团队意识和透明度”,“良好的设计原则”,“客户”,“高技能和积极性的团队”,“应用领域”和“适当的基础设施”,这些因素在特定组织中引入持续实践时应该仔细考虑。
2017-03-21 cs.SE
Impact of Continuous Integration on Code Reviews
在现代软件质量管理中,同行代码评审和持续集成经常交织在一起。尽管有几项研究调查了非技术因素(例如,评审员工作量)、开发人员参与度甚至补丁大小都会影响代码评审过程,持续集成对代码评审的影响还没有得到正确的理解。在本文中,我们使用578K自动构建条目报告了一项探索性研究,我们调查了自动构建对代码审查的影响。我们的调查表明,成功通过的构建更有可能鼓励新的代码审查参与拉取请求。经常建造的项目被发现多年来保持稳定的审查活动水平,这是很少建造的项目所缺少的。对26,516个自动构建条目的实验报告说,我们提出的模型可以识别64%的触发新代码审查的构建。
2018-07-05 cs.SE
Targeted Test Selection Approach in Continuous Integration
T-Technologies(T技术公司)
针对代码库和测试套件增长导致测试管理困难的问题,提出基于机器学习的工业测试选择方法 T-TS,通过变更文件词袋等特征表示避免使用覆盖率图,在仅选择15%测试的同时大幅提升效率并保持高故障检测率。
2025-09-12 cs.LG cs.SE
Systematic Literature Review on Application of Machine Learning in Continuous Integration
本文系统综述过去22年机器学习在持续集成中的应用,梳理数据与特征工程、超参数调优、模型、评估方法及指标,并建立模型类型、性能度量与CI阶段的关联。
2023-07-17 cs.LG cs.SE
An IDE Plugin for Gamified Continuous Integration
针对开发者因中断、上下文切换及测试任务趣味性低导致的动力不足问题,研究提出一款IntelliJ插件,将Gamekins的游戏化元素无缝集成到IDE中,减少上下文切换,提升开发者编写测试的动力。
2024-03-06 cs.SE
Systematic Literature Review on Application of Learning-based Approaches in Continuous Integration
University of Adelaide(阿德莱德大学);School of Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学)
本文通过纳入52项研究的系统文献综述,梳理CI中基于学习方法的数据、特征、调优与评估体系,揭示自动化差距并为后续研究提供参考。
2024-07-02 cs.LG cs.SE
Gamifying a Software Testing Course with Continuous Integration
针对软件工程专业学生测试积极性不足的问题,将游戏化工具Gamekins集成到本科软件测试课程的持续集成环节,有效提升了学生测试结果准确率与参与度。
2024-01-31 cs.SE
ADEPT: A Socio-Technical Theory of Continuous Integration
在软件开发工作流程中依赖自动化的持续实践已经被工业界广泛采用了十多年。尽管这种广泛的使用,软件开发仍然是一个主要的人类驱动的活动,是高度创造性和协作。关于持续实践如何依赖于自动化及其对软件质量和开发速度的影响,已经有了广泛的研究,但对于自动化如何影响开发人员的行为和协作,研究相对较少。在本文中,我们介绍了一个关于持续实践的社会技术理论。ADEPT理论结合了包括人、过程、文档、自动化和项目环境在内的结构,并描述了与这些结构相关的命题。该理论是从以前的实证研究中观察到的现象中得出的。我们展示了ADEPT理论如何解释和描述软件开发中现有的连续实践,以及如何使用它来生成新的命题,以便将来的研究了解连续实践及其对软件开发的社会和技术方面的影响。
2021-04-06 cs.SE
Continuous integration in a social-coding world: Empirical evidence from GitHub. **Updated version with corrections**
持续集成是一种软件工程实践,它频繁地将所有开发人员的工作副本与一个共享的主分支合并,例如,一天几次随着GitHub的出现,一个以其“社交编码”功能而闻名的平台,该功能有助于协作和共享,并且目前是开源世界中最大的代码主机,协作软件开发从未如此突出。在GitHub开发中,可以区分两种类型的开发人员对项目的贡献:直接贡献,来自对主项目存储库具有写访问权限的典型的一小群开发人员,以及间接贡献,来自分叉主存储库的开发人员,在本地更新他们的副本,并提交pull请求进行审查和合并。在本文中,我们将探讨GitHub开发人员如何使用持续集成,以及贡献类型(直接与间接)和不同的项目特征(例如,主程序设计语言或项目年龄)与自动构建的成功相关联。
2015-12-06 cs.SE
ARTENOLIS: Automated Reproducibility and Testing Environment for Licensed Software
动机:自动测试代码变更是持续集成的一个基本特性。对于开源代码,没有许可的依赖关系,存在各种持续集成服务。基于约束的重建和分析(COBRA)是一套用于计算建模的开源代码,依赖于许可软件。一个新的自动化框架的持续集成在半许可证的环境中需要开发的COBRA社区和相关工具的COBRA。结果如下:ARTENOLIS是一个通用的基础设施软件应用程序,它实现了开源软件与许可依赖项的持续集成。它使用主从框架,在多个操作系统和多个版本的许可软件依赖项上测试代码。ARTENOLIS确保COBRA工具和相关工具中代码的稳定性、完整性和跨平台兼容性。可用性和实施:可通过artenolis.lcsb.uni.lu免费访问持续集成服务器,该服务器是再现性和测试基础设施的核心。持续集成框架代码位于/.ci目录中,位于存储库的根目录下,可在github.com/opencobra/cobratoolbox上免费获得。
2017-12-01 cs.SE
Monitoring Continuous Integration Practices in Industry: A Case Study
本文开发CI实践监控工具并对巴西三家组织开展多案例研究,发现监控七项CI实践可呈现实践现状、推动改进、提升软件质量感知并改善沟通。
2025-06-07 cs.SE
Continuous Integration Practices in Machine Learning Projects: The Practitioners` Perspective
Federal University of Rio Grande do Norte(巴西南大河州联邦大学);University of Otago(奥塔哥大学);Centre for Software Excellence, Huawei(华为软件卓越中心)
本研究通过调查155名从业者,揭示机器学习项目在持续集成中面临的独特挑战,并提出针对性的持续集成实践,以优化构建与测试流程。
2025-02-24 cs.LG cs.SE
Introducing High School Students to Version Control, Continuous Integration, and Quality Assurance
针对软件工程教学起步晚的问题,本文记录了面向有AP计算机科学基础的高中生设计小组项目,教授版本控制、持续集成等技能,使其能为开源科学计算项目编写有效自动化测试的实践经验。
2023-10-05 cs.SE
What helped, and what did not? An Evaluation of the Strategies to Improve Continuous Integration
持续集成是现代软件工程中广泛应用的一种实践。不幸的是,这也是一个昂贵的做法-谷歌和Mozilla估计他们的CI系统在数百万美元。有许多技术和工具旨在或有可能节省CI成本或扩大其效益-减少反馈时间。然而,它们在某些方面的好处也可能导致其他方面的缺点。它们也可能在其他情况下是有益的,在这些情况下,它们不是为了帮助。在本文中,我们进行了第一次详尽的技术比较,以提高CI,评估14个变种的10种技术,使用选择和优先级策略的构建和测试粒度。我们通过100个真实项目的10个不同的成本和时间反馈节省指标来评估它们的优点和缺点。我们分析了所有技术的结果,以了解有助于不同方面利益的设计决策。我们还综合了这些结果,为未来研究技术的发展提出了一系列建议,以推动这一领域的发展。
2021-02-12 cs.SE
DRS-OSS: A Diff-Risk Scoring Tool for Continuous Integration Workflows
Concordia University(康科迪亚大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
提出开源差异风险评分工具DRS-OSS,通过可部署管道结合提交信息、差异和变更指标预测风险,在ApacheJIT上达到0.895 ROC-AUC,优于基线。
2026-06-07 cs.SE
Test Prioritization in Continuous Integration Environments
文献中分别提出了基于多样性(DBTP)和基于历史的测试优先级(HBTP)两种算法。然而,他们的组合还没有得到广泛的研究,在持续集成(CI)环境。这项研究的目的是更早地捕捉回归错误,允许开发人员更频繁和持续地集成和验证他们的更改。为了实现这一点,我们调查了六个开源项目,每个项目都包括一个很长的时间段内的几个构建。研究结果表明,以前的故障知识似乎有很强的预测能力,在CI环境中,可以用来有效地优先测试。HBTP不一定需要大量的数据,其有效性随着历史间隔的增大而得到一定程度的提高。DBTP可以在早期阶段有效地使用,当没有历史数据时,也可以与HBTP相结合,以提高其有效性。在调查的技术中,我们发现,基于历史的多样性使用NCD多集是优越的有效性,但相对较高的开销方面的方法执行时间。在CI环境中,测试优先级可以有效地执行与微不足道的投资使用以前的失败知识,其有效性可以进一步提高,通过考虑测试之间的差异。
2018-09-01 cs.SE
On the Interplay between Non-Functional Requirements and Builds on Continuous Integration
持续集成(CI)意味着整个开发团队在软件项目的主线上一起工作。CI系统自动化软件的构建。有时开发人员签入代码,这会中断构建。一个损坏的构建本身可能不是问题,但它有可能扰乱同事,因此它会影响团队的性能。在这项研究中,我们调查了1,283个软件项目的非功能需求(NFR)和构建状态之间的相互作用。我们发现NFR相关构建状态之间存在显着差异。因此,可以提出一些工具来改进CI,重点是防止CI失败的新方法,特别是与效率和可用性相关的构建。此外,将中断的构建恢复到正常状态所需的时间表明,所有NFR都呈双峰分布,一天内的峰值较高,六周内的峰值较低。我们的研究结果表明,Ruby的可维护性和Java的功能性和可靠性的计划时间表将减少与中断构建相关的延迟。
2017-03-29 cs.SE
Continuous Integration Theater
背景:持续集成(CI)系统现在是一些软件开发实践的基础。一些工具,如TravisCI,CircleCI和Hudson,实现CI实践,通常被软件工程师采用。然而,软件工程师使用这些工具的方式可能会导致我们所说的“持续集成剧场”,即软件工程师不能有效地使用这些工具,从而导致不健康的CI实践。目的:本文的目标是了解这些不健康的持续集成实践在实践中的普遍程度。方法:通过检查1,270个使用TravisCI(最常用的CI服务)的开源项目,我们定量研究了使用CI的常见程度(1)不频繁提交,(2)在测试覆盖率差的软件项目中,(3)长期保持中断的构建,以及(4)运行时间过长的构建。结果:我们观察到748个($sim$ 60%)项目面临不频繁的提交,这基本上使合并过程更加困难。此外,我们能够找到51个项目的代码覆盖率信息。平均代码覆盖率为78%,尽管Ruby项目的代码覆盖率高于Java项目(分别为86%和63%)。然而,我们也发现了一些覆盖率非常小的项目($sim$ 4%)。尽管如此,我们观察到85%的研究项目至少有一个损坏的构建,需要超过四天的时间才能修复。有趣的是,非常小的项目(多达1,000行代码)是修复损坏的构建所需时间最长的项目。最后,我们注意到,对于大多数被研究的项目,构建都是在10分钟的经验法则下执行的。结论:我们的研究结果是很重要的软件工程师越来越多的社区,采用CI的做法,每天的基础…
2019-07-02 cs.SE
Statically Verifying Continuous Integration Configurations
持续集成(CI)测试是一种流行的软件开发技术,允许开发人员轻松检查他们的代码是否可以成功构建并通过各种系统环境的测试。为了使用CI平台,开发人员必须在代码存储库中包含一组配置文件,用于指定构建条件。不正确的配置设置会导致CI构建失败,这可能需要数小时才能运行,浪费宝贵的开发人员时间并延迟产品发布日期。ECMCI配置具有挑战性,因为用户必须跨许多系统环境管理构建的配置,而他们可能没有本地访问权限。因此,检查CI配置的唯一方法是推送提交并等待构建结果。为了解决这个问题,我们提出了第一种方法,VeriCI,用于在开发人员推送提交以在CI服务器上构建之前静态检查给定CI配置中的错误。我们的关键见解是CI环境中的存储库包含构建历史列表,这些列表提供了时间感知的存储库构建状态。在这种洞察力的驱动下,我们引入了错误分类引导抽象细化(MiGAR)循环,该循环可以在CI中的异构构建环境中自动化部分学习过程。然后,我们使用决策树学习来生成CI配置上的约束,这些约束必须通过对持续集成存储库构建结果的大量历史进行训练来保持构建成功。我们在来自GitHub的真实数据上评估了VeriCI,发现我们预测构建失败的准确率为83%。
2018-05-11 cs.SE
Commit-Aware Learning-Based Test Case Prioritization for Continuous Integration
University of Sannio(桑尼奥大学)
提出一种结合代码变更结构、测试覆盖和历史执行的提交感知学习模型,用于持续集成中的测试优先级排序,显著提升回归缺陷检测效果。
2026-06-11 cs.SE
Characterizing The Influence of Continuous Integration. Empirical Results from 250+ Open Source and Proprietary Projects
持续集成(CI)工具通过在提交代码更改时自动编译、构建和执行测试用例来集成代码更改。CI工具的使用越来越受欢迎,但专有项目如何获得CI的好处仍然是未知的。为了研究CI对软件开发的影响,我们分析了150个开源软件(OSS)项目和123个专有项目。对于OSS项目,我们观察到采用CI后的预期收益,例如,在bug和问题解决方面的改进。然而,对于专有项目,我们不能做出类似的观察。我们的研究结果表明,只有采用CI可能不足以改善软件开发过程。如果实践者有效地使用CI的反馈机制,通过应用频繁提交的实践,CI可以有效地用于软件开发。对于我们的专有项目,我们观察到实践者提交的频率较低,因此不能有效地使用CI来获得对提交的代码更改的反馈。根据我们的研究结果,我们建议行业从业者采用CI的最佳实践,以获得CI工具的好处,例如,频繁提交。
2018-09-14 cs.SE
A Brief Survey of Current Software Engineering Practices in Continuous Integration and Automated Accessibility Testing
本文综述了通过持续集成改善软件无障碍性的现状与采用障碍,并探讨了敏捷团队实施自动化无障碍测试的培训步骤及可视化流程。
2021-02-27 cs.CY cs.HC cs.MM
SecDocker: Hardening the Continuous Integration Workflow
当前的持续集成流程面临着重大的内在网络安全挑战。这个想法不仅是为了解决和测试源代码的正式或监管安全需求,而且还要坚持CI管道本身的相同原则。本文介绍了当前CI工作流中的安全问题的概述。它设计、开发和部署了一个新工具,用于安全部署基于容器的CI管道流,而不会减慢发布周期。该工具因其基于Docker的方法而被称为\SD,可在GitHub中公开使用。它基于配置机制实现了透明的应用程序防火墙,避免了CI工作流中与预期或非预期容器配置相关的问题。它与其他DevOps Engineers工具集成,仅提供来自匹配特定模式的场景的反馈,解决未来的容器安全问题。
2021-04-16 cs.CR cs.SE
Discerning Legitimate Failures From False Alerts: A Study of Chromium's Continuous Integration
在软件测试中,片状是一个主要的问题。对于同一个程序版本,不可靠的测试通过和失败,误导了那些花费时间和资源调查测试失败的开发人员,结果发现它们是错误的警报。在实践中,解决这个问题的实际方法是检查失败的测试,希望它们能够通过并表现为错误警报。尽管如此,完全过滤掉错误警报可能需要不成比例的重新运行次数,因此在计算和时间方面都产生了重要的成本。作为一种替代重播,我们提出公平,一种新颖的,轻量级的方法,分类测试失败到假警报和合法的失败。Fair依赖于一个分类器和一组来自故障和测试伪影的特征。为了构建和评估我们的机器学习分类器,我们使用了Chromium项目的持续集成。特别是,我们从2,000个构建中收集了超过100万个测试失败的属性和伪影。我们的研究结果表明,公平可以准确地区分合法的故障从虚假警报,与MCC高达95%。此外,通过研究不同的测试类别:图形用户界面,集成和单元测试,我们表明,公平准确地分类故障,即使故障的数量是有限的。最后,我们比较了我们的方法重新运行的成本,并表明公平可以节省高达20分钟的计算时间,每次构建。
2021-11-05 cs.SE
Employing Continuous Integration inspired workflows for benchmarking of scientific software -- a use case on numerical cut cell quadrature
Technical University of Darmstadt(达姆施塔特工业大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学);Technical University of Graz(格拉茨工业大学)
本文提出利用持续集成工具自动化科学软件基准测试,通过数值切割单元求积用例展示方法有效性。
2025-05-21 cs.SE
pytest-gpu-proof: Enabling Cloud-CPU Continuous Integration for GPU Code with Local GPU Attestation
Dartmouth College(达特茅斯学院)
针对云 GPU CI 成本高导致 GPU 代码测试不足的问题,提出开源 pytest 插件 pytest-gpu-proof,通过本地运行并签名凭证,实现将 GPU 测试集成到标准 CPU CI 工作流中。
2026-09-25 cs.DC cs.SE
Uncovering the Benefits and Challenges of Continuous Integration Practices
2006年,Fowler和Foemmel定义了十个核心的持续集成(CI)实践,这些实践可以提高软件开发反馈周期的速度并提高软件质量。从那时起,这些实践已被业界广泛采用,随后的研究表明,它们提高了软件质量。然而,人们对组织如何实现这些实践、开发人员认为它们带来的好处以及开发人员和组织在实现它们时遇到的挑战的理解很差。在本文中,我们讨论了一个多案例研究的三个小型到中型公司使用的建议套件的十个CI的做法。通过访谈和活动日志挖掘,我们了解到这些实践被广泛实施,但实施方式取决于其感知的好处,项目的背景以及组织使用的CI工具。我们还发现,CI实践可能会对软件过程产生新的约束,从而影响反馈周期。对于研究人员,我们表明,CI是如何实现的变化,因此研究CI(例如,使用数据采掘)需要了解这些差异作为研究的重要背景。对于从业者来说,我们的研究结果揭示了对使用这十种实践可能带来的好处和挑战的深入见解,以及项目背景如何重要。
2021-03-07 cs.SE
Detecting Continuous Integration Skip : A Reinforcement Learning-based Approach
Laval university(拉瓦尔大学)
针对CI提交跳过检测难、数据不平衡的问题,提出基于深度强化学习的最优决策树分类器,经GitHub开源项目验证效果优于现有前沿方法。
2024-05-15 cs.AI cs.SE
The Effects of Continuous Integration on Software Development: a Systematic Literature Review
内容:持续集成(CI)是一种软件工程技术,它声明了一组频繁的活动,以确保软件产品的健康。研究人员和实践者提到了与CI相关的几个好处。然而,没有系统的研究调查的最先进的关于这样的好处或cons.Objective:本研究的目的是识别和解释CI如何影响软件开发的经验证据。方法:通过系统文献回顾法,检索6个数字图书馆的相关文献。从479项研究中,我们选择了101项实证研究,这些研究评估了CI对任何软件开发活动的影响(例如,测试)。我们彻底阅读和提取有关信息(一)CI环境,(二)调查结果相关的CI的影响,和(三)所采用的方法。我们应用主题综合分组和总结的结果。结果如下:现有的研究探讨了CI的积极影响,如更好的合作,或负面影响,如增加技术和流程的挑战。从我们的主题综合,我们确定了六个主题:开发活动,软件过程,质量保证,集成模式,问题和缺陷,构建模式。结论:近年来,CI的实证研究越来越多。我们发现,许多现有的研究表明,CI带来了积极的影响,软件开发现象。然而,CI也可能给软件开发团队带来技术挑战。尽管CI的总体前景是积极的,但我们仍然发现现有的评估CI效果的实证研究有改进的空间。
2022-01-10 cs.SE
A Test Taxonomy and Continuous Integration Ecosystem for Dynamic Resource Management in HPC
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文提出一种结合MPI可变库测试分类的持续集成生态系统,用于评估动态资源管理框架的正确性,通过容器化虚拟集群实现自动化验证,提升了早期故障检测和维护效率。
2026-04-29 cs.DC cs.SE
Formalizing Regression Testing for Agile and Continuous Integration Environments
School Of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本研究将敏捷与持续集成环境中的持续回归测试形式化为时间有序构建链与回归测试窗口,证明其可退化为经典retest-all,并通过表示两种先进算法验证了形式化的可靠性与完备性。
2025-11-04 cs.SE
Initial and Eventual Software Quality Relating to Continuous Integration in GitHub
对新功能和错误修复的持续需求迫使软件项目缩短周期并更快地交付更新,同时保持软件质量。廉价的虚拟化云计算的可用性通过支持按需持续集成(CI)帮助缩短了时间表。像GitHub这样的平台支持云中的CI。在使用CI的项目中,用户提交拉取请求会触发CI步骤。除了加速构建和测试之外,这还意外地创建了大量构建和测试成功和失败的档案。CI是一个相对较新的现象,这些档案允许对CI进行详细的研究。暴露出多少问题?它们发生在哪里?哪些因素会影响CI失败?CI确定的“初始质量”是否能预测代码中以后会出现多少bug(“最终质量”)?在本文中,我们对这些记录进行了大规模的精细分辨率研究,以更好地了解CI过程,CI失败的性质和预测因素,以及CI失败与代码最终质量的关系。我们发现:a)CI失败似乎集中在几个文件中,就像正常的bug一样; b)CI失败与最终失败的相关性不是很高; c)在pull请求中使用CI并不一定意味着该请求中的代码质量良好。
2016-06-02 cs.SE
Decisions in Continuous Integration and Delivery: An Exploratory Study
近年来,持续集成(CI)和持续交付(CD)作为有效交付软件产品的实践和管道,在软件开发的部分或全部生存周期中得到了广泛的应用。有许多工具,如Travis CI,提供了各种功能来支持CI/CD管道,但人们对CI/CD中经常做出的决策缺乏了解。在这项工作中,我们探索了GitHub上一个流行的开源项目Budibase,从从业者的角度提供了关于CI/CD中决策类型的见解。我们首先探索了GitHub趋势页面,进行了试点存储库提取,并将Budibase存储库确定为我们研究的案例。然后,我们从存储库中抓取了所有已关闭的问题,得到了1,168个已关闭的问题。根据一定的标准过滤掉不相关的问题,并获得370个包含决策的候选问题用于数据提取。我们使用一种混合方法结合预定义类型和常数比较方法来分析问题,以获得决策的类别。结果表明,Budibase封闭问题中的主要决策类型是功能需求决策(67.6%),其次是架构决策(11.1%)。我们的研究结果鼓励开发人员将更多的精力放在与CI/CD相关的问题和决策上,并为研究人员提供CI/CD决策分类的参考。
2022-05-10 cs.SE
(No) Influence of Continuous Integration on the Commit Activity in GitHub Projects
持续集成(CI)的核心目标是对软件项目进行小的增量更改,这些更改经常集成到主线存储库或分支中。本文提出了一个实证研究,调查如果开发人员调整他们的提交活动对上述目标后,项目开始使用CI。我们分析了93个GitHub项目中的提交和合并活动,这些项目引入了托管CI系统Travis CI,但在引入CI之前已经开发了至少一年。在我们的分析中,我们只发现了一个不可忽略的影响,即合并比率的增加,这意味着在项目开始使用Travis CI之后,合并提交相对于所有提交来说更多。这种效应在相关的研究中也有报道。然而,我们在60个未使用CI的GitHub项目的随机样本中观察到了同样的效果。因此,这种影响不太可能是单独引入CI引起的。我们的结论是:(1)在我们的项目样本中,CI的引入并没有导致开发人员的提交活动发生重大变化,(2)在将效果归因于可能不是观察到的效果的原因的治疗之前,将提交活动与基线进行比较是很重要的。
2018-09-14 cs.SE
GDPR Compliance in the Context of Continuous Integration
2018年颁布的《通用数据保护条例》(GDPR)迫使任何收集和/或处理欧盟个人数据的组织遵守严格的隐私法规。软件组织在GDPR截止日期之前和之后都在努力实现GDPR合规性。虽然一些研究依赖于调查或访谈来发现GDPR的一般影响,但缺乏深入的研究来调查软件组织的合规实践和合规挑战。特别是,没有关于中小企业(中小企业占欧盟组织的大多数)的资料,也没有关于实行持续一体化的组织的资料。使用设计科学方法,我们与一家小型初创企业合作,在20个月的时间里对GDPR合规实践和挑战进行了深入研究。我们首先确定了合作者的业务问题,然后迭代开发了两个工件来解决这些问题:一组可操作的GDPR原则,以及一个自动化的GDPR工具,用于测试这些GDPR衍生的隐私要求。这种设计科学的方法导致了四个研究和实践的影响。例如,我们的研究表明,GDPR法规可以通过自动化手段进行部分操作和测试,从而改善合规实践,但需要更多的研究来创建更高效和有效的方法来传播和管理软件开发人员的GDPR知识。
2020-02-17 cs.SE
Test Automation Maturity Improves Product Quality -- Quantitative Study of Open Source Projects Using Continuous Integration
持续集成(CI)的流行是由于频繁发布产品功能或更新的市场压力而增加的。CI快速交付质量的能力取决于可靠的测试自动化。在本文中,我们提出了一个实证研究,以观察测试自动化成熟度(在文献中的标准最佳实践评估)对产品质量,测试自动化的努力,并在开源项目的CI上下文中的发布周期的影响。我们进行了测试自动化成熟度调查,并从37个开源java项目中得到了回复。我们还挖掘了相同项目的软件存储库。回归分析的主要结果显示,较高的测试自动化成熟度水平与较高的产品质量(p值=0.000624)和较短的发布周期(p值=0.01891)正相关;没有统计学显著证据表明,由于较高的测试自动化成熟度和产品质量水平,测试自动化工作量增加。因此,我们的结论是,提高测试自动化成熟度(使用标准的最佳实践)的一个潜在的好处是产品质量的提高和发布周期的加速,在开源项目的CI环境。我们鼓励未来的研究通过添加更多具有不同程序设计语言和CI工具的数据集、闭源项目和大型工业项目来扩展我们的研究结果。我们对从业者的建议(在类似的CI环境中)是利用标准的最佳实践来提高测试自动化成熟度。
2022-02-07 cs.SE
Revisiting Machine Learning based Test Case Prioritization for Continuous Integration
本文首次全面研究了11种基于机器学习的持续集成测试用例优先级排序技术在11个开源项目上的表现,发现性能变化主要源于训练数据量,并提出跨项目预训练结合项目内微调策略,使预训练MART在80%项目上达到最优序列。
2023-11-22 cs.SE
Prof. CI: Employing Continuous Integration Services and Github Workflows to Teach Test-driven Development
使用大规模开放式在线课程(MOOC)进行编程教学由于其可扩展性和知识分布效率而越来越受欢迎。然而,参加这些课程通常意味着完全致力于浏览器中提供的编程环境。虽然这允许一致和可控的设置,但学习者无法获得实际开发工具的经验,例如本地代码编辑器,测试框架,问题跟踪器或持续集成(CI)服务,这对后续的真实项目至关重要。此外,要开发的功能的测试通常已经在MOOC中可用,并且只需执行即可,从而减少了开发适当测试的参与。为了解决这些问题,同时保持高度的自动化和可扩展性,我们开发了CI教授,这是一种进行在线练习的新方法。CI教授利用开发人员日常使用的现有自动化基础设施,即CI服务和Github工作流,来教授测试驱动开发(TDD)实践。参与者在Github中使用自己的存储库,并在推送代码时从CI服务器接收反馈和新挑战。我们已经在一个试点项目中成功地应用了这种方法,30名本科生正在学习Ruby on Rails Web开发框架。我们的评估表明,该练习有效地提高了学生为他们的代码编写测试的动机。我们还介绍了参与者调查的结果,学生的经验和教师的观察。
2018-09-03 cs.SE
The Impact of a Continuous Integration Service on the Delivery Time of Merged Pull Requests
基于162,653个PR和450份调查,研究发现CI服务未必加快PR交付,其核心价值在于改进PR提交决策、提升开发者信心并降低贡献门槛。
2023-05-25 cs.SE
A Systematic Literature Review on Continuous Integration and Deployment (CI/CD) for Secure Cloud Computing
本文通过对66篇论文进行系统性文献综述,梳理云计算中CI/CD安全的工具、方法、挑战与研究空白。
2025-06-09 cs.CR cs.SE
Accelerating Continuous Integration with Parallel Batch Testing
本研究针对大规模持续集成成本高的问题,提出DynamicBatching和TestCaseBatching两种并行批量测试方法,经Chrome等数据验证可大幅减少测试机器用量,为资源高效测试提供方案。
2023-08-25 cs.SE
Investigating the Impact of Continuous Integration Practices on the Productivity and Quality of Open-Source Projects
工作背景:持续集成(CI)对开源项目的生产力和质量的影响已经进行了大量的研究。大多数研究分析了采用CI服务器服务(例如,Travis-CI)的影响,但没有分析CI子实践。目标:我们的目标是评估五个CI子实践对GitHub开源项目的生产力和质量的影响。方法:收集90个相关开源项目的CI子实践,为期2年。我们使用回归模型来分析坚持CI子实践的项目是否更有生产力和/或产生更少的错误。我们还进行了定性文档分析,以了解CI最佳实践是否与更高质量的项目相关。结果:我们的发现揭示了构建活动和提交活动子实践与合并拉取请求数量之间的相关性。我们还观察到构建活动、构建健康和修复损坏构建的时间子实践与错误相关问题数量之间的相关性。定性分析表明,CI子实践的最佳值的项目面临较少的CI相关的问题相比,表现出最差的CI子实践值的项目。结论:我们建议项目应该努力维护几个CI子实践,因为它们会影响项目的生产力和质量。
2022-08-04 cs.SE
Continuous Integration and Software Quality: A Causal Explanatory Study
本文运用因果有向无环图并结合文献综述与软件仓库挖掘,分析70个开源项目,揭示了持续集成对软件质量的直接和间接因果效应及项目年龄的混杂作用。
2023-09-18 cs.SE
DevOps A Historical Review and Future Works
DevOps是软件开发生存周期中需要遵循的新兴实践。DevOps这个名字表明它是开发和运营团队的集成。接下来是集成开发生命周期的各个阶段。DevOps是现有敏捷方法的扩展版本。DevOps的目标是持续集成,持续交付,持续改进,更快的反馈和安全性。本文回顾了DevOps的构建块,采用DevOps的挑战,改进DevOps实践的模型以及DevOps的未来工作。
2020-12-11 cs.SE
Addressing Reproducibility Challenges in HPC with Continuous Integration
针对 HPC 资源访问受限导致论文难以复现的问题,本文提出兼容 HPC 的 GitHub Action CORRECT,通过 CI 在远程资源上安全执行并记录测试,在三类应用中验证其有效性。
2025-08-29 cs.DC cs.SE
Large-Scale Empirical Analysis of Continuous Fuzzing: Insights from 1 Million Fuzzing Sessions
Osaka University(大阪大学);Kyushu University(九州大学);Nara Women’s University(奈良女子大学)
针对OSS-Fuzz中878个项目约112万次会话的实证研究表明,持续模糊测试早期可发现大量既有缺陷,且覆盖率增长有助于后续漏洞检测。
2025-10-18 cs.SE
The Promise and Reality of Continuous Integration Caching: An Empirical Study of Travis CI Builds
Trent University(特伦特大学);University of Otago(奥塔哥大学);Queen’s University(女王大学)
本文通过分析513,384次构建,发现仅30%的项目采用缓存,早期采用者通常更成熟,且缓存维护复杂,部分项目面临缓存过期和损坏问题。
2026-03-19 cs.SE
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准,旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性,通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
An Approach and Benchmark to Detect Behavioral Changes of Commits in Continuous Integration
本研究提出名为DCI的自动化方法,通过断言扩增和基于搜索的输入空间探索生成测试变体,以检测CI中提交的行为变更,构建了首个真实行为变更数据集并验证了方法有效性,同时指出其适用范围局限。
2019-12-16 cs.SE
TAOS-CI: Lightweight & Modular Continuous Integration System for Edge Computing
随着物联网和边缘设备的激增,我们观察到许多消费电子产品正在成为另一种物联网和边缘设备。与传统的智能设备(诸如智能电话)不同,消费电子产品通常具有每个产品型号的设备数量较少的显著差异。在这种高分散性的情况下,边缘设备的扩散需要消费电子产品的频繁且无缝的更新,这使得制造商倾向于回归,因为制造商在每个软件发布实例中具有较少的资源;即,他们需要通过产品型号的数量乘以更新的数量来重复发布。持续集成(CI)系统可以帮助防止回归错误主动开发软件包,包括频繁更新的设备软件平台。拟议的CI系统提供了一个便携式和模块化软件平台,自动检查启用模块的传入更改的潜在问题:代码格式和样式,性能回归,对源代码的静态检查,构建和打包测试,以及在物联网和边缘设备上部署平台映像之前对构建的二进制文件进行动态检查。此外,我们提出的方法是轻量级的,足以托管在普通的台式计算机,甚至几十个开发人员。因此,它可以很容易地应用于许多不同的源代码存储库。评估结果表明,所提出的方法大大提高了插件的执行时间和内存消耗,与以前的研究方法相比。
2021-01-21 cs.PF cs.SE
Is this Build Failure Related to my Patch? An Empirical Study of Unrelated Build Failures in Continuous Integration
University of Otago School of Computing(奥塔哥大学计算机学院);Royal Military College of Canada Department of Mathematics and Computer Science(加拿大皇家军事学院数学与计算机科学系)
研究通过分析77354个CI构建失败,探讨开发者判断构建失败是否与当前补丁相关的过程,提出基于PU学习模型的预测方法,提升识别无关构建失败的效率。
2026-05-07 cs.SE