Towards MLOps: A DevOps Tools Recommender System for Machine Learning System
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
本文针对 MLOps 中开源工具选择困难的问题,提出一种基于项目上下文信息的推荐系统框架,并通过实验证明随机森林方法在四种候选方法中取得最佳推荐效果。
2024-02-20 cs.LG cs.SE
A Data Source Dependency Analysis Framework for Large Scale Data Science Projects
Microsoft(微软)
依赖地狱是大型软件项目开发中众所周知的痛点,机器学习(ML)代码库也不能幸免。事实上,ML应用程序还遭受着另一种形式的依赖地狱,即“数据源依赖地狱”。这个术语指的是数据及其独特的怪癖所扮演的核心角色,这些怪癖通常会导致ML模型的意外失败,而这些失败无法通过代码更改来解释。在本文中,我们提出了一个自动依赖映射框架,允许MLOps工程师在快节奏的工程环境中监视其模型的整个依赖映射,从而提前减轻任何数据源更改的后果(例如,重新训练模型、忽略数据、设置默认数据等)。我们的系统是基于一个统一的和通用的方法,采用静态分析技术,从数据源可以可靠地确定任何类型的依赖范围广泛的源语言和文物。依赖映射框架作为REST Web API公开,其中唯一的输入是托管代码库的Git存储库的路径。目前由微软的MLOps工程师使用,我们预计这种依赖关系映射API将在未来被MLOps工程师更广泛地采用。
2022-12-15 cs.LG cs.PL cs.SE
Good Tools are Half the Work: Tool Usage in Deep Learning Projects
Athens University of Economics and Business(雅典经济与商业大学);Delft University of Technology(代尔夫特理工大学)
本研究通过挖掘GitHub仓库,发现约63%的深度学习项目采用传统软件工程工具,而MLOps工具使用较少,表明传统工具在DL开发中的重要性,并建议加强MLOps工具的研究与推广。
2024-05-28 cs.LG cs.SE
An Empirical Study of Policy-as-Code Adoption in Open-Source Software Projects
Polytechnique Montreal(蒙特利尔理工学院)
本文通过分析399个开源项目,揭示了政策即代码工具在治理、配置控制和文档中的广泛应用,并提出了包含5类15子类的分类法,为未来研究提供实证基础。
2026-01-09 cs.SE
Studying the Practices of Deploying Machine Learning Projects on Docker
Polytechnique Montreal(蒙特利尔理工学院)
Docker是一种容器化服务,允许通过几行代码方便地部署网站,数据库,应用程序的API和机器学习(ML)模型。最近的研究探索了Docker在部署一般软件项目中的使用,但没有特别关注Docker如何用于部署基于ML的项目。在这项研究中,我们进行了一项探索性研究,以了解Docker如何用于部署基于ML的项目。作为第一步,我们检查了使用Docker的基于ML的项目的类别。然后,我们研究了这些项目为什么以及如何使用Docker,以及生成的Docker镜像的特征。我们的研究结果表明,六类基于ML的项目使用Docker进行部署,包括ML应用程序,MLOps/ AIOps,工具包,DL框架,模型和文档。我们推导出了21个主要类别的分类,这些类别代表了使用Docker的目的,包括那些特定于模型的类别,如模型管理任务(例如,测试、培训)。然后,我们展示了ML工程师使用Docker镜像主要是为了帮助实现平台可移植性,例如跨操作系统、GPU等运行时和语言约束传输软件。然而,我们也发现,由于镜像层中包含大量文件,并且目录嵌套很深,因此可能需要更多的资源来运行Docker镜像以构建基于ML的软件项目。我们希望阐明使用容器部署ML软件项目的新兴实践,并强调应该改进的方面。
2022-06-01 cs.AI cs.SE
A Systematic Mapping Study of Empirical Studies performed with Collections of Software Projects
内容:在软件工程实验中,软件项目是常见的资源,尽管这些资源通常是在没有遵循特定策略的情况下选择的,这降低了结果的代表性和可复制性。一种选择是使用软件项目的保留集合,但这些集合必须是最新的,并有明确的指导方针来保证它们在很长一段时间内的更新。目标:对实证研究中选择软件项目的策略进行了系统的二次研究,以发现考虑的指导方针,项目集合的使用程度,提取的元数据以及随后进行的统计分析。方法:一项系统性映射研究,以识别2013年1月至2020年12月发表的研究。结果:122项研究被确定,其中72%使用自己的指南进行项目选择,27%使用现有的项目集合。同样,也没有证据表明项目选择过程有一个标准化框架,也没有应用与样本收集战略有关的统计方法。
2021-09-15 cs.SE
Requirements Elicitation in Government Projects: A Preliminary Empirical Study
本文通过对12名政府项目软件从业者的半结构化访谈,实证揭示了政府项目在需求获取阶段与其他软件项目的差异、人类与社会因素的覆盖情况以及主要挑战,为弥补政府软件项目需求工程研究空白提供了初步依据。
2024-04-08 cs.SE
An Empirical Study On Correlation between Readme Content and Project Popularity
GitHub存储库中的自述文件作为初步的信息来源,从而帮助开发人员了解项目,以便重用或扩展。不同类型的上下文和结构内容,我们分别称为内容的类别和内容中的特征,存在于自述文件中,并可以确定对项目的理解程度。因此,内容的结构和上下文方面可能会影响项目的受欢迎程度。在设计自述文件时,研究内容和项目受欢迎程度之间的相关性有助于关注可以提高受欢迎程度的方面。然而,现有的研究探讨了自述文件中的内容类别和功能类型,并没有探讨它们对项目流行度的有用性。因此,我们提出了一个实证研究,以了解自述文件内容和项目受欢迎程度之间的相关性。我们对公共GitHub项目的1950个自述文件进行了研究,跨越了10种程序设计语言,并观察到大多数流行项目的自述文件都使用列表和图像进行了良好的组织,并包含指向外部来源的链接。此外,还观察到,具有包含贡献指南和参考资料的自述文件的储存库与更高的受欢迎程度有关。
2022-06-21 cs.SE
Bug Analysis in Jupyter Notebook Projects: An Empirical Study
计算笔记本电脑,如Quixyter,已被数据科学家广泛采用,用于编写分析和可视化数据的代码。尽管它们越来越被采用和流行,但从从业者的角度来看,还没有深入的研究来理解Java开发的挑战。本文通过大规模的实证调查,系统地研究了人工智能从业者面临的错误和挑战。我们从105个GitHub开源项目中挖掘了14,740个提交,这些项目都使用了Apriyter notebook代码。接下来,我们分析了30,416个Stack Overflow帖子,这些帖子让我们深入了解了从业者在开发Jobyter笔记本项目时面临的错误。最后,我们对数据科学家进行了19次采访,以揭示有关Google Yter错误的更多细节,并深入了解Google Yter开发人员面临的挑战。我们提出了一个错误分类法的基础上,我们的研究结果的项目。我们还强调了错误的类别,它们的根本原因,以及编译器从业者面临的挑战。
2022-10-13 cs.SE
On the abandonment and survival of open source projects: An empirical investigation
背景:开源项目的发展通常依赖于少数核心开发人员。失去这些核心开发人员可能对项目有害,甚至威胁到项目的整个延续。然而,新的核心开发人员可能会承担项目维护并允许项目生存。目的:本文的目的是提供经验证据:1)项目放弃和生存的频率,2)放弃和生存项目之间的差异,3)假设一个放弃的项目时所面临的动机和困难。方法:我们采用混合方法的方法来调查项目放弃和生存。我们仔细挑选了1,932个受欢迎的GitHub项目,并恢复了被遗弃和幸存的项目,并对那些对项目生存有帮助的开发人员进行了调查。结果如下:我们发现,315个项目(16%)被放弃,其中128个项目(41%)由于新的核心开发人员承担了项目开发而得以幸存。调查表明,㈠在大多数情况下,新的维护者在开始作出贡献时意识到项目放弃的风险; ㈡他们自己对系统的使用是为这些项目作出贡献的主要动机; ㈢在作出这些贡献时,人和社会因素发挥了关键作用;以及(iv)缺乏时间和难以获得对储存库的推送访问是他们面临的主要障碍。结论:即使在大型开源项目中,项目放弃也是一种现实,我们的工作使我们能够更好地了解这些风险,并强调避免这些风险的方法。
2019-06-19 cs.SE
The Empirical Commit Frequency Distribution of Open Source Projects
编程中的一个基本工作单元是开发人员对工作中的项目的代码库做出的代码贡献(“提交”)。作者的提交频率描述了作者提交的频率。了解所有提交频率的分布是理解软件开发过程的基本部分。本文对开源软件开发中的提交频率进行了详细的定量分析。该分析基于开源项目的大样本,并呈现了提交频率的总体分布。我们分析的数据,以显示作者和项目的项目规模之间的差异,我们还包括成功和不成功的项目的比较,我们从这些分析中得出一个活动指标。通过测量编程的基本维度,我们帮助改进软件开发工具和我们对软件开发的理解。我们还验证了一些关于软件开发的基本假设。
2014-08-21 cs.SE
Characterizing The Influence of Continuous Integration. Empirical Results from 250+ Open Source and Proprietary Projects
持续集成(CI)工具通过在提交代码更改时自动编译、构建和执行测试用例来集成代码更改。CI工具的使用越来越受欢迎,但专有项目如何获得CI的好处仍然是未知的。为了研究CI对软件开发的影响,我们分析了150个开源软件(OSS)项目和123个专有项目。对于OSS项目,我们观察到采用CI后的预期收益,例如,在bug和问题解决方面的改进。然而,对于专有项目,我们不能做出类似的观察。我们的研究结果表明,只有采用CI可能不足以改善软件开发过程。如果实践者有效地使用CI的反馈机制,通过应用频繁提交的实践,CI可以有效地用于软件开发。对于我们的专有项目,我们观察到实践者提交的频率较低,因此不能有效地使用CI来获得对提交的代码更改的反馈。根据我们的研究结果,我们建议行业从业者采用CI的最佳实践,以获得CI工具的好处,例如,频繁提交。
2018-09-14 cs.SE
Beyond Code: Empirical Insights into How Team Dynamics Influence OSS Project Selection
Deakin University(迪肯大学);RMIT University(皇家墨尔本理工大学)
本研究通过实证分析揭示团队动态与贡献者动机之间的关系,为设计更符合社交协作质量的OSS项目推荐系统提供依据。
2026-02-12 cs.SE
Empirical Study on Selection of Team Members for Software Projects - Data Mining Approach
任何软件行业的一个基本任务是开发客户满意的产品。然而,实现上述业务目标取决于组织中设计的产品质量的深度。因此,高质量的生产取决于过程,而过程又取决于人。IT行业的现有场景要求部署合适的人员,以通过现有流程实现产品的理想质量。本文的目标是确定标准,将用于在工业实践中选择一个软件项目团队的成员,并寻找这些标准和项目成功之间的关系。采用半结构化访谈和定性方法进行数据分析和综合,一套团队建设的标准,确定了从项目经理在行业。研究结果表明,一致使用的一套标准与项目的成功显着相关,与人为因素的标准与软件质量,从而项目的成功呈现出很强的相关性。这些知识使项目经理能够做出正确的人员配置决策,以实现预期的水平。
2014-02-11 cs.SE
An Empirical Study of the Landscape of Open Source Projects in Baidu, Alibaba, and Tencent
开源软件已经引起了越来越多的研究者、开发者和企业的关注。与此同时,许多中国科技公司正在拥抱开源,并选择将他们的项目开源。尽管如此,大多数以前的研究都集中在微软或谷歌等国际公司,而中国科技公司的开源项目的实际价值仍然不清楚。为了解决这个问题,我们进行了一项混合方法研究,以调查中国三家大型科技公司(即百度,阿里巴巴和腾讯(BAT))开源项目的情况。我们研究了开源项目的类别和特点,开发人员对这些公司的开源努力的看法,以及他们的开源项目的国际化努力。我们收集了BAT在GitHub上开源的1,000个开源项目,并进行了一项在线调查,收到了来自这些项目开发人员的101份回复。一些主要的调查结果包括:1)BAT更喜欢开源前端开发项目,2)88%的受访者对各自公司的开源软件项目持积极态度,3)64%的受访者表示BAT开源项目的最常见动机是希望获得知名度,扩大影响力和获得招聘优势,4)受访者认为最常见的国际化努力是“提供英文版的自述文件”,5)国际化努力较多的项目(即,包括英文自述文件)更受欢迎。我们的研究结果为软件工程研究人员提供了方向,并为软件开发人员和中国技术公司提供了实用的建议。
2021-03-02 cs.SE
Method Chaining Redux: An Empirical Study of Method Chaining in Java, Kotlin, and Python
将方法链接在一起可能有好处和缺点,就像在流畅的API中经常做的那样。之前的一项研究调查了Java开发人员如何在超过2700个开源项目中链接方法。该研究观察到,对于所分析的数据集,Java中方法链的使用很流行,并且似乎随着时间的推移而增加。然而,该研究仅限于较小的Java项目样本,并且也不清楚结果是否适用于其他语言。在这项工作中,我们首先通过构建类似的数据集和我们自己的分析脚本来复制先前的结果。然后,我们通过分析89k个Java项目的更大数据集来扩展这些结果,并通过分析26k个Kotlin项目和98k个Python项目来推广到其他程序设计语言。结果显示,链接在Java和Kotlin中比Python更受欢迎,Kotlin中的链接使用没有增长,Python在非测试代码中的使用更多。
2023-03-20 cs.SE
An Empirical Study on Refactoring Activity
本文报告了一个实证研究的重构活动在三个Java软件系统。我们调查了重构活动的一些问题,以确认或不同意从以前的实证研究中得出的结论。与以往的实证研究不同,我们的研究发现,并不总是有更多的重构活动之前的主要项目发布日期比之后。相比之下,我们能够确认软件开发人员对测试代码和生产代码执行不同类型的重构操作,特定的开发人员负责项目中的重构,重构编辑没有得到很好的测试。此外,floss重构在开发人员中更受欢迎,重构活动在项目中很频繁,大多数不良气味一旦发生,就会持续到系统的最新版本。通过证实其他研究人员的假设,我们可以更有信心地认为这些研究结论是可推广的。
2014-12-18 cs.SE
Multi-Programming-Language Commits in OSS: An Empirical Study on Apache Projects
Spark等现代软件系统通常使用多种程序设计语言(PL)编写。除了从代码重用中受益外,这些系统还可以利用特定PL来实现某些功能,以满足各种质量需求,并提高开发效率。在这种情况下,对这样的系统的改变可能需要修改在不同PL中写入的源文件。我们在版本控制系统中定义了多编程语言提交(MPLC)(例如,Git)作为提交,该提交涉及在两个或更多PL中写入的修改的源文件。据我们所知,在软件开发中的MPLCs现象还没有被探索过。鉴于多层次可编程逻辑控制器对开发难度和软件质量的潜在影响,我们进行了一项实证研究,以了解多层次可编程逻辑控制器的状态,其变化的复杂性,以及它们对问题的开放时间和源文件在现实生活中的软件项目的错误倾向的影响。通过对20个非平凡Apache项目205,994次提交中的MPLCs进行研究,我们发现:(1)所有项目中9%的提交是MPLCs,并且80%的项目中MPLCs的比例处于相对稳定的水平;(2)所有项目中超过90%的MPLCs涉及两个PL编写的源文件;(3)在所有项目中,多媒体可编程逻辑控制器的变更复杂度明显高于非多媒体可编程逻辑控制器;(4)在80%的项目中,多媒体可编程逻辑控制器中修复的问题比非多媒体可编程逻辑控制器中修复的问题需要更长的时间来解决;以及(5)在多媒体可编程逻辑控制器中修改过的源文件往往比从未在多媒体可编程逻辑控制器中修改过的源文件更容易出现错误。这些发现为…
2021-03-22 cs.SE
Differences in Jazz Project Leaders' Competencies and Behaviors: A Preliminary Empirical Investigation
研究影响软件开发的人为因素,并将具有特定能力和素质的个人分配给特定的软件角色,已被证明有助于软件项目的绩效。例如,先前的证据表明,外向的软件项目领导者是最成功的。基于个人能力和行为的角色分配在分布式软件开发环境中可能特别相关,在分布式软件开发环境中,团队经常受到距离,文化和个性问题的影响。这些环境中的项目领导者需要具备高水平的人际、个人内部和组织能力,才能适当管理这些问题并保持积极的项目绩效。为了理解和解释这些环境中项目领导者所需的特定能力和行为,我们使用心理语言学和定向内容分析来研究六位成功的IBM Rational Jazz领导者在协调他们的三个分布式项目时的运作方式。与之前的人格研究报告相反,我们的研究结果并没有揭示这些爵士乐领导者的普遍能力和行为。相反,Jazz项目领导者的能力和行为随着他们的项目任务组合而变化。我们的研究结果表明,一个务实的方法,考虑正在开发的软件任务的性质,可能是一个更有效的战略分配领导者的分布式软件团队,对战略,促进特定的个性类型。我们讨论了这些发现,并概述了分布式软件项目治理的影响。
2021-06-20 cs.SE
GenAI-Enabled Backlog Grooming in Agile Software Projects: An Empirical Study
本研究针对敏捷开发中待办事项冗杂问题,通过设计科学方法开发了集成向量数据库与GPT-4o模型的Jira插件,实现自动检测重复项并提出合并或删除建议,实验表明该工具在保持100%精确度的同时将完成时间减少45%。
2025-07-14 cs.SE
An Empirical Study of ChatGPT-Related Projects and Their Issues on GitHub
本文基于 GitHub 上 200 个高星 ChatGPT 相关项目及其 23,609 个议题,通过主题建模识别三类项目和十个议题主题,分析其流行度、难度与演化差异,并为开发者和平台管理者提供改进建议。
2024-08-11 cs.SE
An Empirical Study of Security-Policy Related Issues in Open Source Projects
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Osaka(大阪大学)
本研究通过分析 711 个问题及比较六类社区健康文件,发现安全文件相关请求多为添加文件,且含链接的报告关闭更快,为改进安全报告策略提供实证依据。
2025-10-16 cs.SE
Exploring Multi-Programming-Language Commits and Their Impacts on Software Quality: An Empirical Study on Apache Projects
本研究通过对18个Apache项目的197,566次提交进行实证分析,发现多编程语言提交(MPLCs)显著增加开发复杂度、延长问题解决时间并引入更多缺陷,从而降低软件质量。
2023-11-12 cs.SE
An Empirical Study of User Support Tools in Open Source Software
最终用户的积极响应对于任何软件的成功都是至关重要的。商业软件和开源软件(OSS)都是如此。开放源码软件之所以受欢迎,不仅是因为它通常是免费的,而且还因为它通常通过公共平台提供的用户支持。本研究的研究模式建立了开放源码软件用户支持和可用的支持工具之间的关系。为了进行这项研究,我们使用了不同类别的100个OSS项目的数据集,并检查了不同OSS项目提供的五个用户支持工具。结果表明,项目跟踪器、用户邮件列表和更新版本在获得用户支持方面发挥着重要作用。然而,我们无法找到用户支持和文档之间的重要联系,以及用户支持和OSS项目提供的故障排除指南之间的重要联系。
2020-05-20 cs.SE
LLM-based Vulnerability Detection at Project Scale: An Empirical Study
School of Computer Software, College of Intelligence and Computing, Tianjin University(天津大学计算机科学与技术学院);International Joint Institute of Tianjin University(天津大学国际联合学院);Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education, School of Computer Science, Peking University(北京大学计算机科学学院,教育部高可信软件技术重点实验室)
本文研究了基于LLM的项目级漏洞检测方法,发现其在召回率低的情况下仍能发现更多漏洞,但存在高误报率和计算成本问题。
2026-09-28 cs.SE
You can contribute if you... An Empirical Framework of AI Contribution Policies in OSS
Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学);University of Victoria(维多利亚大学)
本文实证研究开源软件中AI贡献政策,提出AI贡献治理框架,以规范AI中介贡献并保护维护者注意力与问责制。
2026-09-09 cs.SE
The Promise and Reality of Continuous Integration Caching: An Empirical Study of Travis CI Builds
Trent University(特伦特大学);University of Otago(奥塔哥大学);Queen’s University(女王大学)
本文通过分析513,384次构建,发现仅30%的项目采用缓存,早期采用者通常更成熟,且缓存维护复杂,部分项目面临缓存过期和损坏问题。
2026-03-19 cs.SE
The Landscape of Toxicity: An Empirical Investigation of Toxicity on GitHub
该研究通过大规模混合方法实证分析2828个GitHub开源项目,使用ToxiCR检测并手动验证评论毒性,揭示了毒性类型、项目特征与参与者行为的关联,为缓解开源社区毒性提供了数据支撑。
2025-02-12 cs.SE
Bug Priority Change: An Empirical Study on Apache Projects
本研究针对Apache开源项目中bug优先级变更的现象展开定量实证分析,揭示了变更比例、时间、规律及影响因素,为优化bug修复流程提供了数据支撑。
2024-03-08 cs.SE
An empirical study of public data quality problems in cross project defect prediction
背景:Jureczko和NASA两个公开的缺陷数据集已被广泛用于跨项目缺陷预测(CPDP)。缺陷数据的质量是影响缺陷预测性能的一个重要因素,Shepperd等人研究了NASA数据集的数据质量问题。然而,到目前为止,还没有研究集中在Jureczko数据集的质量问题,这是最广泛使用的CPDP。目标:在本文中,我们打算研究Jureczko数据集中的相同和不一致情况的问题,并验证删除这些有问题的情况是否会对CPDP中的缺陷预测性能产生影响。方法:分别从单个数据集和不同版本的数据集两个方面分析了软件项目中的相同和不一致问题。然后,通过删除重复和不一致的情况,提供Jureczko数据集的清理版本。最后,采用三种训练数据选择方法,比较了清洗数据集和原始数据集的缺陷预测性能。结果:在AUC和F-Measure方面的实验结果表明,大多数数据集获得了非常不同的缺陷预测性能。结论:因此,对CPDP中的数据质量问题进行研究是非常必要的,而经过清洗的Jureczko数据集可以为CPDP提供更可靠的缺陷预测性能。
2018-05-28 cs.SE
An Empirical Analysis of Cross-OS Portability Issues in Python Projects
Federal University of Pernambuco(伯南布哥联邦大学);North Carolina State University(北卡罗来纳州立大学)
本研究首次大规模实证分析Python跨操作系统可移植性问题,通过测试重执行和GitHub问题分析,提出分类体系并验证LLM修复能力,为开发者提供实践指导。
2026-09-25 cs.SE
Role of CI Adoption in Mobile App Success: An Empirical Study of Open-Source Android Projects
University of Toronto(多伦多大学);Trent University(特伦特大学)
本文研究了持续集成在开源Android项目中的影响,发现采用CI的项目规模更大、更活跃,发布更快,且在应用商店表现更佳。
2026-02-02 cs.SE
Empirical Analysis on CI/CD Pipeline Evolution in Machine Learning Projects
本研究首次针对ML项目的CI/CD配置演化开展实证分析,通过多维度分析识别变更类别、模式及不良实践,发现经验丰富的开发者更倾向于修改CI/CD配置。
2025-02-23 cs.SE
Investigating the Significance of the Bellwether Effect to Improve Software Effort Prediction: Further Empirical Study
内容:在解决如何最好地估计开发软件所需的工作量时,最近的一项研究发现,在软件工作量预测(SEP)模型中使用示例性和最近完成的项目[形成领头羊移动窗口(BMW)]可以相对提高准确性。需要进行更多的研究,以确定是否宝马产量提高精度一般,因为不同的尺寸和老化参数的宝马是众所周知的影响精度。目的:调查是否存在具有定义的窗口大小和年龄参数的示例性项目(领头羊),以及它们在SEP中的使用是否提高了预测精度。方法:基于未来事件的预测结果取决于先前事件的结果这一理论,我们实证研究了移动窗口假设。采用三种引入的领头羊方法(SSPM,SysSam和RandSam)对领头羊进行取样。用遍历马尔可夫链来确定贝尔韦瑟模型的平稳性。结果如下:实证结果表明,1)领头羊存在于SEP和2)宝马有大约50至80个示范项目的大小,不应该超过2年的新项目相对于估计。结论:该研究的结果进一步增加了对Bellwethers的推荐使用的权重,以提高SEP的预测准确性。
2021-05-16 cs.SE
Not All Dependencies are Equal: An Empirical Study on Production Dependencies in NPM
现代软件系统通常是通过利用其他人以库和包的形式编写的代码来构建的,以加速其开发。虽然使用第三方软件包有很多好处,但软件项目往往依赖于大量的软件包。因此,开发人员面临着通过保持项目依赖性的最新和无安全漏洞来维护项目依赖性的艰巨挑战。然而,在生产环境中,项目依赖关系会对项目的安全性构成威胁,这种情况有多频繁?我们使用Node Package Manager(npm)对100个JavaScript项目进行了实证研究,以量化项目依赖关系发布到生产环境的频率,并分析其特征及其对安全性的影响。我们的结果表明,只有不到1%的已安装依赖项被发布到生产环境。我们的分析表明,软件包的功能不足以决定它是否会被发布到生产环境。事实上,59%的已安装依赖配置为运行时依赖,并没有在生产中使用,而28.2%的依赖配置为开发依赖在生产中使用,揭穿了依赖管理的两个常见假设。调查结果还表明,大多数安全警报针对的是生产中未使用的依赖项,这使得它们极不可能对软件的安全性构成风险。我们的研究揭示了依赖管理更复杂的一面:并非所有的依赖都是平等的。生产中使用的安全性对安全性暴露更敏感,应优先考虑。然而,当前的工具在识别生产依赖性方面缺乏适当的支持。
2022-08-29 cs.SE
When Large Language Models Meet UAV Projects: An Empirical Study from Developers' Perspective
University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学);Zhejiang University(浙江大学);Guangdong University of Finance and Economics(广东财经大学);Qufu Normal University(曲阜师范大学)
通过分析997篇论文和1509个GitHub项目,并调查52位从业者,本研究分类了无人机项目中大型语言模型(LLM)的九种常见任务和四种工作流,揭示了研究与工业实践之间的差异,并指出了整合LLM的五大挑战因素。
2026-06-01 cs.SE
Technical Debt Management in OSS Projects: An Empirical Study on GitHub
技术债(TD)是指延迟的任务和不成熟的工件,可能会带来短期的好处,但在长期的维护和发展过程中会产生额外的更改成本。在过去的十年中,人们对TD进行了广泛的研究,许多开源软件项目被用来探索TD的具体方面,并验证TD管理的各种方法。然而,对于开放源码软件开发中的时分复用实践,仍然缺乏全面的理解,这渗透了开放源码软件社区对时分复用概念的理解,以及在开放源码软件开发中如何管理时分复用。为此,我们对整个GitHub进行了实证研究,以探索基于OSS项目中的问题的TDM的采用和执行。我们从GitHub的问题跟踪系统中收集了2009年至2020年期间分布在3,598个存储库中的35,278个标记为TD(TD问题)的问题。调查结果如下:(1)开放源码软件社区正在接受TD概念;(2)对TD实例的分析表明,TD可能会影响软件系统的内部和外部质量;(3)在31.1%的存储库中只发现了一个TD问题,在69.0%的存储库中,所有TD问题都是由一个开发人员发现的;(4)27.3%的知识库在发现TD问题后忽视了TDM;(5)在有TD标签的知识库中,32.9%的知识库放弃了TDM,只有8.2%的知识库采用TDM作为一贯做法。这些发现为TDM实践者提供了有价值的见解,并为进一步调查提供了有前途的研究方向。
2022-12-11 cs.SE
An Empirical Study of CGO Usage in Go Projects -- Distribution, Purposes, Patterns and Critical Issues
对920个开源Go项目的CGO使用进行实证研究,开发CGOAnalyzer工具揭示其分布、目的、模式及19类关键问题,并提出工具链改进方案以提升开发效率与可靠性。
2025-08-13 cs.SE
An Empirical Study of Usages, Updates and Risks of Third-Party Libraries in Java Projects
第三方库是开发软件系统的核心构建块。然而,过时的第三方库通常被使用,开发人员通常不太了解潜在的风险。因此,对第三方图书馆的使用、更新和风险进行定量和全面的研究,可以为可持续地改善生态系统提供实践性的见解。在本文中,我们在Java生态系统中进行了这样的研究。具体而言,我们进行库使用分析(例如,使用强度和过时性)和库更新分析(例如,更新强度和延迟)使用806个开源项目。这两项分析旨在从开源项目和第三方库的角度全面量化使用和更新实践。然后,我们进行库风险分析(例如,潜在的风险和开发人员的反应)的错误与15个常用的第三方库。该分析旨在量化使用过时库的潜在风险以及开发人员对风险的响应。我们从三个分析中得出的结论为开发人员和研究人员提供了关于维护第三方库(例如,智能警报和自动更新过时的库)。为了证明我们的研究结果的有用性,我们提出了一个错误驱动的警报系统,以帮助开发人员在更新第三方库版本时做出自信的决定。我们已经发布了我们的数据集,以促进有价值的应用程序和改善生态系统。
2020-02-25 cs.SE
An extensive empirical study of inconsistent labels in multi-version-project defect data sets
缺陷数据集的标注质量直接影响缺陷预测模型的可靠性。在这项研究中,对于多版本项目缺陷数据集,我们提出了一种方法来自动检测标签不一致的实例(即具有相同的源代码,但不同的标签在多个版本的软件项目的实例的现象),并了解其对缺陷预测模型的评估和解释的影响。基于五个多版本项目缺陷数据集(无论是广泛使用的还是最新的文献中),我们发现:(1)在所调查的缺陷数据集中,大多数版本都包含不同程度的不一致标签;(二)在训练数据集合中存在不一致的标签可显著地改变缺陷预测模型的预测性能识别实质上不同的真正有缺陷的模块;以及(3)由于存在不一致的标签,缺陷预测模型中的独立变量的重要性排序可以实质上改变。上述发现揭示了缺陷数据集中不一致的标签可以深刻地改变缺陷预测模型的预测能力和解释。因此,我们强烈建议从业者应该检测和排除缺陷数据集中不一致的标签,以避免其对缺陷预测模型的潜在负面影响。更重要的是,研究人员有必要改进现有的缺陷标签收集方法,以减少不一致的标签。此外,有必要重新检查以前的研究使用多版本项目的缺陷数据集与高比例的不一致的标签的实验结论。
2021-01-27 cs.SE
Continuous integration in a social-coding world: Empirical evidence from GitHub. **Updated version with corrections**
持续集成是一种软件工程实践,它频繁地将所有开发人员的工作副本与一个共享的主分支合并,例如,一天几次随着GitHub的出现,一个以其“社交编码”功能而闻名的平台,该功能有助于协作和共享,并且目前是开源世界中最大的代码主机,协作软件开发从未如此突出。在GitHub开发中,可以区分两种类型的开发人员对项目的贡献:直接贡献,来自对主项目存储库具有写访问权限的典型的一小群开发人员,以及间接贡献,来自分叉主存储库的开发人员,在本地更新他们的副本,并提交pull请求进行审查和合并。在本文中,我们将探讨GitHub开发人员如何使用持续集成,以及贡献类型(直接与间接)和不同的项目特征(例如,主程序设计语言或项目年龄)与自动构建的成功相关联。
2015-12-06 cs.SE
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Queen’s University(女王大学)
本文研究了GitHub上代理编码生成的拉取请求的接受情况,发现83.8%的PR被合并,其中54.9%无需修改,剩余需人类修订。
2026-02-09 cs.SE
An Empirical Study on the Effectiveness of Data Resampling Approaches for Cross-Project Software Defect Prediction
跨项目缺陷预测(CPDP),其中来自不同的软件项目的数据被用来预测缺陷,已被提出作为一种方式来提供数据的软件项目,缺乏历史数据。最近的研究表明,使用最近邻(NN)滤波器方法对CPDP模型进行评估的结果很有希望。缺陷预测数据集的一个关键挑战是类不平衡,这是一个高度倾斜的数据集,其中非错误模块占主导地位的错误模块。在过去,数据恢复方法已被应用于项目内缺陷预测模型,以帮助减轻数据集中类不平衡的负面影响。为了解决CPDP中的类不平衡问题,作者评估了应用NN过滤器后数据恢复方法对CPDP模型的影响。研究了五种过采样方法(MAHAKIL,SMOTE,Borderline-SMOTE,Random Oversampling和ADASYN)和三种欠采样方法(Random Undersampling,Tomek Links和Onesided selection)对预测性能的影响,并将结果与没有数据恢复的方法进行了比较。作者在从PROMISE库中提取的34个数据集上检查了6个缺陷预测模型。作者的研究结果表明,有一个显着的积极影响,CPDP性能的数据恢复,这表明软件质量团队和研究人员应该考虑应用数据恢复方法,提高召回(PD)和g-测量预测性能。然而,如果目标是提高精度和减少虚警(pf),则应避免数据恢复方法。
2022-06-16 cs.SE
Understanding Resolution of Multi-Language Bugs: An Empirical Study on Apache Projects
本文通过对 54 个 Apache 项目中的 66,932 个缺陷进行实证研究,揭示了多编程语言缺陷在比例、变更复杂度、开放时间和重新打开率等方面的特征,并识别出 6 个成因和 5 种跨语言调用机制,表明多语言缺陷会增加开发难度。
2023-07-05 cs.SE
Organizational Cohesion in Microservice Architectures: A Multi-Project Empirical Study
Free University of Bozen-Bolzano(博尔扎诺自由大学)
提出组织内聚性概念及度量方法PTC,通过Spinnaker等7个开源系统分析,发现核心与外围服务存在系统性差异,PTC与AOC弱相关,揭示团队内聚与跨服务开发活动的不同组织动态。
2026-06-19 cs.SE
Attaining High-performing Software Teams with Agile and Lean Practices: An Empirical Case Study
本文提出了一个关于自组织软件团队如何使用敏捷和精益实践获得高绩效的实证研究。特别是,本文定性地考察了一个项目团队的高绩效和自组织特征.所研究的案例是一个客户驱动的学生项目,旨在开发一个alpha版本的原型。本文还研究了某些敏捷软件实践如何帮助团队初始化自组织。主要结果表明,自组织的支持下,一定的敏捷和精益实践,帮助团队实现更高的绩效。
2013-11-27 cs.SE
Exploring Factors and Metrics to Select Open Source Software Components for Integration: An Empirical Study
开源软件(Open Source Software,OSS)目前被广泛使用并集成在大多数商业产品中。然而,选择开放源码软件项目进行整合并不是一个简单的过程,主要是由于缺乏明确的选择模式和缺乏来自开放源码软件门户的信息。[目的]探讨目前从业人员在选择OSS时所考虑的因素和衡量标准。我们还调查了可用于评估因素的信息和门户网站的来源,以及使用API自动提取此类信息的可能性。[方法]通过对23名经常在软件中集成OSS的有经验的开发人员进行问卷调查,得出OSS评估和比较所采用的因素和指标。此外,我们还调查了用于评估GitHub中最受欢迎的10万项目的OSS提取信息的门户的API。[结果]我们确定了一个由8个主要因素和74个子因素组成的集合,以及170个相关指标,企业可以使用这些指标来选择要集成到其软件项目中的OSS。出乎意料的是,只有一小部分因素可以自动评估,在170个指标中,只有40个可用,其中只有22个返回了所有10万个项目的信息。因此,我们建议项目维护者和项目存储库注意为他们托管的项目提供信息,以增加被采用的可能性[结论] OSS选择可以部分自动化,通过从门户API提取选择所需的信息。OSS生产商可以从我们的结果中受益,检查他们是否提供了潜在采用者通常需要的所有信息。
2022-02-04 cs.SE
An Empirical Study of Java Code Improvements Based on Stack Overflow Answer Edits
Faculty of Information and Communication Technology, Mahidol University(马希达大学信息与通信技术学院);State University of Ceara (UECE)(塞阿拉州立大学)
本研究通过分析Stack Overflow的Java回答编辑,识别可改进的开源Java代码,发现近7%的采纳回答有多次修订,近半数编辑代码可应用于开源项目,11个bug修复方案被接受。
2026-08-25 cs.SE
Dynamics of Open-Source Software Developer's Commit Behavior: An Empirical Investigation of Subversion
提交是开源软件版本控制的一个重要操作。最近的研究一直在探索这种操作的统计规律,但很少有这些论文对提交间隔进行实证研究(即,两个连续提交之间的等待时间)。本文从提交间隔分布的角度研究了软件开发人员的集体和个人提交行为,发现1)所分析的项目生命周期和每个版本的项目级提交间隔数据集大致遵循幂律分布; 2)类文件的生命周期和版本级集体提交间隔也可以最好地拟合幂律分布。这些发现揭示了开放源码软件项目的一些一般(集体)协作开发模式,例如,在两次连续提交到中央存储库之间的大多数等待时间都很短,但只有少数提交经历了长时间的等待。然后,我们发现的OSS研究的影响进行了概述,这可以提供一个洞察到更好地理解OSS开发过程中基于软件开发人员的历史提交行为。
2013-11-23 cs.SE
Uncertainty Management in Software Projects: A Case Study in a Public Company
软件开发满足快速增长的市场的各种挑战。为了应对这些挑战,需要设计和采用具体的发展方法。然而,各种项目管理方法都没有考虑到项目中存在的不确定性。在本文中,我们提出了一个案例研究的结果,我们探讨如何应用管理不确定性软件项目(MUPS)的方法。我们这样做的实证调查在巴西的一个公共组织。本研究的目的是有助于身体的知识有关的MUSP方法的潜在好处。实证研究的结论将有助于研究人员和从业人员更好地了解哪些好处已经在实践中实现,以及如何才能最好地实现这些好处。
2019-02-15 cs.SE
Faster or Slower? Performance Mystery of Python Idioms Unveiled with Empirical Evidence
Python习惯用法在Python开发人员中很受欢迎,在Stack Overflow上对101个与Python习惯用法有关的性能问题进行的形成性研究中,我们发现开发人员经常对Python习惯用法的性能影响感到困惑,并使用轶事玩具代码或依赖于个人项目经验,这在性能结果中往往是矛盾的。一直没有大规模的,系统的经验证据来调和这些性能的争论。在本文中,我们创建了一个大型的合成数据集,其中包含24,126对非惯用和功能等效的惯用代码,用于Zhang等人确定的9种独特的Python惯用法,本文提出了一种可靠的性能度量方法,比较了惯用代码与非惯用代码的性能提升或降低,分析了合成代码与真实项目代码之间的性能差异、代码特征与性能变化之间的关系以及字节码级别性能变化的根本原因。我们总结了我们的发现,作为使用Python习惯用法的一些可操作的建议。
2023-01-30 cs.SE
Contributors Preference in Open Source Software Usability: An Empirical Study
开放源码软件的用户数量实际上是无限的,软件质量最终取决于最终用户的体验,这一事实使得可用性成为比专有软件更为关键的质量属性。随着个人和组织使用开源项目的急剧增加,可用性水平和相关问题必须得到更认真的解决。本实证调查的研究模型从贡献者的角度研究并建立了关键可用性因素与OSS可用性之间的关系。78 OSS贡献者,包括架构师,设计师,开发人员,测试人员和用户从22个不同规模的开源项目的数据集已被用来研究的研究模型。本研究的结果提供了经验证据,指出突出的关键因素发挥了重要作用,在提高开放源码软件的可用性。
2015-07-24 cs.SE
The Construction of an Empirical Dataset of Incomplete Software Changes from Open Source Projects
Institute of Science Tokyo(东京科学大学)
本研究构建了从开源项目中挖掘真实不完整变更的数据集,分析其特征,并重新评估了共同变更规则提取方法LCExtractor,发现多数遗漏变更涉及少量文件。
2026-09-29 cs.SE
An Empirical Study on the Classification of Bug Reports with Machine Learning
本文针对缺陷报告错误分类导致人工成本高的问题,利用超66万份异构项目问题报告数据,实证研究了项目语言等因素对机器学习分类模型性能的影响,并提出了数据与算法选择指南。
2025-03-01 cs.SE