Diversity, Productivity, and Growth of Open Source Developer Communities
开源开发模式已经成为传统的内部/闭源软件开发模式的范式转变,并取得了许多成功。传统上,开源项目的主要特征是他们的个人志愿者开发人员。特别是在许多组织的参与下,这种传统发生了重大变化。然而,关于开源开发人员社区如何发展,存在着知识差距。在本文中,我们提出了一些关于开源开发者社区的观察。特别是,我们分析了20个知名开源项目的git存储库,总共有超过300万个提交活动。分别用Spearman秩相关系数、多样性指数和Gompertz/logistic曲线从生产力、多样性和生长三个方面进行了分析。我们发现:(a)积极贡献者和提交活动之间的斯皮尔曼等级相关系数揭示了开发者社区规模的变化如何影响社区的生产力;(b)开源开发者社区的多样性指数揭示了社区的结构;和(c)开放源码开发者社区的增长可以用增长曲线的不同阶段来描述,就像在许多有机物中一样。
2018-09-11 cs.SE
A Hybrid Model for Estimating Software Project Effort from Use Case Points
早期的软件工作量估算是成功的软件项目管理的标志。建立可靠的工作量估算模型通常需要历史数据。不幸的是,由于在软件开发的早期阶段可用的信息是稀缺的,建议使用软件规模度量作为工作量估计的关键成本因素。用例点(UCP)是一个主要为面向对象项目设计的突出的规模度量。然而,目前还没有一个成熟的模型可以将UCP转化为相应的努力,因此,大多数模型都将生产力作为第二成本驱动因素。这些模型中的生产率通常是由专家猜测的,不依赖于历史数据,这使得它具有不确定性。因此,这些模型没有使用大量的历史数据进行很好的检验。在本文中,我们设计了一个混合模型,包括分类和预测阶段,使用支持向量机和径向基神经网络。所提出的模型是在从工业和学生项目中收集的大量观察结果上构建的。该模型与以前的UCP预测模型进行了比较。验证和实证结果表明,所提出的模型显着优于所有数据集上的这些模型。主要结论是:利用UCP的环境因子可以对生产力进行分类和评价。
2016-10-08 cs.SE
Evaluating the Impact of Pair Documentation on Requirements Quality and Team Productivity
本文通过对照实验比较结对文档与传统文档,发现两人协作编写需求可显著提升SRS质量与团队生产力,为组建高效需求工程团队提供依据。
2023-04-27 cs.SE
How does Working from Home Affect Developer Productivity? -- A Case Study of Baidu During COVID-19 Pandemic
如今,在家工作(WFH)已经成为一种流行的工作安排,因为它对公司和员工都有许多潜在的好处(例如,提高员工的工作满意度和保留率)。许多以前的研究调查了在家工作对员工生产力的影响。然而,这些研究大多采用调查、访谈等定性分析方法,且研究对象并非长期在家工作。由于2019冠状病毒病(COVID-19)爆发,大量公司要求员工在家工作,这为我们提供了一个调查在家工作是否影响其生产力的机会。在这项研究中,为了调查开发人员在家工作和在现场工作的生产力差异,我们基于中国最大的IT公司之一百度公司的开发人员日常活动数据集进行了定量分析。我们总共收集了139个开发者在138个工作日内的活动的大约4000条记录。在这些记录中,1,103条记录是在开发人员因COVID-19疫情在家工作时提交的。我们发现,WFH在不同的指标方面对开发人员的生产力有积极和消极的影响,例如,构建/提交/代码审查的数量。我们还注意到,在家工作对具有不同特征的项目有不同的影响,包括程序设计语言、项目类型/年龄/规模。例如,在家工作对大型项目的开发人员生产力有负面影响。此外,我们发现不同的开发人员的生产力不同。基于这些发现,我们得到了百度开发者的一些反馈,并了解了WFH对开发者生产力有不同影响的一些原因。
2021-03-25 cs.CY cs.SE
A Deep Dive on the Impact of COVID-19 in Software Development
背景:COVID-19疫情影响全球不同行业。Objective.本研究调查了COVID-19对软件项目和软件开发专业人员的影响。方法:我们使用10个不同的指标,基于100个用Java开发的GitHub项目进行了挖掘软件存储库研究。接下来,我们调查了279名软件开发专业人士,以更好地了解COVID-19对日常活动和健康的影响。结果:我们确定了12个与生产力、代码质量和幸福感相关的观察结果。结论:我们的研究结果强调,COVID-19的影响不是二元的(降低生产力与提高生产力),而是一个频谱。对于我们的许多观察,相当大比例的受访者有不同的意见。我们认为,需要更多的研究来揭示导致某些结果更加普遍的特定条件。
2020-08-17 cs.SE
Assessment of a hybrid software development process for student projects: a controlled experiment
近年来,人们对混合开发方法产生了浓厚的兴趣,因为实践者将各种方法结合起来进行软件创建,以提高生产率,产品质量和过程对变化的适应性。关于这一主题的科学论文激增,但在学术背景下对混合方法的有效性的评估尚未跟上。提出的工作调查,如果引入一个混合的方法为学生项目带来了附加值相比,迭代和顺序开发。在法国一所工程学校的本科生中进行了一项对照实验,以评估给定的开发方法对学生计算事业成功的影响。它的三个维度通过一组指标进行了检查:产品质量,团队生产力以及人为因素(团队合作质量和学习成果)。观察到几种模式,这可以提供一个起点,教育工作者和研究人员希望定制或设计一个软件开发过程的学术需求。
2021-03-05 cs.SE
Breaks and Code Quality: Investigating the Impact of Forgetting on Software Development. A Registered Report
本注册报告提出实证研究,探究开发者活动中断时长、项目活动量及不同活动模式对代码质量的影响,为判断并行多项目开发或减少参与项目数哪种更有益提供依据。
2023-08-28 cs.SE
The Impact of AI-Generated Solutions on Software Architecture and Productivity: Results from a Survey Study
本研究通过调查软件从业者,发现AI工具显著提升生产力,但收益随项目复杂度增加而降低;对较小代码片段无质量负面影响,复杂问题需架构师进行分解与集成。
2025-06-21 cs.SE
Investigating Effort Prediction of Software Projects on the ISBSG Dataset
在过去的三十年里,已经提出了许多成本估算模型。在这项研究中,我们研究模糊ID3决策树作为软件工作量估计的方法。结合ID3决策树的原理和模糊集合论的概念,设计了模糊ID软件工作量估算模型,使该模型能够处理不确定和不精确的软件项目数据。MMRE(相对误差的平均幅度)和Pred(l)(在水平l的预测)被用作本研究的预测准确度的测量。使用ISBSG软件项目数据集进行了一系列实验。模糊树生长使用不同的模糊控制阈值。结果表明,优化模糊ID3参数可以大大提高软件成本估算的准确性。
2012-04-11 cs.SE
Big Data = Big Insights? Operationalising Brooks' Law in a Massive GitHub Data Set
来自软件存储库和协作工具的大量数据被广泛用于研究软件开发中的社会方面。最近的几篇文章提出的一个问题是,软件项目的规模和结构如何影响团队的生产力,这是布鲁克斯定律中著名的问题。最近使用大量存储库数据的研究表明,大型团队中的开发人员往往比小型团队的生产力低。尽管使用类似的方法和数据,其他研究认为团队规模和生产力之间存在正线性甚至超线性关系,从而质疑软件经济学认为软件项目是规模不经济的观点。在我们的工作中,我们研究的挑战,可以解释最近的研究开发人员的生产力在大量的存储库数据之间的分歧。据我们所知,我们还提供了最大的、精心策划的GitHub项目语料库,旨在调查团队规模和协作模式对个人和集体生产力的影响。我们的工作有助于正在进行的讨论,在操作的假设成功的软件项目的决定因素的生产力指标的选择。它进一步强调了大数据分析中的一般陷阱,并表明使用更大的数据集并不会自动带来更可靠的见解。
2022-01-12 cs.CY cs.SE cs.SI
ChatGPT as a Software Development Bot: A Project-based Study
本研究通过一项为期三个月、七名学生参与的本科软件工程项目,评估了 ChatGPT 作为开发支持工具在弥补技能差距、提升效率与协作方面的作用,并强调教育中需平衡使用 AI 工具。
2024-02-22 cs.SE
Investigating the Significance of Bellwether Effect to Improve Software Effort Estimation
领头羊效应是指在历史数据集中存在用于提高预测性能的示例性项目(称为领头羊)。最近的研究表明,使用最近完成的项目(称为移动窗口)来提高预测精度的隐含假设。在本文中,我们研究了使用移动窗口的软件工作量估计精度的领头羊效应。领头羊的存在是基于六个假设的经验证明的。我们应用统计分层和马尔可夫链方法来选择领头羊移动窗口。由此产生的领头羊移动窗口被用来预测一个新项目的软件工作量。实证结果表明,领头羊效应存在于时序数据集与一组示范和最近完成的项目代表的领头羊移动窗口。研究结果表明,采用带高斯加权函数的Bellwether移动窗口可以显著提高预测精度。
2021-05-29 cs.SE
Measuring the Impact of Technical Debt on Development Effort in Software Projects
本研究针对软件项目中技术债务影响开发效率的问题,结合开源与企业项目数据实证分析技术债务带来的额外工作量及推迟偿还的长期影响,提出技术债务管理框架以助力相关人员管控其对生产力和成本的影响。
2025-02-22 cs.SE
Experimental Analysis of Productive Interaction Strategy with ChatGPT: User Study on Function and Project-level Code Generation Tasks
Adelaide University(阿德莱德大学);Korea Advanced Institute of Science(韩国科学技术院)
本研究通过36名参与者的用户研究,分析15个HLI特征,提出3个生产力因素、5项指导原则及29种错误分类,以提升LLM代码生成交互效率。
2026-09-09 cs.AI cs.SE
Investigating the Significance of the Bellwether Effect to Improve Software Effort Prediction: Further Empirical Study
内容:在解决如何最好地估计开发软件所需的工作量时,最近的一项研究发现,在软件工作量预测(SEP)模型中使用示例性和最近完成的项目[形成领头羊移动窗口(BMW)]可以相对提高准确性。需要进行更多的研究,以确定是否宝马产量提高精度一般,因为不同的尺寸和老化参数的宝马是众所周知的影响精度。目的:调查是否存在具有定义的窗口大小和年龄参数的示例性项目(领头羊),以及它们在SEP中的使用是否提高了预测精度。方法:基于未来事件的预测结果取决于先前事件的结果这一理论,我们实证研究了移动窗口假设。采用三种引入的领头羊方法(SSPM,SysSam和RandSam)对领头羊进行取样。用遍历马尔可夫链来确定贝尔韦瑟模型的平稳性。结果如下:实证结果表明,1)领头羊存在于SEP和2)宝马有大约50至80个示范项目的大小,不应该超过2年的新项目相对于估计。结论:该研究的结果进一步增加了对Bellwethers的推荐使用的权重,以提高SEP的预测准确性。
2021-05-16 cs.SE
Investigating CI/CD-based Technical Debt Management in Open-source Projects
University of Groningen(格罗宁根大学);University of São Paulo(圣保罗大学)
本文通过分析GitHub上的60万Travis CI配置文件,探讨了技术债务管理工具在CI/CD流水线中的使用情况,发现大多数工具通过外部脚本执行,且'无反馈'是常见配置反模式。
2026-04-12 cs.SE
Does Co-Development with AI Assistants Lead to More Maintainable Code? A Registered Report
本研究通过两阶段受控实验,评估AI助手对软件可维护性的影响,采用贝叶斯分析比较完成时间、感知生产力、代码质量与测试覆盖率。
2024-08-20 cs.SE
Quality Gatekeepers: Investigating the Effects ofCode Review Bots on Pull Request Activities
该研究结合 GitHub 1,194 个项目的断点回归分析与 12 名从业者访谈,揭示代码审查机器人对 PR 合并、未合并数量及开发者沟通的影响。
2022-03-30 cs.SE
Will You Come Back to Contribute? Investigating the Inactivity of OSS Core Developers in GitHub
一些开放源码软件(OSS)项目依赖于其开发社区的连续性来保持可持续性。了解开发人员如何变得不活跃或为什么他们休息可以帮助社区防止放弃并激励开发人员回来。在本文中,我们提出了一种新的方法来识别开发人员的非活跃期,通过分析个人的节奏贡献的项目。使用这种方法,我们定量分析了托管在GitHub上的18个OSS组织中核心开发人员的不活动情况。我们还调查了核心开发人员,以获得他们对已确定的中断和过渡的反馈。我们的研究结果表明,我们的方法是有效的识别开发商的休息。大约94%的受访核心开发人员同意我们的不活动状态模型; 71%和79%的人分别承认他们的休息和状态转换。我们还发现,所有的核心开发人员都会休息(至少一次),其中大约一半(约45%)已经完全脱离项目至少一年。我们还分析了转换到/从不活动状态的概率,发现暂停活动的开发人员有大约35- 55%的机会返回到活动状态;然而,如果中断持续一年或更长时间,那么恢复活动的概率下降到大约21- 26%,完全脱离的可能性为大约54%。这些结果可能有助于制定政策和机制,使开放源码软件社区管理人员意识到中断和潜在的项目放弃。
2021-06-30 cs.SE
Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
Model Evaluation & Threat Research (METR)(模型评估与威胁研究(METR))
通过随机对照试验评估2025年初AI工具对资深开源开发者的影响,发现AI非但未提速,反而使任务完成时间增加19%。
2025-07-25 cs.AI cs.HC cs.SE
Investigating the Impact of SOLID Design Principles on Machine Learning Code Understanding
本研究通过受控实验,发现采用SOLID设计原则能显著提升机器学习代码的理解性,建议在数据科学社区推广这些原则以增强代码可维护性。
2024-02-08 cs.SE
Predicting Community Smells' Occurrence on Individual Developers by Sentiments
社区气味出现在次优的软件开发社区结构中,导致不可预见的额外项目成本,例如,生产力下降,技术债务增加。以前的研究分析和预测社区气味的粒度社区亚组使用社会技术因素。然而,重构这种气味需要开发人员单独努力。要消除这些障碍,必须根据其主题和工作状态,为每个开发人员制定相应的支持措施。最近的研究表明,开发人员的个性可能会影响社区气味的变化,他们的情绪可能会影响生产力。因此,情绪可以被评估来预测社区气味在他们身上的发生。为此,本文构建了一个面向开发人员的感知社区气味预测模型,考虑了组织筒仓,孤狼和瓶颈等3种气味。此外,它还预测开发商是否在受到任何气味影响后离开社区。所提出的模型实现了跨项目和项目内的预测F-测量范围从76%到93%。研究还发现,与活跃度指标相比,6个情感特征具有更强的预测能力。祈使语和指示性表达、礼貌和几种情绪是最有力的预测因素。最后,我们统计测试的平均值和分布的情感特征。根据我们的研究结果,我们建议开发人员应该以直接和礼貌的方式进行沟通。
2021-03-12 cs.SE
Investigating Collaboration Within Online Communities: Software Development Vs. Artistic Creation
在线创意社区已经能够开发大型开源软件(OSS)项目,如Linux和Firefox,通过互联网进行成功的合作。这些社区还扩展到创意艺术领域,如动画,视频游戏和音乐。尽管它们越来越受欢迎,但导致这些社区成功合作的因素并不完全清楚。在下文中,我描述了我的博士研究项目,旨在改善创意艺术社区的沟通,协作和保留,从有关OSS社区的文献中获得的经验开始。
2018-03-21 cs.SE cs.SI
SheetCopilot: Bringing Software Productivity to the Next Level through Large Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统全国重点实验室);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新中心);The Hong Kong Polytechnic University(香港理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 SheetCopilot 智能体,通过原子动作抽象和状态机任务规划框架,使大语言模型能够用自然语言控制电子表格,并在 221 个任务的基准测试中正确完成 44.3% 的任务,显著优于代码生成基线。
2023-10-30 cs.AI cs.CL cs.SE
Measuring Software Development Waste in Open-Source Software Projects
本文针对开源项目中软件开发浪费难以度量的问题,提出五项度量指标并在十个开源项目上验证,为工程管理者识别和管理 SDW 提供了可操作的实践依据。
2024-09-27 cs.SE
Unveiling Elite Developers' Activities in Open Source Projects
开源开发者,特别是精英开发者,维护着各种各样的贡献活动。他们不仅提交源代码,还在其他沟通、组织和支持活动上花费大量精力。然而,几乎所有的研究都集中在有限的特定活动上,未能全面分析精英开发人员的活动。为了弥补这一差距,我们对GitHub上托管的20个大型开源项目的细粒度事件数据进行了实证研究。因此,我们调查了精英开发人员的贡献活动及其对项目成果的影响。我们的分析揭示了三个关键发现:(1)他们参与各种活动,而技术贡献(例如,(2)随着项目的发展,他们倾向于将更多的精力投入到支持性和沟通性活动中,而较少的精力投入到编码中;(3)他们参与非技术性活动的程度与项目的生产力和软件质量呈负相关。这些结果提供了精英开发人员活动的全景,并可以为个人关于努力分配的决策提供信息,从而导致更好的项目成果。研究结果也为支持这些精英开发人员提供了启示。
2019-11-13 cs.SE
Investigating the Utility of ChatGPT in the Issue Tracking System: An Exploratory Study
本研究通过分析开发者与ChatGPT在问题跟踪系统中的交互,发现开发者主要将其用于头脑风暴解决方案,但因担心“幻觉代码”而较少直接采用其生成的代码,并利用NiCad验证代码集成情况。
2024-02-06 cs.SE
Assessing the Influence of Toxic and Gender Discriminatory Communication on Perceptible Diversity in OSS Projects
本研究通过分析GitHub项目数据,构建回归模型,探究有毒和性别歧视性沟通对开源团队性别、种族及任期多样性的影响。
2024-03-14 cs.SE
Decoding the Configuration of AI Coding Agents: Insights from Claude Code Projects
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
通过对328个Claude Code配置文件进行实证研究,揭示了代理编码系统的配置文件中指定的软件工程关注点及其共现模式,强调了定义架构约束的重要性。
2026-05-25 cs.SE
Quality In, Quality Out: Investigating Training Data's Role in AI Code Generation
该研究通过对比原始与清洗训练数据微调的代码生成模型,证实移除低质量训练函数可在保持功能正确性的同时显著降低生成代码缺陷率。
2025-03-14 cs.SE
Causal Factors, Benefits and Challenges of Test-Driven Development: Practitioner Perceptions
本报告描述了一个组织采用测试驱动开发(TDD)实践的经验,作为中期软件项目的一部分,采用极限编程作为一种方法。在这个项目的三年中,团队的TDD经验与他们在其他正在进行的项目中的非TDD经验进行了比较。在这种情况下,使用TDD的好处和挑战的看法是通过五个半结构化的采访主要团队成员收集。他们的经验表明,TDD的使用一般是积极的,并探讨其原因,以加深对TDD实践的理解及其对代码质量,应用程序质量和开发生产力的影响。总结了经验教训,以帮助他人采用和实施TDD实践,并提出了一些潜在的进一步研究领域。
2021-01-29 cs.SE
On the Way to SBOMs: Investigating Design Issues and Solutions in Practice
本研究通过分析510个项目的4786条GitHub讨论,揭示了SBOM实践中的关键主题、挑战与解决方案,并评估了常用生成工具,强调其在增强供应链安全中的关键作用。
2023-08-30 cs.SE
Investigating Vulnerability Disclosures in Open-Source Software Using Bug Bounty Reports and Security Advisories
本文对3,798条GitHub安全公告和4,033份OSS漏洞悬赏报告进行实证研究,首次明确OSS漏洞从安全公告和悬赏报告传播至全球漏洞数据库的过程,揭示了CVE分配的遗漏与延迟问题,并提出改善建议。
2025-01-29 cs.CR cs.SE
Reasonable Scale Machine Learning with Open-Source Metaflow
New York University(纽约大学);Outerbounds;Netflix(网飞)
随着机器学习(ML)在各个行业和新用例中的采用,从业者越来越多地意识到有效开发和迭代ML系统的挑战:可重复性,调试,可扩展性和文档对于技术优先公司之外的现实世界管道来说是难以捉摸的目标。在本文中,我们回顾了面向ML的工作负载的性质,并认为重新利用现有工具不会解决当前的生产力问题,因为ML的特殊性需要专门的开发工具。然后,我们介绍Metaflow,这是一个用于ML项目的开源框架,旨在通过从业务逻辑的定义中抽象出ML代码的执行来提高数据从业者的生产力。我们展示了我们的设计如何解决ML操作(MLOps)中的主要挑战,并通过示例,访谈和用例记录其对该领域的实际影响。
2023-03-21 cs.DC cs.LG cs.SE
The Corrective Commit Probability Code Quality Metric
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个代码质量度量,纠正提交概率(CCP),测量的概率,提交反映纠正性维护。我们表明,这个指标符合开发人员的质量,信息和稳定的概念。通过将语言模型应用于提交消息来识别纠正提交。通过将语言模型应用于提交消息来识别纠正提交。我们计算了所有大型活跃GitHub项目的CCP(2019年至少有200个提交的7,557个项目)。这导致了一个质量等级的创建,表明质量最低的10%的项目在修复bug上花费的精力至少是前10%的6倍。对项目属性的分析表明,较低的CCP(较高的质量)与较小的文件,较低的耦合,使用JavaScript和C#等语言而不是PHP和C++,更少的开发人员,更低的开发人员流失,更好的入门和更高的生产力有关。除其他外,这些结果支持“质量是免费的”的说法,并建议实现更高的质量不需要更高的费用。
2020-07-21 cs.LG cs.SE
Open or Sneaky? Fast or Slow? Light or Heavy?: Investigating Security Releases of Open Source Packages
开放源码包中的漏洞对于将这些包用作依赖项的客户端项目来说可能是一个安全风险。当在软件包中发现新漏洞时,软件包应快速发布新版本的修复程序,在本研究中称为安全发布。安全版本应该有很好的文档记录,并且只需要最少的迁移工作,以促进客户端项目的快速采用。然而,开源软件包在多大程度上遵循这些建议尚不清楚。本研究的目标是帮助软件从业者和研究人员了解目前的做法,释放安全补丁的开源软件包,并确定改进的领域,通过实证研究的安全版本。具体来说,本文研究了(1)修复和发布之间的时间差;(2)如何在发布说明中记录安全修复;(3)代码更改特征(大小和语义版本)的发布;以及(4)发布与Snyk或NVD上的咨询出版物之间的时间差(两个流行的漏洞数据库)的安全版本,涵盖七个软件包生态系统中的4,377个安全数据集。我们发现,中值安全版本在相应修复后的4天内可用,并包含134行代码(代码)更改。此外,我们发现61.5%的安全版本都附带了一个发布说明,记录了相应的安全修复程序。但是,Snyk和NVD可能需要25天(从发布开始)才能发布这些安全版本的建议,这可能会导致延迟通知客户项目。根据我们的研究结果,我们为软件包维护者和生态系统管理员提出了四项建议,例如使用私有分叉进行安全修复,以及标准化发布安全版本的做法。
2021-12-13 cs.CR cs.SE