Classifying Developers into Core and Peripheral: An Empirical Study on Count and Network Metrics
了解开发人员在软件项目中扮演的角色对于理解项目的协作动态是至关重要的。开发人员通常根据核心和外围角色的二分法进行分类。通常,基于开发人员活动的简单计数的操作化(例如,提交的数量)用于此目的,但人们担心它们的有效性和是否有能力得出有意义的见解。为了阐明这个问题,我们调查是否常用的操作化的核心-外围角色产生一致的结果,我们验证他们对开发人员的看法调查166开发人员。改进的最先进的,我们提出了一个关系的角度来看,开发人员的角色,使用开发人员网络模型的组织结构,并通过检查核心-外围角色的开发人员的位置和组织结构内的稳定性。在对10个实质性开源项目的研究中,我们发现现有的和我们提出的核心-外围操作化在很大程度上是一致和有效的。此外,我们表明,关系的角度可以揭示进一步有意义的见解,如核心开发人员表现出高的位置稳定性,在层次结构中的较高位置,以及与其他核心开发人员的高水平的协调。
2016-04-04 cs.SE
From Awareness to Action: How Developers Engage with Accessibility Innovation in LLM-Assisted Development
Universidade Federal do Pará(帕拉联邦大学);Zup Innovation(Zup创新);Universidade Federal de Uberlândia(乌贝兰迪亚联邦大学)
通过分析14个基于LLM的无障碍项目提案和9名参与者的焦点小组讨论,发现由残障人士主导的倡议能促进包容性创新,推动无障碍从合规要求转变为技术卓越和文化变革的驱动力。
2026-06-09 cs.SE
Do Developers Update Their Library Dependencies? An Empirical Study on the Impact of Security Advisories on Library Migration
第三方库重用已经成为当代软件开发中的常见做法,因为它为开发人员带来了许多好处。库依赖关系不断发展,新添加的功能和补丁可以修复旧版本中的错误。为了充分利用第三方重用,开发人员应该始终保持其库依赖项的最新版本。在本文中,我们调查的程度,开发人员更新他们的库依赖。具体来说,我们对库迁移进行了一项实证研究,涵盖了4,600多个GitHub软件项目和2,700个库依赖项。结果表明,虽然这些系统中的许多严重依赖的依赖,81.5%的研究系统仍然保持其过时的依赖。在更新易受攻击的依赖项的情况下,研究表明,受影响的开发人员不太可能对安全建议做出回应。调查这些开发人员,我们发现69%的受访者声称他们不知道他们的脆弱依赖性。此外,开发人员不太可能优先考虑库更新,认为这是额外的工作和额外的责任。这项研究的结论是,即使第三方重用是司空见惯的,更新依赖项的做法并不常见的许多开发人员。
2017-09-14 cs.SE
Are We All Using Agents the Same Way? An Empirical Study of Core and Peripheral Developers Use of Coding Agents
University of Saskatchewan(萨斯喀彻温大学)
本文通过实证研究发现,核心和边缘开发者在使用编码代理时存在差异,核心开发者更关注文档和测试,而边缘开发者更频繁使用代理进行任务分配。
2026-01-27 cs.SE
From Requirements to Code: Understanding Developer Practices in LLM-Assisted Software Engineering
本研究通过访谈14家公司18位开发者,发现常规需求过于抽象,需手动分解为编程任务并补充设计决策和架构约束后才能用于提示LLM,强调需求工程工作仍不可或缺。
2025-07-10 cs.SE
Do Mobile Developers Ask on Q&A Sites About Error Codes Thrown by a Cross-Platform App Development Framework? An Empirical Study
在过去的几年中,开发框架已经出现,使跨平台移动应用程序的开发和维护变得更加容易。Xamarin框架就是其中之一:它接受用C#编写的应用程序作为输入,并为Android,iOS和Windows Mobile平台生成本地代码。在使用Xamarin时,开发人员可能会遇到框架抛出的代码错误。不幸的是,Xamarin官方文档并没有提供所有这些代码的完整描述,解决方案或解决方案。本文分析了两个与Xamarin相关的问题和答案网站,以找到提到这些错误代码的问题。我们发现在这两个网站上都有开发人员写的关于Xamarin错误的问题,其中大多数至少有一个答案。我们的直觉是,这些发现的信息可能有助于为Xamarin开发人员提供支持。
2018-01-22 cs.SE
Developers perception on the severity of test smells: an empirical study
单元测试是软件开发生命周期的重要组成部分。通过创建和运行单元测试,开发人员可以轻松快速地捕获和修复源代码中引入的软件错误。尽管单元测试很重要,但它会受到糟糕的设计或实现决策的影响,即所谓的测试气味。这些可能会从各个方面降低软件系统的质量,使其更难理解,更复杂的维护,更容易出现错误和bug。许多研究讨论了测试气味对测试代码的可能影响。然而,缺乏研究,捕捉开发人员对这些问题的看法。本研究实证分析了开发人员如何在他们开发的测试代码中感知测试气味的严重性。严重性是指测试气味可能对测试代码产生负面影响的程度。我们从GitHub中选择了六个开源软件项目,并采访了他们的开发人员,以了解测试气味是否以及如何影响测试代码。尽管大多数受访的开发人员认为测试气味对他们的代码的严重性很低,但他们表示测试气味可能会对项目产生负面影响,特别是在测试代码的可维护性和演化方面。此外,从测试代码中检测和移除测试气味可能对项目有积极意义。
2021-07-29 cs.SE
An Empirical Assessment on Affective Reactions of Novice Developers when Applying Test-Driven Development
我们研究测试驱动开发(TDD)是否以及在哪个阶段影响新手开发者的情感状态,包括愉悦、唤醒、支配和喜欢。我们与29名新手开发人员进行了一项对照实验。治疗组的开发人员使用TDD执行开发任务,而对照组的开发人员使用非TDD开发方法。我们比较了情感反应的开发方法,以及实施和测试阶段,利用一个轻量级的,强大的,广泛使用的工具,即,自我评估模型。我们观察到,在情感反应方面,两种发展方法之间存在差异。因此,情感反应在TDD的应用中起着重要的作用,对情感反应的研究可以帮助研究者更好地理解TDD
2019-07-29 cs.SE
Developers' Experience with Generative AI Beyond Productivity Assessment -- Insights from an Empirical Mixed-Methods Field Study
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);University of California, Irvine(加州大学尔湾分校);SAP Labs, SAP(思爱普实验室)
通过混合方法现场研究,发现开发者对生成式AI总体满意,尤其在单调重复任务中感知效率提升,但同一任务中结合代码建议与聊天提示会削弱收益,并提出基于任务特征选择交互类型的经验法则。
2026-07-10 cs.SE
How do Developers Improve Code Readability? An Empirical Study of Pull Requests
本研究通过分析109个GitHub仓库中284个合并拉取请求的370项代码可读性改进,构建了26种改进类型的目录,发现SonarQube仅检测到其中26项,凸显了自动静态分析工具规则的改进空间。
2023-09-05 cs.SE
Challenges in Android Data Disclosure: An Empirical Study
Heinz Nixdorf Institute Paderborn University(帕德博恩大学海因茨·诺伊多夫研究所);Fraunhofer IEM(弗劳恩霍夫应用集成研究所以及工程研究所)
本文通过调查和分析开发者讨论,揭示开发者在填写Google数据安全部分表单时的分类困难和信心不足问题,指出需更清晰的指导和工具支持。
2026-04-24 cs.SE
When LLMs Meet API Documentation: Can Retrieval Augmentation Aid Code Generation Just as It Helps Developers?
该研究针对RAG助力LLMs适配小众API库的效果问题展开实验,发现RAG可显著提升LLMs代码生成性能,且示例代码贡献最大,为低代码开发流程优化提供参考。
2025-03-19 cs.SE
An Empirical Comparison of Developer Retention in the RubyGems and npm Software Ecosystems
软件生态系统可以被看作是由技术组件(软件包)和维护技术组件的社会组件(开发人员社区)组成的社会技术网络。随着时间的推移,生态系统通过社会技术变化而演变,这些变化可能会极大地影响生态系统的可持续性。像开发人员流动这样的社会变化可能会导致技术退化。这激发了识别导致开发人员放弃的那些因素的需要,以便自动化识别具有高放弃风险的开发人员的过程。本文比较了两个软件包生态系统RubyGems和npm的这些因素。我们分析了他们在GitHub上托管的软件包的演变,考虑了提交方面的开发活动,以及与其他开发人员在提交、问题或拉取请求相关的评论方面的社交互动。我们分析了RubyGems和npm分别超过3万和6万开发人员的社会技术活动。我们使用生存分析来确定哪些因素与较低的生存概率相一致。我们的研究结果表明,开发人员放弃生态系统的可能性更高:不与其他开发人员进行讨论;没有很强的社交和技术活动强度;沟通或提交频率较低;并且长时间不参与技术和社交活动。这些观察结果可用于自动识别放弃生态系统的可能性很高的开发人员,从而降低与知识损失相关的风险。
2017-08-08 cs.SE
An Empirical Study of Safetensors' Usage Trends and Developers' Perceptions
本文实证研究了 Hugging Face 上开发者采用 safetensors 的趋势与认知,发现采用率上升且多由自动转换驱动,但多数开发者忽略转换拉取请求,同时虽有使用困难仍积极学习适应。
2025-01-04 cs.SE
What Types of Code Review Comments Do Developers Most Frequently Resolve?
The University of Melbourne(墨尔本大学);Atlassian;Monash University(蒙纳士大学)
本研究利用LLM作为评判者分类评审评论,发现LLM与人类评审者各有优劣,且可读性、缺陷和维护性相关评论的解决率高于设计类评论,表明多数LLM生成评论具有可执行性。
2025-10-06 cs.SE
When Large Language Models Meet UAV Projects: An Empirical Study from Developers' Perspective
University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学);Zhejiang University(浙江大学);Guangdong University of Finance and Economics(广东财经大学);Qufu Normal University(曲阜师范大学)
通过分析997篇论文和1509个GitHub项目,并调查52位从业者,本研究分类了无人机项目中大型语言模型(LLM)的九种常见任务和四种工作流,揭示了研究与工业实践之间的差异,并指出了整合LLM的五大挑战因素。
2026-06-01 cs.SE
Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow
本文通过访谈13名软件相关从业者,实证研究生成式人工智能对软件开发工作流和团队协作的影响,发现ChatGPT带来范式转变,提升效率与积极性,但也改变了敏捷团队的学习循环。
2024-02-12 cs.SE
Dynamics of Open-Source Software Developer's Commit Behavior: An Empirical Investigation of Subversion
提交是开源软件版本控制的一个重要操作。最近的研究一直在探索这种操作的统计规律,但很少有这些论文对提交间隔进行实证研究(即,两个连续提交之间的等待时间)。本文从提交间隔分布的角度研究了软件开发人员的集体和个人提交行为,发现1)所分析的项目生命周期和每个版本的项目级提交间隔数据集大致遵循幂律分布; 2)类文件的生命周期和版本级集体提交间隔也可以最好地拟合幂律分布。这些发现揭示了开放源码软件项目的一些一般(集体)协作开发模式,例如,在两次连续提交到中央存储库之间的大多数等待时间都很短,但只有少数提交经历了长时间的等待。然后,我们发现的OSS研究的影响进行了概述,这可以提供一个洞察到更好地理解OSS开发过程中基于软件开发人员的历史提交行为。
2013-11-23 cs.SE
A Quantitative and Qualitative Evaluation of LLM-Based Explainable Fault Localization
本文提出AutoFL,一种基于大语言模型的故障定位技术,通过函数调用导航代码仓库并生成缺陷解释,在798个真实缺陷上显著提升定位准确率,且其解释获得开发人员认可。
2024-07-02 cs.SE
Democratizing AI Development: Local LLM Deployment for India's Developer Ecosystem in the Era of Tokenized APIs
本文通过实证研究180名印度开发者,证明基于Ollama的本地LLM部署相比商业API可降低成本33%并使实验迭代次数翻倍,从而推动资源受限环境下的包容性AI开发。
2025-08-21 cs.HC cs.SE
An Empirical Study of Developer Discussions on Low-Code Software Development Challenges
低代码软件开发(LCSD)是一种新兴的范式,它将最小的源代码与交互式图形界面相结合,以促进快速的应用程序开发。康文署的目标是让不同背景的软件从业员参与应用程序开发。鉴于康文署是一个相对较新的范例,了解开发商在采用康文署平台时面临的挑战至关重要。在线开发者论坛Stack Overflow(SO)在软件开发人员中很受欢迎,他们可以寻求技术问题的解决方案。我们观察到在SO中有越来越多的帖子讨论康文署的平台。在本文中,我们提出了一个实证研究约5K SO职位(问题+接受的答案),其中包含九个流行的康文署平台的讨论。我们在帖子上应用主题建模来确定讨论的主题类型。我们在SO中找到13个与LCSD相关的主题。这13个主题分为四个类别:定制、平台采用、数据库管理和第三方集成。超过40%的问题是关于定制的,即,开发人员经常面临定制由康文署平台提供的用户界面或服务的挑战。"自定义"类别下的"动态事件处理"主题是最受欢迎的(就该主题每个问题的平均查看次数而言),也是最困难的。这意味着开发人员经常搜索自定义解决方案,例如如何将动态事件附加到低代码UI中的表单,但他们的大多数问题(75.9%)仍然没有可接受的答案。我们从帖子中手动标记900个问题,以确定主题在康文署各阶段的挑战普遍性。我们发现大多数问题都与开发阶段有关,低代码开发人员也面临着自动化测试的挑战。
2021-03-21 cs.SE
Personalizing LLM-Based Conversational Programming Assistants
Radboud University(拉德堡德大学)
本文探讨了认知多样性与组织背景如何影响开发者需求,并探索个性化方法以提升基于大语言模型的对话编程助手的包容性。
2026-04-14 cs.SE
Assessing Developer Beliefs: A Reply to "Perceptions, Expectations, and Challenges in Defect Prediction"
用二次定量分析扩展定性研究可能是有见地的(前者提出了后者可以回答的有见地的问题)。记录开发人员的信念应该是软件工程研究的开始,而不是结束。一旦找到普遍的信念,就应该对照现实世界的数据进行检查。例如,本文发现了几个显着的差异之间的经验证据和开发人员的信念记录在万等人。最近的TSE论文“缺陷预测中的感知、期望和挑战”。通过报告这些差异,我们可以阻止开发人员(a)在无关紧要的事情上浪费时间或(b)忽略重要的影响。对于未来,我们将鼓励更多的“扩展研究”的定性结果与定量的经验证据。
2019-04-11 cs.SE
An Empirical Study of GenAI Adoption in Open-Source Game Development: Tools, Tasks, and Developer Challenges
本研究通过分析GitHub issue并比较GenAI、TradAI与NonAI主题,揭示生成式AI在开源游戏开发中的工具、任务、挑战及工作流影响。
2025-07-24 cs.SE
Novice Developers' Perspectives on Adopting LLMs for Software Development: A Systematic Literature Review
Monash University(墨尔本大学);Singapore Management University(新加坡管理大学)
该研究通过系统性文献综述梳理80项相关研究,分析新手开发者在软件开发中使用LLM的任务、优势、挑战等,为软件工程领域相关从业者提供参考与未来研究方向。
2025-08-01 cs.AI cs.SE
A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions
本研究通过实验室实验(28名参与者)结合眼动追踪和IDE行为数据,探究开发者验证与修复Copilot生成代码的行为,发现代码来源意识能提升性能但增加认知负荷,为设计人机协作工具提供启示。
2024-05-25 cs.HC cs.SE
Evaluating LLM-Generated Code: A Benchmark and Developer Study
IU Internationale Hochschule Bad Honnef(德国国际高等教育学院)
本文提出了一种定制的树折评估方法,用于评估大语言模型生成的代码,弥补了现有基准在代码质量和可操作性方面的不足,并通过对比三个通用大语言模型展示了其有效性。
2026-06-11 cs.SE
An Empirical Study on Maintainable Method Size in Java
代码度量已被广泛用于评估软件维护工作。一般来说,开发人员会使用这些工具来减少或避免未来的维护负担。规模是最简单和最广泛使用的度量标准。大小度量是普遍的,因为大小与许多其他常见度量(例如,McCabe复杂性、可读性等)。考虑到计算方法大小的容易性以及这些指标在工业环境中的普遍性,令人惊讶的是,没有进行系统的研究来为开发人员提供关于未来维护工作的有意义的方法大小指南。在本文中,我们研究了大约785K Java方法的演变,并表明开发人员应该努力将其Java方法的长度保持在24行以下。此外,我们还表明,将较大的方法分解为较小的方法也会减少整体维护工作。总之,这些发现提供了经验指导,以帮助开发人员设计他们的系统的方式,可以减少未来的维护。
2022-05-04 cs.SE
An Empirical Study on Developers Shared Conversations with ChatGPT in GitHub Pull Requests and Issues
本研究通过分析GitHub PR和问题中共享的ChatGPT对话,揭示了开发者寻求帮助的16种咨询类型、多轮对话模式及角色特定贡献,为理解人机协作开发提供了实证基础。
2024-03-15 cs.SE
Comprehending Test Code: An Empirical Study
开发人员花费大量的时间和精力来理解源代码。虽然许多研究已经调查了开发人员如何处理这些理解任务以及哪些因素影响他们的成功,但很少有人知道开发人员如何理解测试代码,尽管测试的重要性无可争议。在本文中,我们报告的实证研究结果与44名开发人员了解哪些因素影响开发人员理解Java测试代码时。我们测量了三个因变量:阅读测试套件所花费的总时间,识别测试套件总体目的的能力,以及生成额外测试用例以扩展测试套件的能力。我们研究的主要发现,对未来的研究和实践者有几个影响,是(i)软件项目的先验知识减少了总的阅读时间,(ii)Java的经验影响了测试用例的安排和断言部分所花费的时间比例,(iii)Java的经验和软件项目的先验知识对生成某些类别的附加测试用例的能力有积极的影响,和(iv)自动化测试的经验是理解和扩展自动化测试套件的一个影响因素。
2019-07-31 cs.SE
Uncovering the Causes of Emotions in Software Developer Communication Using Zero-shot LLMs
针对软件工程领域情绪成因识别数据集构建成本高的问题,探究零样本LLM在该任务的表现,验证其识别有效性并通过开源项目案例揭示挫败感相关成因。
2023-12-15 cs.SE
The Making of Cloud Applications An Empirical Study on Software Development for the Cloud
云计算作为软件的部署和供应模型正获得越来越多的关注。虽然大量的研究已经涵盖了如何最佳地操作云系统,但我们仍然缺乏对专业软件工程师如何实际使用云以及云如何影响开发实践的见解。本文报告了关于软件开发人员如何在云中构建应用程序的第一次系统性研究。我们进行了一项混合方法研究,包括对25名专业开发人员的定性访谈和对294份回复的定量调查。我们的研究结果表明,采用云计算对整个软件开发过程以及开发人员在日常工作中如何利用工具和数据产生了深远的影响。除其他事项外,我们发现(1)开发人员需要更好的方法来预测运行时问题并严格定义改进故障定位的指标,(2)云提供了丰富的操作数据,然而,开发人员仍然经常依赖他们的经验和直觉,而不是利用指标。从我们的研究结果中,我们提取了一套云开发指南,并确定了研究人员和工具供应商面临的挑战。
2015-03-17 cs.SE
Automating Code Generation for Semiconductor Equipment Control from Developer Utterances with LLMs
Sungkyunkwan University(成均馆大学);Chonnam National University(全南国立大学)
针对大语言模型在低级半导体设备语言编程上的局限,本文提出多阶段提示框架PKE,通过逐步提取激活模型潜在知识引导其从简到繁生成代码,无需大量微调,在ALPG数据集上精确匹配分数显著超越现有方法。
2025-09-16 cs.SE
Do Developers Refactor Data Access Code? An Empirical Study
开发人员经常重构代码以提高软件的可维护性和可理解性。对于传统软件系统中的重构活动有很多研究。然而,数据密集型系统中的重构还没有得到很好的探索。了解开发人员的重构实践是很重要的开发有效的工具support.We进行了一项纵向研究的重构活动的数据访问类使用12个数据密集型主题系统。我们调查了重构的流行和演变,以及重构与数据访问气味的关联。我们还对超过378个数据访问重构实例的样本进行了手动分析,以确定这些重构所针对的代码功能。我们的研究结果表明:(1)数据访问重构是普遍存在的,并在类型上有所不同。\textit{Rename variable}是最流行的数据访问重构。(2)重构的流行程度和类型随着系统的发展而变化。(3)大多数数据访问重构的目标代码实现数据获取和插入。(4)数据访问重构通常不涉及SQL查询。总体而言,结果表明,数据访问重构专注于提高代码质量,而不是底层的数据访问操作。因此,研究社区需要做更多的工作,为从业者提供意识和支持,了解通过重构解决数据访问气味的好处。
2022-02-07 cs.SE
Continuous integration in a social-coding world: Empirical evidence from GitHub. **Updated version with corrections**
持续集成是一种软件工程实践,它频繁地将所有开发人员的工作副本与一个共享的主分支合并,例如,一天几次随着GitHub的出现,一个以其“社交编码”功能而闻名的平台,该功能有助于协作和共享,并且目前是开源世界中最大的代码主机,协作软件开发从未如此突出。在GitHub开发中,可以区分两种类型的开发人员对项目的贡献:直接贡献,来自对主项目存储库具有写访问权限的典型的一小群开发人员,以及间接贡献,来自分叉主存储库的开发人员,在本地更新他们的副本,并提交pull请求进行审查和合并。在本文中,我们将探讨GitHub开发人员如何使用持续集成,以及贡献类型(直接与间接)和不同的项目特征(例如,主程序设计语言或项目年龄)与自动构建的成功相关联。
2015-12-06 cs.SE
DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
Anote AI
该研究针对LLM生成代码违反开发者隐式意图的问题,构建含49个问题的基准并提出IVR指标,发现两款主流LLM生成代码虽通过率高但超半数违反意图,揭示现有基准局限性。
2026-08-11 cs.CL cs.SE
Let's Make Every Pull Request Meaningful: An Empirical Analysis of Developer and Agentic Pull Requests
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Kyushu University(九州大学);Ritsumeikan University(立命馆大学);University of Calgary(卡尔加里大学)
本研究通过分析40,214个PRs,发现提交者属性对合并结果影响最大,审查相关特征在人类和代理PRs中效果相反,揭示了人机协作提升PR质量的途径。
2026-01-26 cs.SE
An Empirical Study of Untangling Patterns of Two-Class Dependency Cycles
本研究通过分析38个开源项目的数百个案例,总结出开发者解决两类依赖循环的五种常用模式及三种反直觉方案,指出循环设计上下文的重要性,为开发者认知提升和自动重构工具优化提供参考。
2023-12-17 cs.SE
Migrating Existing Container Workload to Kubernetes -- LLM Based Approach and Evaluation
本研究提出一种基于 Compose 规范的基准测试方法,评估 LLM 生成 Kubernetes 清单的有效性,发现其能弥补简单规范差距,但常省略内联注释且对非典型输入完成准确率低。
2024-08-21 cs.SE
How Do Developers Structure Unit Test Cases? An Empirical Study from the "AAA" Perspective
本研究基于435个真实单元测试用例,实证分析了开发者遵循AAA模式的情况,发现了三种反模式和四种设计缺陷,并通过提交18项重构提案获得78%正面反馈,揭示了投资回报率是开发者重构的关键考量。
2025-01-31 cs.SE
How Do I Refactor This? An Empirical Study on Refactoring Trends and Topics in Stack Overflow
作为软件维护和演化的重要组成部分,重构由开发人员执行,无论技术或领域如何,以提高系统的内部质量,并减少其技术债务。然而,选择合适的重构策略并不总是那么简单,这导致开发人员寻求帮助。虽然重构的研究已经很成熟,有几项研究在检测重构机会和建议适当的代码更改之间进行了改变,但对它们在实践中的采用知之甚少。分析开发人员的认知对于更好地理解开发人员认为代码中存在的问题以及他们如何处理这些问题至关重要。此外,需要通过提取更适合开发人员实际情况的常见重构意图,来弥合研究重构与实际应用之间的差距。在这项研究中,我们通过一系列定量和定性的实验,分析重构讨论堆栈溢出。我们的研究结果表明,堆栈溢出是由一组不同的开发人员用于重构援助的各种技术。我们的观察显示了开发人员在重构时通常需要帮助的五个方面--代码优化、工具和IDE、体系结构和设计模式、单元测试和数据库。我们设想我们的研究结果更好地桥接重构的传统(或学术)方面与其现实世界的适用性之间的支持,包括更好的工具支持。
2021-10-23 cs.SE
Fixing Dockerfile Smells: An Empirical Study
背景容器化技术在DevOps工作流中被广泛采用。最常用的是Docker,它要求开发人员定义一个规范文件(Dockerfile)来构建用于创建容器的镜像。编写Dockerfiles有几个最佳实践规则,但开发人员并不总是遵循它们。违反这种做法,称为Dockerfile气味,可能会对Docker映像的可靠性和性能产生负面影响。之前的研究表明,Dockerfile气味广泛传播,并且缺乏支持开发人员修复它们的自动工具。然而,目前还不清楚开发人员修复了Dockerfile的哪些气味,以及开发人员愿意在多大程度上首先修复气味。Objective.我们的探索性研究有两个目的。首先,我们想了解Dockerfiles的气味受到开发人员的更多关注,即,在开源项目的历史上更频繁地被修复。其次,我们想检查开发人员是否愿意接受旨在修复Dockerfile气味的更改(例如,由自动化工具生成),以了解他们是否关心他们。法在研究的第一部分中,我们将在由940万个独特的Dockerfiles组成的最先进的数据集上评估Dockerfile气味的生存能力。我们依靠最先进的工具(hadolint)来检测Dockerfile的气味在Dockerfiles的演变过程中消失,我们将手动分析大量此类案例,以了解开发人员是否修复了它们,以及他们是否意识到了气味。在第二部分中,我们将在一组GitHub项目中检测有异味的Dockerfi…
2022-08-19 cs.SE
Why are Some Bugs Non-Reproducible? An Empirical Investigation using Data Fusion
软件开发人员试图复制软件错误,以了解他们的错误行为并修复它们。不幸的是,他们经常无法复制(或修复)它们,这导致了错误的,不可靠的软件系统。然而,到目前为止,只有很少的研究已经完成,以更好地了解是什么使软件错误不可重现。在本文中,我们进行了多模态研究,以更好地了解软件错误的不可再现性。首先,我们使用来自两个流行的软件系统(Firefox,Eclipse)的576个不可再现的错误报告进行实证研究,并确定11个关键因素,可能导致报告的错误不可再现。其次,我们进行了一项用户研究,涉及13名专业开发人员,我们调查了开发人员如何应对不可重现的错误。我们发现他们要么关闭这些bug,要么请求进一步的信息,这涉及到长时间的审议和适得其反的手动搜索。第三,我们提供了一些关于如何避免不可再现性的可操作见解(例如,假阳性错误报告检测器)并提高所报告的错误的再现性(例如,用于错误复制的沙箱)通过结合我们来自多个研究的分析(例如,经验研究、开发人员研究)。
2021-08-11 cs.SE
An Empirical Study on Refactoring Activity
本文报告了一个实证研究的重构活动在三个Java软件系统。我们调查了重构活动的一些问题,以确认或不同意从以前的实证研究中得出的结论。与以往的实证研究不同,我们的研究发现,并不总是有更多的重构活动之前的主要项目发布日期比之后。相比之下,我们能够确认软件开发人员对测试代码和生产代码执行不同类型的重构操作,特定的开发人员负责项目中的重构,重构编辑没有得到很好的测试。此外,floss重构在开发人员中更受欢迎,重构活动在项目中很频繁,大多数不良气味一旦发生,就会持续到系统的最新版本。通过证实其他研究人员的假设,我们可以更有信心地认为这些研究结论是可推广的。
2014-12-18 cs.SE
Unveiling the Role of ChatGPT in Software Development: Insights from Developer-ChatGPT Interactions on GitHub
School of Computer Science, Wuhan University(武汉大学计算机学院);Nanyang Technological University(南洋理工大学);School of Computer Science, Central China Normal University(华中师范大学计算机学院)
本研究通过分析GitHub上的开发者与ChatGPT交互数据,揭示了ChatGPT在软件开发中的应用特点及实际作用。
2026-02-18 cs.SE
Do Personalized Skills Help Coding Agents? An Empirical Study of Developer Interaction Traces
UMass Amherst(马萨诸塞大学阿默斯特分校)
本研究通过对13位开发者的206个真实会话实验,发现从交互历史提炼的开发者个性化技能改进有限,而汇集自所有开发者的通用技能增益最大且最一致,为编码智能体的个性化策略提供了实证依据。
2026-10-30 cs.AI cs.SE
Explaining GitHub Actions Failures with Large Language Models: Challenges, Insights, and Limitations
本研究探讨使用大型语言模型为 GitHub Actions 失败生成上下文描述,发现超过80%开发者认可其在简单日志上的正确性,可为不同经验开发者提供辅助,但复杂场景仍需提升推理能力。
2025-01-27 cs.SE
Understanding and supporting how developers prompt for LLM-powered code editing in practice
University of California Irvine(加州大学尔布雷分校);Google(谷歌);Meta
本文研究开发者在使用LLM赋能代码编辑工具时的提示行为,发现频繁重新提示表明使用困难,并提出AutoPrompter工具通过推断缺失信息提升编辑正确性27%。
2025-12-19 cs.AI cs.HC cs.SE
Towards Autonomous Testing Agents via Conversational Large Language Models
本文提出基于对话式大语言模型的自主测试智能体分类法,展示其作为测试助手的潜力,并探讨了自主性提升带来的益处及幻觉在测试中的积极作用。
2023-09-05 cs.SE
How Different Is It Between Machine-Generated and Developer-Provided Patches? An Empirical Study on The Correct Patches Generated by Automated Program Repair Techniques
背景资料:多年来,自动程序修复(Automated Program Repair,APR)由于能够降低修复错误的成本而受到学术界和工业界的广泛关注。然而,如何评估补丁的正确性仍然是一个开放的挑战。两种广泛采用的方法来应对这一挑战,包括手动检查和使用自动生成的测试进行验证,都是有偏见的(即,分别遭受主观性和低精度)。目的:为了解决这一问题,我们建议进行实证研究,了解正确的补丁,由现有的国家的最先进的APR技术,旨在为未来的补丁评估提供指导方针。方法:为此,我们首先提出了一个文献综述(LR)报告的正确补丁生成的最新技术的缺陷4J基准和收集177个正确的补丁后,健全检查的过程。我们研究了这些机器生成的正确补丁是如何实现语义等价的,但与开发人员提供的补丁相比在语法上存在差异,这些补丁如何在不同的项目和APR技术中分布,以及错误的特征如何影响为其生成的补丁。我们的主要发现包括:1)我们不需要像开发人员那样修复bug,因为我们观察到25.4%(45/177)2)机器生成的正确补丁的分布在Defects 4J项目和APR技术方面存在差异;以及3)APR技术倾向于生成与开发者针对具有大补丁大小的错误所生成的补丁不同的补丁。结论:我们的研究不仅验证了以前的研究结论,但也强调了未来的研究对评估补丁的正确性的影响。
2019-06-08 cs.SE
Do #ifdefs Influence the Occurrence of Vulnerabilities? An Empirical Study of the Linux Kernel
预处理器通过#ifdef支持软件产品的多样化,但也需要开发人员付出额外的努力来维护和理解可变代码。我们推测,#ifdef会导致开发人员产生更脆弱的代码,因为他们需要同时推理多个功能,并维护可配置代码的依赖关系的复杂心理模型。我们在Linux内核的所有配置中提取了一个变分调用图,并使用配置复杂性指标来比较易受攻击和不受攻击的函数,同时考虑它们的漏洞历史。我们的目标是了解我们是否可以观察到配置复杂性对漏洞发生的可测量影响。我们的研究结果表明,除其他外,脆弱的功能有更高的可变性比非脆弱的,也受到较少的配置选项。这表明开发人员倾向于注意到函数出现在频繁编译的产品变体中。我们的目标是提高开发人员的意识,更系统地解决可变性,因为配置复杂性是一个重要的,但往往被忽视的软件产品线的方面。
2016-05-23 cs.SE
Is Your Private Information Logged? An Empirical Study on Android App Logs
Rochester Institute of Technology(罗切斯特理工学院);University of Waterloo(滑铁卢大学)
本研究通过构建Android应用日志数据集,分析隐私泄露现状及原因,揭示开发者对隐私问题的关注,并提出隐私保护建议。
2026-02-17 cs.SE
Cognitive Biases in LLM-Assisted Software Development
University of Southern California(南加州大学);Naval Postgraduate School(海军研究生院)
本文研究了大语言模型辅助软件开发中的认知偏差,通过混合方法分析发现LLM相关行动更易产生新型偏差,并提出15种偏差类别及缓解建议。
2026-01-12 cs.HC cs.SE
Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution
本研究分析433段开发者-ChatGPT对话,识别提示知识缺口(如缺失上下文)和对话风格对问题解决的影响,并提出具体性、上下文丰富性、清晰度等启发式规则及浏览器扩展原型,以动态检测并改进提示质量。
2025-02-25 cs.SE