Applying Bayesian Analysis Guidelines to Empirical Software Engineering Data: The Case of Programming Languages and Code Quality
本文面向实证软件工程改编贝叶斯数据分析指南,并通过重新分析编程语言与代码质量的 GitHub 数据集,展示构建严谨灵活分析流程的方法及价值。
2021-07-28 cs.SE
An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models
Peking University(北京大学)
本文探讨了影响分数过滤技术在编程数据集中的有效性,通过大规模实验评估了该方法对模型性能的提升,并分析了有益训练数据在不同阶段和任务中的差异。
2026-04-09 cs.SE
An Empirical Study of Developers' Discussions about Security Challenges of Different Programming Languages
鉴于程序设计语言可以提供不同类型和级别的安全支持,在选择用于开发软件系统的程序设计语言时,考虑安全方面至关重要。在选择程序设计语言时对安全性考虑不足可能会导致安全开发的潜在后果。虽然已经对不同程序设计语言的假定安全属性进行了理论分析,但是相对较少的努力来经验性地探索开发人员所经历的实际安全挑战。我们对15种程序设计语言的安全挑战进行了大规模的研究,通过定量和定性分析Stack Overflow和GitHub上的开发人员讨论。通过利用主题建模,我们已经得出了6个主题类别的18个主要安全挑战的分类。我们还进行了比较分析,以了解所识别的挑战在不同的程序设计语言和数据源方面的差异。我们的研究结果表明,对于不同的程序设计语言和数据源,挑战及其特征有很大不同,即,Stack Overflow和GitHub。这些发现为软件专业人员提供了基于证据的见解和对与不同程序设计语言相关的安全挑战的理解(即,研究人员或研究人员)。报告的安全挑战分类可以帮助从业者和研究人员更好地理解和遍历安全开发环境。这项研究强调了技术选择的重要性,例如,安全软件工程中的程序设计语言。因此,预计调查结果将激励从业人员考虑软件安全的程序设计语言的选择的潜在影响。
2021-11-26 cs.CR cs.SE
Unveiling Code Clones in Quantum Programming: An Empirical Study with Qiskit
本文实证研究 Qiskit 量子程序中的代码克隆,发现 Type-2 与 Type-3 克隆密度高,并指出需开发面向量子领域的检测与重构工具。
2025-01-11 cs.SE quant-ph
Predicting post-release defects with knowledge units (KUs) of programming languages: an empirical study
本研究引入编程语言的知识单元(KUs)作为新特征集,在8个Java系统中验证其预测发布后缺陷的有效性,发现KUs中位数AUC达0.82,与传统指标结合后达0.89,并提出了仅用10特征的经济高效模型。
2025-03-03 cs.SE
Exploring Multi-Programming-Language Commits and Their Impacts on Software Quality: An Empirical Study on Apache Projects
本研究通过对18个Apache项目的197,566次提交进行实证分析,发现多编程语言提交(MPLCs)显著增加开发复杂度、延长问题解决时间并引入更多缺陷,从而降低软件质量。
2023-11-12 cs.SE
Towards Causal Analysis of Empirical Software Engineering Data: The Impact of Programming Languages on Coding Competitions
本文提出基于结构因果模型分析软件工程观测数据的方法,并以 Google Code Jam 数据评估编程语言对竞赛成绩的因果影响,证明因果分析比纯预测建模更稳健。
2023-09-01 cs.SE
Multi-Programming-Language Commits in OSS: An Empirical Study on Apache Projects
Spark等现代软件系统通常使用多种程序设计语言(PL)编写。除了从代码重用中受益外,这些系统还可以利用特定PL来实现某些功能,以满足各种质量需求,并提高开发效率。在这种情况下,对这样的系统的改变可能需要修改在不同PL中写入的源文件。我们在版本控制系统中定义了多编程语言提交(MPLC)(例如,Git)作为提交,该提交涉及在两个或更多PL中写入的修改的源文件。据我们所知,在软件开发中的MPLCs现象还没有被探索过。鉴于多层次可编程逻辑控制器对开发难度和软件质量的潜在影响,我们进行了一项实证研究,以了解多层次可编程逻辑控制器的状态,其变化的复杂性,以及它们对问题的开放时间和源文件在现实生活中的软件项目的错误倾向的影响。通过对20个非平凡Apache项目205,994次提交中的MPLCs进行研究,我们发现:(1)所有项目中9%的提交是MPLCs,并且80%的项目中MPLCs的比例处于相对稳定的水平;(2)所有项目中超过90%的MPLCs涉及两个PL编写的源文件;(3)在所有项目中,多媒体可编程逻辑控制器的变更复杂度明显高于非多媒体可编程逻辑控制器;(4)在80%的项目中,多媒体可编程逻辑控制器中修复的问题比非多媒体可编程逻辑控制器中修复的问题需要更长的时间来解决;以及(5)在多媒体可编程逻辑控制器中修改过的源文件往往比从未在多媒体可编程逻辑控制器中修改过的源文件更容易出现错误。这些发现为…
2021-03-22 cs.SE
Empirical Computation: Prompting versus Programming
CMU(卡内基梅隆大学);MPI-SP(马克斯·普朗克研究所)
探讨经验计算(用提示让大语言模型解决问题而非编程)的挑战与机遇,呼吁软件工程界分析其特性,如正确性、属性及极限等,以将经验计算确立为软件工程领域。
2026-07-08 cs.AI cs.SE
Does Programming Language Matter? An Empirical Study of Fuzzing Bug Detection
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Osaka(大阪大学);Nara Women’s University(奈良女子大学)
本研究通过大规模跨语言分析,揭示了编程语言对模糊测试漏洞检测效率和特性的影响,为语言感知的模糊测试策略提供依据。
2026-02-05 cs.SE
Software Quality - Traditional vs. Agile: an Empirical Investigation
众所周知,软件过程会影响最终产品的质量。也有传闻称,敏捷过程比传统方法的质量更高。然而,这方面的确凿证据仍然缺失。这项工作的报告,在软件过程和软件质量之间的相关性的实证分析,具体参考敏捷和传统的过程。来自21个国家的100多名软件开发人员和工程师接受了在线问卷调查。我们使用软件开发人员和工程师估计的满意客户的百分比作为主要因变量。结果证明了一些有趣的模式:架构风格可能不会对质量产生重大影响,敏捷方法可能会让客户更快乐,大型公司和较短的项目似乎会产生更好的产品。
2017-01-21 cs.SE
Using Knowledge Units of Programming Languages to Recommend Reviewers for Pull Requests: An Empirical Study
本研究提出基于编程语言知识单元的代码审阅者推荐器KUREC,实证表明其性能与最佳基线相当且更稳定,组合推荐器整体更优。
2023-05-09 cs.SE
How do developers discuss and support new programming languages in technical Q&A site? An empirical study of Go, Swift, and Rust in Stack Overflow
新的程序设计语言(例如,Swift、Go、Rust等)是为了给开发人员提供更好的机会,使软件开发变得健壮和容易。在早期阶段,程序设计语言可能会有资源限制,这会鼓励开发人员经常向活跃在QA站点(如Stack Overflow(SO))的经验丰富的同行寻求帮助。在这项研究中,我们正式研究了SO(2008)成立后引入的三种流行新语言的讨论,并在适当的时候将其与GitHub中的相关活动相匹配。为此,我们从SO中挖掘了4,17,82,536个问题和答案,从GitHub中挖掘了7,846个问题信息以及6,60,965个存储库信息。最初,与成熟语言相比,新语言的发展相对缓慢(例如,C、C++、Java)。本研究的预期成果是揭示开发人员使用这些语言所面临的困难和挑战,以便采取适当措施加快相关资源的生成。我们已经使用LDA方法对SO的问题和答案,以确定不同的主题的新语言。我们从SO中提取了新语言回答模式的几个特征,以研究它们的特点。这些属性被用来确定困难的主题。我们探讨了为这些语言做出贡献的开发人员的背景。我们通过结合Stack Overflow数据和GitHub的issues、repository、用户数据创建了一个模型。最后,我们使用该模型来确定影响语言进化的因素。我们相信,我们的研究结果可能会帮助这些语言的所有者/赞助商设计更好的功能和文档。它还将帮助软件开发人员或学生准备以知情的方式使用这些…
2021-05-04 cs.SE
Assessing and Improving the Representativeness of Code Generation Benchmarks Using Knowledge Units (KUs) of Programming Languages -- An Empirical Study
本文通过分析编程语言知识单元(KUs)的覆盖情况,提出基于提示的框架改进代码生成基准的代表性,从而更准确评估LLM的代码生成能力。
2026-01-07 cs.SE
A Study of Bug Resolution Characteristics in Popular Programming Languages
本文介绍了一项大规模的研究,调查了用不同程序设计语言编写的流行Github项目中的错误解决特征。我们探索相关性,但当然不能推断因果关系。具体来说,我们分析了来自大约7000万个源代码行的错误解决数据,这些数据来自600个GitHub项目的300万次提交,主要是用10种程序设计语言编写的。我们发现明显的错误解决时间和补丁(修复)大小的显着变化。虽然从这种大规模的实证研究结果的解释是固有的困难,我们认为,中位数的差异是足够大,值得进一步调查,复制,重新分析和后续研究。例如,在我们的语料库中,Ruby的明显bug解决时间(从引发到解决的时间)中位数是Go的4倍,Java的2.5倍。我们还发现,对于强类型和静态类型的程序,补丁往往会触及更多的文件。然而,我们也发现了一个较低的解决bug的解决时间的证据提交到静态类型语言构建的项目。这些发现,如果在随后的后续研究中重复,可能会进一步揭示关于静态类型重要性的争论。
2020-01-04 cs.SE
Achieving CMMI Level 2 with Enhanced Extreme Programming Approach
敏捷方法和软件工程协会的CMM方法之间的关系经常被争论。一些作者认为这些方法是兼容的,而另一些作者则从CMM的角度批评敏捷方法的应用。只有少数基于CMM的评估已经在使用敏捷方法的项目上进行。本文探讨了一个经验的情况下,一个项目使用极限编程(XP)为基础的方法进行了评估,使用CMMI框架。结果提供了经验证据,指出它是可能的,以实现成熟度级别2的方法基于XP。然而,结果证实,XP,因为它是定义,是不够的。这项研究表明,它是可能的,使用CMMI评估和改进敏捷过程。然而,分析表明,评估敏捷组织需要比通常情况下更多的解释。它进一步得出结论,CMMI模型并不总是支持敏捷环境中的解释。
2017-09-20 cs.SE
Conversational DevBots for Secure Programming: An Empirical Study on SKF Chatbot
会话代理或聊天机器人被广泛研究并用于不同领域,包括医疗保健,教育和营销。尽管如此,用于协助安全编码实践的聊天机器人的开发仍处于起步阶段。在本文中,我们提出了SKF聊天机器人,软件开发机器人(DevBot),旨在回答有关软件安全的查询的实证研究结果。据我们所知,SKF聊天机器人是为数不多的同类机器人之一,因此是会话式DevBots帮助安全软件开发的代表性实例。在这项研究中,我们收集和分析了SKF聊天机器人有效性的经验证据,同时评估了其用户的需求和期望(即,软件开发人员)。此外,我们还探讨了可能阻碍更复杂的会话安全DevBots的制定的因素,并确定了提高最先进解决方案效率的功能。总而言之,我们的研究结果提供了有价值的见解,指向设计更多的上下文感知和个性化的对话DevBots的安全工程。
2022-05-12 cs.CR cs.HC cs.SE
Live, Rich, and Composable: Qualities for Programming Beyond Static Text
推动编程超越静态文本代码的努力已经寻求向编程注入多种不同的品质。一个长期公认的特性是活跃性:在程序编辑时为程序员提供关于程序动态行为的深入反馈。第二个品质,长期探索但缺乏共同的艺术术语,是丰富性:允许程序员通过特定领域的表示和交互来编辑程序,而不仅仅是通过文本。在本文中,我们映射这两个品质之间的关系,并调查过去的工作,证明他们。我们观察到,结合了活性和丰富性的系统往往是以牺牲传统编程的一个基本品质为代价的:可组合性。我们认为,通过结合活性,丰富性和可组合性,编程系统可以更好地捕捉交互式计算的全部潜力,而不会留下传统代码的表现力。
2023-03-12 cs.HC cs.PL cs.SE
An Empirical Evaluation of Flow Based Programming in the Machine Learning Deployment Context
University of Cambridge(剑桥大学)
随着数据驱动技术的普及,软件工程师经常面临使用数据驱动方法(如机器学习(ML)算法)解决业务问题的任务。在大型软件系统中部署ML带来了标准工程实践无法解决的新挑战,因此企业观察到ML部署项目失败率很高。面向数据的架构(DOA)是一种新兴的方法,可以支持数据科学家和软件开发人员应对这些挑战。然而,在实践中如何实现DOA系统缺乏明确性。本文提出了考虑流为基础的编程(FBP)作为一个范例,用于创建DOA应用程序。我们在代表典型数据科学项目的四个应用程序的ML部署背景下对FBP进行了经验评估。我们使用面向服务的体系结构(SOA)作为比较的基准。针对不同的应用程序域、ML部署阶段和代码质量指标进行评估。结果表明,FBP是一个合适的范例数据汇集和数据科学任务,并能够简化数据汇集和发现相比,SOA。我们讨论了FBP的优点,以及需要解决的差距,以增加FBP通过作为DOA的标准设计范例。
2022-04-27 cs.LG cs.SE
Recognizing Developers' Emotions while Programming
开发人员在编程任务期间会经历各种各样的情绪,这可能会影响工作表现。在本文中,我们提出了一个实证研究,旨在(i)调查情绪和进步之间的联系,(ii)了解开发人员的情绪触发和应对负面情绪的策略,(iii)确定最小的一组非侵入性生物传感器的情绪识别在编程任务。结果证实了以前的研究结果之间的关系情绪和感知生产力。此外,我们表明,开发人员的情绪可以可靠地识别,只使用一个腕带捕捉皮肤电活动和心脏相关的指标。
2021-05-06 cs.SE
The Ballmer Peak: An Empirical Search
本研究针对“Ballmer Peak”假设及饮酒助益编程的普遍看法,用行业标准评估方法验证发现,不存在大幅提升编程能力的特定酒精浓度峰值,但少量饮酒(略少于两杯)有显著正向作用。
2024-04-02 cs.SE
DARVIZ: Deep Abstract Representation, Visualization, and Verification of Deep Learning Models
传统的软件工程编程范式大多是面向对象或过程的,由确定性算法驱动。随着深度学习和认知科学的出现,数据驱动编程的趋势正在出现,这在软件工程社区中创造了编程范式的转变。可视化和解释当前大规模数据驱动的软件开发的执行是具有挑战性的。此外,对于深度学习开发,有许多库采用多种程序设计语言,如TensorFlow(Python)、CAFFE(C++)、Theano(Python)、Torch(Lua)和Deeplearning4j(Java),这推动了对跨库互操作性的巨大需求。
2017-08-16 cs.SE
An Empirical Investigation on the Challenges of Creating Custom Static Analysis Rules for Defect Localization
背景:自定义静态分析规则,即特定于一个或多个应用程序的规则已经成功地应用于执行纠正和预防软件维护。模式驱动的维护(PDM)是一种方法,旨在支持在软件维护过程中创建这样的规则。然而,由于PDM是最近提出的,很少有维护人员报告其使用情况。因此,正确应用PDM所需的挑战和技能是未知的。目的:在本文中,我们调查所面临的挑战,维护人员应用PDM创建自定义静态分析规则的缺陷定位。方法:我们进行了一项观察性研究的新手维护创建自定义静态分析规则,通过应用PDM。该研究分为三个任务:(i)识别缺陷模式,(ii)编程一个静态分析规则来定位模式的实例,以及(iii)验证定位的实例。我们分析了维护人员应用PDM的效率和接受程度,以及他们对任务挑战的评价。结果如下:我们观察到,以前的知识调试,主题软件,以及相关技术的影响的性能维护人员,以及时间来学习的技术涉及规则编程。结论:结果增强了我们的信心,PDM可以帮助维护人员制定自定义的静态分析规则来定位缺陷。然而,一个适当的选择和培训的维护人员是需要有效地应用PDM。此外,使用更高级别的抽象可以简化新手维护人员的静态分析规则编程。
2021-11-18 cs.SE
Excel as a Turing-complete Functional Programming Environment
本文探讨Excel自2018年引入动态数组后,其计算能力如何支持更接近正式编程的替代方法,并讨论社区中涌现的新趋势及其潜在影响。
2023-08-31 cs.SE
Assessing New Hires' Programming Productivity Through UMETRIX -- An Industry Case Study
本研究基于UMETRIX工具开发了“Utpada”编程生产力框架,可评估新员工技能差距、制定提升计划,使新员工试用期高质量代码贡献提升89%,可灵活集成到现有入职项目中。
2023-05-05 cs.SE
What Should Developers Be Aware Of? An Empirical Study on the Directives of API Documentation
应用程序编程接口(API)向开发人员公开,以便重用软件库。API指令是API文档中的自然语言语句,使开发人员了解与API使用相关的约束和指导原则。本文介绍了设计和面向对象的图书馆的API文档的指令的实证研究的结果。它的主要贡献是提出并广泛讨论了23种API指令的分类。
2012-05-29 cs.SE
Exploratory and Live, Programming and Coding: A Literature Study Comparing Perspectives on Liveness
各种编程工具,语言和环境给程序员的印象是在程序运行时更改程序。这种活跃的体验已经讨论了二十多年,关于这个主题的研究范围很广。除此之外,这项工作已经在社区中围绕三个主要的想法进行,其中包括活跃性作为一个重要方面:实时编程,探索性编程和实时编码。虽然有关于每个特定社区的重点的出版物,但这三个社区的整体活跃度尚未调查。因此,我们想描绘各种研究的活性。与此同时,我们希望调查这三个社区在价值观和贡献方面的重叠和差异。因此,我们进行了一项文献研究的样本212出版物的检索词从三个主要的索引服务。在这个样本上,我们进行了主题分析,涉及以下方面:活跃的动机,应用领域,运行系统的预期结果,以及贡献的类型。我们还收集了相关关键词和著名出版物等书目信息。研究结果表明,探索性程序设计的领域主要是通用程序设计工具的技术设计和实证研究。相比之下,关于实时编码的出版物在动机和方法上最多样化,其中大多数是对用户的实证研究。正如预期的那样,大多数关于现场编码的出版物都应用于行为艺术。最后,关于现场编程的研究主要是为了使编程更容易获得和更容易理解,通过与用户的实证研究来评估他们的工具设计。在描绘关于活力的工作范围时,我们希望使各个社区更加了解其他社区的工作。此外,通过概述各个社区的价值观和方法,我们希望为活跃度领域的新研究人员提供初步的概述。
2018-07-23 cs.PL cs.SE
Functional Programming and Security
本文根据公认的信息安全原则,分析了典型功能语言特征的安全贡献。命令式和函数式代码进行了比较,以说明各种情况。总之,基于更好的安全性,使用函数式语言可能是一个很好的例子;但是,应该进行实证研究来验证这种可能性。
2012-01-27 cs.CR cs.PL cs.SE
Towards Interactive, Incremental Programming of ROS Nodes
Conpleks ApS;University of Southern Denmark(南丹麦大学)
编写用于控制机器人的软件是一项复杂的任务,通常需要掌握许多程序设计语言并需要大量的实验。我们相信,自下而上的开发过程可以补充传统的基于组件和基于MDSD的方法,从而促进实验。我们建议使用一个内部DSL提供一个工具,以交互方式创建ROS节点和行为替换机制,以交互方式重塑现有的ROS节点,通过包装外部接口(发布/订阅主题),动态控制使用Python命令行界面。
2014-12-15 cs.RO cs.SE
An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks
University of Wollongong(伍伦贡大学);Western Sydney University(西悉尼大学)
本研究实证评估成本高效LLM生成企业代码的可靠性,发现结构符合性高但计算正确性低,且可靠性与正确性呈反比关系。
2026-09-17 cs.AI cs.SE
Programming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE Sessions
University of Notre Dame(圣母大学);Vanderbilt University(范德堡大学)
研究通过分析11579个真实IDE会话中的74998条开发者消息,揭示了编程工作组织的三大转变:对话编程作为逐步规范、认知工作分配给AI以及主动管理协作。
2026-08-25 cs.HC cs.SE
Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study
University of Coimbra, CISUC/LASI(科英布拉大学,CISUC/LASI);Centre for Software Reliability(软件可靠性中心);Department of Informatics Engineering(信息工程系);Department of Computer Science(计算机科学系);City St George’s, University of London(伦敦城市圣乔治大学)
研究大语言模型能否成为软件多样性的实用生成器及提升可靠性程度。通过扩展经典实证研究,对多种规范程序进行测试,探索大语言模型多样性多维度影响,结果表明其能助力可靠性提升。
2026-07-07 cs.AI cs.SE
Can Advanced Type Systems Be Usable? An Empirical Study of Ownership, Assets, and Typestate in Obsidian
一些区块链程序(智能合约)包含严重的安全漏洞。Obsidian是一种新的面向类型状态的程序设计语言,它使用强类型系统来排除其中的一些漏洞。虽然Obsidian的设计是为了提高可用性,使编写程序尽可能容易,但强类型系统可能会导致语言难以使用。特别是Obsidian用来提供安全保证的所有权、类型状态和资产,还没有在流行语言中得到广泛采用,这导致了重大的可用性挑战。我们对20名参与者进行了一项实证研究,将Obsidian与Solidity进行了比较,Solidity是当今最常用的智能合约编写语言。我们观察到Obsidian参与者能够成功完成比Solidity参与者更多的编程任务。我们还发现,Solidity的参与者通常会插入与资产相关的bug,Obsidian会在编译时检测到这些bug。
2020-10-16 cs.PL cs.SE
An Empirical Study of Bitwise Operators Intuitiveness through Performance Metrics
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
本研究通过受试者内实验设计,调查不同编程背景参与者对位运算符的理解,发现运算符可显著预测响应时间,且OR、NOT和左移等运算符不够直观,需进一步研究改进。
2025-10-26 cs.CR cs.PL cs.SE
Object-Spatial Programming
本文提出对象-空间编程(OSP)模型,以拓扑感知 archetype 显式表达空间结构与遍历,从而提升表达力并支持局部性、并行与分布优化。
2025-06-07 cs.MA cs.PL cs.SE
Convolutional Neural Networks over Tree Structures for Programming Language Processing
Peking University(北京大学);Stanford University(斯坦福大学)
程序设计语言处理(类似于自然语言处理)是软件工程领域的研究热点,也引起了人工智能界越来越多的关注。然而,不同于自然语言句子,程序包含丰富、明确和复杂的结构信息。因此,传统的NLP模型可能不适合程序。在本文中,我们提出了一种新的基于树的卷积神经网络(TBCNN)的程序设计语言处理,其中卷积核的设计程序的抽象语法树,以捕捉结构信息。TBCNN是一个通用的架构程序设计语言处理,我们的实验表明,它的有效性在两个不同的程序分析任务:根据功能分类程序,并检测某些模式的代码片段。TBCNN优于基线方法,包括几个NLP神经模型。
2015-12-08 cs.LG cs.NE cs.SE
Holon Programming Model -- A Software-Defined Approach for System of Systems
Honda Research Institute Europe(本田欧洲研究院)
本文提出 Holon 编程模型,以软件定义方式解决系统之系统缺乏可编程性、难以开发第三方 SoS 级行为的问题,并通过灾害管理场景验证其设计与编排复杂系统行为的有效性。
2024-10-23 cs.AI cs.ET cs.SE
The Ann Arbor Architecture for Agent-Oriented Programming
Ann Arbor Algorithms(安阿伯算法公司)
本文从自动机理论重审提示工程,提出 Ann Arbor 架构作为语言模型智能体编程的高层抽象,并据此设计 Postline 平台、开展初步训练实验。
2025-02-14 cs.AI cs.HC cs.SE