Content and structure of laboratory packages for software engineering experiments
本文针对软件工程实验复制数量少的问题,通过评估七次实验复制,提出了能减少复制工作量的实验包内容与结构。
2024-02-11 cs.SE
Hidden Figures in Software Engineering: A Replication Study Exploring Undergraduate Software Students' Awareness of Distinguished Scientists from Underrepresented Groups
本研究通过全球复制调查发现软件工程本科生对代表性不足群体的杰出科学家认知有限,强调需提升多样性认知并开发包容性教育实践。
2024-12-20 cs.SE
Exploring Gender Bias in Remote Pair Programming among Software Engineering Students: The twincode Original Study and First External Replication
上下文软件工程(SE)由于性别偏见,男性更擅长编程,女性代表性较低。结对编程(PP)在行业中很常见,可以增加学生对SE的兴趣,特别是女性;但如果性别偏见影响PP,它可能会阻止女性加入该领域。Objective.我们探讨PP中的性别偏见。在一个远程设置,学生不能看到他们的同龄人的性别,我们研究如何感知生产力,技术能力和协作/互动行为的SE学生不同的感知性别的远程合作伙伴。法我们开发了一个在线PP平台(twincode),带有协作编辑窗口和聊天窗格。对照组没有关于他们的伴侣的性别信息,而治疗组看到的性别化身是男性或女性。化身性别在任务之间交换,以分析45个变量,包括塞维利亚大学原始研究中的46对协作编码行为,聊天话语和问卷回答,以及加州大学伯克利分校复制的23对。结果性别偏见处理或感知伴侣性别与受试者性别之间的交互作用对原始研究中的任何变量都没有显著影响。在重复实验中,实验组内的四个变量在中等到大的尺寸上有显着的效果,比较对象是男性和女性时的行为。
2023-03-10 cs.SE
Temporal Discounting in Software Engineering: A Replication Study
背景资料:软件工程实践中的许多决策都是跨期的选择:在具有潜在短期利益的较近选项和具有潜在长期利益的未来选项之间进行时间上的权衡。然而,软件专业人员如何进行跨期决策还没有得到很好的理解。目的:本文探讨了如何转移的时间框架影响偏好在软件项目中有目的地选择的背景因素。方法:我们通过复制一项基于时间的观察性研究来调查时间折扣。复制使用一个改变人口和实验者的设计,以增加内部和外部的有效性的原始结果。结果如下:本研究的结果证实了时间折扣的发生在来自不同国家的专业和学生参与者的样本,并表现出很强的差异,研究参与者之间的折扣。我们发现,专业经验影响贴现。具有更广泛的专业经验的参与者比那些具有更窄经验的参与者表现出更少的折扣。结论:研究结果为时间折扣在SE中的相关性和重要性以及有针对性的跨学科研究的紧迫性提供了强有力的实证支持,以探索潜在的机制及其理论和实践意义。研究结果表明,技术债务管理可以通过增加经验的广度来改善,这些经验可用于具有长期影响的关键决策。此外,本研究提供了一个方法论基础复制时间折扣研究在软件工程。
2019-06-26 cs.SE
Replications, Revisions, and Reanalyses: Managing Variance Theories in Software Engineering
本文提出一个概念框架,将软件工程中的研究综合从元分析扩展到复制、修订与再分析,以管理方差理论,帮助研究者系统拓展科学前沿。
2024-12-17 cs.SE
Increasing Validity Through Replication: An Illustrative TDD Case
背景:软件工程(SE)实验受到有效性的威胁,这可能会影响他们的结果。重复允许研究人员建立在以前实验的弱点之上,并增加发现的可靠性。目的:说明重复的好处,以增加调查结果的可靠性和发现调节变量。方法:我们复制了一个测试驱动开发(TDD)的实验,并解决了它的有效性和以前的复制的一些威胁。我们比较了重复的结果,并假设影响结果的合理调节因素。结果如下:TDD重复结果之间的差异可能是由于响应变量的可操作性、受试者接受治疗的分配、在实验室外工作的允许、存根的提供或任务。结论:复制允许检查结果的鲁棒性,假设影响结果的合理主持人,并加强所获得的证据。
2020-04-11 cs.SE
An Agentic Approach Towards Replication Package Quality Evaluation
Technical University of Munich, Germany(慕尼黑工业大学);fortiss, Germany(福蒂斯研究所);Blekinge Institute of Technology, Sweden(布莱金厄理工学院)
提出一种多智能体方法,将开放科学指南转化为机器可验证标准,自动检查复制包质量并生成改进报告,初步评估显示高一致性和正确性。
2026-07-24 cs.SE
Replications, Revisions, and Reanalyses: Managing Empirical Evidence in Software Engineering
Chalmers University of Technology and Gothenburg University(查尔姆斯理工大学和哥德堡大学);Netlight Consulting GmbH(Netlight咨询公司);fortiss GmbH(fortiss公司);Software Engineering Research Lab, Blekinge Institute of Technology(布莱金厄理工学院软件工程研究实验室);Mid Sweden University(瑞典中部大学);Stellenbosch Institute for Advanced Study (STIAS)(斯坦伦布什高等研究院)
针对软件工程中经验证据管理不足的问题,提出基于方法工程的研究综合框架,系统关联复制、修订与再分析三类证据演化,以提升外部、内部与结论效度,并确定领域前沿。
2026-09-09 cs.SE
The State of Open Science in Software Engineering Research: A Case Study of ICSE Artifacts
University of Saskatchewan(萨斯喀彻温大学)
本文评估了过去十年ICSE会议发表的100个复制包,发现仅有40个完全可执行,且其中仅35%能复现原始结果,揭示了复制包在可执行性和可重复性上的不足,并提出改进指南。
2026-03-23 cs.SE
Guidelines for the Search Strategy to Update Systematic Literature Reviews in Software Engineering
内容:系统性文献综述(SLR)在软件工程(SE)中已被采用十多年,以提供关于几个主题的有意义的证据摘要。这些SLR中的许多现在可能不是完全最新的,并且没有关于如何在SE中更新SLR的标准建议。目的:本文的目的是提出如何最好地搜索证据时,在SE更新SLR的指南,并评估这些指南使用的SLR,没有在制定指南。方法:为了提出我们的指导方针,我们比较和讨论的结果,从应用不同的搜索策略,以确定在已发表的SLR,SLR更新的主要研究,并在该地区的努力估计两个副本。这些准则,然后使用SLR在软件生态系统,其更新和复制领域进行评估。结果如下:在更新SLR时,使用Google Scholar的单次迭代向前滚雪球,并将原始SLR及其主要研究用作种子集,是搜索新证据的最具成本效益的方法。此外,在应用纳入和排除标准时,有一个以上的研究人员参与选择论文的重要性通过结果突出显示。结论:我们提出的准则制定的基础上的努力估计SLR,其更新和两个复制,支持使用SLR在该地区的软件生态系统,其更新和复制。因此,我们提出,我们的指导方针,应采用更新的SLR在SE。
2020-06-09 cs.SE
Assessment of Off-the-Shelf SE-specific Sentiment Analysis Tools: An Extended Replication Study
情感分析方法在调查人类交流中已经变得流行,包括与软件项目相关的讨论。由于通用情感分析工具不能很好地适应软件开发人员交换的信息,因此已经开发了专用于软件工程(SE)的新工具。我们调查在何种程度上SE特定的情感分析工具减轻了威胁,实证研究的结论有效性在软件工程,突出了以前的研究。首先,我们复制了两项研究,探讨情绪在GitHub上的安全讨论和在Stack Overflow上的问题写作中的作用。然后,我们扩展了以前的研究,评估在何种程度上的工具同意彼此和手动注释的黄金标准的600个文件。我们发现,不同的SE特定的情感分析工具可能会导致矛盾的结果,在细粒度的水平,当使用“现成的”。相反,可能需要进行特定于平台的调优或重新训练,以考虑平台约定、行话或文档长度的差异。
2021-02-19 cs.SE
A replication of a controlled experiment with two STRIDE variants
为了避免在软件部署后进行昂贵的安全修补,安全设计技术(例如,STRIDE威胁分析)在组织中被采用,以在系统实施之前根除安全问题。尽管全球网络安全劳动力缺口以及执行威胁分析所需的大量手动工作,但组织正在加强威胁分析活动。然而,过去的实验结果是不确定的威胁分析技术的一些性能指标,因此从业者几乎没有证据选择的技术采用。为了解决这个问题,我们用STRIDE重复了一个对照实验。我们的研究旨在测量和比较两种STRIDE变体(元素和相互作用)的性能指标(生产率和精度)。我们通过将我们的结果与原始研究进行比较来总结本文。
2022-08-02 cs.CR cs.SE
Naming the Pain in Requirements Engineering: Comparing Practices in Brazil and Germany
作为消除需求工程中的痛苦(NaPiRE)计划的一部分,研究人员比较了巴西和德国公司在需求工程(RE)中遇到的问题。关键的收获是,在可再生能源中,无论国家、项目类型或公司规模如何,人类互动对于引出和指定高质量的要求都是必要的。
2016-11-28 cs.SE
Engineering Lessons from Authorized YouTube-to-Blockchain Content Replication at Scale
University of Louisville(路易斯维尔大学);JSgenesis / Joystream DAO
本文提出YouTube-Synch系统,实现从YouTube到去中心化存储的大规模内容提取与复制,分析平台防御机制的耦合性及应对策略,提出改进的代理栈、信任最小化所有权验证协议等方法。
2026-06-21 cs.CR cs.SE
Fairness Across Fields: Comparing Software Engineering and Human Sciences Perspectives
University of Calgary(卡尔加里大学)
本文比较软件工程与人文科学对公平性的概念化,发现前者侧重形式和统计方法,后者强调结构性不平等与权力关系,为技术伦理发展提供跨学科见解。
2026-03-29 cs.SE
Comparative Stability of Cloned and Non-cloned Code: A Replication Study
代码克隆是软件工程的一个重要方面。它是一个常见的软件重用原则,包括在程序中或在同一实体拥有或维护的不同系统中复制源代码。关于克隆对软件稳定性和维护工作的影响,有几个相互矛盾的说法。一些论文指出,克隆是可取的,因为它加快了开发过程,并帮助利益相关者满足紧迫的时间表和按时交付。其他论文认为,代码克隆导致代码膨胀,并导致增加软件维护成本,由于复制的缺陷和死代码。在本文中,我们复制了原作者以前对克隆的研究。我们正在重复他的工作,使用相同的方法和指标,但不同的主题和实验者。本文使用三种不同的稳定性测量方法来评估代码克隆对代码稳定性的影响。我们的团队将在用C程序设计语言开发的不同软件系统上应用相同的稳定性测量技术,以确定可推广性,确保结果可靠,验证其结果,并通过结合相关研究的先前发现来激发新的搜索。
2015-04-29 cs.SE
A Replication Study on Measuring the Growth of Open Source
内容:在过去的几十年里,开源软件已经渗透到软件行业,并已成为软件工程的关键支柱之一。开源的无与伦比的增长反映了这种扩散:以前的工作将开源描述为线性增长,多项式甚至指数增长。目的:在这项研究中,我们探讨了开源的长期增长,并通过复制以前关于衡量开源项目增长的研究来证实以前的发现。方法:我们使用Open Hub作为测量系统,在172,833个开源项目的样本上复制了四个现有的开源增长测量:我们分析了过去30年中已知开源领域的代码行,提交,新项目和开源贡献者的数量。结果如下:我们发现开源的增长已经耗尽:在最初的指数增长之后,所有的测量都显示出自2013年达到峰值以来的单调下降趋势。现有的增长模式都经不起时间的考验。结论:我们的研究结果对开源的增长和Open Hub作为描述开源的代理的代表性提出了更多的问题。我们讨论了我们的观察结果的多种解释,并鼓励使用替代数据集进行进一步的研究。
2022-01-20 cs.SE
Can GPT-4 Replicate Empirical Software Engineering Research?
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本研究探究GPT-4复现实证软件工程研究的能力,通过7篇论文的测试与14名专家的评估,发现其能挖掘正确假设、生成逻辑正确的高层代码,但存在常识假设缺失和底层实现错误的问题。
2024-06-19 cs.AI cs.SE
Comparing Open-Source and Commercial LLMs for Domain-Specific Analysis and Reporting: Software Engineering Challenges and Design Trade-offs
Chalmers University of Technology(查尔姆斯理工大学);The University of Gothenburg(哥德堡大学);Mid Sweden University(瑞典中部大学)
本研究以财务报告分析为案例,比较开源多智能体LLM系统与商业GPT-4o,揭示二者在性能、隐私、合规和工程成本上的设计权衡。
2025-09-29 cs.SE
Applying empirical software engineering to software architecture: challenges and lessons learned
在过去的15年中,软件体系结构已经成为管理大型软件密集型系统的开发和维护的重要软件工程领域。软件架构社区已经开发了许多方法、技术和工具来支持架构过程(分析、设计和评审)。从历史上看,软件架构的大多数进步都是由人才和行业经验推动的,但现在越来越需要系统地收集有关工具和方法的优势或其他方面的经验证据,而不仅仅是依靠宣传轶事或修辞。本文的目的是促进和促进软件体系结构的经验范式的应用。为此,我们描述了在评估软件架构研究时所遇到的挑战和经验教训,这些研究使用了受控实验、复制、专家意见、系统的文献综述、观察性研究和调查。我们的研究将支持一个知识体系的出现,包括更广泛接受的和良好的形式的软件架构理论。
2017-01-21 cs.SE
How do Practitioners Perceive the Relevance of Requirements Engineering Research? An Ongoing Study
需求工程(RE)研究与从业人员的相关性是该领域问题驱动研究的先决条件,也是将研究成果长期传播到日常实践的关键。为了更好地了解行业从业人员如何看待可再生能源研究的实际意义,我们启动了RE-Pract项目,这是一项进行实证研究的国际合作。该项目选择复制以前在两个不同领域所做的工作,并依赖于调查研究。为此,我们设计了一项调查,将发送给世界各地不同公司的数百名行业从业者,并要求他们对2010年至2015年期间在RE,ICSE,FSE,ESEC/FSE,ESEM和REFSQ会议上发表的418篇RE论文中描述的研究的实际相关性进行评估。在本文中,我们总结了我们的研究方案,并提出了我们的研究现状和计划的未来步骤。
2017-06-14 cs.SE
Comparing Example-Based Collaborative Reflection to Problem Solving Practice for Learning during Team-Based Software Engineering Projects
贡献的文学工作的例子和解决问题之间的能力治疗的相互作用,本文讨论了差异学习的两种方法时,学生被定位为领域专家学习新的概念。我们的评估是位于一个团队项目,是一个先进的软件工程课程的一部分。在本课程中,拥有基础领域知识但正在学习新概念的学生可以交替进行编程,然后进行基于工作实例的反思。他们要么被允许完成编程,要么在预先指定的时间后被缩减,以参与更长的基于工作示例的反射。我们发现在这两种情况下,测试前到测试后的学习都有显著的提高。然后,我们不仅发现更多的学习,当学生参加了更长的工作基于实例的反思,但也有显着的性能改善解决问题的迁移任务。这些研究结果表明,领域专家学习新概念受益更多的工作实例为基础的反思,而不是从解决问题。
2021-07-01 cs.SE
Ten Years of Software Engineering in Society
本研究通过映射ICSE的SEIS轨道十年间123篇文章,识别出可持续性、多样性与开源软件趋势,发现实际干预缺失及社会维度主导、环境维度被忽视的空白,旨在激发社区讨论与复制研究。
2025-05-23 cs.SE
Pre-Training on Software Engineering Texts: Effects on Domain Adaptation and General-Language Understanding
Faculty of Computer Science and Mathematics University of Passau(帕绍大学计算机科学与数学学院)
研究如何让语言模型适应软件工程文本,比较持续预训练和从头预训练,评估领域适应和通用语言理解。发现重用现有模型占优,CPT领域收益小,PTS代价大,还给出实用指南并发布相关资源。
2026-07-09 cs.SE
Benchmarking as Empirical Standard in Software Engineering Research
在经验软件工程中,基准测试可以用来比较不同的方法、技术和工具。然而,最近的ACM SIGSOFT经验标准软件工程研究不包括一个明确的检查表基准。在本文中,我们讨论的基准软件的性能和可扩展性评估的例子研究领域,在软件工程,基准与其他一些实证研究方法,并讨论了基准的要求,可能构成一个清单的基准标准实证软件工程研究的基础。
2021-05-01 cs.SE
Navigating Complexity in Software Engineering: A Prototype for Comparing GPT-n Solutions
导航的非平凡的软件工程任务的不同解决方案空间需要技术知识,解决问题的技能和创造力的组合。由于有多种可能的解决方案,每种方案都有自己的权衡,因此程序员必须评估各种选项并选择最适合项目特定要求和约束的选项。无论是从一系列库中进行选择,权衡不同架构和设计解决方案的利弊,还是找到满足用户需求的独特方法,创造性思维的能力对于做出明智的决策至关重要,这将导致高效和有效的软件。然而,目前面向程序员的聊天机器人工具的界面,如OpenAI的ChatGPT或GitHub Copilot,都是针对单一解决方案进行优化的,即使是复杂的查询。虽然可以请求其他解决方案,但默认情况下不会显示这些解决方案,并且无法直观地访问。在本文中,我们提出了我们的工作在进行中的原型“GPTCompare”,它允许程序员直观地比较多个源代码的解决方案GPT-n模型生成的相同的编程相关的查询突出其相似性和差异。
2023-01-28 cs.HC cs.SE
Enabling Software Resilience in GPGPU Applications via Partial Thread Protection
图形处理单元(GPU)被广泛领域中的各种应用广泛使用以加速其计算,但仍然容易受到可能容易损害应用输出的瞬时硬件故障(软错误)的影响。通过利用线程、线程束和协作线程阵列中的通用GPU应用程序分层组织,我们提出了一种识别线程弹性的方法,旨在将具有相同弹性特征的线程映射到相同的线程束。这允许接合部分复制机制以用于在扭曲级别处的错误检测/校正。通过探索12个基准测试(17个内核)从4个基准套件,我们说明了线程可以重新映射到可靠或不可靠的线程束,只有1.63%的引入开销(平均),然后通过复制到那些组的线程,真正需要它启用选择性保护。此外,我们表明,线程重新映射到不同的线程束不会牺牲应用程序的性能。我们展示了这种重新映射如何促进翘曲复制错误检测和/或纠正,并实现了平均减少20.61%和27.15%的执行周期,分别与标准的重复/三重。
2021-03-29 cs.DC cs.SE
Status Quo in Requirements Engineering: A Theory and a Global Family of Surveys
需求工程(RE)在过去的几十年里已经成为一门软件工程学科。虽然研究人员一直在调查RE学科与大量的实证研究,试图系统地推导出一个基于理论的RE学科的背景下,最近才开始。然而,这样的理论是必要的,如果我们要定义和激励指导进行高质量的RE研究和实践。我们的目标是提供一个经验和有效的基础理论RE,这有助于软件工程师建立有效的和高效的RE过程。我们设计了一种调查工具和理论,现已在全世界10个国家推广。我们评估的理论与自助置信区间的命题,并得出潜在的解释命题。我们报告的基本理论和完整的结果从复制研究与参与者来自228个组织。我们的研究结果代表了一个实质性的一步,朝着发展一个基于几何的理论,RE提供洞察到目前的做法与RE过程。例如,结果显示,不同国家和地区的组织之间没有很大的差异,访谈,促进会议和原型设计是最常用的启发技术,需求通常以文本形式记录,需求和代码或设计文档之间的跟踪是常见的,要求规格本身很少改变,要求工程(过程)改进努力大多是内在动机。我们的研究建立了一个理论,可以作为许多进一步研究的起点,进行更详细的调查。从业者可以使用的结果作为理论支持的指导选择合适的RE方法和技术。
2018-12-17 cs.SE
How do Software Engineering Researchers Use GitHub? An Empirical Study of Artifacts & Impact
本文通过手工标注顶级软件工程会议论文中的 GitHub/Zenodo 链接并深入分析309个仓库,考察研究制品的维护、社区关注与学术影响力。
2024-04-05 cs.SE
Protocol for a Systematic Mapping Study on Collaborative Model-Driven Software Engineering
如今,由多个利益相关者执行的协作建模在学术界和实践中越来越受到关注。然而,它提出了一系列的研究挑战,如大型和复杂的模型管理,支持多用户建模环境,和同步机制,如模型迁移和合并,冲突管理,模型版本和回滚支持。在科学文献中存在关于协作模型驱动软件工程(MDSE)的知识体系。尽管如此,这些研究仍然分散在不同的独立研究领域,如软件工程,模型驱动的工程语言和系统,模型集成计算等,并且仍然缺少对协作MDSE的各种途径和方法进行分类和比较的研究。从这个角度来看,系统的映射研究(SMS)可以帮助研究人员和从业人员(i)有一个完整的,全面的和有效的图片的最先进的合作MDSE,(ii)确定潜在的差距,在目前的研究和未来的研究方向。
2016-11-08 cs.SE
Belonging Beyond Code: Queer Software Engineering and Humanities Student Experiences
本研究比较了165名酷儿软件工程学生与119名人文学科学生的经历,发现前者归属感更低且面临更多学术挑战,建议软件工程借鉴人文学科的包容性做法以改善环境。
2025-03-06 cs.SE
ACM SIGSOFT SEN Empirical Software Engineering: Introducing Our New Regular Column
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Florence(佛罗伦萨大学)
本研究介绍一个新专栏,旨在促进实证软件工程领域的讨论,涵盖研究方法、统计方法和跨学科研究等主题,鼓励反思和改进ESE研究。
2025-12-08 cs.SE
Gender Influence on Student Teams' Online Communication in Software Engineering Education
本研究通过分析39名学生八周GitHub项目中的Slack沟通,发现性别相关的协作行为差异及其与软件开发理解的显著关联,为公平协作教学提供依据。
2025-02-20 cs.SE
How do we Evaluate Self-adaptive Software Systems?
随着自适应系统研究的增加,有必要更好地了解评估研究贡献的方式。这些见解将支持研究人员在为社区开发新知识时更好地比较新发现。然而,到目前为止,还没有一个清晰的概述如何评估自适应系统中进行。为了解决这一差距,我们进行了一项测绘研究。这项研究的重点是在过去十年中发表的实验评估在软件工程的自适应系统的研究的主要地点-自适应和自我管理系统(SEAMS)的软件工程国际研讨会。结果指出,自适应系统的细节需要在实验过程中特别注意,包括管理系统的区别(即,评估的目标)和管理的系统,影响系统行为的不确定性的存在,因此需要在数据分析中考虑,以及管理的系统在实验中重复使用的潜力,而不是复制。最后,我们提供了一组来自我们的研究,可以作为输入,以加强未来的自适应系统实验的建议。
2021-03-21 cs.SE
Statistical Software for Psychology: Comparing Development Practices Between CRAN and Other Communities
不同的社区严重依赖软件,但使用完全不同的软件开发实践。{ \bf目标}:我们希望衡量心理学统计软件领域的实践状况,以了解它与最佳实践的比较情况。{ \bf方法}:我们对30个软件工具进行了比较和排名,这些软件工具在最终用户可以衡量的项目上遵守了最佳软件工程实践。{ \bf Results}我们发现R软件包使用了相当好的实践,虽然商业软件包非常可用,但其开发的许多方面太不透明而无法衡量,并且研究项目在实践中有很大差异。{ \bf Conclusion}我们建议更多的组织采用类似于CRAN所使用的实践,以促进成功,即使是小型团队也是如此。我们还建议源代码和文档紧密耦合,以提高可验证性。
2018-02-20 cs.SE
Students' and Professionals' Perceived Creativity In Software Engineering: A Comparative Study
本研究通过访谈33名软件工程从业者和10名专业学生,梳理出45个创造力相关主题,对比发现二者在创造环境等五大维度的认知差异,并提出高等教育培养创造性问题解决能力的实践启示。
2023-12-19 cs.SE
Comparing Domain-Model Similarity Metrics Against Human Expert Ratings
Institute for Software and Systems Engineering, TU Clausthal(茨维塔尔工业大学软件与系统工程研究所)
本文实现5种领域模型相似度指标,对比其与39组领域模型的人类专家评分,发现无单一指标在所有标准占优,集成多指标或可替代人类专家评分。
2026-08-18 cs.SE
A Systematic Literature Review of Software Engineering Research on Jupyter Notebook
University of Alberta(阿尔伯塔大学);Queen’s University(女王大学)
本文系统回顾了Jupyter Notebook的软件工程研究,发现其在人机交互领域更受欢迎,且存在代码重用、可读性等研究空白,未来需探索自动化测试和文档生成等方向。
2026-01-04 cs.CE cs.HC cs.SE
Empirical Studies on Quantum Optimization for Software Engineering: A Systematic Analysis
Beihang University(北京航空航天大学)
本文系统分析了软件工程量子优化实证研究,发现当前在重复次数报告、噪声处理及标准化评估协议等方面存在不足,为未来设计评估量子、量子启发式及混合算法的实证研究提供了参考。
2025-10-31 cs.SE
SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents
Sun Yat-sen University(中山大学);Zhejiang University(浙江大学);Chongqing University(重庆大学)
SWE-Gate基准结合功能测试与审查约束评估,发现仅通过功能测试的软件工程智能体中约34%未满足审查约束,仅功能评估会高估智能体的修复能力。
2026-09-04 cs.AI cs.SE
Leveraging Large Language Models for Predicting Cost and Duration in Software Engineering Projects
针对软件项目成本与工期估算难题,本文评估LLM相对传统及机器学习方法的准确性、易用性与工业适用性,证明其可提供更准确且易用的预测替代方案。
2024-09-15 cs.SE
Towards a Classification of Open-Source ML Models and Datasets for Software Engineering
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Singapore Management University(新加坡管理大学)
本研究针对开源ML模型与数据集缺乏软件工程(SE)导向分类的问题,对Hugging Face上的PTMs和数据集进行仓库挖掘与SE相关性分析,发现代码生成是最常见任务,并指出自2023年第二季度起面向SE的模型显著增加,强调需扩展任务覆盖以促进ML与SE的整合。
2024-11-14 cs.AI cs.LG cs.SE
A case study on the transformative potential of AI in software engineering on LeetCode and ChatGPT
本文通过爬取和挖掘 LeetCode 数据,从质量、可理解性、运行时间与内存等指标比较 GPT-4o 与人类 Python 代码,发现其整体表现较好但泛化能力有限。
2025-01-07 cs.DB cs.SE
Software Engineering and Foundation Models: Insights from Industry Blogs Using a Jury of Foundation Models
Queen’s University(女王大学);University of Alberta(阿尔伯塔大学)
本文通过分析行业博客,探讨了基础模型在软件工程中的应用与影响,提出了未来研究方向。
2025-01-06 cs.AI cs.SE
Amplifiers or Equalizers? A Longitudinal Study of LLM Evolution in Software Engineering Project-Based Learning
Nihon University(日本大学);Waseda University(早稻田大学)
本文通过两年纵向研究,探讨LLM在软件工程项目式学习中的双重作用,发现其既能缩小学生差距,也能加剧表现差异,对教育公平提出新挑战。
2025-11-28 cs.HC cs.SE
On the Replicability and Reproducibility of Deep Learning in Software Engineering
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);PengCheng Laboratory(鹏城实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Monash University(莫纳什大学);Singapore Management University(新加坡管理大学)
该研究针对软件工程领域深度学习研究普遍忽略可复制性与可重现性的问题,通过文献综述与四个代表性模型的复现实验,验证了两类问题的危害,并呼吁社区完善复制包、提升模型稳定性与收敛性。
2020-06-25 cs.AI cs.LG cs.SE
SafeLLM4SE: Statistical Evaluation and Reporting for LLM-based Software Engineering Systems
University of Oviedo(奥维耶多大学);Munster Technological University(芒斯特理工大学)
SafeLLM4SE提出一种统计原则性的评估与报告方法,将LLM输出视为随机过程实现,结合自适应采样、置信区间和效应量,并开源PyPI包,在HumanEval上演示了应用。
2026-09-30 cs.LG cs.SE
Work in Progress: AI-Powered Engineering-Bridging Theory and Practice
本文研究生成式 AI 在系统工程中的应用,包括基于 INCOSE 标准分析需求质量、区分功能与非功能需求并生成测试规范,同时评估其可靠性、局限性与伦理安全问题。
2025-02-06 cs.SE cs.SY eess.SY
Empirical Study on the Software Engineering Practices in Open Source ML Package Repositories
York University(约克大学);École Polytechnique de Montréal(蒙特利尔高等理工学院);Queen’s University(皇后大学)
人工智能(AI),特别是机器学习(ML)的最新进展已经引入了各种实际应用(例如,虚拟个人助理和自动驾驶汽车),增强日常用户的体验。然而,像深度学习这样的现代机器学习技术需要大量的技术专业知识和资源来开发、训练和部署这些模型,这使得有效地重用机器学习模型成为必要。实践者和研究人员的这种发现和重用正在由公共ML包存储库解决,该存储库将预先训练的模型捆绑到包中以供发布。由于这类储存库是最近才出现的现象,因此没有关于其现状和挑战的经验数据。因此,本文进行了一项探索性研究,分析了两个流行的ML包存储库TFHub和PyTorch Hub的结构和内容,比较了它们的信息元素(功能和策略),包组织,包管理器功能和使用上下文与流行的软件包存储库(npm,PyPI和CRAN)。通过这些研究,我们确定了共享ML包的独特SE实践和挑战。这些发现和影响对于打算使用这些共享ML包的数据科学家,研究人员和软件开发人员来说非常有用。
2020-12-08 cs.AI cs.SE