First Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE): Submission and Peer-Review Process, and Results
本技术报告讨论了第一次可持续科学软件研讨会:实践和经验(WSSSPE)所使用的提交和同行评审过程以及该过程的结果。本文件旨在记录这一备选模式以及与该进程所产生的讲习班有关的文件。
2014-05-02 cs.SE
Refactoring Practices in the Context of Modern Code Review: An Industrial Case Study at Xerox
现代代码审查是工业和开源项目中常用的基本实践,用于提高软件质量,共享知识,并确保符合编码标准。在代码审查期间,开发人员可以在合并代码库中的代码更改之前检查和讨论各种更改,包括重构活动。到目前为止,代码审查已被广泛研究,以探索其一般挑战,最佳实践和结果,以及社会技术方面。然而,很少有人知道重构活动是如何被审查,感知和实践的。本研究旨在揭示评审员如何决定接受或拒绝提交的重构请求,以及是什么使这种评审具有挑战性。我们提出了一个工业案例研究与24个专业开发人员在施乐公司。特别是,我们研究的动机,文档的做法,挑战,验证,并在代码审查重构活动的影响。我们的研究提供了几个重要的发现。我们的结果报告了开发人员在记录重构以供审查时缺乏适当的程序。我们对评审人员的调查也揭示了一些与理解重构意图以及对软件功能和非功能方面的影响有关的困难。根据我们的发现,我们推荐了一个程序来正确记录重构活动,作为我们调查反馈的一部分。
2021-02-10 cs.SE
Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2): Submission, Peer-Review and Sorting Process, and Results
本技术报告讨论了第二次可持续科学软件研讨会:实践与经验(WSSSPE 2)所使用的提交和同行评审过程以及该过程的结果。它旨在记录WSSSPE 2使用的备选提交和计划组织模型以及与该过程产生的研讨会相关的论文。
2015-02-06 cs.SE
BitsAI-CR: Automated Code Review via LLM in Practice
本文提出 BitsAI-CR 框架,通过结合 RuleChecker 和 ReviewFilter 的两阶段方法及数据飞轮机制实现自动化代码审查,在 ByteDance 成功部署并服务超 12,000 名周活用户。
2025-01-25 cs.SE
Development of Automated Software Design Document Review Methods Using Large Language Models
本研究利用大型语言模型自动化软件设计文档审查,整理11个审查视角,开发新技术处理表格数据,并通过GPT实验验证能有效识别文档间不一致。
2025-09-12 cs.SE
Code review and cooperative pair programming best practice
我们需要提高代码质量的方法。程序员有不同的任期和经验。标准和程序设计语言会发生变化,我们被迫以最小的修订重用遗留代码。程序员养成了自己的习惯,并且可能会很慢地采用新技术来简化代码或提高性能。我们推出了定制的代码审查和结对编程流程来解决这些问题。本文讨论了在商业软件开发中强制性代码审查和结对编程的改进,并提出了定制代码审查和结对编程的有效方法,以避免陷阱并保持优势。
2017-06-07 cs.SE
The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice
Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学)
研究旨在解决软件工程研究中评审员培训隐性问题,通过ICSE 2026影子程序委员会项目,采用多阶段结构等创新方法,经实践证明大规模严格培训可行,还分享经验并提议设立领域主席助力可持续扩展与领导力发展。
2026-07-23 cs.SE
On the acceptance by code reviewers of candidate security patches suggested by Automated Program Repair tools
工作背景:对自动程序修复(APR)工具提供的补丁的语义正确性进行测试和验证已受到广泛关注。然而,人类补丁评审员最终接受或拒绝现实世界项目的建议补丁受到了有限的关注。目的:为了解决这个问题,我们计划调查APR工具建议的(可能不正确的)安全补丁是否被人类审查者识别。我们还想调查是否知道一个补丁是由一个所谓的专门工具产生的,并改变了人类评审员的决定。方法:在第一阶段,使用平衡设计,我们向人类评审员提出APR工具针对不同漏洞提出的补丁组合,并要求评审员采用或拒绝提出的补丁。在第二阶段,我们告诉参与者,一些建议的补丁是由安全专用工具生成的(即使该工具实际上是一个“正常”的APR工具),并衡量人类审查者是否会改变他们的决定,采用或拒绝补丁。局限性:该实验将在学术环境中进行,为了保持力量,它将集中在流行的APR工具和流行的漏洞类型的有限样本上。
2022-09-16 cs.SE
Explanation Needs in App Reviews: Taxonomy and Automated Detection
本文通过人工标注1,730条应用评论构建解释需求分类体系,并提出自动检测方法,在486条未见评论上取得86%加权F-score,帮助工程师有效获取用户解释需求。
2023-07-10 cs.SE
Identification of Practices and Capabilities in API Management: A Systematic Literature Review
传统组织越来越多地成为软件生产组织。该软件使他们能够通过应用程序编程接口(API)集成不同部门之间以及与其他组织之间的业务流程。管理API的主要任务是确保API易于第三方使用,例如提供有用的文档,监控API性能,甚至将API使用货币化。关于API管理的知识分散在学术文献中。在本文件中,我们描述了一个系统性文献综述(SLR),其目的是收集API管理实践和与API管理相关的能力,并提出该主题的全面定义。在这项工作的范围内,实践被定义为具有明确目标的任何实践,以改进,鼓励和管理API的使用。能力被定义为通过执行两个或多个相关实践来实现与API管理相关的特定目标的能力。我们遵循软件工程中的标准SLR方法。我们成功地收集了24个独特的定义,114个实践和39个功能。
2020-06-18 cs.SE
Automated Discovery of Process Models from Event Logs: Review and Benchmark
流程挖掘允许分析人员利用业务流程的历史执行日志来提取关于这些流程的实际性能的见解。研究最广泛的流程挖掘操作之一是自动化流程发现。一种自动化过程发现方法将事件日志作为输入,并产生业务过程模型作为输出,该业务过程模型捕获在事件日志中观察到的或由事件日志暗示的任务之间的控制流关系。在过去的二十年中,已经提出了各种自动化过程发现方法,在所得到的模型的可扩展性、准确性和复杂性之间进行了不同的权衡。然而,这些方法是以特别的方式进行评估的,采用不同的数据集,实验设置,评估措施和基线,由于使用封闭的数据集,往往导致无法比较的结论,有时无法重现的结果。本文提供了一个系统的回顾和比较评估的自动化过程发现方法,使用开源基准,并涵盖了12个公开的真实事件日志,12个专有的真实事件日志,和9个质量指标。结果突出了该领域的差距和未探索的权衡,包括一些方法缺乏可扩展性,以及它们在使用的不同质量指标方面的性能存在很大差异。
2018-01-30 cs.SE
A Systematic Literature Review of Automated Techniques for Functional GUI Testing of Mobile Applications
上下文已经提出并开发了多种用于移动应用GUI测试的自动化技术,旨在提高有效性、效率和实用性。有效性,效率和实用性是测试技术的三个基本特征,需要不断改进,以便为研究人员和从业人员以及整个社区提供有用的解决方案。Objective.在这个系统的审查,我们试图提供一个广泛的现有的移动测试工具,整理和分析他们的概念,也包括估计的有效性,效率和实用性的性能特征。法为了实现我们的目标,我们指定了3个主要的,和14个次要的审查问题,并进行了25个主要研究的分析。我们首先单独分析每个主要研究,然后将主要研究作为一个整体进行分析。我们制定了一个审查方案,其中定义了我们系统性审查的所有细节。结果从有效性方面,我们得出结论,测试技术,实现模型检查,符号执行,约束求解,基于搜索的测试生成方法往往是更有效的比那些实现随机测试生成。从效率,我们得出结论,测试技术,实现基于代码搜索的测试方法往往比那些实现GUI模型为基础的更有效。从实际出发,我们得出结论,测试技术越有效,效率就越低。结论对于有效性,我们观察到现有的自动化测试技术不够有效,目前它们达到了预期有效性水平的近一半。对于效率,我们观察到,目前的自动化测试技术是不够有效的。
2018-12-30 cs.SE
Code Review Practices for Refactoring Changes: An Empirical Study on OpenStack
现代代码审查是工业和开源项目中广泛使用的技术,用于提高软件质量,共享知识,并确保遵守编码标准和指南。在代码评审期间,开发人员可能会在合并代码库中的代码更改之前讨论重构活动。到目前为止,代码审查已被广泛研究,以探索其一般挑战,最佳实践和结果,以及社会技术方面。然而,很少有人知道重构是如何被审查的,以及开发人员在审查重构代码时关心什么。因此,在这项工作中,我们提出了一个定量和定性的研究,以了解什么是主要的标准,开发人员依靠制定一个决定接受或拒绝提交的重构代码,是什么使这个过程具有挑战性。通过对分布在OpenStack开源项目中的11,010个重构和非重构审查的案例研究,我们发现,就代码审查工作而言,与重构相关的代码审查需要更长的时间才能得到解决。此外,在对重构代码审查讨论的重要样本进行主题分析后,我们建立了一个由28个重构审查标准组成的综合分类法。我们设想我们的研究结果重申了开发准确和有效的工具和技术的必要性,这些工具和技术可以帮助开发人员在重构的情况下进行审查。
2022-03-27 cs.SE
Re-Imagining Performance Reviews: Automated Dashboards for Continuous Visibility of Engineers Performance
传统的绩效评估方法不适合敏捷快节奏的软件公司。自从早期采用敏捷方法以来,这已经在软件行业中实现了。尽管如此,软件公司仍然在努力寻找一种实用的解决方案,以适应其团队的高度动态特性。特别是,高增长的公司,规模扩大,需要在如何处理绩效评估方面具有创造性。在这次演讲中,我们将介绍自动化的评审仪表板,以支持无缝的评估过程和软件工程师绩效的持续可见性。拟议的仪表板利用现有增长框架的结构,同时自动汇总相关的定性和定量业绩指标。我们反思了在Robusta(一家中型软件扩展公司)使用仪表板的经验。仪表板使一个由四名经理组成的团队能够向56名工程师提供及时的反馈,并为持续的可见性奠定基础。我们从不同利益相关者的角度探讨了仪表板的设计、可定制的指标和整体审查体验。最后,我们总结了经验教训,并为面临同样挑战的规模扩大提出了实用建议。
2021-03-08 cs.SE
Exploring Quantum Software Testing Across Research and Practice: Emerging Results from a Multivocal Literature Review
University of Calgary(卡尔加里大学);University of Hawaii at Manoa(夏威夷大学马诺阿分校);UFRPE(伯南布哥联邦大学)
本文通过多视角文献综述整合学术与从业者来源,刻画了量子软件测试的碎片化生态系统及相关挑战,为该领域研究与实践提供了初步特征描述。
2026-09-02 cs.SE
A Multivocal Review of MLOps Practices, Challenges and Open Issues
针对MLOps缺乏综合知识体系的问题,本文通过多声文献综述分析150篇同行评议和48篇灰色文献,构建MLOps统一概念框架,梳理其最佳实践、挑战及解决方案。
2025-04-16 cs.SE
Retrieving and mining professional experience of software practice from grey literature: an exploratory review
背景资料:检索和挖掘从业人员的自我报告,他们的专业经验的软件实践可以提供有价值的证据进行研究。然而,我们不知道在这一领域进行的任何现有的研究审查。目的:回顾和分类以前的研究,并确定深入的挑战时,检索和挖掘从业人员的自我报告,他们的经验,软件实践的研究所面临的。方法:我们进行了一个探索性的审查,以确定和分类42篇文章。我们分析了这些文章的选择,以了解采矿专业经验的挑战。结果:我们只找到了一篇直接相关的文章。即使如此,本文关注的是软件专业人员的情感体验,而不是软件实践中发生的行为和事件的专业报告。我们讨论的挑战涉及:专业经验的普遍性;定义、模型和理论;数据的稀疏性;话语分析的单位;注释者协议;算法性能的评估;以及缺乏复制。结论:在这一领域似乎没有进行直接相关的先前研究。我们讨论了在二级研究中报告阴性结果的价值。有一系列的研究机会,但也有相当大的挑战。我们制定了一套指导性的问题,在这一领域的进一步研究。
2020-09-30 cs.SE
PracRepair: LLM-Empowered Automated Program Repair Inspired by Human-Like Debugging Practices
Zhejiang University(浙江大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);Jiangxi Normal University(江西师范大学)
提出PracRepair框架,通过构建按需静态-动态上下文、进行问题驱动的故障诊断并迭代细化补丁,利用动态信息提升LLM在程序修复中的效果,在Defects4J和真实世界漏洞上取得最优性能。
2026-06-17 cs.SE
A Survey of Code Review Benchmarks and Evaluation Practices in Pre-LLM and LLM Era
University of Manitoba(曼尼托巴大学);Huawei Canada(华为加拿大);Concordia University(康考迪亚大学)
本文综述了预LLM和LLM时代代码审查基准和评估实践,提出多级分类法,揭示了审查任务的转变及未来研究方向。
2026-02-13 cs.SE
Adopting Automated Bug Assignment in Practice -- A Registered Report of an Industrial Case Study
[背景/上下文]在大型开发项目中,bug报告的持续流入是一个相当大的挑战。受当代挖掘软件存储库工作的启发,我们在2011-2016年设计了一个基于机器学习的原型错误分配解决方案。该原型在2017-2018年演变为爱立信内部产品TRR。TRR的第一个没有人为干预的错误分配发生在2019年。[目的/目的]我们的探索性研究将评估TRR在爱立信工业环境中的采用情况。我们试图了解1)TRR在该领域的表现,2)TRR为爱立信提供了什么价值,以及3)TRR如何影响工作方式。其次,我们将提供与公司内研究原型产品化相关的经验教训。[方法]设计了一个工业案例研究,结合对TRR开发人员和用户的访谈,以及对爱立信缺陷跟踪系统中提取的数据的分析。此外,我们还将分析产品化过程中记录的sprint计划会议。我们的数据分析将包括主题分析,描述性统计和贝叶斯因果分析。
2021-09-28 cs.SE
A General Recipe for Automated Machine Learning in Practice
MercadoLibre Inc.(美客多公司)
本文提出构建通用AutoML系统的参考框架,通过提炼核心概念支持单一设计,并讨论未来研究的开放问题。
2023-08-29 cs.AI cs.LG cs.SE
From Research to Practice: An Interactive Rapid Review of Autonomous Driving System Testing in Industry
University College London(伦敦大学学院);Volvo Cars(沃尔沃汽车);Chalmers University of Technology(查尔姆斯理工大学)
本文通过与21名汽车行业从业者的互动快速审查,揭示了自动驾驶系统测试中的关键挑战,特别是端到端系统测试的完整性和方法,为行业提供实践洞察。
2026-10-26 cs.SE
Adoption and Adaptation of CI/CD Practices in Very Small Software Development Entities: A Systematic Literature Review
本文通过系统文献综述分析了超小型软件实体采用 CI/CD 的挑战与适配策略,指出 Jenkins、Docker、微流水线和 ISO 29110 等简化方案能有效帮助其在资源受限下提升竞争力与软件质量。
2024-09-29 cs.SE
How do Developers Test Android Applications?
实现移动应用程序的全自动测试最近已成为研究人员和从业人员的重要研究课题。已经提出了大量的工具和方法,通过增加手动测试实践和自动化测试过程的各个部分来帮助移动开发人员。然而,目前的自动化测试方法无法让开发人员相信它们的好处,导致大多数移动测试都是手动执行的。为了帮助设计支持移动测试方法的研究人员和从业人员了解开发人员的需求,我们分析了来自Android项目的102位开源贡献者关于他们在执行测试时的实践的调查回复。调查的重点是关于开发人员/测试人员在野外的实践和偏好的问题:(i)设计和生成测试用例,(ii)自动化测试实践,以及(iii)对质量度量的看法,例如用于确定测试质量的代码覆盖率。通过分析从这次调查中收集到的信息,我们汇编了一套知识体系,以帮助指导研究人员和专业人员根据不同开源开发人员的需求定制新的自动化测试方法。
2018-01-19 cs.SE
A Systematic Literature Review on a Decade of Industrial TLA+ Practice
本文通过系统文献综述分析TLA+过去十年在工业界的应用趋势、使用特征、实际收益与推广挑战,为软件工程师提供实践见解。
2024-11-20 cs.SE
Impact of Continuous Integration on Code Reviews
在现代软件质量管理中,同行代码评审和持续集成经常交织在一起。尽管有几项研究调查了非技术因素(例如,评审员工作量)、开发人员参与度甚至补丁大小都会影响代码评审过程,持续集成对代码评审的影响还没有得到正确的理解。在本文中,我们使用578K自动构建条目报告了一项探索性研究,我们调查了自动构建对代码审查的影响。我们的调查表明,成功通过的构建更有可能鼓励新的代码审查参与拉取请求。经常建造的项目被发现多年来保持稳定的审查活动水平,这是很少建造的项目所缺少的。对26,516个自动构建条目的实验报告说,我们提出的模型可以识别64%的触发新代码审查的构建。
2018-07-05 cs.SE
Requirements-Driven Automated Software Testing: A Systematic Review
本文系统综述了需求驱动的自动化软件测试(REDAST),分析156篇文献后发现基于规则的方法占主导、机器学习探索不足,完全自动化罕见,并据此提出未来研究方向。
2025-08-23 cs.SE
Improving Automated Secure Code Reviews: A Synthetic Dataset for Code Vulnerability Flaws
针对现有代码审查数据集漏洞样本不足的问题,本文提出利用大语言模型生成漏洞聚焦的合成审查数据集,并计划微调三个现有模型以提升其安全代码审查性能。
2025-04-22 cs.SE
How Can We Develop Explainable Systems? Insights from a Literature Review and an Interview Study
质量方面,如道德,公平性和透明度已被证明是值得信赖的软件系统必不可少的。可解释性不仅被认为是在系统中实现这三个方面的一种手段,而且也是培养用户信任感的一种方式。尽管如此,研究只是稍微集中在开发可解释系统的活动和实践上。为了缩小这一差距,我们建议六个核心活动和相关的做法,可解释系统的发展的基础上,文献综述和访谈研究的结果。首先,我们确定并总结了文献中的活动和相应的做法。为了补充这些发现,我们对19位行业专业人士进行了采访,他们为可解释系统的开发过程提供了建议,并根据他们的专业知识和知识审查了活动和实践。我们比较并结合访谈和文献综述的结果,以推荐活动并评估其在行业中的适用性。我们的研究结果表明,这些活动和实践不仅是可行的,而且还可以集成到不同的开发过程中。
2022-04-06 cs.SE
Reporting LLM Prompting in Automated Software Engineering: A Guideline Based on Current Practices and Expectations
University of Duisburg-Essen(杜伊斯堡-埃森大学);University of Cologne(科隆大学);Monash University(蒙纳士大学)
本文提出了一项基于当前实践和期望的指南,旨在提高LLM在自动化软件工程中的透明度、可重复性和方法学严谨性。
2026-01-05 cs.SE
Improving Test Automation Maturity: a Multivocal Literature Review
成熟的测试自动化是快速实现软件质量的关键。在本文中,我们提出了一个多域的文献综述,目的是调查和综合文献中给出的指导方针,以提高测试自动化成熟度。我们选择并回顾了81个原始研究,包括26个学术文献和55个灰色文献来源。从初步研究中,我们提取了26个测试自动化最佳实践(例如,定义有效的测试自动化策略,建立良好的测试环境,开发高质量的测试脚本),并收集了许多建议(例如,以实施/改进方法、技术技巧、概念、基于经验的方法等形式)介绍如何实施这些最佳做法。我们提出了主要意见:(1)只有6个最佳实践对成熟度改进的积极作用已经被学术研究使用正式的经验方法进行了评估;(2)本MLR中的一些技术相关的最佳实践没有在测试成熟度模型中提出;(3)一些最佳实践可以与其他学者提出的成功因素和成熟度障碍联系起来;(4)关于如何实施拟议最佳做法的大多数建议是从经验研究中确定的,其有效性需要使用正式的经验方法,通过跨地点的经验证据进一步评估;(5)在文献中,关于如何进行某些最佳做法的一些建议是相互矛盾的,关于如何进行某些最佳做法的一些建议仍然需要进一步的定性分析。
2022-02-18 cs.SE
Knowledge Management Strategies and Processes in Agile Software Development: A Systematic Literature Review
采用敏捷软件开发(ASD)的知识密集型企业依靠有效实施知识管理(KM)策略来促进不同的知识流程(KPs)以获得竞争优势。本研究旨在探讨采用ASD的企业如何利用在不同组织层面促进KPs的实践来实施知识管理战略。通过系统的文献综述,我们分析了32个主要研究,通过自动搜索和滚雪球在现存的文献中选择。为了分析数据,我们应用了叙事合成。大多数已确定的知识管理实践实施个性化战略(81%),并得到编码(19%)的支持。我们的审查表明,主要的研究没有报告知识管理的做法在战略层,其中两个在产品组合层;另一方面,在项目层,研究报告33个实践,实施个性化战略,和7个实践,实施编码。ASD的知识管理策略主要是促进知识转移过程,并通过激励社会互动来分享项目层的隐性知识。由于使用非正式沟通,大量知识可能会丢失或无法适当地转移给其他人,知识非但没有传播,反而留在少数人的头脑中。
2018-07-13 cs.SE
A Review on the Process of Automated Software Testing
对自动化、数字化和快速计算的需求使IT部门对高度可靠、高效和经济高效的软件寄予厚望。考虑到软件产品的测试、验证和确认过程消耗了总收入的50-75%,如果测试过程是无效的,则必须投入“n”倍的支出来修复所造成的破坏。项目完成的延迟通常归因于测试阶段,因为调试过程有许多周期。软件测试过程确定向用户发布的产品的外观。它设定了公司产品的标准和可靠性。随着复杂性的增加,测试变得越来越激烈,以便检查所有的离群值和处理流程的各个分支。测试过程是自动化的,使用软件工具,以避免繁琐的手动过程中的测试输入生成和验证标准,这证明程序只有在一定的置信水平,在存在离群值。
2022-09-07 cs.SE
Exploring the Potential of ChatGPT in Automated Code Refinement: An Empirical Study
本文首次实证研究了ChatGPT在基于代码审查的自动化代码精炼任务中的能力,发现其表现优于基线工具CodeReviewer,并分析了其表现不佳的原因及改进策略。
2023-09-15 cs.SE
Maintenance of Automated Test Suites in Industry: An Empirical study on Visual GUI Testing
验证与确认(Verification and Validation,V&V)活动在实践中占软件系统总开发成本的20%到50%。测试自动化被提出来降低这些V&V成本,但现有的研究只提供了有限的经验数据,从工业实践中的维护成本的自动化测试和影响这些成本的因素。特别是,这些成本和因素对于基于GUI的自动化测试是未知的。目的:本文通过分析与工业实践中基于GUI的自动化测试维护相关的成本和因素,解决了这种知识的缺乏。方法:在两个公司,西门子和萨博,实证研究报告的采访,和实证工作,可视化GUI测试进行获取数据的技术的维护成本和可行性。结果:观察到13个因素,影响维修,如测试人员的知识/经验和测试用例的复杂性。此外,统计分析表明,开发新的测试脚本比维护成本更高,但频繁的维护比不频繁的大爆炸维护成本更低。此外,成本模型,在以前的工作的基础上,提出了估计的时间,以积极的投资回报率(ROI)的测试自动化相比,手动测试。结论:它的结论是,测试自动化可以降低一个项目的整体软件开发成本,同时也对软件质量有积极的影响。然而,维护成本仍然是相当可观的,公司目前花在手动测试上的时间越少,在自动化之后达到积极的、经济的ROI之前需要的时间就越多。
2016-02-03 cs.SE
PrAIoritize: Automated Early Prediction and Prioritization of Vulnerabilities in Smart Contracts
本研究提出PrAIoritize方法,结合LLM与NLP技术,利用智能合约缺陷领域词典及DistilBERT模型,实现以太坊智能合约代码审查中缺陷的自动化预测与优先级排序,性能显著优于现有模型,可降低人工分诊成本。
2024-05-15 cs.SE
Automated Classification of Human Code Review Comments with Large Language Models
Bilkent University(比尔肯特大学)
本文提出一种自动分类系统,针对代码审查评论中的具体问题类别进行分类,通过九类标签体系和手动标注数据,评估了不同模型在零样本和单样本分类中的表现。
2026-04-26 cs.SE
Software Test Automation Maturity -- A Survey of the State of the Practice
软件行业对测试自动化越来越感兴趣。在本文中,我们提出了一个测试自动化成熟度调查作为一个自我评估的从业者。基于来自25个国家的101个组织的151名从业者的回应,我们对测试自动化成熟度的实践状态进行了观察:a)不同组织的测试自动化成熟度水平由他们采用的实践区分; b)从业者报告了不同实践的不同情况,例如,85%的从业者认为他们的测试团队有足够的测试自动化专业知识和技能,47%的从业者承认缺乏设计和执行自动化测试的指导方针; c)一些实践是强相关的和/或紧密聚集的; d)自动化测试案例的百分比以及敏捷和/或或DevOps开发模型是更高测试自动化成熟度水平的良好指标;(e)从业者的角色可能会影响响应变化,例如,QA工程师给出了最乐观的答案,顾问给出了最悲观的答案。我们的研究结果提供了一个深入了解目前的测试自动化过程和实践,并指出在目前的行业进一步改进的机会。
2020-04-20 cs.SE
Adopting Automated Bug Assignment in Practice: A Longitudinal Case Study at Ericsson
在大型开发项目中,bug报告的持续流入是一个相当大的挑战。受当代挖掘软件存储库工作的启发,我们在2011-2016年设计了一个基于机器学习的原型错误分配解决方案。该原型在2017-2018年演变为爱立信内部产品TRR。TRR的第一个没有人为干预的错误分配发生在2019年4月。我们的研究评估了TRR在爱立信工业环境中的采用情况。此外,我们还调查了1)TRR在现场的表现,2)TRR为爱立信提供了什么价值,3)TRR如何影响工作方式。我们进行了一个行业案例研究,结合了与TRR利益相关者的访谈,sprint计划会议的会议记录和错误跟踪数据。数据分析包括主题分析、描述性统计和贝叶斯因果分析。TRR现在是bug分配过程的一个组成部分。考虑到电信栈的抽象层次,高层模块更积极,而低层模块经历了一些缺点。平均而言,TRR自动分配30%的传入错误报告,准确率为75%。自动路由的TR在爱立信内部的解决速度提高了约21%,TRR为经验丰富的工程师节省了大量工作时间。采用TRR的间接影响包括过程改进、过程意识、沟通增加和工作满意度提高。TRR节省了爱立信的时间,但与其他公司报告的类似努力相比,采用自动化错误分配更加复杂。我们主要将差异归因于组织的规模非常大和产品复杂。成功采用的关键促进因素包括逐步引入、产品支持者和仔细的利益相关者分析。
2022-09-19 cs.SE
Studying Quality Improvements Recommended via Manual and Automated Code Review
Università della Svizzera italiana(瑞士意大利语大学)
本文研究了人工和自动化代码审查在质量改进方面的互补性,发现基于DL的代码审查可作为补充,但无法替代人类审查。
2026-02-12 cs.SE
On building an automated responding system for app reviews: What are the characteristics of reviews and their responses?
最近的研究表明,应用程序开发人员和应用程序用户在应用程序商店中的对话对于提高用户满意度和应用程序的整体评级非常重要。然而,大量的评论和资源的限制阻碍了应用程序开发人员通过这个渠道与客户互动。这个问题的一个解决方案是为开发人员开发一个自动响应系统,以最类似于人类响应的方式响应应用程序评论。为了设计这样的系统,我们对移动应用程序的评论及其人类书面回复的特征进行了实证研究。我们发现,一个应用程序的评论可以有多个片段,在句子层面上有不同的主题和意图。类似地,响应也可以被划分为具有独特意图的多个片段,以回答其评论的某些部分(例如,投诉、请求或信息查询)。我们还确定了评论的几个特征(评级,主题,意图,定量文本特征),可以用来根据评论对响应需求的优先级对评论进行排名。此外,我们确定了过去响应的可重用性程度是基于其上下文(单个应用程序,同一类别的应用程序及其共同特征)。最后但并非最不重要的是,如果响应的某些部分可以由占位符(命名实体或超链接)替换,则可以在另一个评论中重用该响应。基于这些发现,我们讨论了开发自动响应系统的意义,以帮助移动应用程序的开发人员更有效地编写用户评论的响应。
2019-08-28 cs.CY cs.SE
Understanding Work Practices of Autonomous Agile Teams: A Social-psychological Review
本文的目的是建议社会心理学的其他方面,可以帮助理解自主敏捷团队。利用社会心理学中久经考验的理论,而是看看它们在自主敏捷团队环境中是如何复制和区别的,这将避免重新发明轮子。作为第一步,这是通过查看一些非常常见的敏捷实践并将其与社会心理学研究中的现有发现相关联来完成的。我认为更适用于软件工程的两个理论是社会认同理论和群体社会化理论。结果表明,文献提供了一些敏捷实践流行的社会心理原因,但需要科学研究来收集这些研究不足的主题的经验证据。理解更深层次的心理学理论可以更好地理解构建自主敏捷团队时的心理过程,从而可以更好地预测和干预人为因素。
2020-11-05 cs.SE
Rapid Reviews in Software Engineering
基于证据的软件工程(EBSE)的主要目标之一是将研究证据集成到实践中。次要研究是EBSE的主要产品之一,旨在总结最好的研究证据,并使其易于被从业者使用。然而,最近的研究表明,一些次级研究缺乏与软件工程实践的联系。在本章中,我们提出了快速审查的概念,这是轻量级的二次研究,重点是及时向从业者提供证据。快速审查有助于从业人员的决策,应结合实际问题进行,并纳入实际背景。因此,快速审查可以很容易地纳入知识/技术转让倡议。在描述了基本概念之后,我们介绍了进行两次快速审查的结果和经验。我们还提供了指导方针,以帮助研究人员和从业人员谁想要进行快速审查,我们最后讨论的主题,我关心的研究社区快速审查的可行性,作为一种基于证据的方法。总之,我们相信快速评审可能会引起从事软件工程研究与实践交叉工作的研究人员和实践者的兴趣。
2020-03-22 cs.SE
Empirical Review of Automated Analysis Tools on 47,587 Ethereum Smart Contracts
在过去的几年里,人们对以太坊智能合约的自动化分析、测试和调试进行了大量的研究。然而,比较和复制这项研究并非易事。为了解决这个问题,我们使用两个新的数据集对9种最先进的自动化分析工具进行了实证评估:i)69个带注释的易受攻击的智能合约的数据集,可用于评估分析工具的精度; ii)以太坊区块链中所有智能合约的数据集,这些智能合约在Etherscan上具有Solidity源代码(共47,518份合约)。这些数据集是SmartBugs的一部分,SmartBugs是我们创建的一个新的可扩展执行框架,旨在促进多个分析工具和以太坊智能合约分析之间的集成和比较。我们使用SmartBugs在两个数据集上执行9个自动化分析工具。我们总共运行了428,337次分析,耗时约564天3小时,是迄今为止在工具数量和执行时间方面最大的实验设置。我们发现,只有42%的漏洞从我们的注释数据集被检测到的所有工具,与工具Mythril具有更高的准确性(27%)。当考虑最大的数据集时,我们观察到97%的合同被标记为易受攻击,因此表明有相当数量的误报。事实上,只有少量的漏洞(只有两类)被四个或更多的工具同时检测到。
2020-02-09 cs.SE
Bigger Isn't Always Better: A Comparative Evaluation of LLMs for Automated Code Review
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);VibeOps Research(VibeOps研究)
评估五个LLM在代码审查中的表现,发现较小模型Claude Haiku 4.5以更低成本超越较大模型,并揭示合成数据高估能力、差异大小主导质量等关键发现。
2026-06-16 cs.SE
Automated Code Review Using Large Language Models with Symbolic Reasoning
Computer Engineering Yıldız Technical University Istanbul, Turkiye(计算机工程 杨兹技术大学 伊斯坦布尔,土耳其)
针对LLM逻辑推理不足的问题,提出融合符号推理与提示技术的混合自动化代码审查方法,并在CodexGlue上对比CodeT5等模型,验证其可提升审查准确性与效率。
2025-07-24 cs.AI cs.SE
Suggestion Bot: Analyzing the Impact of Automated Suggested Changes on Code Reviews
本文提出建议机器人,利用GitHub建议变更功能自动审查代码,以缩短拉取请求周转时间,并通过实证比较评估其影响,为改进人机交互提供启示。
2023-05-10 cs.HC cs.SE
Automated Code Review Using Large Language Models at Ericsson: An Experience Report
Ericsson(爱立信)
针对资深开发者时间有限难以深度开展代码审查的问题,本文分享了爱立信结合大语言模型与静态程序分析开发轻量级自动化代码审查工具的实践,初步实验获积极结果,可减轻开发者认知负担。
2025-07-31 cs.AI cs.SE
CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文提出无参考指标 CRScore,利用 LLM 与静态分析器识别的代码声明和潜在问题,从多维度细粒度评估代码审查评论,并发布 2.9k 条人工标注语料。
2025-03-16 cs.AI cs.CL cs.SE
AI-Assisted Assessment of Coding Practices in Modern Code Review
Google(谷歌);University of Washington(华盛顿大学)
本文介绍AutoCommenter,一个基于大型语言模型的系统,自动学习和执行编码最佳实践,在四种语言和大型工业环境中验证了其可行性和对开发者工作流的积极影响,并总结了部署挑战。
2024-05-22 cs.AI cs.SE
Criticality Metrics for Automated Driving: A Review and Suitability Analysis of the State of the Art
German Aerospace Center (DLR) e.V.(德国航空航天中心);Robert Bosch GmbH(罗伯特·博世有限公司);FZI Research Center for Information Technology(FZI信息技术研究中心);AVL Deutschland GmbH(德国AVL有限公司)
自动驾驶汽车在公共道路上的大规模部署有可能极大地改变当今社会的交通方式。虽然这种追求已经在几十年前开始,但在可靠地确保这种车辆在开放环境中安全运行方面仍然存在公开的挑战。虽然功能安全是一个公认的概念,但衡量车辆行为安全的问题仍有待研究。一种客观和计算分析交通冲突的方法是开发和利用所谓的关键性指标。当代方法已经在与自动驾驶相关的各种应用中利用了关键性度量的潜力,例如,用于计算评估动态风险或过滤大型数据集以构建场景目录。作为一个先决条件,系统地选择适当的关键性指标,这样的应用程序,我们广泛审查的关键性指标,其属性,其应用程序的自动驾驶的背景下,最先进的。基于这一审查,我们提出了一个适合性分析作为一个有条理的工具,由从业者使用。然后,可以利用所提出的方法和最新技术审查来选择覆盖应用程序要求的非常合适的测量工具,如分析的示例性执行所示。最终,对自动驾驶汽车安全性能的有效、有效和可靠的测量是证明其可信度的关键要求。
2022-08-02 cs.RO cs.SE
A Preliminary Search for Evidence on Government Software Engineering Practices: Results from Three Rapid Reviews
本文通过对2024年同行评审出版物的三项快速综述,评估政府软件工程实践证据的可用性。研究发现相关证据在主流场所可见度低,讨论了包括出版场所、合作激励及评估灰色文献方法等影响,并为未来研究指明方向以支持公共部门软件工程。
2026-07-27 cs.DL cs.SE
Perspective of Software Engineering Researchers on Machine Learning Practices Regarding Research, Review, and Education
University of Passau(帕绍大学);William & Mary(威廉玛丽学院);Universidad de los Andes(安第斯大学)
本研究从软件工程研究者视角,调查机器学习在SE研究、教学与评审中的实践,发现数据、评估等挑战及推荐实践覆盖率低,提出改进指南与教学以弥合差距。
2026-09-18 cs.LG cs.SE
Predicting Code Review Completion Time in Modern Code Review
ETS Montreal, University of Quebec(魁北克大学蒙特利尔高等技术学院);Rochester Institute of Technology(罗切斯特理工学院)
上下文现代代码审查(MCR)在开源和商业项目中都被采用,这是一种常见的做法。MCR是一种被广泛认可的质量保证实践,它允许早期检测缺陷以及糟糕的编码实践。它还带来了其他一些好处,如知识共享,团队意识和协作。问题.在实践中,代码审查可能会由于各种社会技术因素而出现重大延迟,这些因素可能会影响项目质量和成本。对于一个成功的评审过程,同行评审员应该及时地执行他们的评审任务,同时提供关于正在评审的代码更改的相关反馈。然而,缺乏工具支持来帮助开发人员在接受或拒绝审查请求之前估计完成代码审查所需的时间。Objective.我们的目标是构建和验证一种有效的方法来预测MCR背景下的代码审查完成时间,并帮助开发人员更好地管理和优先考虑他们的代码审查任务。法我们将代码审查完成时间的预测公式化为一个学习问题。特别是,我们提出了一个基于回归模型的框架,以(i)有效地估计代码审查完成时间,(ii)了解影响代码审查完成时间的主要因素。
2021-09-30 cs.LG cs.SE