Evaluating Developer-written Unit Test Case Reduction for Java -- A Replication Study
本研究使用 ReduJavator 在 Defects4J 缺陷和变异体上复现 ReduSharptor 研究,证实 Java 单元测试归约中叶节点被大量移除,但未能确认叶节点移除概率更高。
2025-01-09 cs.SE
GazeCopilot: Evaluating Novel Gaze-Informed Prompting for AI-Supported Code Comprehension and Readability
University of Glasgow(格拉斯哥大学)
针对AI编码助手提示上下文不足问题,提出Real-time GazeCopilot方法,将实时注视指标整合到提示以适配开发者认知状态,实验表明其在代码理解准确率、时间及可读性上优于Standard Copilot,且重构效果优于Pre-set GazeCopilot。
2025-11-11 cs.HC cs.SE
Gistable: Evaluating the Executability of Python Code Snippets on GitHub
软件开发人员在线创建和共享代码,以演示程序设计语言概念和编程任务。代码段是解释和演示编程概念的有用方法,但可能并不总是直接可执行的。代码段可能包含分析错误,或者在环境包含未满足的依赖项时无法执行。本文对通过GitHub gist系统共享的Python代码片段的可执行状态以及熟悉软件配置的开发人员正确配置和运行它们的能力进行了实证分析。我们发现,75.6%的GIST需要非平凡的配置,以克服缺少的依赖关系,配置文件,依赖于特定的操作系统,或其他一些环境配置。我们的研究还表明,开发人员在解决配置错误时对资源名称的自然假设只有不到一半的正确率。我们还介绍了Gistable,一个建立在GitHub的gist系统上的数据库和可扩展框架,它提供了可执行的代码片段,以便在软件工程中进行可重复的研究。Gistable包含10,259个代码片段,其中大约5,000个带有Dockerfile,用于配置和执行它们而不会发生导入错误。Gistable可在https://github.com/gistable/gistable上公开获取。
2018-08-14 cs.SE
An Exploratory Study on the Usage and Readability of Messages Within Assertion Methods of Test Cases
单元测试是软件开发过程的重要组成部分,涉及开发人员编写代码来验证或断言产品代码。此外,为了帮助理解测试用例和解决问题,开发人员可以选择提供一条消息来解释断言失败的原因。在这个探索性的实证研究中,我们研究了20个开源Java系统的测试方法中包含的断言消息的特征。我们的研究结果表明,虽然开发人员很少使用提供消息的选项,但使用消息的人要么仅由字符串字面量、标识符或这两种类型的组合组成。使用标准的英语可读性测量技术,我们观察到,一个初学者的英语知识需要理解的消息只包含标识符,而四年级的教育水平需要理解的字符串文字组成的消息。我们还讨论了在断言消息构造中使用这种可读性度量技术和常见反模式的缺点。我们设想我们的结果纳入代码质量工具,评估断言消息的可理解性。
2023-03-01 cs.SE
Evaluating How Developers Use General-Purpose Web-Search for Code Retrieval
搜索是软件开发过程中不可或缺的一部分。开发人员经常使用搜索引擎在开发过程中查找信息,包括可重用的代码片段、API理解和参考示例。开发人员倾向于使用像Google这样的通用搜索引擎,这些搜索引擎通常不针对代码相关文档进行优化,而使用的搜索策略和排名技术更适合于通用的、非代码相关的信息。在本文中,我们将探讨是否一个通用的搜索引擎,如谷歌是一个最佳的选择代码相关的搜索。特别是,我们调查是否与谷歌搜索的性能不同的代码与非代码相关的搜索。为了分析这一点,我们收集了来自310名开发人员的搜索日志,其中包含来自Google的近150,000个搜索查询和相关的结果点击。为了区分代码相关的搜索和非代码相关的搜索,我们建立了一个模型,识别查询的代码意图。利用这个模型,我们建立了一个自动分类器,检测代码和非代码相关的查询。我们确认分类器的有效性手动注释的查询,分类器达到87%的精度,86%的召回率,和87%的F1分数。我们应用这个分类器来自动注释数据集中的所有查询。分析这个数据集,我们观察到与代码相关的搜索通常需要更多的努力(例如,时间、结果点击和查询修改),这表明使用通用搜索引擎的代码搜索性能不太有效。
2018-03-22 cs.IR cs.SE
An Empirical Study of the Landscape of Open Source Projects in Baidu, Alibaba, and Tencent
开源软件已经引起了越来越多的研究者、开发者和企业的关注。与此同时,许多中国科技公司正在拥抱开源,并选择将他们的项目开源。尽管如此,大多数以前的研究都集中在微软或谷歌等国际公司,而中国科技公司的开源项目的实际价值仍然不清楚。为了解决这个问题,我们进行了一项混合方法研究,以调查中国三家大型科技公司(即百度,阿里巴巴和腾讯(BAT))开源项目的情况。我们研究了开源项目的类别和特点,开发人员对这些公司的开源努力的看法,以及他们的开源项目的国际化努力。我们收集了BAT在GitHub上开源的1,000个开源项目,并进行了一项在线调查,收到了来自这些项目开发人员的101份回复。一些主要的调查结果包括:1)BAT更喜欢开源前端开发项目,2)88%的受访者对各自公司的开源软件项目持积极态度,3)64%的受访者表示BAT开源项目的最常见动机是希望获得知名度,扩大影响力和获得招聘优势,4)受访者认为最常见的国际化努力是“提供英文版的自述文件”,5)国际化努力较多的项目(即,包括英文自述文件)更受欢迎。我们的研究结果为软件工程研究人员提供了方向,并为软件开发人员和中国技术公司提供了实用的建议。
2021-03-02 cs.SE
Guidelines for Cultivating a Sense of Belonging to Reduce Developer Burnout
Colorado State University(科罗拉多州立大学);Oregon State University(俄勒冈州立大学);Northern Arizona University(北亚利桑那大学)
本文基于软件开发团队中归属感的研究,提出培养归属感的实践指南,以降低开发者倦怠,通过提升信任、接纳和心理安全等要素促进开发者福祉。
2026-05-07 cs.SE
LLM-based Code Auditing by Inferring and Evaluating Developer Assumptions
MPI-SP(马克斯·普朗克安全与隐私研究所);CISPA(萨姆·哈塞尔大学赛斯帕信息安全和隐私中心)
本研究提出基于大语言模型的Creed方法,通过推断评估开发者安全信念检测代码漏洞,在真实基准上实现了优于现有工具的效果-工作量权衡。
2026-10-14 cs.CR cs.SE
ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
提出LLM-as-a-Developer方法,通过自动化流水线ADK Arena评估51个Python ADK框架,发现框架间生成成本差异达5.6倍,但无单一框架占优,且文档、源码和参数知识可相互替代。
2026-06-04 cs.AI cs.SE
Evaluating Code Recommender Systems: A Review
Institute for Complex Networks, WU Vienna(复杂网络研究所,维也纳经济大学);WU Vienna(维也纳经济大学)
本综述通过系统文献回顾(2017-2024,92篇研究)评估代码推荐系统,发现评估以离线、系统为中心为主,用户中心评估稀缺,且集中于软件构建阶段,指出评估质量单一、类型不平衡的问题。
2026-09-28 cs.SE
Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization
本文针对代码摘要评估中现有自动度量依赖参考摘要的缺陷,提出一种基于对比学习的新度量,以捕捉生成摘要与代码语义的一致性,并通过实证验证其能更有效表征开发人员评估。
2023-12-24 cs.SE
English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports
Juniper Networks Inc.(Juniper网络公司)
本研究首次系统评估了 DeepL、AWS Translate 及多种大型语言模型在多语言缺陷报告翻译和源语言识别上的表现,发现不同系统各有所长,强调了领域适配和任务特定评估的重要性。
2025-05-08 cs.CL cs.SE
Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation
TraceStone;Nanyang Technological University(南洋理工大学)
本研究评估四种系统一模型在智能体安全决策中的可靠性,发现其平均校准良好但特定攻击上存在系统性失败,且严格漏报限制下自动化程度低,需综合评估准确性、校准与决策策略。
2026-10-06 cs.AI cs.CR cs.SE
Lowering the Barrier to Reuse through Test-Driven Search
专门的软件搜索引擎可以为开放源码软件库或内部软件资产编制索引,从而大大提高了找到适合重用的软件组件的机会。然而,他们仍然把评估和测试组件的工作留给开发人员。为了显著地改变软件重用中涉及的风险-成本-收益权衡,搜索引擎需要由用户友好的环境支持,该环境将代码搜索功能非侵入性地提供给开发人员的指尖。
2013-03-22 cs.SE
Evaluating Large Language Models for Code Translation: Effects of Prompt Language and Prompt Design
University of Jeddah(吉达大学)
本研究系统评估了LLMs在多语言代码翻译中的表现,发现详细提示和英语提示能显著提升翻译质量,且所有测试的LLM均优于传统基线TransCoder。
2025-09-16 cs.SE
"Write in English, Nobody Understands Your Language Here": A Study of Non-English Trends in Open-Source Repositories
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心)
研究非英语在开源仓库中的趋势,发现多语言参与增加,但语言多样性也带来挑战。
2026-02-23 cs.CY cs.SE
Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
Department of Computer Science(计算机科学系);ETH Zurich(苏黎世联邦理工学院)
通过SWE-bench任务和开发者提交的上下文文件,评估发现上下文文件并未普遍提升编码助手的任务成功率,反而平均增加20%以上的推理成本。
2026-09-30 cs.AI cs.SE
Characterizing and Understanding Software Developer Networks in Security Development
为了构建安全的软件,开发人员通常在软件开发和维护期间一起工作,以查找、修复和防止安全漏洞。检查开发人员在其安全活动期间关于安全引入和修复活动的交互的性质可以为改进当前实践提供见解。在这项工作中,我们进行了一个大规模的实证研究,以表征和理解开发人员在安全活动中的安全引入和修复的互动,其中涉及超过16 K的安全修复提交和超过28 K的安全引入提交从9个大型开源软件项目。对于我们的分析,我们首先检查一个项目是否是一个英雄为中心的项目时,评估开发人员在他们的安全活动的贡献。然后,我们研究开发人员之间的交互模式,探索模式的分布如何随着时间的推移而变化,并研究开发人员的交互对项目质量的影响。此外,我们还将安全活动中的开发人员交互的性质与非安全活动中的开发人员交互进行了比较(即,引入和修复非安全性错误)。在我们的研究结果中,我们发现:大多数的实验项目是非英雄为中心的项目时,通过使用他们的安全活动来评估开发人员的贡献;存在共同的主导交互模式在我们的实验项目;交互模式的分布与软件项目的质量相关。我们相信,从这项研究的结果可以帮助开发人员了解如何产生和修复的软件开发人员的交互下的可扩展性。
2019-07-28 cs.SE cs.SI
Evaluating Privacy Questions From Stack Overflow: Can ChatGPT Compete?
School of Computing and Information Science, University of Maine(缅因大学计算与信息科学学院)
本文分析 Stack Overflow 隐私问题类型,并比较已采纳回答与 ChatGPT 回答,发现 ChatGPT 在约 56% 的问题上正确性相近,其余情况略逊。
2023-06-19 cs.AI cs.CL cs.SE
Beyond Productivity: Measuring Developers' Cognitive Load During GenAI-Supported Software Development
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);SAP Labs(SAP实验室)
本研究通过四天工业现场实验,发现GenAI使用和任务背景与开发者感知认知负荷相关,生理数据仅提供有限补充信息,建议结合工作背景评估认知负荷。
2026-09-30 cs.HC cs.SE
DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
Anote AI
该研究针对LLM生成代码违反开发者隐式意图的问题,构建含49个问题的基准并提出IVR指标,发现两款主流LLM生成代码虽通过率高但超半数违反意图,揭示现有基准局限性。
2026-08-11 cs.CL cs.SE
Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming
Microsoft(微软公司)
本文提出Copilot评估基准,通过静态与执行成功指标全面评估LLM在IDE中代码生成、文档、测试、修复及工作区理解等任务上的表现,为优化LLM引导的IDE提供依据。
2024-02-22 cs.AI cs.SE
How Natural Language Proficiency Shapes GenAI Code for Software Engineering Tasks
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Osaka(大阪大学)
本文通过 HumanEval 数据集系统变化提示的英语熟练度,发现 LLM 默认采用 B2 水平,且更高熟练度的提示能一致提升生成代码的正确性,表明自然语言熟练度是控制代码生成的关键杠杆。
2025-11-06 cs.PL cs.SE
Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects
Security Business Group, Cisco Systems Inc(思科系统公司安全业务集团)
本研究评估了 AI 编码助手 GitHub Copilot 在真实项目中的效率与挑战,发现其在文档和重复性任务中可节省 30-50% 时间,但在复杂和 C/C++ 代码场景下表现不佳,预计云优先生命周期整体编码时间将减少 33-36%。
2024-06-25 cs.AI cs.SE
CodeAlignBench: Assessing Code Generation Models on Developer-Preferred Code Adjustments
Apple Inc.(苹果公司)
针对现有基准忽略开发者期望的问题,提出多语言基准CodeAlignBench,通过预定义约束和后续指令优化两种设置评估LLM的指令遵循能力,全面揭示模型在不同语言和生成目标上的优劣。
2025-10-31 cs.AI cs.HC cs.SE
AutoGen Studio: A No-Code Developer Tool for Building and Debugging Multi-Agent Systems
Microsoft Research(微软研究院)
为解决多智能体系统参数指定与调试困难的问题,提出基于AUTOGEN框架的无代码工具AUTOGEN STUDIO,提供拖放式UI和Python API以快速原型设计、评估和调试多智能体工作流,并开源了实现。
2024-08-09 cs.AI cs.CL cs.HC
IdBench: Evaluating Semantic Representations of Identifier Names in Source Code
TU Darmstadt(达姆施塔特工业大学);University of Stuttgart(斯图加特大学)
标识符名称传达有关代码预期语义的有用信息。基于名称的程序分析使用该信息,例如,检测错误,预测类型,提高代码的可读性。基于名称的分析的核心是标识符的语义表示,例如,以学习嵌入的形式。这种表示的高级目标是编码两个标识符,例如,Lens和Size在语义上相似。不幸的是,目前还不清楚语义表示在多大程度上与开发人员感知的语义相关性和相似性相匹配。本文介绍了IdBench,第一个基准评估语义表示对地面真相从数千个评级由500名软件开发人员。我们使用IdBench来研究为自然语言提出的最先进的嵌入技术,一种专门为源代码设计的嵌入技术,以及词汇字符串距离函数。我们的研究结果表明,语义表示的有效性差异显着,最好的嵌入成功地代表语义相关性。不利的是,没有现有技术提供语义相似性的令人满意的表示,除了其他原因之外,因为具有相反含义的标识符被错误地认为是相似的,这可能导致致命的错误,例如,一个重构工具。研究不同技术的优点和缺点表明,它们是相辅相成的。作为利用这种互补性的第一步,我们提出了一个集成模型,结合现有的技术,显然优于最好的语义表示。
2021-01-14 cs.LG cs.PL cs.SE