Evaluating Heuristics for Iterative Impact Analysis
迭代影响分析(IIA)是允许开发人员估计软件变更的受影响单元的过程。从单个受影响的单元开始,开发人员通过程序依赖性检查其交互单元,以识别也受影响的单元,并且该过程迭代地继续。经验表明,开发人员经常错过受影响的单元,并检查许多不相关的单元。在这项工作中,我们研究了传播算法,指导开发人员找到实际受影响的单位和终止算法,帮助决定是否估计的影响是完整的。这两种策略的作用是互补的,在IIA中使用时会影响精确度和召回率。我们研究了几个传播算法改编自以前发表的论文,并结合他们的实际终止启发式。我们开发了一个重演过程,模拟在IIA期间使用这些策略的开发人员的行为,并评估了他们的表现。我们重新制定的软件更改是从开源项目的存储库中挖掘出来的。我们发现,IIA提供了更好的召回比其他已知的影响分析技术。然而,我们调查的具有传播检验的IIA并不能取代IIA与随机检查相结合,因此这些检验对IIA没有帮助。
2019-07-20 cs.SE
From Awareness to Action: How Developers Engage with Accessibility Innovation in LLM-Assisted Development
Universidade Federal do Pará(帕拉联邦大学);Zup Innovation(Zup创新);Universidade Federal de Uberlândia(乌贝兰迪亚联邦大学)
通过分析14个基于LLM的无障碍项目提案和9名参与者的焦点小组讨论,发现由残障人士主导的倡议能促进包容性创新,推动无障碍从合规要求转变为技术卓越和文化变革的驱动力。
2026-06-09 cs.SE
From Requirements to Code: Understanding Developer Practices in LLM-Assisted Software Engineering
本研究通过访谈14家公司18位开发者,发现常规需求过于抽象,需手动分解为编程任务并补充设计决策和架构约束后才能用于提示LLM,强调需求工程工作仍不可或缺。
2025-07-10 cs.SE
Built to Last or Built Too Fast? Evaluating Prediction Models for Build Times
自动化构建是持续集成(CI)软件开发实践的组成部分。在CI中,鼓励开发人员尽早并经常进行集成。然而,当集成频繁时,长的构建时间可能是一个问题。这项研究的重点是在经常集成和保持开发人员的生产力之间找到平衡。我们提出并分析模型,可以预测一个工作的构建时间。这些模型可以帮助开发人员更好地管理他们的时间和任务。此外,项目经理可以探索不同的因素,以确定构建作业的最佳设置,从而将构建等待时间保持在可接受的水平。过渡到CI实践的软件组织可以在实施CI之前使用预测模型来预测构建时间。研究界可以修改我们的预测模型,以进一步了解影响构建时间的因素和关系。
2017-12-19 cs.SE
When LLMs Meet API Documentation: Can Retrieval Augmentation Aid Code Generation Just as It Helps Developers?
该研究针对RAG助力LLMs适配小众API库的效果问题展开实验,发现RAG可显著提升LLMs代码生成性能,且示例代码贡献最大,为低代码开发流程优化提供参考。
2025-03-19 cs.SE
Evaluating Developer-written Unit Test Case Reduction for Java -- A Replication Study
本研究使用 ReduJavator 在 Defects4J 缺陷和变异体上复现 ReduSharptor 研究,证实 Java 单元测试归约中叶节点被大量移除,但未能确认叶节点移除概率更高。
2025-01-09 cs.SE
What Types of Code Review Comments Do Developers Most Frequently Resolve?
The University of Melbourne(墨尔本大学);Atlassian;Monash University(蒙纳士大学)
本研究利用LLM作为评判者分类评审评论,发现LLM与人类评审者各有优劣,且可读性、缺陷和维护性相关评论的解决率高于设计类评论,表明多数LLM生成评论具有可执行性。
2025-10-06 cs.SE
When Large Language Models Meet UAV Projects: An Empirical Study from Developers' Perspective
University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学);Zhejiang University(浙江大学);Guangdong University of Finance and Economics(广东财经大学);Qufu Normal University(曲阜师范大学)
通过分析997篇论文和1509个GitHub项目,并调查52位从业者,本研究分类了无人机项目中大型语言模型(LLM)的九种常见任务和四种工作流,揭示了研究与工业实践之间的差异,并指出了整合LLM的五大挑战因素。
2026-06-01 cs.SE
A Quantitative and Qualitative Evaluation of LLM-Based Explainable Fault Localization
本文提出AutoFL,一种基于大语言模型的故障定位技术,通过函数调用导航代码仓库并生成缺陷解释,在798个真实缺陷上显著提升定位准确率,且其解释获得开发人员认可。
2024-07-02 cs.SE
GazeCopilot: Evaluating Novel Gaze-Informed Prompting for AI-Supported Code Comprehension and Readability
University of Glasgow(格拉斯哥大学)
针对AI编码助手提示上下文不足问题,提出Real-time GazeCopilot方法,将实时注视指标整合到提示以适配开发者认知状态,实验表明其在代码理解准确率、时间及可读性上优于Standard Copilot,且重构效果优于Pre-set GazeCopilot。
2025-11-11 cs.HC cs.SE
Democratizing AI Development: Local LLM Deployment for India's Developer Ecosystem in the Era of Tokenized APIs
本文通过实证研究180名印度开发者,证明基于Ollama的本地LLM部署相比商业API可降低成本33%并使实验迭代次数翻倍,从而推动资源受限环境下的包容性AI开发。
2025-08-21 cs.HC cs.SE
Gistable: Evaluating the Executability of Python Code Snippets on GitHub
软件开发人员在线创建和共享代码,以演示程序设计语言概念和编程任务。代码段是解释和演示编程概念的有用方法,但可能并不总是直接可执行的。代码段可能包含分析错误,或者在环境包含未满足的依赖项时无法执行。本文对通过GitHub gist系统共享的Python代码片段的可执行状态以及熟悉软件配置的开发人员正确配置和运行它们的能力进行了实证分析。我们发现,75.6%的GIST需要非平凡的配置,以克服缺少的依赖关系,配置文件,依赖于特定的操作系统,或其他一些环境配置。我们的研究还表明,开发人员在解决配置错误时对资源名称的自然假设只有不到一半的正确率。我们还介绍了Gistable,一个建立在GitHub的gist系统上的数据库和可扩展框架,它提供了可执行的代码片段,以便在软件工程中进行可重复的研究。Gistable包含10,259个代码片段,其中大约5,000个带有Dockerfile,用于配置和执行它们而不会发生导入错误。Gistable可在https://github.com/gistable/gistable上公开获取。
2018-08-14 cs.SE
Personalizing LLM-Based Conversational Programming Assistants
Radboud University(拉德堡德大学)
本文探讨了认知多样性与组织背景如何影响开发者需求,并探索个性化方法以提升基于大语言模型的对话编程助手的包容性。
2026-04-14 cs.SE
A Study on Developer Behaviors for Validating and Repairing LLM-Generated Code Using Eye Tracking and IDE Actions
本研究通过实验室实验(28名参与者)结合眼动追踪和IDE行为数据,探究开发者验证与修复Copilot生成代码的行为,发现代码来源意识能提升性能但增加认知负荷,为设计人机协作工具提供启示。
2024-05-25 cs.HC cs.SE
Evaluating Non-English Developer Support in Machine Learning for Software Engineering
Delft University of Technology(代尔夫特理工大学)
研究评估非英语代码注释生成及现有评估方法的可靠性,发现非英语环境下生成性能显著下降,自动评估方法无法可靠区分正确与错误注释。
2026-05-07 cs.SE
Evaluating How Developers Use General-Purpose Web-Search for Code Retrieval
搜索是软件开发过程中不可或缺的一部分。开发人员经常使用搜索引擎在开发过程中查找信息,包括可重用的代码片段、API理解和参考示例。开发人员倾向于使用像Google这样的通用搜索引擎,这些搜索引擎通常不针对代码相关文档进行优化,而使用的搜索策略和排名技术更适合于通用的、非代码相关的信息。在本文中,我们将探讨是否一个通用的搜索引擎,如谷歌是一个最佳的选择代码相关的搜索。特别是,我们调查是否与谷歌搜索的性能不同的代码与非代码相关的搜索。为了分析这一点,我们收集了来自310名开发人员的搜索日志,其中包含来自Google的近150,000个搜索查询和相关的结果点击。为了区分代码相关的搜索和非代码相关的搜索,我们建立了一个模型,识别查询的代码意图。利用这个模型,我们建立了一个自动分类器,检测代码和非代码相关的查询。我们确认分类器的有效性手动注释的查询,分类器达到87%的精度,86%的召回率,和87%的F1分数。我们应用这个分类器来自动注释数据集中的所有查询。分析这个数据集,我们观察到与代码相关的搜索通常需要更多的努力(例如,时间、结果点击和查询修改),这表明使用通用搜索引擎的代码搜索性能不太有效。
2018-03-22 cs.IR cs.SE
Automating Code Generation for Semiconductor Equipment Control from Developer Utterances with LLMs
Sungkyunkwan University(成均馆大学);Chonnam National University(全南国立大学)
针对大语言模型在低级半导体设备语言编程上的局限,本文提出多阶段提示框架PKE,通过逐步提取激活模型潜在知识引导其从简到繁生成代码,无需大量微调,在ALPG数据集上精确匹配分数显著超越现有方法。
2025-09-16 cs.SE
DevGPT: Studying Developer-ChatGPT Conversations
本文介绍了DevGPT数据集,包含29,778个ChatGPT提示与回复及19,106个代码片段,关联GitHub等平台的开发工件,旨在研究开发者与ChatGPT的交互动态及其对AI辅助编程的影响,为软件工程领域开辟新研究途径。
2024-02-14 cs.SE
DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
Anote AI
该研究针对LLM生成代码违反开发者隐式意图的问题,构建含49个问题的基准并提出IVR指标,发现两款主流LLM生成代码虽通过率高但超半数违反意图,揭示现有基准局限性。
2026-08-11 cs.CL cs.SE
Migrating Existing Container Workload to Kubernetes -- LLM Based Approach and Evaluation
本研究提出一种基于 Compose 规范的基准测试方法,评估 LLM 生成 Kubernetes 清单的有效性,发现其能弥补简单规范差距,但常省略内联注释且对非典型输入完成准确率低。
2024-08-21 cs.SE
Explaining GitHub Actions Failures with Large Language Models: Challenges, Insights, and Limitations
本研究探讨使用大型语言模型为 GitHub Actions 失败生成上下文描述,发现超过80%开发者认可其在简单日志上的正确性,可为不同经验开发者提供辅助,但复杂场景仍需提升推理能力。
2025-01-27 cs.SE
Towards Autonomous Testing Agents via Conversational Large Language Models
本文提出基于对话式大语言模型的自主测试智能体分类法,展示其作为测试助手的潜力,并探讨了自主性提升带来的益处及幻觉在测试中的积极作用。
2023-09-05 cs.SE
Understanding and supporting how developers prompt for LLM-powered code editing in practice
University of California Irvine(加州大学尔布雷分校);Google(谷歌);Meta
本文研究开发者在使用LLM赋能代码编辑工具时的提示行为,发现频繁重新提示表明使用困难,并提出AutoPrompter工具通过推断缺失信息提升编辑正确性27%。
2025-12-19 cs.AI cs.HC cs.SE
Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution
本研究分析433段开发者-ChatGPT对话,识别提示知识缺口(如缺失上下文)和对话风格对问题解决的影响,并提出具体性、上下文丰富性、清晰度等启发式规则及浏览器扩展原型,以动态检测并改进提示质量。
2025-02-25 cs.SE
Cognitive Biases in LLM-Assisted Software Development
University of Southern California(南加州大学);Naval Postgraduate School(海军研究生院)
本文研究了大语言模型辅助软件开发中的认知偏差,通过混合方法分析发现LLM相关行动更易产生新型偏差,并提出15种偏差类别及缓解建议。
2026-01-12 cs.HC cs.SE
DPO-F+: Aligning Code Repair Feedback with Developers' Preferences
Vanderbilt University(范德堡大学)
研究针对大语言模型在代码修复中开发者难解读输出的问题,提出DPO-f+框架,通过定义指标、构建数据集、微调模型及评估反馈质量,提升反馈准确性与对齐度,增强了代码理解和人机协作。
2026-07-09 cs.SE
Comparing Developer and LLM Biases in Code Evaluation
Carnegie Mellon University(卡内基梅隆大学)
本文提出TRACE框架,评估LLM在代码评估中的偏见,发现LLM在与开发者偏好对齐方面表现不佳,揭示了人类与模型在代码质量标准上的系统性差异。
2026-05-14 cs.CL cs.SE
ASTER: Natural and Multi-language Unit Test Generation with LLMs
针对现有单元测试生成工具支持语言少、生成测试可读性差的问题,提出结合静态分析引导LLM的通用测试生成流程,在Java和Python场景下验证其覆盖率优于现有技术,且生成的测试更自然易读。
2025-01-15 cs.SE
LLM-based Code Auditing by Inferring and Evaluating Developer Assumptions
MPI-SP(马克斯·普朗克安全与隐私研究所);CISPA(萨姆·哈塞尔大学赛斯帕信息安全和隐私中心)
本研究提出基于大语言模型的Creed方法,通过推断评估开发者安全信念检测代码漏洞,在真实基准上实现了优于现有工具的效果-工作量权衡。
2026-10-14 cs.CR cs.SE
Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights
针对静态分析工具语言特定且学习曲线陡峭导致难以与代码LLM结合的挑战,提出了开源Python库CLDK,通过提供直观的跨语言程序分析接口,简化上下文集成,提升LLM在编码任务中的效率与有效性。
2024-10-16 cs.SE
AI Observability for Developer Productivity Tools: Bridging Cost Awareness and Code Quality
Northeastern University(东北大学);Boston University(波士顿大学)
本文提出一种统一的AI可观性方法,通过实时跟踪token、配置模型定价库、响应验证和成本分析,构建单一仪表板,提升开发者生产力工具的成本与代码质量理解。
2026-04-18 cs.SE
ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
提出LLM-as-a-Developer方法,通过自动化流水线ADK Arena评估51个Python ADK框架,发现框架间生成成本差异达5.6倍,但无单一框架占优,且文档、源码和参数知识可相互替代。
2026-06-04 cs.AI cs.SE
Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights
针对AI生成代码质量评估与人类判断相关性弱、现有指标实用性不足的问题,本文提出基于反向生成技术的SBC评分机制,通过重构需求并对比原始规格量化准确性,为开发者提供可操作洞察。
2025-02-11 cs.AI cs.SE
Evaluating LLMs Code Reasoning Under Real-World Context
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出R2Eval1基准测试,包含135个来自十个广泛使用的Python项目的代码推理问题,通过序列化复合和自定义类型,更真实地评估LLM的通用性。
2026-04-14 cs.SE
Code2API: A Tool for Generating Reusable APIs from Stack Overflow Code Snippets
针对Stack Overflow代码片段无法直接测试复用的问题,提出Chrome扩展Code2API,利用LLMs的思维链推理和少样本学习自动将其转换为可调用API,评估显示其显著优于基于规则的方法。
2025-04-19 cs.SE
Prompting in the Wild: An Empirical Study of Prompt Evolution in Software Repositories
本文通过分析243个GitHub仓库中的1,262项提示变更,首次实证研究提示演化模式、文档与系统影响,并指出需专门测试、验证和文档工具。
2025-01-12 cs.SE
Redefining Developer Assistance: Through Large Language Models in Software Ecosystem
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DevAssistLlama,一种通过指令微调构建的领域特定大型语言模型,旨在处理软件相关自然语言查询,并在命名实体识别、关系抽取和链接预测任务上优于包括ChatGPT在内的其他模型,展示了专用LLM在软件开发中的潜力。
2024-03-15 cs.AI cs.SE
Detecção de Conflitos Semânticos com Testes Gerados por LLM
本研究针对语义冲突检测中传统工具假阴性率高的问题,提出将基于Code Llama 70B的LLM测试生成工具集成到SMAT中,实验显示该方法在复杂场景下虽有挑战但展现出改进检测效果的潜力。
2025-08-13 cs.SE
ChatGPT for Code Refactoring: Analyzing Topics, Interaction, and Effective Prompts
本文通过文本挖掘 29,778 条 ChatGPT 交互中的 715 条重构相关对话,分析开发者表达重构需求的方式及 ChatGPT 的回应,以理解重构交互并提升提示有效性。
2025-09-09 cs.SE
Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries
King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本文研究了LLM生成代码中库幻觉的风险,通过分析用户提示变化对库幻觉的影响,揭示了系统性漏洞,并提出了LibHalluBench基准测试以评估这些幻觉。
2026-08-24 cs.CL cs.SE
"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support
本研究通过分析1700多条Reddit帖子,对比开发者使用Stack Overflow与ChatGPT获取编程支持的体验,明确二者的优势、场景与障碍,提出未来GenAI代码助手的设计启示及结合双方优势的工作流建议。
2025-02-20 cs.HC cs.SE
Can we find bugs using LLM-generated oracles?
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所)
针对 24 个 Java 仓库的受控实验表明,LLM 生成的测试预言仍倾向反映程序实际行为,但其生成能力强于分类能力且故障检测潜力优于 Evosuite。
2026-10-06 cs.SE
Evaluating Code Recommender Systems: A Review
Institute for Complex Networks, WU Vienna(复杂网络研究所,维也纳经济大学);WU Vienna(维也纳经济大学)
本综述通过系统文献回顾(2017-2024,92篇研究)评估代码推荐系统,发现评估以离线、系统为中心为主,用户中心评估稀缺,且集中于软件构建阶段,指出评估质量单一、类型不平衡的问题。
2026-09-28 cs.SE
Never Come Up Empty: Adaptive HyDE Retrieval for Improving LLM Developer Support
Queen's University(皇后大学);Royal Military College of Canada(加拿大皇家军事学院)
本文构建了超300万条Stack Overflow帖子的检索语料库,系统评估了63种RAG流水线变体,提出结合HyDE与完整答案上下文的自适应检索方法,并在4个开源LLM上验证其一致优于零样本基线。
2025-07-22 cs.AI cs.SE
Green My LLM: Studying the key factors affecting the energy consumption of code assistants
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文通过模拟20位开发者使用GitHub Copilot的场景,研究影响代码助手能耗的关键配置因素,发现并发数、模型规模、量化与流式传输等均影响能耗,并指出大量生成请求被取消,提出优化配置可显著节能。
2024-11-07 cs.AI cs.SE
Improving the Readability of Automatically Generated Tests using Large Language Models
本文提出结合搜索式测试生成的高覆盖率与 LLM 的可读性优势,在保持语义和覆盖率不变的前提下改进测试与变量命名,实验证明其稳定且可读性接近人工测试。
2024-12-25 cs.SE
Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization
本文针对代码摘要评估中现有自动度量依赖参考摘要的缺陷,提出一种基于对比学习的新度量,以捕捉生成摘要与代码语义的一致性,并通过实证验证其能更有效表征开发人员评估。
2023-12-24 cs.SE
Detecting UX smells in Visual Studio Code using LLMs
LIFIA, Fac. Informática, Univ. Nac. La Plata(拉普拉塔国立大学计算机科学学院 LIFIA);LIFIA, Fac. Informática, Univ. Nac. La Plata & CONICET(拉普拉塔国立大学计算机科学学院 LIFIA 与阿根廷国家科学研究委员会)
本文提出利用LLMs检测Visual Studio Code中用户体验问题的方法,通过分析用户报告的问题发现信息性、清晰性、直观性和效率是主要的用户体验问题所在。
2026-02-25 cs.HC cs.SE
LLM4FP: LLM-Based Program Generation for Triggering Floating-Point Inconsistencies Across Compilers
University of California, Davis(加州大学戴维斯分校)
LLM4FP通过生成浮点程序触发不同编译器间的不一致,提升数值不一致检测能力,揭示更多优化级别间的不匹配。
2025-12-27 cs.SE
What You Need is What You Get: Theory of Mind for an LLM-Based Code Understanding Assistant
本文提出一个基于LLM的代码理解对话助手,通过推断用户心理状态实现个性化交互,并在十四名初学者的受试者内研究中验证了其有效性,为相关工具设计提供了见解。
2024-08-08 cs.SE
AI-powered Code Review with LLMs: Early Results
Tampere University(坦佩雷大学);University of Jyväskylä(于韦斯屈莱大学);University of Helsinki(赫尔辛基大学);Free University of Bozen Bolzano(博尔扎诺自由大学);University of South Eastern Norway(挪威东南大学)
本文提出基于LLM的代码审查方法,旨在提高代码质量和开发者教育,通过检测代码问题和减少发布后bug来优化开发流程。
2025-12-10 cs.SE
On Evaluating the Efficiency of Source Code Generated by LLMs
本文提出在代码正确性之外进一步评估LLMs生成代码的效率,通过在HumanEval、MBPP和LeetCode上进行评测,并探索能促使LLMs生成更高效代码的提示方法。
2024-04-09 cs.SE
On the Prospects of Dynamic LLM Conversations in Software Development
Leipzig University(莱比锡大学);Chemnitz University of Technology(开姆尼茨工业大学);ScaDS.AI Dresden/Leipzig(ScaDS.AI德累斯顿/莱比锡)
本研究通过四个月的纵向实验,评估对开发者与LLM的交互进行干预的影响,发现最小化干预无有害影响,主动干预组满意度呈上升趋势,表明动态引导机制可提升开发者满意度。
2026-09-01 cs.AI cs.SE
Showing LLM-Generated Code Selectively Based on Confidence of LLMs
School of Computer Science, Peking University(北京大学计算机学院);Academy of Military Sciences(军事科学院)
本文提出HonestCoder方法,通过估计大语言模型代码生成的置信度来选择性地向开发者展示程序,并在多语言基准TruthCodeBench上验证其能有效减少错误代码展示,同时仅增加轻微时间开销。
2024-10-04 cs.CL cs.SE