An Empirical Evaluation of Competitive Programming AI: A Case Study of AlphaCode
AlphaCode是一个代码生成系统,用于帮助软件开发人员使用自然语言问题描述解决竞争性编程问题。尽管代码生成系统具有优势,但开源社区对实用性和数据许可表示担忧。然而,没有研究调查生成的代码在代码克隆和性能方面。在本文中,我们进行了实证研究,以找到代码的相似性和性能差异AlphaCode生成的代码和人类代码。结果表明:(i)AlphaCode生成的代码与人类代码相似(即,平均最大相似性得分为0.56)以及(i i)所生成的代码在执行时间和存储器使用方面与人类代码表现得相当或更差。此外,AlphaCode倾向于为低难度问题(即,四种情况具有完全相同的代码)。它还使用了过多的嵌套循环和不必要的变量声明来解决高难度的问题,这导致我们的手动调查性能低下。复制程序包可从https:/doi.org/10.5281/zenodo.6820681获得
2022-08-26 cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Groningen(格罗宁根大学)
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响,发现AI生成的测试在代码长度和断言密度上表现突出,且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization
本文针对代码摘要评估中现有自动度量依赖参考摘要的缺陷,提出一种基于对比学习的新度量,以捕捉生成摘要与代码语义的一致性,并通过实证验证其能更有效表征开发人员评估。
2023-12-24 cs.SE
On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot
软件工程研究一直关注代码完成方法的改进,这表明开发人员在编码时可能会输入下一个标记。GitHub Copilot的发布是向前迈出的一大步,也是因为它具有前所未有的能力,可以从自然语言描述中自动生成甚至整个函数。虽然Copilot的实用性是显而易见的,但它的健壮程度仍不清楚。具体地说,我们不知道在提供给模型的自然语言描述中的语义保持变化对生成的代码函数的影响程度。在本文中,我们提出了一个实证研究,我们的目的是了解不同的,但语义等价的自然语言描述是否会导致相同的推荐功能。否定的答案会对基于深度学习(DL)的代码生成器的鲁棒性提出质疑,因为这意味着开发人员使用不同的措辞来描述相同的代码将获得不同的建议。我们要求Copilot从原始Javadoc描述开始自动生成892个Java方法。然后,我们手动和自动为每种方法生成不同的语义等效描述,并分析了Copilot生成的预测变化的程度。我们的研究结果表明,修改的描述结果在不同的代码建议在~46%的情况下。此外,语义等效描述中的差异可能会影响生成代码的正确性约28%。
2023-02-01 cs.SE
On the risk of coding before testing: An empirical study on LLM-based test generation workflow
SnT, University of Luxembourg(卢森堡大学 SnT 研究中心)
研究大语言模型在软件工程工作流程中生成代码和测试套件时,生成的代码是否会使后续测试产生偏差,通过实证研究错误传播现象,评估其在多种编程任务和工作流程中的影响。
2026-07-07 cs.SE
Developer-LLM Conversations: An Empirical Study of Interactions and Generated Code Quality
Queen’s University(女王大学)
本研究构建大规模开发者-LLM对话数据集CodeChat,分析开发者讨论话题、交互模式及生成代码质量的演变,发现相关问题发生率未随轮次下降,提出对话助手需跟踪开发者意图并监控代码质量。
2026-09-01 cs.SE
Beyond Bug Fixes: An Empirical Investigation of Post-Merge Code Quality Issues in Agent-Generated Pull Requests
University of Saskatchewan(萨斯喀彻温大学)
本研究通过分析代理生成的bug修复PR合并后代码质量问题,发现代码异味主导,且合并成功不等于代码质量高,需系统化质量检查。
2026-01-27 cs.SE
Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study
Norwegian University of Science and Technology(挪威科学技术大学)
本文通过实证研究探讨了大型语言模型在单元测试生成中的参数高效微调方法,发现LoRA在某些情况下性能可与全量微调媲美,提示微调在成本效益上表现最佳。
2025-11-23 cs.AI cs.LG cs.SE
Empirical Comparison of Black-box Test Case Generation Tools for RESTful APIs
在文献中,我们可以找到自动生成RESTful API测试用例的研究工具,解决这个特定编程领域的特殊性。但是,这些工具之间没有直接的比较,无法指导开发人员决定哪种工具最适合他们的REST API项目。在本文中,我们提出了REST API的自动黑盒测试用例生成方法的实证比较结果。我们调查了最近文献中提出的可用的黑盒测试工具,找到了四个可用的原型:RestTestGen,RESTler,bBOXRT和RESTest。我们使用这些工具为14个真实的REST服务生成测试用例。然后,从鲁棒性(即,成功率)和测试覆盖率。在考虑的工具中,RESTler似乎是最可靠的,能够成功地测试所有案例研究(其他工具经历了崩溃)。相反,RestTestGen生成的测试用例覆盖率最高,这表明它的测试策略在测试REST API方面最有效。
2021-08-18 cs.SE
AI Writes Code, Humans Pay the Debt. An Empirical Study on the Sustainability and Evolution of Agent-Generated Code
University of Southern Denmark(南丹麦大学);University of Oulu(奥卢大学);University of Hawaii(夏威夷大学)
本研究通过SQuaD数据集对比智能体生成代码与开发者实际提交代码,探究智能体生成代码对软件质量、技术债务及演化的影响,为LLM智能体的负责任应用提供依据。
2026-09-07 cs.SE
An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation
代码库中有数百万个修复了许多bug的开源项目。可以利用软件开发历史的这种扩散来学习如何修复常见的编程错误。为了探索这种潜力,我们进行了一项实证研究,以评估使用神经机器翻译技术学习错误修复补丁的可行性。首先,我们从GitHub上托管的项目的更改历史中挖掘数百万个错误修复,以提取此类错误修复的有意义的示例。接着,我们抽象出错误代码和相应的固定代码,并使用它们来训练一个编码器-解码器模型,该模型能够将错误代码翻译成其固定版本。在我们的实证调查中,我们发现这样的模型能够在野外修复数千种独特的错误方法。总的来说,这个模型能够在9-50%的情况下预测开发人员生成的固定补丁,这取决于我们允许它生成的候选补丁的数量。此外,该模型能够模拟各种不同的抽象树操作,并在一瞬间生成候选补丁。
2019-05-21 cs.SE
An Empirical Study of Security Calibration in Large Language Models for Code
University of Notre Dame(圣母大学);Brac University(布拉卡大学)
本文首次大规模实证研究LLM生成代码的安全校准,发现过度自信普遍存在,安全校准优于功能校准,且校准引导的自动修复效果有限。
2026-07-01 cs.CR cs.LG cs.SE
AI builds, We Analyze: An Empirical Study of AI-Generated Build Code Quality
University of Michigan-Deaborn(密歇根大学迪尔伯恩分校);University of Michigan-Flint(密歇根大学弗林特分校)
本研究通过分析AI生成的构建代码质量,探讨其在构建系统中的影响,并发现AI生成代码既可能引入质量问题,也部分消除了现有问题,同时大部分代理提交被开发者接受。
2026-01-23 cs.SE
WildCode Revisited: A Comprehensive Empirical Study on the Security of LLM-Generated Code
Sheridan College(谢里丹学院);Queen’s University(女王大学);Université du Québec en Outaouais (UQO)(魁北克大学瓦塔瓦校区);Concordia University(康科迪亚大学)
通过大规模实证分析真实场景下 ChatGPT 生成的代码,研究其正确性与安全性,并评估常见提示工程策略的有效性,发现 LLM 生成的代码在安全性方面经常不足。
2026-06-03 cs.CR cs.SE
Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild
Adelaide University(阿德莱德大学);University of Victoria(维多利亚大学);Huazhong University of Science and Technology(华中科技大学);Singapore Management University(新加坡管理大学)
本文研究了AI生成代码在真实软件项目中的技术债务影响,发现代码异味是最常见的问题,且部分问题长期存在,凸显了AI辅助开发中质量保障的必要性。
2026-10-13 cs.SE
Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study
Software Engineering Research Centre IIIT Hyderabad(印度理工学院海得拉巴分校软件工程研究中心);Language Technologies Research Centre IIIT Hyderabad(印度理工学院海得拉巴分校语言技术研究中心)
本文实证评估 GPT 与 T5 类 LLM 基于决策背景生成 ADR 决策的能力,发现零样本、少样本和微调方案均有效但尚未达到人类水平。
2024-03-04 cs.AI cs.LG cs.SE
Detect--Repair--Verify for LLM-Generated Code: A Multi-Language, Multi-Granularity Empirical Study
Concordia University(麦科德大学)
本文通过检测-修复-验证工作流评估LLM生成代码的安全性,发现多阶段修复能提升安全性和正确性,但修复可靠性依赖于修复范围和测试基础。
2026-03-24 cs.SE
Detect Repair Verify for Securing LLM Generated Code: A Multi-Language Empirical Study
Concordia University(康考迪亚大学)
本文通过多语言实证研究,提出了一种用于确保LLM生成代码安全的检测-修复-验证流程,并构建了新的基准数据集以评估不同修复方法的有效性。
2026-03-01 cs.SE
Is this Snippet Written by ChatGPT? An Empirical Study with a CodeBERT-Based Classifier
本文提出基于 CodeBERT 的 GPTSniffer 方法,用于检测 ChatGPT 生成的代码片段,并通过实证研究证明其分类准确率优于 GPTZero 和 OpenAI Text Classifier,同时分析了训练数据相似性与成对代码片段上下文对分类性能的提升作用。
2023-08-07 cs.SE
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性,发现仅68.3%的项目能在干净环境中成功执行,且不同语言存在显著差异,同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
Can GPT-4 Replicate Empirical Software Engineering Research?
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本研究探究GPT-4复现实证软件工程研究的能力,通过7篇论文的测试与14名专家的评估,发现其能挖掘正确假设、生成逻辑正确的高层代码,但存在常识假设缺失和底层实现错误的问题。
2024-06-19 cs.AI cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
Factors Influencing the Quality of AI-Generated Code: A Synthesis of Empirical Evidence
Queen’s University Belfast(贝尔法斯特女王大学);Azerbaijan Technical University(阿塞拜疆技术大学);MilliSoft MMC Corporation(MilliSoft MMC公司);Bilkent University(比尔肯特大学)
本研究综合现有经验证据,分析影响人工智能生成源代码质量的因素,并探讨这些因素在不同评估情境下的影响。
2026-03-26 cs.AI cs.SE
Understanding Specification-Driven Code Generation with LLMs: An Empirical Study Design
Escuela de Ingeniería de Fuenlabrada, Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学富恩拉布拉达工程学院)
本文通过实证研究设计,探讨人类干预在基于规范的LLM代码生成过程中对代码质量和动态的影响。
2026-01-07 cs.SE
An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code
Texas A&M University–San Antonio(德克萨斯农工大学圣安东尼奥分校)
本文评估了三种LLM生成的加密Rust代码的安全性,发现通用工具不足,提示策略对结果影响显著,且存在nonce重用等系统性问题。
2026-04-29 cs.CR cs.SE
On Codex Prompt Engineering for OCL Generation: An Empirical Study
Polytechnique Montréal(蒙特利尔综合理工学院)
对象约束语言(OCL)是一种声明性语言,它向MOF模型添加约束和对象查询表达式。尽管OCL有潜力为UML模型提供精确性和简洁性,但OCL不熟悉的语法阻碍了它的采用。LLM的最新进展,如GPT-3,已经在许多NLP任务中显示了它们的能力,包括语义解析和文本生成。Codex是GPT-3的后代,已经在GitHub的公开代码上进行了微调,可以用许多程序设计语言生成代码。我们调查的可靠性OCL约束产生的Codex从自然语言规范。为了实现这一点,我们编译了一个包含15个UML模型和168个规范的数据集,并制作了一个提示模板,其中包含用于填充UML信息和目标任务的插槽,使用零次学习和少样本学习方法。通过测量生成的OCL约束的语法有效性和执行准确性度量,我们发现,丰富的提示与UML信息和启用少样本学习增加了生成的OCL约束的可靠性。此外,结果揭示了基于句子嵌入之间的生成的OCL约束和人类书面的地面真理,这意味着一个层次的清晰度和可理解性,在生成的OCL约束的Codex。
2023-03-28 cs.AI cs.SE
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
LLMs for Generation of Architectural Components: An Exploratory Empirical Study in the Serverless World
本文通过遮蔽开源serverless函数并利用LLMs在不同上下文信息条件下生成该函数,探索了LLMs自动生成FaaS架构组件的能力,并评估了正确性、代码质量及与人类代码的相似度。
2025-02-04 cs.SE
Prompt Structure Redistributes, Not Reduces: An Empirical Analysis of Security-Weaknesses in LLM-Generated Python Code
Toronto Metropolitan University(多伦多都会大学);Colorado State University(科罗拉多州立大学)
该研究通过424个安全敏感Python任务,对比GPT-4o与LLaMA 3.1-8B在5种提示变体下的代码生成效果,发现结构化提示可提升合规性但会重新分布安全风险,无法替代稳健安全控制。
2026-08-26 cs.CR cs.SE
Do Prompt Patterns Affect Code Quality? A First Empirical Assessment of ChatGPT-Generated Code
University of Salerno(萨勒诺大学)
本文通过Dev-GPT数据集实证评估提示模式对ChatGPT生成代码质量的影响,发现零样本提示最常见,且不同提示模式对代码可维护性、安全性和可靠性无显著影响。
2025-04-18 cs.AI cs.SE
Search Budget in Multi-Objective Refactoring Optimization: a Model-Based Empirical Study
该研究针对多目标软件模型重构优化中搜索预算(时间限制)的影响展开实证,通过两个不同案例测试三种遗传算法,发现预算限制会降低解质量,且算法选择对结果有关键作用。
2022-12-16 cs.SE
Explanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study
Technical University of Munich(慕尼黑工业大学);fortiss(福蒂斯研究所)
本文通过在三个数据集、四种模型架构下的20种配置开展实证研究,发现解释引导式变异测试生成的经验证故障诱导测试用例是启发式变异策略的2.30倍,可有效评估专用语言模型的鲁棒性。
2026-08-10 cs.SE
From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests
Kennesaw State University(肯尼索州立大学);Quanta Technology(夸塔技术)
本文通过分析代码审查代理(CRAs)在拉取请求中的表现,探讨其对合并成功率的影响,发现CRAs生成的反馈质量与PR废弃率密切相关,需人类监督以提高代码审查效果。
2026-04-03 cs.SE
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Queen’s University(女王大学)
本文研究了GitHub上代理编码生成的拉取请求的接受情况,发现83.8%的PR被合并,其中54.9%无需修改,剩余需人类修订。
2026-02-09 cs.SE
An Empirical Study on Commit Message Generation using LLMs via In-Context Learning
本研究通过实证方法探索利用大语言模型和上下文学习生成提交信息,验证其优于现有方法并具备更强泛化能力,为相关研究提供方向。
2025-02-26 cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段,实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布,并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
When LLMs Invent Rust Crates: An Empirical Study of Hallucination Patterns and Mitigation
Southern University of Science and Technology(南方科技大学);Nankai University(南开大学)
本研究首次大规模实证分析LLM生成Rust代码中的包幻觉问题,发现不同模型幻觉率惊人一致且对参数不敏感,并探索了提示工程缓解策略。
2026-08-17 cs.SE
Is Quantization a Deal-breaker? Empirical Insights from Large Code Models
本研究通过将AWQ量化技术应用于CodeLlama和DeepSeekCoder生成Java与Python代码,并利用静态分析工具评估圈复杂度等指标,发现量化不仅保持功能正确性,还保留了可维护性等关键代码质量属性。
2025-07-13 cs.SE
Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety
Department of Construction Management, Colorado State University(科罗拉多州立大学建设管理系)
研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度,发现用户角色与数据幻觉存在显著关系,且存在高达45%的静默故障率。
2026-04-26 cs.AI cs.HC cs.SE
Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics
Department of Computer and Information Science, Linköping University, Sweden(Linköping大学计算机与信息科学系)
研究通过文献综述、行业研讨会和实证分析,探讨LLM生成代码在安全、可维护性和性能效率等非功能性质量特性上的表现,揭示学术研究与行业需求的不匹配,强调需在代码生成流程中集成质量保障机制。
2026-03-12 cs.AI cs.SE
Learn to Code Sustainably: An Empirical Study on LLM-based Green Code Generation
TWT GmbH Science & Innovation(TWT 科学与创新有限公司);National Technical University of Athens(雅典国立技术大学);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Mercedes-Benz(梅赛德斯-奔驰)
本研究围绕绿色编码开展实证,提出代码“绿色容量”定义,对比三款商用AI大模型生成代码与人工代码的性能及可持续性,揭示AI模型助力可持续软件开发的现有能力。
2024-03-05 cs.AI cs.SE
An Empirical Study of LLM-Generated Specifications for VeriFast
Purdue University(普渡大学);University of Michigan(密歇根大学);Meta;Ann Arbor, Michigan, USA(美国密歇根州安阿伯);Menlo Park, California, USA(美国加州Menlo Park);West Lafayette, Indiana, USA(美国印第安纳州西拉法叶)
本研究评估了大型语言模型为分离逻辑验证器 VeriFast 生成规范的能力,发现虽然功能保持良好(>91%),但验证成功率仅31.4%,主要错误源于领域知识不足。
2026-06-26 cs.AI cs.LO cs.PL
Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study
University of Coimbra, CISUC/LASI(科英布拉大学,CISUC/LASI);Centre for Software Reliability(软件可靠性中心);Department of Informatics Engineering(信息工程系);Department of Computer Science(计算机科学系);City St George’s, University of London(伦敦城市圣乔治大学)
研究大语言模型能否成为软件多样性的实用生成器及提升可靠性程度。通过扩展经典实证研究,对多种规范程序进行测试,探索大语言模型多样性多维度影响,结果表明其能助力可靠性提升。
2026-07-07 cs.AI cs.SE
Citation Discipline in Spec-Driven Development: A Cross-Model Empirical Study of Output Determinism and Automated Hallucination Detection in LLM-Generated Code
通过对比三种规范驱动开发框架,发现强制引用要求会降低输出确定性但能实现自动幻觉检测,该权衡在不同模型间一致。
2026-07-01 cs.AI cs.SE