TUnit - Unit Testing For Template-based Code Generators
基于模板的代码生成器开发作为模型驱动开发(MDD)的一部分,需要强大的机制和工具来支持开发人员提高健壮性,即,为指定的输入生成期望的代码。尽管已经提出了不同的测试方法,但是仍然缺乏一种方法,该方法仅测试基于模板的代码生成器的一部分,并且可以在开发的早期阶段使用。因此,在本文中,我们提出了一种方法和基于JUnit的测试基于模板的代码生成器的实现。它不是测试一个完整的代码生成器,而是通过模拟环境支持模板的执行来简化部分测试。这简化了在开发的早期阶段对代码生成器的测试以及对代码生成器的新部件或更改部件的测试。为了测试由被测模板生成的源代码,提出了不同的方法,包括字符串比较,基于API的断言,和基于抽象语法树的断言。
2016-06-15 cs.SE
ReAssert: Deep Learning for Assert Generation
University College London(伦敦大学学院)
测试代码的自动生成可以减少构建软件所需的时间和精力,同时提高其正确性和鲁棒性。在本文中,我们提出了RE-ASSERT,一种自动生成JUnit测试断言的方法,它比以前的工作产生更准确的断言,具有更少的约束。这是通过单独针对项目,使用精确的代码到测试的可追溯性进行学习,以及直接从被测方法生成断言语句而无需首先编写无断言测试来实现的。我们还利用Reformer,一种最先进的深度学习模型,以及以前工作中的两个模型来评估ReAssert和现有的方法,称为ATLAS,使用词汇准确性,唯一性和动态分析。我们对ReAssert的评估显示,单个项目中高达44%的生成断言与地面事实完全匹配,对于编译生成的断言,这一比例增加到51%。我们还通过使用Reformer改进了ATLAS结果,其中28%的生成断言与地面事实完全匹配。Reformer还生成了最大比例的唯一断言(71%),进一步证明了Reformer生成了最有用的断言。
2020-11-19 cs.AI cs.SE
Automated Validation of COBOL to Java Transformation
IBM Research - India(IBM印度研究院);IBM Research - Tokyo(IBM东京研究院);IBM Software(IBM软件公司)
针对基于大语言模型的COBOL到Java代码转换结果可信度不足的问题,提出含工具的验证框架,通过基于符号执行生成带模拟外部调用的等价单元测试,校验语义等价性,还可辅助修复代码、反馈优化模型。
2025-04-14 cs.AI cs.SE
Can We Generate Shellcodes via Natural Language? An Empirical Study
University of Naples Federico II(那不勒斯费德里科二世大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
编写软件漏洞是攻击性安全分析人员调查和防止攻击的重要实践。特别是,shellcode是特别耗时和技术挑战,因为它们是用汇编语言编写的。在这项工作中,我们解决了自动生成shellcode的任务,纯粹从自然语言的描述开始,提出了一种基于神经机器翻译(NMT)的方法。然后,我们使用一个新的数据集(Shellcode_IA32),其中包括3,200个汇编代码片段的真实Linux/x86外壳代码从公共数据库,使用自然语言注释的实证研究。此外,我们提出了新的指标来评估NMT在生成shellcodes的准确性。实证分析表明,NMT可以生成汇编代码片段的自然语言具有较高的准确性,在许多情况下,可以生成完整的shellcode没有错误。
2022-02-08 cs.LG cs.SE
Automated Testing of COBOL to Java Transformation
IBM Research(IBM研究院)
针对COBOL到Java转换代码需手动验证的问题,开发用于IBM WCA4Z的测试框架,通过符号执行生成COBOL单元测试并转为JUnit测试验证语义等价性,助力差异修复与AI模型改进。
2025-04-14 cs.AI cs.SE
JUGE: An Infrastructure for Benchmarking Java Unit Test Generators
研究人员和实践者已经设计并实现了各种自动化测试用例生成器来支持有效的软件测试。这样的生成器存在于各种语言(例如,Java、C#或Python)和各种平台(例如,桌面、网络或移动应用程序)。这种发生器表现出不同的有效性和效率,这取决于它们旨在满足的测试目标(例如,库的单元测试与整个应用程序的系统测试)以及它们实现的底层技术。在这种情况下,从业人员需要能够比较不同的发电机,以确定最适合他们的要求,而研究人员寻求确定未来的研究方向。这可以通过系统地对不同发电机进行大规模评估来实现。然而,进行这种经验性评价并非易事,需要作出大量努力来收集基准,建立评价基础设施,并收集和分析结果。在本文中,我们介绍了我们的JUnit生成基准测试基础设施(JUGE)支持生成器(例如,基于搜索、基于随机、符号执行等)寻求自动化用于各种目的的单元测试的产生(例如,验证、回归测试、故障定位等)。其主要目标是通过标准化评估和比较过程,减少总体工作量,简化几个发电机的比较,并加强学术界和工业界之间的知识转移。自2013年以来,与基于搜索的软件测试研讨会一起举办的单元测试工具竞赛已经举办了八届,并使用和更新了JUGE。因此,越来越多来自学术界和工业界的工具(超过十种)在JUGE上进行了评估,这些工具多年来已经成熟,并可以确定未来的研究方向。
2022-10-28 cs.SE
Teralizer: Semantics-Based Test Generalization from Conventional Unit Tests to Property-Based Tests
University of Klagenfurt(克拉根福大学)
Teralizer通过单路径符号分析自动将传统单元测试转换为基于属性的测试,提升测试泛化效果并揭示应用障碍。
2025-12-16 cs.SE
Methods2Test: A dataset of focal methods mapped to test cases
单元测试是软件开发过程中必不可少的一部分,它有助于在开发的早期阶段识别源代码的问题并防止回归。机器学习已经成为帮助软件开发人员生成自动化单元测试的可行方法。然而,通过机器学习生成可靠的单元测试用例,这些用例在语义上是正确的,并且能够捕获软件错误或意外行为,这需要大量的、元数据丰富的数据集。在本文中,我们提出了Methods 2 Test:映射到测试用例的焦点方法数据集:映射到相应测试方法的测试用例的大型监督数据集(即,焦点方法)。该数据集包含780,944对JUnit测试和焦点方法,这些测试和焦点方法是从GitHub上托管的91,385个Java开源项目中提取的,这些项目的许可证允许重新分发。创建Methods 2 Test背后的主要挑战是在测试用例和相关焦点方法之间建立可靠的映射。为此,我们设计了一套基于开发人员在软件测试中的最佳实践的方法学,它为给定的测试用例确定了可能的焦点方法。为了便于进一步分析,我们在JSON格式的文件中为每个方法-测试对存储了一组丰富的元数据。此外,我们从不同上下文级别的数据集中提取文本语料库,我们以原始和标记化的形式提供,以使研究人员能够训练和评估自动测试生成的机器学习模型。Methods 2 Test可在https://github.com/microsoft/methods2test上公开获取
2022-03-23 cs.SE
When and Why Test Generators for Deep Learning Produce Invalid Inputs: an Empirical Study
Università della Svizzera italiana(瑞士意大利语区大学)
测试基于深度学习(DL)的系统本质上需要大型且具有代表性的测试集,以评估DL系统是否能够泛化其训练数据集。已经提出了多种测试输入生成器(TIG)来产生人工输入,这些人工输入通过触发不当行为来暴露DL系统的问题。不幸的是,这样生成的输入可能是无效的,即,不可识别为输入域的一部分,因此提供不可靠的质量评估。自动验证器可以减轻人工检查输入有效性的负担,尽管输入有效性是一个难以形式化的概念,因此,自动化。在本文中,我们调查在何种程度上TIG可以生成有效的输入,根据自动化和人类验证。我们进行了一项大型的实证研究,涉及2种不同的自动验证器,220名人类评估员,5种不同的TIG和3个分类任务。我们的结果表明,根据自动验证器,84%的人工生成输入是有效的,但它们的预期标签并不总是保留。自动验证器与人类达成了很好的共识(78%的准确率),但在处理功能丰富的数据集时仍然存在局限性。
2022-12-21 cs.LG cs.SE
An Empirical Study of AI-based Smart Contract Creation
University Of Houston(休斯顿大学);Kent State University(肯特州立大学)
该研究针对大语言模型生成智能合约的质量开展系统性实证评估,验证了其存在安全漏洞、质量受影响等问题,同时明确改进方向并提出相关研究思路。
2023-08-19 cs.LG cs.SE
To What Extent Does Agent-generated Code Require Maintenance? An Empirical Study
National Institute of Technology, Nara College(奈良工业高等专门学校);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
研究通过分析AI生成与人工编写代码的维护情况,发现AI代码维护频率较低,主要修改类型为功能扩展,而人工代码则以修复bug为主,人类开发者主导了大部分维护工作。
2026-05-09 cs.SE
How Robust are LLM-Generated Library Imports? An Empirical Study using Stack Overflow
Concordia University(康科迪亚大学)
本研究通过实证评估六种LLM在Stack Overflow真实Python问题上的库导入推荐,发现其偏好成熟第三方库,但存在4.6%的导入不可自动解析及多数模型缺乏安装指导等可用性问题,为提升LLM生成代码的可靠性提供见解。
2025-07-14 cs.AI cs.LG cs.SE
An Empirical Study on Automatically Detecting AI-Generated Source Code: How Far Are We?
本研究实证评估现有AI检测工具,发现其效果不佳;提出微调LLM及基于静态指标或AST嵌入的机器学习方法,最佳模型F1达82.55,超越GPTSniffer。
2024-11-06 cs.SE
VibeCheck: Assessing the Quality of LLM-Generated Unit Tests: A Multi-agent Empirical Study across Heterogeneous Repositories
University of Dhaka(达卡大学)
VibeCheck通过多智能体实证研究,评估LLM生成的单元测试质量,发现测试可运行但断言弱、边界覆盖不足,提出可靠性导向的评估框架。
2026-09-09 cs.SE
An Empirical Evaluation of Competitive Programming AI: A Case Study of AlphaCode
AlphaCode是一个代码生成系统,用于帮助软件开发人员使用自然语言问题描述解决竞争性编程问题。尽管代码生成系统具有优势,但开源社区对实用性和数据许可表示担忧。然而,没有研究调查生成的代码在代码克隆和性能方面。在本文中,我们进行了实证研究,以找到代码的相似性和性能差异AlphaCode生成的代码和人类代码。结果表明:(i)AlphaCode生成的代码与人类代码相似(即,平均最大相似性得分为0.56)以及(i i)所生成的代码在执行时间和存储器使用方面与人类代码表现得相当或更差。此外,AlphaCode倾向于为低难度问题(即,四种情况具有完全相同的代码)。它还使用了过多的嵌套循环和不必要的变量声明来解决高难度的问题,这导致我们的手动调查性能低下。复制程序包可从https:/doi.org/10.5281/zenodo.6820681获得
2022-08-26 cs.SE
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Groningen(格罗宁根大学)
本研究通过AIDev数据集分析AI代理生成测试的频率、结构特征及对代码覆盖率的影响,发现AI生成的测试在代码长度和断言密度上表现突出,且能实现与人工测试相当的覆盖率提升。
2026-03-14 cs.SE
Evaluating Code Summarization Techniques: A New Metric and an Empirical Characterization
本文针对代码摘要评估中现有自动度量依赖参考摘要的缺陷,提出一种基于对比学习的新度量,以捕捉生成摘要与代码语义的一致性,并通过实证验证其能更有效表征开发人员评估。
2023-12-24 cs.SE
On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot
软件工程研究一直关注代码完成方法的改进,这表明开发人员在编码时可能会输入下一个标记。GitHub Copilot的发布是向前迈出的一大步,也是因为它具有前所未有的能力,可以从自然语言描述中自动生成甚至整个函数。虽然Copilot的实用性是显而易见的,但它的健壮程度仍不清楚。具体地说,我们不知道在提供给模型的自然语言描述中的语义保持变化对生成的代码函数的影响程度。在本文中,我们提出了一个实证研究,我们的目的是了解不同的,但语义等价的自然语言描述是否会导致相同的推荐功能。否定的答案会对基于深度学习(DL)的代码生成器的鲁棒性提出质疑,因为这意味着开发人员使用不同的措辞来描述相同的代码将获得不同的建议。我们要求Copilot从原始Javadoc描述开始自动生成892个Java方法。然后,我们手动和自动为每种方法生成不同的语义等效描述,并分析了Copilot生成的预测变化的程度。我们的研究结果表明,修改的描述结果在不同的代码建议在~46%的情况下。此外,语义等效描述中的差异可能会影响生成代码的正确性约28%。
2023-02-01 cs.SE
On the risk of coding before testing: An empirical study on LLM-based test generation workflow
SnT, University of Luxembourg(卢森堡大学 SnT 研究中心)
研究大语言模型在软件工程工作流程中生成代码和测试套件时,生成的代码是否会使后续测试产生偏差,通过实证研究错误传播现象,评估其在多种编程任务和工作流程中的影响。
2026-07-07 cs.SE
Developer-LLM Conversations: An Empirical Study of Interactions and Generated Code Quality
Queen’s University(女王大学)
本研究构建大规模开发者-LLM对话数据集CodeChat,分析开发者讨论话题、交互模式及生成代码质量的演变,发现相关问题发生率未随轮次下降,提出对话助手需跟踪开发者意图并监控代码质量。
2026-09-01 cs.SE
Beyond Bug Fixes: An Empirical Investigation of Post-Merge Code Quality Issues in Agent-Generated Pull Requests
University of Saskatchewan(萨斯喀彻温大学)
本研究通过分析代理生成的bug修复PR合并后代码质量问题,发现代码异味主导,且合并成功不等于代码质量高,需系统化质量检查。
2026-01-27 cs.SE
Empirical Comparison of Black-box Test Case Generation Tools for RESTful APIs
在文献中,我们可以找到自动生成RESTful API测试用例的研究工具,解决这个特定编程领域的特殊性。但是,这些工具之间没有直接的比较,无法指导开发人员决定哪种工具最适合他们的REST API项目。在本文中,我们提出了REST API的自动黑盒测试用例生成方法的实证比较结果。我们调查了最近文献中提出的可用的黑盒测试工具,找到了四个可用的原型:RestTestGen,RESTler,bBOXRT和RESTest。我们使用这些工具为14个真实的REST服务生成测试用例。然后,从鲁棒性(即,成功率)和测试覆盖率。在考虑的工具中,RESTler似乎是最可靠的,能够成功地测试所有案例研究(其他工具经历了崩溃)。相反,RestTestGen生成的测试用例覆盖率最高,这表明它的测试策略在测试REST API方面最有效。
2021-08-18 cs.SE
AI Writes Code, Humans Pay the Debt. An Empirical Study on the Sustainability and Evolution of Agent-Generated Code
University of Southern Denmark(南丹麦大学);University of Oulu(奥卢大学);University of Hawaii(夏威夷大学)
本研究通过SQuaD数据集对比智能体生成代码与开发者实际提交代码,探究智能体生成代码对软件质量、技术债务及演化的影响,为LLM智能体的负责任应用提供依据。
2026-09-07 cs.SE
WildCode Revisited: A Comprehensive Empirical Study on the Security of LLM-Generated Code
Sheridan College(谢里丹学院);Queen’s University(女王大学);Université du Québec en Outaouais (UQO)(魁北克大学瓦塔瓦校区);Concordia University(康科迪亚大学)
通过大规模实证分析真实场景下 ChatGPT 生成的代码,研究其正确性与安全性,并评估常见提示工程策略的有效性,发现 LLM 生成的代码在安全性方面经常不足。
2026-06-03 cs.CR cs.SE
An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation
代码库中有数百万个修复了许多bug的开源项目。可以利用软件开发历史的这种扩散来学习如何修复常见的编程错误。为了探索这种潜力,我们进行了一项实证研究,以评估使用神经机器翻译技术学习错误修复补丁的可行性。首先,我们从GitHub上托管的项目的更改历史中挖掘数百万个错误修复,以提取此类错误修复的有意义的示例。接着,我们抽象出错误代码和相应的固定代码,并使用它们来训练一个编码器-解码器模型,该模型能够将错误代码翻译成其固定版本。在我们的实证调查中,我们发现这样的模型能够在野外修复数千种独特的错误方法。总的来说,这个模型能够在9-50%的情况下预测开发人员生成的固定补丁,这取决于我们允许它生成的候选补丁的数量。此外,该模型能够模拟各种不同的抽象树操作,并在一瞬间生成候选补丁。
2019-05-21 cs.SE
AI builds, We Analyze: An Empirical Study of AI-Generated Build Code Quality
University of Michigan-Deaborn(密歇根大学迪尔伯恩分校);University of Michigan-Flint(密歇根大学弗林特分校)
本研究通过分析AI生成的构建代码质量,探讨其在构建系统中的影响,并发现AI生成代码既可能引入质量问题,也部分消除了现有问题,同时大部分代理提交被开发者接受。
2026-01-23 cs.SE
Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study
Norwegian University of Science and Technology(挪威科学技术大学)
本文通过实证研究探讨了大型语言模型在单元测试生成中的参数高效微调方法,发现LoRA在某些情况下性能可与全量微调媲美,提示微调在成本效益上表现最佳。
2025-11-23 cs.AI cs.LG cs.SE
An Empirical Study of Security Calibration in Large Language Models for Code
University of Notre Dame(圣母大学);Brac University(布拉卡大学)
本文首次大规模实证研究LLM生成代码的安全校准,发现过度自信普遍存在,安全校准优于功能校准,且校准引导的自动修复效果有限。
2026-07-01 cs.CR cs.LG cs.SE
Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild
Adelaide University(阿德莱德大学);University of Victoria(维多利亚大学);Huazhong University of Science and Technology(华中科技大学);Singapore Management University(新加坡管理大学)
本文研究了AI生成代码在真实软件项目中的技术债务影响,发现代码异味是最常见的问题,且部分问题长期存在,凸显了AI辅助开发中质量保障的必要性。
2026-10-13 cs.SE
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性,发现仅68.3%的项目能在干净环境中成功执行,且不同语言存在显著差异,同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
Detect--Repair--Verify for LLM-Generated Code: A Multi-Language, Multi-Granularity Empirical Study
Concordia University(麦科德大学)
本文通过检测-修复-验证工作流评估LLM生成代码的安全性,发现多阶段修复能提升安全性和正确性,但修复可靠性依赖于修复范围和测试基础。
2026-03-24 cs.SE
Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study
Software Engineering Research Centre IIIT Hyderabad(印度理工学院海得拉巴分校软件工程研究中心);Language Technologies Research Centre IIIT Hyderabad(印度理工学院海得拉巴分校语言技术研究中心)
本文实证评估 GPT 与 T5 类 LLM 基于决策背景生成 ADR 决策的能力,发现零样本、少样本和微调方案均有效但尚未达到人类水平。
2024-03-04 cs.AI cs.LG cs.SE
Detect Repair Verify for Securing LLM Generated Code: A Multi-Language Empirical Study
Concordia University(康考迪亚大学)
本文通过多语言实证研究,提出了一种用于确保LLM生成代码安全的检测-修复-验证流程,并构建了新的基准数据集以评估不同修复方法的有效性。
2026-03-01 cs.SE
Is this Snippet Written by ChatGPT? An Empirical Study with a CodeBERT-Based Classifier
本文提出基于 CodeBERT 的 GPTSniffer 方法,用于检测 ChatGPT 生成的代码片段,并通过实证研究证明其分类准确率优于 GPTZero 和 OpenAI Text Classifier,同时分析了训练数据相似性与成对代码片段上下文对分类性能的提升作用。
2023-08-07 cs.SE
Can GPT-4 Replicate Empirical Software Engineering Research?
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本研究探究GPT-4复现实证软件工程研究的能力,通过7篇论文的测试与14名专家的评估,发现其能挖掘正确假设、生成逻辑正确的高层代码,但存在常识假设缺失和底层实现错误的问题。
2024-06-19 cs.AI cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
Factors Influencing the Quality of AI-Generated Code: A Synthesis of Empirical Evidence
Queen’s University Belfast(贝尔法斯特女王大学);Azerbaijan Technical University(阿塞拜疆技术大学);MilliSoft MMC Corporation(MilliSoft MMC公司);Bilkent University(比尔肯特大学)
本研究综合现有经验证据,分析影响人工智能生成源代码质量的因素,并探讨这些因素在不同评估情境下的影响。
2026-03-26 cs.AI cs.SE
An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code
Texas A&M University–San Antonio(德克萨斯农工大学圣安东尼奥分校)
本文评估了三种LLM生成的加密Rust代码的安全性,发现通用工具不足,提示策略对结果影响显著,且存在nonce重用等系统性问题。
2026-04-29 cs.CR cs.SE
On Codex Prompt Engineering for OCL Generation: An Empirical Study
Polytechnique Montréal(蒙特利尔综合理工学院)
对象约束语言(OCL)是一种声明性语言,它向MOF模型添加约束和对象查询表达式。尽管OCL有潜力为UML模型提供精确性和简洁性,但OCL不熟悉的语法阻碍了它的采用。LLM的最新进展,如GPT-3,已经在许多NLP任务中显示了它们的能力,包括语义解析和文本生成。Codex是GPT-3的后代,已经在GitHub的公开代码上进行了微调,可以用许多程序设计语言生成代码。我们调查的可靠性OCL约束产生的Codex从自然语言规范。为了实现这一点,我们编译了一个包含15个UML模型和168个规范的数据集,并制作了一个提示模板,其中包含用于填充UML信息和目标任务的插槽,使用零次学习和少样本学习方法。通过测量生成的OCL约束的语法有效性和执行准确性度量,我们发现,丰富的提示与UML信息和启用少样本学习增加了生成的OCL约束的可靠性。此外,结果揭示了基于句子嵌入之间的生成的OCL约束和人类书面的地面真理,这意味着一个层次的清晰度和可理解性,在生成的OCL约束的Codex。
2023-03-28 cs.AI cs.SE
Understanding Specification-Driven Code Generation with LLMs: An Empirical Study Design
Escuela de Ingeniería de Fuenlabrada, Universidad Rey Juan Carlos(雷乌斯·胡安·卡洛斯大学富恩拉布拉达工程学院)
本文通过实证研究设计,探讨人类干预在基于规范的LLM代码生成过程中对代码质量和动态的影响。
2026-01-07 cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Prompt Structure Redistributes, Not Reduces: An Empirical Analysis of Security-Weaknesses in LLM-Generated Python Code
Toronto Metropolitan University(多伦多都会大学);Colorado State University(科罗拉多州立大学)
该研究通过424个安全敏感Python任务,对比GPT-4o与LLaMA 3.1-8B在5种提示变体下的代码生成效果,发现结构化提示可提升合规性但会重新分布安全风险,无法替代稳健安全控制。
2026-08-26 cs.CR cs.SE
Do Prompt Patterns Affect Code Quality? A First Empirical Assessment of ChatGPT-Generated Code
University of Salerno(萨勒诺大学)
本文通过Dev-GPT数据集实证评估提示模式对ChatGPT生成代码质量的影响,发现零样本提示最常见,且不同提示模式对代码可维护性、安全性和可靠性无显著影响。
2025-04-18 cs.AI cs.SE
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
LLMs for Generation of Architectural Components: An Exploratory Empirical Study in the Serverless World
本文通过遮蔽开源serverless函数并利用LLMs在不同上下文信息条件下生成该函数,探索了LLMs自动生成FaaS架构组件的能力,并评估了正确性、代码质量及与人类代码的相似度。
2025-02-04 cs.SE
Search Budget in Multi-Objective Refactoring Optimization: a Model-Based Empirical Study
该研究针对多目标软件模型重构优化中搜索预算(时间限制)的影响展开实证,通过两个不同案例测试三种遗传算法,发现预算限制会降低解质量,且算法选择对结果有关键作用。
2022-12-16 cs.SE
Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety
Department of Construction Management, Colorado State University(科罗拉多州立大学建设管理系)
研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度,发现用户角色与数据幻觉存在显著关系,且存在高达45%的静默故障率。
2026-04-26 cs.AI cs.HC cs.SE
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段,实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布,并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
Explanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study
Technical University of Munich(慕尼黑工业大学);fortiss(福蒂斯研究所)
本文通过在三个数据集、四种模型架构下的20种配置开展实证研究,发现解释引导式变异测试生成的经验证故障诱导测试用例是启发式变异策略的2.30倍,可有效评估专用语言模型的鲁棒性。
2026-08-10 cs.SE
From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests
Kennesaw State University(肯尼索州立大学);Quanta Technology(夸塔技术)
本文通过分析代码审查代理(CRAs)在拉取请求中的表现,探讨其对合并成功率的影响,发现CRAs生成的反馈质量与PR废弃率密切相关,需人类监督以提高代码审查效果。
2026-04-03 cs.SE
On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Queen’s University(女王大学)
本文研究了GitHub上代理编码生成的拉取请求的接受情况,发现83.8%的PR被合并,其中54.9%无需修改,剩余需人类修订。
2026-02-09 cs.SE
An Empirical Study on Commit Message Generation using LLMs via In-Context Learning
本研究通过实证方法探索利用大语言模型和上下文学习生成提交信息,验证其优于现有方法并具备更强泛化能力,为相关研究提供方向。
2025-02-26 cs.SE
When LLMs Invent Rust Crates: An Empirical Study of Hallucination Patterns and Mitigation
Southern University of Science and Technology(南方科技大学);Nankai University(南开大学)
本研究首次大规模实证分析LLM生成Rust代码中的包幻觉问题,发现不同模型幻觉率惊人一致且对参数不敏感,并探索了提示工程缓解策略。
2026-08-17 cs.SE
Is Quantization a Deal-breaker? Empirical Insights from Large Code Models
本研究通过将AWQ量化技术应用于CodeLlama和DeepSeekCoder生成Java与Python代码,并利用静态分析工具评估圈复杂度等指标,发现量化不仅保持功能正确性,还保留了可维护性等关键代码质量属性。
2025-07-13 cs.SE