Revisiting Feedback-Driven LLM Code Repair: A Replication and Exploratory Java Extension
Polytechnique Montréal(蒙特利尔高等理工学院)
该研究复现了FeedbackEval基准的Python代码修复实验,扩展构建了Java代码修复基准,发现Python与Java场景下反馈有效性排名存在差异,提示需开展更严谨的多语言评估。
2026-09-02 cs.SE
Automatic Program Repair with OpenAI's Codex: Evaluating QuixBugs
OpenAI的Codex是一个在大型代码语料库上训练的类似GPT-3的模型,已经成为学术界内外的头条新闻。给定用户提供的简短描述,它能够合成在大多数情况下语法和语义上有效的代码段。在这项工作中,我们要调查法典是否能够本地化和修复错误,在自动程序修复领域的中心感兴趣的任务。我们的初始评估使用多语言菜Bugs基准测试(Python和Java中有40个bug)。我们发现,尽管没有接受过APR培训,Codex是令人惊讶的有效,并与最近的最先进的技术竞争。我们的研究结果还表明,Codex在修复Python方面比Java稍微成功一些。
2021-11-06 cs.SE
Large Language Models for Secure Code Assessment: A Multi-Language Empirical Study
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司)
本文研究了多语言环境下大型语言模型在安全代码评估中的有效性,通过实验发现GPT-4o在漏洞检测和CWE分类中表现最佳,并开发了CODEGUARDIAN工具提升开发人员的漏洞检测效率。
2026-02-17 cs.CR cs.SE
Coding by Design: GPT-4 empowers Agile Model Driven Development
Honda Research Institute Europe(本田欧洲研究所)
针对大语言模型从自然语言生成代码存在模糊性的问题,提出结合UML、OCL和FIPA本体的敏捷MDD方法,借助GPT-4实现跨语言代码自动生成,验证了生成代码的行为一致性与结构可控性。
2023-10-06 cs.AI cs.FL cs.MA
Are Sparse Autoencoders Useful for Java Function Bug Detection?
本文探讨了稀疏自编码器在Java函数Bug检测中的有效性,通过GPT-2 Small和Gemma 2B的表示进行评估,发现SAE衍生特征在无需微调的情况下可达到89%的F1分数,优于传统基线模型。
2026-04-08 cs.AI cs.LG cs.SE
Unit Test Case Generation with Transformers and Focal Context
Microsoft(微软)
自动化的单元测试用例生成工具促进了测试驱动的开发,并通过建议旨在识别代码中缺陷的测试来支持开发人员。现有的方法通常由测试覆盖标准指导,生成的合成测试用例通常难以为开发人员阅读或理解。在本文中,我们提出了AthenaTest,一种方法,旨在通过学习现实世界的焦点方法和开发人员编写的测试用例生成单元测试的情况下。我们制定单元测试的情况下,生成一个序列到序列的学习任务,采用两步的训练过程,包括去噪预训练的大型无监督Java语料库,和监督微调的下游翻译任务生成单元测试。我们研究了自然语言和源代码预训练的影响,以及焦点方法周围的焦点上下文信息。这两种技术在验证损失方面都有改进,预训练产生了25%的相对改进,焦点上下文提供了额外的11.1%的改进。我们还介绍了Methods 2 Test,这是Java中最大的单元测试用例方法和相应的焦点方法的公开监督并行语料库,其中包括从GitHub的91 K开源存储库中挖掘的780 K测试用例。我们评估了AthenaTest在五个defects 4j项目上的测试,仅用30次尝试就产生了25 K个通过测试的案例,覆盖了43.7%的焦点方法。我们执行测试用例,收集测试覆盖信息,并将它们与EvoSuite和GPT-3生成的测试用例进行比较,发现我们的方法优于GPT-3,并且具有可比的覆盖率。EvoSuite。最后,我们调查了专业开发人员在可读性,可理解性和测试有效…
2021-05-20 cs.CL cs.LG cs.SE
GPTCloneBench: A comprehensive benchmark of semantic clones and cross-language clones using GPT-3 model and SemanticCloneBench
针对现有代码克隆基准的不足,利用GPT-3和SemanticCloneBench构建了包含37,149个真实语义克隆对和20,770个跨语言克隆的大规模综合基准GPTCloneBench,显著提升了规模、功能示例和语言覆盖。
2023-09-01 cs.SE
Prompt Alchemy: Automatic Prompt Refinement for Enhancing Code Generation
本文提出自动提示词优化方法 Prochemy,通过基于模型表现的迭代改进与即插即用集成,提升 LLM 在代码生成和翻译任务上的一致性与性能。
2025-03-14 cs.SE
Can Large Language Models Find And Fix Vulnerable Software?
PeopleTec(皮奥泰克公司)
本研究评估GPT-4等大语言模型的软件漏洞检测修复能力,发现其检测量是传统工具四倍、修复使漏洞降90%且误报低,具备自我审计能力,为代码安全审计提供新方向。
2023-08-20 cs.LG cs.SE
Evaluating the Quality of Code Comments Generated by Large Language Models for Novice Programmers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估了GPT-4、GPT-3.5-Turbo和Llama2为新手程序员生成代码注释的教学质量,发现GPT-4在清晰度、概念阐释等方面与专家注释相当,且在复杂度讨论和对新手支持度上显著优于其他模型,突出了LLMs为新手生成定制化代码注释的潜力。
2024-09-22 cs.AI cs.HC cs.SE
Identifying Helpful Context for LLM-based Vulnerability Repair: A Preliminary Study
University of Szeged(塞格德大学);FrontEndART Ltd.(FrontEndART有限公司)
本研究探究不同上下文信息对GPT-4o修复Vul4J数据集中Java漏洞的影响,发现CVE信息结合人工代码上下文效果最优,集成Top-3提示词可将零样本修复率提升至62%。
2025-06-13 cs.AI cs.SE
Assessing GPT-4-Vision's Capabilities in UML-Based Code Generation
University of Szeged(塞格德大学)
本文评估了 GPT-4-Vision 将 UML 类图转换为 Java 代码的能力,发现其在单类图上表现优异,但在多类图上性能较弱,需进一步研究。
2024-04-22 cs.AI cs.PL cs.SE
Measuring Determinism in Large Language Models for Software Code Review
本研究通过控制温度为零并重复相同提示,测量了四个大型语言模型在代码审查中的一致性,发现即使温度为零,模型输出仍存在差异,强调了LLM固有的一致性问题及实际应用中的谨慎性。
2025-02-28 cs.SE
Perish or Flourish? A Holistic Evaluation of Large Language Models for Code Generation in Functional Programming
Hanoi University of Science and Technology(河内科学技术大学);The University of Melbourne(墨尔本大学)
本文提出FPEval框架,评估大型语言模型在函数式编程语言中的代码生成能力,发现模型性能随进步而提升,但纯函数式语言错误率较高,且生成代码风格问题。
2026-01-05 cs.AI cs.PL cs.SE
On Iterative Evaluation and Enhancement of Code Quality Using GPT-4o
JPMorgan Chase(摩根大通)
本文提出CodeQUEST框架,利用LLMs迭代评估和提升代码质量,通过评估器(多维度评估)和优化器(反馈驱动改进)组件,在Python/JavaScript数据集上实现52.6%的质量提升,验证了LLMs在自动化代码质量优化中的潜力。
2025-02-11 cs.AI cs.SE
Investigating the Efficacy of Large Language Models for Code Clone Detection
University of British Columbia(不列颠哥伦比亚大学)
本研究探索大语言模型在非生成式代码克隆检测任务中的适用性,基于CodeNet构建数据集测试ChatGPT的零样本检测效果,发现其跨语言表现超基线、单语言性能媲美微调模型,并分析了影响因素与未来方向。
2024-01-30 cs.AI cs.CL cs.LG
Large Language Model Evaluation Via Multi AI Agents: Preliminary results
Tampere University(坦佩雷大学);Jyväskylä University(于韦斯屈莱大学)
本文提出多AI代理模型评估不同LLM性能,通过代码检索与验证,初步结果显示GPT-3.5 Turbo表现更优,未来将引入MBPP基准提升评估精度。
2024-04-01 cs.SE
COBOL-Coder: Domain-Adapted Large Language Models for COBOL Code Generation and Translation
Concordia University(康科迪亚大学);FPT Software AI Center(FPT软件人工智能中心)
本文提出COBOL-Coder,一种专为COBOL设计的大型语言模型,通过自动化数据管道和领域适应技术,在代码生成与翻译任务中表现出色,优于现有模型。
2026-04-05 cs.PL cs.SE
Mutation-based Consistency Testing for Evaluating the Code Understanding Capability of LLMs
University of Sheffield(谢菲尔德大学)
本文提出基于变异的语义一致性测试方法MCT,通过向HumanEval-X数据集引入运算符替换和语句删除等代码变异来评估GPT-3.5和GPT-4的代码理解能力,发现不同模型在不同变异类型和编程语言上表现差异显著。
2024-01-11 cs.AI cs.SE
Evaluating Source Code Quality with Large Language Models: a comparative study
本文比较了GPT 3.5 Turbo和GPT 4o与SonarQube在Java开源项目代码质量评估上的表现,发现GPT 3.5 Turbo与Sonar度量相关但GPT 4o结果存在分歧,展示了LLM用于代码质量评估的潜力与局限。
2024-09-22 cs.SE
Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation
University of Bristol(布里斯托大学)
本文提出基于语义距离的不确定性估计方法,通过衡量生成程序执行行为的差异性,提升代码生成的正确性评估效果,在多个基准测试中优于现有方法。
2026-05-09 cs.SE
LLM as a code generator in Agile Model Driven Development
Honda Research Institute Europe(本田欧洲研究机构)
本文提出以GPT4为代码生成器的AMDD方法,结合UML、OCL与FIPA本体元模型降低歧义,并通过多智能体UVF系统验证生成Java/Python代码的行为一致性与可控复杂度。
2025-07-22 cs.AI cs.ET cs.RO
Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers
New York Institute of Technology(纽约理工学院)
本研究全面评估了ChatGPT、Gemini、AlphaCode和GitHub Copilot等AI编程助手在自然语言处理及Java、Python和C++代码生成上的表现,揭示了其优缺点并强调提升可靠性、准确率及伦理开发的必要性。
2024-11-14 cs.AI cs.SE
From What to How: Bridging User Requirements with Software Development Using Large Language Models
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology(香港科学大学);University of Science(科学大学)
本文提出DesBench基准测试,评估LLMs在软件设计相关任务中的表现,揭示LLMs在代码生成、面向对象建模及测试用例设计方面的局限性。
2026-02-14 cs.AI cs.SE
Resource-Efficient & Effective Code Summarization
本文研究 QLoRA 在代码摘要生成(Code-to-NL)任务中的适用性,通过在 Python 和 Java 上评估 CodeLlama 与 DeepSeek-Coder,证明 QLoRA 能实现代码语言模型的资源高效微调。
2025-02-05 cs.SE
Understanding the Effectiveness of LLMs in Automated Self-Admitted Technical Debt Repayment
针对大语言模型在自动偿还自承认技术债务领域研究不足的问题,构建了大规模多语言数据集与新型评估指标,对比评估了微调和提示工程两类方法的效果,为该领域研究提供了基准与参考。
2025-01-17 cs.SE
On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization
本文系统评估了LLM作为评判者在代码生成和代码摘要任务中的有效性,发现GPT-4-turbo表现最佳,但即使最优模型仍频繁误判代码正确性与摘要质量。
2025-07-22 cs.SE
Context-aware Code Summary Generation
针对现有LLM代码摘要仅关注局部代码、缺少函数存在原因及全局上下文作用的问题,提出含上下文的代码摘要方法,通过两步训练3.5亿参数本地模型,性能优于GPT-4。
2024-08-16 cs.SE
Can Large Language Models Generate Geospatial Code?
本文提出GeoCode-Eval框架和GeoCode-Bench基准数据集,系统评估LLMs在地理空间代码生成上的能力,并通过微调Code LLaMA-7B得到GEECode-GPT,证明领域数据集构建能显著提升代码生成效果。
2024-10-18 cs.SE
Using Large Language Models to Generate JUnit Tests: An Empirical Study
University of Notre Dame(圣母大学);Pennsylvania State University(宾夕法尼亚州立大学);IQVIA Inc.(艾昆纬公司);United International University(联合国际大学)
本研究实证评估了Codex、GPT-3.5-Turbo和StarCoder三个模型在Java单元测试生成中的表现,发现其在HumanEval上覆盖率较高但在EvoSuite SF110上极低,且生成的测试存在测试坏味。
2024-03-09 cs.LG cs.SE
Usability as a Weapon: Attacking the Safety of LLM-Based Code Generation via Usability Requirements
National Key Lab for Novel Software Technology, Nanjing University(南京大学的软件新技术国家重点实验室);Shandong University(山东大学);Nanyang Technological University(南洋理工大学)
研究通过可用性需求攻击LLM生成代码的安全性,提出U-SPLOIT框架,利用可用性压力导致安全约束被忽略,成功率达98.1%。
2026-05-11 cs.CR cs.SE
CODEMENV: Benchmarking Large Language Models on Code Migration
Provable Responsible AI and Data Analytics (PRADA) Lab(可证明责任人工智能与数据分析实验室);King Abdullah University of Science and Technology(国王 Abdullah 科学与技术大学);Peking University(北京大学);South China University of Technology(华南理工大学)
本文提出代码迁移基准 CODEMENV,含 922 个示例覆盖 19 个包和三项核心任务,评估七个 LLMs 后平均 pass@1 为 26.50%,并揭示其对版本适配与逻辑一致性的关键表现。
2025-06-01 cs.AI cs.CL cs.LG
Quantize with Confidence? An Empirical Study of Quantization for Code Generation
AURA Lab Department of Computer Science William \& Mary Williamsburg, VA, USA
研究在资源受限硬件上运行大型代码模型时,六种量化方法对代码质量的影响,用多基准评估功能正确性等指标,引入提示复杂性分析,揭示不同量化技术在正确性、代码质量及鲁棒性上的差异,为选择量化策略提供指导。
2026-07-17 cs.LG cs.PL cs.SE
Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality
University of Catania(卡塔尼亚大学);North Carolina State University(北卡罗来纳州立大学);University of Sannio(萨尼奥大学)
研究多语言提示对代码生成的影响,通过460个Python和Java编码任务,将英文提示翻译成多种语言并评估生成代码,发现英文提示非最佳,提示语言影响因编程语言和大语言模型而异,提供多语言基准测试及见解。
2026-07-17 cs.AI cs.SE
The Fault in our Stars: Quality Assessment of Code Generation Benchmarks
University of Notre Dame(圣母大学);University of Virginia(弗吉尼亚大学)
本文首次系统评估了9个代码生成基准中3,566条提示的质量问题,发现修复这些问题可提升Python代码生成性能但对Java不显著,并揭示了GPT-3.5-Turbo和CodeGen-2.5可能存在数据污染。
2024-09-04 cs.LG cs.SE