LLM-based Control Code Generation using Image Recognition
提出一种基于LLM图像识别的控制代码生成方法，从P&ID图生成IEC 61131-3结构化文本，经三个工业案例验证可行性。
2023-11-17 cs.SE
AixBench: A Code Generation Benchmark Dataset
我们提出了一个基准数据集评估方法级代码生成任务。该基准包含用于自动评估的175个样本的数据集和用于手动评估的161个样本的数据集。我们还提出了一个新的度量自动评估生成的代码的正确性，和一组标准手动评估生成的代码的整体质量。
2022-07-21 cs.SE
Beyond Code Generation: Assessing Code LLM Maturity with Postconditions
本文提出基于后置条件生成的代码LLM成熟度模型，扩展EvalPlus为测试基准，评估开源模型，揭示改进方向。
2024-07-19 cs.SE
A Survey on Evaluating Large Language Models in Code Generation Tasks
本文综述了评估大型语言模型在代码生成任务中的方法和指标，涵盖代码正确性、效率等多维度评估及基准数据集分析，并指出现有局限与未来改进方向，为优化LLMs应用提供见解。
2025-03-04 cs.SE
Codexity: Secure AI-assisted Code Generation
本文提出集成五个LLM并利用静态分析工具反馈的代码生成框架Codexity，在751个真实漏洞样本上可防止60%的漏洞暴露给开发者。
2024-05-07 cs.SE
When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention
针对 Code LLMs 代码生成中持续产生多余 token 导致的效率问题，提出推理加速方法 CodeFast，通过训练轻量级模型 GenGuard 预测并适时终止多余推理，在不损害代码质量的前提下将推理速度提升 34% 至 452%。
2024-07-29 cs.SE
Assessing AI-Based Code Assistants in Method Generation Tasks
本研究在方法生成任务中比较了GitHub Copilot、Tabnine、ChatGPT和Google Bard四款基于AI的代码助手，发现它们具备互补能力且有用，但很少生成可直接使用的正确代码。
2024-02-14 cs.SE
Selecting Source Code Generation Tools Based on Bandit Algorithms
针对代码生成工具预分析成本高、选到低效工具风险大的问题，提出基于老虎机算法的在线优化选择方法，通过开发过程中积累的评估结果动态选优，实验验证了其可行性与有效性。
2023-12-20 cs.SE
Fine-grained Pseudo-code Generation Method via Code Feature Extraction and Transformer
用自然语言编写的伪代码有助于初学者对程序的理解。然而，编写这样的伪代码是费时费力的。本文在序列到序列学习和代码语义学习的基础上，提出了一种基于代码特征提取和Transformer的深度伪代码生成方法DeepPseudo。特别地，DeepPseudo利用Transformer编码器对源代码进行编码，然后使用代码特征提取器来学习局部特征的知识。最后利用伪代码生成器进行解码，生成相应的伪代码。我们选择两个语料库（即，Django和Sunday）从现实世界的大型项目作为我们的经验科目。我们首先在四个性能指标方面将DeepPseudo与来自伪代码生成和神经机器翻译领域的七个最先进的基线进行比较。结果显示了DeepPseudo的竞争力。此外，我们还分析了DeepPseudo中组件设置的合理性。
2021-09-21 cs.SE
The Good, the Bad, and the Missing: Neural Code Generation for Machine Learning Tasks
本文系统评估了六种神经代码生成模型在四类ML库上83K个任务中的表现，发现其在ML任务上优于非ML任务但生成代码语义错误多，并提出将分治式代码生成分解为API序列识别与API使用生成两个子任务。
2023-05-16 cs.SE
COFFE: A Code Efficiency Benchmark for Code Generation
本文提出代码效率基准COFFE，通过压力测试用例和基于CPU指令计数的efficienct@k指标，系统评估大语言模型生成代码的时间效率，并基于14个模型的实验结果给出研究与实践启示。
2025-02-05 cs.SE
Generation of Pseudo Code from the Python Source Code using Rule-Based Machine Translation
伪代码是理解复杂程序代码的重要工具之一。由于编写伪代码的过程非常耗时，大部分源代码仍然没有等效的伪代码。在这项工作中，我们开发了一种方法来生成伪代码从Python源代码。在第一步中，我们将python代码转换为XML代码，以更好地进行代码信息抽取。接下来，从XML代码中提取重要信息，这些信息后来在伪代码模板的帮助下用于生成实际的伪代码。初步的性能结果进行了讨论。
2019-07-24 cs.SE
Knowledge-Guided Multi-Agent Framework for Application-Level Software Code Generation
NanyangTechnological University（南洋理工大学）；Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
本文提出知识引导的多智能体框架KGACG，通过代码组织、编码与测试智能体的闭环协作，将需求规格和架构设计转化为可执行代码，提升应用级软件生成的自动化水平。
2025-10-22 cs.SE
CodeAgent: Enhancing Code Generation with Tool-Integrated Agent Systems for Real-World Repo-level Coding Challenges
本文提出 CodeAgent 框架，通过集成五种编程工具和四种智能体策略，显著提升 LLM 在真实仓库级代码生成任务中的表现，并在 CodeAgentBench 基准上实现 18.1% 至 250% 的性能改进。
2024-08-09 cs.SE
Smoke and Mirrors: Jailbreaking LLM-based Code Generation via Implicit Malicious Prompts
针对大语言模型代码生成的安全防护漏洞，提出CodeJailbreaker越狱方法，通过提交信息隐式编码恶意意图绕过防护，在RMCBench基准上的攻击效果远超传统显式恶意提示策略，凸显强化隐式恶意提示防御的必要性。
2025-03-23 cs.SE
Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs
针对较小模型代码生成推理能力不足的问题，提出 CodePLAN 框架，通过多任务学习和逆向推理等蒸馏策略转移 LLMs 的推理能力，在 APPS 基准上 pass@1 性能提升超 130%。
2024-03-20 cs.SE
COCO: Testing Code Generation Systems via Concretized Instructions
针对代码生成系统的鲁棒性问题，本研究提出COCO技术，通过生成含原始代码特征的具体化指令检测不一致，实验证明其效果远超现有通用测试技术，且生成的指令可通过微调提升系统鲁棒性。
2023-08-25 cs.SE
MRCoder: An Efficient Context Selecting Approach for Repository-Level Code Generation
Beihang University（北京航空航天大学）
MRCoder是一种基于Map-Reduce范式的仓库级代码生成上下文选择框架，通过SADGS策略和并行验证，在提升代码生成准确率的同时降低了token消耗与推理时间。
2026-07-30 cs.SE
Towards Understanding the Characteristics of Code Generation Errors Made by Large Language Models
为填补对大型语言模型（LLMs）代码生成错误理解的空白，本研究在HumanEval数据集上分析六个代表性LLMs的错误，提炼分类体系并探究其与任务复杂度等的关联，揭示挑战并提出未来方向。
2025-02-12 cs.SE
CodeGen-Test: An Automatic Code Generation Model Integrating Program Test Information
自动代码生成是根据给定的自然语言描述生成程序代码。目前主流的方法是利用神经网络对自然语言描述进行编码，在解码器输出抽象语法树（AST），然后将AST转换为程序代码。虽然生成的代码在很大程度上符合特定的语法规则，但仍然忽略了两个问题。一个是缺少程序测试，这是完整代码实现过程中必不可少的一步;另一个是只关注生成代码的语法符合性，而忽略了更重要的程序功能需求。提出了一种CodeGen-Test模型，通过增加程序测试步骤，结合程序测试信息，迭代生成满足程序功能需求的代码，从而提高了代码生成的质量。同时，本文提出了一种新的评价指标--测试准确度（Test-Acc），它表示通过测试的程序在生成代码中所占的比例。与以往的评价指标仅从字符相似度的角度评价代码生成的质量不同，Test-Acc可以从Program函数的角度评价代码生成的质量。此外，本文评估的CodeGen测试模型上的Python数据集“炉石传说”。实验结果表明，该方法能有效提高生成代码的质量。与已有的优化模型相比，CodeGen-Test模型的Bleu值提高了0.2%，Rouge-L值提高了0.3%，Test-Acc值提高了6%。
2022-02-14 cs.SE
Self-planning Code Generation with Large Language Models
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education（教育部高可信软件技术重点实验室）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出 LLM 自规划代码生成方法，通过先制定格式化规划、再逐步实现代码，显著提升复杂意图下的 Pass@1 表现与代码质量。
2025-10-20 cs.SE
One-off Events? An Empirical Study of Hackathon Code Creation and Reuse
背景：黑客松已经成为团队合作项目和开发软件原型的热门活动。大多数现有的研究集中在事件期间的活动，对黑客代码的演变关注有限。目的：我们的目标是了解在黑客攻击事件中使用和创建的代码的演变，特别关注代码blob，具体来说，黑客攻击团队重用已有代码的频率，他们开发了多少新代码，如果代码在之后被重用，以及影响重用的因素。方法：我们从DevPost收集了22，183个黑客项目的信息，并从World of Code获得了相关的代码blob、作者、项目特征、原作者、代码创建时间、语言和大小信息。我们通过识别所有包含在黑客马拉松期间创建的blob的提交并识别所有包含这些提交的项目来跟踪代码blob的重用。我们还进行了一系列的调查，以更深入地了解黑客代码的演变，我们发送给黑客参与者的代码被重用，其代码没有被重用，以及重用一些黑客代码的开发人员。测试结果：在hacksons仓库中，9.14%的代码blob和8%的代码行（codelines）是在hacksons中创建的，大约三分之一的hacksons代码在其他项目中被blob和codelines重用。相关技术的数量和黑客松参与者的数量增加了重用概率。结论：我们的研究结果表明，黑客马拉松并不总是像常识所指示的那样是“一次性”的事件，它们可以作为这一领域进一步研究的起点。
2022-07-03 cs.CY cs.SE
LLM-Empowered Event-Chain Driven Code Generation for ADAS in SDV systems
Federal Ministry of Research, Technology and Space of Germany（德国联邦研究、技术和空间部）
本文提出基于事件链驱动和大语言模型的ADAS代码生成方法，通过RAG层提高代码生成的准确性和一致性，无需重新训练大语言模型。
2025-11-26 cs.AI cs.SE
Composition: Building Community with Arts, Math, and Code (Experience Report)
University of Pennsylvania（宾夕法尼亚大学）
本文报告了免费系列活动Composition（艺术、数学与代码）的活动结构、艺术家筛选、推广策略及社区反响，旨在通过跨学科活动构建社区。
2026-06-23 cs.MM cs.SE
CodeFort: Robust Training for Code Generation Models
AWS AI Labs
针对代码生成模型抗扰动鲁棒性不足的问题，提出支持多种扰动泛化与鲁棒训练策略的CodeFort框架，显著提升了基线模型的鲁棒通过率并降低鲁棒性下降率。
2024-10-28 cs.AI cs.SE
Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning
NVIDIA（英伟达）
本文针对代码 LLM 合成训练数据冗余问题，提出结合聚类与剪枝指标的数据筛选方法，仅用 10% 数据即可保持基准性能，适度剪枝还能提升生成质量并降低计算开销。
2024-07-06 cs.LG cs.SE
Retrieval Augmented Code Generation and Summarization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Columbia University（哥伦比亚大学）
软件开发人员在软件开发过程中编写了大量的源代码和文档。本质上，开发人员经常回忆他们过去在实现软件或编写文档时编写的部分源代码或代码摘要。为了模仿开发人员的代码或摘要生成行为，我们提出了一个检索增强框架，REDCODER，检索相关的代码或摘要从检索数据库，并提供它们作为补充代码生成或摘要模型。Redcoder有几个独特之处。首先，它扩展了最先进的稠密检索技术，以搜索相关代码或摘要。其次，它可以与包括单峰（仅代码或自然语言描述）或双峰实例（代码描述对）的检索数据库一起工作。我们进行了实验和广泛的分析，在Java和Python的代码生成和摘要的两个基准数据集，和有前途的结果认可我们提出的检索增强框架的有效性。
2021-09-10 cs.CL cs.SE
Incorporating Domain Knowledge through Task Augmentation for Front-End JavaScript Code Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
代码生成的目的是从自然语言描述中自动生成代码片段。通常，主流的代码生成方法依赖于大量成对的训练数据，包括自然语言描述和代码。然而，在某些特定领域的场景中，构建如此大的用于代码生成的配对语料库是困难的，因为没有直接可用的配对数据，并且需要大量的努力来手动编写代码描述以构建高质量的训练数据集。由于有限的训练数据，生成模型不能很好地训练，并且很可能是过拟合的，使得模型的性能对于现实世界的使用不令人满意。为此，在本文中，我们提出了一种任务增强方法，将领域知识纳入代码生成模型，通过辅助任务和Subtoken-TranX模型，通过扩展原始的TranX模型，以支持subtoken级代码生成。为了验证我们提出的方法，我们收集了一个真实的代码生成数据集并进行了实验，实验结果表明，在我们的数据集上，Subtoken-TranX模型的性能优于原始的TranX模型和Transformer模型，在我们的任务增强方法的帮助下，Subtoken-TranX的精确匹配准确率显著提高了12.75%。模型在多个代码类别上的性能满足工业系统应用的要求。我们提出的方法已被阿里巴巴的BizCook平台采用。据我们所知，这是工业开发环境中采用的第一个域代码生成系统。
2022-08-23 cs.AI cs.SE
Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback
Huazhong University of Science and Technology（华中科技大学）；University of Leeds（利兹大学）；Chongqing University（重庆大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出CoCoGen方法，通过编译器反馈和静态分析迭代修复LLM生成代码中的项目上下文不匹配问题，在Python代码生成中将GPT-3.5-Turbo和Code Llama的性能提升超过80%，并优于现有检索式基线。
2024-06-11 cs.CL cs.SE
Flow2Code: Evaluating Large Language Models for Flowchart-based Code Generation Capability
East China Normal University（华东师范大学）；Shanghai AI Lab（上海人工智能实验室）；Beihang University（北航大学）
本文提出 Flow2Code 基准，覆盖 15 种语言、5,622 个代码片段和 16,866 个流程图，通过 13 个多模态大语言模型实验揭示现有模型在流程图代码生成上的不足，并验证监督微调的有效性。
2025-06-02 cs.AI cs.SE
JuICe: A Large Scale Distantly Supervised Dataset for Open Domain Context-based Code Generation
Paul G. Allen School of Computer Science and Engineering, Univ. of Washington（华盛顿大学保罗 G. 艾伦计算机科学与工程学院）
使用交错代码段单元格和自然语言标记的交互式编程最近以Quixyter笔记本的形式越来越受欢迎，这加速了原型设计和协作。为了研究代码生成的条件下，一个漫长的上下文历史，我们提出了JuICe，语料库的150万个例子与策划的测试集的3.7K实例的基础上在线编程任务。与现有的上下文代码生成数据集相比，JuICe提供了精细的人工策划数据、开放域代码和多一个数量级的训练数据。使用JuICe，我们为两个任务训练模型：（1）在代码单元中生成API调用序列，以及（2）完整代码单元生成，两者都以特定代码单元的NL代码历史为条件。使用当前基线代码生成模型的实验表明，上下文和远程监督都有助于生成，并且数据集对当前系统具有挑战性。
2019-10-09 cs.CL cs.LG cs.SE
Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications
School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院）
本综述系统梳理了大型语言模型在代码生成任务中的挑战、微调技术、评估基准及实际应用，旨在帮助研究者全面理解当前最先进技术并有效利用 LLMs。
2025-04-02 cs.LG cs.SE
Code Generation Tools (Almost) for Free? A Study of Few-Shot, Pre-Trained Language Models on Code
University of Stuttgart（斯图加特大学）；Federal University of Pernambuco（伯南布哥联邦大学）
使用大规模预训练的语言模型进行少样本学习是回答有关代码问题的强大方法，例如，如何完成给定的代码示例，甚至从头开始生成代码段。这些模型的成功提出了一个问题，即它们是否可以作为构建广泛的代码生成工具的基础。传统上，这些工具是为每个任务单独手动构建的。相反，少样本学习可以允许通过简单地提供预期工具行为的几个示例或自然语言描述来从单个预训练的语言模型获得不同的工具。本文研究在何种程度上的国家的最先进的，预先训练的语言模型的代码，法典，可以服务于这一目的。我们考虑三个代码操作和代码生成任务的目标范围内的传统工具：（i）代码突变;（ii）测试甲骨文生成自然语言文档;（iii）测试用例生成。对于每个任务，我们将少样本学习与手动构建的工具进行比较。我们的研究结果表明，基于模型的工具的补充（代码突变），在标准杆（测试预言生成），甚至优于各自的传统构建的工具（测试用例生成），而施加更少的努力来开发它们。通过比较基于模型的工具的不同变体的有效性，我们提供了关于如何为模型设计适当的输入（“提示”）以及模型的大小有什么影响的见解。例如，我们发现为代码生成任务提供一个小的自然语言描述是一种改进预测的简单方法。总的来说，我们得出的结论是，Few-Shot语言模型是令人惊讶的有效，但还有更多的工作要做，如探索更多样化的方式来提示和处理更复杂的任务。
2022-06-12 cs.LG cs.SE
DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
Columbia University（哥伦比亚大学）；Barnard College（巴纳德学院）
本研究提出DivAlgo基准与轻量相似度指标，评估24种代码生成模型的算法多样性，发现其多样性远低于人类解决方案，过度接触模型生成代码会限制程序员的算法词汇量。
2026-10-15 cs.CL cs.SE
Generation-Augmented Query Expansion For Code Retrieval
Kent State University（肯特州立大学）；Microsoft（微软）；Georgia Institute of Technology（佐治亚理工学院）
预先训练的语言模型在代码检索任务中取得了很大的成功，其中给出了自然语言文档查询以找到最相关的现有代码片段。然而，现有的模型只关注优化的文档代码对嵌入到潜在的空间，没有外部知识的关联。在本文中，我们提出了一个生成增强的查询扩展框架。受人类检索过程的启发--在搜索之前先勾画出答案，在这项工作中，我们利用强大的代码生成模型来帮助代码检索任务。具体来说，我们证明了，而不是仅仅根据文档查询检索目标代码片段，这将是有帮助的，以增加其生成对应的文档查询-从代码生成模型生成的代码片段。据我们所知，这是第一次尝试利用代码生成模型来增强代码检索任务。我们在CodeSearchNet基准测试中取得了新的最先进的结果，并大大超过了基线。
2022-12-20 cs.AI cs.CL cs.SE
See-Saw Generative Mechanism for Scalable Recursive Code Generation with Generative AI
IBM Client Innovation Center（IBM客户创新中心）
本文提出See-Saw生成机制，通过在主代码更新与依赖生成间交替进行并动态优化token使用，解决了生成式AI在复杂大规模代码项目中的token限制与依赖管理问题，实现了可扩展且高效的递归代码生成。
2024-11-16 cs.AI cs.LG cs.SE
CoreGen: Contextualized Code Representation Learning for Commit Message Generation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong（香港中文大学）；Sun Yat-Sen University（中山大学）；Nanyang Technological University（南洋理工大学）
为代码提交自动生成高质量的提交消息可以大大方便软件开发人员的工作和协调。然而，源代码和自然语言之间的语义鸿沟给这项任务带来了重大挑战。已经提出了一些研究来减轻挑战，但没有明确涉及提交消息生成过程中的代码上下文信息。具体来说，现有的研究采用静态嵌入代码令牌，它将令牌映射到相同的向量，而不管其上下文。在本文中，我们提出了一种新的上下文代码表示学习策略的提交消息生成（CoreGen）。CoreGen首先学习利用代码提交序列背后的上下文信息的上下文化代码表示。在Transformer上构建的代码提交的学习表示然后被微调以用于下游提交消息生成。在基准数据集上的实验表明，我们的模型在BLEU-4评分方面至少提高了28.18%，优于基线模型。此外，我们还强调了未来的机会，在更大的代码语料库作为解决方案，以低资源的任务和适应上下文的代码表示框架，以其他代码到文本生成任务训练上下文的代码表示。
2021-06-21 cs.CL cs.LG cs.SE
A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models
University of Manitoba（曼尼托巴大学）；Concordia University（康考迪亚大学）；Queen’s University（女王大学）
提出AutoAPIEval框架，系统评估LLM在面向API代码生成中的API推荐和代码示例生成能力，发现不同模型表现差异并验证检索增强生成的提升作用。
2024-09-26 cs.AI cs.LG cs.SE
Semantically Aligned Question and Code Generation for Automated Insight Generation
Microsoft（微软公司）
本文提出利用大语言模型同时生成数据问题与对应代码，并通过嵌入过滤语义未对齐的问题-代码对，从而提升自动洞察生成的准确性与问题多样性。
2024-03-21 cs.AI cs.CL cs.SE
Chain-of-Programming (CoP) : Empowering Large Language Models for Geospatial Code Generation
Wuhan University（武汉大学）
针对大语言模型在地理空间代码生成中因需求不清和语法知识不足导致的代码幻觉问题，提出编程链（CoP）框架，通过五步分解及知识库检索等机制实现免微调的端到端生成，显著提升了代码质量并验证了其优越性。
2024-11-16 cs.AI cs.CL cs.SE
GAP-Gen: Guided Automatic Python Code Generation
University of California, Irvine（加州大学欧文分校）
提出GAP-Gen方法，通过Syntax-Flow和Variable-Flow引入Python语法与语义约束，改进微调过程，在多个数据集上微调T5和CodeT5，显著提升自动Python代码生成性能。
2023-05-10 cs.CL cs.LG cs.PL
