LogiDroid: Individual Functional Test Generation via Business Logic Extraction and Adaptation
Harbin Institute of Technology(哈尔滨工业大学);Key Lab of HCST (PKU), MOE(北京大学智能科学与技术系;教育部复杂系统管理与控制重点实验室);SCS, Peking University
LogiDroid通过业务逻辑提取与适应,实现上下文感知的功能测试生成,显著提升测试用例生成效率。
2026-07-15 cs.SE
LLM-based Control Code Generation using Image Recognition
提出一种基于LLM图像识别的控制代码生成方法,从P&ID图生成IEC 61131-3结构化文本,经三个工业案例验证可行性。
2023-11-17 cs.SE
AixBench: A Code Generation Benchmark Dataset
我们提出了一个基准数据集评估方法级代码生成任务。该基准包含用于自动评估的175个样本的数据集和用于手动评估的161个样本的数据集。我们还提出了一个新的度量自动评估生成的代码的正确性,和一组标准手动评估生成的代码的整体质量。
2022-07-21 cs.SE
Do Newer Models Produce Better Patches? A Non-Functional Quality Study
Linköping University(林雪平大学)
研究对比新旧模型在存储库级修复任务中生成补丁的非功能性质量,通过两个案例研究,用CodeQL等工具评估,发现新模型解决实例更多,但非功能性指标无一致改善,旨在推动对模型软件工程能力的全面评估。
2026-07-22 cs.SE
Beyond Code Generation: Assessing Code LLM Maturity with Postconditions
本文提出基于后置条件生成的代码LLM成熟度模型,扩展EvalPlus为测试基准,评估开源模型,揭示改进方向。
2024-07-19 cs.SE
A Survey on Evaluating Large Language Models in Code Generation Tasks
本文综述了评估大型语言模型在代码生成任务中的方法和指标,涵盖代码正确性、效率等多维度评估及基准数据集分析,并指出现有局限与未来改进方向,为优化LLMs应用提供见解。
2025-03-04 cs.SE
Codexity: Secure AI-assisted Code Generation
本文提出集成五个LLM并利用静态分析工具反馈的代码生成框架Codexity,在751个真实漏洞样本上可防止60%的漏洞暴露给开发者。
2024-05-07 cs.SE
When to Stop? Towards Efficient Code Generation in LLMs with Excess Token Prevention
针对 Code LLMs 代码生成中持续产生多余 token 导致的效率问题,提出推理加速方法 CodeFast,通过训练轻量级模型 GenGuard 预测并适时终止多余推理,在不损害代码质量的前提下将推理速度提升 34% 至 452%。
2024-07-29 cs.SE
Assessing AI-Based Code Assistants in Method Generation Tasks
本研究在方法生成任务中比较了GitHub Copilot、Tabnine、ChatGPT和Google Bard四款基于AI的代码助手,发现它们具备互补能力且有用,但很少生成可直接使用的正确代码。
2024-02-14 cs.SE
Selecting Source Code Generation Tools Based on Bandit Algorithms
针对代码生成工具预分析成本高、选到低效工具风险大的问题,提出基于老虎机算法的在线优化选择方法,通过开发过程中积累的评估结果动态选优,实验验证了其可行性与有效性。
2023-12-20 cs.SE
Fine-grained Pseudo-code Generation Method via Code Feature Extraction and Transformer
用自然语言编写的伪代码有助于初学者对程序的理解。然而,编写这样的伪代码是费时费力的。本文在序列到序列学习和代码语义学习的基础上,提出了一种基于代码特征提取和Transformer的深度伪代码生成方法DeepPseudo。特别地,DeepPseudo利用Transformer编码器对源代码进行编码,然后使用代码特征提取器来学习局部特征的知识。最后利用伪代码生成器进行解码,生成相应的伪代码。我们选择两个语料库(即,Django和Sunday)从现实世界的大型项目作为我们的经验科目。我们首先在四个性能指标方面将DeepPseudo与来自伪代码生成和神经机器翻译领域的七个最先进的基线进行比较。结果显示了DeepPseudo的竞争力。此外,我们还分析了DeepPseudo中组件设置的合理性。
2021-09-21 cs.SE
The Good, the Bad, and the Missing: Neural Code Generation for Machine Learning Tasks
本文系统评估了六种神经代码生成模型在四类ML库上83K个任务中的表现,发现其在ML任务上优于非ML任务但生成代码语义错误多,并提出将分治式代码生成分解为API序列识别与API使用生成两个子任务。
2023-05-16 cs.SE
COFFE: A Code Efficiency Benchmark for Code Generation
本文提出代码效率基准COFFE,通过压力测试用例和基于CPU指令计数的efficienct@k指标,系统评估大语言模型生成代码的时间效率,并基于14个模型的实验结果给出研究与实践启示。
2025-02-05 cs.SE
Generation of Pseudo Code from the Python Source Code using Rule-Based Machine Translation
伪代码是理解复杂程序代码的重要工具之一。由于编写伪代码的过程非常耗时,大部分源代码仍然没有等效的伪代码。在这项工作中,我们开发了一种方法来生成伪代码从Python源代码。在第一步中,我们将python代码转换为XML代码,以更好地进行代码信息抽取。接下来,从XML代码中提取重要信息,这些信息后来在伪代码模板的帮助下用于生成实际的伪代码。初步的性能结果进行了讨论。
2019-07-24 cs.SE
Knowledge-Guided Multi-Agent Framework for Application-Level Software Code Generation
NanyangTechnological University(南洋理工大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
本文提出知识引导的多智能体框架KGACG,通过代码组织、编码与测试智能体的闭环协作,将需求规格和架构设计转化为可执行代码,提升应用级软件生成的自动化水平。
2025-10-22 cs.SE
CodeAgent: Enhancing Code Generation with Tool-Integrated Agent Systems for Real-World Repo-level Coding Challenges
本文提出 CodeAgent 框架,通过集成五种编程工具和四种智能体策略,显著提升 LLM 在真实仓库级代码生成任务中的表现,并在 CodeAgentBench 基准上实现 18.1% 至 250% 的性能改进。
2024-08-09 cs.SE
Smoke and Mirrors: Jailbreaking LLM-based Code Generation via Implicit Malicious Prompts
针对大语言模型代码生成的安全防护漏洞,提出CodeJailbreaker越狱方法,通过提交信息隐式编码恶意意图绕过防护,在RMCBench基准上的攻击效果远超传统显式恶意提示策略,凸显强化隐式恶意提示防御的必要性。
2025-03-23 cs.SE
Enhancing Code Generation Performance of Smaller Models by Distilling the Reasoning Ability of LLMs
针对较小模型代码生成推理能力不足的问题,提出 CodePLAN 框架,通过多任务学习和逆向推理等蒸馏策略转移 LLMs 的推理能力,在 APPS 基准上 pass@1 性能提升超 130%。
2024-03-20 cs.SE
COCO: Testing Code Generation Systems via Concretized Instructions
针对代码生成系统的鲁棒性问题,本研究提出COCO技术,通过生成含原始代码特征的具体化指令检测不一致,实验证明其效果远超现有通用测试技术,且生成的指令可通过微调提升系统鲁棒性。
2023-08-25 cs.SE
CodeScore: Evaluating Code Generation by Learning Code Execution
本文提出基于大语言模型的代码评估指标CodeScore及统一学习框架UniCE,通过学习代码执行来评估生成代码的功能正确性,在三种输入格式上显著提升了与功能正确性的相关性。
2024-09-05 cs.SE
MRCoder: An Efficient Context Selecting Approach for Repository-Level Code Generation
Beihang University(北京航空航天大学)
MRCoder是一种基于Map-Reduce范式的仓库级代码生成上下文选择框架,通过SADGS策略和并行验证,在提升代码生成准确率的同时降低了token消耗与推理时间。
2026-07-30 cs.SE
Towards Understanding the Characteristics of Code Generation Errors Made by Large Language Models
为填补对大型语言模型(LLMs)代码生成错误理解的空白,本研究在HumanEval数据集上分析六个代表性LLMs的错误,提炼分类体系并探究其与任务复杂度等的关联,揭示挑战并提出未来方向。
2025-02-12 cs.SE
CodeGen-Test: An Automatic Code Generation Model Integrating Program Test Information
自动代码生成是根据给定的自然语言描述生成程序代码。目前主流的方法是利用神经网络对自然语言描述进行编码,在解码器输出抽象语法树(AST),然后将AST转换为程序代码。虽然生成的代码在很大程度上符合特定的语法规则,但仍然忽略了两个问题。一个是缺少程序测试,这是完整代码实现过程中必不可少的一步;另一个是只关注生成代码的语法符合性,而忽略了更重要的程序功能需求。提出了一种CodeGen-Test模型,通过增加程序测试步骤,结合程序测试信息,迭代生成满足程序功能需求的代码,从而提高了代码生成的质量。同时,本文提出了一种新的评价指标--测试准确度(Test-Acc),它表示通过测试的程序在生成代码中所占的比例。与以往的评价指标仅从字符相似度的角度评价代码生成的质量不同,Test-Acc可以从Program函数的角度评价代码生成的质量。此外,本文评估的CodeGen测试模型上的Python数据集“炉石传说”。实验结果表明,该方法能有效提高生成代码的质量。与已有的优化模型相比,CodeGen-Test模型的Bleu值提高了0.2%,Rouge-L值提高了0.3%,Test-Acc值提高了6%。
2022-02-14 cs.SE
Self-planning Code Generation with Large Language Models
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education(教育部高可信软件技术重点实验室);School of Computer Science, Peking University(北京大学计算机学院)
本文提出 LLM 自规划代码生成方法,通过先制定格式化规划、再逐步实现代码,显著提升复杂意图下的 Pass@1 表现与代码质量。
2025-10-20 cs.SE
Automatic Code Documentation Generation Using GPT-3
源代码文档是高效软件开发的重要工件。代码文档可以大大受益于自动化,因为手动文档通常是劳动,资源和时间密集型的。在本文中,我们使用Codex来自动创建代码文档。Codex是一个基于GPT-3的模型,在自然语言和程序设计语言上进行了预训练。我们发现,即使在一次性学习(即,仅提供一个用于训练的示例)。Codex在六种不同的程序设计语言上获得了20.6的BLEU总分(比早期的最先进技术提高了11.2%)。因此,Codex显示了前景,并保证了未来对自动代码文档生成的深入研究,以支持各种开发任务。
2022-09-06 cs.SE
GUARD:Dual-Agent based Backdoor Defense on Chain-of-Thought in Neural Code Generation
针对神经代码生成中Chain-of-Thought模型易受后门攻击的问题,提出双智能体防御框架GUARD,通过GUARD-Judge识别可疑步骤与触发器,并利用GUARD-Repair重新生成安全步骤,在维持生成质量的同时有效防御攻击。
2025-08-12 cs.SE
CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models
本文提出 CoderEval 基准,包含 230 个 Python 和 230 个 Java 真实项目代码生成任务及自动执行平台,用于评估模型在非独立函数和六级上下文依赖下的实用代码生成能力,并发现现有模型生成独立函数的效果显著优于非独立函数。
2024-02-23 cs.SE
Retrieval-Augmented Code Review Comment Generation
针对现有代码审查评论生成方法在低频词生成或新上下文适配性上的不足,本研究提出基于检索增强生成(RAG)的方法,在Tufano基准上取得了优于生成式和检索式方法的表现。
2025-06-13 cs.SE
Bridging the Gap between User Intent and LLM: A Requirement Alignment Approach for Code Generation
School of Computer Science, Wuhan University(武汉大学计算机学院);Nanyang Technological University(南洋理工大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Key Lab of High Confidence Software Technology, MoE (Peking University)(北京大学 教育部高可信软件技术重点实验室);The University of Hong Kong(香港大学);Wuhan University(武汉大学);Peking University(北京大学)
本文提出REA-Coder方法,通过需求对齐提升大语言模型的代码生成性能,实验表明其在多个编程基准测试中表现优异,平均提升率达7.93%至30.25%。
2026-04-17 cs.SE
Towards Functional Correctness of Code Models with Selective Generation
KAIST(韩国科学技术院)
针对代码生成模型的幻觉问题,提出利用动态代码分析自动生成单元测试,基于功能正确性评估进行选择性生成,以控制非弃权答案的错误发现率,并引入FuzzEval范式用于精确评估。
2026-10-30 cs.LG cs.SE
On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation
Carnegie Mellon University(卡内基梅隆大学)
本文分析了 CodeBERTScore 等基于嵌入的指标在代码生成评估中的局限性,发现其与功能正确性仅弱相关(0.16),但与编辑工作量强相关(0.72),揭示了现有评估指标的不足。
2024-04-26 cs.AI cs.SE
Functional Consistency of LLM Code Embeddings: A Self-Evolving Data Synthesis Framework for Benchmarking
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Software Engineering, Sun Yat-Sen University(中山大学软件工程学院);School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院);Key Laboratory of Sustainable Tourism Smart Assessment Technology, Ministry of Culture and Tourism of China(文化和旅游部可持续旅游智能评估技术重点实验室);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出面向功能的代码自进化数据合成框架,通过从单个代码实例生成四种变体构建更能反映功能差异的基准,实验证明在该数据上训练可显著提升嵌入模型在代码克隆检测、功能一致性识别和检索任务中的性能。
2025-08-27 cs.CL cs.PL cs.SE
Is Functional Correctness Enough to Evaluate Code Language Models? Exploring Diversity of Generated Codes
Pohang University of Science and Technology(浦项科技大学);Yonsei University(延世大学)
本研究提出了一种系统评估代码语言模型生成代码多样性的方法,引入基于大型模型的成对相似度度量,发现当前模型倾向于生成功能正确但多样性有限的代码。
2024-08-24 cs.AI cs.PL cs.SE
In-Context Learning as an Effective Estimator of Functional Correctness of LLM-Generated Code
本文提出基于上下文学习的代码质量估计方法,通过少样本功能正确代码示例提升现有QPP和零样本方法在无测试用例场景下估计LLM生成代码功能正确性的性能。
2025-07-07 cs.IR cs.SE
PromSec: Prompt Optimization for Secure Generation of Functional Source Code with Large Language Models (LLMs)
New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所)
PromSec提出一种结合生成对抗图神经网络与LLM的交互式提示词优化方法,通过双目标优化在保持代码功能的同时显著消除安全漏洞,并大幅降低推理成本,且提示词可跨模型迁移。
2024-09-19 cs.LG cs.SE
Enhancing the Non-Functional Quality Compliance of LLM-Generated Code through Quality-Aware Preference Learning
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对LLM生成代码存在的非功能质量合规性问题,提出质量感知偏好学习框架,通过三阶段方法提升代码合规性,在保持功能正确的同时实现显著性能提升,具备良好实用价值。
2026-09-24 cs.AI cs.SE
NoFunEval: Funny How Code LMs Falter on Requirements Beyond Functional Correctness
Microsoft Research India(微软研究院印度分部)
本文提出 NoFunEval 基准和 CoCo 提示方法,评估27个代码语言模型在非功能需求上的表现,发现模型普遍存在根本性盲区,甚至功能正确性分类准确率也很低。
2024-09-29 cs.AI cs.CL cs.LG
CWEval: Outcome-driven Evaluation on Functionality and Security of LLM Code Generation
Columbia University(哥伦比亚大学)
针对现有LLM代码生成评估基准无法准确兼顾功能正确性与安全性的问题,提出结果驱动评估框架CWEval及配套多语言安全编码基准CWEval-bench,可更精准评估代码安全风险,弥补了此前评估的不足。
2025-01-14 cs.CL cs.LG cs.SE
Code Security Vulnerability Repair Using Reinforcement Learning with Large Language Models
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
针对现有LLM代码修复因监督微调的样本不平衡而忽略安全防护的问题,提出结合语义、语法奖励机制的强化学习代码修复方法,以实现LLM生成代码的安全加固。
2024-01-30 cs.AI cs.CR cs.SE
DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents
University at Buffalo, SUNY(布法罗大学)
提出DualGauge框架,首个自动化联合评估规范代码正确性与安全性的系统,通过307个任务基准测试发现功能正确性高估可靠代码生成,联合成功率低于15%,且模型因素和代理系统均无法可靠提升。
2026-10-30 cs.AI cs.CR cs.SE
CodeFort: Robust Training for Code Generation Models
AWS AI Labs
针对代码生成模型抗扰动鲁棒性不足的问题,提出支持多种扰动泛化与鲁棒训练策略的CodeFort框架,显著提升了基线模型的鲁棒通过率并降低鲁棒性下降率。
2024-10-28 cs.AI cs.SE
Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning
NVIDIA(英伟达)
本文针对代码 LLM 合成训练数据冗余问题,提出结合聚类与剪枝指标的数据筛选方法,仅用 10% 数据即可保持基准性能,适度剪枝还能提升生成质量并降低计算开销。
2024-07-06 cs.LG cs.SE
Contract Based Verification of Non-functional Requirements for Embedded Automotive C Code
KTH Royal Institute of Technology(皇家理工学院);TRATON AB(特拉顿股份公司)
本文提出了一种用于验证嵌入式汽车C代码非功能需求的合同方法,通过设计通用规则和接口规范语言,结合Frama-C插件实现对控制流和数据流的检查,确保模块调用安全函数并避免未初始化变量。
2026-08-17 cs.PL cs.SE
Retrieval Augmented Code Generation and Summarization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学)
软件开发人员在软件开发过程中编写了大量的源代码和文档。本质上,开发人员经常回忆他们过去在实现软件或编写文档时编写的部分源代码或代码摘要。为了模仿开发人员的代码或摘要生成行为,我们提出了一个检索增强框架,REDCODER,检索相关的代码或摘要从检索数据库,并提供它们作为补充代码生成或摘要模型。Redcoder有几个独特之处。首先,它扩展了最先进的稠密检索技术,以搜索相关代码或摘要。其次,它可以与包括单峰(仅代码或自然语言描述)或双峰实例(代码描述对)的检索数据库一起工作。我们进行了实验和广泛的分析,在Java和Python的代码生成和摘要的两个基准数据集,和有前途的结果认可我们提出的检索增强框架的有效性。
2021-09-10 cs.CL cs.SE
Incorporating Domain Knowledge through Task Augmentation for Front-End JavaScript Code Generation
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
代码生成的目的是从自然语言描述中自动生成代码片段。通常,主流的代码生成方法依赖于大量成对的训练数据,包括自然语言描述和代码。然而,在某些特定领域的场景中,构建如此大的用于代码生成的配对语料库是困难的,因为没有直接可用的配对数据,并且需要大量的努力来手动编写代码描述以构建高质量的训练数据集。由于有限的训练数据,生成模型不能很好地训练,并且很可能是过拟合的,使得模型的性能对于现实世界的使用不令人满意。为此,在本文中,我们提出了一种任务增强方法,将领域知识纳入代码生成模型,通过辅助任务和Subtoken-TranX模型,通过扩展原始的TranX模型,以支持subtoken级代码生成。为了验证我们提出的方法,我们收集了一个真实的代码生成数据集并进行了实验,实验结果表明,在我们的数据集上,Subtoken-TranX模型的性能优于原始的TranX模型和Transformer模型,在我们的任务增强方法的帮助下,Subtoken-TranX的精确匹配准确率显著提高了12.75%。模型在多个代码类别上的性能满足工业系统应用的要求。我们提出的方法已被阿里巴巴的BizCook平台采用。据我们所知,这是工业开发环境中采用的第一个域代码生成系统。
2022-08-23 cs.AI cs.SE
Functional and Secure Code Generation with Task Vectors
KTH Royal Institute of Technology(皇家理工学院)
研究旨在解决大语言模型生成安全功能代码的问题,提出SecVecCoder方法,利用任务向量生成可信代码,在CodeGuard+基准测试中提升了可信代码完成率,且解码延迟低。
2026-07-10 cs.CR cs.LG cs.SE
Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback
Huazhong University of Science and Technology(华中科技大学);University of Leeds(利兹大学);Chongqing University(重庆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出CoCoGen方法,通过编译器反馈和静态分析迭代修复LLM生成代码中的项目上下文不匹配问题,在Python代码生成中将GPT-3.5-Turbo和Code Llama的性能提升超过80%,并优于现有检索式基线。
2024-06-11 cs.CL cs.SE
Flow2Code: Evaluating Large Language Models for Flowchart-based Code Generation Capability
East China Normal University(华东师范大学);Shanghai AI Lab(上海人工智能实验室);Beihang University(北航大学)
本文提出 Flow2Code 基准,覆盖 15 种语言、5,622 个代码片段和 16,866 个流程图,通过 13 个多模态大语言模型实验揭示现有模型在流程图代码生成上的不足,并验证监督微调的有效性。
2025-06-02 cs.AI cs.SE
JuICe: A Large Scale Distantly Supervised Dataset for Open Domain Context-based Code Generation
Paul G. Allen School of Computer Science and Engineering, Univ. of Washington(华盛顿大学保罗 G. 艾伦计算机科学与工程学院)
使用交错代码段单元格和自然语言标记的交互式编程最近以Quixyter笔记本的形式越来越受欢迎,这加速了原型设计和协作。为了研究代码生成的条件下,一个漫长的上下文历史,我们提出了JuICe,语料库的150万个例子与策划的测试集的3.7K实例的基础上在线编程任务。与现有的上下文代码生成数据集相比,JuICe提供了精细的人工策划数据、开放域代码和多一个数量级的训练数据。使用JuICe,我们为两个任务训练模型:(1)在代码单元中生成API调用序列,以及(2)完整代码单元生成,两者都以特定代码单元的NL代码历史为条件。使用当前基线代码生成模型的实验表明,上下文和远程监督都有助于生成,并且数据集对当前系统具有挑战性。
2019-10-09 cs.CL cs.LG cs.SE
Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications
School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机科学学院)
本综述系统梳理了大型语言模型在代码生成任务中的挑战、微调技术、评估基准及实际应用,旨在帮助研究者全面理解当前最先进技术并有效利用 LLMs。
2025-04-02 cs.LG cs.SE
Code Generation Tools (Almost) for Free? A Study of Few-Shot, Pre-Trained Language Models on Code
University of Stuttgart(斯图加特大学);Federal University of Pernambuco(伯南布哥联邦大学)
使用大规模预训练的语言模型进行少样本学习是回答有关代码问题的强大方法,例如,如何完成给定的代码示例,甚至从头开始生成代码段。这些模型的成功提出了一个问题,即它们是否可以作为构建广泛的代码生成工具的基础。传统上,这些工具是为每个任务单独手动构建的。相反,少样本学习可以允许通过简单地提供预期工具行为的几个示例或自然语言描述来从单个预训练的语言模型获得不同的工具。本文研究在何种程度上的国家的最先进的,预先训练的语言模型的代码,法典,可以服务于这一目的。我们考虑三个代码操作和代码生成任务的目标范围内的传统工具:(i)代码突变;(ii)测试甲骨文生成自然语言文档;(iii)测试用例生成。对于每个任务,我们将少样本学习与手动构建的工具进行比较。我们的研究结果表明,基于模型的工具的补充(代码突变),在标准杆(测试预言生成),甚至优于各自的传统构建的工具(测试用例生成),而施加更少的努力来开发它们。通过比较基于模型的工具的不同变体的有效性,我们提供了关于如何为模型设计适当的输入(“提示”)以及模型的大小有什么影响的见解。例如,我们发现为代码生成任务提供一个小的自然语言描述是一种改进预测的简单方法。总的来说,我们得出的结论是,Few-Shot语言模型是令人惊讶的有效,但还有更多的工作要做,如探索更多样化的方式来提示和处理更复杂的任务。
2022-06-12 cs.LG cs.SE
DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
Columbia University(哥伦比亚大学);Barnard College(巴纳德学院)
本研究提出DivAlgo基准与轻量相似度指标,评估24种代码生成模型的算法多样性,发现其多样性远低于人类解决方案,过度接触模型生成代码会限制程序员的算法词汇量。
2026-10-15 cs.CL cs.SE
Evaluating Large Language Models for Functional and Maintainable Code in Industrial Settings: A Case Study at ASML
Delft University of Technology(代尔夫特理工大学);ASML(ASML公司)
本文与ASML合作,针对专有工业环境开发了评估框架和新基准,提出build@k指标,发现少样本与思维链提示及模型规模显著提升LLM代码生成与构建成功率。
2025-09-15 cs.AI cs.SE
Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics
Department of Computer and Information Science, Linköping University, Sweden(Linköping大学计算机与信息科学系)
研究通过文献综述、行业研讨会和实证分析,探讨LLM生成代码在安全、可维护性和性能效率等非功能性质量特性上的表现,揭示学术研究与行业需求的不匹配,强调需在代码生成流程中集成质量保障机制。
2026-03-12 cs.AI cs.SE