Beyond Functional Correctness: Static Code Quality Profiling of LLM-Generated Code
The University of Queensland（昆士兰大学）；Texas A&M University–Kingsville（德克萨斯农工大学金斯维尔分校）；Central Queensland University（中昆士兰大学）
本文针对大语言模型生成的Python代码开展大规模静态质量分析，借助Pylint等工具评估可维护性与可靠性，发现不同模型间存在功能正确性无法捕捉的系统性差异，推动了更全面的代码评估框架发展。
2026-10-13 cs.SE
Copper: Unifying Correctness and Performance Specification in Code Generation
Red Hat（红帽）；University of Coimbra（科英布拉大学）
研究如何在代码生成中兼顾正确性与性能，核心方法是结合形式验证与性能感知规范，主要贡献是生成的代码可证明正确且高效执行，缩小了AI辅助编程中可信度和性能的差距。
2026-07-07 cs.SE
ACECode: A Reinforcement Learning Framework for Aligning Code Efficiency and Correctness in Code Language Models
本文提出基于强化学习的微调框架ACECode，通过结合actor CodeLLM生成代码、计算源自执行反馈的免训练奖励信号以及PPO算法，在无需预定义测试用例的前提下同时优化代码的效率与正确性，显著提升了多个SOTA CodeLLMs的pass@1并降低了运行时间。
2024-12-23 cs.SE
CoCoST: Automatic Complex Code Generation with Online Searching and Correctness Testing
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Peking University（北京大学）；Microsoft Research（微软研究院）
针对真实场景下复杂代码生成难题，提出CoCoST框架，通过规划查询的在线搜索和正确性测试进行代码完善，并序列化复杂输入输出及生成测试用例，在DS-1000和ClassEval数据集上显著提升了复杂代码生成质量。
2024-10-12 cs.CL cs.LG cs.SE
Static Analysis as a Feedback Loop: Enhancing LLM-Generated Code Beyond Correctness
针对LLM生成代码仅关注功能正确性而忽视多维度质量的问题，提出静态分析驱动的迭代提示算法，结合Bandit和Pylint工具，经GPT-4o实验验证，多维度代码质量问题显著降低，证明静态分析反馈可有效提升LLM生成代码的综合质量。
2025-08-20 cs.SE
Model-Agnostic Correctness Assessment for LLM-Generated Code via Dynamic Internal Representation Selection
针对现有LLM代码正确性评估依赖固定层表示、泛化性有限的问题，提出模型无关的AUTOPROBE方法，通过注意力机制动态选择内部表示，在多基准多模型实验中性能全面优于基线，在安全、可编译性、功能性评估上分别领先18%、最高19%、最高111%。
2025-10-03 cs.SE
Correctness-Guaranteed Code Generation via Constrained Decoding
Netflix
本文提出一种基于上下文敏感解析器和动态解析器树的约束解码算法，通过sLua生成符合指定API的语义正确代码，并将保证扩展到运行时正确性，在roguelike游戏机制生成中得到验证。
2025-08-20 cs.LG cs.PL cs.SE
On the Robustness of LLMs' Internal Representation of Code Correctness
New York University Abu Dhabi（纽约大学阿布扎比分校）
该研究系统探究大型语言模型内部代码正确性信号的鲁棒性，发现无最优提取配置且分离故障无法提升信号质量。
2026-08-11 cs.AI cs.LG cs.SE
On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation
Carnegie Mellon University（卡内基梅隆大学）
本文分析了 CodeBERTScore 等基于嵌入的指标在代码生成评估中的局限性，发现其与功能正确性仅弱相关（0.16），但与编辑工作量强相关（0.72），揭示了现有评估指标的不足。
2024-04-26 cs.AI cs.SE
LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness
Zhejiang University（浙江大学）；Stony Brook University（石溪大学）
本研究提出LLM4EFFI框架，通过逻辑域算法探索与代码域实现优化分离，并辅以合成测试用例细化，使大模型生成兼顾效率与正确性的代码，在效率基准上达到新最优。
2025-02-17 cs.AI cs.SE
When Prompt Under-Specification Improves Code Correctness: An Exploratory Study of Prompt Wording and Structure Effects on LLM-Based Code Generation
University of Luxembourg（卢森堡大学）
研究探讨提示结构、任务复杂度和说明丰富度如何影响LLM的鲁棒性，发现提示不足在某些情况下能提升代码正确性，且结构丰富任务描述可缓解提示不足的负面影响。
2026-04-27 cs.SE
Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision
本文提出细粒度置信度校准方法，通过局部Platt缩放提升自动代码修订任务中模型的置信度校准效果，降低校准误差。
2026-09-16 cs.AI cs.SE
Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation
本文探索将不确定性估计作为LLM生成代码正确性的代理指标，适配了基于熵和互信息的技术并引入符号执行等修改，开发出弃权策略将错误输出降至接近零，在LiveCodeBench上显著优于基线方法。
2025-07-01 cs.SE
On the Effectiveness of Code Representation in Deep Learning-Based Automated Patch Correctness Assessment
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Swinburne University of Technology（斯威本科技大学）
本文研究了不同代码表示在预测补丁正确性中的性能，发现基于图的表示在多个基准上表现最佳，同时整合序列表示可提升性能。
2026-04-05 cs.SE
Multicalibration for LLM-based Code Generation
RheinMain University of Applied Sciences（莱茵-美因应用科学大学）
本文提出多校准方法以提升代码生成模型的置信度评分准确性，通过实验验证其在技能分数上的显著提升。
2025-12-09 cs.AI cs.LG cs.SE
Towards Better Correctness and Efficiency in Code Generation
针对代码大模型生成代码运行效率低的问题，提出性能奖励引导的效率导向强化学习框架及两阶段调优方法，在7B模型上同时提升正确性与效率。
2025-08-24 cs.AI cs.SE
CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Edinburgh（爱丁堡大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；IQuest Research（IQuest研究）
CodeCircuit通过归因图分析LLM内部结构，推断生成代码的正确性，验证内部动态信号的预测能力。
2026-02-06 cs.AI cs.SE
Evaluating Representation Learning of Code Changes for Predicting Patch Correctness in Program Repair
自动程序修复的大量文献开发了生成补丁以针对oracle进行验证的方法（例如，测试套件）。因为这样的预言机可能是不完美的，所以生成的补丁尽管经过了预言机的验证，但实际上可能是不正确的。虽然最先进的探索研究方向，需要动态信息或依赖于手工制作的算法，我们研究学习代码表示的好处，学习深度功能，可能编码的补丁正确性的属性。我们的工作主要是研究不同的表示学习方法的代码变化，以获得嵌入，是服从相似性计算。我们报告基于预训练和重新训练的神经网络产生的嵌入的结果。实验结果表明，嵌入的潜力，使学习算法在推理补丁的正确性：机器学习预测器与BERT变换为基础的嵌入与逻辑回归产生的AUC值约为0.8预测补丁的正确性去重复数据集的1000标记的补丁。我们的研究表明，与依赖于动态信息的最先进的PATCH-SIM相比，学习表示可以带来合理的性能。这些表示可以进一步补充文献中仔细（手动）设计的特征。
2020-08-07 cs.SE
AdverMCTS: Combating Pseudo-Correctness in Code Generation via Adversarial Monte Carlo Tree Search
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
本文提出AdverMCTS，通过将代码搜索与主动漏洞发现结合，对抗代码生成中的伪正确性问题，实验表明其优于现有方法，有效降低误报率。
2026-04-12 cs.SE
NoFunEval: Funny How Code LMs Falter on Requirements Beyond Functional Correctness
Microsoft Research India（微软研究院印度分部）
本文提出 NoFunEval 基准和 CoCo 提示方法，评估27个代码语言模型在非功能需求上的表现，发现模型普遍存在根本性盲区，甚至功能正确性分类准确率也很低。
2024-09-29 cs.AI cs.CL cs.LG
Is Functional Correctness Enough to Evaluate Code Language Models? Exploring Diversity of Generated Codes
Pohang University of Science and Technology（浦项科技大学）；Yonsei University（延世大学）
本研究提出了一种系统评估代码语言模型生成代码多样性的方法，引入基于大型模型的成对相似度度量，发现当前模型倾向于生成功能正确但多样性有限的代码。
2024-08-24 cs.AI cs.PL cs.SE
In-Context Learning as an Effective Estimator of Functional Correctness of LLM-Generated Code
本文提出基于上下文学习的代码质量估计方法，通过少样本功能正确代码示例提升现有QPP和零样本方法在无测试用例场景下估计LLM生成代码功能正确性的性能。
2025-07-07 cs.IR cs.SE
When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出了一种决策框架，用于在代码预测中可靠地判断何时回答何时延迟，通过整合不确定性估计、模型校准和工具基于的延迟处理，提高代码模型的可靠性。
2026-05-19 cs.SE
A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models
Efficient Computation Inc（高效计算公司）
本研究探讨扩散语言模型内部激活是否编码代码正确性，通过线性探针在六个模型上区分成败，但探针引导未稳定提升生成性能，并分析了统计与可复现性局限。
2026-10-01 cs.SE
Introspective Uncertainty Estimation for LLM-Based Code Generation
Hochschule RheinMain（莱茵美因应用技术大学）
本论文研究基于LLM隐藏状态的内省不确定性估计，用于代码生成正确性评估，发现静态单令牌探针在响应级有效，支持两阶段风险筛查与故障定位流程。
2026-09-15 cs.LG cs.SE
Evaluating Large Language Models for Code Review
Bilkent University（比尔肯特大学）
本研究评估GPT4o和Gemini 2.0 Flash在代码审查中的性能，发现其能评估正确性并提出改进，但存在错误风险，故提出“人在回路”流程以降低风险。
2025-05-26 cs.AI cs.SE
Automating the Correctness Assessment of AI-generated Code for Security Contexts
University of Naples Federico II（那不勒斯费德里科二世大学）
本文提出全自动方法 ACCA，利用符号执行评估 AI 生成安全相关汇编代码的正确性，实验表明其优于基线方案并与人工评估高度相关，且评估速度显著快于人工分析。
2024-06-08 cs.AI cs.SE
Quantize with Confidence? An Empirical Study of Quantization for Code Generation
AURA Lab Department of Computer Science William \& Mary Williamsburg, VA, USA
研究在资源受限硬件上运行大型代码模型时，六种量化方法对代码质量的影响，用多基准评估功能正确性等指标，引入提示复杂性分析，揭示不同量化技术在正确性、代码质量及鲁棒性上的差异，为选择量化策略提供指导。
2026-07-17 cs.LG cs.PL cs.SE
ComPass: Contrastive Learning for Automated Patch Correctness Assessment in Program Repair
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）
ComPass利用对比学习和数据增强解决程序修复中补丁过拟合问题，通过代码转换规则生成语义保持的代码片段，提升补丁正确性评估的准确性。
2026-04-06 cs.SE
Beyond Correctness: Benchmarking Multi-dimensional Code Generation for Large Language Models
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Chinese Information Processing Laboratory（中文信息处理实验室）；State Key Laboratory of Computer Science（计算机科学国家重点实验室）；Key Laboratory of System Software, Chinese Academy of Sciences（中国科学院系统软件重点实验室）
针对现有代码生成基准仅侧重正确性、易受数据污染影响的问题，本文提出涵盖可读性、可维护性、正确性、效率四维度的RACE基准，测试28款大语言模型后发现多维度评估的必要性，为后续代码生成优化指明方向。
2024-10-09 cs.AI cs.CL cs.SE
Ensemble-Based Uncertainty Estimation for Code Correctness Estimation
Zhejiang University（浙江大学）；Beihang University（北京航空航天大学）；University of Twente（特温特大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出ESE方法，通过评估多模型集成样本的一致性来估计不确定性，实验表明其在代码正确性评估中表现更优，并提出Cas框架提升效率。
2026-04-04 cs.SE
Ensuring Correctness at the Application Level: a Software Framework Approach
随着科学应用扩展到越来越复杂的系统的模拟，它们涉及越来越多的抽象层次，在每个层次上都可能出现错误，并且错误可以传播;因此，在每个层次（从代码级到应用级）进行正确性评估和执行的工具是必要的。虽然代码级调试工具已经是一个完善的标准，但应用程序级工具却落后了，这可能是因为它们对应用程序细节的依赖性更强。在本文中，我们描述了Cactus框架引入的编程模型，回顾了Cactus旨在解决的高性能计算（HPC）挑战，并说明了Cactus目前在代码，组件和应用程序级别提供的正确性策略。
2011-01-17 cs.DC cs.SE
Learning to Guarantee Type Correctness in Code Generation through Type-Guided Program Synthesis
Peking University（北京大学）；University of Michigan（密歇根大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Tencent（腾讯）
TyFlow 通过内部化类型推理，提升代码生成的类型正确性与功能正确性。
2026-02-06 cs.AI cs.PL cs.SE
Benchmarking Correctness and Security in Multi-Turn Code Generation
University of Maryland, College Park（马里兰大学帕克分校）
本文提出MT-Sec，首个系统评估多轮代码生成正确性与安全性的基准，发现模型从单轮到多轮设置中“正确且安全”输出下降20-27%，且智能体脚手架在多轮中效果有限。
2025-10-13 cs.AI cs.SE
CodeAssay: A Multi-Metric Benchmark with Audited Ground Truth for LLM Code Generation
Tampere University（坦佩雷大学）；Stony Brook University（石溪大学）
本文提出CodeAssay基准，涵盖185个Python任务，结合多类测试与度量，经审计后发现模型正确性标签有9.0%变化，且验证了多类LLM代码生成的评估特性。
2026-09-18 cs.SE
Improving students' code correctness and test completeness by informal specifications
本文提出通过教导学生使用非正式规格而非编写规格来提升代码正确性和测试完整性，实验表明该方法显著减少错误并提高测试完整性，且深受学生欢迎。
2023-09-05 cs.SE
CodeChat-Eval: Evaluating Large Language Models in Multi-Turn Code Refinement Dialogues
Monash University（蒙纳士大学）；RMIT University（皇家墨尔本理工大学）
提出CodeChat-Eval框架，通过动态指令选择算法构建多轮代码优化对话评估会话，发现LLMs在多轮优化中功能正确性显著下降（19.2%-69.2%），逻辑级优化和新增请求导致最大下降。
2026-07-01 cs.SE
Toward Secure Code Generation: Bridging Correctness and Security via Task-Adaptive Vulnerability Modeling and Execution-Based Benchmarking
South China University of Technology（华南理工大学）；University of Innsbruck（因斯布鲁克大学）
本文提出CodeSecEval基准和SecAwareCoder框架，通过任务自适应威胁建模与执行反馈，提升LLM代码生成的安全性与正确性，实验验证其有效性。
2026-09-15 cs.CL cs.SE
Line-Anchored Feedback Cuts Token Costs and Improves Correctness in AI Code Editing
研究探讨生成式AI代码编辑中令牌成本等问题，通过比较整体提示与行锚定导出方式，发现行锚定反馈可降低令牌成本，减少强模型花费，提升弱模型正确性，在不同规模文件上有显著效果，且减轻编辑负担时正确性收益更大。
2026-07-15 cs.AI cs.SE
Beyond Output Correctness: Benchmarking and Evaluating Large Language Model Reasoning in Coding Tasks
University of California, Irvine（加州大学尔湾分校）
本文提出CodeRQ-Bench，首个评估LLM在生成、摘要和分类等编码任务中推理质量的基准，通过分析现有评估器的1069个不匹配案例，提出VERA评估器，实验表明其在四个数据集上均优于基线，提升AUCROC和AUPRC最高达0.26和0.21。
2026-08-31 cs.AI cs.LG cs.SE
Syntax Is Not Enough: An Empirical Study of Small Transformer Models for Neural Code Repair
MIT World Peace University（麻省理工学院世界和平大学）
本研究通过实验证明，小型Transformer模型在修复Java错误时，虽然能生成语法正确的代码，但无法达到语义正确的修复效果。
2025-12-22 cs.SE
Is this Change the Answer to that Problem? Correlating Descriptions of Bug and Code Changes for Evaluating Patch Correctness
University of Luxembourg（卢森堡大学）；National University of Defense Technology（国防科技大学）；Huawei（华为）
在这项工作中，我们提出了一个新的视角补丁正确性评估的问题：一个正确的补丁实现的变化，“回答”的问题所造成的错误行为。具体地说，我们把补丁的正确性评估转化为一个问答问题。为了解决这个问题，我们的直觉是，自然语言处理可以提供必要的表示和模型，用于评估错误（问题）和补丁（答案）之间的语义相关性。具体来说，我们认为作为输入的错误报告，以及生成的补丁的自然语言描述。我们的方法，Quatrain，首先考虑最先进的提交消息生成模型，以产生与每个生成的补丁相关联的相关输入。然后，我们利用一个神经网络架构来学习错误报告和提交消息之间的语义相关性。在针对3个bug数据集（Defects4j、Bugs.jar和Bears）生成的9135个补丁的大数据集上进行的实验表明，Quatrain在预测补丁正确性方面的AUC为0.886，能够召回93%的正确补丁，同时过滤掉62%的错误补丁。我们的实验结果进一步证明了输入质量对预测性能的影响。我们进一步进行实验，以强调该模型确实学习了错误报告和代码更改描述之间的关系，以进行预测。最后，我们与以前的工作进行比较，并讨论我们的方法的好处。
2022-09-01 cs.AI cs.SE
Inferring Code Correctness from Specification
University of Luxembourg（卢森堡大学）
提出TRAILS方法，通过基于规约的类别划分生成测试输入并执行，利用LLM评估输入输出对是否符合规约，从而推断代码正确性，在LiveCodeBench和CoCoClaNeL数据集上相比基线方法提升了马修斯相关系数并增强了稳定性。
2026-05-28 cs.AI cs.SE
COFFE: A Code Efficiency Benchmark for Code Generation
本文提出代码效率基准COFFE，通过压力测试用例和基于CPU指令计数的efficienct@k指标，系统评估大语言模型生成代码的时间效率，并基于14个模型的实验结果给出研究与实践启示。
2025-02-05 cs.SE
From Event-B to Verified C via HLL
这项工作解决了一个事件B模型的C代码通过一个中间形式语言，HLL的正确翻译。正确性的证明遵循两个主要步骤。首先，将Event-B模型的最终细化（包括不变量）转换为HLL。在这一点上，额外的属性（例如，无死锁性、活跃性等）添加到HLL模型中。在HLL级别上对不变量和附加属性的证明保证了翻译的正确性。其次，C代码是从HLL模型自动生成的，用于大多数系统功能，并手动为其余的;在这种情况下，HLL模型提供正式的合同给软件开发人员。C代码与HLL模型的等价性证明保证了代码的正确性。
2016-10-24 cs.SE
Route-Align-Verify for Functional Correctness in Code Generation
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；University of Chicago（芝加哥大学）；Peking University（北京大学）
本文提出RAV框架，通过Route、Align、Verify三阶段协同优化，在不修改骨干模型的情况下，于MBPP基准上实现代码生成功能正确性的显著提升，性能优于基础模型。
2026-08-05 cs.AI cs.SE
Beyond Functional Correctness: Investigating Coding Style Inconsistencies in Large Language Models
Sun Yat-sen University（中山大学）；Huawei Cloud Computing Technologies（华为云计算技术）
本文实证分析主流代码LLM与人类开发者编码风格差异，总结不一致分类，从可读性、简洁性、健壮性比较，并探讨原因与解决方案。
2025-06-21 cs.AI cs.SE
COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models
Codility
COMPASS基准从正确性、效率和代码质量三个维度评估大语言模型的代码生成能力，基于真实Codility竞赛数据，揭示了高正确性模型未必能生成高效且可维护代码的问题。
2025-08-19 cs.AI cs.SE
SWE-IF: Aligning Code Evaluation with Human Preference
Google DeepMind（谷歌DeepMind）
提出SWE-IF基准，通过可验证指令分类法VeriCode评估代码指令遵循能力，发现指令遵循是区分LLM代码质量的关键，与功能正确性结合更能匹配人类偏好。
2026-06-05 cs.AI cs.CL cs.LG
Co-Located Tests, Better AI Code: How Test Syntax Structure Affects Foundation Model Code Generation
Cosmic AI
研究探讨测试代码结构对基础模型代码生成质量的影响，发现内联测试在保真度和正确性上表现更优，且模型行为随世代变化，非transformer架构也验证了该设计的鲁棒性。
2026-04-20 cs.AI cs.LG cs.SE
Beyond Confidence: Rethinking Uncertainty Calibration in Deep Code Models
University of Texas at Dallas（达拉斯大学）；Fudan University（复旦大学）
本文针对深度代码模型的不确定性校准问题，通过7种代码模型开展系统研究，发现现有校准技术与选择性预测表现不一致，提出需结合选择性预测质量等评估模型可靠性。
2026-10-16 cs.SE
VeriCoder: Enhancing LLM-Based RTL Code Generation through Functional Correctness Validation
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Intel Corporation（英特尔公司）；Nanjing University（南京大学）
针对现有RTL代码生成模型多关注语法而非功能正确性的问题，提出VERICODER模型，其在经功能验证的数据集上微调，该数据集通过单元测试生成与反馈优化构建，在两项基准上实现显著性能提升，强调高质量数据集的重要性。
2025-08-24 cs.AI cs.AR cs.CL
Creative and Correct: Requesting Diverse Code Solutions from AI Foundation Models
本研究通过HumanEval实验，系统探究AI基础模型生成代码时多样性与正确性的权衡，识别出帕累托最优的参数与策略组合，为软件工程师提供实用指导。
2024-03-20 cs.SE
BOOP: Write Right Code
Ashoka University（阿肖卡大学）
BOOP通过结构化框架提升编程教育中的计算思维能力，强调正确性优先的开发方法。
2025-11-22 cs.SE
