State-of-the-art Small Language Coder Model: Mify-Coder
Infosys AI Research（英矽斯人工智能研究院）；Mify Team（Mify团队）
Mify-Coder通过高效训练策略和数据优化，在保持高准确性和安全性的同时，实现了比更大模型更优的代码生成性能。
2025-12-26 cs.AI cs.CL cs.SE
BAPPA: Benchmarking Agents, Plans, and Pipelines for Automated Text-to-SQL Generation
Center for Computational & Data Sciences, Independent University, Bangladesh（计算与数据科学中心，独立大学，孟加拉国）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出BAPPA基准，系统评测三种多智能体LLM流水线在文本到SQL任务上的表现，发现多智能体讨论可提升小模型准确率，其中推理器-编码器流水线效果最佳，将Gemma 3 27B IT执行准确率提升至56.4%。
2025-11-06 cs.AI cs.CL cs.DB
Pragmatic Reasoning improves LLM Code Generation
Max Planck Institute for Informatics Saarland Campus（马克斯·普朗克信息研究所萨尔兰州分校）；Computer Science Saarland University（萨尔兰州大学计算机科学系）；Max Planck Institute for Software Systems Saarland Campus（马克斯·普朗克软件系统研究所萨尔兰州分校）
提出CodeRSA方法，通过局部语用竞赛对候选代码进行重排序，以解决自然语言到代码生成中的歧义问题，在多个基准测试中取得最佳平均准确率。
2026-05-24 cs.AI cs.CL cs.SE
Integrating Symbolic Execution into the Fine-Tuning of Code-Generating LLMs
TU Darmstadt（图宾根大学）
本文研究利用符号执行增强奖励模型训练数据，并结合强化学习与直接偏好优化微调代码生成大语言模型，在代码质量评估上显著超越CodeRL基线，生成性能与CodeRL相当。
2025-05-05 cs.AI cs.SE
Are AI Coders Snitches? An Empirical Study of Pretraining Data Detection on Code Large Language Models
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Peng Cheng Laboratory（鹏城实验室）；Beihang University（北航）；Nankai University（南开大学）
本文构建含9000个样本的函数级基准CodeSnitch，系统评估七种TDD方法在八个CodeLLM及三类代码克隆变异设置下的训练数据检测能力。
2026-10-02 cs.AI cs.SE
JumpCoder: Go Beyond Autoregressive Coder via Online Modification
Zhejiang University（浙江大学）
针对自回归代码大模型无法及时修正已生成代码的问题，提出模型无关框架JumpCoder，通过辅助填充模型与“先填充后判断”策略实现非顺序的在线代码插入修改，显著提升了多种代码大模型在多语言基准上的表现。
2024-06-05 cs.AI cs.CL cs.SE
What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code
University of Naples Federico II（那不勒斯费德里科二世大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本研究通过大规模函数对比较人类与AI生成代码，发现AI代码更紧凑模板化，缺陷类型不同，安全性因语言而异，并发布CQBench基准。
2026-09-22 cs.AI cs.SE
Complexity-Aware Evaluation of LLM Comprehension
Systems and computer Engineering Carleton University Ottawa, Canada（加拿大渥太华卡尔顿大学系统与计算机工程系）
本文提出复杂度感知框架，利用圈复杂度等指标评估LLM代码理解，发现DeepSeek-Coder-V2和Llama在高复杂度代码上准确率显著下降，证明该评估比聚合准确率更具诊断性。
2026-09-30 cs.AI cs.SE
SchemaCoder: Automatic Log Schema Extraction Coder with Residual Q-Tree Boosting
SchemaCoder提出首个无需人工定制、适用于多种日志格式的自动模式提取框架，采用残差Q树提升机制迭代优化，在LogHub-2.0基准上平均提升21.3%。
2025-08-25 cs.AI
An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning
Singapore Management University（新加坡管理大学）；Monash University（墨尔本大学）；Nanjing University of Science and Technology（南京理工大学）；GovTech Singapore（新加坡政府科技局）
本文提出TraceEval，首个经过执行验证的多语言代码语义推理基准，通过验证执行消除标注偏差，评估10个LLM在零样本下的表现，展示了其在代码语义推理中的有效性。
2026-05-10 cs.AI cs.SE
Can Large Language Models Replace Human Coders? Introducing ContentBench
Czech University of Life Sciences Prague（布拉格捷克生命科学大学）
本文通过ContentBench基准测试，评估低成本大语言模型在解释性编程任务中的表现，揭示其在高精度任务中的优势及在讽刺处理上的局限性。
2026-02-23 cs.AI cs.CL cs.CY
Multilingual Multimodal Software Developer for Code Generation
Beihang University（北京航空航天大学）；Alibaba Group（阿里巴巴集团）；M-A-P；Nanjing University（南京大学）
针对现有代码生成模型仅限文本忽略视觉辅助的问题，提出多模态开发者 MM-Coder，结合 UML 图表与流程图等视觉设计与文本指令，并构建指令微调数据集 MMc-Instruct 与评估基准 MMEval，显著提升了代码生成准确性与架构对齐。
2025-07-11 cs.AI cs.CL cs.SE
Mercury: Ultra-Fast Language Models Based on Diffusion
Inception Labs（Inception实验室）
本文提出基于扩散的Mercury系列商业级语言模型，通过Transformer并行预测多token，在编码任务上实现高达1109 tokens/sec的吞吐量，速度提升达10倍且质量相当。
2025-06-17 cs.AI cs.CL cs.LG
Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation
NVIDIA Corporation（英伟达公司）；Cornell University（康奈尔大学）
本文重新评估了 VerilogEval 发布一年来多种新商业与开源大语言模型在硬件代码生成上的表现，发现 GPT-4o 与 Llama3.1 405B 等模型通过率显著提升，并通过改进基准测试基础设施强调了提示工程与失败分析对模型发展的重要性。
2025-02-03 cs.AI cs.AR
Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs
Sayed Erfan Arefin
针对12种编程语言的2707道LeetCode问题，评估9个开放代码LLM，发现最佳模型Yi-Coder-9B-Chat的正确率仅23.64%，远低于人类57.2%的基准，且排名因问题难度和语言而异，编译错误占失败原因的63.25%。
2026-06-07 cs.AI cs.SE
CodeR: Issue Resolving with Multi-Agent and Task Graphs
Huawei Co., Ltd.（华为有限公司）；Chinese Academy of Science（中国科学院）；Singapore Management University（新加坡管理大学）；Peking University（北京大学）
本文提出 CodeR，通过多智能体框架与预定义任务图在代码仓库中修复错误和添加功能，在 SWE-bench lite 上单次提交解决 28.33% 的问题，并分析了各设计对性能的影响。
2024-06-11 cs.AI cs.CL cs.SE
SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
Tencent Hy AI Data（腾讯Hy AI数据）；Beijing Zhongguancun Academy（北京中关村学院）
SWE-Journey是用于更真实评估代码助手的基准，通过弱到强合成流水线构建长周期编码任务、用户模拟智能体复现真实交互，发现当前代码助手与非编程人员交互时功能测试通过率不足25%，关键能力为正确提问、查找与修复。
2026-10-09 cs.AI cs.CL cs.MA
Functional Overlap Reranking for Neural Code Generation
FPT Software AI Center（FPT软件人工智能中心）
本文提出 SRank 重排序策略，通过建模并量化代码解决方案簇之间的功能重叠来改进 CodeLLM 输出选择，在 Human-Eval 等多个模型上显著提升 pass@1，平均超越现有方法约 6.1%。
2024-08-07 cs.AI cs.LG cs.SE
Multi-task Code LLMs: Data Mix or Model Merge?
Rensselaer Polytechnic Institute（拉特格斯理工学院）；IBM Research（IBM研究院）
本研究比较了数据混合与模型合并在多任务代码LLM中的效果，发现模型合并在大模型规模下表现更优，而数据混合在小规模更有效，为资源受限场景提供了高效解决方案。
2026-01-28 cs.AI cs.CL
DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence
DeepSeek-AI（深度求索人工智能公司）
本研究推出开源MoE代码语言模型DeepSeek-Coder-V2，基于DeepSeek-V2中间检查点用6万亿token持续预训练，在代码、数学任务上性能超越多款闭源模型，还大幅扩展了支持的编程语言数量与上下文长度。
2024-06-17 cs.AI cs.LG cs.SE
Strategic Optimization and Challenges of Large Language Models in Object-Oriented Programming
Institute for Clarity in Documentation（文献清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本研究聚焦面向对象编程框架内的方法级代码生成，基于CoderEval设计实验并引入“提示词Token成本效益”指标，发现富含方法调用细节的提示成本效益最高，且应根据任务耦合度选择合适的LLM以优化代码质量与成本。
2024-08-27 cs.AI cs.SE
ProxyWar: Dynamic Assessment of LLM Code Generation in Game Arenas
adelaide.edu.au（阿德莱德大学）
ProxyWar通过在动态游戏环境中评估LLM代码生成的质量，揭示了基准分数与实际性能之间的差异，为算法发现和自适应问题解决研究提供新视角。
2026-02-04 cs.AI cs.SE
Energy-Aware Code Generation with LLMs: Benchmarking Small vs. Large Language Models for Sustainable AI Programming
Algoma University（阿尔戈马大学）；École de Technologie Supérieure (ÉTS)（高等技术学院）；Ericsson Inc.（爱立信公司）
本研究评估开源小型语言模型在代码生成中的性能与能效，发现其正确性虽不及大型商业模型，但在输出正确时通常更节能，为可持续AI编程提供了新视角。
2025-08-10 cs.AI cs.SE
Assertion-Aware Test Code Summarization with Large Language Models
University of North Texas（北卡罗来纳州立大学）
本文构建了91个Java测试用例基准，通过消融实验发现基于断言语义的提示能以更少token提升LLM测试摘要质量，并评估了四种代码LLM的性能。
2025-11-09 cs.AI cs.CE cs.SE
EvoCodeBench: An Evolving Code Generation Benchmark Aligned with Real-World Code Repositories
School of Computer Science, Peking University（北京大学计算机学院）
本文提出EvoCodeBench基准，通过多维度对齐真实仓库、全面标注与演进更新机制，评估LLMs的仓库级代码生成能力，并实验揭示现有模型表现不足。
2024-03-31 cs.AI cs.CL cs.SE
InCoder-32B: Code Foundation Model for Industrial Scenarios
Beihang University（北京航空航天大学）；IQuest Research；Shanghai Jiao Tong University（上海交通大学）；ELLIS；University of Manchester（曼彻斯特大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Langboat（朗博特）
本文提出InCoder-32B，首个统一芯片设计、GPU内核优化等工业领域的32B参数代码基础模型，通过高效架构和多阶段训练方法，在通用和工业任务中均取得优异性能。
2026-03-31 cs.AI cs.SE
Rethinking Repetition Problems of LLMs in Code Generation
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术教育部重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）
针对代码生成中被忽视的结构重复问题，本文形式化定义该现象，提出基于语法识别并惩罚关键 token 的 RPG 解码方法，并构建 CodeRepetEval 数据集，实验证明其在多个基准上显著减少重复、提升代码质量。
2025-05-15 cs.AI cs.CL cs.LG
BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting
Beijing Normal University（北京师范大学）；Elmleaf Ltd.（Elmleaf公司）
提出首个大规模自动化量化回测基准BacktestBench，包含18,246个问答对，并设计多智能体基线AutoBacktest，通过协调摘要器、检索器和编码器实现自然语言策略到可重复回测的转换。
2026-05-25 cs.AI cs.CL
Self-Explained Keywords Empower Large Language Models for Code Generation
Zhejiang University（浙江大学）
本文提出自解释关键词技术SEK，通过让LLM提取并解释问题描述中的关键术语并按频率排序，显著提升了多个LLMs在HumanEval、MBPP和APPS等基准上的代码生成准确率。
2024-10-21 cs.AI cs.CL cs.SE
Benchmarking LLMs in Political Content Text-Annotation: Proof-of-Concept with Toxicity and Incivility Data
Leiden University（莱顿大学）；Universidad Diego Portales（迭戈波塔利斯大学）
本研究针对政治内容文本标注任务构建基准，测试多款LLM与Perspective算法的表现，发现特定模型性能优异，小参数量开源模型性价比高，且仅开源模型可保障标注完全可复现。
2024-09-15 cs.AI cs.CL
TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models
Department of Chemical and Biological Engineering, Seoul National University, Republic of Korea（化学与生物工程系，首尔国立大学）；Davidson School of Chemical Engineering, Purdue University, United States（化学工程大卫森学院，普渡大学）
TalkToAgent提出多智能体LLM框架，通过五个专门智能体自动映射用户查询至XRL工具，提供交互式自然语言解释，并在四水箱基准上验证了高准确性和有效解释。
2025-09-08 cs.AI cs.HC
A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models
University of Manitoba（曼尼托巴大学）；Concordia University（康考迪亚大学）；Queen’s University（女王大学）
提出AutoAPIEval框架，系统评估LLM在面向API代码生成中的API推荐和代码示例生成能力，发现不同模型表现差异并验证检索增强生成的提升作用。
2024-09-26 cs.AI cs.LG cs.SE
Adaptive Critical Token-Aware Retrieval for Repository-Level Code Generation
Sun Yat-sen University（中山大学）；School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；Monash University（莫纳什大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61研究所）；Zhejiang University（浙江大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
针对仓库级代码生成中LLM输入长度受限及关键令牌易出错问题，提出ACToR框架，通过识别关键令牌触发针对性检索并采用位置感知加权，在RepoExec和CoderEval上较SOTA方法分别提升8.4%、15.4%
2026-09-02 cs.AI cs.CL cs.SE
Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出QRData基准，用411个数据题和290个纯文本题评估大语言模型的统计与因果推理能力，发现GPT-4准确率仅58%，模型难以同时运用因果知识与数据。
2024-06-09 cs.AI cs.CL
TeXpert: A Multi-Level Benchmark for Evaluating LaTeX Code Generation by LLMs
Knowledgeverse AI（知识verse AI）
本文提出 TeXpert 基准，通过多难度级别的自然语言提示评估 LLM 生成 LaTeX 代码的能力，发现模型在标准基准上的优异表现未能平移至 LaTeX 任务，且开源模型表现可比肩闭源模型，同时揭示了训练数据中 LaTeX 示例多样性不足导致的格式和包错误频发问题。
2025-06-20 cs.AI cs.CL
Multicalibration for LLM-based Code Generation
RheinMain University of Applied Sciences（莱茵-美因应用科学大学）
本文提出多校准方法以提升代码生成模型的置信度评分准确性，通过实验验证其在技能分数上的显著提升。
2025-12-09 cs.AI cs.LG cs.SE
Security-First Evaluation of Text-to-Terraform: Benchmarking LLMs and SLMs for Secure IaC Generation
AI Horizon Labs（AI地平线实验室）；Universidade Federal do Pampa (UNIPAMPA)（潘帕联邦大学）
该研究针对7款LLMs与SLMs开展Terraform生成基准测试，发现IaC的语法有效性与安全合规性正交，仅靠提示工程不足，自动化多工具扫描是必要补充。
2026-08-05 cs.AI cs.CR cs.ET
Understanding and Bridging the Planner-Coder Gap: A Systematic Study on the Robustness of Multi-Agent Systems for Code Generation
The Hong Kong University of Science and Technology（香港科技大学）；Lingnan University（岭南大学）；Renmin University of China（中国人民大学）
本文研究多智能体系统在代码生成中的鲁棒性问题，发现规划者与生成者之间的信息丢失是主要缺陷，并提出修复方法以提升系统鲁棒性。
2026-01-30 cs.AI cs.SE
LLM-Assisted Content Analysis: Using Large Language Models to Support Deductive Coding
Center for Data Science and AI（数据科学与人工智能中心）；RTI International（RTI国际组织）；Center for Communication and Media Impact（传播与媒体影响中心）
本研究提出LLM辅助的内容分析方法（LACA），利用GPT-3.5在4个公开数据集上验证，发现其演绎编码一致性可比人类编码员，并能优化提示、识别随机猜测及辅助选择编码方式。
2023-06-23 cs.AI cs.CL cs.LG
Zero-Shot Attribution for Large Language Models: A Distribution Testing Approach
University of Sydney（悉尼大学）；National University of Singapore（新加坡国立大学）；Indian Statistical Institute（印度统计研究所）
研究针对大型语言模型生成代码的零样本归因问题，提出基于分布测试的归因工具Anubis，利用样本与密度估计有效克服维度灾难，在基准实验中仅需约2000个样本即可高AUROC区分多种LLM。
2025-06-25 cs.AI cs.LG cs.SE
QSpark: Towards Reliable Qiskit Code Generation
Toronto Metropolitan University（多伦多 Metropolitan 大学）
QSpark通过GRPO和ORPO方法提升Qiskit代码生成的可靠性，在基准测试中取得显著成绩，但仍有提升空间。
2025-09-23 cs.AI cs.SE quant-ph
JavaVulBench: A Java Vulnerability Benchmark with Realistic Splits, a Unified Multi-Backend Harness, and a Leakage-Aware Evaluation Mode
University Of Szeged（塞格德大学）
发布JavaVulBench用于Java漏洞检测，含约30600个Java方法的数据集，有多种分割策略，框架为三个后端家族提供统一模式，可在相同条件下评估多个检测器，还提供预训练污染审计。
2026-07-07 cs.AI cs.CR
Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts
本文评估了13个开源LLM在生物医学和多领域背景下进行成对因果发现的能力，发现现有模型在处理复杂因果关系时表现不佳，提出了统一的评估框架并公开数据以促进研究。
2026-01-21 cs.AI cs.CL
From Large to Small: Transferring CUDA Optimization Expertise via Reasoning Graph
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；South China University of Technology（华南理工大学）
提出ReGraphT框架，通过推理图将LLM级CUDA优化知识迁移至SLM，利用蒙特卡洛图搜索实现高效探索，在CUDAEval和ParEval上平均加速2.33倍，使SLM接近LLM性能且无隐私风险。
2025-10-22 cs.AI cs.LG cs.PL
DataSciBench: An LLM Agent Benchmark for Data Science
Tsinghua University（清华大学）；Zhipu AI（智谱AI）；University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
本文提出 DataSciBench 基准，通过半自动化真值生成流程和 TFC 框架，系统评估 23 个 LLM 在数据科学任务中的代码执行能力。
2025-02-19 cs.AI cs.CL cs.LG
SocraticRepair: Planning-Guided Socratic Tutoring for Program Debugging and Misconception Repair
University of Warwick（华威大学）；Warwick Manufacturing Group（华威制造集团）
本研究提出SocraticRepair框架，通过微调Qwen2.5-Coder-7B-Instruct构建面向Python编程的规划引导式苏格拉底辅导系统，可提升教学质量并减少过早透露解决方案的问题。
2026-10-14 cs.AI cs.LG
Every Sample Matters: Leveraging Mixture-of-Experts and High-Quality Data for Efficient and Accurate Code LLM
Ant Group（蚂蚁集团）
本研究提出高效代码大语言模型Ling-Coder-Lite，结合MoE架构与高质量数据构建方法，在12个基准上性能比肩同规模SOTA模型，部署资源较同规模稠密模型减少50%，并开源相关模型与数据。
2025-03-22 cs.AI cs.CL cs.LG
Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Microsoft（微软）
Delulu是一个包含1951个跨7种语言和4种幻觉类型的填充中间任务样本的多语言基准，通过对抗性流程筛选出经过验证的样本，评估了11种开放式FIM模型，证明了任务内在难度而非模型家族特定。
2026-05-07 cs.AI cs.LG
A Preliminary Study of Multilingual Code Language Models for Code Generation Task Using Translated Benchmarks
University of British Columbia（不列颠哥伦比亚大学）
本文初步评估了多语言代码语言模型Poly-Coder在HumanEval翻译基准上的代码生成性能，发现结果与训练指标一致但存在不一致性和复现困难，呼吁开展更全面的经验研究以验证翻译基准的可靠性。
2024-11-23 cs.AI cs.PL cs.SE
Open-SWE-Traces: Advancing Dual-Mode Multilingual Distillation for Software Engineering Agents
NVIDIA（英伟达）
为解决软件工程智能体训练数据稀缺问题，构建包含20万条轨迹、覆盖9种编程语言的数据集，采用混合推理合成方法，微调Qwen3-30B-A3B系列模型，在SWE-bench基准上取得领先性能。
2026-06-16 cs.AI cs.SE
Information-Gain Rewards over Diversity-Pruned Tests: GT-Anchored Verifier Co-Training for Reliable Code Generation
Secure AI and Autonomy Lab（安全人工智能与自主实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
提出CoVer框架，通过信息增益奖励和多样性剪枝测试解决代码生成协同训练中的宽松性崩溃与集中性偏差，在多个基准上显著提升pass@1，并增强代码选择性能。
2026-09-21 cs.AI
SWE-Protégé: Learning to Selectively Collaborate With an Expert Unlocks Small Language Models as Software Engineering Agents
Meta；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
SWE-Protégé通过选择性协作专家，使小型语言模型在软件工程任务中取得显著提升，实现42.4%的Pass@1成绩。
2026-02-25 cs.AI cs.CL cs.LG
Fine-Tuning Multilingual Language Models for Code Review: An Empirical Study on Industrial C# Projects
Technical University Dortmund, Lovion GmbH（图鲁尼大学，洛维昂公司）；Security\ Alliance Ruhr, Technical University Dortmund（安全联盟鲁尔，图鲁尼大学）
本研究通过微调CodeReviewer、CodeLlama-7B和DeepSeek-R1-Distill模型，在工业C#项目上实证发现单语微调优于多语言基线，能有效支持常规代码审查任务，但人类审查者在处理复杂变更时仍具优势。
2025-10-23 cs.AI cs.PL cs.SE
