代码大模型 / AI 编程

How Generation Architecture Shapes Code Complexity in Multi-Agent LLM Systems: A Paired Study on HumanEval

生成架构如何塑造多智能体LLM系统中的代码复杂度：基于HumanEval的配对研究

Nazmus Ashrafi

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 通过配对实验比较六种多智能体架构在HumanEval上的代码复杂度，发现架构复杂度与功能正确性无正相关，最简架构在准确率上持平或超越复杂架构。

Comments 16 pages, 7 figures, 7 tables

Rethinking Memory as Continuously Evolving Connectivity

重新思考记忆作为持续演化的连接性

Jizhan Fang, Buqiang Xu, Zhixian Wang, Haoliang Cao, Xinle Deng, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu, Ying Wei, Guozhou Zheng, Feiyu Xiong, Haofen Wang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； MemTensor ； Tongji University（同济大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 FluxMem 框架，将记忆建模为异构图并通过三个阶段（初始连接形成、反馈驱动优化、长期巩固）动态演化拓扑结构，以解决现有记忆增强型 LLM 代理在动态环境中的脆弱性问题。

Comments Ongoing work

1GC-7RC: One Graphic Card -- Seven Research Challenges! How Good Are AI Agents at Doing Your Job?

1GC-7RC：一张图形卡——七个研究挑战！AI代理在做你的工作方面有多好？

Robin-Nico Kampa, Fabian Deuser, Anna Bößendörfer, Konrad Habel, Norbert Oswald

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出1GC-7RC基准测试，通过七个跨领域机器学习任务评估AI代理在从头设计、实现和训练模型的能力，揭示了不同代理在隐式机器学习知识、规划能力和时间预算管理方面的差异。

OmniCode: A Benchmark for Evaluating Software Engineering Agents

OmniCode: 一个评估软件工程代理的基准

Atharv Sonwane, Eng-Shen Tu, Wei-Chung Lu, Claas Beger, Carter Larsen, Debjit Dhar, Simon Alford, Rachel Chen, Ronit Pattanayak, Tuan Anh Dang, Guohao Chen, Gloria Geng, Kevin Ellis, Saikat Dutta

机构 * Cornell University（康奈尔大学） ； Independent contributor（独立贡献者） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； Jadavpur University（贾瓦伊普尔大学） ； New York University（纽约大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出OmniCode，一个涵盖更广泛任务类别的软件工程基准，旨在评估软件代理在不同软件开发方面的性能。

AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents

AgentKernelArena: GPU核优化代理的通用化意识基准测试

Sharareh Younesian, Wenwen Ouyang, Sina Rafati, Mehdi Rezagholizadeh, Sharon Zhou, Ji Liu, Yue Liu, Yuchen Yang, Hao Li, Ziqiong Liu, Dong Li, Vikram Appia, Zhenyu Gu, Emad Barsoum

机构 * AMD 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AgentKernelArena，一个用于评估GPU核优化代理的开源基准，通过隔离工作区和统一评分机制，测试代理在不同任务和硬件目标上的性能和通用化能力，发现大多数任务在正确性和编译效率上表现优异，但在PyTorch到HIP的转换任务中存在显著的正确性下降。

Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development

Vibe Code Bench：评估AI模型在端到端Web应用开发中的表现

Hung Tran, Langston Nashold, Rayan Krishnan, Antoine Bigeard, Alex Gu

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出Vibe Code Bench，通过100个Web应用规格和964个浏览器工作流评估AI模型在端到端应用开发中的性能，揭示了可靠开发仍为前沿挑战，并提出评估协议和人类对齐研究。

Comments 23 pages, 8 figures. Accepted to ACM CAIS 2026. Live leaderboard: https://www.vals.ai/benchmarks/vibe-code. Benchmark first released Nov 2025

EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages

EsoLang-Bench: 通过奇特编程语言评估大语言模型的真实推理能力

Aman Sharma, Paras Chopra

机构 * Lossfunk 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 EsoLang-Bench通过五种奇特编程语言评估大语言模型在分布外编程语言上的推理能力，发现前沿模型在处理陌生语言时存在显著能力差距。

Comments 45 pages, 8 figures, preprint

Sketch-and-Verify: Structured Inference-Time Scaling via Program Sketching

Sketch-and-Verify: 通过程序草图实现推理时间扩展

Shan Jiang, Zijian Yi, Chenguang Zhu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出SKETCHVERIFY方法，通过程序草图生成多样化候选方案，验证后选择最优，提升模型性能，同时探讨K与M的权衡关系。

Mage: Multi-Axis Evaluation of LLM-Generated Executable Game Scenes Beyond Compile-Pass Rate

Mage：多轴评估LLM生成的可执行游戏场景超越编译通过率

Hugh Xuechen Liu, Kıvanç Tatar

机构 * Chalmers University of Technology and University of Gothenburg（楚尔姆斯理工大学和哥德堡大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出Mage多轴评估框架，通过编译通过率、运行通过率、结构保真度和机制符合度四个维度评估LLM生成的游戏场景，发现编译通过率与功能正确性反相关，证明多轴评估对检测领域差异的必要性。

Comments Main Content: 10 pages, 1 figure. In total 22 pages

An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code

对本地部署LLM在Python代码中检测bug的实证评估

Jelena Ilić Vulićević

机构 * Independent Researcher Master of Electrical（独立研究者 电气工程硕士） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文评估了本地部署的LLaMA 3.2和Mistral在Python bug检测中的性能，发现其准确率在43%-45%之间，但难以精确定位修复。

Comments 8 pages, 5 figures. Code available at https://github.com/insajder/llm-bug-detection

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

ReflexiCoder：通过强化学习教大语言模型自我反思和自我纠正生成的代码

Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Amazon AGI（亚马逊人工智慧实验室） ； NAVER Cloud（NAVER云） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.LG

AI总结 本文提出ReflexiCoder，一种基于强化学习的框架，使大语言模型在推理过程中自我反思和纠正代码，通过细粒度奖励函数优化整个反思-纠正过程，实现无需外部反馈的自我调试能力，实验表明其在多个基准测试中表现优异，且在推理效率上更高效。

How Robustly do LLMs Understand Execution Semantics?

大语言模型如何理解执行语义的鲁棒性？

Claudio Spiess, Prem Devanbu, Earl T. Barr

机构 * University College London（伦敦大学学院） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 研究通过代码输出预测任务评估大语言模型对代码理解的鲁棒性，发现开源模型在代码变换和输入扰动下表现稳定，而前沿模型GPT-5.2表现出显著的脆弱性，且异常处理能力不足。

AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent

AgentOpt v0.1 技术报告：基于LLM的代理的客户端优化

Wenyue Hua, Sripad Karne, Qian Xie, Armaan Agrawal, Nikos Pagonas, Kostis Kaffes, Tianyi Peng

机构 * Microsoft Research, AI Frontiers（微软研究院，人工智能前沿） ； Cornell University（康奈尔大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出AgentOpt框架，用于解决LLM代理客户端资源分配问题，通过多种搜索算法优化模型选择和资源分配，提升效率与效果。

Comments 24 pages, 1 figure

Memp: Exploring Agent Procedural Memory

Memp：探索代理程序记忆

Runnan Fang, Yuan Liang, Xiaobin Wang, Jialong Wu, Shuofei Qiao, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； State Key Lab. for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Memp，一种可学习、可更新且终身的程序记忆系统，通过提炼历史轨迹生成细粒度指令和高层脚本抽象，提升代理在TravelPlanner和ALFWorld任务中的成功率和效率。

Comments ACL 2026 Findings

Pioneer Agent: Continual Improvement of Small Language Models in Production

先驱代理：生产环境中小语言模型的持续改进

Dhruv Atreja, Julia White, Nikhil Nayak, Kelton Zhang, Henrijs Princis, George Hurn-Maloney, Ash Lewis, Urchade Zaratiana

机构 * Fastino Labs 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Pioneer Agent，通过闭环系统自动化小语言模型的持续改进，通过冷启动和生产模式提升模型性能，发现有效训练策略。

Comments 43 pages, 10 figures, 14 tables

Triage: Routing Software Engineering Tasks to Cost-Effective LLM Tiers via Code Quality Signals

Triage: 通过代码质量信号将软件工程任务路由到成本效益高的LLM层级

Lech Madeyski

机构 * Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 Triage利用代码健康度指标作为路由信号，将任务分配到最便宜的模型层级，通过分析代码质量与模型层级成本的关系，提升任务处理效率。

Comments 5 pages, 1 figure

Paper Reconstruction Evaluation: Evaluating Presentation and Hallucination in AI-written Papers

论文重构评估：评估AI论文中的表现和幻觉

Atsuyuki Miyai, Mashiro Toyooka, Zaiying Zhao, Kenta Watanabe, Toshihiko Yamasaki, Kiyoharu Aizawa

机构 * The University of Tokyo（东京大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出首个系统评估框架，用于量化现代编码代理生成论文的质量与风险。通过重构现有论文并生成完整论文进行比较，将评估分为表现和幻觉两个维度，基于PaperWrite-Bench基准测试，揭示ClaudeCode和Codex在表现与幻觉间的权衡。

Comments Project Page: https://agent4science-utokyo.github.io/PaperRecon_HP/

The Dual-State Architecture for Reliable LLM Agents

双状态架构用于可靠的LLM代理

Matthew Thompson

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出双状态动作对DSAP，通过结合随机生成与确定性后置条件验证，提升LLM代理在软件工程中的可靠性，实验表明在1.2-2.1倍基准成本下可靠性提升达66个百分点。

Comments 18 pages, 2 figures, 5 tables. V2 extends and supersedes V1, introducing tri-state guard semantics, a three-level recovery hierarchy, and SWE-Bench boundary analysis

One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis

一个模型，多种技能：用于多任务代码分析的参数高效微调

Amal Akli, Maxime Cordy, Mike Papadakis, Yves Le Traon

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出多任务PEFT方法，通过共享模块在代码分析中实现性能与效率的平衡，验证了其在多任务场景下的有效性。

ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

ESGenius：对环境、社会和治理（ESG）及可持续性知识的LLM基准测试

Chaoyue He, Xin Zhou, Yi Wu, Xinjia Yu, Yan Zhang, Lei Zhang, Di Wang, Shengfei Lyu, Hong Xu, Xiaoqiao Wang, Wei Liu, Chunyan Miao

机构 * Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里巴巴-NTU全球可持续性公司实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ESGenius是首个针对LLM在ESG及可持续性知识评估的综合问答基准，通过RAG方法显著提升模型性能。

Comments EMNLP'25 Main Oral (42 pages, 10 figures, 11 tables), Nominations for Resource Award & Theme Paper Award

Journal ref In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), pages 14612-14653

AgenticTyper: Automated Typing of Legacy Software Projects Using Agentic AI

AgenticTyper: 使用代理AI自动类型化遗留软件项目

Clemens Pohle

机构 * Darmstadt University of Applied Sciences（达姆斯塔德应用技术大学） ； MaibornWolff GmbH（马本沃尔夫公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 AgenticTyper利用代理AI自动类型化遗留软件项目，通过迭代错误纠正和行为保留技术，高效解决类型错误问题。

Comments Accepted at ICSE 2026 Student Research Competition (SRC)

BatCoder: Self-Supervised Bidirectional Code-Documentation Learning via Back-Translation

BatCoder: 通过回译实现的双向代码-文档自监督学习

Jingwen Xu, Yiyang Lu, Zisu Huang, Changze Lv, Xiaohua Wang, Shizheng Li, Zhibo Xu, Zhengkang Guo, Zhengyuan Wang, Muzhao Tian, Xuanjing Huang, Xiaoqing Zheng

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（计算机科学与人工智能学院，复旦大学，上海，中国） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 BatCoder通过回译策略实现代码与文档的双向自监督学习，提升模型在代码生成和文档生成任务中的性能。

Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis

通过对比分析在代码环境中基准测试奖励黑客检测

Darshan Deshpande, Anand Kannappan, Rebecca Qian

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文通过对比分析提出了一种涵盖54类的奖励利用分类法，并引入TRACE基准测试，展示模型在对比设置中对奖励黑客的检测效果优于孤立分类设置。

Comments Dataset: https://huggingface.co/datasets/PatronusAI/trace-dataset

Towards Automated Smart Contract Generation: Evaluation, Benchmarking, and Retrieval-Augmented Repair

迈向自动智能合约生成：评估、基准测试与检索增强修复

Zaoyu Chen, Haoran Qin, Nuo Chen, Xiangyu Zhao, Lei Xue, Xiapu Luo, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文提出SolBench和RAR框架，通过基于执行的基准测试和检索增强修复方法，提升Solidity智能合约生成的准确性和效率。

Comments Accepted by FSE 2026

A Benchmark for Procedural Memory Retrieval in Language Agents

一种用于语言代理中程序记忆检索的基准测试

Ishant Kohar, Aswanth Krishnan

机构 * Qpi AI 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种用于评估语言代理程序记忆检索能力的基准测试，通过构建双语料库和系统分层查询，揭示了基于嵌入的方法在新上下文中的泛化问题，并展示了LLM生成的程序抽象在跨上下文转移中的优势。

Planning-Aware Code Infilling via Horizon-Length Prediction

Yifeng Ding, Hantian Ding, Shiqi Wang, Qing Sun, Varun Kumar, Zijian Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AWS AI Labs（AWS人工智能实验室） ； Meta 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL、cs.LG

Keeping Code-Aware LLMs Fresh: Full Refresh, In-Context Deltas, and Incremental Fine-Tuning

Pradeep Kumar Sharma, Ishaan Puri, Mantinder Jit Singh, Swapnil Shivaprasad, Hritvik Shrivastava

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI、cs.LG

EnvTrace: Simulation-Based Semantic Evaluation of LLM Code via Execution Trace Alignment -- Demonstrated at Synchrotron Beamlines

Noah van der Vleuten, Anthony Flores, Shray Mathur, Max Rakitin, Thomas Hopkins, Kevin G. Yager, Esther H. R. Tsai

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

Dynamic Stability of LLM-Generated Code

Prateek Rajput, Abdoul Aziz Bonkoungou, Yewei Song, Abdoul Kader Kabore, Iyiola E. Olatunji, Jacques Klein, Tegewende Bissyande

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

Comments 10 pages, 8 figures

Assessing LLM Reasoning Steps via Principal Knowledge Grounding

Hyeon Hwang, Yewon Cho, Chanwoong Yoon, Yein Park, Minju Song, Kyungjae Lee, Gangwoo Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； University of Seoul（首尔大学） ； AWS AI Labs（AWS人工智能实验室） ； AIGEN Sciences（AIGEN科学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025 Findings