代码大模型 / AI 编程

Agentic Proving for Program Verification

程序验证的智能体证明

Alessandro Sosso, Akhil Arora, Bas Spitters

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 本文评估Claude Code在Lean 4基准CLEVER上的智能体证明框架，结果显示其能生成98.8%问题的有效规范，87.5%的实现通过验证，端到端成功率达98.1%，并指出当前基准与智能体能力不匹配，需更严格的评估方法。

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

向量策略优化：为多样性训练改进测试时间搜索

Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

机构 * MIT（麻省理工学院） ； Improbable AI Lab（Improbable AI 实验室） ； MIT-IBM Computing Research Lab（麻省理工-IBM 计算研究实验室） ； Sakana AI 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出向量策略优化（VPO）方法，通过训练策略以预测多样化的下游奖励函数，从而产生多样化的解决方案，以改进测试时间搜索的性能。

Comments 24 pages

Retrospective Sparse Attention for Efficient Long-Context Generation

回顾性稀疏注意力用于高效长上下文生成

Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

DEL：用于大语言模型数值学习的数字熵损失

Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； VCIP, College of Computer Science, Nankai University（南开大学计算机学院VCIP） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Digit Entropy Loss (DEL)用于大语言模型的自回归数值学习，通过重新设计传统无监督熵优化，引入数字条件概率和二元交叉熵，使熵优化转向监督方式，同时推广整数基于的数值学习到浮点数优化，从而提升数值预测的准确性。

Protocol-Driven Development: Governing Generated Software Through Invariants and Continuous Evidence

基于协议的开发：通过不变式和连续证据治理生成的软件

Jun He, Deying Yu

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 本文提出了一种基于协议的开发方法，通过定义协议的不变式和连续证据来治理生成的软件，其核心贡献是将协议作为主要软件 artifact，而非代码，从而实现对生成软件的持续验证和治理。

Comments 20 pages, 2 tables

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning

学习率至关重要：Vanilla LoRA可能足以用于LLM微调

Yu-Ang Lee, Ching-Yun Ko, Pin-Yu Chen, Mi-Yen Yeh

机构 * National Taiwan University（国立台湾大学） ； IBM Research（IBM研究院） ； Academia Sinica（台湾“学术院”） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过广泛的超参数搜索重新评估了九种代表性的LoRA变体和Vanilla LoRA，在数学推理、常识推理、代码生成和指令遵循等任务上，发现不同的LoRA方法偏好不同的学习率范围。当学习率正确调整时，所有方法都能达到相似的峰值性能，这表明Vanilla LoRA仍然是一个有竞争力的基线，而单一训练配置下的改进可能并不反映一致的方法优势。

Comments Project page: https://github.com/yuang-lee/lr-matters-lora

Locally Coherent Parallel Decoding in Diffusion Language Models

局部相干并行解码在扩散语言模型中

Michael Hersche, Nicolas Menet, Ronan Tanios, Abbas Rahimi

机构 * IBM Research - Zurich（IBM瑞士研究实验室） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CoDiLA方法，通过引入小型辅助自回归模型来解决扩散语言模型在并行解码中的相干性问题，从而在代码生成任务中实现更高的准确性和速度。

Comments Accepted at ICML 2026

The IsalProgram Programming Language

IsalProgram 编程语言

Ezequiel López-Rubio

机构 * Department of Computer Languages and Computer Science（计算机语言与计算机科学系） ； University of Málaga（马拉加大学） ； ITIS Software（ITIS软件） ； Universidad de Málaga（马拉加大学） 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.CL、cs.AI、cs.PL

AI总结 本文提出了一种新的类似汇编的编程语言IsalProgram，其核心特性包括：1) 作为形式语言理论中的正则语言，其程序可被有限自动机接受；2) 每个有限的指令字母表上的字符串都是语法有效的程序；3) 不显式使用内存地址或变量名。程序由固定指令集中的有限令牌序列组成，并在虚拟机上执行，其唯一数据结构是通过三个数据指针导航的循环双链表，控制流由两个代码指针控制。本文还讨论了IsalProgram作为神经程序合成目标语言的潜在优势，以及通过Levenshtein编辑距离进行程序空间度量探索的可能性，以及在此框架内分析可计算性和复杂性的方向。

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

DACA-GRPO：去噪感知的信用分配用于扩散语言模型中的强化学习

Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

机构 * The Ohio State University（俄亥俄州立大学） ； Apple（苹果公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DACA-GRPO，通过引入去噪进度评分和分层掩码似然，改进扩散语言模型中强化学习的信用分配，提升数学推理、代码生成等任务性能。

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

GRLO：从零开始在开放环境中的通用强化学习

Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力，探索其对话能力是否能迁移至数学推理和代码生成等下游任务，展示出高效且低成本的训练方法。

Antidistillation Fingerprinting

对抗蒸馏指纹

Yixuan Even Xu, John Kirchenbauer, Yash Savani, Asher Trockman, Alexander Robey, Tom Goldstein, Fei Fang, J. Zico Kolter

机构 * Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） ； University of Maryland, College Park, MD, USA（马里兰大学学院市分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出对抗蒸馏指纹方法，通过代理模型识别并采样最大化指纹检测性的token，提升检测效果同时减少对模型性能的影响。

Comments 28 pages, 13 figures, ICML 2026

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

原始生成，双重判断：从测试时扩展进行自我训练

Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.LG

AI总结 本文提出DuST框架，通过双重判断空间提升代码生成与判断能力，实验显示在多个模型上显著提升测试时扩展性能。

EGSS: Entropy-guided Stepwise Scaling for Reliable Software Engineering

EGSS: 基于熵引导的逐步缩放以实现可靠的软件工程

Chenhui Mao, Yuanting Lei, Zhixiang Wei, Ming Liang, Zhixiang Wang, Jingxuan Xu, Dajun Chen, Wei Jiang, Yong Li

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.LG

AI总结 EGSS通过熵引导的自适应搜索和稳健的测试套件增强，解决了代理测试时间缩放中的计算开销问题，提升了性能并降低了推理时间。

Efficient Estimation of Kernel Surrogate Models for Task Attribution

高效估计用于任务归因的核替代模型

Zhenshuo Zhang, Minxuan Duan, Hongyang R. Zhang

机构 * Northeastern University（东北大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出核替代模型用于高效估计任务归因，通过第二阶分析建立线性替代模型与影响函数的联系，并在多个任务设置中验证其有效性，实现更高的相关性和可扩展性。

Comments 27 pages. Appeared in ICLR 2026

CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment

CASCADE：基于案例的连续适应：在部署期间为大型语言模型进行持续适应

Siyuan Guo, Yali Du, Hechang Chen, Yi Chang, Jun Wang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（吉林大学知识驱动人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际中心） ； Department of Informatics, King’s College London（伦敦国王学院信息学院） ； The Alan Turing Institute（艾伦·图灵研究所） ； AI Centre, Department of Computer Science, UCL（UCL计算机科学系人工智能中心） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CASCADE框架，通过在部署期间持续学习提升LLM性能，实现20.9%的提升，并在多个领域任务中优于基线方法。

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective

重新思考适配器放置：从主导适配模块视角出发

Suoxin Zhang, Run He, Di Fang, Xiang Tan, Kaixuan Chen, Huiping Zhuang

机构 * South China University of Technology, China（华南理工大学） ； Zhejiang University, China（浙江大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DomLoRA方法，通过在主导适配模块放置单个适配器，以提升模型性能，验证了该模块在不同任务中的稳定性。

MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate

MAD-OPD: 突破基于策略的蒸馏的天花板：多智能体辩论

Jianze Wang, Ying Liu, Jinlong Chen, Xuchun Hu, Qilong Zhang, Yu Cao, Jun Wang, Hua Yang, Yong Xie, Qianglong Chen

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MAD-OPD通过多智能体辩论机制突破单教师限制，提出多教师辩论框架和基于任务的分歧原理，提升代理任务和代码生成性能。

Comments Preprint. 9-page main paper + appendix. 8 figures, 7 tables. Code: https://github.com/chiefovoavicii/MAD-OPD

LLM Ghostbusters: Surgical Hallucination Suppression via Adaptive Unlearning

LLM Ghostbusters: 通过自适应反学习实现精准幻觉抑制

Joseph Spracklen, Pedram Aghazadeh, Farinaz Koushanfar, Murtuza Jadliwala

机构 * University of Texas San Antonio（德克萨斯大学圣安东尼奥分校） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出自适应反学习框架，通过混合token级目标和自适应发现循环，有效抑制LLM幻觉，减少81%的包幻觉率，同时保持编码基准性能，验证其对特定分布的针对性效果。

Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

熵中心作为测试时缩放的内在奖励

Wenshuo Zhao, Qi Zhu, Xingshan Zeng, Fei Mi, Lifeng Shang, Yi R., Fung

机构 * HKUST（香港科技大学） ； ZJU（浙江大学） ； Huawei（华为） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出熵中心作为测试时缩放的内在奖励，通过分析不确定性的时间结构提升模型响应质量，在不同规模模型上均优于现有基线。

Comments Under Review, 39 pages

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

将TIDE转向：用于扩散大语言模型的跨架构蒸馏

Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

机构 * Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TIDE框架，通过跨架构蒸馏提升扩散大语言模型性能，采用三个模块解决不同架构间的知识转移问题，在八个基准测试中平均提升1.53分，尤其在代码生成任务中表现突出。

Comments 15 pages, 3 figures. Code: https://github.com/PKU-YuanGroup/TIDE

Large Language Models for Multilingual Code Intelligence: A Survey

大型语言模型用于多语言代码智能：综述

Chao Jiang, Dugang Liu, Cheng Wen, Zhiwu Xu, Hua Zheng, Muhammad Sadiq, Jawwad Ahmed Shamsi, Shengchao Qin, Zhong Ming

机构 * College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院，中国） ； Guangzhou Institute of Technology, Xidian University, China（广州理工大学，西安电子科技大学，中国） ； Guangzhou University of Software, China（广州软件大学，中国） ； Shenzhen University of Information Technology（深圳信息大学） ； National University of Computer and Emerging Sciences Karachi, Pakistan（巴基斯坦卡拉奇国家计算机与新兴科学大学） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.LG、cs.PL

AI总结 本文综述了多语言代码生成与翻译的关键任务，探讨了现有方法、基准和评估指标，指出多语言代码智能在现实系统中的重要性及挑战。

Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference

绿色提示：字符化提示驱动的LLM推理能耗

Marta Adamska, Daria Smirnova, Hamid Nasiri, Zhengxin Yu, Peter Garraghan

机构 * School of Computing and communications（计算与通信学院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过实验分析不同提示和响应特征对LLM推理能耗的影响，发现任务语义和关键词对能耗有显著影响，提示设计优化可提升推理效率。

Comments 9 pages, 5 figures

Generating Verifiable Chain of Thoughts from Exection-Traces

从执行轨迹生成可验证的推理链

Shailja Thakur, Vaibhav Saxena, Rohan Kulkarni, Shivdeep Singh, Parameswaran Selvam, Hima Patel, Hiroshi Kanayama

机构 * IBM Research, India（印度IBM研究院） ； IBM Research, Japan（日本IBM研究院） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.AI、cs.PL

AI总结 本文提出通过生成执行轨迹验证的推理链，提升模型在代码推理和生成中的准确性，实验显示验证质量显著提升模型性能。

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

LaDiR：潜在扩散增强大语言模型进行文本推理

Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Apple（苹果公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力，提升大语言模型在文本推理中的准确性、多样性和可解释性。

WebGen-R1: Incentivizing Large Language Models to Generate Functional and Aesthetic Websites with Reinforcement Learning

WebGen-R1: 通过强化学习激励大语言模型生成功能性和美观的网站

Juyong Jiang, Chenglin Cai, Chansung Park, Jiasi Shen, Sunghun Kim, Jianguo Li, Yue Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Electronics and Telecommunications Research Institute（电子电信研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.LG

AI总结 本文提出WebGen-R1框架，通过强化学习生成多页面功能性和美观的网站，解决了传统方法在多页面交互和审美评估上的不足。

Empowering Multi-Turn Tool-Integrated Agentic Reasoning with Group Turn Policy Optimization

通过群体回合策略优化增强多轮工具集成代理推理

Yifeng Ding, Hung Le, Songyang Han, Kangrui Ruan, Zhenghui Jin, Varun Kumar, Zijian Wang, Anoop Deoras

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AWS AI Labs（AWS人工智能实验室） ； NVIDIA ； Meta 纠错

专题命中 代码生成 ：program synthesis(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GTPO算法，通过细粒度奖励、优势估计和自监督奖励塑造，提升大语言模型在多轮工具推理任务中的性能，优于GRPO并在常识推理和程序合成任务中表现更佳。

Probabilistic Programs of Thought

思维概率程序

Poorva Garg, Renato Lui Geh, Daniel Israel, Todd Millstein, Kyle Richardson, Guy Van den Broeck

机构 * University of California Los Angeles（加州大学洛杉矶分校） ； Allen Institute for AI（Allen人工智能研究所） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.PL

AI总结 本文提出思维概率程序框架，通过利用生成程序的分布，减少GPU计算开销，提升代码生成和数学推理任务的效率。

Comments 26 pages

VeriGraphi: A Multi-Agent Framework of Hierarchical RTL Generation for Large Hardware Designs

VeriGraphi：一种用于大规模硬件设计的分层RTL生成多智能体框架

Sazzadul Islam, Tasnim Tabassum, Hao Zheng

机构 * Dept. of Computer Science \& Eng. University of South Florida Tampa, Florida, United States 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.AI、cs.LG、cs.PL

AI总结 VeriGraphi通过构建基于规范的图谱，解决LLM在生成分层RTL时的结构失真问题，实现可靠生成并保持功能正确性。

Comments 9 pages, 2 figures, Case studies, v2

AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation

AdaExplore: 基于失败的适应与多样性保持搜索用于高效内核生成

Weihua Du, Jingming Zhuo, Yixin Dong, Andre Wang He, Weiwei Sun, Zeyu Zheng, Manupa Karunaratne, Ivan Fox, Tim Dettmers, Tianqi Chen, Yiming Yang, Sean Welleck

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） ； Arm Ltd（Arm有限公司） 纠错

专题命中 代码生成 ：code generation(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AdaExplore通过积累执行反馈实现自我改进，通过失败驱动适应和多样性保持搜索提升内核生成的正确性和优化性能，无需额外微调或外部知识。

Comments Preliminary work. The implementation is available at https://github.com/StigLidu/AdaExplore

"CS 1.5": An Experience Report on Integrating CS1 and Discrete Structures for the AI Era

CS 1.5：人工智能时代整合计算机科学基础与离散结构的教学实践报告

Ildar Akhmetov, Juancho Buchanan

专题命中 代码生成 ：code generation(abstract)；repository(abstract)

AI总结 本文探讨了在人工智能时代整合计算机科学基础与离散结构的教学方法，通过设计融合课程提升理论与实践能力，强调AI作为协作工具，并提出教学改革与实践建议。