代码大模型 / AI 编程

GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers

GBQA：用于评估LLM作为质量保证工程师的博弈基准

Shufan Jiang, Chios Chen, Zhiyang Chen

机构 * The University of Hong Kong（香港大学） ； Independent Researcher（独立研究者） ； Westlake University（西湖大学） ； Datawhale Org（Datawhale组织） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出GBQA基准，通过30款游戏和124个经人类验证的bug测试LLM自主发现软件缺陷的能力，实验表明最佳模型仅能识别48.39%的bug。

Comments Accepted as a workshop paper at the Fourteenth International Conference on Learning Representations (ICLR 2026)

Ambig-IaC: Multi-level Disambiguation for Interactive Cloud Infrastructure-as-Code Synthesis

Ambig-IaC：交互式云基础设施即代码合成的多级消歧

Zhenning Yang, Kaden Gruizenga, Tongyuan Miao, Patrick Tser Jern Kon, Hui Guan, Ang Chen

机构 * University of Michigan（密歇根大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出Ambig-IaC框架，通过多级消歧方法提升IaC配置生成的准确性，针对IaC配置的不可逆性，设计了基于结构分歧的评估框架，在结构和属性评估上分别提升18.4%和25.4%。

Transfer learning for nonparametric Bayesian networks

非参数贝叶斯网络的迁移学习

Rafael Sojo, Pedro Larrañaga, Concha Bielza

机构 * Aingura IIoT ； Universidad Politécnica de Madrid, Departamento de Inteligencia Artificial（马德里理工大学人工智能系） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出两种非参数贝叶斯网络迁移学习方法，PC-stable-transfer学习和hill climbing transfer学习，通过约束和评分方法提升模型性能，同时引入特定指标解决负迁移问题，最终通过统计检验证明方法有效性。

Comments An earlier version was previously posted on SSRN. This version includes improvements in experiments and evaluation metrics following reviewer comments. Revision submitted to Knowledge-Based Systems

TextBFGS: A Case-Based Reasoning Approach to Code Optimization via Error-Operator Retrieval

TextBFGS：通过错误-操作符检索的基于案例的推理代码优化方法

Zizheng Zhang, Yuyang Liao, Chen Chen, Jian He, Dun Wu, Qianjin Yu, Yanqin Gao, Jin Yang, Kailai Zhang, Eng Siong Chng, Xionghu Zhong

机构 * Zhongxing Telecom Equipment (ZTE)（中兴通讯股份有限公司） ； China Mobile（中国移动） ； Nanyang Technological University (NTU)（南洋理工大学） ； Hunan University（湖南大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 TextBFGS采用基于案例的推理方法，通过检索历史错误-操作符修正轨迹来优化代码生成，相比无状态方法更高效，显著提升了代码优化性能。

ComBench: A Repo-level Real-world Benchmark for Compilation Error Repair

ComBench：一个面向编译错误修复的仓库级真实世界基准

Jia Li, Zeyang Zhuang, Zhuangbin Chen, Yuxin Su, Wei Meng, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出ComBench，首个面向C/C++编译错误修复的仓库级真实世界基准，通过自动化框架系统挖掘GitHub CI历史中的真实失败案例，评估12种现代LLM在直接和代理修复设置下的表现，揭示模型在语法正确性与语义正确性上的显著差距。

AEGIS: From Clues to Verdicts -- Graph-Guided Deep Vulnerability Reasoning via Dialectics and Meta-Auditing

AEGIS：从线索到结论——通过辩证法和元审计的图引导深度漏洞推理

Sen Fang, Weiyuan Ding, Zhezhen Cao, Zhou Yang, Bowen Xu

机构 * NC State University（北卡罗来纳州立大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 AEGIS通过图引导的深度漏洞推理，结合辩证法和元审计，解决LLM推理不严谨的问题，实现从线索到结论的验证，提升漏洞检测的准确性与可靠性。

Comments 29 pages, 6 figures, 3 tables

LSR: Linguistic Safety Robustness Benchmark for Low-Resource West African Languages

LSR：低资源西非语言的语言安全鲁棒性基准

Godwin Abuh Faruna

机构 * Fagmart Lab（法格马特实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 LSR是首个评估跨语言拒绝退化现象的基准，针对西非语言中的有害意图表达，发现模型拒绝率从英语的90%降至35-55%，其中Igala语言退化最严重。

Comments 6 pages. Reference implementation: https://huggingface.co/spaces/Faruna01/lsr-dashboard. Dataset: https://huggingface.co/datasets/Faruna01/lsr-benchmark

CytoSyn: a Foundation Diffusion Model for Histopathology -- Tech Report

CytoSyn：一种用于病理学的基准扩散模型——技术报告

Thomas Duboudin, Xavier Fontaine, Etienne Andrier, Lionel Guillou, Alexandre Filiot, Thalyssa Baiocco-Rodrigues, Antoine Olivier, Alberto Romagnoni, John Klein, Jean-Baptiste Schiratti

机构 * Owkin, Inc（Owkin公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CytoSyn，一种先进的潜在扩散模型，用于生成高真实性和多样性的病理H&E染色图像，通过改进方法和训练策略，对比PixCell模型，展示了对预处理细节的敏感性。

Comments 21 pages, 5 figures, tech report, model page: https://huggingface.co/Owkin-Bioptimus/CytoSyn

IgPose: A Generative Data-Augmented Pipeline for Robust Immunoglobulin-Antigen Binding Prediction

IgPose：一种生成式数据增强管道，用于鲁棒的免疫球蛋白-抗原结合预测

Tien-Cuong Bui, Injae Chung, Wonjun Lee, Junsu Ko, Juyong Lee

机构 * Arontier Co., Ltd.（阿罗尼尔公司） ； Department of Molecular Medicine and Biopharmaceutical Sciences（分子医学与生物制药科学系） ； Graduate School of Convergence Science and Technology（融合科学与技术研究生院） ； Seoul National University（首尔国立大学） ； Research Institute of Pharmaceutical Science, College of Pharmacy（药学研究 institute，药学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 IgPose通过生成式数据增强管道和结合等效图神经网络等方法，提升免疫球蛋白与抗原结合预测的鲁棒性，实现高通量抗体发现。

Comments 11 pages, 4 figures, Bioinformatics

Journal ref Bioinformatics 42 (2026) btag076

From Stochastic Answers to Verifiable Reasoning: Interpretable Decision-Making with LLM-Generated Code

从随机答案到可验证推理：利用LLM生成代码的可解释决策

Anirudh Jaidev Mahesh, Ben Griffin, Fuat Alican, Joseph Ternasky, Zakari Salifu, Kelvin Amoaba, Yagiz Ihlamur, Aaron Ontoyin Yin, Aikins Laryea, Afriyie Samuel, Yigit Ihlamur

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Oxford（牛津大学） ； Vela Research（Vela研究公司） ； Amazon（亚马逊） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出将LLM视为代码生成器而非实例评估器，通过生成可执行决策逻辑提升决策可解释性与可重复性，在创业资本创始人筛选中实现更高精度与可验证性。

Comments 12 pages, 3 figures, 6 tables

Let's Verify Math Questions Step by Step

逐步验证数学问题

Chengyu Shen, Zhen Hao Wong, Runming He, Hao Liang, Meiyi Qiang, Zimo Meng, Zhengyang Zhao, Bohan Zeng, Zhengzhou Zhu, Bin Cui, Wentao Zhang

机构 * Peking University（北京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 ValiMath是一个包含2147个经过人类验证的数学问题的基准测试集，MathQ-Verify是用于验证数学问题正确性的流程，能有效提升数学数据集的质量和准确性。

Large Language Model Psychometrics: A Systematic Review of Evaluation, Validation, and Enhancement

大语言模型心理测量学：评估、验证与增强的系统综述

Haoran Ye, Jing Jin, Yuhang Xie, Xin Zhang, Guojie Song

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（一般人工智能国家重点实验室，智能科学与技术学院，北京大学） ； School of Psychological and Cognitive Sciences, Peking University（心理学与认知科学学院，北京大学） ； Key Laboratory of Machine Perception (Ministry of Education), Peking University（机器感知重点实验室（教育部），北京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统综述了大语言模型的心理测量学，通过整合心理测量工具和理论，提升LLM的评估、理解和增强能力，推动以人类为中心的AI发展。

Comments 400+ references

An Updated Assessment of Reinforcement Learning for Macro Placement

宏观布线强化学习的最新评估

Chung-Kuan Cheng, Andrew B. Kahng, Sayak Kundu, Yucheng Wang, Zhiang Wang

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文评估了Google Brain在宏观布线中的深度强化学习方法，展示了更新的CT实现，并分析了预训练指导和基准测试结果。

Comments There are total sixteen pages and two pages for the appendix. It includes six figures and eleven tables. This paper has been accepted and published in IEEE Transactions on CAD

Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications

基于行为规范的AI代理定义（TDAD）：从行为规范编译工具使用代理

Tzafrir Rehan

机构 * Fiverr Labs（Fiverr 实验室） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 TDAD通过编译行为规范生成可执行测试，确保工具使用代理在生产环境中的行为合规性，提升测试质量和回归安全性。

Comments 9 pages, 2 figures, open benchmark at https://github.com/f-labs-io/tdad-paper-code

Mapping Overlaps in Benchmarks through Perplexity in the Wild

通过在野 perplexity 映射重叠关系

Siyang Wu, Honglin Bao, Sida Li, Ari Holtzman, James A. Evans

机构 * Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 通过分析LLM基准测试的perplexity，揭示了不同任务间的重叠结构及LLM能力差异。

Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

Evo：具有进化平衡的自回归-扩散大语言模型

Junde Wu, Minhao Hu, Jiayuan Zhu, Yuyuan Liu, Tianyi Zhang, Kang Li, Jingkun Chen, Jiazhen Pan, Min Xu, Yueming Jin

机构 * University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Technical University of Munich（慕尼黑技术大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 Evo通过进化平衡机制，结合自回归和扩散模型，实现高效且高质量的语言生成。

TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

TML-Bench：用于表格机器学习任务的数据科学代理基准

Mykola Pinchuk

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 TML-Bench评估10个开源LLM在Kaggle竞赛中的表现，揭示不同时间预算下模型性能的差异及稳定性。

Comments 19 pages, 16 tables and figures

MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers

MCP-SafetyBench：一种用于评估大型语言模型在真实MCP服务器安全性的大规模基准

Xuanjun Zong, Zhiqi Shen, Lei Wang, Yunshi Lan, Chao Yang

机构 * East China Normal University（东华师范大学） ； Salesforce AI Research（Salesforce人工智能研究） ； Singapore Management University（新加坡国立大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 MCP-SafetyBench通过真实MCP服务器评估大型语言模型的安全性，揭示了模型在面对MCP攻击时的脆弱性及安全与实用性的权衡问题。

Comments Our benchmark is available at https://github.com/xjzzzzzzzz/MCPSafety

Code Fingerprints: Disentangled Attribution of LLM-Generated Code

代码指纹：解耦的LLM生成代码归因

Jiaxun Guo, Ziyuan Yang, Mengyu Sun, Hui Wang, Jingfeng Lu, Yi Zhang

机构 * School of Cyber Science and Engineering, Sichuan University, Chengdu, China（四川大学计算机科学与工程学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

AI总结 本文提出DCAN网络，通过解耦语义与风格信息，实现对LLM生成代码的多模型归因。

Comments 11 pages, 11 figures

An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention

通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推

Madhusudan Ghosh, Rishabh Gupta

机构 * Bosch Research and Technology Centre, Bangalore, India（博世研究与技术中心，班加罗尔，印度） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推，旨在提升代码生成任务的泛化能力。

Search or Accelerate: Confidence-Switched Position Beam Search for Diffusion Language Models

搜索或加速：基于置信度切换的位置束搜索用于扩散语言模型

Mingyu Cao, Alvaro H. C. Correia, Christos Louizos, Shiwei Liu, Lu Yin

机构 * University of Surrey（塞拉利昂大学） ； Qualcomm AI Research. Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc.（高通人工智能研究） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 SOAR通过置信度切换机制优化扩散语言模型的解码过程，提高生成质量并保持推理效率。

Comments 11 pages, 8 figures

CodeCompass: Navigating the Navigation Paradox in Agentic Code Intelligence

CodeCompass: 在代理代码智能中导航悖论的探索

Tarakanath Paipuru

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 CodeCompass通过基于图的结构导航提升代码智能代理在隐藏依赖任务中的性能，揭示导航与检索本质不同，需显式引导代理利用结构上下文。

Comments 23 pages, 7 figures. Research study with 258 trials on SWE-bench-lite tasks. Code and data: https://github.com/tpaip607/research-codecompass

ML-Tool-Bench: Tool-Augmented Planning for ML Tasks

ML-Tool-Bench: 为机器学习任务增强的工具辅助规划

Yaswanth Chittepu, Raghavendra Addanki, Tung Mai, Anup Rao, Branislav Kveton

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Adobe Research（Adobe研究） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ML-Tool-Bench，通过引入内存中的命名对象管理，评估工具增强的ML代理，改进了ReAct方法，提升了16.52个百分点。

The Perplexity Paradox: Why Code Compresses Better Than Math in LLM Prompts

困惑性悖论：为什么代码在LLM提示中比数学压缩得更好

Warren Johnson

机构 * Bona Opera Studios（博纳歌剧工作室） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示代码在LLM提示中比数学压缩更有效的原因，并提出TAAC算法实现更高效的压缩。

Comments 19 pages, 5 figures, 4 tables. Second paper in TAAC research series. Code and data at https://github.com/micoverde/taac-llm-compression

EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems

EvoCodeBench：用于自演化LLM驱动编码系统的性能基准

Wentao Zhang, Jianfeng Wang, Liheng Liang, Yilei Zhao, HaiBin Wen, Zhe Zhao

机构 * Nanyang Technological University（南洋理工大学） ； East China University of Science and Technology（东华大学） ； Guangdong Ocean University（广东海洋大学） ； City University of Hong Kong（香港城市大学） ； Stanford University（斯坦福大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 EvoCodeBench通过跨语言对比和人类表现评估，评估自演化LLM驱动编码系统的性能提升与效率改进。

BenchPress: A Human-in-the-Loop Annotation System for Rapid Text-to-SQL Benchmark Curation

BenchPress：一种用于快速文本到SQL基准定制的人机协作标注系统

Fabian Wenz, Omar Bouattour, Devin Yang, Justin Choi, Cecil Gregg, Nesime Tatbul, Çağatay Demiralp

机构 * TU Munich（慕尼黑技术大学） ； MIT（麻省理工学院） ； Intel Labs（英特尔实验室） ； AWS AI Labs（亚马逊AI实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 BenchPress通过人机协作系统加速特定领域文本到SQL基准的创建，结合LLM生成与人类验证提升标注准确性与基准可靠性。

Comments CIDR'26

Multi-task Code LLMs: Data Mix or Model Merge?

多任务代码LLM：数据混合还是模型合并？

Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本研究比较了数据混合与模型合并在多任务代码LLM中的效果，发现模型合并在大模型规模下表现更优，而数据混合在小规模更有效，为资源受限场景提供了高效解决方案。

A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

一种分层不精确概率方法用于大型语言模型的可靠性评估

Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

机构 * WMG, University of Warwick（沃里克大学工业与制造业学院） ； Center for Frontier AI Research, A*STAR（前沿人工智能研究中心） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Center for Software Reliability, City St George's, University of London（伦敦大学圣乔治学院软件可靠性中心） ； Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出HIP-LLM，一种分层不精确概率框架，用于更准确地评估大型语言模型的可靠性。

Comments under review

PYRREGULAR: A Unified Framework for Irregular Time Series, with Classification Benchmarks

PYRREGULAR: 一种用于不规则时间序列的统一框架，包含分类基准

Francesco Spinnato, Cristiano Landi

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 PYRREGULAR提出了一种统一框架和标准化数据集存储库，用于不规则时间序列分类，通过基准测试12种分类器模型，促进跨领域研究与评估。

TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning

TangramPuzzle: 通过组合空间推理评估多模态大语言模型

Daixian Liu, Jiayi Kuang, Yinghui Li, Yangning Li, Di Yin, Haoyu Cao, Xing Sun, Ying Shen, Hai-Tao Zheng, Liang Lin, Philip S. Yu

机构 * Tsinghua University（清华大学） ； Sun-Yat Sen University（孙逸人大学） ； Tencent Youtu Lab（腾讯优图实验室） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力，发现模型在匹配轮廓时忽视几何约束，导致碎片变形。