代码大模型 / AI 编程

Large Language Model Psychometrics: A Systematic Review of Evaluation, Validation, and Enhancement

大语言模型心理测量学：评估、验证与增强的系统综述

Haoran Ye, Jing Jin, Yuhang Xie, Xin Zhang, Guojie Song

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（一般人工智能国家重点实验室，智能科学与技术学院，北京大学） ； School of Psychological and Cognitive Sciences, Peking University（心理学与认知科学学院，北京大学） ； Key Laboratory of Machine Perception (Ministry of Education), Peking University（机器感知重点实验室（教育部），北京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统综述了大语言模型的心理测量学，通过整合心理测量工具和理论，提升LLM的评估、理解和增强能力，推动以人类为中心的AI发展。

Comments 400+ references

An Updated Assessment of Reinforcement Learning for Macro Placement

宏观布线强化学习的最新评估

Chung-Kuan Cheng, Andrew B. Kahng, Sayak Kundu, Yucheng Wang, Zhiang Wang

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 本文评估了Google Brain在宏观布线中的深度强化学习方法，展示了更新的CT实现，并分析了预训练指导和基准测试结果。

Comments There are total sixteen pages and two pages for the appendix. It includes six figures and eleven tables. This paper has been accepted and published in IEEE Transactions on CAD

Test-Driven AI Agent Definition (TDAD): Compiling Tool-Using Agents from Behavioral Specifications

基于行为规范的AI代理定义（TDAD）：从行为规范编译工具使用代理

Tzafrir Rehan

机构 * Fiverr Labs（Fiverr 实验室） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE、cs.AI

AI总结 TDAD通过编译行为规范生成可执行测试，确保工具使用代理在生产环境中的行为合规性，提升测试质量和回归安全性。

Comments 9 pages, 2 figures, open benchmark at https://github.com/f-labs-io/tdad-paper-code

Mapping Overlaps in Benchmarks through Perplexity in the Wild

通过在野 perplexity 映射重叠关系

Siyang Wu, Honglin Bao, Sida Li, Ari Holtzman, James A. Evans

机构 * Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 通过分析LLM基准测试的perplexity，揭示了不同任务间的重叠结构及LLM能力差异。

Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

Evo：具有进化平衡的自回归-扩散大语言模型

Junde Wu, Minhao Hu, Jiayuan Zhu, Yuyuan Liu, Tianyi Zhang, Kang Li, Jingkun Chen, Jiazhen Pan, Min Xu, Yueming Jin

机构 * University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Technical University of Munich（慕尼黑技术大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 Evo通过进化平衡机制，结合自回归和扩散模型，实现高效且高质量的语言生成。

TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

TML-Bench：用于表格机器学习任务的数据科学代理基准

Mykola Pinchuk

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI、cs.LG

AI总结 TML-Bench评估10个开源LLM在Kaggle竞赛中的表现，揭示不同时间预算下模型性能的差异及稳定性。

Comments 19 pages, 16 tables and figures

MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers

MCP-SafetyBench：一种用于评估大型语言模型在真实MCP服务器安全性的大规模基准

Xuanjun Zong, Zhiqi Shen, Lei Wang, Yunshi Lan, Chao Yang

机构 * East China Normal University（东华师范大学） ； Salesforce AI Research（Salesforce人工智能研究） ； Singapore Management University（新加坡国立大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 MCP-SafetyBench通过真实MCP服务器评估大型语言模型的安全性，揭示了模型在面对MCP攻击时的脆弱性及安全与实用性的权衡问题。

Comments Our benchmark is available at https://github.com/xjzzzzzzzz/MCPSafety

Code Fingerprints: Disentangled Attribution of LLM-Generated Code

代码指纹：解耦的LLM生成代码归因

Jiaxun Guo, Ziyuan Yang, Mengyu Sun, Hui Wang, Jingfeng Lu, Yi Zhang

机构 * School of Cyber Science and Engineering, Sichuan University, Chengdu, China（四川大学计算机科学与工程学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

AI总结 本文提出DCAN网络，通过解耦语义与风格信息，实现对LLM生成代码的多模型归因。

Comments 11 pages, 11 figures

An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention

通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推

Madhusudan Ghosh, Rishabh Gupta

机构 * Bosch Research and Technology Centre, Bangalore, India（博世研究与技术中心，班加罗尔，印度） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推，旨在提升代码生成任务的泛化能力。

Search or Accelerate: Confidence-Switched Position Beam Search for Diffusion Language Models

搜索或加速：基于置信度切换的位置束搜索用于扩散语言模型

Mingyu Cao, Alvaro H. C. Correia, Christos Louizos, Shiwei Liu, Lu Yin

机构 * University of Surrey（塞拉利昂大学） ； Qualcomm AI Research. Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc.（高通人工智能研究） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 SOAR通过置信度切换机制优化扩散语言模型的解码过程，提高生成质量并保持推理效率。

Comments 11 pages, 8 figures

CodeCompass: Navigating the Navigation Paradox in Agentic Code Intelligence

CodeCompass: 在代理代码智能中导航悖论的探索

Tarakanath Paipuru

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 CodeCompass通过基于图的结构导航提升代码智能代理在隐藏依赖任务中的性能，揭示导航与检索本质不同，需显式引导代理利用结构上下文。

Comments 23 pages, 7 figures. Research study with 258 trials on SWE-bench-lite tasks. Code and data: https://github.com/tpaip607/research-codecompass

ML-Tool-Bench: Tool-Augmented Planning for ML Tasks

ML-Tool-Bench: 为机器学习任务增强的工具辅助规划

Yaswanth Chittepu, Raghavendra Addanki, Tung Mai, Anup Rao, Branislav Kveton

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Adobe Research（Adobe研究） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ML-Tool-Bench，通过引入内存中的命名对象管理，评估工具增强的ML代理，改进了ReAct方法，提升了16.52个百分点。

The Perplexity Paradox: Why Code Compresses Better Than Math in LLM Prompts

困惑性悖论：为什么代码在LLM提示中比数学压缩得更好

Warren Johnson

机构 * Bona Opera Studios（博纳歌剧工作室） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示代码在LLM提示中比数学压缩更有效的原因，并提出TAAC算法实现更高效的压缩。

Comments 19 pages, 5 figures, 4 tables. Second paper in TAAC research series. Code and data at https://github.com/micoverde/taac-llm-compression

EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems

EvoCodeBench：用于自演化LLM驱动编码系统的性能基准

Wentao Zhang, Jianfeng Wang, Liheng Liang, Yilei Zhao, HaiBin Wen, Zhe Zhao

机构 * Nanyang Technological University（南洋理工大学） ； East China University of Science and Technology（东华大学） ； Guangdong Ocean University（广东海洋大学） ； City University of Hong Kong（香港城市大学） ； Stanford University（斯坦福大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 EvoCodeBench通过跨语言对比和人类表现评估，评估自演化LLM驱动编码系统的性能提升与效率改进。

BenchPress: A Human-in-the-Loop Annotation System for Rapid Text-to-SQL Benchmark Curation

BenchPress：一种用于快速文本到SQL基准定制的人机协作标注系统

Fabian Wenz, Omar Bouattour, Devin Yang, Justin Choi, Cecil Gregg, Nesime Tatbul, Çağatay Demiralp

机构 * TU Munich（慕尼黑技术大学） ； MIT（麻省理工学院） ； Intel Labs（英特尔实验室） ； AWS AI Labs（亚马逊AI实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AI总结 BenchPress通过人机协作系统加速特定领域文本到SQL基准的创建，结合LLM生成与人类验证提升标注准确性与基准可靠性。

Comments CIDR'26

Multi-task Code LLMs: Data Mix or Model Merge?

多任务代码LLM：数据混合还是模型合并？

Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本研究比较了数据混合与模型合并在多任务代码LLM中的效果，发现模型合并在大模型规模下表现更优，而数据混合在小规模更有效，为资源受限场景提供了高效解决方案。

A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

一种分层不精确概率方法用于大型语言模型的可靠性评估

Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

机构 * WMG, University of Warwick（沃里克大学工业与制造业学院） ； Center for Frontier AI Research, A*STAR（前沿人工智能研究中心） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Center for Software Reliability, City St George's, University of London（伦敦大学圣乔治学院软件可靠性中心） ； Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出HIP-LLM，一种分层不精确概率框架，用于更准确地评估大型语言模型的可靠性。

Comments under review

PYRREGULAR: A Unified Framework for Irregular Time Series, with Classification Benchmarks

PYRREGULAR: 一种用于不规则时间序列的统一框架，包含分类基准

Francesco Spinnato, Cristiano Landi

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

AI总结 PYRREGULAR提出了一种统一框架和标准化数据集存储库，用于不规则时间序列分类，通过基准测试12种分类器模型，促进跨领域研究与评估。

TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning

TangramPuzzle: 通过组合空间推理评估多模态大语言模型

Daixian Liu, Jiayi Kuang, Yinghui Li, Yangning Li, Di Yin, Haoyu Cao, Xing Sun, Ying Shen, Hai-Tao Zheng, Liang Lin, Philip S. Yu

机构 * Tsinghua University（清华大学） ； Sun-Yat Sen University（孙逸人大学） ； Tencent Youtu Lab（腾讯优图实验室） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力，发现模型在匹配轮廓时忽视几何约束，导致碎片变形。

Benchmarking Text-to-Python against Text-to-SQL: The Impact of Explicit Logic and Ambiguity

对文本到Python与文本到SQL的基准测试：显式逻辑和歧义的影响

Hangle Hu, Chenyu Hou, Bin Cao, Ruizhe Li

机构 * Zhejiang University of Technology（浙江工业大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出BIRD-Python基准测试，通过逻辑完成框架解决文本到Python与SQL的性能差异问题，证明Python在分析代理中的可行性。

Comments 8 pages, 7 figures

Vision Language Models for Optimization-Driven Intent Processing in Autonomous Networks

面向自主网络的基于视觉语言模型的优化驱动意图处理

Tasnim Ahmed, Yifan Zhu, Salimur Choudhury

机构 * School of Computing, Queen's University, Ontario, Canada（计算学院，女王大学，安大略，加拿大） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出IntentOpt基准测试，评估不同视觉语言模型在生成网络优化代码中的性能，发现视觉参数提取和程序化思维提示显著降低执行成功率，开源模型表现低于闭源模型。

Comments Accepted for presentation at The IEEE International Conference on Communications (ICC) 2026

Beyond Blind Spots: Analytic Hints for Mitigating LLM-Based Evaluation Pitfalls

超越盲区：用于缓解基于LLM评估缺陷的分析提示

Ora Nova Fandina, Eitan Farchi, Shmulik Froimovich, Raviv Gal, Wesam Ibraheem, Rami Katan, Alice Podolsky

机构 * Ora Nova Fandina（奥拉诺瓦·法丁纳） ； Eitan Farchi（埃itan·法奇） ； Shmulik Froimovich（什mulik·弗罗伊米奇） ； Raviv Gal（拉维夫·加尔） ； Wesam Ibraheem（韦萨姆·伊布拉希姆） ； Rami Katan（拉米·卡坦） ； Alice Podolsky（艾丽斯·波德洛斯基） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出了一种分析提示方法，通过结合LLM和分析检查器，提高代码评估的可靠性，减少LLM的盲区。

Evaluating perturbation robustness of generative systems that use COBOL code inputs

评估使用COBOL代码输入的生成系统对扰动的鲁棒性

Samuel Ackerman, Wesam Ibraheem, Orna Raz, Marcel Zalmanovici

机构 * IBM Research（IBM研究院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文提出评估使用COBOL代码输入的生成系统鲁棒性的框架，通过扰动方法和可视化工具提升系统对输入变化的鲁棒性。

Comments 16 pages (8 main, 8 appendix). Accepted to AI-SQE (ICSE, 2026): The 1st International Workshop on AI for Software Quality Evaluation: Judgment, Metrics, Benchmarks, and Beyond

Model See, Model Do? Exposure-Aware Evaluation of Bug-vs-Fix Preference in Code LLMs

模型看见，模型做？基于暴露的bug-修复偏好评估

Ali Al-Kaswan, Claudio Spiess, Prem Devanbu, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） ； University of California at Davis（加州大学戴维斯分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 研究发现LLM在生成代码时更倾向于重复bug而非修复，暴露于bug的示例加剧了这一倾向，而修复暴露则仅有微小改进，揭示了LLM可能传播记忆错误的风险。

Comments MSR 2026 Technical Track

How Many Human Judgments Are Enough? Feasibility Limits of Human Preference Evaluation

需要多少人判断？人类偏好评估的可行性极限

Wilson Y. Lee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现人类偏好评估中，当偏好信号分散时，比例分配是最佳策略，而精心设计的基准测试能通过减少方差提高检测性。

PIE: Performance Interval Estimation for Free-Form Generation Tasks

PIE：用于自由形式生成任务的性能区间估计

Chi-Yang Hsu, Alexander Braylan, Yiheng Su, Matthew Lease, Omar Alonso

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Amazon（亚马逊） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 PIE提出了一种用于自由形式生成任务的性能区间估计方法，通过回归实现更准确的指标评分和校准的不确定性区间。

Comments 10 pages

Post-Training Quantization of OpenPangu Models for Efficient Deployment on Atlas A2

在Atlas A2上对OpenPangu模型进行训练后量化以实现高效部署

Yilun Luo, Huaqing Zheng, Haoqian Meng, Wenyuan Liu, Peng Zhang

机构 * School of Computer Science and Technology, Tianjin University（计算机科学与技术学院，天津大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出在Atlas A2上通过低比特量化提升OpenPangu模型的推理效率，实现高效CoT推理并保持高精度。

PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models

PCEval: 一个评估大型语言模型物理计算能力的基准

Inpyo Song, Eunji Jeon, Jangwon Lee

机构 * Department of Immersive Media Engineering（沉浸媒体工程系） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 PCEval是一个评估大型语言模型物理计算能力的基准，通过自动评估电路生成和硬件交互能力，揭示LLMs在物理布局设计中的不足。

Comments Code and Dataset available at https://github.com/Null99-Dog/PCEval-Dataset

SciEvalKit: An Open-source Evaluation Toolkit for Scientific General Intelligence

SciEvalKit: 一个用于科学通用智能的开源评估工具包

Yiheng Wang, Yixin Chen, Shuo Li, Yifan Zhou, Bo Liu, Hengjian Gao, Jiakang Yuan, Jia Bu, Wanghan Xu, Yuhao Zhou, Xiangyu Zhao, Zhiwang Zhou, Fengxiang Wang, Haodong Duan, Songyang Zhang, Jun Yao, Han Deng, Yizhou Wang, Jiabei Xiao, Jiaqi Liu, Encheng Su, Yujie Liu, Weida Wang, Junchi Yao, Shenghe Zheng, Haoran Sun, Runmin Ma, Xiangchao Yan, Bo Zhang, Dongzhan Zhou, Shufei Zhang, Peng Ye, Xiaosong Wang, Shixiang Tang, Wenlong Zhang, Lei Bai

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 SciEvalKit是一个开源工具包，用于评估科学通用智能，涵盖科学多模态感知、推理、理解等核心能力，并提供灵活的评估流程和可定制的基准测试环境。

AXIOM: Benchmarking LLM-as-a-Judge for Code via Rule-Based Perturbation and Multisource Quality Calibration

AXIOM：通过基于规则的扰动和多源质量校准构建LLM-as-a-Judge代码评估基准

Ruiqi Wang, Xinchen Wang, Cuiyun Gao, Chun Yong Chong, Xin Xia, Qing Liao

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Monash University Malaysia（墨尔本大学马来西亚分校） ； Zhejiang University（浙江大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 AXIOM通过基于规则的扰动和多源质量校准构建代码评估基准，以实现高质量代码评分的平衡分布和可靠评估。