代码大模型 / AI 编程

Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills

评估技能，而非仅评估智能体：智能体驱动的技能持续评估

Christopher Kevin, Narendran Raghavan, Jean-Francois Puget, Roshni Malani, Meghana Puvvadi, Moshe Abramovitch, Mohit Gupta, Rama Akkiraju, Subodh Prabhu, Yogesh Dangi, Wei Luo, Seong Hee Lee

机构 * NVIDIA（英伟达） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 该研究提出ACES框架，通过配对实际 trials等方式评估技能附加价值，实验表明其能发现扫描式审核无法观测的信号，开源实现已在NVIDIA SkillEvaluator中提供。

Comments 15 pages. Extended preprint incorporating versions accepted at Agent Skills '26 (ACM CAIS 2026) and the KDD 2026 Workshop on Enterprise AI Agents: From Prototypes to Production (oral presentation). Open-source implementation: this https URL (https://github.com/NVIDIA/SkillEvaluator)

Machine Learning and ARIMA Model Averaging for Adaptive Public Health Forecasting: Comparative Evaluation and an Ontario COVID-19 Case Study

机器学习与ARIMA模型平均法用于自适应公共卫生预测：比较评估及安大略省COVID-19案例研究

Yushu Zou, Ye Li, Johra Moosa, Martin Grunnill, Samir N. Patel, Venkata R. Duvvuri

机构 * Public Health Ontario（安大略省公共卫生局） ； Dalla Lana School of Public Health, University of Toronto（多伦多大学达拉·拉纳公共卫生学院） ； University of Toronto（多伦多大学） ； York University（约克大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本研究评估ARIMA、随机森林、XGBoost模型，提出MLAMA集成方法，基于安大略省COVID-19数据验证其预测性能更优，支持按操作条件选择预测模型。

Scientific Data Skills: Enabling Agent-Ready Scientific Data Services at Scale

科学数据技能：实现规模化的智能体就绪型科学数据服务

Xiaohan Huang, Qingqing Long, Xiaolei Du, Siyu Pu, Jiawen Xu, Haotian Chen, Chenyang Zhao, Jinbiao Liu, Xuezhi Wang, Hao Wang, Hengshu Zhu, Yuanchun Zhou

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 针对现有数据集表示难以满足AI智能体需求的问题，提出SciDSK智能体就绪型表示并构建相关平台，可提升智能体的数据集发现与解释能力。

AppEval: A Unified Benchmark for LLM-Based Mobile Application Repair in ArkTS, Swift, and Kotlin

AppEval：面向基于大语言模型的ArkTS、Swift及Kotlin移动应用修复的统一基准

Bang Xie, Hao Liu, Zhenyu Shi, Yonghao Zhang, Senjian Zhang, Zhiyuan Peng, Xin Yin, Chenhao Ying, Yuan Luo, Wei Chen, Haiming Jin, Shaocong Long, Xu Liu, Zhe Peng

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本研究提出AppEval基准框架，评估基于大语言模型的移动应用修复智能体在ArkTS、Swift、Kotlin平台的表现，发现其性能因智能体而异，且运行时感知的接受标准对有意义的比较至关重要。

Comments 9 pages, 2 figures, 5 tables

ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning

ClosureBench：面向组合图推理的构造式基准

Stefano Goria

机构 * AIM Research Lab（AIM研究实验室） 纠错

专题命中 代码评测 ：program synthesis(abstract)；分类 cs.LG

AI总结 本研究推出ClosureBench基准，评估不同规模模型在组合图推理任务的表现，发现模型存在记忆效应、组合推理瓶颈，微调输出程序的模型可提升性能。

Comments 30 pages, 5 figures, 11 tables. Code and data: https://github.com/egolabs-ai/closurebench

Evaluating RL Explainability Methods by How Much They Help Fix Bugs in Agents

通过可解释强化学习（XRL）方法对修复智能体Bug的帮助程度来评估XRL方法

Ram Rachum, Yotam Amitai, Bálint Gyevnár, Reuth Mirsky, Cameron Allen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Tufts University（塔夫茨大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 本文提出EvalXRL基准，通过大型语言模型编码智能体结合XRL方法诊断修复RL智能体故障的效果，实现对多种XRL方法的首次闭环直接对比评估。

Journal ref Proceedings of the Workshop on Explainable Artificial Intelligence (XAI) at IJCAI-ECAI 2026, Bremen, Germany

CoMedBench: A Multi-Source Benchmark of Synthetic Medical Data Fidelity and Downstream Utility

CoMedBench：合成医疗数据保真度与下游效用的多源基准

Akanta Das, Farhad Al-Amin Dipto, Mrinmoy Sarkar Anto, David Rehkopf, Ayin Vala, Tanmoy Sarkar Pias

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 CoMedBench是涵盖多源合成医疗数据的可复现基准，评估多生成器在静态表格和时序ICU任务上的保真度与下游效用，实验显示合成数据可保留多数下游信号，不同生成器表现存在差异。

ModBench: A Pipeline for Building Modelica Benchmark Datasets Mined from Library Repositories

ModBench：用于构建从库仓库挖掘的Modelica基准数据集的流水线

Masoud Sadrnezhaad, Martin Sjölund, Adrian Pop, José Antonio Hernández López, Torvald Mårtensson, Dániel Varró

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 ModBench是用于构建Modelica基准数据集的流水线，经其处理Modelica标准库得到含85562个类快照的公开数据集，可支持模型演化分析等相关研究。

Comments Extended abstract accepted at SAM 2026, co-located with MODELS 2026. To appear in the ACM/IEEE MODELS 2026 Companion Proceedings

PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming

PLSQLBench：面向可执行过程式数据库编程的大语言模型系统基准测试

Marianne Menglin Liu, Leonid Boytsov, Daniel W. Peterson, Pramuditha Perera, Rongguang Wang, Sai Ashish Somayajula, Syed Hamza Rafique, Rohit Saini, Shubham Pathak, Sujeeth Bharadwaj, Tao Sheng, Graham Horwood, Fahad Shah, Ankan Bansal, Sujith Ravi, Dan Roth

机构 * Oracle AI, Turing Enterprise Inc（Oracle AI 图灵企业公司） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 本研究提出首个过程式数据库编程基准PLSQLBench，含2865个任务实例，经8个LLM实验发现其在多方面存在困难，工具增强智能体性能有提升但仍有差距，凸显了传统基准未覆盖的能力。

Comparing Domain-Model Similarity Metrics Against Human Expert Ratings

对比领域模型相似度指标与人类专家评分

Vasiliy Seibert

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文实现5种领域模型相似度指标，对比其与39组领域模型的人类专家评分，发现无单一指标在所有标准占优，集成多指标或可替代人类专家评分。

AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research

AutoWorldModel-Bench：面向自动化世界模型研究的以状态为中心的基准

Marjan Moodi, Xuankang Zhu, Fernando De Mesentier Silva, Harold Chaput, Mohammad Reza Taesiri

机构 * Electronic Arts（美国艺电公司） ； Simon Fraser University（西蒙菲莎大学） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 AutoWorldModel-Bench是面向AI编码智能体的闭环基准，涵盖8个游戏环境，采用结构化状态表征，64次会话中多数智能体通过研究式修改改进了世界模型，可评估智能体的开放式研究能力。

Comments Project page: https://electronicarts.github.io/AutoWorldModelBench/

ML-AutoResearch: Training Machine Learning Research Agents with Automatically Generated Environments

通过合成任务扩展实现AI科学家

Ziyang Cai, Amir Saeidi, Harkirat Behl

机构 * Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文提出一种合成环境生成管道，用于训练能从实践中学习的机器学习代理。通过真实数据集验证和自调试循环，生成高质量合成任务，提升Qwen3-4B和Qwen3-8B在MLGym上的性能，AUP指标分别提升9%和12%。

CoSA: Context-Aware Severity Assessment via Context Analysis with Large Language Models

CoSA：基于大语言模型的上下文分析实现上下文感知的漏洞严重程度评估

Jinfeng Jiang, Yikun Li, Chengran Yang, Ting Zhang, Wen Bin Leow, Yide Yin, Eng Lieh Ouh, Lwin Khin Shar, David Lo

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 CoSA是一种基于大语言模型的上下文感知漏洞严重程度评估方法，通过两阶段仓库剪枝策略与Transformer预测器，在6816个CVSS标注实例上较最优基线提升了14.4%准确率与15.3% Macro-F1

How Powerful are LLMs in Generating Formal Program Specifications?

大型语言模型在生成形式化程序规约方面的能力有多强？

Fanpeng Yang, Xing Li, Shuling Wang, Jie An, Zeyu Sun, Shenghua Feng, Wenhan Wang, Weiyi Wang, Naijun Zhan, Fanjiang Xu

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 该研究引入基于Rocq的Coins评估框架，在HumanEval数据集上开展大规模研究，发现LLMs生成形式化程序规约仍具挑战，准确的规约评估是理解其能力的核心。

Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

Diagram-MMU：面向科学图表的多模态基准测试

Weihao Bo, Shan Zhang, Yanpeng Sun, Jie Liu, Yongke Yao, Jinhao Du, Wei He, Kai Zou, Zechao Li, Jingdong Wang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。

The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

评估协议决定结果：在TwoRoom上独立复现LeWorldModel

Joyjeet Singh

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本研究独立复现LeWorldModel在TwoRoom上的结果，发现评估协议（如目标偏移量）会显著影响性能，还揭示单步预测准确率无法预测长程规划成功、批量归一化层会夸大验证损失等关键结论。

Comments Independent reproduction of arXiv:2603.19312 - https://github.com/joyjeet-singh/tinylab

Optimized Sequential Testing for Binary Ensemble Classifiers

二元集成分类器的优化序贯测试

Joseph Kalman, Amit Moscovich

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 提出一种序贯测试方法，通过提前停止基模型评估来降低二元集成分类器的计算成本，同时控制与完整集成的不一致率，并利用线性规划求解最优停止策略。

Comments 33 pages, 5 figures

The Periodic Table of LLM Reasoning: A Structured Survey of Reasoning Paradigms, Methods, and Failure Modes

LLM推理的周期表：推理范式、方法与失败模式的结构化综述

Avinash Anand, Mahisha Ramesh, Avni Mittal, Ashutosh Kumar, Rishitej Reddy Vyalla, Erik Cambria, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

机构 * Singapore Institute of Technology（新加坡理工大学） ； Nvidia AI Center (SNAIC)（英伟达人工智能中心（SNAIC）） ； MIDAS Lab, IIIT Delhi（IIIT德里MIDAS实验室） ； MIDAS Lab, IIT Mandi（IIT曼迪MIDAS实验室） ； Owl Autonomous Imaging, Inc.（Owl自主成像公司） ； College of Computing & Data Science, NTU Singapore（新加坡南洋理工大学计算与数据科学学院） ； NVIDIA AI Technology Centre, Singapore（英伟达新加坡人工智能技术中心） ； Department of Computer Science and Engineering, IIT Kanpur（IIT坎普尔计算机科学与工程系） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 本文系统综述了300多篇论文，提出LLM推理研究的结构化分类法，涵盖多种推理范式，分析方法论趋势，并总结常见限制与失败模式，旨在为开发更鲁棒、可解释和可泛化的推理系统提供参考。

Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges

面向智能交通系统的大型多模态智能体：架构、证据与部署挑战

Muhammad Ayub Sabir, Shaohong Zheng, Zhiyu Qu, Fatima Ashraf, Junbiao Pang

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本综述梳理2023-2026年42个LMAs研究家族，评估其在ITS中的多模态性、性能与部署情况，支持有限编排而非替代，提供评估协议与部署路线图。

SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents

SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试

Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu

机构 * University of Notre Dame（圣母大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Utah（犹他大学） ； University of Nebraska–Lincoln（内布拉斯加大学林肯分校） ； The Ohio State University（俄亥俄州立大学） ； Argonne National Laboratory（阿贡国家实验室） ； Anthropic PBC 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文提出SciVisAgentBench，一个用于评估科学数据可视化代理的基准测试，涵盖四个维度，包含108个案例，结合LLM和确定性评估器进行多模态评估，揭示代理能力差距。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

MicroEvo: Knowledge-Guided LLM Sampling for Efficient Microarchitecture Design Space Exploration

MicroEvo：知识引导的大语言模型采样用于高效微架构设计空间探索

Jia Xiong, Runkai Li, Chenxu Niu, Guangyuan Gao, Changwen Xing, Yifan Zhang, Xinlai Wan, Jieran Cui, Chen Bai, Yusheng Hua, Ying Wang, Ming Ling, Xi Wang, Tao Xie

机构 * Southeast University（东南大学） ； National Center of Technology Innovation for EDA（国家EDA技术创新中心） ； NVIDIA Corporation（英伟达公司） ； Fudan University（复旦大学） ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Peking University（北京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 MicroEvo是结合LLM与MCTS的知识引导框架，用于多目标微架构优化，可提升帕累托前沿质量与搜索效率，具备工业级可扩展性。

Comments Accepted by ICCAD 2026

ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction

ExtractBench：模式引导的企业文档抽取基准

Boyang Zhang, Adrian Lyjak, Eli Stewart, Zhaoqi Li, Simon Suo

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 研究针对企业文档模式引导抽取的评估需求，构建首个同时评估值准确率等多指标的基准ExtractBench，发现LlamaExtract Agentic Plus在成本远低于编码智能体的情况下，准确率可与之媲美。

Automated Logging Is Language-Sensitive: A Multilingual Benchmark and Empirical Study of LLMs

单语言证据不足以支持自动化日志记录：一个多语言基准和基于LLM的实证研究

Renyi Zhong, Yichen Li, Yulun Wu, Jinxi Kuang, Yintong Huo, Michael R. Lyu

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文通过多语言基准MultiLogBench研究自动化日志记录的跨语言有效性，发现框架锚点匹配是最敏感的组件，模型排名在顶级稳定，但需多语言验证以确保鲁棒性。

Beyond the Gegenbauer Paradigm: q-Orthogonal Kernels for Machine Learning

超越盖根鲍尔范式：面向机器学习的q正交核

Álvaro Sánchez-Paniagua Ríos, Juan P. Llerena, Alberto Lastra, Nuria Torrado, Edmundo J. Huertas

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 该研究提出基于q-厄米特I多项式的新型q正交核，其在20个基准数据集上的性能与经典核及其他正交多项式核相当，且数值稳定性和计算简便性更优，为核设计提供了新方向。

Comments 27 pages, 4 figures, 9 tables. Source code and experimental pipeline available at https://github.com/Kokechacho/SVMs-QSVMs

POSTCONDBENCH: Benchmarking Correctness and Completeness in Formal Postcondition Inference

POSTCONDBENCH：形式化后置条件推理中的正确性与完备性基准测试

Gehao Zhang, Juan Zhai

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文提出POSTCONDBENCH多语言基准，用于评估LLM生成方法级后置条件的能力，发现正确性与完备性差距显著，仓库级依赖及方法复杂性会加剧该差距。

Journal ref In Findings of the Association for Computational Linguistics: ACL 2026, pages 35478-35507, San Diego, California, United States. Association for Computational Linguistics, 2026

Antares: Foundation Models for Agentic Vulnerability Localization

Antares：用于智能体漏洞定位的基础模型

Supriti Vijay, Aman Priyanshu, Didier Chapoteau, Arthur Goldblatt, Jianliang He, Kimia Majd, Fraser Burch, Baturay Saglam, Takahiro Matsumoto, Zhuoran Yang, Amin Karbasi

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 该研究提出基于IBM Granite的Antares系列紧凑语言模型，经两阶段训练用于智能体漏洞定位，其30亿参数版本性能接近GPT-5.5且远超更大模型，推理高效低成本。

Comments 57 pages, 12 figures, technical report for antares

PATH-Bench: Path-Dependent Evaluation of Lifelong Agents

PATH-Bench：面向终身智能体的路径依赖评估基准

Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本研究构建了面向终身智能体路径依赖评估的基准PATH-Bench，评估8个智能体后提出SEU机制，该机制可减少遗忘、提升正向迁移，为设计更优终身智能体提供指导。

UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation

UpliftBench：揭示uplift评估中的结果 regime 与目标不匹配问题

Binshuang Li

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 UpliftBench评估12种uplift估计器，发现基准分歧源于指标而非模型，揭示Qini等指标与效应准确性一致性不足等问题，发布可复现基准工具。

Comments 25 pages, 9 figures. Code, data, and results: https://github.com/binshuangli/uplift-bench

Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations

追踪级联：一种面向科学智能体幻觉的拓扑感知评估框架

Xinshun Feng, Ziqi Miao, Lijun Li, Jing Shao

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 该研究针对科学智能体幻觉的拓扑结构评估缺口，提出SCHEMA框架，通过构建科学概念图等方式评估，发现幻觉集中于知识枢纽、最终准确率与推理轨迹诚实性脱钩，为高风险科学应用提供机制级评估方案。

Comments 36 pages, 7 figures and 5 tables

TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

TreeProbe：面向大型语言模型文化偏见的藏医药基准测试集

Jin Zhang, Linyu Li, Weili Jiang, Yuqing Cai, Yutong Liu, Guanquecairang, Yongbin Yu, Jingye Cai, Nyima Tashi, Gadeng Luosang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tibet University（西藏大学） ； Peking University（北京大学） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 本研究针对大型语言模型的藏医药文化偏见问题，构建了首个基于藏医药“医学之树”框架的基准测试集TreeProbe，发现现有模型存在系统性本体漂移，为公平医疗AI开发提供了诊断基准。