AI Agent

An Executable Benchmarking Suite for Tool-Using Agents

为工具使用智能体设计的可执行基准测试套件

Zhiqing Zhong, Zhijing Ye, Jiamin Wang, Xiaodong Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出一个可执行基准测试套件，通过共享证据准入合同明确工作负载、行动生成驱动器和系统面向声明的证据。该套件连接WebArena Verified和MiniWoB++，并提供统一的工作负载适配器、任务清单、事件模式、回放/冻结政策、声明驱动器和报告管道。

Comments Withdrawn by the authors. The authors identified substantive errors that affect the interpretation of the results and the support for the main conclusions. The current version should not be relied upon

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

SAGE：面向自由形式问答的大语言模型的搜索增强评估

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

More Skills, Worse Agents? Skill Shadowing Degrades Performance When Expanding Skill Libraries

更多技能，更差智能体？扩展技能库时技能遮蔽降低性能

Hongwen Song, Song Wei

机构 * Databricks Inc.（Databricks公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文研究LLM智能体技能库扩展导致性能下降的现象，提出将性能下降分解为技能遮蔽和上下文开销两种效应，并通过实验证明技能遮蔽是主要瓶颈。

Ensemble RL through Classifier Models: Enhancing Risk-Return Trade-offs in Trading Strategies

通过分类器模型进行集成强化学习：在交易策略中增强风险回报权衡

Zheli Xiong

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在金融交易策略中使用集成强化学习模型的全面研究，利用分类器模型来提升性能。通过将A2C、PPO和SAC等强化学习算法与传统分类器如支持向量机（SVM）、决策树和逻辑回归相结合，探讨不同分类器组如何整合以改善风险回报权衡。研究评估了各种集成方法的有效性，将其与单个强化学习模型在关键金融指标（包括累计回报率、夏普比率（SR）、卡勒姆比率和最大回撤（MDD））上进行比较。结果表明，集成方法在风险调整后的回报方面始终优于基础模型，提供了更好的回撤管理和整体稳定性。然而，我们发现集成性能对方差阈值τ的选择敏感，强调了动态调整τ以达到最佳性能的重要性。本研究强调了将强化学习与分类器结合在自适应决策中的价值，对金融交易、机器人和其他动态环境具有启示。

Comments 23 pages,10 figures, 9 table

Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions

具有时变干预的流行病时间序列中的反事实预测基准测试

Wenhao Mu, Facundo Yan, Anik Mumssen, Marisa Eisenberg, Alexander Rodríguez

机构 * University of Michigan Computer Science and Engineering（密歇根大学计算机科学与工程系） ； University of Michigan Epidemiology & Complex Systems（密歇根大学流行病学与复杂系统） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 为解决缺乏可观测反事实结果的真实基准问题，基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准，支持静态/时变治疗和单/多策略干预，评估多种因果推断方法。

Comments To appear in Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control

深度强化学习何时超越校准基线？自适应资源控制的基准研究

Guilin Zhang, Chuanyi Sun, Kai Zhao, Xu Chu, Shahryar Sarkani, John Fossaceca

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 通过RLScale-Bench基准测试，发现校准的基于规则的自动缩放器在所有工作负载上成本均低于六种主流深度强化学习算法，并揭示了算法选择、基线校准和评估协议的关键瓶颈。

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?

LLM-WikiRace 基准测试：大语言模型在真实知识图谱上的规划能力有多强？

Juliusz Ziomek, William Bankes, Lorenz Wolf, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University of Oxford, UK（牛津大学，英国） ； University College London (Centre for AI), UK（伦敦大学学院（人工智能中心），英国） ； University of Basel, Switzerland（巴塞尔大学，瑞士） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出 LLM-Wikirace 基准，通过维基百科超链接导航任务评估大语言模型的规划、推理与世界知识，发现模型在简单任务上超人类，但困难任务成功率仅 23%，且规划与长程推理是主要瓶颈。

Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents

波的语法：通过神经符号VLM智能体实现可解释的多变量时间序列事件检测

Sky Chenwei Wan, Yifei Y. Wang, Tianjun Hou, Xiqing Chang, Aymeric Jan

机构 * AI Lab, SLB（SLB人工智能实验室） ； Télécom Paris, Institut Polytechnique de Paris, France（巴黎电信学院，巴黎高等理工学院，法国） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出语言引导的时间序列事件检测（TSED）任务，通过事件逻辑树（ELT）将文本描述转化为结构化时序逻辑，并构建神经符号VLM智能体SELA，实现零/少样本事件检测与可解释推理。

Comments 8 pages (main text), 28 pages total including appendix. 9 figures, 7 tables

DSAEval: Evaluating Data Science Agents on a Wide Range of Real-World Data Science Problems

DSAEval：在广泛真实世界数据科学问题上评估数据科学智能体

Maojun Sun, Yifei Xie, Yue Wu, Ruijian Han, Binyan Jiang, Defeng Sun, Yancheng Yuan, Jian Huang

机构 * Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Applied Mathematics, Hong Kong Polytechnic University（应用数学系，香港理工大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出包含641个真实数据科学问题的基准DSAEval，涵盖多模态环境感知、多查询交互和多维评估，系统评估13个先进LLM智能体，发现Claude-Sonnet-4.5综合最优，多模态感知提升视觉任务性能2.04%-11.30%。

ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

ClawEnvKit：爪型智能体的自动环境生成

Xirui Li, Ming Li, Ion Stoica, Cho-Jui Hsieh, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Arena ； University of California, Berkley（伯克利大学） ； University of California, Los Angeles（洛杉矶大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出ClawEnvKit自动生成多样、可验证的爪型智能体训练与评估环境，构建含1040个环境的Auto-ClawEval基准，成本降低13800倍，性能提升达15.7个百分点。

RECAP: Regression Evaluation for Continual Adaptation of Prompts

RECAP: 提示持续适应的回归评估

Harsh Deshpande, Kushal Chawla, Sangwoo Cho, William Campbell, Sambit Sahu

机构 * Capital One 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.CL、cs.LG

AI总结 提出RECAP基准，在严格主动适应-测试协议下评估提示优化方法对约束变化的持续学习能力，发现现有方法在主动场景下性能无显著提升，强调设计主动提示适应方法的必要性。

Position: Deployed Reinforcement Learning should be Continual

立场：部署的强化学习应该是持续的

Parnian Behdin, Kevin Roice, Golnaz Mesbahi

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文主张部署的强化学习系统应持续学习，分析了部署后非平稳性的四个来源，并展示了持续RL的优势和实现方法。

Comments Accepted to the ICML 2026 Position Paper Track. See https://icml.cc/virtual/2026/poster/67195

Defenses & Enablers For Skill Injection Attacks on Terminal Based Agents

针对终端代理的技能注入攻击的防御与使能因素

Yoshinari Fujinuma, Varun Gangal, Traian Rebedea, Makesh Narsimhan Sreedhar, Prasoon Varshney, Rebecca Qian, Anand Kannappan

机构 * Patronus AI ； NVIDIA 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究基于大语言模型的代理在重用技能时面临的安全威胁，提出守护者防御（动态和静态）将攻击成功率降低过半，并测试了攻击重述的鲁棒性。

Comments First version, small updates and clarifications likely in v2

OpenCompass: A Universal Evaluation Platform for Large Language Models

OpenCompass：大型语言模型的通用评估平台

Maosong Cao, Kai Chen, Haodong Duan, Yixiao Fang, Zhiwei Fei, Tong Gao, Ge Jiaye, Mo Li, Hongwei Liu, Junnan Liu, Yuan Liu, Chengqi Lyu, Han Lyu, Ningsheng Ma, Zerun Ma, Yu Sun, Zhiyong Wu, Linchen Xiao, Zhuozhi Xiong, Jun Xu, Haochen Ye, Zhaohui Yu, Yike Yuan, Songyang Zhang, Yufeng Zhao, Fengzhe Zhou, Peiheng Zhou, Dongsheng Zhu, Lin Zhu, Jingming Zhuo

机构 * OpenCompass Team（OpenCompass团队） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL、cs.LG

AI总结 提出OpenCompass，一个模块化、高兼容性、灵活且高并发的通用LLM评估平台，支持多种任务场景和主流基准数据集。

IMProofBench: Benchmarking AI on Research-Level Mathematical Proof Generation

IMProofBench：在研究级数学证明生成上对人工智能进行基准测试

Johannes Schmitt, Gergely Bérczi, Jasper Dekoninck, Jeremy Feusi, Tim Gehrunger, Raphael Appenzeller, Pieter Belmans, Alessio Bottini, Jim Bryan, João Camarneiro, Ana Cannas da Silva, Niklas Canova, Ana-Maria Castravet, Timo de Wolff, Claudio Fontanari, Filippo Gaia, Baran Hashemi, Daniel Holmes, David Holmes, Aitor Iribar Lopez, Victor Jaeck, Martina Jørgensen, Steven Kelk, Martijn Kool, Stefan Kuhlmann, Adam Kurpisz, Johannes Lengler, Chiara Meroni, Ingmar Metzler, Martin Möller, Samuel Muñoz-Echániz, David Muñoz-Lahoz, Robert Nowak, Georg Oberdieck, Daniel Platt, Dylan Possamaï, Gabriel Ribeiro, Aluna Rizzoli, Daria Sakhanda, Raúl Sánchez Galán, Zheming Sun, Diaaeldin Taha, Josef Teichmann, Richard P. Thomas, Henk van der Pol, Michel van Garrel, Charles Vial, Ignacio Barros, Benjamin Doerr, Peter Grünwald, Henry Liu, David Martins, Aleksandar Mijatović, Sergej Monavari, Marc Roth, Patrick Schnider, Yannik Schuler, Pim Spelier, Yuuji Tanaka, Ronald van Luijk

机构 * ETH Zurich（苏黎世联邦理工学院） ； Aarhus University（奥胡斯大学） 纠错

专题命中 Agent评测 ：agentic(abstract,comments)；分类 cs.CL

AI总结 针对大语言模型数学能力评估，引入IMProofBench基准测试，由专家开发77个经同行评审问题，涵盖详细证明及子问题，模拟现实研究环境，结果显示当前LLMs能解决不少研究级问题，该基准测试将持续发展。

Comments v2: benchmark expanded from 39 to 77 problems; evaluation extended to 14 models including GPT-5.4, Gemini 3.1 Pro, and Claude Opus 4.6; new analyses (IRT-based score aggregation, inter-rater reliability, tool/token usage, non-agentic ablation); contributor author list updated

Agents unlock new capabilities through Switching LoRA Adapters as a Tool (SLAaaT)

智能体通过切换LoRA适配器作为工具（SLAaaT）解锁新能力

Kenneth Ge

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究针对后训练导致的灾难性遗忘问题，提出让智能体在轨迹中途切换专用LoRA适配器的SLAaaT方法，实验显示其可解决新问题、自主切换策略且能力损耗低，在任务能力和token使用上优于生成子智能体的方法。

Self-Harness: Harnesses That Improve Themselves

Self-Harness：自我改进的操控框架

Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出Self-Harness范式，让LLM智能体通过弱点挖掘、框架提议和验证迭代改进自身操控框架，在Terminal-Bench-2.0上使三种模型的通过率分别提升21.4%、14.3%和14.2%。

Comments https://github.com/qzzqzzb/Self-Harness

When Contextual Inference Fails: Cancelability in Interactive Instruction Following

当情境推理失效时：交互指令跟随中的可取消性

Natalia Bila, Kata Naszádi, Alexandra Mayn, Christof Monz

机构 * Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室） ； Department of Language Science and Technology, Saarland University（萨尔兰大学语言科学与技术系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究探讨了在协作积木构建任务中，如何区分字面解释与情境推理，引入了交互基准测试BWIM，发现模型在判断与行动间存在脱节，未能有效利用信息进行澄清。

The Bidding Games: Reinforcement Learning for MEV Extraction on Polygon Blockchain

竞拍博弈：Polygon区块链上用于MEV提取的强化学习

Andrei Seoev, Leonid Gremyachikh, Anastasiia Smirnova, Yash Madhwal, Alisa Kalacheva, Dmitry Belousov, Ilia Zubov, Aleksei Smirnov, Denis Fedyanin, Vladimir Gorgadze, Yury Yanovich

机构 * Independent Researcher（独立研究者） ； Moscow Institute of Physics and Technology（莫斯科物理技术学院） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） ； HSE University（俄罗斯伏尔加格勒国立高等经济大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文针对Polygon Atlas拍卖中MEV提取的策略难题，提出强化学习框架，构建匹配拍卖特性的模拟环境与PPO竞拍代理，实证显示其利润表现优于静态策略与历史市场领导者。

VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

VibeWorlding：多模态智能体能否端到端构建3D开放世界？

Yansong Ning, Jingwen Ye, Zhongkai Wu, Yang Sun, Yiqin Zhu, Xingyi Li, Weidong Zhang, Hao Liu

机构 * HKUST(GZ)（香港科技大学（广州）） ； Tencent（腾讯） ； AI Thrust ； TEG AIPD 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出VibeWorlding框架，构建VWE-BENCH基准与VibeWorlding-Gym框架，发现当前前沿MLLMs在3D开放世界构建任务中表现不佳，经RL训练的VibeWorlder模型可提升性能，旗舰模型VibeWorlder-30B-A3B表现最优。

Comments preprint

Fragility of Value under Imperfect Alignment

不完美对齐下价值的脆弱性

Winter Cross

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文针对AI系统与人类价值对齐问题，建立模型明确人类价值函数与代理条件准确度的相关条件，凸显过度优化风险，提出采用quantilizers等限制优化压力的AI设计方案。

Comments 25 pages, 7 figures. Expanded the contribution statements and added three researchers as coauthors. Made small text improvements

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 19 pages, 11 tables

AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research

AutoWorldModel-Bench：面向自动化世界模型研究的以状态为中心的基准

Marjan Moodi, Xuankang Zhu, Fernando De Mesentier Silva, Harold Chaput, Mohammad Reza Taesiri

机构 * Electronic Arts（美国艺电公司） ； Simon Fraser University（西蒙菲莎大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 AutoWorldModel-Bench是面向AI编码智能体的闭环基准，涵盖8个游戏环境，采用结构化状态表征，64次会话中多数智能体通过研究式修改改进了世界模型，可评估智能体的开放式研究能力。

Comments Project page: https://electronicarts.github.io/AutoWorldModelBench/

SkillZip: Evaluation-Free Skill Compression for Self-Evolving Agents by Discovering Reusable Structure

SkillZip：通过发现可重用结构实现自进化智能体的免评估技能压缩

Xiaofan Bai, Hongqiang Lin, Chao Liu, Yantao Zhang, Xuan Jin, Xipeng Cao, Yuhong Li

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； Duke University（杜克大学） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 SkillZip 是一种免评估的自进化智能体技能压缩方法，通过提炼重复规则与动作序列实现高效压缩，在性能、泛化性及成本上优于评估引导压缩。

Single-Round Vector RAG vs an LLM-Compiled Wiki: A Preregistered Comparison on a Small Multi-Domain Research Corpus

向量RAG与LLM编写的维基：在小型多领域研究上的预注册比较

Theodore O. Cochran

机构 * AI for Altruism (A4A)（AI为利他主义（A4A）） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 本文通过预注册比较，研究了向量RAG系统与LLM编写的维基在小型多领域研究中的表现，发现两者在跨论文连接、答案组织和成本等方面各有优劣，没有单一系统在所有指标上最优。

Comments v2: two-judge reanalysis of the decomposition-RAG ablation (groundedness advantage +1.15 to +0.15); H3a adjudicated; one registered-plan deviation disclosed; artifact deposit at osf.io/j37b8; title corrected

HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam

HLE-Verified: 人类最后考试的系统验证与结构化修订

Weiqi Zhai, Zhihai Wang, Jinghang Wang, Boyu Yang, Xiaogang Li, Xander Xu, Bohan Wang, Peng Wang, Xingzhe Wu, Anfeng Li, Qiyuan Feng, Yuhao Zhou, Taolin Han, Wenjie Luo, Yiyuan Li, Xiang Zheng, Yaxuan Wang, Ruixiang Luo, Guojie Lin, Peiyao Xiao, Chengliang Xu, Ben Wang, Zeyu Wang, Zichao Chen, Jianan Ye, Yijie Hu, Jialong Chen, Zongwen Shen, Yuliang Xu, An Yang, Bowen Yu, Dayiheng Liu, Junyang Lin, Hu Wei, Que Shen, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Qwen Team, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 HLE-Verified通过系统验证和结构化修订，减少噪声并提高模型评估的准确性。

Comments 14 pages, 10 figures

Learning Multi-Timescale Interventions under Safety and Resource Constraints

安全与资源约束下的多时间尺度干预学习

David Mguni, Wanrong Yang, Jing Dong, Jing Peng, Ziquan Liu, Muhammad Salman Haleem, Baoxiang Wang, Dominik Wojtczak

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究提出MINT模型，通过增强干预状态与结构化策略处理多时间尺度干预，在三类基准测试中表现优异，尤其在T1DM场景下大幅提升血糖控制效果。

SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

SKILLER：面向小型语言模型可复用技能提取的语言级强化学习框架

Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对小型语言模型技能生成成本高的问题，提出SKILLER框架，经实验在多基准上优于现有方法，性能接近闭源模型，可大幅降低智能体技能部署成本。

Comments 15 pages, 6 figures, and 8 tables. Project and code: https://github.com/DANG-ai/SKILLER