AI Agent

CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI

CAGE-1：企业智能代理人工智能的控制、保证和治理评估

Roopam W. Sure

机构 * Independent technical report（独立技术报告） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题，介绍CAGE-1评估框架，评估多方面内容，引入预绑定保证，用于判断企业代理是否可部署。

Comments 17 pages, 3 figures; independent technical report

PACE: A Proxy for Agentic Capability Evaluation

PACE：智能体能力评估的代理框架

Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出PACE框架，通过从非智能体评测中选取原子实例构建代理基准，以低成本高精度预测智能体基准性能，在14个模型上实现MAE<4%、Spearman>0.80。

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach: 用于评估和增强智能体技能使用的自演化评分准则

Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。

EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning

EVOM：用于强化学习的演员-评论家架构的智能体元进化

Boyun Zhang, Chao Wang, Kai Wu

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出EVOM框架，通过双层优化（内环低保真PPO训练权重，外环LLM设计智能体驱动元进化）自动搜索高性能演员-评论家架构，在Ant-v4和HalfCheetah-v4上超越基线方法。

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel: 面向智能体任务的元评估数据集

Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。

Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams

专业化角色，混合部署：推动LLM代理团队的成本-精度前沿

Yinsicheng Jiang, Liang Cheng, Yeqi Huang, Yufan Zhao, Zhan Lu, Li Dong, Wenda Li, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentCARD基准，通过角色感知评估和帕累托前沿分析，发现异构团队在成本-精度前沿上优于同构团队，混合部署可降低12倍成本。

Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent

将意图转化为规范：一个基准测试和一个交互式用户助手代理

Hao Wang, Ligong Han, Kai Xu, Akash Srivastava

机构 * Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室） ； IBM Core AI（IBM核心AI） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出SpecBench基准和Buddy代理，通过形态分析分解用户意图、模拟用户评估设计选择，将焦点从代码生成转向人机协作规范制定。

Agentic MPC for Semantic Control System Resynthesis

用于语义控制系统再综合的智能体MPC

Yuya Miyaoka, Masaki Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出智能体MPC框架，通过集成大语言模型智能体实现上下文感知的语义自适应控制综合，在自动驾驶场景中验证其根据个人偏好或社交情境（如避让应急车辆）调整控制的能力。

Comments 7 pages, 5 figures

Benchmarking AI Agents for Addressing Scientific Challenges Across Scales

跨尺度科学挑战的AI智能体基准测试

Tianyu Liu, Allen Xin Wang, Antonia Panescu, Lisa Xinyi Chen, Wenxin Long, Xinyu Wei, Yueqian Jing, Ziyao Zeng, Jihang Chen, Sihan Jiang, Ziqing Wang, Siyi Gu, Siyu Chen, Xinyang Hu, Haoran Shao, Leqi Xu, Wangjie Zheng, Zhiyuan Cao, Ada Fang, Botao Yu, Kunyang Sun, Rex Ying, Arman Cohan, Qingyu Chen, Lingzhou Xue, Kaize Ding, Yuanqi Du, Wengong Jin, Zhuoran Yang, Marinka Zitnik, James Zou, Hua Xu, Hongyu Zhao

机构 * Yale University（耶鲁大学） ； Broad Institute of MIT and Harvard（布罗德研究所） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Northeastern University（东北大学） ； Northwestern University（西北大学） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出SciAgentArena基准，含约200个交互式任务，评估AI智能体在真实科研场景中的能力，发现其在数据分析中有效，但在创新探索和开放问题上表现不均。

Comments 6 figures

Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks

Claw-SWE-Bench：评估OpenClaw风格代理框架在编码任务上的基准

Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang

机构 * TokenRhythm Technologies（TokenRhythm 技术公司） ； Infinigence AI ； Peking University（北京大学） ； City University of Hong Kong（香港城市大学） ； SEE Fund（SEE 基金） ； Shanghai Jiaotong University（上海交通大学） ； Beijing Jiaotong University（北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；tool use(abstract)；分类 cs.CL、cs.LG

AI总结 提出Claw-SWE-Bench基准，通过适配器协议统一评估异构代理框架，发现适配器设计对编码性能至关重要，且模型和框架选择显著影响通过率与成本。

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

Can AI Agents Synthesize Scientific Conclusions?

AI代理能否综合科学结论？

Hayoung Jung, Pedro Viana Diniz, José Reinaldo Corrêa Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro

机构 * Princeton University（普林斯顿大学） ； Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学） ； Stony Brook University（石溪大学） ； Hackensack Meridian School of Medicine（哈肯萨克子午线医学院） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出SciConBench基准和SciConHarness评估框架，通过分解原子事实并计算精确率和召回率，发现前沿AI代理在科学结论综合中事实F1仅0.337，且无约束评估存在数据泄露，消费者代理常生成不完整或矛盾的结论。

Comments 79 pages, 34 figures, 17 tables. Under Submission

Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Bittensor 智能体竞技场作为轨迹基元：从 ShoppingBench 子网轨迹中蒸馏购物智能体

Shardul Bansal, Seth Schilbe, Jarrod Barnes

机构 * ORO AI ； Dynamical Systems（动力系统） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对小模型后训练缺乏多轮轨迹数据的问题，利用 Bittensor 子网 SN15 的竞技机制生成激励对齐的轨迹，通过结构质量过滤提取智能体轨迹，后训练 Qwen3-4B 模型在 ShoppingBench 上达到 42.7% ASR，接近合成数据基线。

Comments 10 pages, 4 figures, Data and Models available at: https://huggingface.co/collections/oro-ai/shoppingbench-sn15-trajectory-primitive

Agentic Hybrid RAG for Evidence-Grounded Muon Collider Analysis

基于证据的缪子对撞机分析的智能混合RAG

Ruobing Jiang, Dawei Fu, Cheng Jiang, Tianyi Yang, Zijian Wang, Youpeng Wu, Yong Ban, Yajun Mao, Qiang Li

机构 * Peking University（北京大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出智能混合RAG框架，结合稀疏与稠密检索及智能推理，用于缪子对撞机研究的证据检索与答案生成，构建首个基准并验证其有效性。

Comments 22 pages, 5 figures, and 6 tables

VAmoS Bench: Voice Agent Simulation Bench

VAmoS Bench：语音智能体仿真基准

Joshua Meyer, Sahar Shayegan, Ritiz Tambi, Ali Khan, Sun Kim, Victor Shih, Mehdi Jamei, Andi Partovi

机构 * Veris AI（维瑞斯人工智能公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出 VAmoS Bench 语音智能体仿真基准，针对现有基准无法评估语音智能体独立处理电话呼叫能力的空白，在金融服务场景中端到端评估完整语音智能体系统，支持动态排行榜。

Comments 12 pages, 3 figures, 2 tables. Agent implementations: https://github.com/veris-ai/riley-agent

ProofCouncil: An LLM Agent for Solving Open Mathematical Problems

ProofCouncil：用于解决开放性数学问题的语言模型智能体

Johannes Schmitt, Tim Gehrunger, Jasper Dekoninck, Gergely Bérczi, Uri Kreitner, Liam Price, David Holmes

机构 * ETH Zurich（苏黎世联邦理工学院） ； Aarhus University（奥胡斯大学） ； Leiden University（莱顿大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究旨在提升大型语言模型解决数学开放性问题的性能，介绍了ProofCouncil智能体，它采用作者-评论家架构，在FirstProof挑战及其他问题测试中表现出色，还介绍了其开发及相关构建库并开源。

Comments 25 pages, 7 figures. ProofCouncil appears as System A (IMProofBench ProofCouncil) in the official FirstProof second-batch report (arXiv:2606.18119). Code and agent-building library: https://github.com/eth-sri/proof-council

Conditional Multi-Event Temporal Grounding in Long-Form Video

长视频中的条件多事件时间定位

Yuanhao Zou, Arthad Kulkarni, Lucas Tonanez, Lincoln Spencer, Guangyu Sun, Tianxingjian Ding, Andong Deng, Yi Li, Shuangjun Liu, Yuan Li, Dashan Gao, Ning Bi, Taotao Jing, Shuai Zhang, Chen Chen

机构 * University of Central Florida（中佛罗里达大学） ； Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；agentic(abstract)

AI总结 提出CoMET-Bench基准和CoMET-Agent框架，解决长视频中基于组合时空条件定位所有事件的任务，F1@0.5提升6.1%。

Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment

通过人类对齐设计用于药物发现中智能体AI的鲁棒性大语言模型评估系统

Emma Granqvist, Rocío Mercado, Samuel Genheden

机构 * AstraZeneca（阿斯利康） ； Chalmers University of Technology（查尔姆斯理工大学） ； University of Gothenburg（哥德堡大学） ； Science for Life Laboratory (SciLifeLab)（生命科学实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.LG

AI总结 本研究针对药物发现智能体AI，提出人类对齐的LLM作为评判者评估框架，优化后对齐度达0.86，为科学领域智能体系统评估提供可复用模板。

VortexChat: An agentic framework for autonomous multi-objective integrated photonic design

VortexChat：面向自主多目标集成光子设计的智能体框架

Faqian Chong, Yulun Wu, Shilong Li, Andrew Forbes, Hongsheng Chen, Song Han

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 VortexChat是结合LLM决策智能体与电磁仿真的自主设计框架，可从自然语言规格端到端设计集成光子器件，在Vortex100基准测试中无需人工介入即可生成达标器件，成功设计制备出高性能太赫兹涡旋光束复用器。

Scientific Data Skills: Enabling Agent-Ready Scientific Data Services at Scale

科学数据技能：实现规模化的智能体就绪型科学数据服务

Xiaohan Huang, Qingqing Long, Xiaolei Du, Siyu Pu, Jiawen Xu, Haotian Chen, Chenyang Zhao, Jinbiao Liu, Xuezhi Wang, Hao Wang, Hengshu Zhu, Yuanchun Zhou

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.AI

AI总结 针对现有数据集表示难以满足AI智能体需求的问题，提出SciDSK智能体就绪型表示并构建相关平台，可提升智能体的数据集发现与解释能力。

An Agentic RAG and Evaluation Framework for Assurance Case Generation: Industrial Use Case for the EU Cyber Resilience Act Compliance

用于保障案例生成的智能检索增强生成与评估框架：欧盟网络弹性法案合规性的工业用例

Fariz Ikhwantri, Iker Lasa Ojanguren, Dusica Marijan, Maria I. Maslioukova, José Arias Marin, Pavlos Kosmides

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.SE

AI总结 该研究提出基于智能RAG的保障案例生成与评估框架，通过案例研究验证其可自动化欧盟网络弹性法案合规评定，减少人工并提升证据可追溯性。

Comments 6 pages, accepted at ISSRE 2026 (Industry track)

Cross-View Correspondence Is a Measurement Intervention: Two-Sided Validation for Agent Evaluation and Credit Assignment

跨视图对应是一种测量干预：智能体评估与信用分配的双面验证

Zhen Zhang, Ahmad Hafez, Amr Alanwar

机构 * School of Computation, Information and Technology（计算、信息与技术学院） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；tool-use(abstract)；分类 cs.LG

AI总结 该研究指出跨视图对应是测量干预，开发含双面验证等的有效性理论，发现对应分歧会影响智能体评估，需声明验证跨视图对应以支持可靠结论。

QuantumNovelty: A Skill-Orchestrating Language Agent for Referee-Style Review and Patentability Screening of Quantum Papers and Patents

QuantumNovelty：用于量子论文与专利的评审式审查及可专利性筛选的技能编排语言智能体

Shlomo Kashani

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 QuantumNovelty是一款开源技能编排语言智能体，可生成量子计算产物并通过含确定性门的审计层审查，在对抗语料库及真实手稿、专利的测试中表现出审查保守性，属于量子论文与专利审查的决策支持工具。

CompoSkill: Compositional Skill Chain Attacks from Individually Scanner-Passing LLM Agent Skills

CompoSkill：通过可单独通过扫描器的大语言模型智能体技能实现的组合技能链攻击

Mingxiao Liu, Zhoumian Jiang, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.AI

AI总结 CompoSkill框架揭示现有单技能认证的自主AI智能体存在系统性缺口，其通过双攻击者系统构造组合技能链攻击，在白、黑盒设置下分别实现83.3%、80.6%的风险链形成率，现有扫描器拦截效果有限。

Comments 9 pages,5 figures

TaoLive Digital Avatar Agent Technical Report: Training Agents to Evolve with Their Harness

TaoLive数字虚拟人智能体技术报告：训练智能体随其Harness进化

TaoLive AIGC LLM Team, Yuhan Sun, Wenhao Lin, Yongdong Luo, Yibo Hu, Meiguang Jin, Junfeng Ma, Weihang Pan, Jiaxin Zhao, Zulong Chen

机构 * TaoLive（陶境科技） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.CL

AI总结 本研究针对直播电商数字虚拟人主播的实时需求，提出HAT方法，结合HSA的三阶段训练，使35B紧凑模型在低延迟下适配Harness变化，性能优于基础模型及通用大语言模型。

TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments

TimeSage-EV：面向动态环境下智能体时间序列分析的实时基准测试集

Qingren Yao, Yaxuan Kong, Yuqi Nie, Yichen Li, Stefan Zohren, Anna Vettoruzzo, Qingsong Wen, Ming Jin, Joaquin Vanschoren

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； University of Oxford（牛津大学） ； VulpiVox Intelligence（VulpiVox智能公司） ； Squirrel Ai Learning（Squirrel AI学习公司） ； Griffith University（格里菲斯大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 针对现有时间序列基准未评估时间有效性等问题，推出动态环境智能体时间序列分析基准TimeSage-EV，含多领域真实场景，实验揭示模型性能差距及失败模式，提供研究资源。

Interaction Readiness: A Framework for Building and Evaluating AI Agents in Human Roles

交互就绪：构建和评估人类角色AI智能体的框架

Sudhir Alladi Venkatesh

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 该研究针对带角色属性AI智能体的评估缺口，提出交互就绪框架，通过分离内容与交互规范、四项智能体操作实现评估，证实内容与交互质量独立，并给出规范模板与审核流程。

Comments 3 figures

AgenticTwin: An Agentic LLM Framework Integrated with Digital Twin for Anomaly Detection

AgenticTwin：集成数字孪生的智能体大语言模型异常检测框架

Touseef Hasan, Mounika Ghanta, Souvika Sarkar, Ujjwal Guin

机构 * School of Computing, Wichita State University（威奇托州立大学计算机学院） ； Auburn University（奥本大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 本研究提出AgenticTwin框架，整合LLM推理与数字孪生异常检测管道，构建基准评估管道并验证轻量级开源LLM部署可行性，可提升异常诊断、检索及缓解质量。

Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design

智能体系统中的协同进化：迈向超越人类设计的自主进化

Qing Zong, Jiayu Liu, Junhao Shen, Zecong Tang, Linsi Wu, Yuxuan Liu, Rui Wang, Zhaowei Wang, Weiqi Wang, Cheng Qian, Xiusi Chen, Yangqiu Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.CL

AI总结 本综述聚焦智能体系统的协同进化，提出三阶段分类法梳理其发展，探讨相关开放挑战，为构建超越人类设计路径的自主智能体系统提供统一基础。

How to Dogfood Your AI Chat Agent: A Three-Layer Evaluation Framework with Goal-Directed NPC Simulation

如何内部试用你的AI聊天智能体：一种结合目标导向NPC模拟的三层评估框架

Alexandre Cristovão Maiorano

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 该研究提出三层评估框架，结合NPC模拟器验证LLM聊天智能体的多轮对话目标达成能力，其模拟器成本低、效率高，可用于CI/CD集成，相关资源已公开供其他团队使用。

Comments 24 pages, 11 tables, 3 figures