AI Agent

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

VideoGAIA：面向通用人工智能助手的智能体视频理解基准

Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。

AutoSchema: Live Schema Grounding for Agentic Text-to-Sparql over Heterogeneous Knowledge Graphs

AutoSchema：面向异构知识图谱的智能体文本转SPARQL的实时模式接地

Yiming Zhang, Koji Tsuda

机构 * The University of Tokyo（东京大学） ； National Institute for Materials Science（国立材料科学研究所） ； RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.LG

AI总结 提出无需训练的AutoSchema框架，用于异构知识图谱的智能体文本转SPARQL的实时模式接地，在多项生物医学KGQA等任务中优于TogoMCP，可支持未记录RDF图谱。

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

生成无奖励的评判标准以减少智能体评估中的过度打分

Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

机构 * Trinity College Dublin（都柏林三一学院） ； University College Dublin（都柏林大学学院） ； Dublin City University（都柏林城市大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出 RubricForge 方法，从带标签轨迹生成无奖励的智能体评判标准，可减少智能体评估中的过度打分，在 tau-bench 和 WebShop 上的表现优于通用 G-Eval 评判器。

CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

CAKE：面向前沿核函数演进的编译器-智能体协同设计

Zihao Ye, Yingyi Huang, Hongyi Jin, Bohan Hou, Junru Shao, Zhongming Yu, Jinqi Chen, Meghan Cowan, Shiyi Cao, Shanli Xing, Hanfeng Chen, Vinod Grover, Tianqi Chen, Luis Ceze

机构 * Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（英伟达公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 本文提出CAKE编译器-智能体协同设计方案，通过硬件显式IR实现GPU核函数演进，在Flash-KMeans等基准测试中性能优于CUDA/PTX，相关成果已提交上游PR。

CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations

CTBench：评估AI智能体在真实电信网络运维中的故障排查能力

Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, Changchang Li, Bowen Liu, Kun Jiang, Mengjie Zhang, Dingcheng Shan, Jing-Cheng Pang, Chenwei Wu, Sijie Wu, Lianying Chao, Haoran Cai, Jiantao Ye, Xubin Li, Simon Mark Lucas, Xin Chen

机构 * Huawei Technologies（华为技术有限公司） ； Paris Research Center, Huawei Technologies（华为技术有限公司巴黎研究中心） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI

AI总结 本研究提出CTBench基准，评估AI智能体的电信故障排查能力，发现其路径恢复表现好于根本原因分析，且资源消耗与诊断效果无必然关联。

REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems

REDAgentBench：可执行的红队测试与LLM智能体系统的忠实测量

Zixing Chen, Xingyuan Liu, Jie Zhu, Huaixia Dou, Shuo Jiang, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究针对LLM智能体安全评估的缺陷，推出REDAgentBench框架，经实验发现其宏平均ASR为65.69%，还揭示了识别-执行差距，无训练策略提醒可减少70%以上违规

Comments 6 figures, 4 tables. Supplementary material included

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

SkillEval: Decomposing Agent Skill Quality into Interpretable Signals

SkillEval：将智能体技能质量分解为可解释信号

Jiahui Han, Qinuo Li, Ziheng Peng, Haotian Wu, Haoze Liu, Danfeng Shan, Guanchu Wang, Huiqi Deng, Ninghao Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究针对现有智能体技能评估仅反映任务适配性的不足，提出可解释框架SkillEval，其可区分技能质量、关联下游任务性能，还能指导技能修订以提升任务通过率。

Agent-Based Test Assertion Generation via Diverse Perspective Aggregation

基于智能体的多视角聚合测试断言生成

Dong Wang, Qiaoyu Han, Lin Yang, Jianyi Zhou, Guangtai Liang, Junjie Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 针对现有LLM断言生成方法的局限，提出基于智能体的AssertMate框架，通过三个组件聚合多视角，在Defects4J和EvoSuite验证中性能显著优于现有技术。

Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?

技能使用：智能体框架中的大语言模型（LLM）真的能使用技能吗？

Jinyi Han, Yuanjian Xu, Ying Liao, Xinyi Wang, Zishang Jiang, Zixiang Di, Fanyang Lu, Zhichao Hu, Yanghua Xiao

机构 * East China Normal University（华东师范大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.CL

AI总结 本研究推出Skill-Use基准，评估智能体在渐进式披露下的技能使用，发现8个LLM在两个框架下的SU分数仅0.613，技能使用是依赖框架的能力。

Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

对抗智能体系统中的知识篡改：一种拜占庭容错的安全协同RAG框架

Zhaoqi Wang, Daqing He, Zijian Zhang, Ye Liu, Jiamou Liu, Zhirui Zeng, Zhan Qin, Zhen Li, Xin Li, Hongwei Yao, Jincheng An, Yong Liu, Yi Li, Qi Sun, Xiulei Liu, Liehuang Zhu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对RAG系统面临的知识篡改攻击问题，提出拜占庭容错的安全协同RAG框架SecureCollaRAG，通过多源知识验证机制与动态GNN可信度评分实现攻击防护，在非IID数据下保持鲁棒性。

Journal ref Proceedings of the ACM Web Conference 2026, pages 2661-2672, 2026

SeaSlides: Semantic Abstraction Layer for Agentic Slide Generation

SeaSlides：面向智能体幻灯片生成的语义抽象层

Shengjun Fang, Chenyang Wu, Zongzhang Zhang

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 研究针对智能体幻灯片生成的现有系统适配性差问题，提出SeaSlides框架，通过语义抽象层结合HTML与Typst后端，在多模型评估中提升了丰富内容生成质量，验证了语义抽象原则的有效性。

Comments 16 pages, 4 figures, 6 tables

ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

ParEvalLayer：当部分大语言模型智能体评估支持决策时

Wei-Jung Huang, Bonan Shen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出ParEvalLayer决策层，可基于部分任务结果判断LLM智能体比较结论，部分基准仅需15%-25%任务结果即可得出与完整评估一致的决策。

Comments Accepted at the 2026 ACM International Conference on AI-ML Systems (AIMLSystems)

Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

审计发现主张：面向智能体科学的双边准则，其负面侧可判定

Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

机构 * University of Macau（澳门大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 该研究提出面向智能体科学的双边审计准则，通过实验揭示AI科学系统能力主张的夸大问题，证实智能体编写的程序在低计算量下可击败人类程序，但未明确可迁移的机制。

Comments 51 pages, 10 figures, 10 tables

Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark

面向智能体工作流的组合式元路由学习：一个可执行基准

Natan Vidra, Alina Kapanova, Arun Kanhai, Spurthi Setty

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.LG

AI总结 本文提出一个智能体工作流的可执行基准和感知预算的组合式元路由器，在保留测试集上实现100%成功率，成本比静态策略低43%，但在词汇偏移挑战任务上表现不佳，凸显词汇泛化是主要限制。

Comments 7 pages, 1 figure; AAAI 2027 anonymous submission

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

安全，还是仅仅是能力？智能体安全基准的有效性审计

Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究审计了R-Judge等四个智能体安全基准的有效性，发现其排名分歧源于小样本偏差，能力与对齐错误安全负相关，AgentHarm与越狱安全的关联为收敛效度而非通用安全，强调安全主张需明确关键要素。

ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents

ClawTrack：面向真实世界智能体的追踪级评估与改进

Xingjian Wu, Xuhang Zhu, Xingchen Liu, Junlin Liu, Jianing Wang, Linsen Guo, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 Agent评测 ：autonomous agent(title)；agent(abstract)；分类 cs.LG

AI总结 本研究针对现有智能体评估仅看结果的缺口，提出双评估基准ClawTrack，含320个任务及过程评分器，评估21个模型后发现其可归因推理、验证结果验证瓶颈等，助力智能体改进。

Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training

元任务：将终端任务综合转化为可扩展智能体训练的终端任务

Zhihong Pan, Jiyuan He, Kai Zhang, Yupeng Han, Ze Liu, Yuze Zhao, Yongcong Ye, Zhaohua Yang

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 Meta-Task框架将终端任务综合转化为Terminal-Bench格式任务，通过多阶段机制等提升任务质量，生成3221条轨迹微调Qwen3系列模型，效果优于同期方法且训练数据更少。

Comments 17 pages, 5 figures

Safety-Gated Agentic Supervisory Control on a Coupled Distillation Benchmark: Regime Map, Auditable Gate, and Co-Design Findings

耦合精馏基准上的安全门控智能体监督控制：工况图、可审计门与协同设计发现

Christian Rosenthal

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.LG

AI总结 该研究针对耦合精馏基准，提出基于规则的分叉孪生反事实安全门控机制，结合DeepSeek-V4-Flash等模型，在目标获取、扰动抑制等任务上优于基准方法，可有效遏制有害操作。

Comments 31 pages, 8 figures. Code and data: https://github.com/cgncro-cyber/IndustrialAI. Sole author; independent research

Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks

用于检测智能体基准中缺陷的自动 transcript 分析

Jeff Mohl, Nelson Gardner-Challis, Magda Dubois, Harry Coppock, Benjamin Allan-Rahill, Kaelan Yim, Damian Sójka, James Mann, Justin Olive

机构 * UK AI Security Institute（英国人工智能安全研究所） ； Poznan University of Technology（波兹南理工大学） ； Generality Labs（Generality实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本研究开发AI扫描器检测智能体基准中四类有效性问题，在Inspect Evals基准测试中识别出五个常用基准的多项质量问题，为自动审计基准质量提供了概念验证。

Comments 49 pages, 19 figures, Preprint

LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation

LayerRAG-Bench：面向智能体检索增强生成的跨层可靠性基准

Musa Shams

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 该研究推出LayerRAG-Bench跨层可靠性基准，含多领域任务与模型数据，发现模式标准化无法修复部分故障，验证了分层评估原则的重要性。

Comments 10 pages, 9 tables. Code and data: https://github.com/MusaShams/layerrag-bench

Success Is Not Self-Explanatory: Auditing Success Provenance in Agent Evaluation

成功并非不言自明：在智能体评估中审核成功溯源

Jingkun Luo, Da-Tian Peng

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究智能体评估中成功溯源问题，通过AcquaBench的匹配值替换和聚类分析审核，在不同场景测试，发现成功与正确值相关，行为依赖可能超出预期，模型比较有分数差距变化，建议基准报告成功及信息状态支持情况。

Comments 17 pages, 3 figures, including supplementary material. Code: https://github.com/luojingkun22/acquabench

Fair Division with Strictly Increasing Valuations: A Tight Threshold for Two-Agent EF1 and PO

具有严格递增估值的公平分配：双主体 EF1 和帕累托最优的精确阈值

Nicholas Teh

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究严格正边际价值对不可分割商品的 EF1 和 PO 兼容性的影响，确定双主体情形下商品数量阈值，至多七个商品可实现兼容分配，八个商品会出现反例，还强化了三主体 NP 难结果。

The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

编码智能体中的支架效应：在编码智能体评估中利用选择作为隐藏变量

Naman Vats, Oleg Golev

机构 * Alibaba（阿里巴巴） ； Agentic AI Foundation（Agentic人工智能基金会） ； OpenCode Contributors（OpenCode贡献者团队） ； Harbor Framework Team（Harbor框架团队） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究编码智能体评估中工具选择对结果的影响，通过在三个开源工具上评估两个模型，发现工具选择会使解决任务的令牌数有40倍差异，失败指纹有工具级偏差，建议按通过率选工具-模型对并报告相关指标，还发布了相关数据和脚本。

Comments 7 pages, 2 figures, 6 tables. Preliminary work; under review at the 5th DL4C Workshop @ ICML 2026

Sample-Efficient Learning from Agent Experience

从智能体经验中进行高效样本学习

Chenhui Gou, Haoqin Tu, Yunhao Fang, Jianfei Cai, Hamid Rezatofighi

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 研究现实世界中智能体学习受环境交互限制的问题，提出“经验蒸馏”，开发无需额外环境交互的实现方法，实验表明该方法能高效保留上下文学习收益，相比经典方法减少环境样本使用。

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

CANN基准测试：针对真实NPU和算法限制对代理生成的内核进行基准测试

Xue-Jian Gao, Deng Pan, Yueming Su, Jiasheng Li, Bin Du, Fengming Zhu, Chengdi Ma, Junyi Fan, Qichen Liao, Chengqiu Hu, Xinxian Chen, Lingchao Zheng, Jun Li, Jiwei Yang, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 Agent评测 ：agent(title)；AI agent(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理生成的算子内核在Ascend NPU上缺乏通用评估基线的问题，提出CANN Bench基准测试，涵盖多算子和测试用例，采用三维加权综合评分，为Ascend生态系统提供评估算子编写能力的标准。

Agent-Centric Animal Pose Forecasting

以智能体为中心的动物姿态预测

Eyrun Eyjolfsdottir, Kristin Branson

机构 * HHMI Janelia Research Campus（霍华德·休斯医学研究所珍利亚研究园区） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 研究旨在从跟踪姿态训练以智能体为中心的动物行为自回归模型，引入相关框架及通用库，模型能捕捉果蝇群体社会行为分布，库可支持系统比较并适应新领域。

Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing

可信凭证，不可信行为：高性能计算中语言模型代理安全性基准测试

Jie Li

机构 * Texas Tech University（德克萨斯技术大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究高性能计算中语言模型代理安全性，定义其威胁模型，识别攻击面及当前控制不足，提出研究议程和TaskBound实证基准测试计划，以应对代理按用户凭证运行时可能出现的劫持授权代理问题。