AI Agent

Skills Are Not Islands: Measuring Dependency and Risk in Agent Skill Supply Chains

技能并非孤岛：衡量智能体技能供应链中的依赖性与风险

Changguo Jia, Tianqi Zhao, Runzhi He, Minghui Zhou

机构 * Peking University（北京大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE

AI总结 提出智能体技能供应链（ASSC）概念，设计SkillDepAnalyzer工具从自然语言中提取依赖关系，在超143万技能上揭示四种结构模式和安全风险，建议类型化依赖清单和风险预警审计。

The Decomposition Is the Fingerprint: Per-Component Identity for Agent Skills

分解即指纹：面向智能体技能的组件级身份标识

Hongliang Liu, Yuhao Wu, Tung-Ling Li

机构 * Palo Alto Networks 纠错

专题命中 Agent评测 ：agent(title)；AI agent(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种基于多组SimHash的局部敏感指纹，将技能分解为提示、代码和工具三元组，通过汉明距离比较实现技能家族识别与变更定位，AUC达0.974。

MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop

MacAgentBench: 在真实macOS桌面上基准测试AI代理

Yikun Fu, Bowen Fu, Zhenyu Wu, Shuang Cheng, Xiaowei Sun, Bowen Yang, Zehao Li, Yibo Zhao, Zichen Ding, Zhoumianze Liu, Shijie Wang, Biqing Qi, Bowen Zhou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出MacAgentBench，包含676个跨25个应用的任务，采用规则评估和细粒度多检查点评分，实验表明最佳配置（OpenClaw上的Claude Opus 4.6）达到73.7% Pass@1，优势主要来自技能库而非框架设计。

BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

BabelJudge: 跨语言和智能体轨迹中LLM作为评判者可靠性的测量

Shreyas KC

专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出BabelJudge基准，通过受控扰动生成已知标签的成对样本，无监督地测量评判模型的位置偏差、冗长偏差、顺序不一致和跨语言退化，发现Swahili顺序一致性接近随机。

Comments 8 pages, 4 figures. Source code, benchmark toolkit, and reproduction scripts at https://github.com/Shreyaskc/BabelJudge

When Is Emergent Consensus Real? A Measured Coupling Gain and a Validity Diagnostic for LLM Agent Societies

何时涌现共识是真实的？一种测量耦合增益与LLM智能体社会的有效性诊断

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 针对LLM智能体社会中的涌现共识或极化现象，提出基于反事实扰动的耦合增益测量方法，并建立有效性诊断工具，区分真实社会动态与模型伪影。

Comments 13 pages (incl. appendix with proofs), 7 figures. Code and per-run logs released

From Question Answering to Task Completion: A Survey on Agent System and Harness Design

从问答到任务完成：智能体系统与执行框架设计综述

Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yunhe Wang

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。

Harnessing Agent Skills: Architectural Patterns and a Reference Architecture for Skill-Mediated LLM Agents

驾驭智能体技能：技能中介LLM智能体的架构模式与参考架构

Boming Xia, Liming Zhu, Zhenchang Xing, Qinghua Lu, Dino Sejdinovic, Xiwei Xu

机构 * Responsible AI Research (RAIR) Centre（负责任人工智能研究中心） ； Adelaide University（阿德莱德大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出十种经验性架构模式（五种核心、五种辅助）用于技能中介，并综合成包含供应链、中介、执行控制、证据与反馈四层的参考架构，通过跨实例化评估提供分析框架。

AGENTSERVESIM: A Hardware-aware Simulator for Multi-Turn LLM Agent Serving

AGENTSERVESIM：面向多轮LLM智能体服务的硬件感知模拟器

Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 提出AGENTSERVESIM模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估多轮LLM智能体服务策略，在CPU上以6%误差复现真实系统行为。

Comments Preprint

Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery

扩展企业智能体路由：退化、诊断与恢复

Kellen Gillespie, Robyn Perry

机构 * Superhuman, Inc.（Superhuman公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 研究企业助手工具库扩展时路由准确率下降问题，通过嵌入预选恢复F1分数10-17个百分点。

Comments 10 pages (6 main + 4 appendix), 4 figures, 6 tables

Agent trajectories as programs: fingerprinting and programming coding-agent behavior

智能体轨迹作为程序：编码智能体行为的指纹识别与编程

Hamidah Oderinwale

机构 * McGill University（麦吉尔大学） ； Taste Labs 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG、cs.SE

AI总结 提出通过程序性表示分析智能体行为模式，实现轨迹指纹识别（85.7%准确率），并开发ProcGrep库用于审计和评估智能体任务处理过程。

When Should Agent Trust Be Conditional? Characterizing and Attacking Skill-Conditional Reputation in Agent Swarms

何时应条件化智能体信任？表征与攻击智能体群中的技能条件声誉

Yihan Xia, Taotao Wang

机构 * Shenzhen University（深圳大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究异构LLM智能体群中技能条件信任的适用条件，通过相图分析揭示其在高异质性、稀疏证据和技能相关场景下有效，但存在跨技能证据被攻击者利用的风险，提出条件信息值测试（CIVT）量化攻击影响。

Comments 18 pages, 8 figures, 2 tables

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

通过对抗性黑客-修复者循环强化智能体基准测试

Ziqian Zhong, Ivgeni Segal, Ivan Bercovich, Shashwat Saxena, Kexun Zhang, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。

Online Agent-as-a-Judge: Situation-Generating Evaluation for Interactive Agents

在线智能体作为裁判：面向交互式智能体的情境生成评估

Hyogon Ryu, Jeonghwan Kim, Yewon Lim, Chaeun Lee, Jeongwook Kim, Donghoon Ham

机构 * KAIST（韩国科学技术院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出在线智能体作为裁判框架，通过部署环境内评估智能体主动生成相关情境，以评估交互式社交智能体的能力，提高标准覆盖率和与人类标签的一致性。

Comments ICML 2026 Workshop on Trustworthy AI for Good

How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks

多少任务足以做出智能体基准决策？对公共大语言模型智能体基准的重放分析

Wei-Jung Huang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI；agentic(comments)

AI总结 研究智能体基准测试中多少任务足以做决策，通过重放公共任务级记录，提出部分预算需满足支持完整基准决策、覆盖任务组及控制未解决比较比例等条件，还指出部分评估报告应包含的内容。

Comments KDD 2026 Workshop Agentic AI Evaluation and Trustworthiness

RouteRec: Strict Evaluation of Recommender-Agent Selection and Aggregation

RouteRec：推荐代理选择与聚合的严格评估

Kaiji Zhou, Vladimir Kalmykov, Yue Feng

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL；AI agent(comments)

AI总结 研究在推荐系统异构代理选择中，RouteRec框架在成本约束下比较请求级硬选与项目级学习聚合，发现在MovieLens-1M数据集上，请求级选择粗糙，项目级聚合更有前景，不同聚合方式有不同效果。

Comments 8 pages, 7 figures. Accepted at AgentSearch 2026 (The First Workshop on Indexing, Retrieval, and Ranking of AI Agents), co-located with SIGIR 2026

DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency

DEMM-Bench：面向智能体运行时治理证据充分性的跨机制基准

Oleg Solozobov

机构 * Independent Researcher (Global)（全球独立研究员） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出DEMM-Bench，基于决策证据成熟度模型（DEMM），通过8个证据机制和8个退化条件，衡量智能体运行时记录能否重构决策级属性，解决现有方法过度声称问题。

Comments 41 pages, 8 tables, no figures. Benchmark and dataset paper. Dataset (CC-BY-4.0) and code (Apache-2.0): Zenodo doi:10.5281/zenodo.20426092 and Hugging Face https://huggingface.co/datasets/dev404ai/DEMM-Bench; code at https://github.com/agent-runtime-evidence/decision-evidence-benchmark

PROBE: Manipulation-Grounded Visual Question Answering with VLM Agents

PROBE：基于操作的视觉问答（使用VLM智能体）

Vineet Bhat, Siyi Chen, Alex Zook, Xuning Yang, Stan Birchfield, Valts Blukis, Jonathan Tremblay

机构 * NVIDIA（英伟达） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；planning(abstract)；agentic(abstract)

AI总结 针对现实杂乱环境中需操作遮挡物体的视觉问答问题，提出PROBE框架，含模拟器、基准测试集及微调方案，提升VLM智能体性能并验证模拟到现实的迁移。

Using AI-Generated Feedback to Improve Critical Thinking and Writing Proficiency

利用AI生成的反馈提升批判性思维与写作能力

Qi Zhu, Xiaoming Zhai, Yan Zou, Chunlei Gao

专题命中 Agent评测 ：agent(summary_cn,abstract)

AI总结 本研究开发了WISE Agent智能体，通过对260名六年级学生的三个月干预，证实其作为认知支架可促进不同水平学生批判性思维的差异化发展，为AI辅助培养批判性思维提供了可行路径。

AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities

AVE-Compass：迈向音频-视频编辑能力的整体评估

Yuqing Wen, Yukai Huang, Qianqian Xie, Jiangtao Wu, Yibin Lin, Yikai Gu, Jialu Chen, Yuanxing Zhang, Jiaheng Liu

专题命中 Agent评测 ：agent(summary_cn,abstract)

AI总结 研究针对现有视频编辑基准未充分考虑视听耦合问题，提出AVE-Compass基准及AVE-Agent框架，通过多种评估方式评估编辑能力，能分解复杂指令迭代改进结果，提升了跨模态编辑等方面表现及感知质量。

A Modular Agent for Reliable and Auditable Spatial Relation Verification in CT Scans

用于CT扫描中可靠且可审计的空间关系验证的模块化智能体

Simon Vincent Abel, Heiko Hillenhagen, Michael Götz, Timo Ropinski, Ayhan Can Erdur, Daniel Santak Wolf

机构 * Ulm University（乌尔姆大学） ； Ulm University Hospital（乌尔姆大学医院） ； Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） ； TUM University Hospital（慕尼黑工业大学医院） ； Department of Radiation Oncology, TUM University Hospital（慕尼黑工业大学医院放射肿瘤科） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对医学视觉-语言模型空间推理薄弱的问题，提出模块化医学影像智能体，通过分阶段处理实现CT扫描空间关系验证，性能优于端到端基线，可作为未来医学影像智能体的构建块。

$Z^2$-ACT: End-to-End Verifiable Agentic Intent Control for Open 6G RAN

$Z^2$-ACT：面向开放6G无线接入网的端到端可验证智能体意图控制

Sunder Ali Khowaja, Kapal Dev, George C. Alexandropoulos

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 针对开放6G RAN多厂商部署的安全可验证需求，提出$Z^2$-ACT架构，集成多类核心组件并经实验验证其执行过滤与攻击恢复能力提升。

Comments 12 pages, 2 figures, 6 tables

Peer-Voted LLM-Agent Stress Tests Find Feed-Induced Lexical Convergence but No Reliable Matched-Exposure Advantage for Distributed Sources

同行投票的大语言模型智能体压力测试：发现feed诱导的词汇趋同，但分布式来源无可靠的匹配暴露优势

Rana Muhammad Usman, Dominic Williamson

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究通过PV-SST测试床开展实验，发现同行排名feed会诱导LLM智能体群体的词汇趋同，但未证实分布式来源相比单一来源具有可靠的立场改变优势。

Comments 9 pages, 3 figures. Code, frozen protocol, configurations, summary tables, and data are publicly available at this https URL (https://github.com/ranausmanai/synthetic-social-networks) and this https URL (https://huggingface.co/datasets/ranausmans/synthetic-social-networks)

MaliciousSkillBench: A Comprehensive Benchmark for Malicious Agent Skill Detection

MaliciousSkillBench：用于恶意智能体技能检测的综合基准

Yue Wang, Yi Liu, Gelei Deng, Ying Zhang, Yuekang Li, Zhenyu Chen, Leo Zhang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出MaliciousSkillBench这一综合基准，整合多源恶意技能数据构建含9740个技能的数据集，评估三类检测器后发现现有方法不足，需更广泛跨源覆盖及联合评估攻击检测与良性误报的方案。

Comments Project page: https://protectskills.github.io/MaliciousSkillBench/

Structural Plan-to-Model Conversion with Deterministic Geometry and Guarded Agentic Vision-Language Refinement

基于确定性几何与受约束智能体视觉-语言优化的结构平面图到模型转换

Mohammad Talebi-Kalaleh, Qipei Mei

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 该研究提出首个无需特定任务检测器训练的结构平面图转模型框架，经100张图基准评估，各构件指标优异，可高效修正绘图错误。

Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation

将AI智能体建立在契约基础上：对规范驱动测试生成的实证评估

Michele Tufano, James McClure, José Cambronero, Runxiang Cheng, Sherry Y. Shi, Renyao Wei, Dorothy Chen, Franjo Ivančić, Livio Dalloro, Pat Rondon

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.SE

AI总结 本研究针对LLM智能体生成测试时易遗漏契约相关边界的问题，提出规范驱动测试生成方法，经Google生产缺陷评估，其缺陷检测率、分支覆盖率均优于基线，测试套件质量也显著更高。

LadderTeam: Dual-Agent Laddering Elicitation Framework

LadderTeam：双智能体阶梯式引出框架

Manjushree Aithal, Alexander Kotz, James Mitchell

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 LadderTeam是基于双智能体LLM架构的自动化UX线框图访谈框架，采用三种探测策略，经216次模拟访谈验证，实现高收敛率与可执行响应匹配率，且无主题偏离。

Comments 4 pages, 1 figure, 2 tables, Accepted in ACM AI Summit 2026

CARA: Cognitive Adaptive Recommendation Agent

CARA：认知自适应推荐智能体

Weijun Gao, Jinyang Dong, Chuanru Ren, Hengxiao Li

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对现有推荐方法未明确建模用户偏好转化为决策的局限，提出认知自适应推荐框架CARA，经亚马逊评论实验，其多数指标性能最优，较基线相对提升最高达10.15%。

BaT: Towards Self-Evolving Medical Research Agent with Stage Rubrics

BaT：构建具备阶段式评分标准的自演化医学研究智能体

Junqi Liu, Yufan He, Yexiao He, Pengfei Guo, Dong Yang, Andriy Myronenko, Can Zhao, Hanrong Ye, Tianhao Qi, Yuyin Zhou, Daguang Xu, Yucheng Tang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； NVIDIA（英伟达） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出BaT系统，结合Stage Bank与BiCuRL方法，使医学研究智能体在AutoMedBench-Lite上得分大幅提升，BaT-9B性能优于Claude Opus 4.6。

Skill Blocks: How Should an Agent Load Its Skill? A Caching-Correct Comparison of Pre-load, On-Demand Tool-Loading, Progressive Disclosure, and Hybrid

技能块：智能体应如何加载其技能？预加载、按需工具加载、渐进式披露与混合方式的缓存正确比较

Hironobu Nakasuji

机构 * Microsoft（微软） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究比较四种智能体技能加载方法，发现Hybrid等方法可显著减少token使用，且无质量损失，条件加载在技能大部分无需每轮使用时最有益。

When Is an Agent Evaluation Over? Outcome Finality and Cross-Unit Separation

智能体评估何时结束？结果终局性与跨单元分离

Avyay M. Casheekar

机构 * University of Michigan Law School（密歇根大学法学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对现有智能体评估将终点分数视为最终结果的问题，该研究提出结果终局性与跨单元分离两个条件，通过实验和协议审查指出当前评估的不足，并提出开放效应记录方案以完善评估。