AI Agent

Designing for Doubt: The Case for Informed Abstention in Autonomous Agents

基准测试无法衡量的：论自主智能体弃权能力的评估

Victor Ojewale, Suresh Venkatasubramanian

机构 * Brown University（布朗大学） 纠错

专题命中 Agent评测 ：autonomous agent(title,abstract)；agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文指出自主智能体基准测试忽视弃权能力，提出合规偏差概念，并引入弃权场景分类和评估协议，实验表明安全-可用性权衡是可调的。

Comments Accepted to AIES 2026, this is an updated version to the RLEval workshop paper

CUADebug: Diagnosing and Repairing Computer-Use Agent Failures

CUADebug：计算机使用智能体故障的诊断与修复

Weijia Zhang, Kunlun Zhu, Zeyi Liu, Yinting Chen, Tianyi Ma, Jiateng Liu, Jiaxun Zhang, Bingxuan Li, Xiangru Tang, Heng Ji, Jiaxuan You

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE

AI总结 本研究提出CUADebug框架，含错误分类、CUAErrorBench基准与CUADebugger工具，可诊断修复计算机使用智能体故障，提升任务完成与重新执行成功率，证明其能提供可操作修复信号。

Comments 23 pages, 10 figures, 6 tables

UrbanAgent: A Tool-Augmented Agent for Cross-System Urban Tasks

UrbanAgent：面向跨系统城市任务的工具增强型智能体

Jiayu Cao, Xingyuan Zeng, feiyu Li, Zhijing Huang, Xujie Yuan, Rongxiang Chen, Shimin Di, Libin Zheng, Jian Yin

专题命中 Agent评测 ：agent(title,abstract)；tool use(abstract)；分类 cs.AI

AI总结 针对城市数字服务碎片化问题，提出工具增强型智能体UrbanAgent，结合大语言模型与多类工具，引入基准Urban-Eval评估，在多模型上任务成功率达71%，领先基线10个百分点。

TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows

TraceCompiler：技能引导的LLM智能体轨迹挖掘与编译为近确定性工作流

Salma El Yadouni, Guanyi Li

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 本文提出TraceCompiler系统，通过技能引导挖掘含噪声的LLM智能体轨迹并编译为近确定性工作流，在T1、AppWorld数据集上验证了依赖恢复的高精度，实现了Venmo资金请求意图的调用减少。

Comments 17 pages, 4 figures, 5 tables

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

Socially Grounded Agentic AI: Coordinating Plural Perspectives through Social Theory

基于社会基础的智能体人工智能：通过社会理论协调多元视角

Matt Ratto, Abhishek Moturu, Daniel Silver

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出将社会理论用于人工智能系统设计，以解决多元对齐问题，将多元对齐重新定位为基于社会基础的协调问题，勾勒了相关系统的设计空间并指明未来研究方向。

Comments Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea

SeaSlides: Semantic Abstraction Layer for Agentic Slide Generation

SeaSlides：面向智能体幻灯片生成的语义抽象层

Shengjun Fang, Chenyang Wu, Zongzhang Zhang

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 研究针对智能体幻灯片生成的现有系统适配性差问题，提出SeaSlides框架，通过语义抽象层结合HTML与Typst后端，在多模型评估中提升了丰富内容生成质量，验证了语义抽象原则的有效性。

Comments 16 pages, 4 figures, 6 tables

Skill Is Not Document: Query-Conditioned Compatibility for LLM Agent Skill Routing

技能不是文档：面向LLM智能体技能路由的查询条件基准与两阶段检索器

Zifei Wang, Wei Wen, Qiang Ji, Keyu Chen, Ruizhi Qiao, Xing Sun

专题命中 Agent评测 ：agent(title,abstract)

AI总结 针对LLM智能体技能路由中技能兼容性被忽视的问题，提出Reject-as-Resource Retriever (R3)框架，构建双语基准R3-Skill，并设计两阶段检索系统（R3-Embedding + R3-Reranker）显式建模技能兼容性，显著提升检索效果。

Comments 24 pages, 8 figures

Can LLM design high-quality experiments? A Comprehensive and Systematic Benchmark on Autonomous Experimental Design

大语言模型（LLM）能否设计高质量实验？一项针对自主实验设计的全面系统基准测试

Zejun Liu, Jian Wu, Ru Peng, Yuliang Ji, Dongyuan Li, Renhe Jiang, Yue Zhang

专题命中 Agent评测 ：planning(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究构建SCOPE基准评估LLM的自主实验设计能力，发现多数LLM无法直接设计高质量实验，低层配置存在瓶颈，进而提出OptED工作流缓解该瓶颈。

Comments 32 pages, 7 figures

Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds

反思自进化智能体技能：多轮次的反馈动态

Yuxuan Liu, Zhaochen Su, Yuhao Zhang, Jiahe Guo, Zhongwei Xie, Huihao Jing, Lingyun Xie, Qing Zong, Yauwai Yim, Zhixiong Zhang, Haoran Li, Yangqiu Song

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.SE

AI总结 本研究提出受控评估框架，发现自进化智能体技能是稀疏的验证过滤搜索，收益依赖模型与基准，失败轨迹反馈对技能选择关键，测试时计算难以完全恢复其收益。

ANCHOR-RE: An Agentic Neuro-Symbolic Framework for Grounded Biomedical Relation Extraction

ANCHOR-RE：用于接地生物医学关系抽取的智能体神经符号框架

Shufan Ming, Yikun Han, Gibong Hong, Rui Zhang, Halil Kilicoglu

专题命中 Agent评测 ：agentic(title)；分类 cs.CL

AI总结 该研究提出ANCHOR-RE框架，将本体引导推理等集成到LLM推理中，在多个BioRE基准及2026年生物医学文章数据集上，该框架性能优于直接LLM提示及部分现有方法，是实用的无训练生物医学文献挖掘方法。

Comments Submitted to Journal of Biomedical Informatics (under review)

LiveEvalBench: Toward Open-World Evaluation for Web Generation

LiveEvalBench：面向网页生成的开放世界评估

Yiyao Wang, Zhen Wen, Yinghao Tang, Yixiao Fu, Lin Yuan, Xiaolau Zhang, Jun Zhou, Wei Chen

专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 LiveEvalBench是将网页生成评估转为智能体驱动的自适应可扩展过程的自动化框架，经实验验证其与人类专家判断高度一致，可提供前沿模型网页生成能力的细粒度洞察

PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents

PAST-Bench：评测个人智能体递归自我改进的基础

Shuhan Xue, Zixin Ding, Yichen Shen, Yinjie Wang, Zhenfei Yin, Yingcheng Wu, Yuxin Chen, Mengdi Wang, Ling Yang

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.CL

AI总结 本研究推出PAST-Bench基准评测个人智能体递归自我改进能力，发现改进不均，在此基础上开发Hermes+提升收益，为相关研究提供评估诊断基础

Comments Code: https://github.com/Gen-Verse/PAST-Bench

Dr. AGENTONOMICS: A Didactic Experiment of AGENTONOMICS

Dr. AGENTONOMICS：AGENTONOMICS的教学实验

Fengjunjie Pan, Alois Knoll

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本研究介绍了AGENTONOMICS框架的首个应用Dr. AGENTONOMICS，将其作为教学智能体，提出其可拓展为多角色系统并探讨其对多中心AI经济的意义。

Comments Technical report, Technical University of Munich

MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations

MerchantBench：面向电商运营中长期一致性的大语言模型智能体基准测试

Qiming Shi, Yulong Tao, Linbo Jin, Zhaolu Kang, Yibo Dou, Jiawen Zhu, Tianjun Pan, Shaokang Fu, Chengyu Wang, Siyue Li, Yaping Cheng, Di Weng, Chengfu Huo

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.AI

AI总结 本研究推出MerchantBench电商运营基准测试，通过365天订单级模拟评估大语言模型智能体的中长期一致性，发现其与人类参与者存在显著差距。

Language model agents show in-group trust bias invisible to standard behavioural audits

指令调优语言模型代理中类似人类的内群体偏见

Messi H. J. Lee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 通过多代理模拟，发现指令调优语言模型在群体标签可见时表现出内群体信任偏见、行动同质性和网络同配性，且这种歧视在标准审计中不可见，但会累积为结构性不平等。

ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models

ActQuant: 面向视觉-语言-动作模型的亚4比特动作引导量化

Arash Akbari, Arman Akbari, Masih Eskandar, Qitao Tan, Yixiao Chen, Jingwu Luo, Bertha Pangaribuan, Liyun Zhang, Jennifer Dy, Geng Yuan, Xue Lin, Gaowen Liu, Stratis Ioannidis, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出ActQuant框架，通过动作引导的混合精度后训练量化，在亚4比特权重量化下保持VLA模型性能，并引入OmniModel.cpp实现高效部署。

ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?

ContinualSkillBench：大语言模型智能体真的能发展其能力吗？

Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本研究提出动态评估框架ContinualSkillBench，发现大语言模型智能体顺序执行可提升任务性能，上下文学习与显式技能维护效果相当，弱模型易积累零散技能，当前机制仍难整合经验为稳健可迁移技能。

EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners

EduClaw-Bench：面向教学大型语言模型智能体的长周期基准测试集（含模拟学习者）

Unggi Lee, Sookbun Lee, Yeil Jeong, Eunjoo Lee, Minchul Shin, Hoilym Kwon

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究人员推出EduClaw-Bench长周期基准测试集，结合模拟学习者评估LLM智能体辅导效果，发现辅导质量取决于基础模型与智能体适配器的结合，且多数组合无法维持全程良好辅导。

AgentStream: How Well Do Self-Evolving LLM Agents Perform Under Streaming Tasks?

AgentStream：自进化大语言模型智能体在流式任务下的表现如何？

Dong Yan, Jian Liang, Dapeng Hu, Ran He, Nicholas Jing Yuan, Qi Zhang, Tieniu Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Microsoft（微软公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Nanjing University（南京大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AgentStream框架，评估三种流式场景下三种基础模型的五种自进化LLM智能体方法，发现自进化表现受场景、模型能力等影响，为方法选择提供指导。

Comments Code is available at https://github.com/Jasper-Yan/AgentStream

When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills

当智能体学会成为你：对角色技能中的隐私泄露、冒充风险及防御措施进行基准测试

Yongli Xiang, Zhifang Zhang, Bojun Yang, Ziming Hong, Lei Feng, Miao Xu, Tongliang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究推出AntiSkillBench基准，评估角色技能流程的隐私泄露、冒充风险及防御，发现风险持续存在，现有防御效果有限，为相关技能开发提供基准。

Comments Project page: https://yonglixiang.github.io/AntiSkillBench

DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

DataSpace：针对异构工作空间可验证分析的数据智能体基准测试

Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出DataSpace基准，用于评估异构工作空间下数据智能体的可验证分析能力，包含多类型任务与数据，实验揭示了智能体框架、多模态集成等对准确率的影响，为提升数据智能体可靠性指明了方向。

Comments 8 pages of main text, 7 figures, with a supplementary appendix

TimeRLM: Recursive Language Models Enable Precise Anomaly Localization in Long-Context Time-Series

TimeRLM：递归语言模型可实现长时序数据中的精准异常定位

Nicolas Zumarraga, Lorenzo Steno, Ning Wang, Max Rosenblattl, Thomas Kaar, Maxwell A. Xu, Kevin O'Sullivan, Markus Kreft, Elgar Fleisch, Paul Schmiedmayer, Patrick Langer, Robert Jakob

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出TimeRLM（基于递归语言模型的时序异常定位框架），结合强化学习后训练后，在合成基准AnomalyXL及真实世界数据上，均优于现有时序语言模型，可实现长时序数据的精准异常定位。

Comments Open source code and datasets: https://github.com/OpenTSLM/TimeRLM

Adaptive Sampling for Automated Post-Disaster Rapid Damage Assessment via Level-Set Cost-Aware Bayesian Optimization

基于水平集成本感知贝叶斯优化的灾后自动化快速损伤评估自适应采样

Boyang Xu, Mostafa Reisi Gahrooei, Mohammad Ilbeigi, Hao Yan

机构 * School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； University of Florida（佛罗里达大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 针对灾后损伤评估的传统方法成本高且难以适应动态条件，本研究提出结合水平集估计的成本感知贝叶斯优化框架，引导自主数据采集器流向高信息区域，经模拟和R2D数据验证可高效评估损伤以支持应急响应。

Comments 11 pages, 7 figures, 1 table. Accepted at the SIAM International Conference on Data Mining (SDM) 2026

SKILL-KD: Contrastive Skill Distillation for LLM Agents

SKILL-KD：面向大语言模型智能体的对比式技能蒸馏

Qiming Shi, Yibo Dou, Jiawen Zhu, Yulong Tao, Linbo Jin, Zhaolu Kang, Yunfan Zhou, Di Weng

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 SKILL-KD是面向LLM智能体的对比式技能蒸馏框架，通过将师生智能体的可操作差异蒸馏为技能补丁并迭代优化，结合感知漂移的技能整合，在五个智能体基准上提升了冻结学生智能体性能。

OntoLogX: Ontology-Guided Knowledge Graph Extraction from Cybersecurity Logs with Large Language Models

OntoLogX：基于大型语言模型的面向网络安全日志的知识图谱提取

Luca Cotti, Idilio Drago, Anisa Rula, Devis Bianchini, Federico Cerutti

机构 * Department of Information Engineering, University of Brescia, Italy（博洛尼亚大学信息工程系，意大利） ； Department of Computer Science, University of Turin, Italy（都灵大学计算机科学系，意大利） ； School of Computer Science and Informatics, Cardiff University, United Kingdom（卡迪夫大学计算机科学与信息学学院，英国） ； Department of Electronics and Computer Science, University of Southampton, United Kingdom（南安普顿大学电子与计算机科学系，英国） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 OntoLogX利用大型语言模型和知识图谱技术，从网络安全日志中提取结构化信息，通过检索增强生成和迭代校正，生成符合语义的知识图谱，并预测MITRE ATT&CK战术。

Comments 24 pages, 2 tables, 7 listings, 8 figures

HomeSafeBench: Benchmarking Embodied Vision-Language Models in Free-Exploration Home Safety Inspection

HomeSafeBench：面向自由探索式家庭安全检查的具身视觉-语言模型基准

Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

机构 * Beijing Institute of Technology（北京理工大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究针对家庭安全隐患检查需求构建HomeSafeBench基准，提出CueBack数据构建方法，微调4B规模VLM使分布外测试集F1值显著提升，缩小了与人类检查员的性能差距。

Comments Preprint

New Mid-Band (FR3, 6-24 GHz) XL-MIMO for 6G: Channel Modeling, Algorithm Evaluation, and Field Trials

面向6G的新型中频段（FR3，6-24 GHz）超大規模多输入多输出（XL-MIMO）：信道建模、算法评估与现场试验

Haiyang Miao, Jianhua Zhang, Feifei Gao, Pan Tang, Qi Zhen, Mengxue Li, Ping Zhao, Shihao Zhang, Liang Xia, Guangyi Liu

专题命中 Agent评测 ：planning(abstract)

AI总结 本文针对6G的新型中频段XL-MIMO，综述其频谱规划、信道建模、算法进展，比较不同规模XL-MIMO系统性能，结合U6GHz频段现场试验，明确目标信噪比是影响XL-MIMO性能的关键因素。

UniWorld-Design: From Pixel Generation to Layer-Native Design

UniWorld-Design：从像素生成到层原生设计

Zongjian Li, Zhiyuan Yan, Chenxu Bai, Chen Chen, Haoxiang Sun, Shaodong Wang, Feize Wu, Shenghai Yuan, Bin Lin, Zheyuan Liu, Yuwei Niu, Li Yuan

专题命中 Agent评测 ：agentic(abstract)

AI总结 UniWorld-Design是一种以语义RGBA层为原子单元的图像生成框架，含T2RGBA和I2L两个模型，在Crello基准测试中I2L和T2RGBA均优于现有相关模型。

Comments Project page: https://rabbitvis.rabbitpre.com/blog

A Note on Reinforcement Learning to Develop Self-defined Agents' Behavior

关于强化学习开发智能体自定义行为的注记

Matteo Morini, Pietro Terna

专题命中 Agent评测 ：agent(abstract)

AI总结 本研究基于有限理性假设，采用无监督学习为主的技术，通过Cross Targets（交叉目标）方法训练人工智能体，实现行为内部一致性，成功让随机游走智能体解决图节点分类问题。

Journal ref M. Morini, and P. Terna (2021). A note on reinforcement learning to develop self-defined agents' behavior. Carlo Alberto Notebooks, No. 638, January 2021