AI Agent

From Plan to Action: How Well Do Agents Follow the Plan?

评估自主编程代理中的计划合规性

Shuyang Liu, Saman Dehghan, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM（IBM公司） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE

AI总结 本文系统分析了编程代理在执行任务时对计划的遵循情况，通过16991条轨迹评估不同计划变体的影响，发现计划提醒能提高任务成功率，但不恰当的计划补充可能降低性能。

Adversarial Pragmatics for AI Safety Evaluation: A Diagnostic Framework and Seed Benchmark for Language-Mediated Control

面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准

Brett Reynolds

机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。

Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository

Nautilus: From One Prompt to Plug-and-Play Robot Learning

Nautilus：从一个提示到即插即用的机器人学习

Yufeng Jin, Jianfei Guo, Xiaogang Jia, Yu Deng, Zechu Li, Han Liu, Weiran Liao, Vignesh Prasad, Mathias Franzius, Gerhard Neumann, Georgia Chalvatzaki

机构 * TU Darmstadt（图宾根大学） ； KIT（卡尔斯鲁厄理工学院） ； FZI（弗劳恩霍夫研究所） ； Robotics Institute Germany（德国机器人研究所） ； Honda Research Institute Europe（本田欧洲研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)

AI总结 Nautilus通过单个提示生成可复现、评估、微调和部署的机器人学习工作流程，提供即插即用的代理技能集和统一接口，减少跨家族验证的工程负担。

Beyond Black-Box Obfuscation: Mechanistic Analysis and Defense of White-Box Monitors

超越黑盒混淆：白盒监测器的机制分析与防御

Maheep Chaudhary, Fazl Barez

机构 * University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.LG

AI总结 研究针对大语言模型白盒监测器可被规避且缺乏防御措施的问题，通过红队实验揭示几何转移和协方差操纵两种逃避策略，引入SafetyNet集成方法，在多模型家族实验中取得高AUROC分数，为稳健潜在空间监测提供了实证和起点。

ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research

ResearchClawBench: 端到端自主科学研究基准

Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, Hengjian Gao, Yiheng Wang, Qi Li, Kun Li, Sheng Xu, Shengdu Chai, Fangchen Yu, Xiangyu Zhao, Zhangrui Zhao, Weijie Ma, Zijie Guo, Koutian Wu, Haoyu Zhou, Haoxiang Yin, Lixue Cheng, Chaofan Hu, Haoxuan Li, Lu Mi, Xuxuan Xie, Yifan Zhou, Ruizhe Chen, Zhiwang Zhou, Xingjian Guo, Yuhao Zhou, Xuming He, Shengyuan Xu, Xinyu Gu, Jiamin Wu, Mianxin Liu, Chunfeng Song, Fenghua Ling, Dongzhan Zhou, Shixiang Tang, Yuqiang Li, Mao Su, Peng Ye, Siqi Sun, Bin Wang, Xue Yang, Zhenfei Yin, Tianfan Fu, Guangtao Zhai, Wanli Ouyang, Bo Zhang, Lei Bai, Wenlong Zhang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出ResearchClawBench基准，包含10个领域40个任务，通过多模态评分标准评估自主科研能力，最强智能体仅得21.5分，揭示当前系统在实验协议、证据匹配和科学核心方面的不足。

LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks

LiveClawBench: 在复杂真实世界助理任务上评估大语言模型代理的基准测试

Xiang Long, Li Du, Yilong Xu, RongJian Xu, Qiyanhui Lu, Ying Gao, Qinhua Xie, Fangcheng Liu, Ning Ding, Haoqing Wang, Ziheng Li, Changjiang Zhou, Jianyuan Guo, Yehui Tang

机构 * Samsung Research（三星研究院） ； HKUST (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 Agent评测 ：tool use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本文提出LiveClawBench基准，通过三轴复杂性框架评估LLM代理在真实世界助理任务中的表现，涵盖环境复杂性、认知需求和运行时适应性，为未来扩展提供基础。

TWICE: Modeling the Temporal Evolution of Personalized User Behavior via Event-Driven Agents

TWICE：通过事件驱动代理建模个性化用户行为的时间演化

Bingrui Jin, Kunyao Lan, Baihan LI, Mengyue Wu

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；workflow(abstract)

AI总结 提出TWICE框架，结合结构化用户画像、事件驱动记忆模块和两阶段工作流，利用LLM模拟用户行为的时间演化，在Twitter数据集上优于基线。

GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents

GrowthHacker: 使用代码修改型LLM代理的自动离线策略评估优化

Jie JW Wu, Ayanda Patrick Herlihy, Ahmad Saleem Mirza, Ali Afoud, Fatemeh Fard

机构 * Michigan Technological University, Houghton（密歇根技术大学） ； Birmingham City University（伯明翰城市大学） ； University of British Columbia, Kelowna（不列颠哥伦比亚大学, 肯洛纳） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG、cs.SE

AI总结 提出GrowthHacker基准，利用LLM代理自动迭代修改代码以优化离线策略评估（OPE）实现，在Open Bandit Pipeline和Scope-RL上评估多种框架，证明基于LLM的代理可作为自动增长黑客持续改进OPE系统。

Comments Accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2026

VESTA: Visual Exploration with Statistical Tool Agents

VESTA: 基于统计工具代理的视觉探索

William Rudman, Abhishek Divekar, Kanishk Jain, Sebastian Joseph, Stella S. R. Offner, Matthew Lease, Kyle Mahowald, Greg Durrett, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出VESTA框架，通过动态增长的工具集指导数据变换、假设驱动可视化和统计检验，提升视觉语言模型在复杂统计建模任务上的性能。

D$^2$ACCI: A Dual-Loop Diagnostic Protocol for Evidence-Preserving Agent Memory

D²ACCI：一种用于保留证据的智能体记忆的双循环诊断协议

Xule Liu, Yijun Liu, Chao Li, Shao Kun

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 该研究针对LLM智能体持久记忆流程故障难以定位的问题，提出双循环诊断协议D²ACCI，引入DCR指标与D²ACCI-Eval人工制品，在三个公开基准上取得明确性能增益，填补了记忆系统迭代缺乏可追踪证据的空白。

Comments Preprint

AI Guardrail Survival under Single-Cycle Agentic Self-Summarization

单循环智能体自摘要下的AI安全护栏存续性

Ted Kwartler, Alan Aqrawi, Arian Abbasi

专题命中 Agent评测 ：agentic(title)；分类 cs.AI

AI总结 本研究探究单循环智能体自摘要中安全规则的丢失机制，发现仅检查规则文本存在性的审计不可靠，需结合外部真实值检测，还指出仅靠LLM评判标签会反转评估结论。

DRBENCHER: Can Your Agent Identify the Entity, Retrieve Its Properties and Do the Math?

DRBENCHER：你的智能体能识别实体、检索其属性并进行数学运算吗？

Young-Suk Lee, Ramon Fernandez Astudillo, Radu Florian

机构 * IBM Research（IBM研究院） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 DRBENCHER通过综合评估浏览与计算能力，揭示了现有基准测试的不足，其四维标准确保了问题的可验证性、复杂性、难度和多样性，展示了智能体在动态数据环境下的性能限制。

Field Aware Agent Skill Retrieval

领域感知智能体技能检索

Paimon Goulart, Liang Wu, Kelly Wan, Evangelos E. Papalexakis, Liangjie Hong

专题命中 Agent评测 ：agent(title)；分类 cs.LG

AI总结 本研究针对终身学习智能体技能检索瓶颈，提出领域感知的技能表示方法，通过保留技能的多字段结构计算相似度，在 SkillRet 和 SRA-Bench 基准上取得优于拼接基线的检索效果，且优势随技能库规模增大而提升。

EduPanel: A Three-Agent LLM Judge for Teaching Videos -- Reliability, Complementarity, and Human Trust Calibration

EduPanel：用于教学视频的三智能体大语言模型评判器——可靠性、互补性和人类信任校准

Jia-Kai Dong, Yi-Cheng Lin, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； NTU Artificial Intelligence Center of Research Excellence（NTU人工智能卓越研究中心） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 针对教学视频教学质量评估需求，提出基于评分标准、以学习者为条件的EduPanel大语言模型评判器，通过专门智能体分解评估，经多项分析实现高可靠性，能辅助教育评估，提高评分准确性且让专家可检测不可靠输出。

Comments 19 pages

PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization

PAIR：面向多轮代理优化的前缀感知内部奖励模型

Wonjoong Kim, Yeonjun In, Sangwu Park, Dongha Lee, Chanyoung Park

机构 * KAIST（韩国科学技术院） ； Yonsei University（延世大学） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 本文提出PAIR模型，通过结合冻结的隐藏状态探针和轻量级注意力头部，解决多轮任务中内部正确性探针的可靠性问题，从而在不依赖外部模型调用或地面真实依赖的情况下，为GRPO训练提供密集的步骤级奖励信号。

Comments Under Review

Agentic Evaluation of Copyright Law Compliance

版权法合规性的智能体评估

Zheng Hui, Doni Bloomfield, Noam Kolt

专题命中 Agent评测 ：agentic(title)；分类 cs.CL

AI总结 研究LLM智能体版权法合规性评估问题，通过引入Copyright - Bench基准，由网站开发等商业任务组成，含提示变化与时间压力，对比智能体与人类基线，发现智能体存在选择版权作品及违规率受偏好和压力影响等情况。

Comments ICML 2026 Spotlight

Boundary Degree as a Node-level Feature for Epidemic Scenario Identification in Agent-based Cascade Simulations

边界度作为基于智能体的级联模拟中流行病场景识别的节点级特征

Amro Alabsi Aljundi, Galen Harrison, Jiangzhuo Chen, Abhijin Adiga, Anil Kumar Vullikanti, Madhav V. Marathe

机构 * Biocomplexity Institute（生物复杂性研究所） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.LG

AI总结 提出边界度作为节点级级联特征，通过消融实验证明其单独提升场景识别准确率19%，并理论证明无边界或边信息时某些场景不可区分。

Comments 28 pages, 10 figures, preliminary version; not final

Automated Standardization of Legacy Biomedical Metadata Using an Ontology-Constrained LLM Agent

使用本体约束的LLM代理自动化标准化遗留生物医学元数据

Josef Hardi, Martin J. O'Connor, Marcos Martinez-Romero, Jean G. Rosario, Stephen A. Fisher, Mark A. Musen

机构 * Division of Computational Medicine, Stanford University（斯坦福大学计算医学部） ； Department of Biology, University of Pennsylvania（宾夕法尼亚大学生物学系） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 提出基于LLM的元数据标准化系统，通过实时查询标准指南和本体服务，在839条HuBMAP记录上验证，相比纯LLM方法显著提升预测准确性。

BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers?

BadScientist: 研究代理能否写出令人信服但不严谨的论文来欺骗LLM审稿人？

Fengqing Jiang, Yichen Feng, Yuetai Li, Luyao Niu, Basel Alomair, Radha Poovendran

机构 * University of Washington（华盛顿大学） ； King Abdulaziz City for Science and Technology（卡布斯科学与技术城） ； HUMAIN 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 提出BadScientist框架，通过无需真实实验的呈现操纵策略生成造假论文，揭示LLM审稿系统存在系统性漏洞，造假论文接受率高达一定水平，且审稿人存在“担忧-接受冲突”，当前检测方法效果有限。

Comments ACL 2026; Project Page at https://bad-scientist.github.io/

Beyond Recall: Behavioral Specification as an Interpretive Layer for AI Personalization

超越回忆：行为规范作为AI个性化的解释层

Aarik Gulaya

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出行为规范作为解释层，通过压缩用户数据为解释性模式，显著提升AI代理对用户意图的表示准确性，减少模型规避，并在解释型问题上优于原始语料和商业记忆系统。

Comments 142 pages, 4 figures. Code, data, judge prompts, and reproduction instructions: github.com/agulaya24/beyond-recall 8/19 Replacement: Pages updated to 142 from 134. Added Table of Contents. Updated table/graph formatting. Updated Section 8: Data, Code, and Reproducibility to include updated links, corrected author names

Sequential LLM Release Facilitates Manipulation in Regulated Markets

毒苹果效应：通过AI代理技术扩展战略操纵中介市场

Eilam Shapira, Moshe Tennenholtz, Roi Reichart

机构 * Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology, Haifa, Israel（以色列理工学院数据与决策科学学院，海法，以色列） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究探讨了AI代理技术扩展对博弈论场景中经济影响，发现技术扩展可显著改变均衡收益与监管结果，提出'毒苹果'效应通过释放未被使用的新技术操纵监管设计，损害对手与监管公平性。

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon; Make the title consistent w/ pdf

LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes

LakeQuest：用于跨数据湖的有基础问答的三领域基准测试

Michael Solodko, Steven Gong, Guangwei Yu, Satya Krishna Gorti, Jesse C. Cresswell, Victor Zhong

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。

Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows

StructureClaw：用于结构工程工作流程的可追溯大语言模型智能体及可执行基准测试

Sizhong Qin, Yi Gu, Yao Jiang, Ao Cai, Changjian Zhou, Shaoxuan Shuai, Jiachang Wang, Tianhao Shen, Yueqiang Li, Xinhao Li, Li Zeng, Yueshi Chen, Dachen Gao, Genrong Xu, Wenjie Liao, Xinzheng Lu

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

AI总结 针对结构工程请求评估中难以验证完整证据链的问题，提出StructureClaw及可执行基准测试StructureClaw-Bench，通过工件中心评估提高成功率，发现交互式和多模态评估的挑战，为评估改进结构工程智能体提供更严格基础。

Comments 21 pages, 9 figures

AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers

AI4BayesCode: 从自然语言描述到经过验证的模块化状态性贝叶斯采样器

Jungang Zou, Alex Ziyu Jiang, Qixuan Chen

机构 * Department of Biostatistics, Columbia University（哥伦比亚大学生物统计学系） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出AI4BayesCode系统，通过自然语言描述生成可运行且验证过的MCMC采样器，采用模块化设计和递归状态性编码范式，提升了贝叶斯模型的可靠性和扩展性。

ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking

ArenaRL: 通过基于比赛的相对排名扩展强化学习以应对开放性智能体

Qiang Zhang, Boli Chen, Fanrui Zhang, Ruixue Ding, Shihang Wang, Qiuchen Wang, Yinfeng Huang, Haonan Zhang, Rongxiang Zhu, Pengyong Wang, Ailin Ren, Xin Li, Pengjun Xie, Jiawei Liu, Ning Guo, Jingren Zhou, Zheng-Jun Zha

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI、cs.LG

AI总结 ArenaRL通过基于比赛的相对排名机制，提升开放性智能体在复杂任务中的表现，实现效率与精度的平衡。

Continuous Knowledge Metabolism: Generating Scientific Hypotheses from Evolving Literature

连续知识代谢：从演进文献中生成科学假设

Jinkai Tao, Yubo Wang, Xiaoyu Liu, Menglin Yang

机构 * Tsingyuai（清华院） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出CKM框架，通过滑动时间窗口处理文献并动态更新知识库，提出CKM-Lite和CKM-Full两种变体，揭示了增量处理在预测和效率上的优势，以及知识变化对假设生成的影响。

Comments ICML 2026 AI4Research Workshop

Knowledge Graphs as the Missing Data Layer for LLM-Based Industrial Asset Operations

知识图谱：基于LLM的工业资产运营中缺失的数据层

Madhulatha Mandarapu, Sandeep Kunkunuru

机构 * VaidhyaMegha Private Limited, India（印度VaidhyaMegha私人有限公司） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究通过类型化知识图谱作为数据层，将GPT-4在工业维护场景中的准确率从65%提升至99%，并引入生成增强知识（GAK）处理缺失数据，实现81.8%的场景可回答性。

Comments v4: Accepted at Agents+Graph (AG2026) @ VLDB 2026. Corrects claims to reproduced ground truth: base graph 9 labels/5 edge types/12,647 nodes (extended schema 14/21); GAK materializes 106 failure-mode nodes; FailureSensorIQ noted as a separate IBM benchmark; 467 FMSR overlap with GAK disclosed. 20 pages, 4 figures. Code: github.com/samyama-ai/assetops-kg