AI Agent

MADE: Benchmark Environments for Closed-Loop Materials Discovery

MADE：用于闭环材料发现的基准环境

Shreshth A Malik, Tiarnan Doherty, Panagiotis Tigas, Muhammed Razzak, Stephen J. Roberts, Aron Walsh, Yarin Gal

机构 * OATML, Department of Computer Science, University of Oxford（OATML，计算机科学系，牛津大学） ； Diffractive Labs ； Machine Learning Research Group, Department of Engineering Science, University of Oxford（机器学习研究组，工程科学系，牛津大学） ； Thomas Young Centre（托马斯·杨中心） ； Department of Materials, Imperial College London（材料系，伦敦帝国学院） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；agentic(abstract)；分类 cs.LG

AI总结 MADE提出了一种闭环材料发现的基准框架，通过模拟受限预算下的材料发现流程，评估发现算法的有效性和效率，并支持灵活的工作流研究。

Comments Poster at ICML 2026 Main Conference

The Basic B*** Effect: The Use of LLM-based Agents Reduces the Distinctiveness and Diversity of People's Choices

基本B效应：基于大语言模型（LLM）的智能体的使用会降低人们选择的独特性与多样性

Sandra C. Matz, Kimberly Klugescheid, C. Blaine Horton, Sofie Goethals

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 该研究通过实地研究和对照实验发现，使用基于LLM的智能体会降低人们选择的独特性与多样性，且顺序选择、智能体个性化会放大该效应，相关发现对设计维护人类多样性的AI系统具有重要意义。

Afterlife Delegation Protocol: Speculative Design of Self-Sovereign Agents that Outlive Their Principals

来世委托协议：可超越其委托人的自主主权智能体的推测性设计

Botao Amber Hu, Iris Long

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 该研究设计了基于ERC-10001的来世委托协议，开发了网页平台，探讨AI驱动的自主主权智能体在区块链上执行委托人遗嘱的可能性，分析不同文化来世宇宙观的转变。

Comments Submitted to NeurIPS 2026 Creative AI Track

No One to Blame: A Framework of Constitutive AI Unaccountability

无人可追责：构成型AI不可问责性的框架

Long Hoang Nguyen, Eva Späthe, Sebastian Lins, Ali Sunyaev

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 针对自主AI系统带来的问责挑战，该研究提出构成型AI不可问责性概念，构建诊断框架，在OpenClaw中检测到多数相关条件，为识别AI问责缺口提供实用工具。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026; v2: text encoding fix for author name, no content changes

Natural Language Processing: A Comprehensive Practical Guide from Tokenisation to RLHF

自然语言处理：从分词到RLHF的全面实用指南

Mullosharaf K. Arabov

机构 * KAZAN (VOLGA REGION) FEDERAL UNIVERSITY INSTITUTE OF COMPUTATIONAL MATHEMATICS AND INFORMATION TECHNOLOGIES（卡赞（伏尔加地区）联邦大学计算数学与信息科技学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文系统指导现代NLP全流程，涵盖分词、向量化、大语言模型微调、检索增强生成及人类反馈强化学习，强调低资源语言处理与开源模型应用。

Comments 136 pages, 12 practical works, preprint. Textbook for senior undergraduates and graduate students. Original contributions on low-resource languages (Tajik, Tatar and other). Companion repository available

Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks

用于评估和加固LLM系统指令对抗编码攻击的自动化框架

Anubhab Sahu, Diptisha Samanta, Reza Soosahabi

机构 * Keysight Technologies 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出自动化框架评估LLM系统指令在对抗编码攻击时的保密性，通过四个模型和46条指令测试发现结构化序列化攻击成功率高，提出基于Chain-of-Thought的缓解策略。

Comments An earlier version of this manuscript will appear in the proceedings of IEEE Cyber-AI 2026 Conference. Project source code is available at https://github.com/Keysight/LLM-EncodeGuard

PesTwin: a biology-informed Digital Twin for enabling precision farming

PesTwin：一种融合生物学的数字孪生用于实现精准农业

Andrea De Antoni, Matteo Rucco, Alberto Maria Cattaneo, Ege Gezer, Giuseppe Sulis, Paola Draicchio, Giovanni Iacca, Andrea Pugliese, Maria Vittoria Mancini

专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.SE

AI总结 本文提出一种基于Agent-Based建模的数字孪生框架，用于模拟害虫入侵，通过整合异构数据源预测害虫侵袭，提升精准农业的害虫防控能力。

Comments 6 pages, 5 figures, IEEE conference template

Journal ref Proc. 2026 IEEE Int. Conf. on Smart Computing Workshops (SmartComp Companion), 2026, pp. 195-200

Can LLM design high-quality experiments? A Comprehensive and Systematic Benchmark on Autonomous Experimental Design

大语言模型（LLM）能否设计高质量实验？一项针对自主实验设计的全面系统基准测试

Zejun Liu, Jian Wu, Ru Peng, Yuliang Ji, Dongyuan Li, Renhe Jiang, Yue Zhang

专题命中 Agent评测 ：planning(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究构建SCOPE基准评估LLM的自主实验设计能力，发现多数LLM无法直接设计高质量实验，低层配置存在瓶颈，进而提出OptED工作流缓解该瓶颈。

Comments 32 pages, 7 figures

GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks

GABench：用于评估大语言模型智能体图分析任务的综合基准

Jiarui Tan, Zhongjian Zhang, YaBo Guo, Jiawei Liu, Yujie Xing, Muhan Zhang, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出GABench这一综合基准，涵盖多类图类型与任务及84个可执行工具，构建10400个带可验证答案的任务，评估前沿LLM及智能体框架，发现现有智能体应对复杂图任务仍存局限等结论。

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；workflow(abstract)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

AdvPlan-Bench：结构化计划生成智能体的对抗性评估基准

Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.LG

AI总结 本文提出AdvPlan-Bench，这一结构化计划生成智能体的对抗性评估离线基准，通过多维度指标开展实验验证，为相关研究提供可复现的基准支持。

SREGym: A Live Benchmark for AI SRE Agents with High-Fidelity Failure Scenarios

SREGym：面向AI SRE代理的实时基准测试平台，具有高保真的故障场景

Jackson Clark, Yiming Su, Saad Mohammad Rafid Pial, Yifang Tian, Lily Gniedziejko, Hans-Arno Jacobsen, Yinfang Chen, Tianyin Xu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；AI agent(abstract)；分类 cs.AI

AI总结 SREGym通过模拟真实云原生系统栈中的高保真故障场景，为AI SRE代理提供实时基准测试环境，包含90个真实挑战性SRE问题，评估前沿代理能力差异显著，可达40%。

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

SQBench：用于评估面向生产工作流程中语言模型代理任务交付的基准测试

Summer Sun

机构 * Shaqiu Community（沙丘社区） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；workflow(abstract)；分类 cs.AI

AI总结 研究面向生产工作流程中语言模型代理任务交付评估问题，核心方法是引入SQBench基准测试，包含多种任务并按特定方式评估，主要贡献是揭示功能完成度不能完全体现交付质量，风险判定需单独报告。

Comments 17 pages, 8 figures. Code and aggregate results: https://github.com/shaqiu-ai/SQBench

DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers

DynamicMCPBench：用于实时MCP服务器上的大语言模型智能体的基于轨迹的效果评分基准测试

Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Sergey Chuprin, Kirill Redko, Aidar Shumbalov, Anna Kalyuzhnaya

机构 * ITMO University（俄罗斯圣彼得堡国立信息技术机械与光学大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体在MCP服务器上的评估基准问题，提出DynamicMCPBench框架，能生成目标、追踪轨迹并按效果评分。大规模测试发现智能体处理长多步任务能力不足，且该框架可重复运行，人工验证其自动评分可靠。

Sifting the Noise: A Comparative Study of LLM Agents in Vulnerability False Positive Filtering

筛选噪声：LLM代理在漏洞假阳性过滤中的比较研究

Yunpeng Xiong, Ting Zhang

专题命中 Agent评测 ：agent(abstract,abstract_cn)；agentic(abstract)；分类 cs.SE

AI总结 本文比较了三种先进的LLM代理框架在漏洞假阳性过滤中的性能，展示了LLM代理在减少SAST噪声方面的有效性，但指出其效果依赖于模型和漏洞类型，且存在计算成本差异。

Comments To appear in Proceedings of the 35th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026)

QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics

QwenPaw-数据：为自主企业数据分析搭建事实、方法与执行的桥梁

Tianjing Zeng, Yuntao Hong, Zhongjun Ding, Dandan Liu, Yinan Mei, Yunxiang Su, Yiming Wang, Xiaojian Zhang, Jingyu Zhu, Junhao Zhu, Zhuowen Liang, Jiazhen Peng, Lianggui Weng, Zhihao Ding, Kerui Yi, Qifeng Wang, Rong Zhu, Bolin Ding, Liyu Mou, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对企业数据分析在开放环境的特性，提出QwenPaw-Data系统，通过整合异构资产、转化自然语言请求为工作流，架构含三个协作子系统，实验证明该系统提升了数据访问和分析质量，为企业数据智能体提供基础。

SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints

SovereignPA-Bench：在演化意图、平台中介与同意约束下评估用户自有个人智能体

Dylan Zongmin Liu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 针对现有基准未考量个人智能体用户主权保护的问题，提出可执行基准SovereignPA-Bench，从多维度评估智能体主权能力，验证全主权框架可显著降低隐私泄露等风险。

Recursive Self-Evolving Agents via Held-Out Selection

通过保留集选择的递归自演化智能体

Michael Nguyen, Quoc Nguyen, Paul Vuong

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出RSEA递归自演化智能体，通过三层自然语言状态（策略、技能、规程）和严格保留集选择机制实现安全自演化，在四个基准上表现稳健。

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

Running the Gauntlet: 重新评估智能体在陌生环境中的能力

Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak, Shreyansh Padarha, Kumail Alhamoud, Zihao Fu, William Lugoloobi, Kai Rawal, Hanna Yershova, Xander Davies, Taras Rumezhak, Guohao Li, Fazl Barez, Baoyuan Wu, Arkadiusz Drohomirecki, Yarin Gal, Chris Russell, Christopher Summerfield, Adam Mahdi, Volodymyr Karpiv, Philip Torr, Adel Bibi

机构 * University of Oxford（牛津大学） ； SoftServe ； Massachusetts Institute of Technology（麻省理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； UK AI Security Institute（英国人工智能安全研究所） ； Ukrainian Catholic University（乌克兰天主教大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.LG

AI总结 提出GauntletBench基准，通过20个视觉密集型任务评估智能体在时间感知、图形理解和3D推理等未被充分探索的能力，发现最先进智能体成功率仅19.1%，远低于人类80%以上。

Qwen-AgentWorld: Language World Models for General Agents

Qwen-AgentWorld: 通用智能体的语言世界模型

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding

机构 * Qwen Team（Qwen团队） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出基于语言模型的世界模型Qwen-AgentWorld，通过三阶段训练（CPT、SFT、RL）模拟7个领域的智能体环境，并构建AgentWorldBench基准，实验表明其显著优于现有模型，且能作为环境模拟器和智能体基础模型提升下游性能。

ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End?

ORAgentBench: LLM代理能否解决具有挑战性的端到端运筹学任务？

Jiajun Li, Mingshu Cai, Yixuan Li, Yu Ding, Ran Hou, Guanyu Nie, Xiongwei Han, Wanyuan Wang

机构 * Southeast University（东南大学） ； Waseda University（早稻田大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出ORAgentBench基准，评估LLM代理在端到端运筹学任务中的表现，发现当前代理通过率仅35.51%，主要受策略性弱点限制。

Comments 31 pages, preprint, v1

LLM Consumer Behavior Theory: Foundations of a Novel Research Field

LLM消费者行为理论：一个新兴研究领域的基础

Manon Reusens, Sofie Goethals, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出LLM消费者行为理论，研究LLM代理在市场中代表人类消费决策的行为，整合经济学与自然语言处理，探讨偏好表达、市场聚合及理性假设的失效。

Benchmarking Emergent Coordination in Large-Scale LLM Populations: An Evaluation Framework on the MoltBook Archive

在大规模大语言模型群体中评估涌现协调：对MoltBook档案库的评估框架

Brandon Yee, Pairie Koh

机构 * Management Lab, Yee Collins Research Group（Yee Collins研究组管理实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出了一种评估框架，用于在开放代理环境中评估角色专业化、信息扩散和协作任务解决的涌现协调，通过MoltBook档案库的数据集展示了该框架，并建立了量化基准，揭示了核心-外围结构、重尾级联分布和去中心化任务解决中的严重协调开销。

Comments Substantial Revision Required

Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases

评估大型语言模型在标准化病人案例中的动态临床决策能力

Cheng Liang, Pengcheng Qiu, Ya Zhang, Yanfeng Wang, Chaoyi Wu, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.CL

AI总结 本文提出MedSP1000基准，通过标准化病人案例模拟动态临床交互，评估LLM在信息收集、治疗计划和长期管理中的表现，发现当前模型在过程级评估中远未达到临床安全标准。

PaperVoyager : Building Interactive Web with Visual Language Models

PaperVoyager：利用视觉语言模型构建交互式网页

Dasen Dai, Biao Wu, Meng Fang, Wenhao Wang

机构 * Vast Intelligence Lab（vast 智能实验室） ； UTS（UTS大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；tool use(abstract)；分类 cs.CL

AI总结 提出PaperVoyager框架，将研究论文自动转化为可执行的交互式网页系统，通过显式建模机制和交互逻辑，显著提升生成系统的质量。

Comments 9 pages, 5 figures

BlueFin: Benchmarking LLM Agents on Financial Spreadsheets

BlueFin: 在金融电子表格上对LLM智能体进行基准测试

Srivatsa Kundurthy, Clara Na, Colton Moraine, Anoushka Mohta, Case Winter, George Fang, John Ling, Emma Strubell, Zach Kirshner

机构 * Longitude Labs Inc.（Longitude Labs公司） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出BlueFin基准，通过131个真实金融电子表格任务评估LLM智能体的合成、操作和理解能力，并验证了LM评判与人类专家的一致性。

Comments 26 pages

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

DTBench：文档到表格提取的合成基准

Yuxiang Guo, Zhuoran Du, Nan Tang, Kezheng Tang, Congcong Ge, Yunjun Gao

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出DTBench合成基准，通过反向Table2Doc范式和多智能体合成流程生成文档，系统评估LLM在文档到表格提取中的多种能力。

Comments KDD26

IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents

IntentScore: 面向计算机使用智能体的意图条件动作评估

Rongqian Chen, Yu Li, Zeyu Fang, Sizhe Tang, Weidong Cao, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；planning(abstract)；分类 cs.AI

AI总结 提出IntentScore，一种基于计划感知的奖励模型，通过对比对齐和边际排序学习评估动作质量，在OSWorld上提升任务成功率6.9个百分点。

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

EgoBench：面向工具使用智能体的交互式自我中心多模态基准

Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出EgoBench，首个交互式自我中心多模态基准，通过1045个自我中心视频任务和用户-智能体-工具交互环境，联合评估视觉感知、工具增强多跳推理和动态交互能力，揭示当前最先进模型性能上限（平均准确率19.43%）。

Comments 68 pages, 6 figures

Position: AI Safety Requires Effective Controllability

立场：AI安全需要有效可控性

Yige Li, Yunhao Feng, Jun Sun

机构 * Singapore Management University（新加坡管理大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出AI安全应将可控性作为首要目标，通过定义可控性、引入基准测试ControlBench并分析现有对齐机制的不足，提出以控制为中心的架构框架。

Comments 23 pages