AI Agent

Is Telehealth Better Used to Treat Patients or Help Other Physicians Treat Patients? An Agent-Based Modeling Study of Healthcare Provision

远程医疗更适合用于治疗患者还是帮助其他医生治疗患者？基于智能体的医疗服务提供模型研究

Michael Chary

专题命中 Agent评测 ：agent(title,abstract)

AI总结 通过基于智能体建模，研究远程医疗在医学毒理学中的效果，发现医生间远程医疗可改善患者健康且不增加系统利用，而医患远程医疗增加成本但无临床改善。

Comments Presented at HICSS 2022

From Boundary Crossings to Global Connectivity: A Minimal Mechanism in Structured Agent-Based Landscapes

从边界穿越到全局连通：结构化基于智能体景观中的最小机制

Fabio Nelli

专题命中 Agent评测 ：agent(title,abstract)

AI总结 研究局部移动性异质性如何在结构化智能体系统中通过边界介导产生全局重构，发现少量探索性智能体即可在随机游走下实现景观连通，无需优化或目标导向行为。

Comments 26 pages, 6 figures, 3 supplementary figures. Source code and replication package publicly available via CoMSES and Zenodo

Afterlife Delegation Protocol: Speculative Design of Self-Sovereign Agents that Outlive Their Principals

来世委托协议：可超越其委托人的自主主权智能体的推测性设计

Botao Amber Hu, Iris Long

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 该研究设计了基于ERC-10001的来世委托协议，开发了网页平台，探讨AI驱动的自主主权智能体在区块链上执行委托人遗嘱的可能性，分析不同文化来世宇宙观的转变。

Comments Submitted to NeurIPS 2026 Creative AI Track

Can LLM design high-quality experiments? A Comprehensive and Systematic Benchmark on Autonomous Experimental Design

大语言模型（LLM）能否设计高质量实验？一项针对自主实验设计的全面系统基准测试

Zejun Liu, Jian Wu, Ru Peng, Yuliang Ji, Dongyuan Li, Renhe Jiang, Yue Zhang

专题命中 Agent评测 ：planning(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究构建SCOPE基准评估LLM的自主实验设计能力，发现多数LLM无法直接设计高质量实验，低层配置存在瓶颈，进而提出OptED工作流缓解该瓶颈。

Comments 32 pages, 7 figures

GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks

GABench：用于评估大语言模型智能体图分析任务的综合基准

Jiarui Tan, Zhongjian Zhang, YaBo Guo, Jiawei Liu, Yujie Xing, Muhan Zhang, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出GABench这一综合基准，涵盖多类图类型与任务及84个可执行工具，构建10400个带可验证答案的任务，评估前沿LLM及智能体框架，发现现有智能体应对复杂图任务仍存局限等结论。

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；workflow(abstract)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

AdvPlan-Bench：结构化计划生成智能体的对抗性评估基准

Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.LG

AI总结 本文提出AdvPlan-Bench，这一结构化计划生成智能体的对抗性评估离线基准，通过多维度指标开展实验验证，为相关研究提供可复现的基准支持。

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

SQBench：用于评估面向生产工作流程中语言模型代理任务交付的基准测试

Summer Sun

机构 * Shaqiu Community（沙丘社区） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；workflow(abstract)；分类 cs.AI

AI总结 研究面向生产工作流程中语言模型代理任务交付评估问题，核心方法是引入SQBench基准测试，包含多种任务并按特定方式评估，主要贡献是揭示功能完成度不能完全体现交付质量，风险判定需单独报告。

Comments 17 pages, 8 figures. Code and aggregate results: https://github.com/shaqiu-ai/SQBench

DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers

DynamicMCPBench：用于实时MCP服务器上的大语言模型智能体的基于轨迹的效果评分基准测试

Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Sergey Chuprin, Kirill Redko, Aidar Shumbalov, Anna Kalyuzhnaya

机构 * ITMO University（俄罗斯圣彼得堡国立信息技术机械与光学大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体在MCP服务器上的评估基准问题，提出DynamicMCPBench框架，能生成目标、追踪轨迹并按效果评分。大规模测试发现智能体处理长多步任务能力不足，且该框架可重复运行，人工验证其自动评分可靠。

SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints

SovereignPA-Bench：在演化意图、平台中介与同意约束下评估用户自有个人智能体

Dylan Zongmin Liu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 针对现有基准未考量个人智能体用户主权保护的问题，提出可执行基准SovereignPA-Bench，从多维度评估智能体主权能力，验证全主权框架可显著降低隐私泄露等风险。

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

Running the Gauntlet: 重新评估智能体在陌生环境中的能力

Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak, Shreyansh Padarha, Kumail Alhamoud, Zihao Fu, William Lugoloobi, Kai Rawal, Hanna Yershova, Xander Davies, Taras Rumezhak, Guohao Li, Fazl Barez, Baoyuan Wu, Arkadiusz Drohomirecki, Yarin Gal, Chris Russell, Christopher Summerfield, Adam Mahdi, Volodymyr Karpiv, Philip Torr, Adel Bibi

机构 * University of Oxford（牛津大学） ； SoftServe ； Massachusetts Institute of Technology（麻省理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； UK AI Security Institute（英国人工智能安全研究所） ； Ukrainian Catholic University（乌克兰天主教大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.LG

AI总结 提出GauntletBench基准，通过20个视觉密集型任务评估智能体在时间感知、图形理解和3D推理等未被充分探索的能力，发现最先进智能体成功率仅19.1%，远低于人类80%以上。

Qwen-AgentWorld: Language World Models for General Agents

Qwen-AgentWorld: 通用智能体的语言世界模型

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding

机构 * Qwen Team（Qwen团队） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出基于语言模型的世界模型Qwen-AgentWorld，通过三阶段训练（CPT、SFT、RL）模拟7个领域的智能体环境，并构建AgentWorldBench基准，实验表明其显著优于现有模型，且能作为环境模拟器和智能体基础模型提升下游性能。

ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End?

ORAgentBench: LLM代理能否解决具有挑战性的端到端运筹学任务？

Jiajun Li, Mingshu Cai, Yixuan Li, Yu Ding, Ran Hou, Guanyu Nie, Xiongwei Han, Wanyuan Wang

机构 * Southeast University（东南大学） ； Waseda University（早稻田大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出ORAgentBench基准，评估LLM代理在端到端运筹学任务中的表现，发现当前代理通过率仅35.51%，主要受策略性弱点限制。

Comments 31 pages, preprint, v1

LLM Consumer Behavior Theory: Foundations of a Novel Research Field

LLM消费者行为理论：一个新兴研究领域的基础

Manon Reusens, Sofie Goethals, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出LLM消费者行为理论，研究LLM代理在市场中代表人类消费决策的行为，整合经济学与自然语言处理，探讨偏好表达、市场聚合及理性假设的失效。

When Stories Evolve: Benchmarking LLM Storytelling Across Agent Architectures in Open-Ended World Simulations

当故事演变时：在开放世界模拟中针对智能体架构对大语言模型故事讲述能力进行基准测试

Yuqi Chen, Sixuan Li, Yunfeng Cai, Xueai Li, Ka Man Yan, Ying Li

机构 * The University of Hong Kong（香港大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Beijing Institute of Mathematical Sciences and Applications (BIMSA)（北京数学科学与应用研究院） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.CL

AI总结 该研究推出WSE-bench基准，评估开放世界模拟中不同智能体架构的大语言模型故事讲述的持续生成、规范一致性和有意义发展，发现三者存在竞争关系，模型规模仅提升持续生成能力。

No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage

没有任务每次都失败：为什么单次审计在智能体损伤问题上存在结构性盲区

Shiven Khurdi

机构 * Northeastern University（东北大学） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.LG

AI总结 该研究提出AgentRelBench工具，发现单次智能体审计易遗漏损伤对，模型能力提升会减少损伤任务，部分模型存在宣称弃权却执行不可逆操作的情况，且所有发现均按预注册标准执行。

Comments 25 pages, 4 figures, 16 tables, 6 appendices. Code, task suite, released per-run verdicts, and a one-command reproduction of every reported number: https://github.com/shivenkk/agentrelbench

Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds

反思自进化智能体技能：多轮次的反馈动态

Yuxuan Liu, Zhaochen Su, Yuhao Zhang, Jiahe Guo, Zhongwei Xie, Huihao Jing, Lingyun Xie, Qing Zong, Yauwai Yim, Zhixiong Zhang, Haoran Li, Yangqiu Song

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.SE

AI总结 本研究提出受控评估框架，发现自进化智能体技能是稀疏的验证过滤搜索，收益依赖模型与基准，失败轨迹反馈对技能选择关键，测试时计算难以完全恢复其收益。

Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security

自适应对手：用于大语言模型智能体安全的多轮、多大语言模型基准测试

Devina Jain, David Hartmann, Chuan Li

机构 * Lambda 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.LG

AI总结 该研究提出针对无记忆大语言模型防御者的自适应多轮攻击的21场景基准测试，通过观察防御者响应灵活调整攻击。介绍了不同攻击轮次成功率，汇集多个前沿攻击者大语言模型的情况，还指出不同防御者弱点差异及场景排名不一致性，并发布了相关基准测试及数据集。

Comments Second Workshop on Agents in the Wild: Safety, Security, and Beyond

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

反馈操纵正则化：实现用于模仿学习的离线智能体对齐

Benjamin Poole, Minwoo Lee

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.LG

AI总结 研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法，利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试，该方法能提升适应性、减少对齐错误，在有限数据下也保持稳健。

TAG: A Lightweight Framework for Test-Driven Agentic Artifact Generation

代理创建，我们验证：用于代理工件生成的轻量级框架

Yaniv Melamed, Yoni Zukerman, Michal Shechter, Miri Weissler, Ashwin Patil, Hani Neuvirth-Telem

机构 * Microsoft（微软） 纠错

专题命中 Agent评测 ：agentic(title)；分类 cs.AI、cs.SE

AI总结 研究如何用大语言模型生成结构化工件并使其可靠用于生产部署。核心方法是基于“LLMs生成，我们验证”原则构建轻量级框架，贡献是提出含三关键属性的框架并在安全领域验证，还可用于其他工件生成任务。

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

利用离线强化学习学习控制大语言模型智能体的执行框架

Haiwen Yi, Xinyuan Song

机构 * University of Toronto（多伦多大学） ； Emory University（埃默里大学） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.LG

AI总结 研究提出将大语言模型智能体的执行框架视为可学习控制层，通过有限 horizon 的框架马尔可夫决策过程，利用离线强化学习训练轻量级控制器，在多领域实验中改进验证行为、提高任务质量，证明框架控制可学习且离线支持有局限。

Comments 17 pages, 7 figures

The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators

红皇后哥德尔机：共同进化的智能体及其评估者

Alex Iacob, Andrej Jovanović, William F. Shen, Daniel Burkhardt, Meghdad Kurmanji, Nurbek Tastan, Lorenzo Sani, Niccolò Alberto Elia Venanzi, Ambroise Odonnat, Zeyu Cao, Bill Marino, Xinchi Qiu, Nicholas D. Lane

专题命中 Agent评测 ：agent(abstract,comments)；agentic(abstract)；分类 cs.AI、cs.LG；multi-agent(comments)

AI总结 提出红皇后哥德尔机（RQGM），一种在非平稳效用下实现递归自我改进的进化框架，通过受控效用演化在编码、论文写作和证明任务上超越现有自我改进智能体。

Comments 13 pages main text + 21 pages appendix (38 pages total, incl. references); 11 figures (7 main text + 4 appendix); 10 tables (2 main text + 8 appendix). Preliminary preprint; work in progress. Keywords: self-improving agents, learned evaluation, multi-agent systems, auto-mated scientific discovery, controlled utility evolution, co-evolutionary search, autoresearch

Weaker Coherence, Weaker Reciprocity: Comparing the Semantic and Social Organization of Moltbook and Reddit

连贯性更弱，互惠性更弱：对比Moltbook与Reddit的语义及社交组织

Favio Di Ciocco, Lucas Díaz Celauro, Sebastián Pinto, Marcelo Kuperman, Pablo Balenzuela

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；autonomous agent(abstract)

AI总结 该研究对比AI智能体社交网络Moltbook与早期Reddit，发现Reddit在语义连贯性、多样性及交互互惠性上更优，且未被Moltbook复现。

VICBench: A Multi-Language Benchmark for Code Vulnerability Detection

VICBench：一个用于代码漏洞检测的多语言基准测试集

Jin Lu, Xuening Han, Yang Zhong, Lin Tan, Kevin Luo, Andrew Gacek, Neha Rungta

专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 本研究构建了多语言代码漏洞检测基准VICBench，包含100个CVE对应的VIC，规模显著大于现有数据集，经评估现有漏洞检测算法性能有限，该基准可用于可靠评估漏洞检测方法。

HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

HarnessOpt-Bench：评估大型语言模型的 harness 优化能力

Varun Ursekar, Apaar Shanker, Yash Maurya, Shehab Yasser, Vijay S. Kalmath, Veronica Chatrath, Yuan Xue

机构 * Scale AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本研究提出HarnessOpt-Bench基准，评估前沿LLM在高成本随机评估下的端到端harness优化能力，发现优化器模型差异大于编码harness、原生harness非始终更优，该能力具可测性与提升空间。

Teach it to stop, not just to click

教它停止，而不仅仅是点击

Barada Sahu, Shivesh Pandey

机构 * Cabal AI ； Para AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 研究智能体计算机使用强化学习中单次运行结果的误导性，通过验证器引导修复35B智能体，发现成功率受上游方差主导，修复能力分两层，框架级修复有条件，还发现自身过度断言，发布库用于k种子报告，首次进行多模态分段聚合策略内自蒸馏更新。

Comments 15 pages, 3 figures. Reliability protocol and library (cua_reliability), completion verifier, and leakage-free held-out plus bootstrap evaluation harness are open-source

Set-shifting Behavioral Test for Harnessed Agents

用于受约束智能体的集合转移行为测试

Ziwei Ye

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 研究当可靠工具在会话中悄然改变时语言模型智能体的工具选择，借鉴认知心理学的集合转移构建基准和评估框架，计算集合转移准确率，测试发现不同失败模式及集合框架对路由动态有影响。

Infinite Worlds with Versatile Interactions

具有通用交互的无限世界

Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, Qingyan Bai, Jiahao Wang, Yufeng Yuan, Hanlin Wang, Yichong Lu, Ka Leong Cheng, Haojie Zhang, Jian Gao, Tianrui Feng, Yuzheng Liu, Yao Yao, Yinghao Xu, Xing Zhu, Yujun Shen, Hao Ouyang

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)

AI总结 介绍LingBot-World 2.0的升级，包括通过因果预训练实现无界交互、提炼实时变体保证快速响应，引入多样交互元素，集成智能控制并开发共享界面，还将主模型与轻量级模型配对便于单GPU部署。

Comments Project page: https://technology.robbyant.com/lingbot-world-v2 Code: https://github.com/robbyant/lingbot-world-v2

TestEvo-Bench: An Executable and Live Benchmark for Test and Code Co-Evolution

TestEvo-Bench：一个可执行且动态的测试与代码协同演化基准

Jiale Amber Wang, Kaiyuan Wang, Pengyu Nie

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出TestEvo-Bench基准，包含测试生成和更新两类任务，基于真实提交历史并支持执行指标，评估自动化代理在代码变更后同步调整测试的能力。

Comments TestEvo-Bench leaderboard and data explorer are hosted at https://www.testevo-bench.com

GMO-E$^2$DIT: Grounded Multi-Operation Editing for E-Commerce Images

GMO-E$^2$DIT：面向电商图像的接地多操作编辑

Zipeng Guo, Xiaoan Liu, Lichen Ma, Cheng Wang, Yu He, Xiaolong Fu, Jingling Fu, Xinyuan Shan, Shaojie Guo, Luohang Liu, Junshi Huang, Yan Li

机构 * Wuhan University（武汉大学） ； Xi’an Jiaotong University（西安交通大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)

AI总结 提出GMO-E$^2$DIT框架，通过VLM代理构建区域接地编辑议程，结合掩码条件图像编辑器和反思循环，实现多操作、可审计的电商图像编辑，在指令准确性和编辑保真度上超越现有基线。