AI Agent

From Alife Agents to a Kingdom of N Queens

Jing Han, Jiming Liu, Qingsheng Cai

专题命中 Agent评测 ：agent(abstract,comments)；autonomous agent(abstract)；分类 cs.AI

Comments 13 pages, 9 figures, in 1999 international conference of Intelligent Agent Technology. Nominated for the best paper award

Journal ref in Jiming Liu and Ning Zhong (Eds.), Intelligent Agent Technology: Systems, Methodologies, and Tools, page 110-120, The World Scientific Publishing Co. Pte, Ltd., Nov. 1999

On Learning by Exchanging Advice

L. Nunes, E. Oliveira

专题命中 Agent评测 ：agent(abstract,comments)；multi-agent(abstract,comments)；分类 cs.LG

Comments 12 pages, 6 figures, 1 table, accepted in Second Symposium on Adaptive Agents and Multi-Agent Systems (AAMAS-II), 2002

Incorporating social practices in BDI agent systems

Stephen Cranefield, Frank Dignum

专题命中 Agent评测 ：agent(title)；autonomous agent(comments)

Comments An extended abstract of this paper has been accepted for the Eighteenth International Conference on Autonomous Agents and Multiagent Systems (AAMAS), 2019

Stochastic Agent-Based Simulations of Social Networks

Garrett Bernstein, Kyle O'Brien

专题命中 Agent评测 ：agent(title,journal_ref)

Comments Won Best Paper Award. This work is sponsored by the Assistant Secretary of Defense for Research & Engineering under Air Force Contract #FA8721-05-C-0002. Opinions, interpretations, conclusions and recommendations are those of the author and are not necessarily endorsed by the United States Government

Journal ref Bernstein, G. and O'Brien, K. 'Stochastic Agent-Based Simulations of Social Networks.' Proceedings of 46th Annual Simulation Symposium, San Diego, 7-10 April 2013. 33-40. Print

ProofJudge: Tool-Grounded LLM Evaluation of Formal Proof Quality in Mathlib

ProofJudge：基于工具的大语言模型（LLM）对Mathlib中形式化证明质量的评估工具

Shane Caldwell

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本研究提出ProofJudge系统，通过智能体式LLM从五个维度评估Mathlib形式化证明质量，在218个声明数据集上验证其与人类偏好对齐度，发布开源制品支持相关研究。

Comments 4 pages, 1 figure, 1 table

Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality

提示工程之外：提示词词汇敏感性及其对质量影响的系统性分析

Qipeng Xie, Zi Liang, Jiafei Wu, Yufei Chen, Weizheng Wang, Wenao Ma, Zhong Ming, Haiqin Yang, Kaishun Wu

机构 * Shenzhen Technology University（深圳技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Lab（之江实验室） ； The Chinese University of Hong Kong（香港中文大学） ； HKUST (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL

AI总结 该研究针对大型语言模型的提示词词汇敏感性开展大规模机制分析，揭示提示词性能稳定性缩放定律，提出自动化提示词优化智能体，可降低代码生成任务性能方差40.7%，为鲁棒提示工程提供可解释框架。

DeltaML-Bench: Evaluating Machine Learning Agents on Real-World Research Repositories

DeltaML-Bench：基于真实研究仓库评估机器学习智能体

Josias Moukpe, Priyanka Aryal, Matthew Kenney

机构 * Algorithmic Research Group（算法研究组） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究推出DeltaML-Bench基准，评估发现基于搜索的ARG框架可提升GPT-5在机器学习实验任务中的成功率，且能避免规范博弈，为自主ML智能体部署提供了关键考量

Comments 18 pages, 3 figures, 12 tables. Code and benchmark: https://github.com/AlgorithmicResearchGroup/deltaml-bench-public

Beyond Recall: Behavioral Specification as an Interpretive Layer for AI Personalization

超越回忆：行为规范作为AI个性化的解释层

Aarik Gulaya

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出行为规范作为解释层，通过压缩用户数据为解释性模式，显著提升AI代理对用户意图的表示准确性，减少模型规避，并在解释型问题上优于原始语料和商业记忆系统。

Comments 142 pages, 4 figures. Code, data, judge prompts, and reproduction instructions: github.com/agulaya24/beyond-recall 8/19 Replacement: Pages updated to 142 from 134. Added Table of Contents. Updated table/graph formatting. Updated Section 8: Data, Code, and Reproducibility to include updated links, corrected author names

Engineering Reasoning and Instruction (ERI) Benchmark: A Large Taxonomy-driven Dataset for Foundation Models and Agents

工程推理与指令（ERI）基准：一个大规模的基于分类体系的数据集用于基础模型和代理

MZ Naser, Ahmad Bani Awwad, Zoie McCreery, Radwa Eissa, Ahmad Naser, Gianluca Cusatis, Andrew Metcalf, Kapil Madathil, Jamal Abdalla, Venkatesh Kodur, Mohammad Reza Saeb

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 ERI基准通过大规模分类数据集评估工程能力，揭示LLM在不同难度问题上的性能差异，并采用收敛验证协议降低幻觉风险。

Sequential LLM Release Facilitates Manipulation in Regulated Markets

毒苹果效应：通过AI代理技术扩展战略操纵中介市场

Eilam Shapira, Moshe Tennenholtz, Roi Reichart

机构 * Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology, Haifa, Israel（以色列理工学院数据与决策科学学院，海法，以色列） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究探讨了AI代理技术扩展对博弈论场景中经济影响，发现技术扩展可显著改变均衡收益与监管结果，提出'毒苹果'效应通过释放未被使用的新技术操纵监管设计，损害对手与监管公平性。

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon; Make the title consistent w/ pdf

Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact

绝非数字：将答案作为事实使用的AI系统的结构弃权

Zhelun, Wu

机构 * Apple Inc.（苹果公司） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 针对LLM文本转SQL系统返回错误答案且无法区分的问题，提出带生成式外壳的可信内核架构，即结构弃权，在生产案例中验证其可靠性优于两种生成式替代方案。

Comments 26 pages, 5 figures, 5 tables. Technical report. Describes architecture and design principles only; contains no code, schemas, datasets, or performance metrics

DiG-bench: Discovery in Games

DiG-bench：游戏中的发现

Ruairidh M. Battleday, Kai Sandbrink, Jimi Cullen-Drohan, Zihan Yan, Timothy Muller, Clare Maguire, Ales Kubicek, Fraser Greenlee-Scott, Sukrit Sumant, Tri Dao, Jürgen Schmidhuber, Michal Valko, Joshua Tenenbaum, Thomas L. Griffiths, Zeb Kurth-Nelson, James C. R. Whittington

专题命中 Agent评测 ：AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发布DiG-bench基准，含70个需智能体通过交互实验发现规则的游戏，设7个难度级，部分公开部分私有，用于评估智能体在目标未知环境中发现新知识的能力。

Towards the Harness of Embodied Agents

迈向具身智能体的管控

Qi Wang, Tianyi Wang, Chengyang Li, Shikun Ban, Yurun Chen, Yizhong Ge, Jason Qin, Chengtai Li, Wentao Zhu

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出名为Thea的具身智能体管控系统，通过场景图和退出码评估弥合物理世界与智能体的差距，实现长程任务完成。

Comments Project page: https://eit-hai.github.io/thea

LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes

LakeQuest：用于跨数据湖的有基础问答的三领域基准测试

Michael Solodko, Steven Gong, Guangwei Yu, Satya Krishna Gorti, Jesse C. Cresswell, Victor Zhong

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。

Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

DuplexWorld: Can voice agents help you get through the day?

DuplexWorld：语音智能体能帮你度过一天吗？

Aryan Vijay Bhosale, Harshit Rajgarhia, Akhil Pothanapalli, Asif Shaik, Abhishek Mukherji, Dinesh Manocha

机构 * Centific Global Solutions Inc.（森蒂菲克全球解决方案公司） ； University of Maryland（马里兰大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 DuplexWorld针对现有语音智能体评估基准的不足，构建含六大领域的156个场景开展评估，发现现有最优语音智能体在多维度仍有较大改进空间，并分析了相关性能与失败模式。

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Macaron-V1：面向具备自我改进与LoRA混合能力的开放持续学习

Mind Lab, :, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, Vic Cao, Amelia Chen, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Pyke Han, Nolan Ho, Ori Hong, Hailee Hou, Piers Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Kuss Koo, Jaron Lee, Andrew Lei, Alexy Li, Dawn Li, Lucian Li, Ray Li, Ricardo Li, Smith Li, Theo Li, Allen Lin, Elliot Lin, Fan Lin, Chen Ling, Kairus Liu, Kieran Liu, Logan Liu, Neo Liu, Xiang Liu, Yuxin Lu, Maeve Luo, Pony Ma, Verity Niu, Cole Qiao, Guian Qiu, Vince Qu, Sentry, Niko Song, Vincent Wang, Bo Wu, Rio Yang, Evelyn Ye, Fiona Ye, Ina Ye, Regis Ye, Josh Ying, Atlas Zeng, Danney Zeng, Salmon Zhan, Anya Zhang, Di Zhang, Mia Zhang, Sueky Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Juno Zhu, Murphy Zhuang

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Macaron-V1开放智能体模型家族，结合MoL架构与递归自我改进机制，经多基准评估验证其有效性，为开放持续学习提供新方案。

Comments 49 pages, technical report

TRACE: TRajectory Attribution for Automated Context Engineering

TRACE：用于自动化上下文工程的轨迹归因

Yikai Zhao, Pradeep Kumar Misra, Saurabh Pandey

机构 * Amazon（亚马逊公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 TRACE是利用历史智能体轨迹挖掘上下文故障的自动化反馈循环，可在上下文层诊断修复超80%的生产AI智能体故障，归因率72.7%、修复有效性82%。

Comments 21 pages, 5 figures, 11 tables

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

重放差距：大语言模型智能体中模型切换的静态评估评估的是错误的世界

Ashritha Gonuguntla

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大语言模型智能体的模型切换静态评估基于错误假设，通过分支展开实验证明模型交换会导致轨迹分歧，重放评估无法准确预测结果，发布了相关工具与轨迹。

Comments 8 pages, 3 figures. Accepted at the Conference on Language Modeling 2026. Code: https://github.com/AshrithaG/replay-gap Data: https://huggingface.co/datasets/ashritha0907/replay-gap-trajectories

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages

Hyangsuk Min, Yuho Lee, Minjeong Ban, Jiaqi Deng, Nicole Hee-Yeon Kim, Taewon Yun, Hang Su, Jason Cai, Hwanjun Song

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） ； AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments 34 pages, 6 figures

Journal ref ACL 2025 main

LiveEvalBench: Toward Open-World Evaluation for Web Generation

LiveEvalBench：面向网页生成的开放世界评估

Yiyao Wang, Zhen Wen, Yinghao Tang, Yixiao Fu, Lin Yuan, Xiaolau Zhang, Jun Zhou, Wei Chen

专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 LiveEvalBench是将网页生成评估转为智能体驱动的自适应可扩展过程的自动化框架，经实验验证其与人类专家判断高度一致，可提供前沿模型网页生成能力的细粒度洞察

RubricReviewer: From Direct Critique to Objective and Comprehensive Rubric-Driven Peer Review

RubricReviewer：从直接批评到客观全面的基于评分规则的同行评审

Shuyu Guo, Wenxiang Hu, Yuyue Zhao, Yougang Lyu, Xiaohui Yan

机构 * Shandong University（山东大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL

AI总结 RubricReviewer是一种基于评分规则驱动的框架，通过将评分规则生成为中间步骤，并结合Scout与Aligner模型，生成更全面、具判别性且抗攻击的评审意见。

StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows

StructureClaw：用于结构工程工作流程的可追溯大语言模型智能体及可执行基准测试

Sizhong Qin, Yi Gu, Yao Jiang, Ao Cai, Changjian Zhou, Shaoxuan Shuai, Jiachang Wang, Tianhao Shen, Yueqiang Li, Xinhao Li, Li Zeng, Yueshi Chen, Dachen Gao, Genrong Xu, Wenjie Liao, Xinzheng Lu

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

AI总结 针对结构工程请求评估中难以验证完整证据链的问题，提出StructureClaw及可执行基准测试StructureClaw-Bench，通过工件中心评估提高成功率，发现交互式和多模态评估的挑战，为评估改进结构工程智能体提供更严格基础。

Comments 21 pages, 9 figures

Benchmarks Are Not Validation: A System-Level View of Financial LLM Applications

基准测试并非验证：金融大语言模型应用的系统级视角

Burak Payzun, İrem Demirtaş, Simona Scala, Elena Ferretti, Seçil Arslan

机构 * Prometeia S.p.A.（普罗米特亚公司） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.CL、cs.SE

AI总结 该研究指出金融大语言模型不能仅靠基准测试验证，提出需从系统全栈进行多层验证，还讨论了LLM-as-a-judge的应用与控制措施，强调要研究系统感知基准等相关方向。

AI4BayesCode: From Natural Language Descriptions to Validated Modular Stateful Bayesian Samplers

AI4BayesCode: 从自然语言描述到经过验证的模块化状态性贝叶斯采样器

Jungang Zou, Alex Ziyu Jiang, Qixuan Chen

机构 * Department of Biostatistics, Columbia University（哥伦比亚大学生物统计学系） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出AI4BayesCode系统，通过自然语言描述生成可运行且验证过的MCMC采样器，采用模块化设计和递归状态性编码范式，提升了贝叶斯模型的可靠性和扩展性。

KernelGenBench: A Multi-Source and Multi-Chip Benchmark for LLM-based Kernel Generation

KernelGenBench：面向基于大语言模型的内核生成的多源多芯片基准测试

Peiyu Zang, Jian Tao, Jialing Zhang, Yichen Yuan, Wentao Zhang, Guang Liu, Yonghua Lin

机构 * Beijing Normal University（北京师范大学） ； Beijing Jiaotong University（北京交通大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Peking University（北京大学） ； BAAI（北京智源人工智能研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出KernelGenBench基准，评估LLM与智能体生成的Triton内核，发现智能体方法优于纯LLM采样，cuBLAS算子最具挑战，跨平台性能退化严重，自主生成成本远高于简单采样。

Comments 10 pages, 4 figures. Code and data are publicly available at https://github.com/flagos-ai/KernelGenBench

LuckyMera: a Modular AI Framework for Building Hybrid NetHack Agents

Luigi Quarantiello, Simone Marzeddu, Antonio Guzzi, Vincenzo Lomonaco

机构 * Department of Computer Science, University of Pisa（比萨大学计算机科学系） ； Journal Production Department, IOS Press（IOS Press期刊生产部） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

Recursive Deep Inverse Reinforcement Learning

Paul Ghanem, Owen Howell, Michael Potter, Pau Closas, Alireza Ramezani, Deniz Erdogmus, Tales Imbiriba

机构 * Boston Dynamics AI Institute（波士顿动力AI研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.LG