AI Agent

Establishing Best Practices for Building Rigorous Agentic Benchmarks

Yuxuan Zhu, Tengjun Jin, Yada Pruksachatkun, Andy Zhang, Shu Liu, Sasha Cui, Sayash Kapoor, Shayne Longpre, Kevin Meng, Rebecca Weiss, Fazl Barez, Rahul Gupta, Jwala Dhamala, Jacob Merizian, Mario Giulianelli, Harry Coppock, Cozmin Ududec, Jasjeet Sekhon, Jacob Steinhardt, Antony Kellermann, Sarah Schwettmann, Matei Zaharia, Ion Stoica, Percy Liang, Daniel Kang

机构 * UIUC（伊利诺伊大学） ； Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） ； Princeton University（普林斯顿大学） ； MIT（麻省理工学院） ； Transluce ； ML Commons ； Amazon（亚马逊） ； UK AI Safety Institute（英国人工智能安全研究所） ； University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.AI

Comments 39 pages, 15 tables, 6 figures

Multi-level Value Alignment in Agentic AI Systems: Survey and Perspectives

Wei Zeng, Hengshu Zhu, Chuan Qin, Han Wu, Yihang Cheng, Sirui Zhang, Xiaowei Jin, Yinuo Shen, Zhenxing Wang, Feimin Zhong, Hui Xiong

机构 * Business School, Hunan University（湖南大学商学院） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； School of Business, Hunan University（湖南大学商学院） ； Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能研究所） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology Hong Kong SAR（香港科技大学（香港）计算机科学与工程学院） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；multi-agent(abstract)；分类 cs.AI

Auto-Eval Judge: Towards a General Agentic Framework for Task Completion Evaluation

Roshita Bhonsle, Rishav Dutta, Sneha Vavilapalli, Harsh Seth, Abubakarr Jaye, Yapei Chang, Mukund Rungta, Emmanuel Aboah Boateng, Sadid Hasan, Ehi Nosakhare, Soundar Srinivasan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Microsoft Corporation（微软公司） ； University of Maryland（马里兰大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

SciReplicate-Bench: Benchmarking LLMs in Agent-driven Algorithmic Reproduction from Research Papers

Yanzheng Xiang, Hanqi Yan, Shuyin Ouyang, Lin Gui, Yulan He

机构 * King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.SE

The Term 'Agent' Has Been Diluted Beyond Utility and Requires Redefinition

Brinnae Bent

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

Comments Accepted to AIES 2025

Complex Model Transformations by Reinforcement Learning with Uncertain Human Guidance

Kyanna Dagenais, Istvan David

机构 * McMaster University（麦斯特大学） ； McMaster Centre for Software Certification（麦斯特软件认证中心） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG、cs.SE

Comments Accepted for ACM/IEEE MODELS'25

Building Effective Safety Guardrails in AI Education Tools

Hannah-Beth Clark, Laura Benton, Emma Searle, Margaux Dowland, Matthew Gregory, Will Gayne, John Roberts

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

Comments 9 pages, published in proceedings of International Conference on Artificial Intelligence in Education (AIED) 2025: Posters and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners, Doctoral Consortium, Blue Sky, and WideAIED

Journal ref Communications in Computer and Information Science (2025) vol 2590, pp. 129-136

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments Page: https://zyh482.github.io/Hi3DEval/

GrandJury: A Collaborative Machine Learning Model Evaluation Protocol for Dynamic Quality Rubrics

Arthur Cho

机构 * Memoirji LLC（Memiorji公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.LG

Comments 14 pages (incl. arXiv cover), 1 table, code & dataset links inside. Open-source implementation available on PyPI (grandjury package) and GitHub. Dataset available on Hugging Face under CC-BY-4.0 license

Towards Personalized Conversational Sales Agents: Contextual User Profiling for Strategic Action

Tongyoung Kim, Jeongeun Lee, Soojin Yoon, Sunghwan Kim, Dongha Lee

机构 * Yonsei University（延世大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

CleanUpBench: Embodied Sweeping and Grasping Benchmark

Wenbo Li, Guanting Chen, Tao Zhao, Jiyao Wang, Tianxin Hu, Yuwen Liao, Weixiang Guo, Shenghai Yuan

专题命中 Agent评测 ：planning(abstract)

Online EFX Allocations with Predictions

Themistoklis Melissourgos, Nicos Protopapas

专题命中 Agent评测 ：agent(abstract)

RideAgent: An LLM-Enhanced Optimization Framework for Automated Taxi Fleet Operations

Xinyu Jiang, Haoyu Zhang, Mengyi Sha, Zihao Jiao, Long He, Junbo Zhang, Wei Qi

专题命中 Agent评测 ：agent(abstract)

Characterizing the top trading cycles rule for housing markets with lexicographic preferences

Bettina Klaus

专题命中 Agent评测 ：agent(abstract)

Comments JEL codes: C71, C78, D62, D63. Keywords: Core; characterization; externalities; housing markets; pair efficiency; pairwise stability; top trading cycles rule

Discovery of Disease Relationships via Transcriptomic Signature Analysis Powered by Agentic AI

Ke Chen, Haohan Wang

机构 * School of Information Sciences, University of Illinois Urbana-Champaign, Urbana, IL, USA（信息科学学院，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 其他Agent ：agentic(title,abstract)；分类 cs.LG

The Missing Reward: Active Inference in the Era of Experience

Bo Wen

机构 * IBM T.J. Watson Research Center（IBM TJ沃森研究中心） 纠错

专题命中 其他Agent ：AI agent(abstract)；分类 cs.AI

Tool Graph Retriever: Exploring Dependency Graph-based Tool Retrieval for Large Language Models

Linfeng Gao, Yaoxiang Wang, Minlong Peng, Jialong Tang, Yuzhe Shang, Mingming Sun, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Baidu（百度） ； Alibaba（阿里巴巴） 纠错

专题命中 其他Agent ：AI agent(abstract)；分类 cs.AI