AI Agent

Towards Reliable Generative AI-Driven Scaffolding: Reducing Hallucinations and Enhancing Quality in Self-Regulated Learning Support

Keyang Qian, Shiqi Liu, Tongguang Li, Mladen Raković, Xinyu Li, Rui Guan, Inge Molenaar, Sadia Nawaz, Zachari Swiecki, Lixiang Yan, Dragan Gašević

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Journal ref Computers & Education, Volume 240, 2026, 105448

Talking with Oompa Loompas: A novel framework for evaluating linguistic acquisition of LLM agents

Sankalp Tattwadarshi Swain, Anshika Krishnatray, Dhruv Kumar, Jagat Sesh Challa

机构 * BITS Pilani（比特兰学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Comments Under review

RemVerse: Supporting Reminiscence Activities for Older Adults through AI-Assisted Virtual Reality

Ruohao Li, Jiawei Li, Jia Sun, Zhiqing Wu, Zisu Li, Ziyan Wang, Ge Lin Kan, Mingming Fan

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术大学） ； Lanzhou University（兰州大学） ； Meta AI ； The University of Sydney（悉尼大学） ； IHPC, A*STAR（IHPC，A*STAR） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments ICCV 2025, Project in https://wikiautogen.github.io/

PersonaGym: Evaluating Persona Agents and LLMs

Vinay Samuel, Henry Peng Zou, Yue Zhou, Shreyas Chaudhari, Ashwin Kalyan, Tanmay Rajpurohit, Ameet Deshpande, Karthik Narasimhan, Vishvak Murahari

机构 * University of Maryland, College Park（马里兰大学 College Park分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Georgia Tech（佐治亚理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Comments EMNLP Findings 2025

Disentangling Exploration of Large Language Models by Optimal Exploitation

Tim Grams, Patrick Betz, Sascha Marton, Stefan Lüdtke, Christian Bartelt

机构 * Technical University of Clausthal（Clausthal 技术大学） ； University of Mannheim（曼海姆大学） ； University of Rostock（罗斯托克大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Beyond Emotion Recognition: A Multi-Turn Multimodal Emotion Understanding and Reasoning Benchmark

Jinpeng Hu, Hongchang Shi, Chongyuan Dai, Zhuo Li, Peipei Song, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence (IAI), Hefei Comprehensive National Science Center（人工智能研究院（IAI），合肥综合性国家科学中心） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments ACM Multimedia 2025

The Man Behind the Sound: Demystifying Audio Private Attribute Profiling via Multimodal Large Language Model Agents

Lixu Wang, Kaixiang Yao, Xinfeng Li, Dong Yang, Haoyang Li, Xiaofeng Wang, Wei Dong

机构 * Nanyang Technological University（南洋理工大学） ； The University of Tokyo（东京大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments 22 pages, 4 figures

ETVA: Evaluation of Text-to-Video Alignment via Fine-grained Question Generation and Answering

Kaisi Guan, Zhengfeng Lai, Yuchong Sun, Peng Zhang, Wei Liu, Kieran Liu, Meng Cao, Ruihua Song

机构 * Renmin University of China（中国人民大学） ； Apple（苹果公司） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments International Conference on Computer Vision 2025

SWE-smith: Scaling Data for Software Engineering Agents

John Yang, Kilian Lieret, Carlos E. Jimenez, Alexander Wettig, Kabir Khandpur, Yanzhe Zhang, Binyuan Hui, Ofir Press, Ludwig Schmidt, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Alibaba Qwen（阿里巴巴文言） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.SE

Comments All assets available at https://swesmith.com

Towards Dataset-scale and Feature-oriented Evaluation of Text Summarization in Large Language Model Prompts

Sam Yu-Te Lee, Aryaman Bahukhandi, Dongyu Liu, Kwan-Liu Ma

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)

Journal ref IEEE Transactions on Visualization and Computer Graphics, vol. 31, no. 1, pp. 481-491, Jan. 2025

The Dual Personas of Social Media Bots

Lynnette Hui Xian Ng, Kathleen M. Carley

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments Page: https://zyh482.github.io/Hi3DEval/

ASTRA: Autonomous Spatial-Temporal Red-teaming for AI Software Assistants

Xiangzhe Xu, Guangyu Shen, Zian Su, Siyuan Cheng, Hanxi Guo, Lu Yan, Xuan Chen, Jiasheng Jiang, Xiaolong Jin, Chengpeng Wang, Zhuo Zhang, Xiangyu Zhang

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG、cs.SE

Comments The first two authors (Xiangzhe Xu and Guangyu Shen) contributed equally to this work

UserBench: An Interactive Gym Environment for User-Centric Agents

Cheng Qian, Zuxin Liu, Akshara Prabhakar, Zhiwei Liu, Jianguo Zhang, Haolin Chen, Heng Ji, Weiran Yao, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang

机构 * Salesforce AI Research（Salesforce AI研究部） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 Agent评测 ：tool use(abstract)；分类 cs.AI、cs.CL、cs.LG

Comments 25 Pages, 17 Figures, 6 Tables

AQUA: A Large Language Model for Aquaculture & Fisheries

Praneeth Narisetty, Uday Kumar Reddy Kattamanchi, Lohit Akshant Nimma, Sri Ram Kaushik Karnati, Shiva Nagendra Babu Kore, Mounika Golamari, Tejashree Nageshreddy

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

PhysVarMix: Physics-Informed Variational Mixture Model for Multi-Modal Trajectory Prediction

Haichuan Li, Tomi Westerlund

机构 * Turku Intelligent Embedded and Robotics Systems lab, Faculty of Technology University of Turku（图尔库智能嵌入式与机器人系统实验室，技术学院图尔库大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)

Event-Driven Storytelling with Multiple Lifelike Humans in a 3D Scene

Donggeun Lim, Jinseok Bae, Inwoo Hwang, Seungmin Lee, Hwanhee Lee, Young Min Kim

机构 * Seoul National University（首尔国立大学） ； Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments 16 pages, project page: https://rms0329.github.io/Event-Driven-Storytelling/

BEARCUBS: A benchmark for computer-using web agents

Yixiao Song, Katherine Thai, Chau Minh Pham, Yapei Chang, Mazin Nadaf, Mohit Iyyer

机构 * UMass Amherst ； University of Maryland, College Park（美国马里兰大学学院公园分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Comments 16 pages

Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy

Xiangru Tang, Qiao Jin, Kunlun Zhu, Tongxin Yuan, Yichi Zhang, Wangchunshu Zhou, Meng Qu, Yilun Zhao, Jian Tang, Zhuosheng Zhang, Arman Cohan, Zhiyong Lu, Mark Gerstein

机构 * Yale University（耶鲁大学） ； National Library of Medicine, National Institutes of Health（国家医学图书馆，国立卫生研究院） ； Mila-Quebec AI Institute（魁北克AI研究所） ； Shanghai Jiao Tong University（上海交通大学） ； OPPO Research Institute（OPPO研究院） ； Reichman University（里奇曼大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

HIS-GPT: Towards 3D Human-In-Scene Multimodal Understanding

Jiahe Zhao, Ruibing Hou, Zejie Tian, Hong Chang, Shiguang Shan

机构 * Key Laboratory of AI Safety of Chinese Academy of Sciences (CAS)（中国科学院人工智能安全重点实验室） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； University of CAS（中国科学院大学） ； Communication University of China（通信大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)

Comments ICCV 2025

Token Compression Meets Compact Vision Transformers: A Survey and Comparative Evaluation for Edge AI

Phat Nguyen, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)

SetupBench: Assessing Software Engineering Agents' Ability to Bootstrap Development Environments

Avi Arora, Jinu Jang, Roshanak Zilouchian Moghaddam

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG、cs.SE

AI for NONMEM Coding in Pharmacometrics Research and Education: Shortcut or Pitfall?

Wenhao Zheng, Wanbing Wang, Carl M. J. Kirkpatrick, Cornelia B. Landersdorfer, Huaxiu Yao, Jiawei Zhou

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)

AIGVE-MACS: Unified Multi-Aspect Commenting and Scoring Model for AI-Generated Video Evaluation

Xiao Liu, Jiawei Zhang

机构 * IFM Lab, University of California, Davis（信息与媒体实验室，加州大学戴维斯分校） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

Comments Working in Progress

Bench to the Future: A Pastcasting Benchmark for Forecasting Agents

FutureSearch, :, Jack Wildman, Nikos I. Bosse, Daniel Hnyk, Peter Mühlbacher, Finn Hambly, Jon Evans, Dan Schwarz, Lawrence Phillips

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Quantifying cellular autonomy in multi-cue environments

Louis Gonzalez, Hogyeong Gwak, Bumsoo Han, Andrew Mugler

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)

Comments 12 pages, 5 figures

HOIverse: A Synthetic Scene Graph Dataset With Human Object Interactions

Mrunmai Vivek Phatak, Julian Lorenz, Nico Hörmann, Jörg Hähner, Rainer Lienhart

机构 * Computer Vision Lab Universität Augsburg（计算机视觉实验室，乌尔姆大学） ； Organic Computing Lab Universität Augsburg（有机计算实验室，乌尔姆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)

Can Large Language Models Be Trusted Paper Reviewers? A Feasibility Study

Chuanlei Li, Xu Hu, Minghui Xu, Kun Li, Yue Zhang, Xiuzhen Cheng

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

PersonaLens: A Benchmark for Personalization Evaluation in Conversational AI Assistants

Zheng Zhao, Clara Vania, Subhradeep Kayal, Naila Khan, Shay B. Cohen, Emine Yilmaz

机构 * University of Edinburgh（爱丁堡大学） ； Amazon（亚马逊） ； University College London（伦敦大学学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

Comments Accepted to ACL 2025 Findings