SOTOPIA-$Ω$: Dynamic Strategy Injection Learning and Social Instruction Following Evaluation for Social Agents
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
Comments Accepted by ACL 2025 (Main Conference)
AI 大模型
AI Agent
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
1. Agent评测 15866 篇
Gravity-Bench-v1: A Benchmark on Gravitational Physics Discovery for Agents
机构 * University of Toronto（多伦多大学） ； New York University Abu Dhabi（纽约大学阿布扎克分校）
专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI
Comments Accepted at ICML 2025
Online Fair Division for Personalized $2$-Value Instances
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
CoderAgent: Simulating Student Behavior for Personalized Programming Learning with Large Language Models
机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Comments Accepted by IJCAI2025
VisEscape: A Benchmark for Evaluating Exploration-driven Decision-making in Virtual Escape Rooms
机构 * ACL Proceedings（ACL会议）
专题命中 Agent评测 ：planning(abstract)；分类 cs.AI
DCA-Bench: A Benchmark for Dataset Curation Agents
机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan - Ann Arbor（密歇根大学安娜堡分校）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Belief Attribution as Mental Explanation: The Role of Accuracy, Informativity, and Causality
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
Comments 8 pages, 3 figures; oral presentation at CogSci 2025
Guided by Guardrails: Control Barrier Functions as Safety Instructors for Robotic Learning
机构 * Department of Computer Engineering and Software Engineering, Polytechnique Montreal（计算机工程与软件工程系，蒙特利尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
机构 * Nankai University（南开大学） ； University of Louisville（路易斯安那大学） ； University of North Texas（北卡罗来纳州立大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
Fraud-R1 : A Multi-Round Benchmark for Assessing the Robustness of LLM Against Augmented Fraud and Phishing Inducements
机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证责任AI与数据分析实验室） ； King Abdullah University of Science and Technology（卡瓦尔大学科学与技术大学） ； University of Toronto（多伦多大学） ； University of Macau（澳门大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
Comments Accepted by ACL2025 Findings
ChemToolAgent: The Impact of Tools on Language Agents for Chemistry Problem Solving
机构 * Department of Computer Science and Engineering, OSU（计算机科学与工程系，俄勒冈州立大学） ； Department of Biomedical Informatics, OSU（生物医学信息学系，俄勒冈州立大学） ； College of Pharmacy, OSU（药学院，俄勒冈州立大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Comments Accepted to NAACL 2025 Findings. Previous title: Tooling or Not Tooling? The Impact of Tools on Language Agents for Chemistry Problem Solving. Based on the camera ready version, this version adds more experimental results. We also release the toolkit in ChemMCP (https://osu-nlp-group.github.io/ChemMCP), which is a continuously updated and MCP-compatible chemistry toolkit
Formalizing Embeddedness Failures in Universal Artificial Intelligence
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Best Group Identification in Multi-Objective Bandits
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
Can Large Language Models Design Biological Weapons? Evaluating Moremi Bio
机构 * Gertrude Hattoh（第一作者） ； Jeremiah Ayensu（第一作者） ； Nyarko Prince Ofori（第一作者） ； Solomon Eshun（第一作者） ； Darlington Akogo（第一作者）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
An alignment safety case sketch based on debate
机构 * UK AI Security Institute, Centre for the Governance of AI（英国人工智能安全研究所，人工智能治理中心） ； UK AI Security Institute, New York University（英国人工智能安全研究所，纽约大学） ； UK AI Security Institute（英国人工智能安全研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Psychology-driven LLM Agents for Explainable Panic Prediction on Social Media during Sudden Disaster Events
机构 * National University of Defense Technology（国防科技大学） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Jinan University（暨南大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Online Inverse Linear Optimization: Efficient Logarithmic-Regret Algorithm, Robustness to Suboptimality, and Lower Bound
机构 * University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Kyoto University（京都大学） ； Institute of Statistical Mathematics（统计数学研究所） ； Hokkaido University（北海道大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
HAMF: A Hybrid Attention-Mamba Framework for Joint Scene Context Understanding and Future Motion Representation Learning
机构 * Hong Kong University of Science and Technology（香港科技大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Comments In submission
Embedded Mean Field Reinforcement Learning for Perimeter-defense Game
机构 * School of Artificial Intelligence, Beihang University（人工智能学院，北航） ； Hangzhou International Innovation Institute, Beihang University（杭州国际创新院，北航） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航） ； School of Astronautics, Beihang University（航天学院，北航）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
RAG/LLM Augmented Switching Driven Polymorphic Metaheuristic Framework
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Learning Utilities from Demonstrations in Markov Decision Processes
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
Comments International Conference on Machine Learning 42 (ICML 2025)
SWIFT:A Scalable lightWeight Infrastructure for Fine-Tuning
机构 * Alibaba Group（阿里巴巴集团）
专题命中 Agent评测 ：agent(abstract)；分类 cs.CL
BeliefNest: A Joint Action Simulator for Embodied Agents with Theory of Mind
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Scalable Time-Tagged Data Acquisition for Entanglement Distribution in Quantum Networks
专题命中 Agent评测 ：agent(abstract)；分类 cs.SE
CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World
机构 * AIRI ； MIPT（莫斯科物理技术学院） ； FRC CSC RAS（俄罗斯科学院应用数学与控制论研究所）
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Empirical Performance Evaluation of Lane Keeping Assist on Modern Production Vehicles
机构 * Civil & Environmental Engineering , University of South Florida（土木与环境工程系，佛罗里达州立大学） ； Department of Transportation Engineering , Fuzhou University（交通运输工程系，福州大学）
专题命中 Agent评测 ：planning(abstract)；分类 cs.LG
On the Evaluation of Engineering Artificial General Intelligence
机构 * P-1 AI, Inc.（P-1 AI公司）
专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI
Comments 21 pages
AutoPentest: Enhancing Vulnerability Management With Autonomous LLM Agents
机构 * University of Amsterdam（阿姆斯特丹大学） ； SURF
专题命中 Agent评测 ：agent(abstract)；分类 cs.AI
Comments 24 pages, 1 figure, for implementation, see https://github.com/JuliusHenke/autopentest
Virtual Dosimetrists: A Radiotherapy Training "Flight Simulator"
机构 * The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） ； UTHealth Graduate School of Biomedical Sciences（UT健康研究生生物医学科学学院） ； The University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心） ； The University of Texas Medical Branch at Galveston（德克萨斯大学医学分支（加尔维斯顿）） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
专题命中 Agent评测 ：planning(abstract)；分类 cs.AI
Risk-Aware Safe Reinforcement Learning for Control of Stochastic Linear Systems
机构 * Department of Mechanical Engineering, Michigan State University（机械工程系，密歇根州立大学）
专题命中 Agent评测 ：agent(abstract)；分类 cs.LG
Comments Submitted to Asian Journal of Control
