CATArena: Evaluating Evolutionary Capabilities of Code Agents via Iterative Tournaments
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际 Graduate School)
CATArena通过迭代竞技场评估代码代理的进化能力,揭示了代理在连续优化和多轮迭代开发中的潜力及改进机制。
2026-01-30 cs.AI cs.CL
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
该研究针对大语言模型智能体在知识冲突下的认知谦逊展开评估,提出ISE三维度定义认知谦逊,发现高准确率未必对应高认知谦逊,模型干预可提升认知谦逊但常牺牲任务准确率。
2026-10-09 cs.AI cs.CL
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
NLPGym -- A toolkit for evaluating RL agents on Natural Language Processing Tasks
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
强化学习(RL)最近在复杂的游戏AI和机器人任务中表现出令人印象深刻的性能。在很大程度上,这要归功于OpenAI Gym、Atari Learning Environment或Malmo等模拟环境的可用性,这些环境允许智能体通过与虚拟环境的交互来学习复杂的任务。虽然RL也越来越多地应用于自然语言处理(NLP),但没有模拟的文本环境可供研究人员在NLP任务上应用和一致地基准RL。通过这里报告的工作,我们因此发布了NLPGym,这是一个开源Python工具包,为标准NLP任务提供交互式文本环境,如序列标记,多标签分类和问答。我们还提出了6个任务的实验结果,使用不同的强化学习算法,作为进一步研究的基线。该工具包发布于https://github.com/rajcscw/nlp-gym
2020-11-16 cs.AI cs.CL
CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents
Nutanix, Inc.(Nutanix公司)
CR-Bench通过引入基准数据集和细粒度评估流程,评估AI代码审查代理在现实世界中的效用,揭示了问题解决与假发现之间的权衡,为LLM驱动的代码审查代理发展提供基础。
2026-03-10 cs.AI cs.CL cs.SE
AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
AgentHPOBench是含30个任务的序列基准,用于评估LLM智能体的超参数优化能力,实验显示其在多领域有优化能力,但在迭代优化等方面存在局限。
2026-08-03 cs.AI
Agent-SafetyBench: Evaluating the Safety of LLM Agents
Tsinghua University(清华大学)
针对大语言模型智能体安全评估缺乏综合基准的问题,本文推出包含349个交互环境、2000个测试用例的Agent-SafetyBench基准,测试发现16款主流智能体安全得分均未超60%,指出其鲁棒性与风险意识不足的缺陷,并开源基准以推动相关研究。
2025-05-20 cs.CL
FormulaCode: Evaluating Agentic Optimization on Large Codebases
The University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
FormulaCode是一个评估大型真实代码库上代理优化能力的基准,包含957个从科学Python仓库挖掘出的性能瓶颈,配以专家撰写的补丁和平均264.6个社区维护的性能工作负载,揭示了前沿LLM代理在多目标优化上的重大挑战。
2026-07-21 cs.AI cs.CL cs.SE
PersonaGym: Evaluating Persona Agents and LLMs
University of Maryland, College Park(马里兰大学 College Park分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Georgia Tech(佐治亚理工学院);Princeton University(普林斯顿大学)
针对人格智能体人格忠实度评估难的问题,提出动态评估框架PersonaGym与基于决策论的自动指标PersonaScore,评估发现主流大模型人格表现差异显著,规模提升未必增强该能力,需算法架构创新。
2025-09-05 cs.AI cs.CL cs.LG
PersonalHomeBench: Evaluating Agents in Personalized Smart Homes
LG Toronto AI Lab(LG多伦多人工智能实验室)
本文提出PersonalHomeBench,用于评估代理在个性化智能家庭中的表现,通过迭代构建家庭状态生成任务,结合工具箱支持真实交互,揭示任务复杂度增加时代理能力下降的问题。
2026-05-13 cs.AI cs.CL cs.DB
Evaluating Cognitive Age Alignment in Interactive AI Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shenzhen Children's Hospital(深圳儿童医院);Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学)
本文提出ChildAgentEval,首个基于心理测量的交互式基准,用于评估基于多模态大语言模型的代理的认知年龄对齐,通过与年龄特定的人类发展阶段进行系统比较,揭示当前代理在模拟年龄特定认知行为方面的优劣。
2026-05-18 cs.AI
From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning
LG AI Research(LG人工智能研究)
本文提出了一种动态协议,通过代理中心文本异常检测评估LLM推理能力,以克服静态数据集的局限性。
2026-02-27 cs.AI cs.CL cs.LG
SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Meta
提出SWE-Together基准,从真实用户-代理编码会话中重建多轮交互任务,并利用基于LLM的用户模拟器评估编码代理的协作能力,发现强代理成功率更高且干预更少。
2026-06-29 cs.AI cs.CL cs.SE
PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
KAIST(韩国科学技术院)
本文提出PICon框架,通过逻辑链式的多轮提问评估人设代理的一致性,发现即使之前被认为高度一致的系统在三个维度上也未能达到人类基准水平,揭示了矛盾和逃避回应。
2026-05-19 cs.CL
A Framework for Evaluating Agentic Skills at Scale
Tessl London United Kingdom(伦敦英国Tessl)
提出一个评估框架,通过构建真实任务和评分标准,大规模评估500个真实技能在19种智能体模型上的表现,发现模型对技能指令的遵循程度差异显著,且技能显著改变模型行为。
2026-06-17 cs.AI cs.CL cs.SE
CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation
Carnegie Mellon University(卡内基梅隆大学)
提出CRAB-Bench和RUSE框架,通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟,评估LLM智能体在真实服务场景中的表现,发现最佳模型仅达61%通过率,用户模拟导致性能下降高达57%。
2026-06-01 cs.CL
Superminds Test: Actively Evaluating Collective Intelligence of Agent Society via Probing Agents
University of Maryland(马里兰大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
研究通过Superminds测试评估代理社会的集体智慧,发现规模扩大并未带来集体智慧,交互浅显是主要限制因素。
2026-04-24 cs.AI cs.CL cs.LG
MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant
The University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Meta AI
针对现有基准忽视多方对话场景的问题,提出首个多方对话基准MP-Bench,从轮次转换和反应恰当性评估语音智能体,发现实时智能体表现接近随机,揭示重大挑战。
2026-09-14 cs.AI cs.CL eess.AS
AgentBench: Evaluating LLMs as Agents
Tsinghua University(清华大学);The Ohio State University(俄亥俄州立大学);UC Berkeley(加州大学伯克利分校)
该研究提出多维度基准AgentBench以评估LLM的智能体能力,测试发现顶级商业LLM性能优于70B及以下开源模型,明确了性能瓶颈并给出优化方向。
2025-10-04 cs.AI cs.CL cs.LG
Evaluating Multi-Agent Defences Against Jailbreaking Attacks on Large Language Models
Department of Computer Science, University of Luxembourg(卢森堡大学计算机科学系)
本文研究多智能体LLM系统作为越狱攻击防御手段,发现其能增强抵抗力并减少漏报,但存在因攻击类型而异及增加误报和计算开销的权衡。
2025-06-30 cs.AI
Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks
University of Michigan(密歇根大学);Computer Science and Engineering(计算机科学与工程学院)
本研究提出评估LLM智能体创造力的框架,以10个ML工程任务测试AIDE等智能体,发现其P-Creativity随探索转利用下降、H-Creativity高于人类但性能更低,明确其能探索新颖方案却难转化为性能提升。
2026-09-01 cs.AI
WebMall -- A Multi-Shop Benchmark for Evaluating Web Agents
Data and Web Science Group(数据与网络科学组);University of Mannheim(曼海姆大学)
WebMall是首个多店铺离线基准,用于评估网络代理在复杂比较购物任务中的性能,包含四个模拟店铺和复杂检索任务。
2026-04-30 cs.CL
AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics
University of Southern California(南加州大学);Contextual AI(Contextual AI公司);Capital One(第一资本金融公司);Georgia Tech University(佐治亚理工大学)
研究针对现有用户-智能体协作基准无法捕捉偏好动态的问题,推出AcCoRD基准,评估前沿LLM处理偏好动态的能力,发现模型难应对交互中出现/演变的偏好,仅提示无法实现所需不确定性识别。
2026-08-31 cs.AI
Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
Co-Gym框架通过模拟和真实环境支持人机协作研究,展示协作代理在任务性能上的优势,同时揭示当前语言模型的局限性。
2026-08-08 cs.AI cs.CL cs.HC
Evaluating Cultural and Social Awareness of LLM Web Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Salesforce AI Research(Salesforce AI研究院)
本文提出CASA基准评估LLM网页智能体在在线购物和社交论坛中的文化与社会规范意识,发现当前智能体意识覆盖率不足10%、违规率超40%,并证明提示与微调结合可互补提升跨区域泛化和复杂任务处理能力。
2025-03-08 cs.CL
Talking with Oompa Loompas: A novel framework for evaluating linguistic acquisition of LLM agents
BITS Pilani(比特兰学院)
提出新框架评估LLM智能体通过交互反馈习得新语言Tinkatongue的能力,发现其在100次响应内失败但采用类似人类策略,为评估基准和模型设计提供新方向。
2025-09-09 cs.AI cs.CL cs.HC
SidConArena: An Environment Evaluating Agents in Open-Ended,Positive-Sum Bargaining Game
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
提出SidConArena基准框架,通过三阶段部分可观测随机博弈评估LLM智能体在开放、正和谈判中的经济决策能力,发现前沿模型虽表现更好但仍存在资源误估、谈判被动和长期规划不足。
2026-06-29 cs.AI cs.GT cs.MA
Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant
GEB Tech(GEB科技);Ningbo Institute of Digital Twin, EIT, Ningbo(宁波数字孪生研究院)
为填补多智能体框架评估基准的空白,本文提出Auto-SLURP基准数据集,通过扩展SLURP并集成模拟服务器实现端到端评估,实验表明当前最先进框架仍面临重大挑战。
2025-04-25 cs.CL
A Tri-Agent Framework for Evaluating and Aligning Question Clarification Capabilities of Large Language Models
Amazon(亚马逊公司)
本文提出三智能体框架,用于评估大语言模型的问题澄清能力,通过三个不同LLM智能体及多维度指标开展评估,为提升对话式LLM应用的澄清能力提供了结构化方法。
2026-09-03 cs.CL
X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System
Central South University(中南大学);Soochow University(苏州大学);The University of Hong Kong(香港大学)
针对当前语言智能体研究多聚焦英语场景、难以满足多语言应用需求的问题,提出多语言交互式Web基准X-WebAgentBench以评估多语言下智能体的规划与交互性能,实验发现先进模型结合跨语言技术仍效果不佳,为多语言智能体研究提供基准支撑。
2025-05-21 cs.CL
Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games
KRAFTON;Seoul National University(首尔国立大学);NVIDIA;University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Ludo Robotics
Orak通过12种主流视频游戏构建基础基准,系统评估LLM代理在不同游戏场景中的能力,提供统一评估框架和细调数据集,推动多样化游戏代理发展。
2026-04-14 cs.AI
BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks
University of Pennsylvania(宾夕法尼亚大学)
本文提出BrowserArena,一个基于真实开放网络的智能体评估平台,通过用户任务和逐步人类反馈识别出验证码、弹窗和直接导航三类失败模式,并揭示不同模型应对策略的差异与脆弱性。
2025-10-07 cs.AI cs.LG
CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty
BMW Group Research and Technology(宝马集团研究与技术);Augsburg University(艾希施泰特大学)
CAR-bench旨在评估LLM代理在现实世界不确定性下的一致性、不确定性处理和能力意识,通过多轮对话和工具使用测试其可靠性和自我意识。
2026-01-29 cs.AI
Can Agents Judge Systematic Reviews Like Humans? Evaluating SLRs with LLM-based Multi-Agent System
Department of Computer Science(计算机科学系);Information Technology University(信息技术大学);AI Center for Precision Health(精准健康人工智能中心);Weill Cornell Medicine–Qatar(韦尔·科恩医学中心–卡塔尔);Computer Science and Engineering Department(计算机科学与工程系)
本文提出基于LLM的多智能体系统评估系统文献综述质量,自动化协议验证、方法学评估和主题相关性检查,在五篇SLR上与专家PRISMA评分达到84%一致,展示了NLP驱动系统简化跨学科综述流程的潜力。
2025-09-21 cs.AI cs.CL cs.LG
BattleAgentBench: A Benchmark for Evaluating Cooperation and Competition Capabilities of Language Models in Multi-Agent Systems
Tsinghua University(清华大学)
针对现有基准缺乏对多智能体协作与竞争场景细粒度评估的问题,提出BattleAgentBench基准,通过三个难度级别的七个子阶段全面评估语言模型在导航、任务执行及多智能体协作竞争方面的能力,实验表明API模型在简单任务表现优异但困难任务仍需大幅改进。
2024-08-28 cs.CL
LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners
South China University of Technology(华南理工大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Chinese Academy of Sciences(中国科学院);East China Normal University(华东师范大学)
针对当前LLM智能体无状态且缺乏终身学习能力的问题,提出首个统一基准LifelongAgentBench,在三个交互环境中系统评估智能体终身学习能力,并引入群体自洽性机制显著提升性能。
2025-05-30 cs.AI
RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments
Ant Group(蚂蚁集团);City University of Hong Kong(香港城市大学)
提出RetailBench基准,用于评估LLM代理在千天级超市运营模拟中的长周期决策能力,发现当前最强模型仍远落后于最优策略。
2026-07-10 cs.AI
AgentVidBench: A Multi-Hop Video Question Answering Benchmark for Evaluating MLLM Agents
KRAFTON(魁匠团)
AgentVidBench提出多跳视频问答基准,评估MLLM智能体的时空因果推理,提供解题轨迹,实验显示智能体工作流提升性能,并给出强基线。
2026-09-21 cs.AI cs.CV
ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
Upstage;Opentutorials;Indiana University Bloomington(印第安纳大学布卢明顿分校);Korea University Sejong Campus(韩国大学世宗校区)
ISD-Agent-Bench通过结合经典ISD理论与现代推理方法,为评估基于LLM的教学系统设计代理提供了全面的基准。
2026-02-11 cs.CL cs.SE
ZeroDayBench: Evaluating LLM Agents on Unseen Zero-Day Vulnerabilities for Cyberdefense
ZeroDayBench评估了前沿LLM在未见零日漏洞上的自主修复能力,揭示了其在主动网络防御中的局限性及改进方向。
2026-03-02 cs.AI cs.CR
Evaluating the Use of Large Language Models as Synthetic Social Agents in Social Science Research
University of Oxford, Department of Politics and International Relations(牛津大学政治与国际关系系)
该研究针对LLM在社会科学中作为合成智能体应用增多的现状,提出解读注意事项与务实重构定位,并给出多项实用防护措施,助力研究人员规范使用LLM开展相关研究。
2025-10-28 cs.AI stat.AP
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯);East China Normal University(华东师范大学);University College London(伦敦大学学院)
该研究针对LLM智能体鲁棒性评估缺乏系统框架的问题,提出AgentPerturb的二维扰动评估方法,在APEX-Agents和Toolathlon上验证扰动会降低性能,揭示智能体漏洞并为鲁棒训练提供方向。
2026-10-26 cs.AI
PM-Bench: Evaluating Prospective Memory in LLM Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究针对智能体人工智能中的前瞻记忆挑战,引入PM-Bench基准,受认知科学启发评估大语言模型智能体相关能力。在模拟一周内比较八个先进模型,发现各模型在此基准测试中均具挑战性,且无单一改善策略占优,还发布该基准用于诊断与干预。
2026-07-15 cs.AI
SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);East China Normal University(华东师范大学)
提出SkillSafetyBench基准,通过155个对抗案例评估大语言模型智能体在技能、本地工件和执行环境文件等非用户攻击下的安全失败模式。
2026-08-31 cs.AI cs.CL cs.CR
Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization
Georgia Institute of Technology(佐治亚理工学院)
提出Gavel框架,通过参考评估和免参考智能体评估12个前沿LLM在多文档法律摘要中的表现,发现模型易遗漏关键信息而非幻觉,且性能随案件长度增加而下降。
2026-08-27 cs.CL
SEA-Eval: A Benchmark for Evaluating Self-Evolving Agents Beyond Episodic Assessment
Fudan University(复旦大学)
本文提出自进化智能体(SEA)的形式化定义及其最小充分架构进化飞轮,并构建首个专门评估SEA的基准SEA-Eval,通过顺序任务流设计量化进化增益、稳定性和隐式对齐收敛。
2026-05-24 cs.AI
AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents
Fudan University(复旦大学);Meituan Longcat Team(美团Longcat团队)
本文提出AgentEscapeBench基准测试,用于评估LLM代理在非熟悉工作流和短程交互之外维持工具引导推理的能力,通过逃亡室风格的任务测试代理在显式长距离依赖约束下推断、执行和修订新工具使用程序的能力,结果显示代理在依赖深度增加时表现显著下降。
2026-05-20 cs.AI
Evaluating Multi-Turn Bargain Skills in LLM-Based Seller Agent
Johns Hopkins University(约翰霍普金斯大学);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本研究提出一个多轮评估框架,用于衡量基于大语言模型的卖家智能体在电商议价中跟踪买家意图的能力,并构建了大规模基准数据集,超越了仅基于结果的评估方法。
2025-09-08 cs.AI
ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment
Southeast University(东南大学);Beijing Zhongguancun Academy(北京中关村学院);Duke Kunshan University(杜克昆山大学)
提出ForeSci基准,通过时间控制的500个任务评估LLM智能体基于历史证据做出前瞻性研究判断的能力,发现证据与决策脱节问题。
2026-09-29 cs.AI
OdysseyBench: Evaluating LLM Agents on Long-Horizon Complex Office Application Workflows
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);Microsoft(微软公司)
针对现有基准无法评估长期复杂工作流的问题,提出OdysseyBench基准及HomerAgents多智能体框架,通过602个跨办公应用的多步推理任务,有效评估并挑战了最先进LLM智能体在现实场景中的能力。
2025-08-12 cs.CL
MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出MultiAgentBench基准,通过基于里程碑的KPI和多种协调协议评估LLM多智能体系统在交互场景中的协作与竞争,发现gpt-4o-mini任务得分最高、图结构表现最佳且认知规划提升3%里程碑达成率。
2026-11-19 cs.AI cs.CL cs.CY
A Multi-Dataset Benchmark for Evaluating LLM Agents in Microservice Failure Diagnosis
提出基于推理过程评估的基准,包含两个大规模数据集(AIOps2025和RCA100),从定位、识别和原因三个维度评估智能体诊断能力,覆盖500多个专家标注的故障案例。
2026-06-28 cs.AI cs.SE
SIR-Bench: Evaluating Investigation Depth in Security Incident Response Agents
Amazon Web Services(亚马逊网络服务)
本文提出SIR-Bench基准,通过794个测试用例评估自主安全事件响应代理的调查能力,包含三类指标:分诊准确率、新证据发现率和工具使用恰当性。
2026-04-13 cs.AI cs.CR cs.SE