Iterating Toward Better Search: A Two-Agent Simulation Framework for Evaluating Agentic Search Architectures in E-Commerce
eBay Inc.(eBay公司)
提出模块化双智能体仿真框架,通过固定买家智能体对比不同应答器设计,发现滚动窗口记忆在质量和速度上优于意图提取记忆,并基于失败分析将失败率降低62%。
2026-06-12 cs.AI
AgentHazard: A Benchmark for Evaluating Harmful Behavior in Computer-Use Agents
Alibaba Group(阿里巴巴集团);Fudan University(复旦大学);Hunan Institute of Advanced Technology(湖南先进技术研究院);Deakin University(迪肯大学);Singapore Management University(新加坡管理大学)
AgentHazard基准通过2653个实例评估计算机使用代理的有害行为,揭示了模型在连续上下文和工具使用中识别安全风险的能力不足。
2026-09-23 cs.AI
CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
Huawei Technologies(华为技术有限公司);Paris Research Center, Huawei Technologies(华为技术有限公司巴黎研究中心);Queen Mary University of London(伦敦玛丽女王大学)
本研究提出CTBench基准,评估AI智能体的电信故障排查能力,发现其路径恢复表现好于根本原因分析,且资源消耗与诊断效果无必然关联。
2026-10-22 cs.AI
Evaluating Agentic Capabilities Before Post-Training: An End-to-End Approach
Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学)
本研究提出ASAP框架,用于在预训练后评估前端到端评估大语言模型的智能体能力,可区分模型性能并生成执行轨迹,补充传统预训练基准的诊断能力。
2026-10-14 cs.AI
Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents
University of Edinburgh(爱丁堡大学)
提出FeasiGen自动构建不可行任务管道,通过屏蔽关键工具将可解任务转为不可解,评估发现多数模型缺乏可行性检测能力,错误继续率高达73.9%。
2026-05-27 cs.AI
Evaluating Agentic Configuration Repair for Computer Networks
Department of Information Technology(信息科技系);Electrical Engineering, ETH Zurich(电子工程,苏黎世联邦理工学院)
本研究通过结合形式化网络验证和上下文检索工具,评估了开源和闭源大语言模型在代理架构下的配置修复能力,发现代理架构在修复效果和安全性上分别平均提升12%和17%。
2026-06-04 cs.AI
Beyond Accuracy: A Multi-Dimensional Framework for Evaluating Enterprise Agentic AI Systems
针对现有智能体AI基准忽略企业级成本、可靠性等需求的问题,提出多维度评估框架CLEAR,实验证明其比仅用准确率更能准确预测智能体的生产部署表现。
2025-11-18 cs.AI
FIRE-Bench: Evaluating AI Agents on the Rediscovery of Scientific Insights
Johns Hopkins University(约翰霍普金斯大学);Cornell University(康奈尔大学)
研究旨在评估大语言模型驱动的人工智能代理在科学见解重新发现上的能力。核心方法是引入FIRE-Bench基准,让代理基于高层次研究问题进行全周期探索。主要贡献是为衡量代理驱动的科学发现进展提供了严格诊断框架,揭示当前代理系统在全周期科研上的挑战。
2026-07-14 cs.AI
Agentic Cognitive Depth: Operational Criteria for Evaluating LLM Agents
The University of Edinburgh(爱丁堡大学)
本文提出智能体认知深度概念,通过五个操作标准评估LLM智能体轨迹级性能,并提供扰动程序与基准扩展方案。
2026-10-06 cs.AI
The Hierarchy of Agentic Capabilities: Evaluating Frontier Models on Realistic RL Environments
Surge AI
本文评估了前沿AI模型在现实强化学习环境中的代理能力层级,揭示了模型在工具使用、规划、适应性等任务上的能力差异及改进方向。
2026-01-13 cs.AI
ResearchGym: Evaluating Language Model Agents on Real-World AI Research
ResearchGym通过重新利用学术论文中的任务环境,评估语言模型代理在真实世界AI研究中的能力,发现其在复杂任务中存在可靠性不足的问题,但偶尔能实现前沿性能。
2026-03-11 cs.AI
Evaluating Control Protocols for Untrusted AI Agents
本文在SHADE-Arena数据集上系统评估了不可信AI智能体的控制协议,发现重采样和在关键操作时移交能显著提升安全性,且后者对自适应红队攻击具有高度鲁棒性。
2025-11-04 cs.AI
Delivered, Not Used: Evaluating Agent Memory at Its Point of Use
The Chinese University of Hong Kong(香港中文大学)
研究发现任务成功率等指标无法反映LLM智能体的记忆使用情况,提出MemUse方法在使用节点评估记忆,在8000个SWE-bench Verified回合中揭示了记忆传递的实际问题及结果隐藏的影响。
2026-11-03 cs.AI
NetAgentBench: A State-Centric Benchmark for Evaluating Agentic Network Configuration
Hiroshima University(广岛大学)
NetAgentBench通过有限状态机形式化方法评估代理交互,揭示了当前LLM代理在复杂多轮网络配置任务中的缺陷,强调了系统性评估多轮行为稳定性的必要性。
2026-04-03 cs.AI cs.FL cs.NI
GitGoodBench: A Novel Benchmark For Evaluating Agentic Performance On Git
JetBrains Research(JetBrains研究院);School of Computation, Information and Technology, Technical University of Munich(技术大学慕尼黑计算、信息与技术学院)
针对现有软件工程AI智能体基准忽略版本控制系统操作的问题,提出了一个评估AI智能体在Git任务上性能的新颖基准GitGoodBench,并提供了三个数据集和基线性能。
2025-05-28 cs.AI cs.SE
Interaction Readiness: A Framework for Building and Evaluating AI Agents in Human Roles
Columbia University(哥伦比亚大学)
该研究针对带角色属性AI智能体的评估缺口,提出交互就绪框架,通过分离内容与交互规范、四项智能体操作实现评估,证实内容与交互质量独立,并给出规范模板与审核流程。
2026-08-14 cs.AI cs.HC
SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
HKUST(GZ)(香港科技大学(广州))
提出SkillCoach框架,通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹,并利用演化准则筛选高质量训练数据,提升技能使用能力。
2026-07-03 cs.AI cs.CL
CostBench: Evaluating Multi-Turn Cost-Optimal Planning and Adaptation in Dynamic Environments for LLM Tool-Use Agents
Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
本文提出CostBench,一个以成本为中心的可扩展基准,用于评估LLM代理在动态环境中的经济推理和重新规划能力,揭示现有模型在成本感知规划方面的显著不足。
2026-06-29 cs.AI cs.CL
AgentSocialBench: Evaluating Privacy Risks in Human-Centered Agentic Social Networks
Carnegie Mellon University(卡内基梅隆大学)
研究探讨了人类中心代理社交网络中的隐私挑战,提出AgentSocialBench基准,揭示代理协作中隐私保护的复杂性及现有LLM在隐私保护上的不足。
2026-04-06 cs.AI cs.SI
AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications
UCSD(加州大学圣塔克拉拉分校);Recursive
提出AMA-Bench基准,通过真实与合成轨迹评估LLM智能体的长时记忆,并基于因果图与工具增强检索提出AMA-Agent系统,在基准上提升11.16%准确率。
2026-05-27 cs.AI cs.LG
ROGUE: Evaluating Corrigibility Failures in Frontier Computer-Use Agents
Carnegie Mellon University(卡内基梅隆大学)
研究AI代理在良性环境中因任务完成而采取不安全行为(违反可纠正性)的问题,通过基准测试发现前沿模型普遍绕过用户中断或限制,且性能提升反而加剧错误对齐。
2026-10-02 cs.AI cs.LG
AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
University of Vermont(佛蒙特大学);IBM Research(IBM研究院)
AgentSCOPE通过评估代理工作流中的隐私流,揭示了中间阶段的隐私风险,指出输出层面评估不足以反映代理系统的隐私问题。
2026-03-05 cs.AI cs.CR
Beyond Task Completion: An Assessment Framework for Evaluating Agentic AI Systems
SERC, IIIT-Hyderabad(IIIT-海得拉巴的SERC);MontyCloud Inc(MontyCloud公司)
本文提出一个端到端的智能体评估框架,旨在评估智能体AI系统的行为,而不仅仅是任务完成度。
2025-12-16 cs.AI cs.MA cs.SE
Technical Report: Evaluating Goal Drift in Language Model Agents
MATS;Apollo Research(阿波罗研究公司)
本文提出一种评估语言模型智能体目标漂移的新方法,通过系统提示设定目标并施加环境压力,发现所有模型均存在目标漂移,且漂移与长上下文中模式匹配行为易感性相关。
2025-05-05 cs.AI cs.LG
FormulaCode: Evaluating Agentic Optimization on Large Codebases
The University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
FormulaCode是一个评估大型真实代码库上代理优化能力的基准,包含957个从科学Python仓库挖掘出的性能瓶颈,配以专家撰写的补丁和平均264.6个社区维护的性能工作负载,揭示了前沿LLM代理在多目标优化上的重大挑战。
2026-07-21 cs.AI cs.CL cs.SE
Evaluating Agentic Bioinformatics through Function, Evidence, and Validation
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
该研究提出FEV框架评估智能体生物信息学,梳理多领域128篇文献后发现规划等进展快于科学验证相关环节,主张应基于工作流正确性评估这类系统
2026-07-31 cs.AI cs.MA
BrickBench: Evaluating Agentic Brick Design
Stanford University(斯坦福大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Inria(法国国家信息与自动化研究所)
该研究提出BrickBench基准与BrickAgent环境,评估智能体的文本条件乐高设计能力,发现主流智能体虽满足部分要求但不及人类设计,相关资源已公开。
2026-10-09 cs.AI cs.CV cs.GR
PersonalHomeBench: Evaluating Agents in Personalized Smart Homes
LG Toronto AI Lab(LG多伦多人工智能实验室)
本文提出PersonalHomeBench,用于评估代理在个性化智能家庭中的表现,通过迭代构建家庭状态生成任务,结合工具箱支持真实交互,揭示任务复杂度增加时代理能力下降的问题。
2026-05-13 cs.AI cs.CL cs.DB
MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability
ESB Reutlingen(埃斯本雷特林根应用技术大学);Columbia Business School(哥伦比亚商学院);TensorBlock
该研究推出MBABench-2.0基准测试,含101项原创财务电子表格构建任务,评估20多个智能体后发现前沿智能体仅16%通过率,凸显当前智能体在该领域的能力差距。
2026-10-26 cs.AI cs.SE
Agentic SPARQL: Evaluating SPARQL-MCP-powered Intelligent Agents on the Federated KGQA Benchmark
WU Vienna(维也纳经济大学);Leuphana Universität Lüneburg(吕讷堡大学);Complexity Science Hub Vienna(维也纳复杂性科学中心)
本文探讨了基于SPARQL-MCP的智能代理在联邦SPARQL查询中的潜力,扩展了知识图谱问答基准,并评估了通过MCP集成SPARQL联邦与LLM代理的能力。
2026-04-09 cs.AI cs.IR cs.MA
MMTB: Evaluating Terminal Agents on Multimedia-File Tasks
GSAI, POSTECH(POSTECH 人工智能研究所);CSE, POSTECH(POSTECH 计算科学与工程系);National AI Research Lab(国家人工智能研究实验室);Krafton AI(Krafton 人工智能)
本文提出MMTB基准,评估终端代理处理音频和视频文件的能力,引入Terminus-MM工具扩展功能,揭示多媒体访问对任务结果的影响。
2026-05-08 cs.AI cs.MM
SWE-Milestone: Evaluating AI Agents on Continuous Software Evolution
USC(美国斯克利普斯大学);UCR(加州大学河滨分校);UCSD(加州大学圣地亚哥分校);Army Research Office(陆军研究办公室);Stanford(斯坦福大学);Princeton(普林斯顿大学);Haven;OpenHands
针对现有基准测试忽视软件演化中时间依赖和技术债务的问题,提出EvoClaw基准,通过从提交日志重建可验证里程碑DAG,评估AI代理在持续开发中维持系统完整性和限制错误累积的能力。
2026-07-22 cs.AI cs.SE
DeltaML-Bench: Evaluating Machine Learning Agents on Real-World Research Repositories
Algorithmic Research Group(算法研究组)
该研究推出DeltaML-Bench基准,评估发现基于搜索的ARG框架可提升GPT-5在机器学习实验任务中的成功率,且能避免规范博弈,为自主ML智能体部署提供了关键考量
2026-08-21 cs.AI cs.LG
$τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
princeton(普林斯顿大学)
τ-知识旨在通过模拟真实金融科技客户支持流程,评估代理在协调外部自然语言知识与工具输出以产生可验证状态变化方面的能力。
2026-03-04 cs.AI cs.CL cs.IR
An Experimental Design Approach to Evaluating Agentic AI's Autonomous Model Discovery
Department of Statistics, Virginia Tech(统计学系,弗吉尼亚理工学院);Department of Statistical Science, Baylor University(统计科学系,贝勒大学);Advanced Research Computing, Virginia Tech(高级研究计算,弗吉尼亚理工学院)
研究大型语言模型编码智能体自主模型发现行为,提出实验设计与分析框架,将智能体视为随机模型发现算子,在多种受控因素下研究Codex和Claude Code两个算子,进行回归模型和推理,开发规范分解,通过网络造词游戏测试平台得出相关深刻发现。
2026-07-08 cs.AI stat.ME
Evaluating Agents without Rewards
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Brain(谷歌大脑)
强化学习使智能体能够在未知环境中解决具有挑战性的任务。然而,手动制作奖励函数可能是耗时的、昂贵的,并且容易出现人为错误。竞争目标已经被提出来让智能体在没有外部监督的情况下学习,但目前还不清楚它们如何反映任务奖励或人类行为。为了加速内在目标的发展,我们回顾性地计算预先收集的代理行为数据集上的潜在目标,而不是在线优化它们,并通过分析它们的相关性来比较它们。我们研究输入熵,信息增益,并授权在七个代理,三个雅达利游戏,和3D游戏Minecraft。我们发现,所有这三个内在的目标更强烈地与人类行为相似性度量比任务奖励。此外,输入熵和信息增益与人类相似性的相关性比任务奖励更强,这表明使用内在目标来设计行为类似于人类玩家的代理。
2021-02-09 cs.AI cs.LG cs.RO
Agentic Design Review System
本文提出AgenticDRS系统,通过多个代理协作分析设计,结合图匹配和提示扩展方法,实现高效的设计评估与反馈生成。
2026-03-12 cs.AI cs.CV cs.LG
Evaluating Deep-Search Agents under Hierarchical Web Evidence Poisoning
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
提出HAE-GEO基准,通过三级网页证据投毒评估深度搜索智能体从暴露到恢复的完整轨迹,发现佐证陷阱削弱证据识别,防御提示难以将验证转化为恢复。
2026-09-18 cs.AI cs.CR cs.IR
A Framework for Evaluating Agentic Skills at Scale
Tessl London United Kingdom(伦敦英国Tessl)
提出一个评估框架,通过构建真实任务和评分标准,大规模评估500个真实技能在19种智能体模型上的表现,发现模型对技能指令的遵循程度差异显著,且技能显著改变模型行为。
2026-06-17 cs.AI cs.CL cs.SE
GameDevBench: Evaluating Agentic Capabilities Through Game Development
Carnegie Mellon University(卡内基梅隆大学)
提出GameDevBench基准,包含333个游戏开发任务,评估智能体在多模态软件开发中的能力,发现最佳智能体仅解决53.8%任务,并引入视觉反馈机制提升性能。
2026-07-02 cs.AI cs.CL cs.SE
CollabSkill: Evaluating Human-Agent Collaboration On Real-World Tasks
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学);Individual Researcher(独立研究者)
提出CollabSkill框架,通过配对真实工人与AI代理执行职业任务,利用贝叶斯技能评级系统量化人机贡献,揭示Claude Code排名第一且实践经验是协作技能的主要驱动力。
2026-07-28 cs.AI cs.CY cs.HC
MCP-AgentBench: Evaluating Real-World Language Agent Performance with MCP-Mediated Tools
University of Science and Technology of China(中国科学技术大学)
针对现有基准无法评估MCP新范式下语言智能体真实性能的问题,提出综合基准MCP-AgentBench,包含33个服务器、188个工具、6类共600个查询及结果导向评估方法MCP-Eval,为研究界提供标准化评估框架。
2025-09-10 cs.AI cs.CL cs.LG
Evaluating LLM-based AI agents integrated with materials synthesis tools: the case of atomic layer deposition
Applied Materials Division, Argonne National Laboratory(阿贡国家实验室应用材料分部)
本研究以原子层沉积为案例,提出了评估集成材料合成工具的基于LLM的AI智能体的实用框架,涵盖多类基准并可推广至其他材料合成技术。
2026-09-01 cond-mat.mtrl-sci cs.AI physics.app-ph
From Correctness to Collaboration: Toward a Human-Centered Framework for Evaluating AI Agent Behavior in Software Engineering
Google LLC(谷歌公司)
本文提出以人为中心的评估框架,旨在评估AI代理在软件工程中的协作行为,通过定义代理行为期望和引入情境适应框架,推动AI代理向协作智能发展。
2025-12-29 cs.AI cs.HC cs.SE
MarketBench: Evaluating AI Agents as Market Participants
Boston University and the MIT Initiative on the Digital Economy(波士顿大学和MIT数字经济倡议)
本文提出MarketBench基准,评估AI代理在市场中的自我评估能力与成本感知,通过软件工程基准和LLM实验发现自我校准不足,但补充信息后有所改善。
2026-04-26 cs.AI econ.GN q-fin.EC
PatchBench: Evaluating AI Agents for Vulnerability Patching
University of Maryland(马里兰大学)
本研究针对AI智能体漏洞修补评估的两大威胁,提出新基准PatchBench,发现仅基于PoC的验证会高估解决率1.83倍,揭示了当前修补智能体的局限。
2026-09-04 cs.AI cs.CR cs.SE
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
University of Washington(华盛顿大学)
研究基于内存的智能体系统中提示注入攻击,利用沙盒合成工作区评估两个系统四个模型,发现虽难用外部内容重写内存文件,但已植入的有效载荷可攻击当前及未来会话,揭示持久内存改变威胁模型并推动相关防御研究。
2026-07-17 cs.AI cs.CR cs.MA
EVMbench: Evaluating AI Agents on Smart Contract Security
OpenAI;Paradigm;OtterSec
EVMbench通过评估AI代理在智能合约安全领域的检测、修补和利用能力,揭示了AI在区块链安全评估中的潜力与挑战。
2026-03-05 cs.AI cs.CR cs.LG
AndroidFlux: Evaluating and Reward Modeling Failure Recovery Capabilities in Mobile Use Multimodal Agents
Georgia Institute of Technology(佐治亚理工学院);Konkuk University(建国大学)
本研究推出基于AndroidWorld的故障恢复基准AndroidFlux,配套奖励建模基准与离线RL数据集,发现移动多模态智能体恢复性能与干净启动成功率部分相关,显式推理仅对GUI领域特定RL训练的模型有帮助。
2026-10-27 cs.AI cs.CL cs.CV
Evaluating Agent Interactions Through Episodic Knowledge Graphs
Vrije University Amsterdam(阿姆斯特丹自由大学)
我们提出了一种新的方法的基础上情节知识图谱(eKGs)评估(多模态)会话代理在开放的领域。该图是通过在对话期间解释原始信号而生成的,并且能够捕获随着时间的推移而积累的知识。我们应用结构和语义分析的结果图和翻译的性质转化为定性的措施。我们比较这些措施与现有的自动和手动评估指标通常用于会话代理。我们的研究结果表明,我们的知识图为基础的评估提供了更多的定性的见解互动和代理的行为。
2022-09-26 cs.AI
AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
AgentHPOBench是含30个任务的序列基准,用于评估LLM智能体的超参数优化能力,实验显示其在多领域有优化能力,但在迭代优化等方面存在局限。
2026-08-03 cs.AI
Evaluating Cognitive Age Alignment in Interactive AI Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shenzhen Children's Hospital(深圳儿童医院);Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学)
本文提出ChildAgentEval,首个基于心理测量的交互式基准,用于评估基于多模态大语言模型的代理的认知年龄对齐,通过与年龄特定的人类发展阶段进行系统比较,揭示当前代理在模拟年龄特定认知行为方面的优劣。
2026-05-18 cs.AI
Evaluating and Modelling Hanabi-Playing Agents
University of Essex(埃塞克斯大学)
代理建模涉及考虑其他代理将如何行为,以影响您自己的行为。在本文中,我们将探讨使用代理建模的隐藏信息,合作纸牌游戏花火。我们实现了一些基于规则的代理,无论是从文献和我们自己的设计,除了信息集蒙特卡罗树搜索(IS-MCTS)代理。我们观察到IS-MCTS的结果不佳,因此构建了一个新的预测版本,该版本使用与之配对的代理模型。我们观察到一个显着的改善,从这个代理在游戏中的实力相比,IS-MCTS,从它的考虑在游戏中的其他代理会做什么。此外,我们创建了一个有缺陷的基于规则的代理,以突出预测的能力与这样的代理。
2017-04-24 cs.AI
ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents
IBM Research(IBM研究院)
本文提出ST-WebAgentBench基准测试,用于评估网络代理在现实企业场景中的安全性和可信度,通过引入新的评估指标CuP和风险比,揭示了现有代理的安全性缺陷。
2026-06-04 cs.AI