TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
TerminalWorld: 在真实世界终端任务上评估智能体的基准测试
机构 * University College London(伦敦大学学院) ; Nanjing University(南京大学) ; Tencent(腾讯)
AI总结 本文提出TerminalWorld,一个可扩展的数据引擎,能够自动从真实世界终端记录中反向工程高保真的评估任务。通过处理80,870条终端记录,生成1,530个经过验证的任务,涵盖18个真实世界类别,从短日常操作到超过50步的工作流,覆盖1,280个唯一命令。从中精选出200个代表性任务作为Verified子集。在八个前沿模型和六个智能体上全面评估发现,当前系统仍难以处理真实终端工作流,最高通过率为62.5%。此外,TerminalWorld捕捉到与现有专家整理的基准(如Terminal-Bench)不同的真实终端能力,仅与它们的分数有弱相关性(Pearson r=0.20)。自动化引擎使TerminalWorld本身具有真实性和可扩展性,使其能够评估智能体在真实终端环境中随着开发者实践的发展而变化。数据和代码可在https://github.com/EuniAI/TerminalWorld获取。