LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering
LoopArena:将模型作为循环工程运行时控制器的基准测试
机构 * DreamX Team, Alibaba Group(达摩院团队,阿里巴巴集团) ; Beijing University of Posts and Telecommunications(北京邮电大学) ; UNSW Sydney(新南威尔士大学悉尼分校) ; Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
AI总结 研究推出LoopArena基准,评估模型作为控制器指导编码智能体完成长期任务的能力,发现完整任务上最佳严格成功率为24.69%,推理成本平均降低64.4%。