代码大模型 / AI 编程

DevOps-Gym: Benchmarking AI Agents in Software DevOps Cycle

DevOps-Gym: 在软件DevOps周期中评估AI代理的基准测试

Yuheng Tang, Kaijie Zhu, Bonan Ruan, Chuqi Zhang, Michael Yang, Hongwei Li, Suyue Guo, Tianneng Shi, Zekun Li, Christopher Kruegel, Giovanni Vigna, Dawn Song, William Yang Wang, Lun Wang, Yangruibo Ding, Zhenkai Liang, Wenbo Guo

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； National University of Singapore（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； Google（谷歌） ； UC Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 测试生成 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 DevOps-Gym通过700+真实任务评估AI代理在完整DevOps周期中的能力，揭示其在问题解决和测试生成方面的局限性。