OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding
OctoBench:面向仓库基础代理编程的支架意识指令遵循基准测试
机构 * Fudan University(复旦大学) ; MiniMax ; Peking University(北京大学)
专题命中 仓库级理解 :repository(title,abstract);software agent(abstract);coding agent(abstract);分类 cs.CL、cs.AI
AI总结 OctoBench通过评估仓库基础代理编程中的支架意识指令遵循能力,揭示了任务解决与合规性之间的差距,推动更高效的编码代理发展。