ContextBench: A Benchmark for Context Retrieval in Coding Agents
ContextBench: 一种用于编码代理代码上下文检索的基准测试
机构 * Nanjing University(南京大学) ; University College London(伦敦大学学院)
专题命中 软件智能体 :coding agent(title,abstract);分类 cs.LG
AI总结 ContextBench通过评估编码代理在问题解决过程中代码上下文的检索能力,揭示了代理在上下文利用上的不足,为改进LLM在软件任务中的推理提供了新的研究方向。
Comments 36 pages, 6 figures, 4 tables