FeatBench: Towards More Realistic Evaluation of Feature-level Code Generation
FeatBench: 向更真实的特征级代码生成评估迈进
机构 * College of AI, Tsinghua University(清华大学人工智能学院) ; University of Electronic Science and Technology of China(电子科技大学) ; Nanjing University(南京大学)
专题命中 软件智能体 :agent(abstract);分类 cs.AI、cs.CL、cs.SE
AI总结 FeatBench提出了一种新的特征级代码生成评估基准,通过真实任务输入和动态数据构建,解决现有基准的局限性,并揭示了代理在实现中的激进行为问题。