代码大模型 / AI 编程

ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development

ProjDevBench: 从端到端项目开发角度评估AI编程代理

Pengrui Lu, Shiqi Zhang, Yunzhong Hou, Lyumanshan Ye, Chaoyi Huang, Zixi Chen, Ji Zeng, Hantao Jiang, Pengfei Liu, Yiwei Wang, Ming-Hsuan Yang

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Beijing Institute of Technology, Beijing, China（北京理工大学） ； University of California, Merced, CA, USA（加州大学默塞德分校） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） 纠错

专题命中 软件智能体 ：coding agent(title,abstract)；分类 cs.SE、cs.AI

AI总结 ProjDevBench从端到端项目开发角度评估AI编程代理，通过系统架构设计、功能正确性和迭代优化三个维度，评估六种基于不同LLM的代理，发现其在复杂系统设计和资源管理方面存在不足。