Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation
机构 * Concordia University(康科德大学)
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE、cs.AI、cs.LG
Comments Pre-print submitted for reviwer to TOSEM
AI 大模型
代码生成、软件工程智能体、程序修复、测试生成和开发者工具。
机构 * Concordia University(康科德大学)
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE、cs.AI、cs.LG
Comments Pre-print submitted for reviwer to TOSEM
机构 * Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE、cs.AI
Comments 15 pages, 8 figures,2 tables
机构 * WeChat Pay, Tencent Inc(腾讯公司) ; The Chinese University of Hong Kong(香港中文大学) ; Wuhan University(武汉大学)
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE、cs.AI
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE
机构 * University of British Columbia(不列颠哥伦比亚大学) ; University of Leicester(利兹大学)
专题命中 代码生成 :code generation(abstract);分类 cs.SE、cs.AI、cs.PL
机构 * University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
专题命中 代码生成 :code generation(abstract);分类 cs.CL、cs.AI、cs.LG
机构 * School of Intelligence Science ; Technology, Institute for Artificial Intellignce, Peking University, Beijing, China ; Technology, Institute for Artificial Intellignce, National Key Laboratory of General Artificial Intelligence, Peking University, Beijing, China
专题命中 代码生成 :code generation(abstract);分类 cs.AI
机构 * University of Science and Technology of China(中国科学技术大学) ; Alibaba Group(阿里巴巴集团) ; National University of Singapore(新加坡国立大学)
专题命中 代码评测 :code generation(abstract);分类 cs.CL
Comments Under Review
机构 * Computational Science Laboratory, Universitat Pompeu Fabra, Barcelona Biomedical Research Park (PRBB), C Dr. Aiguader 88, 08003 Barcelona, Spain ; In Silico Discovery, Janssen Research \& Development, Janssen Pharmaceutica N. V., Turnhoutseweg 30, B-2340 Beerse, Belgium
专题命中 仓库级理解 :repository(abstract);分类 cs.LG
专题命中 仓库级理解 :repository(abstract)
专题命中 其他AI编程 :code model(abstract);分类 cs.SE
Comments Accepted by ASE 2025 Industry Track