2506.11066
2026-06-08
cs.SE
cs.AI
版本更新
CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval
CoQuIR:面向代码质量感知信息检索的综合基准
Jiahui Geng, Fengyu Cai, Shaobo Cui, Qing Li, Liangwei Chen, Chenyang Lyu, Haonan Li, Derui Zhu, Walter Pretschner, Heinz Koeppl, Fakhri Karray
机构
*
Linköping University(林波伊大学)
;
MBZUAI(麦肯锡人工智能研究院)
;
TU Darmstadt(德累斯顿技术大学)
;
Shanghai Jiao Tong University(上海交通大学)
;
EPFL(苏黎世联邦理工学院)
;
University of Groningen(Groningen大学)
;
Google Tokyo(东京Google)
;
Alibaba Group(阿里巴巴集团)
;
TU Munich(慕尼黑技术大学)
AI总结
提出首个大规模多语言代码质量感知检索基准CoQuIR,涵盖正确性、效率、安全性和可维护性四维度,通过细粒度标注和两个质量中心指标评估23个模型,发现顶尖模型常无法区分有缺陷代码,并探索了训练方法以提升质量感知能力。