代码大模型 / AI 编程

Can LLMs Generate Reliable Test Case Generators? A Study on Competition-Level Programming Problems

LLMs能否生成可靠的测试用例生成器？对竞赛级编程问题的研究

Yuhan Cao, Zian Chen, Kun Quan, Ziliang Zhang, Yu Wang, Xiaoning Dong, Yeqi Feng, Guanzhong He, Jingcheng Huang, Jianhao Li, Yixuan Tan, Jiafu Tang, Yilin Tang, Junlei Wu, Qianyu Xiao, Can Zheng, Shouchen Zhou, Yuxiang Zhu, Yiming Huang, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； ShanghaiTech University（上海科技大学） ； Wuhan University（武汉大学） ； Fuzhou University（福州大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Nanjing University（南京大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） 纠错

专题命中 测试生成 ：code generation(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 本文研究LLMs在生成竞赛级编程问题测试用例生成器方面的能力，提出TCGBench基准测试，并通过实验发现LLMs在生成针对性测试用例以暴露代码缺陷方面存在不足。

Comments 37 pages, 22 figures