IBM

Investigating Test Overfitting on SWE-bench

对SWE-bench上测试过拟合的调查

Toufique Ahmed, Jatin Ganhotra, Avraham Shinnar, Martin Hirzel

机构 * IBM ； Institute for Clarity in Documentation（文献清晰研究所） ； Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕默研究实验室） 纠错

AI总结 本文研究了在代码仓库问题解决中过度依赖测试导致的测试过拟合问题，分析了自动测试生成系统可能存在的缺陷及改进方法。