GPT-O1 能杀死所有 Bug 吗？GPT 系列大语言模型在 QuixBugs 上的评估
Can GPT-O1 Kill All Bugs? An Evaluation of GPT-Family LLMs on QuixBugs
AI总结：
本研究首次系统比较了GPT系列模型在自动程序修复中的性能，发现O1模型修复能力最强，在QuixBugs基准上成功修复全部40个Bug，为GPT模型在APR领域的应用奠定了基础。
摘要：
大语言模型（LLM）在自动程序修复（APR）领域早已展现出显著的有效性，其中 OpenAI 的 ChatGPT 是该领域使用最广泛的模型之一。随着 GPT 系列模型的持续迭代与升级，它们在修复 Bug 方面的性能已达到当前最先进的水平。然而，目前很少有工作对不同版本 GPT 系列模型在 APR 上的有效性和差异进行比较。在本工作中，受近期 GPT-o1 模型公开发布的启发，我们进行了首个研究，比较不同版本 GPT 系列模型在 APR 中的有效性。我们评估了最新版 GPT 系列模型（即 O1-preview 和 O1-mini）、GPT-4o 以及历史版本 ChatGPT 在 APR 上的性能。我们在 QuixBugs 基准上，从修复成功率、修复成本、响应长度和行为模式等多个评估角度，对这四个 GPT 系列模型与其他 LLM 及 APR 技术进行了实证研究。结果表明，O1 的修复能力超越了之前的 GPT 系列模型，成功修复了基准中全部 40 个 Bug。我们的工作可作为进一步深入探索 GPT 系列模型在 APR 中应用的基础。
英文摘要：
LLMs have long demonstrated remarkable effectiveness in automatic program repair (APR), with OpenAI's ChatGPT being one of the most widely used models in this domain. Through continuous iterations and upgrades of GPT-family models, their performance in fixing bugs has already reached state-of-the-art levels. However, there are few works comparing the effectiveness and variations of different versions of GPT-family models on APR. In this work, inspired by the recent public release of the GPT-o1 models, we conduct the first study to compare the effectiveness of different versions of the GPT-family models in APR. We evaluate the performance of the latest version of the GPT-family models (i.e., O1-preview and O1-mini), GPT-4o, and the historical version of ChatGPT on APR. We conduct an empirical study of the four GPT-family models against other LLMs and APR techniques on the QuixBugs benchmark from multiple evaluation perspectives, including repair success rate, repair cost, response length, and behavior patterns. The results demonstrate that O1's repair capability exceeds that of prior GPT-family models, successfully fixing all 40 bugs in the benchmark. Our work can serve as a foundation for further in-depth exploration of the applications of GPT-family models in APR.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
