上下文战胜参数：在提交信息生成中超越专有 LLM
Context Conquers Parameters: Outperforming Proprietary LLM in Commit Message Generation
AI总结：
本文研究开源 LLM 能否替代 GPT-4 生成高质量提交信息，并提出基于 4 位量化 8B 开源模型的 OMEGA 方法，通过上下文细化在从业者偏好上超越 GPT-4。
摘要：
提交信息使用自然语言描述一次提交中所做的修改，因此对软件维护与演化至关重要。大型语言模型（LLMs）的最新进展促使其被用于生成高质量提交信息，例如全知消息生成器（OMG）。该方法使用 GPT-4 生成当前最先进的提交信息。然而，在编码任务中使用 GPT-4 这类专有 LLM 引发了隐私与可持续性问题，可能阻碍其在工业界的采用。考虑到开源 LLM 已在编译器验证等开发者任务中取得具有竞争力的表现，本研究探讨它们能否用于生成与 OMG 相当的提交信息。我们的实验表明，一个开源 LLM 能够生成与 OMG 所产生结果相当的提交信息。此外，通过一系列上下文细化，我们提出了 lOcal MessagE GenerAtor（OMEGA），一种使用 4 位量化的 8B 开源 LLM 的提交信息生成方法。OMEGA 生成了当前最先进的提交信息，在从业者偏好上超越了 GPT-4 的性能。
英文摘要：
Commit messages provide descriptions of the modifications made in a commit using natural language, making them crucial for software maintenance and evolution. Recent developments in Large Language Models (LLMs) have led to their use in generating high-quality commit messages, such as the Omniscient Message Generator (OMG). This method employs GPT-4 to produce state-of-the-art commit messages. However, the use of proprietary LLMs like GPT-4 in coding tasks raises privacy and sustainability concerns, which may hinder their industrial adoption. Considering that open-source LLMs have achieved competitive performance in developer tasks such as compiler validation, this study investigates whether they can be used to generate commit messages that are comparable with OMG. Our experiments show that an open-source LLM can generate commit messages that are comparable to those produced by OMG. In addition, through a series of contextual refinements, we propose lOcal MessagE GenerAtor (OMEGA) , a CMG approach that uses a 4-bit quantized 8B open-source LLM. OMEGA produces state-of-the-art commit messages, surpassing the performance of GPT-4 in practitioners' preference.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
