探究大语言模型的数据污染对Text-to-SQL翻译任务的影响
Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation
AI总结：
本研究针对大语言模型的Text-to-SQL能力可能受数据污染影响的问题，提出检测GPT数据污染的新方法，结合Spider、新构建的Termite数据集及对抗性表断开方法实验，证实数据污染会导致GPT-3.5在陌生数据集上性能显著下降。
摘要：
在零样本场景下，理解文本描述并生成代码似乎已是遵循指令的大语言模型（LLMs）具备的能力。然而，这种翻译能力很可能会因模型见过目标文本描述及相关代码而受到影响，这种效应被称为数据污染（Data Contamination）。\n在本研究中，我们探究了数据污染对GPT-3.5在Text-to-SQL代码生成任务中性能的影响。为此，我们提出了一种检测GPT系列模型中数据污染的新方法，并使用知名的Spider Dataset（蜘蛛数据集）以及我们新构建的陌生数据集Termite，检验GPT-3.5的Text-to-SQL表现。此外，我们通过对抗性表断开（adversarial table disconnection, ATD）方法，移除数据库中的结构信息以增加Text-to-SQL任务难度，分析了GPT-3.5在信息被修改的数据库上的效能。结果表明，即便经过ATD修改，GPT-3.5在陌生的Termite数据集上的性能也出现了显著下降，凸显了数据污染对大语言模型在Text-to-SQL翻译任务中的影响。
英文摘要：
Understanding textual description to generate code seems to be an achieved capability of instruction-following Large Language Models (LLMs) in zero-shot scenario. However, there is a severe possibility that this translation ability may be influenced by having seen target textual descriptions and the related code. This effect is known as Data Contamination. In this study, we investigate the impact of Data Contamination on the performance of GPT-3.5 in the Text-to-SQL code-generating tasks. Hence, we introduce a novel method to detect Data Contamination in GPTs and examine GPT-3.5's Text-to-SQL performances using the known Spider Dataset and our new unfamiliar dataset Termite. Furthermore, we analyze GPT-3.5's efficacy on databases with modified information via an adversarial table disconnection (ATD) approach, complicating Text-to-SQL tasks by removing structural pieces of information from the database. Our results indicate a significant performance drop in GPT-3.5 on the unfamiliar Termite dataset, even with ATD modifications, highlighting the effect of Data Contamination on LLMs in Text-to-SQL translation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
