A Pilot Study for Chinese SQL Semantic Parsing
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
语义解析的任务对于对话和问答系统是非常有用的。已经提出了许多数据集来将自然语言文本映射到SQL,其中最近的Spider数据集提供了具有多个表和复杂查询的跨域样本。我们为中文构建了一个Spider数据集,中文目前在这个任务领域是一种资源较少的语言。有趣的研究问题来自语言的独特性,这需要分词,也来自SQL关键字和DB表的列通常用英语编写的事实。我们比较字符和单词为基础的编码器的语义解析器,和不同的嵌入方案。结果表明,基于词的语义分析器是受分割错误和跨语言的词嵌入是有用的文本到SQL。
2019-10-16 cs.CL
CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers
Tencent Cloud Xiaowei(腾讯云小微);Beihang University(北京航空航天大学)
上下文相关的文本到SQL是将多轮问题转换为与数据库相关的SQL查询的任务。现有的方法通常侧重于充分利用历史上下文或先前预测的SQL来进行当前SQL解析,而忽略了显式地理解模式和会话依赖,如共指,省略和用户焦点变化。在本文中,我们提出了CQR-SQL,它使用辅助会话问题重构(CQR)学习显式地利用模式和解耦上下文依赖SQL解析。具体来说,我们首先提出了一个模式增强递归CQR方法产生领域相关的自包含的问题。其次,通过基于模式的一致性任务和树型结构的SQL解析一致性任务对CQR-SQL模型进行训练,使其能够将多轮问句和辅助自包含问句的语义映射到同一个潜在空间中,通过充分的上下文理解来提高SQL解析的能力。在撰写本文时,我们的CQR-SQL在两个上下文相关的文本到SQL基准测试SParC和CoSQL上取得了最新的结果。
2022-10-24 cs.CL
Towards Generalizable and Robust Text-to-SQL Parsing
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文本到SQL解析解决了将自然语言问题映射到可执行SQL查询的问题。在实践中,文本到SQL解析器经常遇到各种具有挑战性的场景,要求它们具有通用性和健壮性。虽然大多数现有的工作都解决了特定的泛化或鲁棒性挑战,但我们的目标是以更全面的方式研究它。具体来说,我们认为文本到SQL的解析器应该是(1)在三个泛化级别上可泛化的,即i.i.d.,zero-shot和组合,以及(2)对输入扰动的鲁棒性。为了提高这些能力的解析器,我们提出了一种新的TKK框架,包括任务分解,知识获取,知识组合学习文本到SQL解析的阶段。通过将学习过程划分为多个阶段,我们的框架提高了解析器获取一般SQL知识的能力,而不是捕获虚假模式,使其更具泛化性和鲁棒性。在各种泛化和鲁棒性设置下的实验结果表明,我们的框架在所有场景下都是有效的,并在Spider,SParC和CoSQL数据集上实现了最先进的性能。代码可以在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/tkk上找到。
2022-10-23 cs.CL
Error Detection for Text-to-SQL Semantic Parsing
The Ohio State University(俄亥俄州立大学)
本文提出独立于解析器的 text-to-SQL 错误检测模型,结合代码语言模型与图神经网络学习问题和 SQL 结构,并在跨领域真实错误上训练,实验证明其优于解析器相关不确定性指标。
2023-12-06 cs.CL
SQLFixAgent: Towards Semantic-Accurate Text-to-SQL Parsing via Consistency-Enhanced Multi-Agent Collaboration
School of Computer Science & Technology, Soochow University(苏州大学计算机科学与技术学院);School of Information, Renmin University of China(中国人民大学信息学院);International College (Suzhou Research Institute), Renmin University of China(中国人民大学国际学院(苏州研究院));iFLYTEK Research (Suzhou)(科大讯飞研究院(苏州))
针对Text-to-SQL解析中LLM生成SQL语义准确率不足的问题,提出含三类智能体的SQLFixAgent协作框架,通过错误检测、候选生成与优选修复提升性能,在多基准上有效增效且token效率更优。
2025-05-18 cs.CL
Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,知识密集型的文本到SQL,其中领域知识是必要的解析专家的问题到SQL查询领域特定的表。我们通过构建一个新的中文基准测试KnowSQL来正式化这个场景,该测试由覆盖各个领域的特定领域问题组成。然后,我们通过呈现公式化的知识来解决这个问题,而不是通过注释额外的数据示例。更具体地说,我们构建了一个公式化的知识库作为领域知识库,并提出了一个框架(ReGroupP),利用这种公式化的知识在解析。使用ReGroupP的实验表明,KnowSQL总体上有28.2%的显着改进。
2023-01-03 cs.CL
Tracking Interaction States for Multi-Turn Text-to-SQL Semantic Parsing
University of Science and Technology of China(中国科学技术大学);Baidu Research(百度研究院);iFLYTEK Research(讯飞研究院)
多轮文本到SQL语义解析的任务旨在将交互中的自然语言话语翻译成SQL查询,以便使用通常包含多个表模式的数据库来回答它们。以往的研究通常利用语境信息来丰富话语表征并进一步影响解码过程。而忽略了对由历史SQL查询确定的、与当前话语意图相关的交互状态进行描述和跟踪。本文分别基于模式项和SQL关键字定义了两种交互状态。设计了一个关系型图神经网络和一个非线性层来分别更新这两种状态的表示。然后利用动态模式状态和SQL状态表示来解码与当前话语相对应的SQL查询。在具有挑战性的CoSQL数据集上的实验结果证明了该方法的有效性,该方法在任务排行榜上取得了比其他已发表方法更好的性能。
2020-12-09 cs.CL
Representing Schema Structure with Graph Neural Networks for Text-to-SQL Parsing
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对SQL解析语言的研究在很大程度上忽略了数据库(DB)模式的结构,要么是因为DB非常简单,要么是因为它在训练和测试时都被观察到。在Spider(最近发布的文本到SQL数据集)中,在测试时会给出新的和复杂的DB,因此DB模式的结构可以通知预测的SQL查询。在本文中,我们提出了一个编码器-解码器的语义解析器,其中的DB模式的结构是用一个图神经网络编码,这种表示是后来在编码和解码时使用。评估表明,对模式结构进行编码将我们的解析器准确率从33.8%提高到39.4%,大大高于目前的19.7%。
2019-06-03 cs.CL
Semantic Parsing with Syntax- and Table-Aware SQL Generation
Microsoft Research Asia(微软亚洲研究院);Microsoft AI and Research(微软人工智能与研究院);Harbin Institute of Technology(哈尔滨工业大学)
我们提出了一个生成模型映射到SQL查询的自然语言的问题。现有的基于神经网络的方法通常逐词生成SQL查询,然而,由于问题词和表内容之间的不匹配,所生成的结果的大部分是不正确的或不可执行的。我们的方法解决了这个问题,考虑表的结构和SQL语言的语法。生成的SQL查询的质量通过(1)学习从列名、单元格或SQL关键字复制内容;以及(2)通过利用列-单元格关系来改进WHERE子句的生成而得到显著提高。实验进行WikiSQL,最近发布的数据集最大的问题SQL对。我们的方法显着提高了国家的最先进的执行精度从69.0%到74.4%。
2018-04-23 cs.CL
End-to-End Cross-Domain Text-to-SQL Semantic Parsing with Auxiliary Task
University of Waterloo(滑铁卢大学);The University of Hong Kong(香港大学);AWS AI Labs(亚马逊云科技人工智能实验室)
在这项工作中,我们专注于跨域的文本到SQL的语义解析任务中的两个关键组成部分:模式链接和值填充。为了鼓励模型学习更好的编码能力,我们提出了一个列选择辅助任务,通过使用显式学习目标来赋予编码器相关匹配能力。此外,我们提出了两个值填充方法,建立桥梁,从现有的zero-shot语义解析器到现实世界的应用程序,考虑到大多数现有的解析器忽略的值填充在合成SQL。通过在Spider上的实验,我们提出的框架在数据库内容不可用时提高了执行精度和精确集匹配精度,详细的分析为未来的工作提供了指导。
2021-06-17 cs.CL
STAR: SQL Guided Pre-Training for Context-dependent Text-to-SQL Parsing
University of Science and Technology of China(中国科学技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
在本文中,我们提出了一种新的SQL引导的预训练框架STAR上下文相关的文本到SQL解析,它利用上下文信息,以丰富自然语言(NL)的话语和表模式表示文本到SQL的对话。具体地说,我们提出了两个新的预训练目标,分别探讨了在每个文本到SQL对话中的NL语句和SQL查询的上下文相关交互:(i)模式状态跟踪(SST)目标,通过预测和更新交互期间每个模式槽的值,以模式状态的形式跟踪和探索上下文相关SQL查询的模式状态;(ii)话语依赖性跟踪(UDT)目标,其采用加权对比学习来将两个语义上相似的NL话语拉在一起,并且在每个对话内推开语义上不相似的NL话语的表示。此外,我们构建了一个高质量的大规模上下文相关的文本到SQL会话语料库预训练STAR。大量的实验表明,STAR在两个下游基准测试(SParC和CoSQL)上实现了新的最先进的性能,显著优于以前的预训练方法,并在排行榜上排名第一。我们相信构建的语料库、代码库和预训练的STAR检查点的发布将推动这一领域的研究。为了重现性,我们在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star上发布我们的代码和数据。
2022-10-28 cs.CL
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs(亚马逊AWS人工智能实验室)
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时,解析器没有可用的NLQ的显式语义信息,这导致不理想的泛化性能。此外,没有词汇级细粒度的查询理解,查询和数据库之间的链接只能依赖于模糊字符串匹配,这导致在实际应用中的次优性能。鉴于此,本文提出了一个通用的,模块化的神经语义解析框架,是基于令牌级细粒度查询理解。我们的框架包括三个模块:命名实体识别器(NER),神经实体链接器(NEL)和神经语义解析器(NSP)。NER模型通过对查询和数据库进行联合建模,分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果,并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明,该模型在WikiTableQuestions(WTQ)测试集上的执行准确率为56.8%,比现有模型高出2.7%.
2022-09-28 cs.CL
Decoupled Dialogue Modeling and Semantic Parsing for Multi-Turn Text-to-SQL
Shanghai Jiao Tong University(上海交通大学);State Key Lab of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室)
最近,Text-to-SQL的多轮对话引起了极大的兴趣。在这里,给定所有先前的对话历史,当前回合的用户输入被解析为适当数据库的相应SQL查询。目前的方法大多采用端到端模型,因此面临两个挑战。首先,对话历史建模和Text-to-SQL解析是隐式结合的,因此很难进行可解释性分析和有针对性的改进。第二,多轮对话的SQL注释非常昂贵,导致训练数据稀疏。在本文中,我们提出了一种新的解耦的多轮文本到SQL框架,其中的话语重写模型首先明确地解决了对话上下文的完成,然后是一个单轮文本到SQL解析器。本文还提出了一种双重学习方法来解决数据稀疏性问题。与端到端的方法相比,所提出的解耦方法可以在不需要任何带注释的域内数据的情况下获得优异的性能。在只有几个带注释的重写案例的情况下,解耦方法在SParC和CoSQL数据集上的性能优于已发布的最先进的端到端模型。
2021-06-09 cs.CL
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing
University of Waterloo(滑铁卢大学);Penn State University(宾夕法尼亚州立大学)
使用大语言模型的上下文学习最近在语义解析任务(如文本到SQL翻译)中显示出令人惊讶的结果。使用几个question-SQL对的示例来验证GPT-3或Codex可以产生非常好的结果,可以与最先进的基于微调的模型相媲美。然而,现有的工作主要集中在英语数据集,这是未知的大语言模型是否可以作为其他语言的竞争力的语义解析器。为了弥补这一差距,我们的工作重点是跨语言的文本到SQL的语义解析翻译非英语的话语到SQL查询的基础上的英语模式。我们考虑一个zero-shot迁移学习设置,假设我们没有任何标记的例子在目标语言(但有注释的例子在英语)。这项工作介绍了XRICL框架,学习检索相关的英语范例为一个给定的查询构造提示。我们还包括目标语言的全局翻译范例,以促进大语言模型的翻译过程。为了系统地评估我们的模型,我们构建了两个新的基准数据集,XSpider和XKaggle-dbqa,其中包括中文,越南语,波斯语和印地语的问题。我们的实验表明,XRECL有效地利用了大型预训练的语言模型,以超越现有的基线。数据和代码可在https://github.com/Impavidity/XRICL上公开获取。
2022-10-25 cs.CL
QURG: Question Rewriting Guided Context-Dependent Text-to-SQL Semantic Parsing
Beihang University(北京航空航天大学);Tencent Cloud Xiaowei(腾讯云小微)
本文提出QURG方法,通过训练问题重写模型生成重写编辑矩阵,并设计双流矩阵编码器联合建模重写关系与模式链接关系,显著提升了上下文相关Text-to-SQL在SParC和CoSQL数据集上的性能。
2023-05-16 cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
文本到SQL的语义解析是一项重要的自然语言处理任务,它极大地方便了用户与数据库之间的交互,成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的,但其中大多数都集中在英语上。在这项工作中,我们提出了MultiSpider,最大的多语言文本到SQL数据集,涵盖七种语言(英语,德语,法语,西班牙语,日语,中文和越南语)。在MultiSpider上,我们进一步确定了文本到SQL的词汇和结构挑战(由特定的语言属性和方言谚语引起)及其在不同语言中的强度。在三种典型设置(zero-shot、单语和多语言)下的实验结果显示,非英语语言的准确率绝对下降了6.1%。定性和定量分析进行,以了解每种语言的性能下降的原因。除了数据集之外,我们还提出了一个简单的模式增强框架SAVe(Schema-Augmentation-with-Verification),它将整体性能显著提高了约1.8%,并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
Importance of Synthesizing High-quality Data for Text-to-SQL Parsing
Amazon(亚马逊)
最近,人们对合成数据以改进下游文本到SQL任务的兴趣越来越大。在本文中,我们首先检查了现有的合成数据集,发现最先进的文本到SQL算法在使用增强的合成数据进行训练时,并没有进一步改进流行的基准测试。我们观察到两个缺点:从独立列采样和任意表连接不合逻辑的合成SQL查询。为了解决这些问题,我们提出了一种新的合成框架,它结合了模式的关键关系,实行强类型,并进行模式距离加权列采样。我们还采用了中间表示(IR)的SQL到文本的任务,以进一步提高质量的生成的自然语言的问题。当现有强大的语义解析器对我们的高质量合成数据进行预微调时,我们的实验表明,这些模型在流行的基准测试中具有显着的准确性提升,包括Spider上的最新性能。
2022-12-17 cs.CL
Semantic Enhanced Text-to-SQL Parsing via Iteratively Learning Schema Linking Graph
Tsinghua University(清华大学)
对于旨在将人类话语解析成SQL语句的Text-to-SQL系统来说,对新数据库的可推广性是至关重要的。现有的工作实现了这一目标,利用精确匹配的方法来确定词汇之间的匹配问题的话和模式项目。然而,这些方法在其他具有挑战性的情况下失败,例如同义词替换,其中对应的问题词和模式项目之间的表面形式不同。在本文中,我们提出了一个名为ISESL-SQL的框架,迭代地建立一个语义增强的模式链接图之间的问题令牌和数据库模式。首先,我们提取一个模式链接图从PLM通过探测过程中的无监督的方式。然后在训练过程中通过深度图学习方法进一步优化模式链接图。同时,我们还设计了一个辅助任务,称为图正则化,以改善模式链接图中提到的模式信息。在三个基准测试上的大量实验表明,ISESL-SQL可以始终优于基线,进一步的调查表明其通用性和鲁棒性。
2022-08-08 cs.CL
Question Generation from SQL Queries Improves Neural Semantic Parsing
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
我们研究如何学习一个语义解析器的国家的最先进的准确性与较少的监督训练数据。我们进行我们的研究WikiSQL,迄今为止最大的手工注释的语义解析数据集。首先,我们证明了问题生成是一种有效的方法,使我们能够学习一个国家的最先进的神经网络基于语义解析器与百分之三十的监督训练数据。其次,我们表明,将问题生成应用于全监督训练数据进一步改进了最先进的模型。此外,我们观察到语义解析器的准确性和训练数据的数量之间存在对数关系。
2018-08-27 cs.CL
Exploring the Compositional Generalization in Context Dependent Text-to-SQL Parsing
Tsinghua University(清华大学)
本文首次研究上下文依赖 Text-to-SQL 的组合泛化,构建 CoSQL-CG 与 SParC-CG 基准,并提出 p-align 通过对齐历史 SQL 与当前话语提升模型泛化性能。
2023-05-29 cs.CL
Global Reasoning over Database Structures for Text-to-SQL Parsing
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最先进的语义解析器依赖于自回归解码,每次发出一个符号。当针对在训练时未观察到的复杂数据库(zero-shot)进行测试时,由于解码的局部性质,解析器通常很难在新数据库中选择正确的数据库常量集。在这项工作中,我们提出了一个语义解析器,全局原因的输出查询的结构,使更多的上下文知情的选择数据库常量。我们使用消息传递通过图神经网络软选择一个子集的数据库常量的输出查询,条件的问题。此外,我们训练一个模型来排名查询的基础上,全球对齐的数据库常量的问题的话。我们将我们的技术应用于当前最先进的Spider模型,这是一个具有复杂数据库的zero-shot语义解析数据集,准确率从39.4%提高到47.4%。
2019-08-29 cs.CL
Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
Department of Computer Science, Yale University(耶鲁大学计算机科学系);Yale University(耶鲁大学)
我们提出了蜘蛛,一个大规模的,复杂的和跨领域的语义解析和文本到SQL数据集注释的11名大学生。它由10,181个问题和5,693个独特的复杂SQL查询组成,涉及200个数据库和多个表,覆盖138个不同的领域。我们定义了一个新的复杂的和跨域的语义解析和文本到SQL的任务,不同的复杂的SQL查询和数据库出现在训练和测试集。通过这种方式,任务要求模型能够很好地泛化到新的SQL查询和新的数据库模式。Spider与以前的大多数语义解析任务不同,因为它们都使用单个数据库,并且在训练集和测试集中使用完全相同的程序。我们用各种最先进的模型进行了实验,最好的模型在数据库拆分设置上仅达到12.4%的精确匹配精度。这表明Spider对未来的研究提出了很大的挑战。我们的数据集和任务可在https://yale-lily.github.io/spider上公开获取
2019-02-02 cs.AI cs.CL
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese
NVIDIA(英伟达);VinAI Research(越南人工智能研究院)
语义解析是自然语言处理的一项重要任务。然而,越南语在这一研究领域是一种低资源语言。在本文中,我们提出了第一个公共的大规模文本到SQL语义解析数据集越南。我们扩展并评估了两个强大的语义解析基线EditSQL(Zhang等人,2019)和IRNet(Guo et al.,2019年,在我们的数据集上。我们比较了两个基线的关键配置,发现:自动越南语分词提高了两个基线的分析结果;归一化逐点互信息(NPMI)得分(Bouma,2009)是有用的模式链接;潜在的句法特征提取的神经依赖分析越南语也改善了结果;用于越南语的单语语言模型PhoBERT(Nguyen和Nguyen,2020)有助于产生比最近最好的多语言语言模型XLM-R(Conneau等人,2020年)。
2020-10-05 cs.AI cs.CL
Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing
Alibaba DAMO Academy(阿里巴巴达摩院)
文本到SQL解析的任务旨在将自然语言问题转换为可执行的SQL查询,近年来已经获得了越来越多的关注,因为它可以帮助最终用户有效地从数据库中提取重要信息,而不需要技术背景。文本到SQL解析中的主要挑战之一是领域泛化,即,如何很好地推广到未知数据库。最近,预训练的文本到文本的Transformer模型,即T5,虽然不是专门用于文本到SQL解析,但在针对领域泛化的标准基准测试中已经实现了最先进的性能。在这项工作中,我们探索了进一步增强预训练的T5模型的方法,其中包含用于文本到SQL解析的专用组件。这些组件预计将引入结构归纳偏见文本到SQL解析器,从而提高模型的能力(潜在的多跳)推理,这是生成结构丰富的SQL的关键。为此,我们提出了一个新的架构GRAPHIX-T5,一个混合模型与标准的预训练的Transformer模型增强了一些专门设计的图形感知层。大量的实验和分析表明,GRAPHIX-T5在四个文本到SQL基准测试:SPIDER,SYN,REALISTIC和DK上的有效性。GRAPHIX-T5以显著的优势超越了所有其他基于T5的解析器,实现了新的最先进的性能。值得注意的是,GRAPHIX-T5-large在精确匹配(EM)准确性和执行准确性(EX)方面的达到性能优于原始T5-large 5.7%。这甚至比T5-3B在EM上高出1.2%,在EX上高出1.5%。
2023-01-18 cs.CL cs.DB
HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
Alibaba Group(阿里巴巴集团)
近年来,上下文相关的文本到SQL的语义解析,将自然语言转换成SQL的交互过程中吸引了很多的关注。以前的作品利用上下文相关的信息,无论是从交互历史话语或以前预测的SQL查询,但未能利用这两个,因为自然语言和逻辑形式的SQL之间的不匹配。在这项工作中,我们提出了一个历史信息增强的文本到SQL模型(HIE-SQL),利用上下文相关的信息,从历史的话语和最后预测的SQL查询。针对这一问题,本文将自然语言和SQL作为两种模态,提出了一种双模态预训练模型来弥补这两种模态之间的差异。此外,我们设计了一个模式链接图,以加强从话语和SQL查询到数据库模式的连接。我们展示了我们的历史信息增强方法显著提高了HIE-SQL的性能,在编写时,在两个上下文相关的文本到SQL基准测试(SparC和CoSQL数据集)上实现了新的最先进的结果。
2022-04-02 cs.AI cs.CL cs.DB
Exploring Chain-of-Thought Style Prompting for Text-to-SQL
The Ohio State University(俄亥俄州立大学)
本文系统研究思维链式提示对文本到SQL解析的作用,发现迭代提示和过细推理步骤可能带来错误传播,并提出一种新的CoT式提示方法,在Spider开发集和Spider Realistic集上分别取得5.2和6.5个百分点的绝对提升。
2023-10-27 cs.CL
Semantic Parsing for Complex Data Retrieval: Targeting Query Plans vs. SQL for No-Code Access to Relational Databases
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出查询计划语言(QPL)作为SQL的替代目标,利用其模块化结构使神经语义解析器更易生成复杂查询,并通过Spider数据集实验验证,以迭代方式提升复杂组合查询的准确性。
2023-12-22 cs.CL
Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Alibaba Group(阿里巴巴集团);Massachusetts Institute of Technology(麻省理工学院)
构建可应用于新数据库的文本到SQL解析器的重要性早已被公认,实现这一目标的关键步骤是模式链接,即,在生成SQL时正确识别未看到的列或表。在这项工作中,我们提出了一种新的框架,通过基于庞加莱距离度量的探测过程,从大规模预训练的语言模型(PLM)中提取关系结构,并使用诱导的关系来增强当前基于图的解析器,以实现更好的模式链接。与常用的基于规则的模式链接方法相比,我们发现,探测关系可以鲁棒地捕获语义对应关系,即使在表面形式的提及和实体不同。此外,我们的探测过程是完全无监督的,不需要额外的参数。大量的实验表明,我们的框架设置新的国家的最先进的性能在三个基准。我们实证验证,我们的探测程序确实可以找到所需的关系结构,通过定性分析。我们的代码可以在https://github.com/AlibabaResearch/DAMO-ConvAI上找到。
2022-08-06 cs.CL
Table2answer: Read the database and answer without SQL
Rokid AI Lab(Rokid人工智能实验室);China Electronic Technology Group Corporation Information Science Academy(中国电子科技集团公司信息科学研究院)
语义解析是将自然语言映射为逻辑形式的任务。在问答中,可以使用语义解析将问题映射到逻辑形式并执行逻辑形式来获得答案。语义解析的一个关键问题是硬标记工作。我们用另一种方法来研究这个问题:我们不再使用逻辑形式。相反,我们只使用模式和答案信息。我们认为逻辑形式步骤可以注入到深层模型中。我们之所以认为去除逻辑形式步骤是可能的,是因为人类可以在没有显式逻辑形式的情况下完成任务。我们使用基于BERT的模型,并在WikiSQL数据集上进行了实验。WikiSQL数据集是一个大型的自然语言到SQL数据集。我们的实验评估表明,我们的模型可以达到基线结果在WikiSQL数据集。
2019-09-09 cs.CL
Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques
George Mason University(乔治梅森大学);MIT(麻省理工学院)
本文提出词元预处理和组件边界标记两种简单技术,以保留语义边界并提升语言模型在文本到SQL解析中的组合泛化与领域泛化能力。
2023-05-27 cs.AI cs.CL
Model-based Interactive Semantic Parsing: A Unified Framework and A Text-to-SQL Case Study
The Ohio State University(俄亥俄州立大学);Facebook AI Research(脸书人工智能研究院)
作为一个有前途的范例,交互式语义解析已被证明可以提高语义解析的准确性和用户对结果的信心。在本文中,我们提出了一个新的,统一制定的交互式语义解析问题,其目标是设计一个基于模型的智能代理。智能体将自己的状态保持为当前预测的语义解析,决定是否需要人工干预以及在何处需要人工干预,并以自然语言生成澄清问题。智能体的一个关键部分是一个世界模型:它接受一个请求(一个初始问题或来自用户的后续反馈)并转换到一个新的状态。然后,我们提出了一个简单但非常有效的实例化我们的框架,证明了两个文本到SQL数据集(WikiSQL和蜘蛛)与不同的国家的最先进的基本语义解析器。与现有的交互式语义解析方法相比,该方法将基本解析器视为黑盒,我们的方法要求更少的用户反馈,但产生更高的运行时准确性。
2019-10-11 cs.AI cs.CL
On the Potential of Lexico-logical Alignments for Semantic Parsing to SQL Queries
Cornell University(康奈尔大学);University of Maryland(马里兰大学);Microsoft Research(微软研究院)
用逻辑形式注释的大规模语义解析数据集使监督方法取得了重大进展。但更丰富的监管能起到更大的作用吗?为了探索细粒度的词汇级监督的实用性,我们引入了Squall,这是一个数据集,它通过手动创建的SQL等价物以及SQL和问题片段之间的对齐来丰富11,276个WikiTableQuestions英语问题。我们的注释为编码器-解码器模型提供了新的训练可能性,包括以前因缺乏对齐而无法使用的机器翻译方法。我们提出并测试了两种方法:(1)监督注意;(2)采用一个辅助目标,消除歧义的输入查询表列中的引用。在5折交叉验证中,这些策略在强基线上提高了4.4%的执行准确性。Oracle实验表明,注释比对可以支持高达23.9%的进一步准确性增益。
2020-10-21 cs.AI cs.CL
Retrieval and Augmentation of Domain Knowledge for Text-to-SQL Semantic Parsing
TCS Research Pune, India(TCS研究部,印度浦那);TCS Research Delhi, India(TCS研究部,印度德里)
针对Text-to-SQL任务中现有领域知识依赖临时查询提示的问题,提出数据库层面结构化领域语句关联框架及子串匹配检索方法,在11个真实库、5款LLM上验证了实用性与准确率优势。
2025-10-01 cs.CL
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training
AWS AI Labs(AWS人工智能实验室)
最近,通过利用大规模文本语料库来训练具有自监督学习目标的大型神经语言模型,例如掩蔽语言模型(MLM),对学习用于各种NLP任务的上下文表示产生了极大的兴趣。然而,基于试点研究,我们观察到三个问题,现有的通用语言模型,当它们被应用到文本到SQL语义解析器:未能检测列提到的话语,未能推断列提到的细胞值,并未能组成复杂的SQL查询。为了缓解这些问题,我们提出了一个模型预训练框架,生成增强预训练(GAP),通过利用生成模型来生成预训练数据,联合学习自然语言话语和表模式的表示。GAP MODEL在2 M话语-模式对和30 K话语-模式-SQL三元组上训练,其话语由生成模型产生。基于实验结果,利用GAP MODEL作为表示编码器的神经语义解析器在SPIDER和CRITERIA-TO-SQL基准测试中获得了最新的结果。
2020-12-18 cs.CL
Controllable Data Augmentation for Context-Dependent Text-to-SQL
针对上下文依赖Text-to-SQL标注数据不足、现有增强数据多样性差的问题,提出ConDA可控增强框架,通过SQL对话状态转移增多样本、基础匹配模型过滤低质量数据,在SParC和CoSQL数据集上使基线模型复杂问题性能平均提升3.3%。
2023-04-28 cs.CL
SeSQL: Yet Another Large-scale Session-level Chinese Text-to-SQL Dataset
Soochow University(苏州大学);Baidu Inc(百度公司)
作为第一个会话级中文数据集,CHASE包含两个独立的部分,即,2,003个会话从头开始手动构建(CHASE-C),3,456个会话从英语SParC翻译(CHASE-T)。我们发现这两部分作为训练和评估数据是高度不一致和不相容的。在这项工作中,我们提出了SeSQL,这是另一个大规模的中文会话级文本到SQL数据集,由5,028个会话组成,所有会话都是从头开始手动构建的。为了保证数据质量,我们采用了迭代注释工作流,以便于对上一轮自然语言(NL)问题和SQL查询进行密集和及时的审查。此外,通过完成所有上下文相关的NL问题,我们获得了27,012个上下文无关的问题/SQL对,允许SeSQL用作单轮多DB文本到SQL解析的最大数据集。我们采用三个有竞争力的会话级解析器在SeSQL上进行基准会话级文本到SQL解析实验,并给出详细的分析。
2022-08-26 cs.CL
Wav2SQL: Direct Generalizable Speech-To-SQL Parsing
Zhejiang University(浙江大学);State Grid Corporation of China(国家电网有限公司)
提出首个直接语音到SQL解析模型Wav2SQL,通过大规模预训练缓解数据稀缺,并引入语音重编程与梯度反转分类器提升域外泛化能力,相比基线准确率提升达2.5%。
2023-05-21 cs.CL cs.SD eess.AS
SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
针对自博弈微调在Text-to-SQL任务中因正确SQL过多而削弱主模型生成能力的问题,提出SPFT-SQL方法,通过验证迭代微调构建模型基座,并采用错误驱动损失使主模型区分正确与错误SQL,在多个基准上超越SOTA。
2025-10-11 cs.AI cs.CL
CRED-SQL: Enhancing Real-world Large Scale Database Text-to-SQL Parsing through Cluster Retrieval and Execution Description
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Pengcheng Laboratory, Shenzhen, China(鹏城实验室);Inspur Cloud Information Technology Co., Ltd, Jinan 250101, China(浪潮云信息技术有限公司);Guangdong Power Grid Co., Ltd, China(广东电网公司)
针对大规模数据库中文本转SQL任务存在的语义不匹配问题,提出集成聚类检索和执行描述的CRED-SQL框架,通过聚类模式检索和EDL中间表示提升性能,在SpiderUnion和BirdUnion上实现SOTA。
2025-08-20 cs.AI cs.CL
Holistic Exploration on Universal Decompositional Semantic Parsing: Architecture, Data Augmentation, and LLM Paradigm
Harbin Institute of Technology(哈尔滨工业大学)
本文整体探索通用分解语义解析,提出级联模型分解任务,优于先前模型并减少推理时间,融入句法信息优化架构,探索数据增强,并评估ChatGPT在UDS任务中的表现,发现其在属性解析强而关系解析弱。
2023-07-25 cs.CL
Calibrating LLMs for Text-to-SQL Parsing by Leveraging Sub-clause Frequencies
Carnegie Mellon University(卡内基梅隆大学);Bloomberg(彭博)
本文针对LLM在Text-to-SQL解析中自信出错的问题,提出利用SQL结构化特性的“子句频率”(SCF)分数,并通过多元Platt scaling(MPS)将其组合,有效提升了查询正确性置信度的校准与错误检测效果。
2025-09-17 cs.AI cs.CL cs.LG
Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data
Columbia University(哥伦比亚大学);Tel Aviv University(特拉维夫大学)
大多数可用的语义解析数据集,包括对自然的话语和逻辑形式,收集的目的是完全训练和评估的自然语言理解系统。因此,它们不包含任何自然发生的话语的丰富性和多样性,人类询问他们需要或好奇的数据。在这项工作中,我们发布了SEDE,这是一个包含12,023对话语和SQL查询的数据集,这些话语和SQL查询是从Stack Exchange网站上的实际使用中收集的。我们发现,这些对包含各种现实世界的挑战,很少反映到目前为止,在任何其他语义解析数据集,提出了一个评估指标的基础上比较部分查询子句,更适合于现实世界的查询,并进行实验与强大的基线,表现出很大的差距,与其他常见的数据集相比,在SEDE的性能。
2021-06-09 cs.CL
Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT -- A Text-to-SQL Parsing Comparison
Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学);Nanyang Technology University(南洋理工大学)
本研究系统比较六种大型语言模型在文本到SQL解析任务上的表现,发现开源模型性能显著落后于闭源模型,需进一步工作弥合差距。
2023-10-16 cs.AI cs.CL
Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay
Xi’an Research Institute of High-Tech(西安高技术研究所);Harbin Institute of Technology(哈尔滨工业大学)
针对持续语义解析中现有方法存在的数据隐私问题及对理想设置的依赖,提出LECSP方法,通过SQL语法分析引导LLM重建记忆并校准,结合任务感知双教师蒸馏,在无真实数据重放下实现更优的抗遗忘与泛化效果。
2024-12-10 cs.CL cs.DB
GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing
Salesforce Research(赛富时研究院);Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学);Facebook AI(脸书人工智能研究院)
我们提出了一种有效的预训练方法,用于表语义解析,学习文本和表格数据的联合表示中的组合归纳偏差。我们通过一个同步的上下文无关文法(SCFG)从现有的文本到SQL数据集诱导高质量的表上构建合成的问题SQL对。我们使用一种新的文本模式链接目标对合成数据预训练我们的模型,该目标预测每个问题-SQL对的SQL中表字段的语法角色。为了保持模型表示真实世界数据的能力,我们还在几个现有的表和语言数据集上包含了掩码语言建模(MLM),以规范预训练过程。在四个流行的全监督和弱监督表语义解析基准测试中,GraPPa作为特征表示层的性能明显优于Roberta-large,并在所有这些测试中建立了新的最先进的结果。
2021-05-29 cs.AI cs.CL
Relation Aware Semi-autoregressive Semantic Parsing for NL2SQL
Ant Group(蚂蚁集团);Fudan University(复旦大学)
自然语言到SQL(NL 2 SQL)旨在将给定数据库的自然语言解析为SQL查询,广泛出现在实际的互联网应用中。数据库模式和问句的联合编码是NL2SQL中一个困难而重要的任务。一种解决方案是将输入视为异构图。然而,它未能学习到好的词汇表征问题的话语。学习更好的词表示对于构建一个设计良好的NL2SQL系统非常重要。为了解决这一难题,我们提出了一个关系感知的半自回归语义解析(\MODN)框架,该框架更适合于NL2SQL。它首先学习关系嵌入模式实体和问题词与预定义的模式关系与ELECTRA和关系感知Transformer层作为骨干。然后,我们解码查询SQL与半自回归解析器和预定义的SQL语法。从实证结果和案例研究,我们的模型表明,在学习更好的词表示在NL2SQL的有效性。
2021-08-02 cs.AI cs.CL
Weakly Supervised Text-to-SQL Parsing through Question Decomposition
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);Allen Institute for AI(艾伦人工智能研究所)
本文提出利用 QDMR 中间表示,由问题、分解结构和答案自动合成 SQL 查询,从而在零 SQL 标注下训练具有竞争力的 text-to-SQL 解析器。
2024-08-02 cs.AI cs.CL cs.DB
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语,大多数语义解析系统将该问题作为一次性翻译,其中话语被映射到对应的逻辑形式。在本文中,我们研究了一个更具交互性的场景,人类可以进一步与系统进行交互,提供自由形式的自然语言反馈,以纠正系统时,它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造,SPLASH,一个数据集的话语,不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务,并表明,将这样一个丰富的反馈形式,可以显着提高整体语义解析的准确性,同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%,但我们的最佳模型仅达到25.1%,这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
Learning to Synthesize Data for Semantic Parsing
University of Edinburgh(爱丁堡大学);Salesforce Research(赛富时研究院);Facebook AI(脸书人工智能研究院)
近年来,语义解析中的数据合成越来越受到人们的关注。然而,大多数方法在其生成过程中需要手工(高精度)规则,这阻碍了对各种未知数据的探索。在这项工作中,我们提出了一个生成模型,其特征是一个(非神经)PCFG,该PCFG对程序的组成进行建模(例如,SQL),以及基于BART的翻译模型,该模型将程序映射到话语。由于PCFG和预训练BART的简单性,我们的生成模型可以从现有数据中有效地学习。此外,使用PCFG显式建模组合物可以更好地探索看不见的程序,从而生成更多样化的数据。我们评估我们的方法在域内和域外设置的文本到SQL解析的标准基准GeoQuery和蜘蛛,分别。我们的实验结果表明,从我们的模型生成的合成数据可以大大帮助语义解析器实现更好的组合和领域泛化。
2021-04-27 cs.CL
Grammar-based Neural Text-to-SQL Generation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Tel-Aviv University(特拉维夫大学)
由神经文本到SQL模型采用的序列到序列范例通常执行标记级解码,并且不考虑从语法分层地生成SQL。基于语法的解码对于其他语义解析任务已经显示出显著的改进,但是SQL和其他通用程序设计语言具有逻辑形式主义中不存在的复杂性,这使得编写分层语法变得困难。我们介绍的技术来处理这些复杂性,展示了如何构建一个模式依赖的语法与最小的过度生成。我们分析了ATIS和蜘蛛,两个具有挑战性的文本到SQL数据集,这些技术表明,他们产生14- 18\ %的相对减少错误。
2019-05-30 cs.CL
Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing
Salesforce Research(赛富时研究院)
我们提出了BRIDGE,一个强大的顺序体系结构建模之间的依赖关系的自然语言问题和关系数据库跨DB语义解析。BRIDGE以标记序列表示问题和DB模式,其中字段的子集使用问题中提到的单元格值进行扩充。混合序列由BERT编码,具有最少的后续层,并通过BERT中微调的深度注意力实现文本数据库上下文化。结合具有模式一致性驱动的搜索空间修剪的指针生成器解码器,BRIDGE在流行的跨DB文本到SQL基准测试中获得了最先进的性能,Spider(71.1\% dev,67.5\%测试与集成模型)和WikiSQL(92.6\% dev,91.9\%测试)。我们的分析表明,BRIDGE有效地捕获了所需的跨模态依赖关系,并有可能推广到更多的文本数据库相关的任务。我们的实现可在\url{https://github.com/salesforce/TabularSemanticParsing}上获得。
2020-12-31 cs.AI cs.CL cs.DB
Disambiguate First, Parse Later: Generating Interpretations for Ambiguity Resolution in Semantic Parsing
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh(语言、认知与计算研究所,信息学院,爱丁堡大学)
针对语义解析中的歧义问题,提出先消歧后解析的模块化方法,利用LLM偏见生成首选消歧结果,并结合填充模型生成缺失解释,有效提升了解释覆盖率与跨数据集泛化能力。
2025-07-12 cs.AI cs.CL
Cross-lingual Inflection as a Data Augmentation Method for Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
提出了一种基于形态学的低资源(LR)依存句法分析方法。我们训练的目标LR语言的形态屈折,并将其应用到相关的丰富资源(RR)树库创建跨语言(x-屈折)树库,类似于目标LR语言。我们使用这种变形树库来训练零(在x变形树库上训练)和Few-Shot(在x变形树库和目标语言树库上训练)设置中的解析器。结果表明,该方法有时会改善基线,但并不一致。
2022-05-20 cs.CL
AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
该研究推出名为AMBROSIA的text-to-SQL基准数据集,包含三类带歧义且有对应解读与SQL的问题,通过从零可控生成数据库保证歧义在数据库上下文下仍存在,测试发现先进LLM也难以处理这类歧义。
2024-10-31 cs.CL