Semantic Parsing with Syntax- and Table-Aware SQL Generation
Microsoft Research Asia（微软亚洲研究院）；Microsoft AI and Research（微软人工智能与研究院）；Harbin Institute of Technology（哈尔滨工业大学）
我们提出了一个生成模型映射到SQL查询的自然语言的问题。现有的基于神经网络的方法通常逐词生成SQL查询，然而，由于问题词和表内容之间的不匹配，所生成的结果的大部分是不正确的或不可执行的。我们的方法解决了这个问题，考虑表的结构和SQL语言的语法。生成的SQL查询的质量通过（1）学习从列名、单元格或SQL关键字复制内容;以及（2）通过利用列-单元格关系来改进WHERE子句的生成而得到显著提高。实验进行WikiSQL，最近发布的数据集最大的问题SQL对。我们的方法显着提高了国家的最先进的执行精度从69.0%到74.4%。
2018-04-23 cs.CL
End-to-End Cross-Domain Text-to-SQL Semantic Parsing with Auxiliary Task
University of Waterloo（滑铁卢大学）；The University of Hong Kong（香港大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
在这项工作中，我们专注于跨域的文本到SQL的语义解析任务中的两个关键组成部分：模式链接和值填充。为了鼓励模型学习更好的编码能力，我们提出了一个列选择辅助任务，通过使用显式学习目标来赋予编码器相关匹配能力。此外，我们提出了两个值填充方法，建立桥梁，从现有的zero-shot语义解析器到现实世界的应用程序，考虑到大多数现有的解析器忽略的值填充在合成SQL。通过在Spider上的实验，我们提出的框架在数据库内容不可用时提高了执行精度和精确集匹配精度，详细的分析为未来的工作提供了指导。
2021-06-17 cs.CL
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs（亚马逊AWS人工智能实验室）
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时，解析器没有可用的NLQ的显式语义信息，这导致不理想的泛化性能。此外，没有词汇级细粒度的查询理解，查询和数据库之间的链接只能依赖于模糊字符串匹配，这导致在实际应用中的次优性能。鉴于此，本文提出了一个通用的，模块化的神经语义解析框架，是基于令牌级细粒度查询理解。我们的框架包括三个模块：命名实体识别器（NER），神经实体链接器（NEL）和神经语义解析器（NSP）。NER模型通过对查询和数据库进行联合建模，分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果，并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明，该模型在WikiTableQuestions（WTQ）测试集上的执行准确率为56.8%，比现有模型高出2.7%.
2022-09-28 cs.CL
Decoupled Dialogue Modeling and Semantic Parsing for Multi-Turn Text-to-SQL
Shanghai Jiao Tong University（上海交通大学）；State Key Lab of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）
最近，Text-to-SQL的多轮对话引起了极大的兴趣。在这里，给定所有先前的对话历史，当前回合的用户输入被解析为适当数据库的相应SQL查询。目前的方法大多采用端到端模型，因此面临两个挑战。首先，对话历史建模和Text-to-SQL解析是隐式结合的，因此很难进行可解释性分析和有针对性的改进。第二，多轮对话的SQL注释非常昂贵，导致训练数据稀疏。在本文中，我们提出了一种新的解耦的多轮文本到SQL框架，其中的话语重写模型首先明确地解决了对话上下文的完成，然后是一个单轮文本到SQL解析器。本文还提出了一种双重学习方法来解决数据稀疏性问题。与端到端的方法相比，所提出的解耦方法可以在不需要任何带注释的域内数据的情况下获得优异的性能。在只有几个带注释的重写案例的情况下，解耦方法在SParC和CoSQL数据集上的性能优于已发布的最先进的端到端模型。
2021-06-09 cs.CL
QURG: Question Rewriting Guided Context-Dependent Text-to-SQL Semantic Parsing
Beihang University（北京航空航天大学）；Tencent Cloud Xiaowei（腾讯云小微）
本文提出QURG方法，通过训练问题重写模型生成重写编辑矩阵，并设计双流矩阵编码器联合建模重写关系与模式链接关系，显著提升了上下文相关Text-to-SQL在SParC和CoSQL数据集上的性能。
2023-05-16 cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
文本到SQL的语义解析是一项重要的自然语言处理任务，它极大地方便了用户与数据库之间的交互，成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的，但其中大多数都集中在英语上。在这项工作中，我们提出了MultiSpider，最大的多语言文本到SQL数据集，涵盖七种语言（英语，德语，法语，西班牙语，日语，中文和越南语）。在MultiSpider上，我们进一步确定了文本到SQL的词汇和结构挑战（由特定的语言属性和方言谚语引起）及其在不同语言中的强度。在三种典型设置（zero-shot、单语和多语言）下的实验结果显示，非英语语言的准确率绝对下降了6.1%。定性和定量分析进行，以了解每种语言的性能下降的原因。除了数据集之外，我们还提出了一个简单的模式增强框架SAVe（Schema-Augmentation-with-Verification），它将整体性能显著提高了约1.8%，并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
Question Generation from SQL Queries Improves Neural Semantic Parsing
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
我们研究如何学习一个语义解析器的国家的最先进的准确性与较少的监督训练数据。我们进行我们的研究WikiSQL，迄今为止最大的手工注释的语义解析数据集。首先，我们证明了问题生成是一种有效的方法，使我们能够学习一个国家的最先进的神经网络基于语义解析器与百分之三十的监督训练数据。其次，我们表明，将问题生成应用于全监督训练数据进一步改进了最先进的模型。此外，我们观察到语义解析器的准确性和训练数据的数量之间存在对数关系。
2018-08-27 cs.CL
Global Reasoning over Database Structures for Text-to-SQL Parsing
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
最先进的语义解析器依赖于自回归解码，每次发出一个符号。当针对在训练时未观察到的复杂数据库（zero-shot）进行测试时，由于解码的局部性质，解析器通常很难在新数据库中选择正确的数据库常量集。在这项工作中，我们提出了一个语义解析器，全局原因的输出查询的结构，使更多的上下文知情的选择数据库常量。我们使用消息传递通过图神经网络软选择一个子集的数据库常量的输出查询，条件的问题。此外，我们训练一个模型来排名查询的基础上，全球对齐的数据库常量的问题的话。我们将我们的技术应用于当前最先进的Spider模型，这是一个具有复杂数据库的zero-shot语义解析数据集，准确率从39.4%提高到47.4%。
2019-08-29 cs.CL
Parsing Through Boundaries in Chinese Word Segmentation
The Chinese University of Hong Kong, Hong Kong（香港中文大学）；University College London, United Kingdom（伦敦大学学院）；The University of British Columbia, Canada（不列颠哥伦比亚大学）
本文以中文GSD树库为对象，研究不同分词边界方案对依存句法结构的影响，并开发交互式可视化工具以支持对比分析。
2025-07-04 cs.CL
Character-Level Chinese Dependency Parsing via Modeling Latent Intra-Word Structure
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
本文提出通过建模词内隐式结构实现中文字符级依存句法分析，并用受约束的Eisner算法保证字符级树兼容性，在中文树库上优于流水线框架和已有联合模型。
2024-06-06 cs.CL
Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Yale University（耶鲁大学）
我们提出了蜘蛛，一个大规模的，复杂的和跨领域的语义解析和文本到SQL数据集注释的11名大学生。它由10，181个问题和5，693个独特的复杂SQL查询组成，涉及200个数据库和多个表，覆盖138个不同的领域。我们定义了一个新的复杂的和跨域的语义解析和文本到SQL的任务，不同的复杂的SQL查询和数据库出现在训练和测试集。通过这种方式，任务要求模型能够很好地泛化到新的SQL查询和新的数据库模式。Spider与以前的大多数语义解析任务不同，因为它们都使用单个数据库，并且在训练集和测试集中使用完全相同的程序。我们用各种最先进的模型进行了实验，最好的模型在数据库拆分设置上仅达到12.4%的精确匹配精度。这表明Spider对未来的研究提出了很大的挑战。我们的数据集和任务可在https://yale-lily.github.io/spider上公开获取
2019-02-02 cs.AI cs.CL
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese
NVIDIA（英伟达）；VinAI Research（越南人工智能研究院）
语义解析是自然语言处理的一项重要任务。然而，越南语在这一研究领域是一种低资源语言。在本文中，我们提出了第一个公共的大规模文本到SQL语义解析数据集越南。我们扩展并评估了两个强大的语义解析基线EditSQL（Zhang等人，2019）和IRNet（Guo et al.，2019年，在我们的数据集上。我们比较了两个基线的关键配置，发现：自动越南语分词提高了两个基线的分析结果;归一化逐点互信息（NPMI）得分（Bouma，2009）是有用的模式链接;潜在的句法特征提取的神经依赖分析越南语也改善了结果;用于越南语的单语语言模型PhoBERT（Nguyen和Nguyen，2020）有助于产生比最近最好的多语言语言模型XLM-R（Conneau等人，2020年）。
2020-10-05 cs.AI cs.CL
HIE-SQL: History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
Alibaba Group（阿里巴巴集团）
近年来，上下文相关的文本到SQL的语义解析，将自然语言转换成SQL的交互过程中吸引了很多的关注。以前的作品利用上下文相关的信息，无论是从交互历史话语或以前预测的SQL查询，但未能利用这两个，因为自然语言和逻辑形式的SQL之间的不匹配。在这项工作中，我们提出了一个历史信息增强的文本到SQL模型（HIE-SQL），利用上下文相关的信息，从历史的话语和最后预测的SQL查询。针对这一问题，本文将自然语言和SQL作为两种模态，提出了一种双模态预训练模型来弥补这两种模态之间的差异。此外，我们设计了一个模式链接图，以加强从话语和SQL查询到数据库模式的连接。我们展示了我们的历史信息增强方法显著提高了HIE-SQL的性能，在编写时，在两个上下文相关的文本到SQL基准测试（SparC和CoSQL数据集）上实现了新的最先进的结果。
2022-04-02 cs.AI cs.CL cs.DB
Semantic Parsing for Complex Data Retrieval: Targeting Query Plans vs. SQL for No-Code Access to Relational Databases
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出查询计划语言（QPL）作为SQL的替代目标，利用其模块化结构使神经语义解析器更易生成复杂查询，并通过Spider数据集实验验证，以迭代方式提升复杂组合查询的准确性。
2023-12-22 cs.CL
Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques
George Mason University（乔治梅森大学）；MIT（麻省理工学院）
本文提出词元预处理和组件边界标记两种简单技术，以保留语义边界并提升语言模型在文本到SQL解析中的组合泛化与领域泛化能力。
2023-05-27 cs.AI cs.CL
Model-based Interactive Semantic Parsing: A Unified Framework and A Text-to-SQL Case Study
The Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
作为一个有前途的范例，交互式语义解析已被证明可以提高语义解析的准确性和用户对结果的信心。在本文中，我们提出了一个新的，统一制定的交互式语义解析问题，其目标是设计一个基于模型的智能代理。智能体将自己的状态保持为当前预测的语义解析，决定是否需要人工干预以及在何处需要人工干预，并以自然语言生成澄清问题。智能体的一个关键部分是一个世界模型：它接受一个请求（一个初始问题或来自用户的后续反馈）并转换到一个新的状态。然后，我们提出了一个简单但非常有效的实例化我们的框架，证明了两个文本到SQL数据集（WikiSQL和蜘蛛）与不同的国家的最先进的基本语义解析器。与现有的交互式语义解析方法相比，该方法将基本解析器视为黑盒，我们的方法要求更少的用户反馈，但产生更高的运行时准确性。
2019-10-11 cs.AI cs.CL
Hybrid Oracle: Making Use of Ambiguity in Transition-based Chinese Dependency Parsing
MOE Key Laboratory of Computational Linguistics（教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science（电子工程与计算机科学学院）；Peking University（北京大学）
在基于转换的依赖分析器的训练中，使用预言机来预测句子及其黄金树的转换序列。然而，过渡系统可能会表现出模糊性，即可能有多个正确的过渡序列形成黄金树。我们建议利用该属性训练神经依赖解析器，并提出了混合预言。新的预言机给出了解析状态的所有正确转换，这些转换用于交叉熵损失函数以提供更好的监督信号。它还用于为一个句子生成不同的转换序列，以更好地探索训练数据，提高解析器的泛化能力。实验结果表明，在中文依存句法分析中，使用混合预言机训练的句法分析器的性能优于使用传统预言机训练的句法分析器。我们从语言学的角度进行分析。该代码可在https://github.com/lancopku/nndep上获得。
2018-02-06 cs.CL
On the Potential of Lexico-logical Alignments for Semantic Parsing to SQL Queries
Cornell University（康奈尔大学）；University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
用逻辑形式注释的大规模语义解析数据集使监督方法取得了重大进展。但更丰富的监管能起到更大的作用吗？为了探索细粒度的词汇级监督的实用性，我们引入了Squall，这是一个数据集，它通过手动创建的SQL等价物以及SQL和问题片段之间的对齐来丰富11，276个WikiTableQuestions英语问题。我们的注释为编码器-解码器模型提供了新的训练可能性，包括以前因缺乏对齐而无法使用的机器翻译方法。我们提出并测试了两种方法：（1）监督注意;（2）采用一个辅助目标，消除歧义的输入查询表列中的引用。在5折交叉验证中，这些策略在强基线上提高了4.4%的执行准确性。Oracle实验表明，注释比对可以支持高达23.9%的进一步准确性增益。
2020-10-21 cs.AI cs.CL
Joint Chinese Word Segmentation and Span-based Constituency Parsing
Sun Yat-sen University（中山大学）
在选区句法分析中，基于广度的解码是一个重要的研究方向。然而，对于汉语句子，由于其语言特点，需要先利用其他模型进行分词，这就引入了一系列的不确定性，通常会导致后续选区树的计算出现错误。本文提出了一种通过在句法树上的单个汉字上添加额外的标签来实现汉语分词和基于跨度的选区句法分析的方法。通过实验，该算法在CTB 5.1上的联合分割和选区解析性能优于最新模型。
2022-11-30 cs.CL cs.LG
Retrieval and Augmentation of Domain Knowledge for Text-to-SQL Semantic Parsing
TCS Research Pune, India（TCS研究部，印度浦那）；TCS Research Delhi, India（TCS研究部，印度德里）
针对Text-to-SQL任务中现有领域知识依赖临时查询提示的问题，提出数据库层面结构化领域语句关联框架及子串匹配检索方法，在11个真实库、5款LLM上验证了实用性与准确率优势。
2025-10-01 cs.CL
Semantic Role Labeling for Learner Chinese: the Importance of Syntactic Parsing and L2-L1 Parallel Data
Peking University（北京大学）
本文以语义角色标注（SRL）为个案任务，以学习者汉语为个案语言，研究中介语语义语义解析。我们首先手动注释一组学习者文本的语义角色，以获得自动SRL的黄金标准。根据新的数据，我们然后评估三个现成的SRL系统，即，基于PCFGLA语法分析器的系统、基于神经语法分析器的系统和基于神经语法不可知的系统，来衡量汉语学习者自主学习的成功程度。我们发现两个不明显的事实：1）L1-句法分析训练的系统在L2数据上的表现相当糟糕; 2）两个基于句法分析的系统从L1数据到L2数据的性能下降要小得多，这表明句法分析在中介语SRL中的重要性。最后，本文提出了一种新的基于一致性的模型来挖掘大规模L2-L1并行数据中的语义一致性信息。然后，我们表明这些信息是非常有效的，以提高学习者的文本SRL。我们的模型实现了72.06的F分数，比最佳基线提高了2.02分。
2018-08-29 cs.CL
A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing
Fudan University（复旦大学）
汉语分词和依存句法分析是汉语自然语言处理的两个基本任务。依存句法分析是在词级上定义的。因此分词是依存句法分析的前提，这使得依存句法分析容易产生错误传播，无法直接利用预先训练好的字符级语言模型（如BERT）。本文提出了一个基于图的汉语分词和依存句法分析的集成模型。与以往的基于过渡的关节模型不同，我们提出的模型更加简洁，从而减少了特征工程的工作量。本文提出的基于图的联合模型在中文分词和依存句法分析两个方面都取得了较好的性能。此外，当结合BERT时，我们的模型可以大大减少联合模型和基于黄金分割词的模型之间的依存句法分析的性能差距。我们的代码可在https://github.com/fastnlp/JointCwsParser上公开获取。
2019-12-18 cs.AI cs.CL
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training
AWS AI Labs（AWS人工智能实验室）
最近，通过利用大规模文本语料库来训练具有自监督学习目标的大型神经语言模型，例如掩蔽语言模型（MLM），对学习用于各种NLP任务的上下文表示产生了极大的兴趣。然而，基于试点研究，我们观察到三个问题，现有的通用语言模型，当它们被应用到文本到SQL语义解析器：未能检测列提到的话语，未能推断列提到的细胞值，并未能组成复杂的SQL查询。为了缓解这些问题，我们提出了一个模型预训练框架，生成增强预训练（GAP），通过利用生成模型来生成预训练数据，联合学习自然语言话语和表模式的表示。GAP MODEL在2 M话语-模式对和30 K话语-模式-SQL三元组上训练，其话语由生成模型产生。基于实验结果，利用GAP MODEL作为表示编码器的神经语义解析器在SPIDER和CRITERIA-TO-SQL基准测试中获得了最新的结果。
2020-12-18 cs.CL
A Pilot Study on Dialogue-Level Dependency Parsing for Chinese
Tianjin University（天津大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对汉语对话级依存分析资源与方法不足，本文构建含850段对话、199,803条依存的人工标注语料库，并提出零样本/少样本下基于信号转换与多视图数据选择的基线方法。
2023-06-01 cs.CL
N-LTP: An Open-source Neural Language Technology Platform for Chinese
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
我们介绍了\texttt{N-LTP}，一个开源的神经语言技术平台，支持六个基本的中文NLP任务：{词法分析}（中文分词，词性标注和命名实体识别），{句法分析}（依存句法分析）和{语义分析}（语义依存句法分析和语义角色标注）。与现有的最先进的工具包，如\texttt{Stanza}，采用一个独立的模型为每个任务，\texttt{N-LTP}采用多任务框架，通过使用一个共享的预训练模型，这具有捕获共享的知识在相关的中文任务。此外，还引入了一种知识蒸馏方法\cite{DBLP:journals/corr/abs-1907-04829}，其中单任务模型教导多任务模型，以鼓励多任务模型超越其单任务教师。最后，我们提供了一系列易于使用的API和可视化工具，使用户能够更方便、更直接地使用和查看处理结果。据我们所知，这是第一个支持六个中文NLP基本任务的工具包。源代码、文档和预训练模型可在\url{https://github.com/HIT-SCIR/ltp}上获得。
2021-09-23 cs.CL
Syntax Aware LSTM Model for Chinese Semantic Role Labeling
Peking University（北京大学）
对于语义角色标注（SRL）任务，传统的方法和最近的基于递归神经网络（RNN）的方法在利用句法分析信息时，都采用了特征工程的方法。在本文中，我们提出了可感知的长短时间记忆（SA-LSTM）。SA-LSTM的结构根据依存句法分析信息进行修改，以架构工程的方式而不是特征工程的方式直接建模解析信息。我们通过实验证明，SA-LSTM从模型架构中获得了更多的改进。此外，根据学生t检验（$p<0.05$），SA-LSTM在CPB 1.0上的表现显著优于最新技术水平。
2017-04-20 cs.CL
Dependency Language Models for Transition-based Dependency Parsing
University of Birmingham（伯明翰大学）；Google（谷歌）
在本文中，我们提出了一种方法来提高一个强的过渡为基础的依赖分析器的准确性，利用依赖语言模型，从一个大型的分析语料库中提取。我们将少量基于依赖语言模型的特征集成到解析器中。为了证明所提出的方法的有效性，我们评估我们的分析器在标准的英语和中文数据的基础分析器可以实现竞争力的准确性分数。我们的增强型解析器在中文数据上达到了最先进的精度，在英文数据上也取得了有竞争力的结果。我们在中文方面获得了1分（UAS）的绝对进步，在英语方面获得了0.5分。
2017-08-30 cs.CL
Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data
Columbia University（哥伦比亚大学）；Tel Aviv University（特拉维夫大学）
大多数可用的语义解析数据集，包括对自然的话语和逻辑形式，收集的目的是完全训练和评估的自然语言理解系统。因此，它们不包含任何自然发生的话语的丰富性和多样性，人类询问他们需要或好奇的数据。在这项工作中，我们发布了SEDE，这是一个包含12，023对话语和SQL查询的数据集，这些话语和SQL查询是从Stack Exchange网站上的实际使用中收集的。我们发现，这些对包含各种现实世界的挑战，很少反映到目前为止，在任何其他语义解析数据集，提出了一个评估指标的基础上比较部分查询子句，更适合于现实世界的查询，并进行实验与强大的基线，表现出很大的差距，与其他常见的数据集相比，在SEDE的性能。
2021-06-09 cs.CL
Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay
Xi’an Research Institute of High-Tech（西安高技术研究所）；Harbin Institute of Technology（哈尔滨工业大学）
针对持续语义解析中现有方法存在的数据隐私问题及对理想设置的依赖，提出LECSP方法，通过SQL语法分析引导LLM重建记忆并校准，结合任务感知双教师蒸馏，在无真实数据重放下实现更优的抗遗忘与泛化效果。
2024-12-10 cs.CL cs.DB
GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing
Salesforce Research（赛富时研究院）；Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）；Facebook AI（脸书人工智能研究院）
我们提出了一种有效的预训练方法，用于表语义解析，学习文本和表格数据的联合表示中的组合归纳偏差。我们通过一个同步的上下文无关文法（SCFG）从现有的文本到SQL数据集诱导高质量的表上构建合成的问题SQL对。我们使用一种新的文本模式链接目标对合成数据预训练我们的模型，该目标预测每个问题-SQL对的SQL中表字段的语法角色。为了保持模型表示真实世界数据的能力，我们还在几个现有的表和语言数据集上包含了掩码语言建模（MLM），以规范预训练过程。在四个流行的全监督和弱监督表语义解析基准测试中，GraPPa作为特征表示层的性能明显优于Roberta-large，并在所有这些测试中建立了新的最先进的结果。
2021-05-29 cs.AI cs.CL
Relation Aware Semi-autoregressive Semantic Parsing for NL2SQL
Ant Group（蚂蚁集团）；Fudan University（复旦大学）
自然语言到SQL（NL 2 SQL）旨在将给定数据库的自然语言解析为SQL查询，广泛出现在实际的互联网应用中。数据库模式和问句的联合编码是NL2SQL中一个困难而重要的任务。一种解决方案是将输入视为异构图。然而，它未能学习到好的词汇表征问题的话语。学习更好的词表示对于构建一个设计良好的NL2SQL系统非常重要。为了解决这一难题，我们提出了一个关系感知的半自回归语义解析（\MODN）框架，该框架更适合于NL2SQL。它首先学习关系嵌入模式实体和问题词与预定义的模式关系与ELECTRA和关系感知Transformer层作为骨干。然后，我们解码查询SQL与半自回归解析器和预定义的SQL语法。从实证结果和案例研究，我们的模型表明，在学习更好的词表示在NL2SQL的有效性。
2021-08-02 cs.AI cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语，大多数语义解析系统将该问题作为一次性翻译，其中话语被映射到对应的逻辑形式。在本文中，我们研究了一个更具交互性的场景，人类可以进一步与系统进行交互，提供自由形式的自然语言反馈，以纠正系统时，它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造，SPLASH，一个数据集的话语，不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务，并表明，将这样一个丰富的反馈形式，可以显着提高整体语义解析的准确性，同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%，但我们的最佳模型仅达到25.1%，这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
Learning to Synthesize Data for Semantic Parsing
University of Edinburgh（爱丁堡大学）；Salesforce Research（赛富时研究院）；Facebook AI（脸书人工智能研究院）
近年来，语义解析中的数据合成越来越受到人们的关注。然而，大多数方法在其生成过程中需要手工（高精度）规则，这阻碍了对各种未知数据的探索。在这项工作中，我们提出了一个生成模型，其特征是一个（非神经）PCFG，该PCFG对程序的组成进行建模（例如，SQL），以及基于BART的翻译模型，该模型将程序映射到话语。由于PCFG和预训练BART的简单性，我们的生成模型可以从现有数据中有效地学习。此外，使用PCFG显式建模组合物可以更好地探索看不见的程序，从而生成更多样化的数据。我们评估我们的方法在域内和域外设置的文本到SQL解析的标准基准GeoQuery和蜘蛛，分别。我们的实验结果表明，从我们的模型生成的合成数据可以大大帮助语义解析器实现更好的组合和领域泛化。
2021-04-27 cs.CL
Probabilistic Models for High-Order Projective Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
本文提出了高阶投射依存句法分析的广义概率模型和学习这些统计模型的算法框架，包括依存树。通过调整我们的算法，将内部-外部算法扩展到高阶情况，可以有效地计算高阶依赖树的划分函数和边缘。为了证明我们的算法的有效性，我们进行了三种语言-英语，汉语和捷克语，使用最大条件似然估计的模型训练和L-BFGS参数估计的实验。我们的方法实现了英语的竞争力的表现，并优于所有以前报道的依赖解析器中文和捷克语。
2015-02-14 cs.CL
An In-depth Study on Internal Structure of Chinese Words
Soochow University（苏州大学）；Huawei Cloud（华为云）
与英文字母不同，汉字有着丰富而具体的含义。通常，一个词的意义可以通过某种方式从它的组成字符中推导出来。以前的几个关于句法分析的工作建议注释浅层词内部结构，以更好地利用字符级信息。本文提出将汉语词汇的深层内部结构建模为具有11个标签的依存树，用于区分句法关系。首先，基于新编写的注释指南，我们手工标注了一个词内部结构树库（WIST），由超过30K的多字符词从中国宾州树库。为了保证质量，每个单词都由两名注释员独立注释，不一致的地方由第三名高级注释员处理。其次，我们对WIST进行了详细而有趣的分析，以揭示对汉语构词法的见解。第三，我们提出了词内部结构分析作为一个新的任务，并进行基准实验，使用竞争依赖分析器。最后，我们提出了两种简单的方法来编码词内部结构，从而有希望的收益在句子级句法分析任务。
2021-06-01 cs.CL
Grammar-based Neural Text-to-SQL Generation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Tel-Aviv University（特拉维夫大学）
由神经文本到SQL模型采用的序列到序列范例通常执行标记级解码，并且不考虑从语法分层地生成SQL。基于语法的解码对于其他语义解析任务已经显示出显著的改进，但是SQL和其他通用程序设计语言具有逻辑形式主义中不存在的复杂性，这使得编写分层语法变得困难。我们介绍的技术来处理这些复杂性，展示了如何构建一个模式依赖的语法与最小的过度生成。我们分析了ATIS和蜘蛛，两个具有挑战性的文本到SQL数据集，这些技术表明，他们产生14- 18\ %的相对减少错误。
2019-05-30 cs.CL
Learning Programmatic Idioms for Scalable Semantic Parsing
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
程序员通常使用高级编码模式或惯用结构（如嵌套循环、异常处理程序和递归块）来组织可执行源代码，而不是将其作为单独的代码标记。相比之下，现有技术（SOTA）语义解析器仍然通过一次一个节点地构建代码语法树来将自然语言指令映射到源代码。在本文中，我们介绍了一种迭代法来提取代码成语从大型源代码语料库中反复折叠的最频繁的深度2子树的语法树，并训练语义解析器在解码过程中应用这些成语。将基于习语的解码应用于最近的上下文相关的语义解析任务，使SOTA的BLEU分数提高了2.2%，同时减少了50%以上的训练时间。这种改进的速度使我们能够通过在扩展的训练集上训练来扩展模型，该训练集大5 $\times$，以进一步将SOTA提高额外的2.3\% BLEU和0.9\%精确匹配。最后，当训练数据有限时，习惯用法还显著提高了ATIS-SQL数据集上SQL的语义解析的准确性。
2019-09-06 cs.CL
Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing
Salesforce Research（赛富时研究院）
我们提出了BRIDGE，一个强大的顺序体系结构建模之间的依赖关系的自然语言问题和关系数据库跨DB语义解析。BRIDGE以标记序列表示问题和DB模式，其中字段的子集使用问题中提到的单元格值进行扩充。混合序列由BERT编码，具有最少的后续层，并通过BERT中微调的深度注意力实现文本数据库上下文化。结合具有模式一致性驱动的搜索空间修剪的指针生成器解码器，BRIDGE在流行的跨DB文本到SQL基准测试中获得了最先进的性能，Spider（71.1\% dev，67.5\%测试与集成模型）和WikiSQL（92.6\% dev，91.9\%测试）。我们的分析表明，BRIDGE有效地捕获了所需的跨模态依赖关系，并有可能推广到更多的文本数据库相关的任务。我们的实现可在\url{https://github.com/salesforce/TabularSemanticParsing}上获得。
2020-12-31 cs.AI cs.CL cs.DB
Disambiguate First, Parse Later: Generating Interpretations for Ambiguity Resolution in Semantic Parsing
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（语言、认知与计算研究所，信息学院，爱丁堡大学）
针对语义解析中的歧义问题，提出先消歧后解析的模块化方法，利用LLM偏见生成首选消歧结果，并结合填充模型生成缺失解释，有效提升了解释覆盖率与跨数据集泛化能力。
2025-07-12 cs.AI cs.CL
Understanding the Effect of Algorithm Transparency of Model Explanations in Text-to-SQL Semantic Parsing
George Mason University（乔治梅森大学）；MITRE Corporation（MITRE公司）
本文通过约100名参与者的实验，研究文本到SQL语义解析中不同算法透明度级别的模型解释对用户体验的影响，发现中等透明度解释能在用户依赖、交互表现和信任稳定性之间取得最佳平衡。
2024-11-24 cs.AI cs.CL cs.HC
Pay More Attention to History: A Context Modelling Strategy for Conversational Text-to-SQL
Peking University（北京大学）；Meituan（美团）
会话式文本到SQL的目标是将多轮自然语言查询转换成它们相应的SQL（结构化查询语言）表示。会话式文本到SQL的最棘手的问题之一是对多轮查询的语义进行建模，并收集当前查询所需的适当信息。本文表明，通过添加每个回合和整个上下文的摘要来明确地建模语义变化可以在将会话查询转换为SQL时带来更好的性能。特别是，我们提出了两个会话建模任务，在转粮食和会话粮食。这两个任务只是作为辅助训练任务来帮助多轮会话语义解析。我们进行了实证研究，并在大规模开放域会话文本到SQL数据集上取得了新的最先进的结果。实验结果表明，该机制显著提高了多轮语义解析的性能。
2022-07-26 cs.AI cs.CL
S$^2$SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers
Alibaba Group（阿里巴巴集团）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
将自然语言问题转换为可执行的SQL查询的任务，称为文本到SQL，是语义解析的一个重要分支。国家的最先进的基于图形的编码器已成功地用于这项任务，但没有建模的问题语法很好。本文提出了S $^2$ SQL，在文本到SQL解析器的问题模式图编码器中注入了XML，有效地利用了文本到SQL中问题的语法依赖信息，提高了性能。我们还采用解耦约束诱导不同的关系边嵌入，这进一步提高了网络的性能。在Spider和鲁棒性设置Spider-Syn上的实验表明，当使用预训练模型时，所提出的方法优于所有现有方法，从而在Spider排行榜上排名第一。
2022-03-14 cs.CL
T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
针对seq2seq语义解析存在的模式预测质量差、语义一致性弱的问题，提出含SSQL中间表示和重排序机制的SR解码策略，T5-SR-3b在Spider数据集上取得SOTA结果。
2023-06-14 cs.AI cs.CL
Semantic Parsing Natural Language into Relational Algebra
Northeastern University（东北大学）
数据库自然接口（NLIDB）是近几十年来国内外研究的热点问题之一。NLIDB的核心是一个语义解析器，用于将自然语言转换为SQL。传统NLP方法的解决方案侧重于通过中间逻辑形式进行语法规则模式学习和配对。虽然这些方法在某些特定的数据库和解析任务上提供了可接受的性能，但它们很难推广和扩展。另一方面，神经深度学习的最新进展似乎为构建通用NLIDB系统提供了一个有希望的方向。与传统方法不同，这些神经方法将解析问题视为序列到序列的学习问题。在本文中，我们实验了几个序列到序列的学习模型，并评估其性能的一般数据库解析任务。
2021-06-25 cs.CL
Improving Generalization in Semantic Parsing by Increasing Natural Language Variation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对 text-to-SQL 语义解析模型在 Spider 基准上因问题语言形式单一而难以泛化的问题，利用大型语言模型进行数据增强生成更多样真实的问题，显著提升了模型在鲁棒性基准和域外数据上的表现。
2024-02-13 cs.CL
Hierarchical Neural Data Synthesis for Semantic Parsing
Borealis AI（北极光人工智能）
收集语义解析数据集的成本很高，而且即使是作为语义解析系统输入的与给定领域相关的问题也可能不容易获得，特别是在跨领域的语义解析中。这使得数据增强更具挑战性。现有的合成新数据的方法使用手工制定或诱导的规则，需要大量的工程工作和语言专业知识来实现良好的覆盖率和精确度，这限制了可扩展性。在这项工作中，我们提出了一个纯粹的神经方法的数据增强的语义解析，完全消除了语法工程的需要，同时实现更高的语义解析的准确性。此外，我们的方法可以合成在zero-shot设置，只有一个新的域模式是可用的，没有任何输入输出的新域的例子。在Spider跨域文本到SQL语义解析基准测试中，我们使用我们的zero-shot增强在开发集上实现了最先进的性能（77.2%的准确率）。
2021-12-04 cs.CL
Robust Text-to-SQL Generation with Execution-Guided Decoding
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Google Brain（谷歌大脑）
我们考虑神经语义解析的问题，它将自然语言问题转换为可执行的SQL查询。我们引入了一个新的机制，执行指导，利用SQL的语义。它在解码过程中检测并排除故障程序，条件是执行部分生成的程序。该机制可以与任何自回归生成模型，我们证明了四个国家的最先进的经常性或基于模板的语义解析模型。我们证明了执行指南普遍提高了模型性能的各种文本到SQL数据集具有不同的规模和查询复杂性：WikiSQL，ATIS和GeoQuery。因此，我们在WikiSQL上实现了83.8%的最新执行准确率。
2018-09-13 cs.AI cs.CL cs.DB
IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Microsoft Business Application Group（微软商业应用集团）
我们提出了一个序列到动作解析方法的自然语言SQL任务，增量填充槽的SQL查询与可行的行动从预定义的库存。考虑到通常有多个正确的SQL查询具有相同或非常相似的语义的事实，我们从句法分析技术中汲取灵感，并提出用非确定性预言机训练我们的序列到动作模型。我们在WikiSQL数据集上评估了我们的模型，并在测试集上实现了83.7%的执行准确率，比传统静态预言机训练的模型有2.1%的绝对改进，假设一个正确的目标SQL查询。当进一步与执行引导解码策略相结合时，我们的模型以87.1%的执行准确率设置了新的最先进的性能。
2018-10-01 cs.AI cs.CL cs.DB
Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Bar-Ilan University（巴伊兰大学）
我们建议一个组成向量表示的解析树，依赖于递归神经网络编码器的递归组合。为了证明它的有效性，我们使用的表示作为一个贪婪的，自下而上的依赖分析器的骨干，实现国家的最先进的英语和中文的准确性，而不依赖于外部词嵌入。解析器的实现可以在第一作者的网页上下载。
2016-05-26 cs.CL
Neural Combinatory Constituency Parsing
Tokyo Metropolitan University（东京都立大学）
我们提出了两个快速的神经组合模型的选区分析：二进制和多分支。我们的模型将自下而上的解析过程分解为：1）标记、标签和二进制方向或块的分类; 2）基于计算出的方向或块的向量组合。这些模型具有理论上的次二次复杂性和经验上的线性复杂性。二元模型在Penn Treebank上的F1得分为92.54，速度为1327.2 sents/sec。这两个模型与XLNet提供接近国家的最先进的准确性为英语。在Penn树库、汉语树库和Keyaki树库（日语）的训练和推理过程中观察到了语言的句法分支倾向和中心化。
2021-06-12 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于双向LSTM（BiLSTM）的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联，该向量在其上下文中表示该标记，特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练，从而产生非常有效的解析特征提取器。我们证明了该方法的有效性，通过将其应用到一个贪婪的基于转换的解析器，以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构，并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
OptiSQL: Executable SQL Generation from Optical Tokens
University of California, Merced（加州大学默塞德分校）；vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司）；University of Queensland（昆士兰大学）；University of California, Los Angeles（加州大学洛杉矶分校）
OptiSQL通过紧凑的光学令牌从表格图像和自然语言问题生成可执行SQL，有效减少令牌开销并提升执行准确性。
2026-01-21 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Incremental Parsing with Minimal Features Using Bi-Directional LSTM
Oregon State University（俄勒冈州立大学）
最近，用于解析的神经网络方法已经在很大程度上自动化了个体特征的组合，但仍然依赖于从人类语言直觉创建的（通常是大量的）原子特征，并且潜在地省略了重要的全局上下文。为了进一步将特征工程减少到最低限度，我们使用双向LSTM句子表示来建模只有三个句子位置的解析器状态，它自动识别整个句子的重要方面。该模型在英语贪婪依赖解析器中取得了最先进的结果。我们还介绍了一种新的过渡系统，选区解析，不需要二进制化，并与上述架构，实现国家的最先进的结果之间的贪婪解析器为英语和中文。
2016-06-21 cs.CL
