A Higher-Order Semantic Dependency Parser
Southeast University（东南大学）；Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络和信息集成重点实验室（东南大学））
高阶特征在语义依存句法分析中带来了显著的准确性增益。然而，建模高阶特征与精确推理是NP难的。图神经网络（GNNs）已被证明是一种有效的工具，用于解决NP难问题的近似推理在许多图学习任务。受GNNs成功的启发，我们研究通过应用GNNs构建高阶语义依赖解析器。GNN不是从中间解析图中显式地提取高阶特征，而是通过堆叠多个GNN层来简洁地聚合高阶信息。实验结果表明，我们的模型在SemEval 2015 Task 18英语数据集上的性能优于以前最先进的解析器。
2022-01-27 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型，他们，我们调查使用多任务学习（MTL）架构。我们使用五个数据集（Geoquery，NLMaps，TOP，Overnight，AMR）进行实验。我们发现，跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性，同时将参数总数减少了68%。我们进一步提供的证据表明，MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较，并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
Lexicon-injected Semantic Parsing for Task-Oriented Dialog
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近，使用对话系统的分层表示的语义解析已经吸引了大量的关注。面向任务的语法分析（TOP）是一种以意图和槽作为嵌套树节点标签的树表示，已被提出用于分析用户话语。先前的TOP解析方法局限于处理看不见的动态槽值（例如，添加了新的歌曲和位置），这对于真实的对话系统来说是一个紧迫的问题。为了缓解这个问题，我们首先提出了一个新的跨度分裂表示跨度为基础的分析器，优于现有的方法。在此基础上，提出了一种新的词典注入语义分析器，该分析器将树表示的槽标签作为词典，并将词汇特征注入到分析器的跨度表示中。一个额外的插槽消歧技术涉及到从词典中删除不适当的跨度匹配的发生。我们最好的解析器在TOP数据集上产生了一个新的最先进的结果（87.62%），并证明了它对实际面向任务的对话中频繁更新的槽词典条目的适应性，而不需要重新训练。
2022-11-26 cs.AI cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Decoupling Structure and Lexicon for Zero-Shot Semantic Parsing
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在新领域中快速构建语义解析器是会话接口的基本挑战，因为当前的语义解析器需要昂贵的监督，并且缺乏推广到新领域的能力。在本文中，我们介绍了一种zero-shot方法来进行语义解析，该方法可以解析看不见的领域中的话语，同时只在其他源领域中的示例上进行训练。首先，我们将话语映射到一个抽象的、独立于域的逻辑形式，它表示逻辑形式的结构，但包含插槽而不是KB常量。然后，我们通过词汇对齐分数和全局推理将插槽替换为KB常量。我们的模型在Overnight数据集中的7个域上达到了53.4%的平均准确率，远远好于其他zero-shot基线，并且与在超过30%的目标域示例上训练的解析器一样好。
2018-09-22 cs.AI cs.CL
On The Ingredients of an Effective Zero-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；IBM Research（IBM研究院）
语义解析器将自然语言话语映射成意义表示（例如，程序）。由于需要费力的注释工作，这种模型通常会受到训练数据缺乏的影响。最近的研究已经通过合成来自语法的规范话语和程序的训练样本来执行零样本学习，并进一步释义这些话语以提高语言多样性。然而，这样的合成示例不能完全捕获真实数据中的模式。在本文中，我们通过语言和逻辑差距（Herzig和Berant，2019）的镜头分析了zero-shot解析器，这些镜头量化了规范示例和真实世界用户发布的示例之间的语言和编程模式的差异。我们建议使用改进的语法，更强的释义和有效的学习方法，使用最有可能反映真实用户意图的规范示例来弥合这些差距。我们的模型在两个语义解析基准测试（Scholar，Geo）上实现了强大的性能，零标记数据。
2021-10-15 cs.CL
TRANX: A Transition-based Neural Abstract Syntax Parser for Semantic Parsing and Code Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出TRANX，一个基于转换的神经语义解析器，映射到正式的意义表示（MR）的自然语言（NL）的话语。TRANX使用基于目标MR的抽象语法描述语言的转换系统，这给它带来了两个主要优点：（1）它是高度精确的，使用来自目标MR的语法的信息来约束输出空间并对信息流建模，以及（2）它是高度可概括的，并且可以很容易地应用于新类型的MR，只需编写与MR中允许的结构相对应的新的抽象语法描述。在四个不同的语义解析和代码生成任务上的实验表明，我们的系统是可推广的，可扩展的，有效的，与现有的神经语义解析器相比，注册强大的结果。
2018-10-05 cs.CL cs.PL
An Incremental Parser for Abstract Meaning Representation
University of Edinburgh（爱丁堡大学）；University of Padua（帕多瓦大学）
语义表示（AMR）是一种自然语言的语义表示，其嵌入与传统任务相关的注释，诸如命名实体识别、语义角色标注、词义消歧和共指消解。我们描述了一个基于转换的AMR解析器，它在线性时间内从左到右解析句子。我们进一步提出了一个测试套件，评估有助于比较AMR解析器的特定子任务，并表明我们的解析器在LDC2015E86数据集上与最先进的解析器竞争，并且在恢复命名实体和处理极性方面优于最先进的解析器。
2017-04-10 cs.CL
Reducing Model Jitter: Stable Re-training of Semantic Parsers in Production Environments
Google Assistant（谷歌助手）
重新训练现代深度学习系统可能会导致模型性能的变化，即使在使用相同的数据和超参数进行训练时，也只是使用不同的随机种子。我们称这种现象为模型抖动。这个问题在生产环境中往往会加剧，因为模型是在噪声数据上重新训练的。在这项工作中，我们解决了稳定的再培训问题，重点是会话语义分析器。我们首先通过引入模型一致性度量并显示数据集噪声和模型大小的变化来量化模型抖动问题。然后，我们证明了各种抖动减少技术，如集成和蒸馏的有效性。最后，我们讨论了这种技术之间的实际权衡，并表明，共蒸馏提供了一个甜蜜点的抖动减少语义解析系统，只有适度增加资源的使用。
2022-09-23 cs.CL
Fast semantic parsing with well-typedness guarantees
Saarland University（萨尔大学）；Department of Language Science and Technology（语言科学与技术系）
AM依赖解析是一种基于语言学原理的神经语义解析方法，具有跨多个图库的高精度。它依赖于一个类型系统，该类型系统对语义价进行建模，但会使现有的解析器变慢。我们描述了一个A * 解析器和一个基于转换的解析器AM依存句法分析，保证良好的类型和提高解析速度高达3个数量级，同时保持或提高准确性。
2020-10-06 cs.CL
Measuring Alignment Bias in Neural Seq2Seq Semantic Parsers
Technical University of Catalonia（加泰罗尼亚理工大学）
在深度学习之前，语义解析社区一直对理解和建模自然语言句子及其相应含义表示之间可能的单词对齐范围感兴趣。序列到序列模型改变了研究领域，这表明我们不再需要担心比对，因为它们可以通过注意力机制自动学习。最近，研究人员开始质疑这种假设。在这项工作中，我们调查seq2seq模型是否可以处理简单和复杂的比对。为了回答这个问题，我们增加了流行的地理语义解析数据集对齐注释和创建地理对齐。然后，我们研究了标准seq2seq模型在可以单调对齐的例子与需要更复杂对齐的例子上的性能。我们的实证研究表明，性能显着优于单调对齐。
2022-11-11 cs.AI cs.CL cs.LG
Learning Semantic Parsers from Denotations with Latent Structured Alignments and Abstract Programs
语义解析旨在将自然语言语句映射到机器可解释的含义表示上，也就是针对真实世界环境执行的程序产生表示。弱监督语义解析器在将程序视为潜在的话语-指称对上进行训练。该任务是具有挑战性的，由于大的搜索空间和spuriousness的程序，可以执行到正确的答案，但不推广到看不见的例子。我们的目标是在解析器中灌输一种归纳偏见，以帮助它区分伪程序和正确程序。我们利用这样的直觉，即正确的程序可能会尊重某些结构性约束，如果它们与问题相一致（例如，程序片段不太可能与重叠的文本跨度对齐），并建议将对齐建模为结构化的潜在变量。为了使潜在对齐框架易于处理，我们将解析任务分解为（1）预测部分“抽象程序”和（2）在用差分动态规划建模结构化对齐时对其进行精炼。我们在WIKITABLEQUESTIONS和WIKISQL数据集上获得了最先进的性能。当与标准注意力基线相比时，我们观察到所提出的结构化对齐机制是非常有益的。
2019-09-09 cs.CL
Is neural semantic parsing good at ellipsis resolution, or isn't it?
Center for Language and Cognition（语言认知中心）；University of Groningen（格罗宁根大学）
针对神经语义解析器在强上下文敏感的动词短语省略现象上的表现问题，本文构建含120个省略案例的挑战集，测试发现解析器表现不佳，数据增强可改善，且错误源于复杂语境而非语义复制难度。
2025-08-20 cs.CL
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题，但通常限于可微记忆，因此不能扩展到小的合成任务之外。在这项工作中，我们提出了管理员-程序员-计算机框架，它集成了神经网络与不可微的内存，以支持抽象的，可扩展的和精确的操作，通过一个友好的神经计算机接口。具体来说，我们介绍了一个神经符号机，其中包含一个序列到序列的神经“程序员”，和一个不可微的“计算机”，这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练，我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP，一个具有挑战性的语义解析数据集，与弱监督。与以前的方法相比，NSM是端到端的，因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了接地适应Zero-shot可执行语义解析（GAZP），以适应现有的语义解析器新的环境（例如，新的数据库模式）。GAZP将前向语义解析器与后向话语生成器相结合，在新的环境中合成数据（如话语和SQL查询），然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同，GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上，GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明，GAZP在训练环境中优于数据增强，性能随着GAZP合成数据量的增加而增加，并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
Weakly-supervised Neural Semantic Parsing with a Generative Ranker
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
弱监督语义解析器在话语-指称对上进行训练，将逻辑形式视为潜在的。由于搜索空间大和逻辑形式的虚假性，该任务具有挑战性。在本文中，我们介绍了一个神经分析器排名系统的弱监督语义解析。该分析器使用指称的线索从话语生成候选树结构逻辑形式。这些候选人，然后排名的基础上两个标准：他们的可能性执行正确的表示，和他们的协议与话语语义。我们提出了一个预定的培训程序，以平衡这两个目标的贡献。此外，我们建议使用一个神经编码的词典注入先验领域知识的模型。三个Freebase数据集上的实验证明了我们的语义解析器的有效性，达到了最先进的范围内的结果。
2018-08-23 cs.CL
Semantic Parsing in Limited Resource Conditions
Monash University（莫纳什大学）；School of Information Technology（信息技术学院）
本论文探讨了数据和计算资源受限条件下的语义解析挑战，提出了利用自动数据整理、知识迁移、主动学习和持续学习等技术的综合解决方案。
2023-09-14 cs.AI cs.CL
Iterative Utterance Segmentation for Neural Semantic Parsing
Microsoft Research Asia（微软亚洲研究院）
神经语义解析器通常无法解析长而复杂的话语到正确的意义表示，由于缺乏利用的原则组合。为了解决这个问题，我们提出了一个新的框架，通过迭代话语分割提高神经语义解析器。给定一个输入话语，我们的框架迭代两个神经模块之间：一个分段器用于从话语中分割一个跨度，和一个解析器用于将跨度映射到部分含义表示。然后，这些中间的分析结果被组合成最终的意义表示。一个关键的优点是，这个框架不需要任何手工模板或额外的标记数据的话语分割：我们实现这一点，通过提出一种新的训练方法，其中解析器提供伪监督的分割器。在Geo，ComplexWebQuestions和Formulas上的实验表明，我们的框架可以持续提高不同领域的神经语义解析器的性能。在需要组合泛化的数据分割上，我们的框架带来了显着的准确性提高：Geo 63.1到81.2，Formulas 59.7到72.7，ComplexWebQuestions 27.1到56.3。
2020-12-13 cs.CL
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Contextual Semantic Parsing using Crowdsourced Spatial Descriptions
Institute for Artificial Intelligence, University of Leeds（利兹大学人工智能研究所）
我们描述了一个上下文解析器的机器人命令树库，一个新的众包资源。与以前的语义分析器，选择最可能的解析，我们认为不同的问题，解析使用额外的情景上下文之间的歧义消除不同的阅读句子。我们表明，多个语义分析可以搜索使用动态规划通过与空间规划师的互动，指导解析过程。我们能够通过排除与空间上下文不兼容的早期分析来解析接近线性时间的句子。我们报告了34%的准确率上限，因为我们的规划器正确处理了10，000个句子中的3，394个空间上下文。然而，我们的解析器实现了96.53%的精确匹配分数内的句子识别的规划器的子集进行解析，相比之下，82.14%的非上下文解析器。
2014-05-01 cs.CL
Diagnosing Transformers in Task-Oriented Semantic Parsing
Facebook（脸书）
现代面向任务的语义解析方法通常使用seq 2seq Transformers将文本话语映射到由意图和槽组成的语义框架。虽然这些模型在经验上是强大的，但它们的具体优点和缺点在很大程度上仍未得到探索。在这项工作中，我们研究BART和XLM-R，两个国家的最先进的解析器，跨单语和多语言设置。我们的实验产生了几个关键结果：基于transformer的解析器不仅要消除意图/插槽的歧义，而且还要生成语法有效的框架。虽然预训练给Transformers注入了句法归纳偏差，但我们发现将话语跨度复制到帧中的歧义通常会导致树无效，这表明跨度提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示了基于transformer的解析器为框架是否可能正确或不正确提供了足够的指标，使它们更容易部署在生产环境中。
2021-05-27 cs.CL
Error Detection for Text-to-SQL Semantic Parsing
The Ohio State University（俄亥俄州立大学）
本文提出独立于解析器的 text-to-SQL 错误检测模型，结合代码语言模型与图神经网络学习问题和 SQL 结构，并在跨领域真实错误上训练，实验证明其优于解析器相关不确定性指标。
2023-12-06 cs.CL
Active Learning for Multilingual Semantic Parser
本文提出首个多语言语义解析主动学习框架AL-MSP，通过选择性翻译和多样化逻辑形式的选择方法及免标注超参数调优，显著降低翻译成本并提升解析性能。
2023-10-11 cs.CL
Overcoming Conflicting Data when Updating a Neural Semantic Parser
University of California, Berkeley（加州大学伯克利分校）；Google Assistant（谷歌助手）
在本文中，我们探讨了如何使用少量的新数据更新面向任务的语义解析模型时，所需的输出为一些例子已经改变。当以这种方式进行更新时，出现的一个潜在问题是原始训练集中存在冲突的数据或过时的标签。为了评估这个未充分研究的问题的影响，我们提出了一个实验装置，用于模拟神经语义解析器的变化。我们发现，存在冲突的数据极大地阻碍了学习的更新，然后探索几种方法来减轻其影响。与朴素的数据混合策略相比，我们的多任务和数据选择方法大大提高了模型的准确性，我们最好的方法缩小了该基线与Oracle上限之间86%的准确性差距。
2021-12-09 cs.CL cs.LG
Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing
IBM Research（IBM研究院）
本研究提出一种自底向上的懒惰式神经语义解析生成方法，从逻辑形式叶子节点逐步构建，仅扩展最有希望的候选解析，在CFQ和三个Text-to-SQL数据集上优于通用解析器并具竞争力。
2023-05-07 cs.AI cs.CL
RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers
University of Edinburgh（爱丁堡大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
当将自然语言问题转换为SQL查询以回答来自数据库的问题时，当代的语义解析模型难以推广到看不见的数据库模式。泛化的挑战在于（a）以语义解析器可访问的方式编码数据库关系，以及（b）在给定查询中对数据库列及其提及之间的对齐进行建模。我们提出了一个统一的框架，基于关系感知的自我注意力机制，以解决模式编码，模式链接，并在文本到SQL编码器的功能表示。在具有挑战性的Spider数据集上，该框架将精确匹配准确率提高到57.2%，比最好的同行提高了8.7%。通过进一步增强BERT，它在Spider排行榜上实现了65.6%的最新性能。此外，我们观察到模型对模式链接和对齐的理解有了质的改进。我们的实现将在https://github.com/Microsoft/rat-sql上开源。
2021-08-24 cs.AI cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University（萨尔大学）
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器，实现了，第一次，竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性，在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
Unified Semantic Parsing with Weak Supervision
IBM Research AI（IBM研究AI）
在多个知识库上的语义解析使得解析器能够利用跨多个域的程序的结构相似性。然而，根本的挑战在于获得高质量的注释（话语，程序）对跨各种域需要训练这样的模型。为了克服这一点，我们提出了一个新的框架来建立一个统一的多域启用语义解析器训练只有弱监督（表示）。弱监督训练特别困难，因为程序搜索空间在多域设置中呈指数级增长。为了解决这个问题，我们纳入了一个多政策蒸馏机制，我们首先训练领域特定的语义解析器（教师）使用弱监督的情况下，地面实况节目，其次是培训一个统一的解析器（学生）从这些教师获得的领域特定的政策。所得到的语义分析器不仅紧凑，而且更好地概括，并生成更准确的程序。它还不需要用户在查询时提供域标签。在标准的隔夜数据集（包含多个域）上，我们证明了该模型在表示精度方面比基线技术提高了20%。
2019-06-12 cs.CL cs.LG
Jointly Learning Semantic Parser and Natural Language Generator via Dual Information Maximization
University of Southern California（南加州大学）；The Hong Kong Polytechnic University（香港理工大学）；Northeastern University（东北大学）
语义解析的目的是将自然语言（NL）的话语转化为正式的意义表示（MR），而NL生成器实现了相反的：产生一个NL描述一些给定的MR。尽管这种内在的联系，这两个任务往往是单独研究在以前的工作。在本文中，我们通过一个联合学习框架对这两个任务的二元性进行建模，并证明了它对提高这两个任务的性能的有效性。具体地说，我们提出了一种新的方法的双重信息最大化（DIM），以规范的学习过程中，DIM经验最大化的变化下限的预期联合分布的NL和MR。我们进一步扩展DIM的半监督设置（SemiDIM），它利用未标记的数据的两个任务。在对话管理和代码生成（和摘要）的三个数据集上的实验表明，在监督和半监督设置中，DIM可以一致地提高语义解析和NL生成的性能。
2019-06-13 cs.CL
Controllable Semantic Parsing via Retrieval Augmentation
Google Research（谷歌研究院）
在语义解析的实际应用中，我们经常希望快速改变解析器的行为，例如使其能够处理新领域中的查询，或者改变其对某些目标查询的预测。虽然我们可以引入展示目标行为的新的训练样本，但是用于在不进行昂贵的模型重新训练的情况下制定这样的行为改变的机制将是优选的。为此，我们提出了可控语义解析器通过范例检索（CASPER）。给定一个输入查询，解析器从检索索引中检索相关的范例，将它们添加到查询中，然后应用生成seq2seq模型来产生输出解析。范例作为一种控制机制，在一般的生成模型：通过操纵检索索引或如何构建增强查询，我们可以操纵的行为分析器。在MTOP数据集上，除了在标准设置上达到最先进的水平外，我们还展示了CASPER可以解析新领域中的查询，将预测适应指定的模式，或者适应新的语义模式，而无需进一步重新训练模型。
2022-02-23 cs.CL
Type-Driven Incremental Semantic Parsing with Polymorphism
City University of New York（纽约市立大学）
语义解析已经取得了很大的进展，但目前大多数语义解析器都非常慢（基于CKY），而且在表示上相当原始。我们介绍了三种新技术来解决这些问题。首先，我们设计了第一个线性时间增量移位-归约式语义解析算法，它比传统的线性时间自底向上语义解析器更有效。其次，我们的解析器，是类型驱动的，而不是语法驱动的，使用类型检查来决定减少的方向，这消除了对语法语法，如CCG的需要。第三，为了充分利用类型驱动语义解析的强大功能，超越简单类型（如实体和真值），我们借用程序设计语言理论中的子类型多态性和参数多态性的概念来丰富类型系统，以便更好地指导解析。我们的系统在GeoQuery，Jobs和Atis域中学习非常准确的解析。
2014-12-16 cs.CL
Interactive Semantic Parsing for If-Then Recipes via Hierarchical Reinforcement Learning
The Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）；Microsoft Research AI（微软人工智能研究院）；U.S. Army Research Lab（美国陆军研究实验室）
给定一个文本描述，大多数现有的语义解析器一次合成一个程序。然而，仅仅基于描述来产生正确的程序是相当具有挑战性的，而实际上描述往往是模糊或不完整的。在本文中，我们研究了交互式语义解析，其中代理可以问用户澄清问题，以解决歧义，通过多轮对话，对一个重要类型的程序称为“如果然后食谱。“我们开发了一个基于分层强化学习（HRL）的代理，它可以显着提高解析性能，同时向用户提出最少的问题。模拟和人类评估的结果表明，我们的代理大大优于非交互式语义解析器和基于规则的代理。
2018-11-14 cs.AI cs.CL
Question Generation from SQL Queries Improves Neural Semantic Parsing
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
我们研究如何学习一个语义解析器的国家的最先进的准确性与较少的监督训练数据。我们进行我们的研究WikiSQL，迄今为止最大的手工注释的语义解析数据集。首先，我们证明了问题生成是一种有效的方法，使我们能够学习一个国家的最先进的神经网络基于语义解析器与百分之三十的监督训练数据。其次，我们表明，将问题生成应用于全监督训练数据进一步改进了最先进的模型。此外，我们观察到语义解析器的准确性和训练数据的数量之间存在对数关系。
2018-08-27 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University（乔治城大学）；University of Amsterdam（阿姆斯特丹大学）；Saarland University（萨尔大学）；University of Groningen（格罗宁根大学）
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题，提出基于新型量词辖域预测机制的组合式神经符号AMS解析器，可稳定输出合规结果，复杂句子解析表现更优。
2024-10-09 cs.CL
SmBoP: Semi-autoregressive Bottom-up Semantic Parsing
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
近年来，用于语义解析的事实标准解码方法是使用自顶向下的深度优先遍历对目标程序的抽象语法树进行自回归解码。在这项工作中，我们提出了一种替代方法：半自回归自自底向上的【形】解析器（SmBoP），在解码步骤$t$构建高度$\leq t$的顶部$K$子树。我们的解析器享有自顶向下自回归解析相比，几个好处。从效率的角度来看，自自底向上的【形】解析允许并行解码特定高度的所有子树，导致对数运行时复杂度而不是线性的。从建模的角度来看，自自底向上的【形】的解析器在每一步都学习有意义的语义子程序的表示，而不是语义空洞的部分树。我们将SmBoP应用于Spider，一个具有挑战性的zero-shot语义解析基准测试，并表明SmBoP导致解码时间的2.2倍加速和训练时间的$\sim$ 5倍加速，与使用自回归解码的语义解析器相比。SmBoP在Spider上获得了71.1的表示准确度，建立了一个新的最先进的技术，以及69.5的精确匹配，与自回归RAT-SQL+GraPPa的69.6精确匹配相当。
2021-04-11 cs.CL
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs（亚马逊AWS人工智能实验室）
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时，解析器没有可用的NLQ的显式语义信息，这导致不理想的泛化性能。此外，没有词汇级细粒度的查询理解，查询和数据库之间的链接只能依赖于模糊字符串匹配，这导致在实际应用中的次优性能。鉴于此，本文提出了一个通用的，模块化的神经语义解析框架，是基于令牌级细粒度查询理解。我们的框架包括三个模块：命名实体识别器（NER），神经实体链接器（NEL）和神经语义解析器（NSP）。NER模型通过对查询和数据库进行联合建模，分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果，并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明，该模型在WikiTableQuestions（WTQ）测试集上的执行准确率为56.8%，比现有模型高出2.7%.
2022-09-28 cs.CL
LAGr: Labeling Aligned Graphs for Improving Systematic Generalization in Semantic Parsing
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；ServiceNow Research（ServiceNow研究院）
语义解析是为自然语言话语或问题产生结构化意义表示的任务。最近的研究指出，常用的序列到序列（seq2seq）语义解析器难以系统地概括，即处理需要在新环境中重新组合已知知识的示例。在这项工作中，我们表明，更好的系统化的推广，可以通过生产的意义表示（MR）直接作为一个图，而不是作为一个序列。为此，我们提出了LAGr，标签对齐图算法，通过预测一个完整的多层输入对齐图的节点和边标签，产生语义分析。强监督的LAGr算法需要对齐的图作为输入，而弱监督的LAGr使用近似MAP推理过程来推断最初未对齐的目标图的对齐。在COGS和CFQ组合泛化基准测试中，强监督和弱监督LAGr算法在基线seq2seq解析器上实现了显着改进。
2022-06-01 cs.AI cs.CL
Notes About a More Aware Dependency Parser
在本文中，我解释了促使我研究和构思一种新的依存句法分析技术的原因，这种技术将基于数据驱动的转换方法和基于约束的方法的优点结合在一起。特别是我强调的问题，推断的可靠性的数据驱动的基于转换的解析器的结果，这是非常重要的高层次的过程，期望使用正确的解析结果。然后，我简要介绍了一些关于我正在研究的新解析器模型的注意事项，该模型能够以一种“更有意识”的方式进行分析，具有更“健壮”的健壮性概念。
2015-07-20 cs.CL
Neural Semantic Parsing with Anonymization for Command Understanding in General-Purpose Service Robots
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
服务机器人被设想为应用户的要求承担各种任务。语义解析是将给予这些机器人的自然语言命令转换为可执行表示的一种方式。然而，创建语义解析器的方法要么依赖于大量的数据，要么依赖于工程化的词汇特征和解析规则，这限制了它们在机器人技术中的应用。为了解决这一挑战，我们提出了一种方法，利用神经语义解析方法与上下文词嵌入相结合，使训练的语义解析器很少的数据，没有特定领域的解析器工程。我们的方法的关键是使用匿名的目标表示，这是更容易学习的解析器。在大多数情况下，这种简化的表示可以简单地转换为可执行格式，而在其他情况下，解析可以通过与用户的进一步交互来完成。我们在RoboCup@Home通用服务机器人任务的背景下评估这种方法，在那里我们收集了标准化命令生成器命令的释义版本的语料库。我们的研究结果表明，神经语义解析器可以预测看不见的命令的逻辑形式，准确率为89%。我们发布我们的数据和模型的细节，以鼓励RoboCup和服务机器人社区的进一步发展。
2019-07-02 cs.CL cs.RO
Learning Structured Natural Language Representations for Semantic Parsing
University of Edinburgh（爱丁堡大学）；IBM T.J. Watson Research（IBM T.J. Watson研究院）
我们介绍了一个神经语义解析器，转换自然语言的话语中间表示形式的谓词参数结构，这是诱导与过渡系统，随后映射到目标域。语义解析器使用带注释的逻辑形式或它们的表示进行端到端的训练。我们在各种数据集上获得了有竞争力的结果。归纳的谓词-论元结构揭示了用于语义解析的表征类型，以及这些表征与语言动机表征的不同之处。
2017-06-14 cs.CL
Model-based Interactive Semantic Parsing: A Unified Framework and A Text-to-SQL Case Study
The Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
作为一个有前途的范例，交互式语义解析已被证明可以提高语义解析的准确性和用户对结果的信心。在本文中，我们提出了一个新的，统一制定的交互式语义解析问题，其目标是设计一个基于模型的智能代理。智能体将自己的状态保持为当前预测的语义解析，决定是否需要人工干预以及在何处需要人工干预，并以自然语言生成澄清问题。智能体的一个关键部分是一个世界模型：它接受一个请求（一个初始问题或来自用户的后续反馈）并转换到一个新的状态。然后，我们提出了一个简单但非常有效的实例化我们的框架，证明了两个文本到SQL数据集（WikiSQL和蜘蛛）与不同的国家的最先进的基本语义解析器。与现有的交互式语义解析方法相比，该方法将基本解析器视为黑盒，我们的方法要求更少的用户反馈，但产生更高的运行时准确性。
2019-10-11 cs.AI cs.CL
Zero-Shot Semantic Parsing for Instructions
Technion, IIT（以色列理工学院）
我们考虑一个zero-shot语义解析任务：将指令解析成组合逻辑形式，在训练期间没有看到的域中。我们提出了一个新的数据集，其中包含来自7个应用程序域（例如日历或文件管理器）的1，390个示例，每个示例由一个三元组组成：（a）应用程序的初始状态，（b）在该状态的上下文中执行的指令，以及（c）执行指令后的应用程序状态。我们介绍了一种新的训练算法，旨在训练语义解析器的例子从一组源域，使它能够有效地解析指令从一个未知的目标域。我们将我们的算法集成到Pasupat和Liang（2015）的浮点解析器中，并进一步用特征和逻辑形式候选过滤逻辑来增强解析器，以支持zero-shot自适应。我们的实验与各种zero-shot适应设置证明了大量的性能增益超过非适应的解析器。
2019-11-20 cs.CL cs.LG
LAGr: Label Aligned Graphs for Better Systematic Generalization in Semantic Parsing
语义解析是为自然语言句子产生结构化意义表示的任务。最近的研究指出，常用的序列到序列（seq2seq）语义解析器很难系统地概括，即处理需要在新环境中重新组合已知知识的示例。在这项工作中，我们表明，更好的系统化的推广，可以通过生产的意义表示直接作为一个图，而不是作为一个序列。为此，我们提出LAGr（标签对齐图），一个通用的框架，通过独立预测节点和边缘标签的一个完整的多层输入对齐图产生语义解析。强监督LAGr算法需要对齐的图作为输入，而弱监督LAGr使用近似最大后验推理来推断最初未对齐的目标图的对齐。实验表明，LAGr在强监督和弱监督设置下，在基线seq2seq解析器上实现了系统泛化的显着改进。
2022-06-01 cs.AI cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi（印度理工学院德里分校）
与之前在语义解析（Kamath和Das，2018）和知识库问答（KBQA）（Chakraborty等人，2019; Zhu等人，2019; Hoffner等人，2017）我们试图从不同的角度来研究语义解析。具体来说，我们将集中在（a）从句法结构（Partee，1975年）的意义组合，（b）语义分析器处理给定的知识库（KB）上下文的词汇变化的能力。在接下来的部分中，在介绍了语义解析领域及其在KBQA中的应用之后，我们将描述使用语法形式主义CCG（Steedman，1996）的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中，我们将考虑使用形式语言的系统，例如$λ$ -演算（Steedman，1996），$λ$ -DCS（Liang，2013）。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions（Bao et al.，2016）和GraphQuestions（Su et al.，2016），可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
Weakly Supervised Semantic Parsing with Execution-based Spurious Program Filtering
Seoul National University（首尔大学）；Samsung Electronics Mobile eXperience（三星电子移动体验）
针对弱监督语义解析中的虚假程序问题，提出基于多输入执行结果表示与多数投票的领域无关过滤机制，可正交增强现有框架并显著提升性能。
2023-11-02 cs.AI cs.CL
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
Facebook（脸书）
构建seq 2seq、非自回归、面向任务的解析器以将话语映射到语义框架的有效方法分三个步骤进行：编码话语$x$、预测帧的长度|y|、以及用话语和本体令牌解码|y|大小的帧。虽然这些模型在经验上很强，但通常会受到长度预测的检验，因为即使是很小的不准确也会改变结果帧的句法和语义特征。在我们的工作中，我们提出了跨度指针网络，将解码任务从文本生成转移到跨度预测的非自回归解析器;也就是说，当将话语跨度输入到帧时隙时，我们的模型产生端点（例如，[i，j]）而不是文本（例如，“6pm”）。输出空间的这种自然量化减少了黄金帧的可变性，从而改善了长度预测，并最终实现了精确匹配。此外，长度预测现在负责帧语法，解码器负责帧语义，从而产生由粗到精的模型。我们评估我们的方法在几个面向任务的语义解析数据集。值得注意的是，我们弥合了非自回归和自回归解析器之间的质量差距，在TOPv 2上实现了87个EM（Chen et al. 2020）。此外，由于我们更一致的黄金框架，我们在低资源环境下的跨域和跨语言迁移中显示出模型泛化的显著改善。最后，由于我们减少了输出词汇，我们观察到与之前的非自回归解析器相比，在波束大小为5时，延迟减少了70%，内存减少了83%。
2021-09-14 cs.CL
Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
我们提出了一个新的，高效的框架语义分析器，标签语义参数的框架谓词。使用强调召回的分段RNN的扩展构建，我们的基本系统实现了有竞争力的性能，而无需调用任何语法解析器。然后，我们介绍了一种方法，只在训练过程中使用来自Penn Treebank的短语句法注释，通过多任务目标;在训练或测试时不需要解析。这种“语法脚手架”提供了一种比传统的语法流水线更便宜的替代方案，并实现了最先进的性能。
2017-06-29 cs.CL
Meta-Learning for Domain Generalization in Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
构建可应用于新领域并生成在训练中看不到的程序的语义解析器的重要性早已得到认可，并且测试域外性能的数据集变得越来越可用。然而，很少或根本没有注意到促进领域泛化的学习算法或目标，几乎所有现有的方法都依赖于标准的监督学习。在这项工作中，我们使用一个元学习框架的目标zero-shot领域泛化的语义解析。我们应用模型不可知的训练算法，模拟zero-shot解析构建虚拟训练和测试集不相交的领域。学习目标利用了这样一种直觉，即提高源域性能的梯度步骤也应该提高目标域性能，从而鼓励解析器推广到看不见的目标域。在英文Spider和中文Spider数据集上的实验结果表明，元学习目标显著提高了基线解析器的性能。
2021-04-12 cs.CL
Open-Vocabulary Semantic Parsing with both Distributional Statistics and Formal Knowledge
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
传统的语义解析器将语言映射到固定模式中的组合可执行查询。这种映射使他们能够有效地利用大型正式知识库（KB）中包含的信息，Freebase）来回答问题，但它也有根本性的限制--这些语义解析器只能为属于KB手动生成的模式的语言分配含义。最近提出的开放式词汇表语义解析方法通过学习任意语言的执行模型来克服这一限制，基本上使用文本语料库作为一种知识库。然而，所有先前的开放词汇表语义解析方法都用文本信息替换了正式的KB，在它们的模型中没有使用KB。我们展示了如何结合这两种方法所使用的不同的表示，首次提出了一个语义解析器，（1）产生成分，可执行的语言表示，（2）可以成功地利用包含在一个正式的知识库和大型语料库的信息，（3）不限于底层知识库的模式。我们展示了显着提高性能的最先进的基线上的一个开放域的自然语言问答任务。
2016-11-28 cs.CL
Semantic Role Labeling for Learner Chinese: the Importance of Syntactic Parsing and L2-L1 Parallel Data
Peking University（北京大学）
本文以语义角色标注（SRL）为个案任务，以学习者汉语为个案语言，研究中介语语义语义解析。我们首先手动注释一组学习者文本的语义角色，以获得自动SRL的黄金标准。根据新的数据，我们然后评估三个现成的SRL系统，即，基于PCFGLA语法分析器的系统、基于神经语法分析器的系统和基于神经语法不可知的系统，来衡量汉语学习者自主学习的成功程度。我们发现两个不明显的事实：1）L1-句法分析训练的系统在L2数据上的表现相当糟糕; 2）两个基于句法分析的系统从L1数据到L2数据的性能下降要小得多，这表明句法分析在中介语SRL中的重要性。最后，本文提出了一种新的基于一致性的模型来挖掘大规模L2-L1并行数据中的语义一致性信息。然后，我们表明这些信息是非常有效的，以提高学习者的文本SRL。我们的模型实现了72.06的F分数，比最佳基线提高了2.02分。
2018-08-29 cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语，大多数语义解析系统将该问题作为一次性翻译，其中话语被映射到对应的逻辑形式。在本文中，我们研究了一个更具交互性的场景，人类可以进一步与系统进行交互，提供自由形式的自然语言反馈，以纠正系统时，它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造，SPLASH，一个数据集的话语，不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务，并表明，将这样一个丰富的反馈形式，可以显着提高整体语义解析的准确性，同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%，但我们的最佳模型仅达到25.1%，这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
Exploring Neural Methods for Parsing Discourse Representation Structures
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
神经方法最近在语义解析方面取得了一些成功，尽管它们还没有面对基于形式语义产生意义表示的挑战。我们提出了一个序列到序列的神经语义解析器，能够产生高精度的英语句子的话语表示结构（DRS），优于传统的DRS解析器。为了便于学习的输出，我们表示DRS作为一个序列的扁平条款，并介绍了一种方法来验证所产生的DRS是格式良好，可解释的。我们比较了使用字符和单词作为输入的模型，发现（有点令人惊讶）前者比后者表现得更好。我们表明，消除变量名从输出使用德Bruijn指数提高解析器的性能。添加银级训练数据可进一步提高性能。
2018-10-30 cs.CL
