Semantic Parsing in Task-Oriented Dialog with Recursive Insertion-based Encoder
AWS AI Labs（AWS人工智能实验室）
本文介绍了一种基于递归插入的编码器（RINE），它是一种在面向任务的对话中进行语义解析的新方法。我们的模型包括一个编码器网络，通过预测非终端标签及其在线性化树中的位置，逐步建立语义解析树。在生成时，该模型通过在预测位置递归插入预测的非终结标签直到终止来构造语义解析树。RINE在会话语义解析基准TOP的低资源和高资源版本上实现了最先进的精确匹配精度（Gupta等人，2018年; Chen等人，2020年），优于强大的序列到序列模型和基于转换的解析器。我们还表明，我们的模型设计是适用于嵌套的命名实体识别任务，在那里它的表现等同于国家的最先进的方法设计的任务。最后，我们证明了我们的方法在推理时间比序列到序列模型快2-3.5倍。
2022-03-20 cs.CL
Diagnosing Transformers in Task-Oriented Semantic Parsing
Facebook（脸书）
现代面向任务的语义解析方法通常使用seq 2seq Transformers将文本话语映射到由意图和槽组成的语义框架。虽然这些模型在经验上是强大的，但它们的具体优点和缺点在很大程度上仍未得到探索。在这项工作中，我们研究BART和XLM-R，两个国家的最先进的解析器，跨单语和多语言设置。我们的实验产生了几个关键结果：基于transformer的解析器不仅要消除意图/插槽的歧义，而且还要生成语法有效的框架。虽然预训练给Transformers注入了句法归纳偏差，但我们发现将话语跨度复制到帧中的歧义通常会导致树无效，这表明跨度提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示了基于transformer的解析器为框架是否可能正确或不正确提供了足够的指标，使它们更容易部署在生产环境中。
2021-05-27 cs.CL
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo（维戈大学）
本文提出基于Stack-Transformers的移进-归约任务型语义解析器，融合自底向上和按序转移系统，在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义，设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法，以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库，以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing
Meta
近年来，面向任务的语义解析模型取得了很好的效果，但不幸的是，它在模型大小、运行时延迟和跨域泛化能力之间没有取得令人满意的平衡。我们解决这个问题，通过引入基于XML的语义解析：原始任务的一个变体，首先需要消除歧义的话语的“场景”（一个意图槽模板可变叶跨度），然后生成其框架，完成本体和话语令牌。这个公式使我们能够隔离任务的粗粒度和细粒度方面，每个方面我们都用现成的神经模块来解决，同时也优化了上面列出的轴。具体来说，我们创建了一个检索和填充（RAF）架构，包括（1）检索模块，它排名最好的情况下的话语和（2）填充模块，它将跨度到场景中创建帧。我们的模型是模块化的，可区分的，可解释的，并允许我们从场景中获得额外的监督。RAF在高资源、低资源和多语言环境中取得了很好的效果，尽管使用了基本的预训练编码器、小序列长度和并行解码，但其性能远远优于最近的方法。
2022-02-02 cs.CL
PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs
Google Inc（谷歌公司）；University of Rochester（罗切斯特大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Columbia University（哥伦比亚大学）
随着Google Assistant、Alexa和Siri等系统在日常生活中变得无处不在，人们对面向任务的对话框的研究兴趣也在增加。然而，学术研究在这一领域的影响受到了缺乏数据集的限制，这些数据集实际上捕捉了广泛的用户痛点。为了能够研究解析现实对话的一些更具挑战性的方面，我们引入了PRESTO，这是一个人类和虚拟助手之间超过55万个上下文多语言对话的公共数据集。PRESTO包含了在现实世界的NLU任务中发生的各种挑战，如不流利，代码转换和修订。它是唯一一个大规模的人类生成的会话解析数据集，它提供了结构化的上下文，例如用户的联系人和每个示例的列表。我们基于mT5模型的基线表明，PRESTO中存在的对话现象对建模具有挑战性，这在低资源设置中进一步突出。
2023-03-17 cs.CL
Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations
Amazon（亚马逊）；Amazon Alexa（亚马逊Alexa）；Berlin, Germany（德国柏林）；Cambridge, MA, USA（美国马萨诸塞州剑桥）
现代对话式AI系统支持自然语言理解，具有多种功能。虽然这些任务中的大多数可以使用意图和槽的简单和平面表示来完成，但更复杂的功能需要由语义解析支持的复杂分层表示。最先进的语义解析器是使用监督学习来训练的，其中数据根据分层模式进行标记，这可能是昂贵的，或者对于新的领域来说是不容易获得的。在这项工作中，我们探索了使用预训练的去噪序列到序列模型（即，BART）。具体来说，我们首先提取掩蔽模板从现有的标记的话语，然后微调BART生成合成话语上提取的模板调节。最后，我们使用一个辅助语法分析器（AP）过滤生成的话语。AP保证生成数据的质量。我们展示了我们的方法在Facebook TOP数据集上评估导航域时的潜力。
2020-11-03 cs.CL
PIZZA: A new benchmark for complex end-to-end task-oriented parsing
Alexa AI（亚马逊Alexa人工智能部门）
面向任务的解析中最近的许多工作都集中在寻找平面槽和意图之间的中间地带，平面槽和意图缺乏表达性但易于注释，而强大的表示，如λ演算，具有表达性但注释成本高。本文继续探索面向任务的解析，引入一个新的数据集解析比萨饼和饮料订单，其语义不能被平面插槽和意图。我们对该数据集上面向任务解析的深度学习技术进行了广泛的评估，包括不同风格的seq2seq系统和RNNG。该数据集有两个主要版本，一个是最近引入的话语级层次符号，我们称之为TOP，另一个是可执行表示（EXR）。我们的经验表明，训练解析器直接生成EXR符号不仅一举解决了实体解析的问题，克服了TOP符号的一些表达限制，而且还导致显着更高的解析精度。
2022-12-01 cs.CL cs.LG
Graph-Based Decoding for Task Oriented Semantic Parsing
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
近年来，语义解析的主要范式是将解析公式化为序列到序列的任务，使用自回归序列解码器生成预测。在这项工作中，我们探索了一种替代范式。我们制定语义解析作为一个依存句法分析的任务，应用基于图的解码技术开发的句法分析。我们在TOP数据集上比较了给定相同预训练Transformer编码器的各种解码技术，包括训练数据受限或仅包含部分注释示例的设置。我们发现，我们的基于图的方法是有竞争力的序列解码器的标准设置，并提供了显着的改善数据效率和设置部分注释的数据。
2021-09-09 cs.AI cs.CL
Message-Passing Protocols for Real-World Parsing -- An Object-Oriented Model and its Preliminary Evaluation
我们主张自然语言语法及其相关解析器的基于性能的设计，以满足现实世界的NLP所施加的限制。我们的方法结合了声明性和程序性的语言和语言使用的知识在一个面向对象的规范框架。我们讨论了几个消息传递协议的解析，并提供了牺牲完整性的解析有利于效率的基础上初步的经验评估的原因。
1997-09-23 cmp-lg cs.CL
Improving Semantic Parsing for Task Oriented Dialog
Facebook Conversational AI（Facebook对话式AI）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究）
最近提出了使用分层表示的语义解析，用于面向任务的对话，结果很有希望[Gupta et al 2018]。在本文中，我们提出了三种不同的改进模型：上下文嵌入，集成，和成对重新排名的基础上的语言模型。我们分类的错误可能的分层表示，如错误的顶部意图，缺失的跨度或分裂跨度，并表明这三种方法纠正不同类型的错误。最好的模型结合了这三种技术，精确匹配精度比最先进的模型高出6.4%，错误减少了33%，从而在面向任务的解析（TOP）数据集上产生了新的最先进的结果。
2019-02-15 cs.AI cs.CL
Cross-TOP: Zero-Shot Cross-Schema Task-Oriented Parsing
Amazon Alexa AI（亚马逊Alexa人工智能部门）；The Ohio State University（俄亥俄州立大学）
深度学习方法已经能够对日益复杂的话语进行面向任务的语义解析。然而，单个模型通常仍然被单独地训练和部署用于每个任务，需要用于每个任务的标记的训练数据，这使得支持新任务具有挑战性，即使在单个业务垂直（例如，食品订购或旅行预订）。在本文中，我们描述了跨TOP（跨模式面向任务的解析），一个zero-shot方法复杂的语义解析在一个给定的垂直。通过利用来自相同垂直的用户请求共享词汇和语义相似性的事实，训练单个跨模式解析器来服务垂直内的任意数量的任务，无论是可见的还是不可见的。我们表明，交叉TOP可以实现高精度的一个以前看不见的任务，而不需要任何额外的训练数据，从而提供了一个可扩展的方式来引导语义解析器的新任务。作为这项工作的一部分，我们发布了FoodOrdering数据集，这是一个面向任务的解析数据集，在食物订购垂直领域，话语和注释来自五个模式，每个模式来自不同的餐厅菜单。
2022-06-10 cs.CL cs.LG
Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling
Facebook（脸书）
面向任务的语义解析模型通常具有高的资源需求：为了支持新的本体（即，意图和插槽），从业者众包成千上万的样本进行监督微调。部分原因是由于事实上的复制生成解析器的结构;这些模型将本体标签视为离散实体，依赖于并行数据来导出其含义。在我们的工作中，我们利用了我们对本体标签的内在了解;例如，SL：TIME_ZONE具有分类类型“slot”和基于语言的跨度“time zone”。利用这种动机，我们通过离线和在线阶段来构建我们的方法。在预处理过程中，对于每个本体标签，我们将其内在属性提取到组件中，并将每个组件插入到库存中作为排序缓存。在训练过程中，我们微调了一个seq 2seq，预先训练好的Transformer将话语和库存映射到帧，解析由话语和本体令牌组成的树。我们的公式鼓励模型将本体标签视为其内在属性的联合，因此在低资源设置中基本上自举学习。实验表明，我们的模型是高度样本效率：使用来自TOPv 2的低资源基准，我们的库存解析器优于复制生成解析器+15 EM绝对（44%相对）时，微调10个样本从一个看不见的域。
2021-04-15 cs.CL
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
Facebook（脸书）
与传统的基于单词标记的模型相比，使用序列到序列模型的语义解析允许解析更深的表示。尽管有这些优势，但这些模型在实时会话用例中的广泛采用受到更高计算要求和更高延迟的阻碍。在这项工作中，我们提出了一个非自回归的方法来预测语义解析树与一个有效的seq2seq模型架构。通过将非自回归预测与卷积神经网络相结合，与传统的RNN模型相比，我们实现了显着的延迟增益和参数大小减小。我们的新架构在TOP数据集上实现了高达81%的延迟减少，并在三个不同的语义解析数据集上保持了与非预训练模型的竞争性能。我们的代码可在https://github.com/facebookresearch/pytext上获得
2021-04-11 cs.CL cs.LG
Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
Facebook（脸书）
构建seq 2seq、非自回归、面向任务的解析器以将话语映射到语义框架的有效方法分三个步骤进行：编码话语$x$、预测帧的长度|y|、以及用话语和本体令牌解码|y|大小的帧。虽然这些模型在经验上很强，但通常会受到长度预测的检验，因为即使是很小的不准确也会改变结果帧的句法和语义特征。在我们的工作中，我们提出了跨度指针网络，将解码任务从文本生成转移到跨度预测的非自回归解析器;也就是说，当将话语跨度输入到帧时隙时，我们的模型产生端点（例如，[i，j]）而不是文本（例如，“6pm”）。输出空间的这种自然量化减少了黄金帧的可变性，从而改善了长度预测，并最终实现了精确匹配。此外，长度预测现在负责帧语法，解码器负责帧语义，从而产生由粗到精的模型。我们评估我们的方法在几个面向任务的语义解析数据集。值得注意的是，我们弥合了非自回归和自回归解析器之间的质量差距，在TOPv 2上实现了87个EM（Chen et al. 2020）。此外，由于我们更一致的黄金框架，我们在低资源环境下的跨域和跨语言迁移中显示出模型泛化的显著改善。最后，由于我们减少了输出词汇，我们观察到与之前的非自回归解析器相比，在波束大小为5时，延迟减少了70%，内存减少了83%。
2021-09-14 cs.CL
An Imitation Learning Approach to Unsupervised Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；University of Waterloo（滑铁卢大学）
最近，人们对无监督解析器越来越感兴趣，这些解析器通常使用强化学习来优化面向语义的目标。不幸的是，学习的树通常与实际的语法树不匹配。Shen et al.（2018）提出了一种用于语言建模的结构化注意力机制（PRPN），它可以诱导更好的语法结构，但依赖于特定的语法。此外，他们的模型缺乏可解释性，因为它不是基于解析操作。在我们的工作中，我们提出了一种用于无监督解析的模仿学习方法，其中我们将PRPN诱导的句法知识转移到具有离散解析动作的Tree-LSTM模型。然后通过Gumbel-Softmax训练将其策略细化为面向语义的目标。我们在全自然语言推理数据集上评估了我们的方法，并表明它在解析$F$分数方面达到了新的技术水平，优于我们的基础模型，包括PRPN。
2019-06-05 cs.CL
Lexicon-injected Semantic Parsing for Task-Oriented Dialog
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近，使用对话系统的分层表示的语义解析已经吸引了大量的关注。面向任务的语法分析（TOP）是一种以意图和槽作为嵌套树节点标签的树表示，已被提出用于分析用户话语。先前的TOP解析方法局限于处理看不见的动态槽值（例如，添加了新的歌曲和位置），这对于真实的对话系统来说是一个紧迫的问题。为了缓解这个问题，我们首先提出了一个新的跨度分裂表示跨度为基础的分析器，优于现有的方法。在此基础上，提出了一种新的词典注入语义分析器，该分析器将树表示的槽标签作为词典，并将词汇特征注入到分析器的跨度表示中。一个额外的插槽消歧技术涉及到从词典中删除不适当的跨度匹配的发生。我们最好的解析器在TOP数据集上产生了一个新的最先进的结果（87.62%），并证明了它对实际面向任务的对话中频繁更新的槽词典条目的适应性，而不需要重新训练。
2022-11-26 cs.AI cs.CL
kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Huazhong University of Science and Technology（华中科技大学）；Columbia University（哥伦比亚大学）；The Hong Kong Polytechnic University（香港理工大学）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
针对大语言模型应用于语义解析的提示设计、长度限制等问题，提出k近邻上下文学习方法kNN-ICL，可兼容任意提示策略并调用全部示例，在TOP任务上性能媲美强监督模型，且无需额外数据即可提升复杂请求理解能力。
2023-12-17 cs.CL
Two Questions about Data-Oriented Parsing
在本文中，我目前正在进行的工作，面向数据的解析（DOP）模型。在以前的工作中，DOP进行了测试，从宾夕法尼亚州树库的一组清理的分析部分的语音字符串，取得了良好的测试结果。然而，这留下了两个重要的问题没有回答：（1）如果在未经编辑的数据上测试，DOP如何执行，以及（2）DOP如何用于解析包含未知单词的单词串？本文探讨了这些问题。我们表明，未编辑的数据上的解析结果比清理后的数据更差，虽然与其他模型相比非常有竞争力。至于单词串的解析，我们表明，这个问题的难度并不取决于未知的单词，但在以前看不见的词汇类别的已知单词。我们给出了一种新的方法来分析这些话，通过估计未知子树的概率。该方法是普遍感兴趣的，因为它表明，可以获得良好的性能，而不使用一部分的语音标记。据我们所知，我们的方法优于其他统计分析器测试Penn Treebank字串。
1996-06-17 cmp-lg cs.CL
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook（脸书）
由于缺乏可用的数据集，将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点：a）它们包含很少的语言b）它们包含少量的每种语言的标记示例c）它们基于非组合查询的简单意图和槽检测范式。在本文中，我们提出了一个新的多语言数据集，称为MTOP，包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集，对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集，我们在Slot F1上实现了+6.3点的平均改进，超过了他们实验中报告的最佳结果。此外，我们展示了强大的zero-shot性能，使用预训练模型结合自动翻译和对齐，并提出了远程监督方法，以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）；Amazon Alexa Search（亚马逊 Alexa 搜索）；Amazon Alexa（亚马逊 Alexa）
诸如Amazon Alexa、Apple Siri和Google Assistant之类的虚拟助理通常依赖于语义解析组件来理解对其用户说出的话语执行哪些动作。传统上，基于规则或统计的槽填充系统已被用于解析“简单”查询;即，包含单个动作并且可以被分解成一组不重叠的实体的查询。最近，已经提出了移位-归约解析器来处理更复杂的话语。这些方法虽然功能强大，但对可以解析的查询类型有特定的限制;也就是说，它们要求查询可以表示为解析树。在这项工作中，我们提出了一个统一的体系结构的基础上序列到序列模型和指针生成器网络来处理简单和复杂的查询。与其他作品不同，我们的方法不施加任何限制的语义分析模式。此外，实验表明，它在三个公开可用的数据集（ATIS，SNIPS，Facebook TOP）上实现了最先进的性能，与以前的系统相比，精确匹配精度相对提高了3.3%到7.7%。最后，我们展示了我们的方法在两个内部数据集上的有效性。
2020-01-30 cs.CL
Concurrent Lexicalized Dependency Parsing: The ParseTalk Model
本文介绍了一种面向对象的并发自然语言分析的语法模型。语法知识的完整词汇分布是建立在面向中心语的配价和依赖概念的基础上的，而继承机制用于捕获词汇概括。底层并发计算模型依赖于Actor范式。我们考虑建立依赖关系和歧义处理的消息传递协议。
1994-10-24 cmp-lg cs.CL
explanation-based learning of data oriented parsing
本文提出了一种新的自然语言句法分析的基于解释的学习（EBL）的观点。本文建议采用EBL学习如何减少歧义只有部分，而不是采用EBL的专业化解析器推断新的。该方法包括一个用于学习部分语法分析器的EBL算法，以及一个将部分语法分析器与现有的"全语法分析器”相结合的语法分析算法。学习的部分解析器，可实现为有限状态转换器（CFST）的级联，有效地识别和组合成分，防止虚假的过度生成。解析算法将学习的部分解析器与给定的完全解析器相结合，使得完全解析器的作用限于组合由部分解析器识别的成分，以及识别输入句子的未识别部分。除了在消歧之前减少解析空间之外，本方法还提供了一种用于改进从树库学习随机语法的现有消歧模型的方法。我们展示了令人鼓舞的实证结果，使用试点实施：解析空间大大减少了最小的损失的覆盖范围。消歧模型的加速增益通过DOP模型的实验来举例说明。
1997-08-20 cmp-lg cs.CL
Conversational Semantic Parsing
Facebook（脸书）
面向任务的辅助系统中的语义解析的结构化表示是面向单轮查询的简单理解。由于表示的局限性，基于会话的属性，如共指消解和上下文结转在流水线系统中的下游处理。在本文中，我们提出了一个语义表示这种面向任务的会话系统，可以表示概念，如共同引用和上下文结转，使全面理解的查询会话。我们发布了一个新的基于会话的，面向任务的分析数据集，包含20k会话，由60k话语组成。与对话状态跟踪挑战不同，数据集中的查询具有组合形式。我们提出了一个新的系列Seq2Seq模型的会话为基础的解析上面，实现更好的或相当的性能，目前国家的最先进的ATIS，SNIPS，TOP和DSTC 2。值得注意的是，我们将DSTC 2上最知名的结果提高了5个点。
2020-09-28 cs.CL cs.LG
X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
面向任务的组合语义解析（TCSP）处理复杂的嵌套用户查询，并作为虚拟助手的重要组成部分。目前的TCSP模型依赖于大量的训练数据来实现良好的性能，但无法推广到低资源的目标语言或领域。在本文中，我们提出了X2Parser，一个可转移的跨语言和跨域的语法分析器TCSP。与以前的模型，学习生成嵌套的意图和插槽的层次表示，我们建议预测扁平化的意图和插槽表示分开，并将这两个预测任务转化为序列标记问题。在此之后，我们进一步提出了一个基于生育率的插槽预测器，首先学习动态检测每个令牌的标签数量，然后预测插槽类型。实验结果表明，该模型在跨语言和跨领域的环境下，能够显著优于已有的强基线，并且在目标领域的目标语言上具有良好的泛化能力.此外，我们的模型以一种有效的非自回归方式解决了这个问题，与生成模型相比，延迟减少了66%。
2021-06-07 cs.AI cs.CL
Hierarchical Document Parsing via Large Margin Feature Matching and Heuristics
La Rochelle University（拉罗谢尔大学）
本文提出一种结合大间隔特征匹配、启发式规则与贪心算法的层次化文档解析方法，在 AAAI-25 VRD-IU 挑战赛中以 0.98904 准确率获得第一名。
2025-03-08 cs.CL cs.CV
Parsing with the Shortest Derivation
普遍的看法是，随机语法偏向于句子的较短派生是有害的，应该得到纠正。我们发现，共同的智慧是错误的随机文法，使用基本树，而不是上下文无关的规则，如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库，而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
El Volumen Louder Por Favor: Code-switching in Task-oriented Semantic Parsing
Facebook（脸书）
能够解析代码转换（CS）的话语，如西班牙语+英语或印地语+英语，是必要的民主化面向任务的语义解析系统为某些地区。在这项工作中，我们专注于Spanglish（西班牙语+英语），并发布了一个数据集，CSTOP，包含5800 CS话语及其语义分析。我们研究了各种跨语言（XL）模型的CS泛化能力，并展示了只有一种语言的数据时，预训练的XL语言模型的优势。因此，我们专注于改进只有英语语料库以及零或几个CS训练实例可用的情况下的预训练模型。我们提出了两种数据增强方法的zero-shot和Few-Shot设置：微调使用匹配和对齐和增强使用生成模型，然后匹配和过滤。将Few-Shot设置与上述改进相结合，可将zero-shot和全数据设置之间的初始30点精度差距缩小三分之二。
2021-01-28 cs.AI cs.CL cs.LG
Efficient Algorithms for Parsing the DOP Model? A Reply to Joshua Goodman
本文是对Joshua Goodman的论文“Efficient Algorithms for Parsing the DOP Model”（Goodman，1996; cmp-lg/9604008）的回复。在他的论文中，Goodman对面向数据的解析模型（Bod，1992-1996）提出了一些主张。这份说明表明，其中一些说法肯定是错误的。
1996-05-24 cmp-lg cs.CL
Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues
Stanford University（斯坦福大学）；Meta
面向任务的对话系统的鲁棒状态跟踪目前仍然局限于几种流行的语言。本文表明，给定一个大规模的对话数据集在一种语言，我们可以自动产生一个有效的语义分析器为其他语言使用机器翻译。我们提出了自动翻译对话数据集与对齐，以确保忠实的翻译槽值，并消除昂贵的人力监督使用在以前的基准。我们还提出了一个新的上下文语义解析模型，它编码的正式槽和值，只有最后的代理和用户的话语。我们表明，简洁的表示减少了翻译错误的复合效应，而不会损害在实践中的准确性。我们在几个对话状态跟踪基准上评估我们的方法。在RiSAWOZ、CrossWOZ、CrossWOZ-EN和MultiWOZ-ZH数据集上，我们将联合目标准确度提高了11%、17%、20%和0.3%。我们对所有三个数据集进行了全面的错误分析，显示错误的注释可能会导致对模型质量的错误判断。最后，我们介绍了使用我们的翻译方法创建的RiSAWOZ英语和德语数据集。在这些数据集上，准确度在原始数据集的11%以内，这表明高准确度的多语言对话数据集是可能的，而不依赖于昂贵的人工注释。我们发布我们的数据集和软件开源。
2023-02-18 cs.CL cs.LG
RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing
University of Utah（犹他大学）；Facebook Conversational AI（Facebook对话式AI）
虽然大型预训练语言模型在其参数中积累了大量知识，但已经证明，使用非参数检索记忆对其进行增强具有许多好处，例如提高以知识为中心的任务（例如问答）的数据效率的准确性。在本文中，我们将基于检索的建模思想应用于会话助手的多领域面向任务的语义解析问题。我们的方法，RetroNLU，扩展了一个序列到序列的模型架构与检索组件，用于获取现有的类似的例子，并提供它们作为一个额外的输入模型。特别是，我们分析了两种设置，在那里我们增加输入（a）检索最近邻话语（话语NN），和（b）地面实况语义解析最近邻话语（semparse-nn）。我们的技术优于基线方法1.5%的绝对宏观F1，特别是在低资源设置下，仅用40%的数据匹配基线模型精度。此外，我们分析了最近邻检索组件的质量，模型的敏感性和分解的语义分析不同的话语复杂度的性能。
2021-09-21 cs.CL cs.IR cs.LG
DAMP: Doubly Aligned Multilingual Parser for Task-Oriented Dialogue
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）；Stanford University（斯坦福大学）
针对多语言语义解析迁移效率低的问题，提出双重对齐多语言解析器DAMP，通过对比对齐预训练和约束对抗对齐微调，大幅提升零样本性能，在多个基准上超越现有模型。
2023-05-26 cs.CL cs.LG
STOP: A dataset for Spoken Task Oriented Semantic Parsing
Meta AI
端到端口语语言理解（SLU）使用单个模型直接从音频预测意图。它通过利用中间文本表示中丢失的声学信息和防止自动语音识别（ASR）的级联错误来提高辅助系统的性能。此外，当在设备上部署辅助系统时，具有一个统一模型具有效率优势。然而，具有语义解析标签的公共音频数据集数量有限，阻碍了该领域的研究进展。在本文中，我们发布了面向口语任务的语义解析（STOP）数据集，这是公开可用的最大和最复杂的SLU数据集。此外，我们定义了低资源分割，以建立一个基准，提高SLU时，有限的标记数据可用。此外，除了人工录制的音频外，我们还发布了TTS生成的版本，以衡量端到端SLU系统的低资源领域自适应性能。最初的实验表明，端到端SLU模型的性能略差于级联模型，我们希望这能鼓励未来在这个方向上的工作。
2022-10-18 cs.AI cs.CL cs.SD
Stockmark-Nemotron-3-Nano-Omni-JapanDocReader: Structured Document Parsing via Capability Injection and Forgetting Control
Stockmark Inc.（斯托克马克公司）
本研究提出Stockmark-Nemotron-3-Nano-Omni-JapanDocReader模型，通过能力注入与遗忘控制优化结构化文档解析性能，结合混合SFT与DAPO式RL取得优于SFT的效果。
2026-08-10 cs.CL
A Theorem-Proving-Based Evaluation of Neural Semantic Parsing
Kyoto University（京都大学）；Keio University（庆应大学）；Kikagaku Inc.（麒麟株式会社）
本文指出 Smatch 等图匹配指标仅捕捉表面重叠而非逻辑等价，通过结合自动定理证明重新评估神经语义解析器，发现图匹配表现好的模型常无法生成逻辑等价公式，归一化能提升逻辑充分性，凸显了逻辑敏感评估的必要性。
2025-10-13 cs.CL
Ambiguity resolution in a reductionistic parser
我们关注的是运行文本的依赖导向的形态句法分析。虽然解析语法应该避免引入结构上无法解析的区别，以优化解析器的准确性，但对于语法学家来说，尽可能具有表达性的结构表示也是有益的。在简化解析系统中，这种策略可能会导致输入中存在相当大的歧义;然而，即使是大规模的歧义也可以通过准确的解析描述和有效的解析技术来有效地解决。
1995-02-13 cmp-lg cs.CL
Multilingual Neural Semantic Parsing for Low-Resourced Languages
Amazon Research Cambridge（亚马逊剑桥研究院）
多语言语义解析是一种经济有效的方法，它允许单个模型理解不同的语言。然而，研究人员面临着训练数据的可用性很大的不平衡，英语资源丰富，而其他语言的数据少得多。为了解决数据限制的问题，我们提出使用机器翻译引导多语言训练数据从更丰富的英语数据。为了补偿机器翻译的训练数据的数据质量，我们利用来自预训练的多语言编码器的迁移学习来进一步改进模型。为了评估我们的多语言模型对人类写的句子，而不是机器翻译的，我们介绍了一个新的多语言语义解析数据集的基础上，Facebook的任务导向解析（TOP）数据集的英语，意大利语和日语。我们发现，使用预训练编码器的联合多语言训练在TOP数据集上的表现远远优于我们的基线，并且在公共NLMaps数据集上的表现优于最先进的模型。我们还在TOP数据集上建立了一个新的零样本学习基线。我们发现，一个语义解析器只训练英语数据实现了zero-shot性能的44.9%的精确匹配准确度对意大利语句子。
2021-06-14 cs.CL
Object-oriented Neural Programming (OONP) for Document Understanding
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip, Tsinghua University（清华大学北京未来芯片创新中心）
我们提出了面向对象的神经编程（OONP），在特定领域的语义解析文件的框架。基本上，OONP读取文档并将其解析为预先设计的面向对象的数据结构（本文中称为本体），该数据结构反映文档的特定于领域的语义。OONP解析器将语义解析建模为决策过程：基于神经网络的阅读器依次遍历文档，在此过程中，它构建并更新中间本体，以总结其对所涵盖文本的部分理解。OONP支持一系列丰富的操作（包括符号和可微分）来组成本体，以及各种各样的形式（包括符号和可微分）来表示状态和文档。OONP解析器可以用不同形式和强度的监督来训练，包括监督学习（SL）、强化学习（RL）以及两者的混合。我们对合成和真实世界的文档解析任务的实验表明，OONP可以学习处理相当复杂的本体与训练数据的适度大小。
2018-07-25 cs.AI cs.CL cs.LG
Using a Diathesis Model for Semantic Parsing
本文提出了一种面向非限制文本的语义解析方法。语义解析是自然语言理解（NLU）系统的主要瓶颈之一，并且通常需要构建不容易移植到其他领域的昂贵资源。我们的方法获得了一个案例角色分析，其中动词的语义角色被确定。为了涵盖动词的所有可能的句法实现，我们的系统结合了它们的论元结构与一组通用的语义标记的素质模型。将它们结合起来，系统构建了一组具有自己的角色-情况表示的语法-语义模式。一旦模式建立，我们使用近似树模式匹配算法来识别句子的最可靠模式。在句法-语义模式和代表分析句子的形态、句法和语义信息的特征-结构树之间执行模式匹配。对于分配给正确模型的句子，我们提出的语义解析系统可以正确识别73%以上的可能语义格角色。
2000-06-29 cs.AI cs.CL
A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching
本文提出基于预训练语言模型的多概念解析语义匹配框架MCP-SM，通过提取并注入多种概念，摆脱对外部NER工具的依赖，在多语言数据集上表现优异。
2024-04-04 cs.AI cs.CL
Measuring and Mitigating Constraint Violations of In-Context Learning for Utterance-to-API Semantic Parsing
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；AWS AI Labs（亚马逊云服务人工智能实验室）
本研究针对LLM在话语到API语义解析中的约束违规问题，定义了细粒度指标进行分析，并提出SRD和API-CD两种缓解策略，有效提升了生成质量但需权衡复杂性与延迟。
2023-05-24 cs.AI cs.CL
Abductive Matching in Question Answering
Google Research（谷歌研究院）
我们研究半结构化数据上的问题回答。我们引入了一种新的方式来应用语义解析技术，通过应用机器学习来提供系统推断为缺失的注释;所有其他解析逻辑都是手动编写规则的形式。实际上，机器学习用于提供非语法匹配，这是一个不适合手动规则的步骤。这种方法的优点在于它的可调试性和对最终用户的透明性。我们证明了该方法的有效性，通过在标准基准数据集上实现40.42%的准确率，超过了维基百科的表格。
2017-09-10 cs.CL cs.LG
Specifying a shallow grammatical representation for parsing purposes
是否有可能指定一个语法表示（描述符及其应用指南），以这种程度，它可以一致地应用于不同的语法学家，例如，生产一个基准语料库的分析器评估？赞成和反对的论点已经给出，但很少有经验证据。在这篇文章中，我们报告了一个双盲实验与表面导向的形态句法语法表示在一个大型的英语句法分析器。我们认为，一个一贯适用的表示形态和浅语法可以指定。可以通过合理的努力指定一个覆盖率接近100%的语法表示，特别是如果表示是基于结构差异的（即它是结构上可解析的）。
1995-02-13 cmp-lg cs.CL
Efficient Algorithms for Parsing the DOP Model
自然语言文本的面向数据的解析（DOP）已经有了很好的结果（Bod，1993）。不幸的是，现有的算法都是计算密集型的，难以实现。以前的算法是昂贵的，由于两个因素：必须生成的规则的指数数量和使用蒙特卡洛解析算法。在本文中，我们解决了第一个问题，一个新的减少DOP模型的一个小的，等价的概率上下文无关文法。我们解决了第二个问题，一种新的确定性分析策略，最大限度地提高预期的正确成分的数量，而不是正确的解析树的概率。使用优化，实验产生97%的交叉括号率和88%的零交叉括号率。这与Bod报告的结果有很大不同，并且与Pereira和Schabes（1992）在相同数据上重复实验的结果相当。我们表明，博德的结果至少部分是由于一个非常偶然的选择测试数据，部分是由于使用更干净的数据比其他研究人员。
1996-04-22 cmp-lg cs.CL
How Important is Syntactic Parsing Accuracy? An Empirical Evaluation on Rule-Based Sentiment Analysis
Universidade da Coruña（拉科鲁尼亚大学）
句法分析是获取自然语言中句子内部结构的过程，对于需要从自然语言文本或语音中提取含义的人工智能应用程序来说是一项至关重要的任务。情感分析是一个应用的例子，解析最近被证明是有用的。近年来，语法分析算法的准确性有了很大的提高。在这篇文章中，我们进行了一个经验，面向任务的评估，以确定如何解析精度影响性能的最先进的基于规则的情感分析系统，确定从他们的解析树的句子的极性。特别是，我们评估系统使用四个著名的依赖解析器，包括目前的模型与国家的最先进的准确性和更多的innacurate模型，但是，需要较少的计算资源。实验表明，所有的解析器产生类似的好的结果，在情感分析任务，没有他们的准确性有任何相关的影响的结果。由于解析目前是一项计算成本相对较高的任务，不同算法之间的差异很大，这表明情感分析研究人员和用户在选择解析器时应该优先考虑速度而不是准确性;解析研究人员应该研究进一步提高速度的模型，即使在精度上有一些代价。
2017-10-24 cs.AI cs.CL
Addressing Resource and Privacy Constraints in Semantic Parsing Through Data Augmentation
UC Berkeley（加州大学伯克利分校）；Microsoft Semantic Machines（微软语义机器公司）
我们介绍了一种新的设置低资源面向任务的语义解析，其中包括几个限制，可能会出现在现实世界的情况下：（1）缺乏类似的数据集/模型从相关领域，（2）无法直接从语法采样有用的逻辑形式，（3）隐私要求未标记的自然话语。我们的目标是改善低资源的语义分析器使用通过用户交互收集的话语。在这个极具挑战性但现实的环境中，我们研究数据增强方法，包括生成一组对应于逻辑形式的结构化规范话语，然后模拟相应的自然语言并过滤所产生的对。我们发现，尽管我们的设置受到限制，但这种方法是有效的：在复杂SMCalFlow数据集的低资源设置中（Andreas等人，2020年），我们观察到33%的相对改善超过非数据增强的基线在前1匹配。
2022-05-18 cs.AI cs.CL
Data Augmentation with Hierarchical SQL-to-Question Generation for Cross-domain Text-to-SQL Parsing
Soochow University（苏州大学）；Baidu Inc.（百度公司）
数据增强在深度学习时代因其缓解数据稀疏性的能力而引起了大量的研究关注。对于看不见的评估数据库来说，缺乏标记数据正是跨域文本到SQL解析的主要挑战。以前的工作要么需要人工干预来保证生成数据的质量，要么无法处理复杂的SQL查询。本文提出了一个简单而有效的数据增强框架。首先，给定一个数据库，我们自动产生大量的SQL查询的基础上，一个抽象的语法树语法。为了更好的分布匹配，我们要求训练数据中至少80%的SQL模式被生成的查询覆盖。其次，我们提出了一个分层SQL到问题生成模型，以获得高质量的自然语言的问题，这是这项工作的主要贡献。最后，我们设计了一个简单的采样策略，可以在生成大量数据的情况下大大提高训练效率。在三个跨域数据集上的实验，即，英文的WikiSQL和Spider以及中文的DuSQL表明，我们提出的数据增强框架可以在强基线上持续提高性能，而分层生成组件是改进的关键。
2022-11-15 cs.CL
Do All Fragments Count?
我们的目标是找到最小的片段集，实现最大的分析精度在面向数据的分析。宾夕法尼亚华尔街日报树库的实验表明，在解析树中几乎任意片段的计数是很重要的，导致在此树库上测试的先前模型的解析精度提高。我们隔离了一些依赖关系，以前的模型忽略，但有助于更高的解析精度。
2000-11-24 cs.CL
Towards Zero-Shot Frame Semantic Parsing with Task Agnostic Ontologies and Simple Labels
Meta AI；Northwestern University（西北大学）
提出OpenFSP框架，利用领域无关槽位类型和简单标签，结合句子编码器匹配算法，实现零样本框架语义解析，在TopV2数据集上优于强基线。
2023-05-05 cs.CL cs.LG
A Data-Oriented Approach to Semantic Interpretation
在面向数据的语法分析（DOP）中，标注的语言语料库被用作随机语法。通过以最可能的方式组合来自语料库的子分析来构造新输入句子的最可能分析。这种方法已成功地用于句法分析，使用语料库与句法注释，如宾州树库。如果使用带有语义注释的句子的语料库，则相同的方法也可以生成输入句子的最可能的语义解释。本文介绍了这种语义解释方法，并总结了初步实验的结果。对ATIS语料库中大部分句子的句法标注都添加了语义标注。一个面向数据的语义解释算法成功地测试了这个语义丰富的语料库。
1996-06-18 cmp-lg cs.CL
Towards Zero-Shot Frame Semantic Parsing for Domain Scaling
Google Research（谷歌研究院）
面向目标的人机对话语言理解系统的最先进的槽填充模型依赖于深度学习方法。虽然这种模型的多任务训练简化了对大型域内注释数据集的需求，但仅使用语义框架（例如后端API或知识图谱模式）来引导新领域的语义解析模型仍然是对话系统的语言理解的圣杯任务之一。本文提出了一种基于深度学习的方法，该方法可以仅利用上下文中的槽描述，而不需要任何标记或未标记的域内示例，以快速引导新的域。本文的主要思想是在多任务深度学习的插槽填充模型中利用插槽名称和描述的编码，以隐式地对齐跨域的插槽。所提出的方法是有前途的解决域缩放问题，并消除任何手动注释的数据或显式模式对齐的需要。此外，我们在多个域上的实验表明，与仅使用域内数据相比，这种方法可以显著提高插槽填充性能，特别是在低数据状态下。
2017-07-07 cs.AI cs.CL
What is the minimal set of fragments that achieves maximal parse accuracy?
我们的目标是找到最小的片段集，实现最大的分析精度在面向数据的分析。宾夕法尼亚华尔街日报树库的实验表明，解析树中几乎任意片段的计数是重要的，这导致了比以前在该树库上测试的模型更高的解析精度（90.8%的精度和90.6%的召回率）。我们隔离一些依赖关系，以前的模型忽略，但有助于更高的解析精度。
2001-10-24 cs.CL
Matching-oriented Product Quantization For Ad-hoc Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
乘积量化（PQ）是一种广泛使用的ad-hoc检索技术。最近的研究提出了监督PQ，其中嵌入和量化模型可以与监督学习联合训练。然而，缺乏适当的联合培训目标;因此，与以前无监督基线相比的改进实际上是有限的。在这项工作中，我们提出了面向匹配的产品量化（MoPQ），其中一个新的目标Multinoulli对比损失（MCL）制定。随着MCL的最小化，我们能够最大化查询和地面实况关键字的匹配概率，这有助于最佳的检索精度。鉴于MCL的精确计算是棘手的，由于大量的对比样本的需求，我们进一步提出了可微分跨设备采样（DCS），显着增加的对比样本的精确近似MCL。我们在四个真实世界的数据集上进行了广泛的实验研究，其结果验证了MoPQ的有效性。该代码可在https://github.com/microsoft/MoPQ上获得。
2021-09-12 cs.CL cs.IR
Improving Table Understanding with LLMs and Entity-Oriented Search
Monash University（莫纳什大学）；Qualcomm AI Research（高通人工智能研究）
针对现有方法依赖预处理、缺乏上下文的问题，提出面向实体的搜索方法，利用语义相似性和实体绑定提升LLMs表格理解能力，首次引入图查询语言，在两个基准上获最优性能。
2025-08-23 cs.CL
