Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo（维戈大学）
本文提出基于Stack-Transformers的移进-归约任务型语义解析器，融合自底向上和按序转移系统，在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing
Meta
近年来，面向任务的语义解析模型取得了很好的效果，但不幸的是，它在模型大小、运行时延迟和跨域泛化能力之间没有取得令人满意的平衡。我们解决这个问题，通过引入基于XML的语义解析：原始任务的一个变体，首先需要消除歧义的话语的“场景”（一个意图槽模板可变叶跨度），然后生成其框架，完成本体和话语令牌。这个公式使我们能够隔离任务的粗粒度和细粒度方面，每个方面我们都用现成的神经模块来解决，同时也优化了上面列出的轴。具体来说，我们创建了一个检索和填充（RAF）架构，包括（1）检索模块，它排名最好的情况下的话语和（2）填充模块，它将跨度到场景中创建帧。我们的模型是模块化的，可区分的，可解释的，并允许我们从场景中获得额外的监督。RAF在高资源、低资源和多语言环境中取得了很好的效果，尽管使用了基本的预训练编码器、小序列长度和并行解码，但其性能远远优于最近的方法。
2022-02-02 cs.CL
Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations
Amazon（亚马逊）；Amazon Alexa（亚马逊Alexa）；Berlin, Germany（德国柏林）；Cambridge, MA, USA（美国马萨诸塞州剑桥）
现代对话式AI系统支持自然语言理解，具有多种功能。虽然这些任务中的大多数可以使用意图和槽的简单和平面表示来完成，但更复杂的功能需要由语义解析支持的复杂分层表示。最先进的语义解析器是使用监督学习来训练的，其中数据根据分层模式进行标记，这可能是昂贵的，或者对于新的领域来说是不容易获得的。在这项工作中，我们探索了使用预训练的去噪序列到序列模型（即，BART）。具体来说，我们首先提取掩蔽模板从现有的标记的话语，然后微调BART生成合成话语上提取的模板调节。最后，我们使用一个辅助语法分析器（AP）过滤生成的话语。AP保证生成数据的质量。我们展示了我们的方法在Facebook TOP数据集上评估导航域时的潜力。
2020-11-03 cs.CL
Graph-Based Decoding for Task Oriented Semantic Parsing
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
近年来，语义解析的主要范式是将解析公式化为序列到序列的任务，使用自回归序列解码器生成预测。在这项工作中，我们探索了一种替代范式。我们制定语义解析作为一个依存句法分析的任务，应用基于图的解码技术开发的句法分析。我们在TOP数据集上比较了给定相同预训练Transformer编码器的各种解码技术，包括训练数据受限或仅包含部分注释示例的设置。我们发现，我们的基于图的方法是有竞争力的序列解码器的标准设置，并提供了显着的改善数据效率和设置部分注释的数据。
2021-09-09 cs.AI cs.CL
Improving Semantic Parsing for Task Oriented Dialog
Facebook Conversational AI（Facebook对话式AI）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究）
最近提出了使用分层表示的语义解析，用于面向任务的对话，结果很有希望[Gupta et al 2018]。在本文中，我们提出了三种不同的改进模型：上下文嵌入，集成，和成对重新排名的基础上的语言模型。我们分类的错误可能的分层表示，如错误的顶部意图，缺失的跨度或分裂跨度，并表明这三种方法纠正不同类型的错误。最好的模型结合了这三种技术，精确匹配精度比最先进的模型高出6.4%，错误减少了33%，从而在面向任务的解析（TOP）数据集上产生了新的最先进的结果。
2019-02-15 cs.AI cs.CL
Cross-TOP: Zero-Shot Cross-Schema Task-Oriented Parsing
Amazon Alexa AI（亚马逊Alexa人工智能部门）；The Ohio State University（俄亥俄州立大学）
深度学习方法已经能够对日益复杂的话语进行面向任务的语义解析。然而，单个模型通常仍然被单独地训练和部署用于每个任务，需要用于每个任务的标记的训练数据，这使得支持新任务具有挑战性，即使在单个业务垂直（例如，食品订购或旅行预订）。在本文中，我们描述了跨TOP（跨模式面向任务的解析），一个zero-shot方法复杂的语义解析在一个给定的垂直。通过利用来自相同垂直的用户请求共享词汇和语义相似性的事实，训练单个跨模式解析器来服务垂直内的任意数量的任务，无论是可见的还是不可见的。我们表明，交叉TOP可以实现高精度的一个以前看不见的任务，而不需要任何额外的训练数据，从而提供了一个可扩展的方式来引导语义解析器的新任务。作为这项工作的一部分，我们发布了FoodOrdering数据集，这是一个面向任务的解析数据集，在食物订购垂直领域，话语和注释来自五个模式，每个模式来自不同的餐厅菜单。
2022-06-10 cs.CL cs.LG
Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling
Facebook（脸书）
面向任务的语义解析模型通常具有高的资源需求：为了支持新的本体（即，意图和插槽），从业者众包成千上万的样本进行监督微调。部分原因是由于事实上的复制生成解析器的结构;这些模型将本体标签视为离散实体，依赖于并行数据来导出其含义。在我们的工作中，我们利用了我们对本体标签的内在了解;例如，SL：TIME_ZONE具有分类类型“slot”和基于语言的跨度“time zone”。利用这种动机，我们通过离线和在线阶段来构建我们的方法。在预处理过程中，对于每个本体标签，我们将其内在属性提取到组件中，并将每个组件插入到库存中作为排序缓存。在训练过程中，我们微调了一个seq 2seq，预先训练好的Transformer将话语和库存映射到帧，解析由话语和本体令牌组成的树。我们的公式鼓励模型将本体标签视为其内在属性的联合，因此在低资源设置中基本上自举学习。实验表明，我们的模型是高度样本效率：使用来自TOPv 2的低资源基准，我们的库存解析器优于复制生成解析器+15 EM绝对（44%相对）时，微调10个样本从一个看不见的域。
2021-04-15 cs.CL
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
Facebook（脸书）
与传统的基于单词标记的模型相比，使用序列到序列模型的语义解析允许解析更深的表示。尽管有这些优势，但这些模型在实时会话用例中的广泛采用受到更高计算要求和更高延迟的阻碍。在这项工作中，我们提出了一个非自回归的方法来预测语义解析树与一个有效的seq2seq模型架构。通过将非自回归预测与卷积神经网络相结合，与传统的RNN模型相比，我们实现了显着的延迟增益和参数大小减小。我们的新架构在TOP数据集上实现了高达81%的延迟减少，并在三个不同的语义解析数据集上保持了与非预训练模型的竞争性能。我们的代码可在https://github.com/facebookresearch/pytext上获得
2021-04-11 cs.CL cs.LG
Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
Facebook（脸书）
构建seq 2seq、非自回归、面向任务的解析器以将话语映射到语义框架的有效方法分三个步骤进行：编码话语$x$、预测帧的长度|y|、以及用话语和本体令牌解码|y|大小的帧。虽然这些模型在经验上很强，但通常会受到长度预测的检验，因为即使是很小的不准确也会改变结果帧的句法和语义特征。在我们的工作中，我们提出了跨度指针网络，将解码任务从文本生成转移到跨度预测的非自回归解析器;也就是说，当将话语跨度输入到帧时隙时，我们的模型产生端点（例如，[i，j]）而不是文本（例如，“6pm”）。输出空间的这种自然量化减少了黄金帧的可变性，从而改善了长度预测，并最终实现了精确匹配。此外，长度预测现在负责帧语法，解码器负责帧语义，从而产生由粗到精的模型。我们评估我们的方法在几个面向任务的语义解析数据集。值得注意的是，我们弥合了非自回归和自回归解析器之间的质量差距，在TOPv 2上实现了87个EM（Chen et al. 2020）。此外，由于我们更一致的黄金框架，我们在低资源环境下的跨域和跨语言迁移中显示出模型泛化的显著改善。最后，由于我们减少了输出词汇，我们观察到与之前的非自回归解析器相比，在波束大小为5时，延迟减少了70%，内存减少了83%。
2021-09-14 cs.CL
An Imitation Learning Approach to Unsupervised Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；University of Waterloo（滑铁卢大学）
最近，人们对无监督解析器越来越感兴趣，这些解析器通常使用强化学习来优化面向语义的目标。不幸的是，学习的树通常与实际的语法树不匹配。Shen et al.（2018）提出了一种用于语言建模的结构化注意力机制（PRPN），它可以诱导更好的语法结构，但依赖于特定的语法。此外，他们的模型缺乏可解释性，因为它不是基于解析操作。在我们的工作中，我们提出了一种用于无监督解析的模仿学习方法，其中我们将PRPN诱导的句法知识转移到具有离散解析动作的Tree-LSTM模型。然后通过Gumbel-Softmax训练将其策略细化为面向语义的目标。我们在全自然语言推理数据集上评估了我们的方法，并表明它在解析$F$分数方面达到了新的技术水平，优于我们的基础模型，包括PRPN。
2019-06-05 cs.CL
Lexicon-injected Semantic Parsing for Task-Oriented Dialog
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近，使用对话系统的分层表示的语义解析已经吸引了大量的关注。面向任务的语法分析（TOP）是一种以意图和槽作为嵌套树节点标签的树表示，已被提出用于分析用户话语。先前的TOP解析方法局限于处理看不见的动态槽值（例如，添加了新的歌曲和位置），这对于真实的对话系统来说是一个紧迫的问题。为了缓解这个问题，我们首先提出了一个新的跨度分裂表示跨度为基础的分析器，优于现有的方法。在此基础上，提出了一种新的词典注入语义分析器，该分析器将树表示的槽标签作为词典，并将词汇特征注入到分析器的跨度表示中。一个额外的插槽消歧技术涉及到从词典中删除不适当的跨度匹配的发生。我们最好的解析器在TOP数据集上产生了一个新的最先进的结果（87.62%），并证明了它对实际面向任务的对话中频繁更新的槽词典条目的适应性，而不需要重新训练。
2022-11-26 cs.AI cs.CL
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook（脸书）
由于缺乏可用的数据集，将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点：a）它们包含很少的语言b）它们包含少量的每种语言的标记示例c）它们基于非组合查询的简单意图和槽检测范式。在本文中，我们提出了一个新的多语言数据集，称为MTOP，包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集，对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集，我们在Slot F1上实现了+6.3点的平均改进，超过了他们实验中报告的最佳结果。此外，我们展示了强大的zero-shot性能，使用预训练模型结合自动翻译和对齐，并提出了远程监督方法，以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）；Amazon Alexa Search（亚马逊 Alexa 搜索）；Amazon Alexa（亚马逊 Alexa）
诸如Amazon Alexa、Apple Siri和Google Assistant之类的虚拟助理通常依赖于语义解析组件来理解对其用户说出的话语执行哪些动作。传统上，基于规则或统计的槽填充系统已被用于解析“简单”查询;即，包含单个动作并且可以被分解成一组不重叠的实体的查询。最近，已经提出了移位-归约解析器来处理更复杂的话语。这些方法虽然功能强大，但对可以解析的查询类型有特定的限制;也就是说，它们要求查询可以表示为解析树。在这项工作中，我们提出了一个统一的体系结构的基础上序列到序列模型和指针生成器网络来处理简单和复杂的查询。与其他作品不同，我们的方法不施加任何限制的语义分析模式。此外，实验表明，它在三个公开可用的数据集（ATIS，SNIPS，Facebook TOP）上实现了最先进的性能，与以前的系统相比，精确匹配精度相对提高了3.3%到7.7%。最后，我们展示了我们的方法在两个内部数据集上的有效性。
2020-01-30 cs.CL
Concurrent Lexicalized Dependency Parsing: The ParseTalk Model
本文介绍了一种面向对象的并发自然语言分析的语法模型。语法知识的完整词汇分布是建立在面向中心语的配价和依赖概念的基础上的，而继承机制用于捕获词汇概括。底层并发计算模型依赖于Actor范式。我们考虑建立依赖关系和歧义处理的消息传递协议。
1994-10-24 cmp-lg cs.CL
Conversational Semantic Parsing
Facebook（脸书）
面向任务的辅助系统中的语义解析的结构化表示是面向单轮查询的简单理解。由于表示的局限性，基于会话的属性，如共指消解和上下文结转在流水线系统中的下游处理。在本文中，我们提出了一个语义表示这种面向任务的会话系统，可以表示概念，如共同引用和上下文结转，使全面理解的查询会话。我们发布了一个新的基于会话的，面向任务的分析数据集，包含20k会话，由60k话语组成。与对话状态跟踪挑战不同，数据集中的查询具有组合形式。我们提出了一个新的系列Seq2Seq模型的会话为基础的解析上面，实现更好的或相当的性能，目前国家的最先进的ATIS，SNIPS，TOP和DSTC 2。值得注意的是，我们将DSTC 2上最知名的结果提高了5个点。
2020-09-28 cs.CL cs.LG
El Volumen Louder Por Favor: Code-switching in Task-oriented Semantic Parsing
Facebook（脸书）
能够解析代码转换（CS）的话语，如西班牙语+英语或印地语+英语，是必要的民主化面向任务的语义解析系统为某些地区。在这项工作中，我们专注于Spanglish（西班牙语+英语），并发布了一个数据集，CSTOP，包含5800 CS话语及其语义分析。我们研究了各种跨语言（XL）模型的CS泛化能力，并展示了只有一种语言的数据时，预训练的XL语言模型的优势。因此，我们专注于改进只有英语语料库以及零或几个CS训练实例可用的情况下的预训练模型。我们提出了两种数据增强方法的zero-shot和Few-Shot设置：微调使用匹配和对齐和增强使用生成模型，然后匹配和过滤。将Few-Shot设置与上述改进相结合，可将zero-shot和全数据设置之间的初始30点精度差距缩小三分之二。
2021-01-28 cs.AI cs.CL cs.LG
RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing
University of Utah（犹他大学）；Facebook Conversational AI（Facebook对话式AI）
虽然大型预训练语言模型在其参数中积累了大量知识，但已经证明，使用非参数检索记忆对其进行增强具有许多好处，例如提高以知识为中心的任务（例如问答）的数据效率的准确性。在本文中，我们将基于检索的建模思想应用于会话助手的多领域面向任务的语义解析问题。我们的方法，RetroNLU，扩展了一个序列到序列的模型架构与检索组件，用于获取现有的类似的例子，并提供它们作为一个额外的输入模型。特别是，我们分析了两种设置，在那里我们增加输入（a）检索最近邻话语（话语NN），和（b）地面实况语义解析最近邻话语（semparse-nn）。我们的技术优于基线方法1.5%的绝对宏观F1，特别是在低资源设置下，仅用40%的数据匹配基线模型精度。此外，我们分析了最近邻检索组件的质量，模型的敏感性和分解的语义分析不同的话语复杂度的性能。
2021-09-21 cs.CL cs.IR cs.LG
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa（亚马逊 Alexa）
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入，以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT，ALBERT-基地，和ALBERT-大，三个已经压缩的BERT变种，达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时，嵌入压缩率为95.15% ~ 98.46%，编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方，并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
Did You Mean...? Confidence-based Trade-offs in Semantic Parsing
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究任务导向解析中的权衡问题，提出基于校准模型的置信度分数平衡成本与标注负担，并设计DidYouMean系统优化可用性与安全性的权衡。
2023-10-20 cs.CL
Multilingual Neural Semantic Parsing for Low-Resourced Languages
Amazon Research Cambridge（亚马逊剑桥研究院）
多语言语义解析是一种经济有效的方法，它允许单个模型理解不同的语言。然而，研究人员面临着训练数据的可用性很大的不平衡，英语资源丰富，而其他语言的数据少得多。为了解决数据限制的问题，我们提出使用机器翻译引导多语言训练数据从更丰富的英语数据。为了补偿机器翻译的训练数据的数据质量，我们利用来自预训练的多语言编码器的迁移学习来进一步改进模型。为了评估我们的多语言模型对人类写的句子，而不是机器翻译的，我们介绍了一个新的多语言语义解析数据集的基础上，Facebook的任务导向解析（TOP）数据集的英语，意大利语和日语。我们发现，使用预训练编码器的联合多语言训练在TOP数据集上的表现远远优于我们的基线，并且在公共NLMaps数据集上的表现优于最先进的模型。我们还在TOP数据集上建立了一个新的零样本学习基线。我们发现，一个语义解析器只训练英语数据实现了zero-shot性能的44.9%的精确匹配准确度对意大利语句子。
2021-06-14 cs.CL
Dependency Parsing with Bottom-up Hierarchical Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
依存句法分析是实现深度语言理解的关键一步，因此被众多自然语言处理应用广泛需求。特别是，依赖于指针网络的从左到右和自上而下的基于转换的算法是执行依存句法分析的最准确的方法之一。此外，对于自顶向下算法，已经观察到指针网络的顺序解码可以通过实现更适合于模型依赖结构的分层变体来改进。考虑到这一切，我们开发了一个自自底向上的【形】的面向层次指针网络的左到右的解析器，并提出了两个新的过渡为基础的替代品：一种方法，解析一个句子从右到左的顺序和一个变种，这样做，从外到内。我们在各种语言上使用不同的算法对所提出的神经架构进行了实证测试，几乎在所有语言上都优于原始方法，并在英语和中文Penn Treebanks上为非上下文化和基于BERT的嵌入设置了新的最先进的结果。
2022-10-25 cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen（哥本哈根大学）
语义解析（SP）允许人类通过自然交互来利用大量的知识资源。然而，解析器大多是针对英语资源设计和评估的，例如CFQ（Keysers等人，2020），目前的标准基准基于从语法规则生成的英语数据，并面向Freebase，一个过时的知识库。我们提出了一种方法，用于创建一个多语言的，并行的数据集的问题查询对，接地在维基数据。我们引入这样一个数据集，我们称之为多语言组成维基数据问题（MCWQ），并使用它来分析组成的概括语义分析器在希伯来语，卡纳达语，中文和英文。虽然语言内泛化在不同语言之间是可比的，但zero-shot跨语言迁移的实验表明，跨语言合成泛化失败，即使使用最先进的预训练多语言编码器也是如此。此外，我们的方法，数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
Huawei Technologies（华为技术有限公司）；Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
基于框架语义的方法在语义解析任务中得到了广泛的应用，并已成为主流。对不同语境下目标词汇单元所诱发的框架表征进行消歧仍然是一个挑战。预训练语言模型（PLM）已被用于语义解析，并显着提高神经解析器的准确性。然而，基于PLM的方法倾向于支持训练数据中呈现的搭配模式，从而导致不准确的结果。这里的直觉是设计一种机制来最佳地使用语义框架中捕获的知识，并结合PLM来消除框架的歧义。我们提出了一种新的知识增强框架语义解析架构（KAF-SPA），以提高语义表示，在框架语义解析过程中，将准确的框架知识到PLM。具体而言，基于记忆的知识提取模块（MKEM）的设计，以选择准确的框架知识，并在高维向量空间中构建连续的模板。此外，我们设计了一个面向任务的知识探测模块（TKPM）使用混合提示（在连续和离散提示），将选定的知识到PLM和适应PLM的框架和参数识别的任务。在两个公共FrameNet数据集上的实验结果表明，我们的方法显著优于强基线（F1中超过+3 $\%$），在当前基准测试中获得了最先进的结果。消融研究验证了KAF-SPA的有效性。
2023-03-25 cs.CL
Object-oriented Neural Programming (OONP) for Document Understanding
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip, Tsinghua University（清华大学北京未来芯片创新中心）
我们提出了面向对象的神经编程（OONP），在特定领域的语义解析文件的框架。基本上，OONP读取文档并将其解析为预先设计的面向对象的数据结构（本文中称为本体），该数据结构反映文档的特定于领域的语义。OONP解析器将语义解析建模为决策过程：基于神经网络的阅读器依次遍历文档，在此过程中，它构建并更新中间本体，以总结其对所涵盖文本的部分理解。OONP支持一系列丰富的操作（包括符号和可微分）来组成本体，以及各种各样的形式（包括符号和可微分）来表示状态和文档。OONP解析器可以用不同形式和强度的监督来训练，包括监督学习（SL）、强化学习（RL）以及两者的混合。我们对合成和真实世界的文档解析任务的实验表明，OONP可以学习处理相当复杂的本体与训练数据的适度大小。
2018-07-25 cs.AI cs.CL cs.LG
Concurrent Lexicalized Dependency Parsing: A Behavioral View on ParseTalk Events
被认为是面向对象的语法模型的行为规范。该模型是基于完整的词汇化，头方向通过效价约束和依赖关系，继承作为一种手段，非冗余的词典规范，和并发的计算。计算模型依赖于Actor范例，并发性通过Actor之间的异步消息传递进入。特别是，我们在这里详细说明的原则，如何全局行为的词法分布的语法和相应的解析器可以指定的事件类型网络和事件网络，分别。
1994-10-24 cmp-lg cs.CL
What Did You Say? Task-Oriented Dialog Datasets Are Not Conversational!?
Google（谷歌）
面向任务对话的高质量数据集对于虚拟助手的开发至关重要。然而，三个最相关的大规模对话数据集有一个共同的缺陷：对话状态更新可以跟踪，在很大程度上，通过一个模型，只考虑当前用户的话语，忽略对话的历史。在这项工作中，我们概述了一个分类的会话和上下文的影响，我们用它来检查MultiWOZ，SGD和SMCalFlow，其中最新的和广泛使用的面向任务的对话数据集。我们以独立于模型的方式分析数据集，并使用强大的文本到文本基线（T5）通过实验证实了这些发现。我们发现，MultiWOZ的回合中只有不到4%和SGD的回合中有10%是会话式的，而SMCalFlow在其当前版本中根本不是会话式的：其对话状态跟踪任务可以简化为单交换语义解析。最后，我们概述了真正的会话对话数据集的必要条件。
2022-03-07 cs.CL
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute（中国移动研究院）
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心，具有自动发现新知识和语法的能力，新发现的知识和语法将由人工识别，并用于更新知识库和语法库。这个过程可以重复多次，以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
How Important is Syntactic Parsing Accuracy? An Empirical Evaluation on Rule-Based Sentiment Analysis
Universidade da Coruña（拉科鲁尼亚大学）
句法分析是获取自然语言中句子内部结构的过程，对于需要从自然语言文本或语音中提取含义的人工智能应用程序来说是一项至关重要的任务。情感分析是一个应用的例子，解析最近被证明是有用的。近年来，语法分析算法的准确性有了很大的提高。在这篇文章中，我们进行了一个经验，面向任务的评估，以确定如何解析精度影响性能的最先进的基于规则的情感分析系统，确定从他们的解析树的句子的极性。特别是，我们评估系统使用四个著名的依赖解析器，包括目前的模型与国家的最先进的准确性和更多的innacurate模型，但是，需要较少的计算资源。实验表明，所有的解析器产生类似的好的结果，在情感分析任务，没有他们的准确性有任何相关的影响的结果。由于解析目前是一项计算成本相对较高的任务，不同算法之间的差异很大，这表明情感分析研究人员和用户在选择解析器时应该优先考虑速度而不是准确性;解析研究人员应该研究进一步提高速度的模型，即使在精度上有一些代价。
2017-10-24 cs.AI cs.CL
Addressing Resource and Privacy Constraints in Semantic Parsing Through Data Augmentation
UC Berkeley（加州大学伯克利分校）；Microsoft Semantic Machines（微软语义机器公司）
我们介绍了一种新的设置低资源面向任务的语义解析，其中包括几个限制，可能会出现在现实世界的情况下：（1）缺乏类似的数据集/模型从相关领域，（2）无法直接从语法采样有用的逻辑形式，（3）隐私要求未标记的自然话语。我们的目标是改善低资源的语义分析器使用通过用户交互收集的话语。在这个极具挑战性但现实的环境中，我们研究数据增强方法，包括生成一组对应于逻辑形式的结构化规范话语，然后模拟相应的自然语言并过滤所产生的对。我们发现，尽管我们的设置受到限制，但这种方法是有效的：在复杂SMCalFlow数据集的低资源设置中（Andreas等人，2020年），我们观察到33%的相对改善超过非数据增强的基线在前1匹配。
2022-05-18 cs.AI cs.CL
Aspects of Pattern-Matching in Data-Oriented Parsing
面向数据的语法分析（dop）是最好的语法分析方案之一，它将最先进的语法分析准确性与心理语言学的洞察力相结合，即较大的句法结构块是相关的语法和概率单位。然而，使用dop模型进行语法分析，似乎涉及大量的CPU周期和大量的双重工作，这是由多个推导的概念带来的，这对于概率处理是必要的，但与适当的语言主干没有令人信服的关系。然而，可以将dop模型重新解释为模式匹配模型，其试图最大化构造解析的子结构的大小，而不是解析的概率。通过强调dop模型的这种基于内存的方面，可以消除多个派生，为有效的Viterbi风格优化提供可能性，同时通过增强的上下文敏感性仍然保持可接受的解析准确性。
2000-08-18 cs.CL
A Theorem-Proving-Based Evaluation of Neural Semantic Parsing
Kyoto University（京都大学）；Keio University（庆应大学）；Kikagaku Inc.（麒麟株式会社）
本文指出 Smatch 等图匹配指标仅捕捉表面重叠而非逻辑等价，通过结合自动定理证明重新评估神经语义解析器，发现图匹配表现好的模型常无法生成逻辑等价公式，归一化能提升逻辑充分性，凸显了逻辑敏感评估的必要性。
2025-10-13 cs.CL
Towards Zero-Shot Frame Semantic Parsing with Task Agnostic Ontologies and Simple Labels
Meta AI；Northwestern University（西北大学）
提出OpenFSP框架，利用领域无关槽位类型和简单标签，结合句子编码器匹配算法，实现零样本框架语义解析，在TopV2数据集上优于强基线。
2023-05-05 cs.CL cs.LG
T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan（美团）
针对seq2seq语义解析存在的模式预测质量差、语义一致性弱的问题，提出含SSQL中间表示和重排序机制的SR解码策略，T5-SR-3b在Spider数据集上取得SOTA结果。
2023-06-14 cs.AI cs.CL
Compositional Task-Oriented Parsing as Abstractive Question Answering
Cornell University（康奈尔大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向任务的解析（TOP）旨在将自然语言转换为特定任务（如设置警报）的机器可读表示。TOP的一种流行方法是应用seq2seq模型来生成线性解析树。最近的一项工作认为，预先训练的seq2seq模型更善于生成本身就是自然语言的输出，因此它们用规范的自然语言释义取代线性化的解析树，然后可以轻松地翻译成解析树，从而产生所谓的自然化解析器。在这项工作中，我们继续探索自然语义解析提出了一个一般的减少TOP抽象的问答，克服了一些规范释义的局限性。实验结果表明，我们的基于QA的技术优于国家的最先进的方法，在全数据设置，同时实现显着的改善，在Few-Shot设置。
2022-05-04 cs.CL
Towards Zero-Shot Frame Semantic Parsing for Domain Scaling
Google Research（谷歌研究院）
面向目标的人机对话语言理解系统的最先进的槽填充模型依赖于深度学习方法。虽然这种模型的多任务训练简化了对大型域内注释数据集的需求，但仅使用语义框架（例如后端API或知识图谱模式）来引导新领域的语义解析模型仍然是对话系统的语言理解的圣杯任务之一。本文提出了一种基于深度学习的方法，该方法可以仅利用上下文中的槽描述，而不需要任何标记或未标记的域内示例，以快速引导新的域。本文的主要思想是在多任务深度学习的插槽填充模型中利用插槽名称和描述的编码，以隐式地对齐跨域的插槽。所提出的方法是有前途的解决域缩放问题，并消除任何手动注释的数据或显式模式对齐的需要。此外，我们在多个域上的实验表明，与仅使用域内数据相比，这种方法可以显著提高插槽填充性能，特别是在低数据状态下。
2017-07-07 cs.AI cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego（加州大学圣迭戈分校）；Microsoft Semantic Machines（微软语义机器公司）
我们探讨使用大语言模型（LLM）的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练，并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中，我们提出了ZEROTOP，一个zero-shot面向任务的分析方法，将语义解析问题分解成一组抽象和提取的问答（QA）问题，使我们能够利用LLM的能力，zero-shot回答阅读理解问题。对于每一个话语，我们提示LLM与问题相对应的顶级意图和一组插槽，并使用LLM代构建的目标意义表示。我们观察到，目前的LLM无法检测到无法回答的问题，因此，无法处理与缺失插槽对应的问题。为了解决这个问题，我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明，我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%，而不需要任何注释数据。
2022-12-21 cs.CL
Restricted Parallelism in Object-Oriented Lexical Parsing
我们提出了一种并行自然语言分析的方法，它是基于并发的，面向对象的计算模型。一个深度优先，但不完整的分析算法的依赖语法指定和几个限制的程度，其并行化进行了讨论。
1996-05-15 cmp-lg cs.CL
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义，设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法，以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库，以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs
Google Inc（谷歌公司）；University of Rochester（罗切斯特大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Columbia University（哥伦比亚大学）
随着Google Assistant、Alexa和Siri等系统在日常生活中变得无处不在，人们对面向任务的对话框的研究兴趣也在增加。然而，学术研究在这一领域的影响受到了缺乏数据集的限制，这些数据集实际上捕捉了广泛的用户痛点。为了能够研究解析现实对话的一些更具挑战性的方面，我们引入了PRESTO，这是一个人类和虚拟助手之间超过55万个上下文多语言对话的公共数据集。PRESTO包含了在现实世界的NLU任务中发生的各种挑战，如不流利，代码转换和修订。它是唯一一个大规模的人类生成的会话解析数据集，它提供了结构化的上下文，例如用户的联系人和每个示例的列表。我们基于mT5模型的基线表明，PRESTO中存在的对话现象对建模具有挑战性，这在低资源设置中进一步突出。
2023-03-17 cs.CL
PIZZA: A new benchmark for complex end-to-end task-oriented parsing
Alexa AI（亚马逊Alexa人工智能部门）
面向任务的解析中最近的许多工作都集中在寻找平面槽和意图之间的中间地带，平面槽和意图缺乏表达性但易于注释，而强大的表示，如λ演算，具有表达性但注释成本高。本文继续探索面向任务的解析，引入一个新的数据集解析比萨饼和饮料订单，其语义不能被平面插槽和意图。我们对该数据集上面向任务解析的深度学习技术进行了广泛的评估，包括不同风格的seq2seq系统和RNNG。该数据集有两个主要版本，一个是最近引入的话语级层次符号，我们称之为TOP，另一个是可执行表示（EXR）。我们的经验表明，训练解析器直接生成EXR符号不仅一举解决了实体解析的问题，克服了TOP符号的一些表达限制，而且还导致显着更高的解析精度。
2022-12-01 cs.CL cs.LG
AutoNLU: Detecting, root-causing, and fixing NLU model errors
Facebook（脸书）；Stanford University（斯坦福大学）
在生产环境中提高自然语言理解（NLU）模型的质量，更具体地说，提高面向任务的语义解析模型的质量是一项繁琐的任务。在这项工作中，我们提出了一个名为AutoNLU的系统，我们设计它来扩展NLU质量改进过程。它将自动化添加到三个关键步骤：检测，归因和纠正模型错误，即，虫子我们检测到的失败任务是随机抽样的四倍，发现即使是一个简单的主动学习抽样方法在未校准的模型上也是非常有效的。AutoNLU工具使语言学家能够修复比以前的手动过程多十倍的语义解析错误，自动纠正65%的已识别错误。
2021-10-12 cs.CL cs.LG
Message-Passing Protocols for Real-World Parsing -- An Object-Oriented Model and its Preliminary Evaluation
我们主张自然语言语法及其相关解析器的基于性能的设计，以满足现实世界的NLP所施加的限制。我们的方法结合了声明性和程序性的语言和语言使用的知识在一个面向对象的规范框架。我们讨论了几个消息传递协议的解析，并提供了牺牲完整性的解析有利于效率的基础上初步的经验评估的原因。
1997-09-23 cmp-lg cs.CL
A Comparative Analysis of Knowledge-Intensive and Data-Intensive Semantic Parsers
Peking University（北京大学）；Alibaba（阿里巴巴）；Google（谷歌）；University of Cambridge（剑桥大学）
我们提出了一个面向现象的比较分析任务无关的语义解析的两个主要方法：经典的，知识密集型和神经，数据密集型模型。为了反映最先进的神经NLP技术，我们引入了一个新的以目标结构为中心的解析器，它可以比以前的数据驱动解析器更准确地生成语义图。然后，我们表明，尽管整体性能相当，知识和数据密集型模型产生不同类型的错误，在某种程度上，可以解释他们的理论属性。这种分析为解析器的开发提供了新的方向。
2020-10-28 cs.CL
kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Huazhong University of Science and Technology（华中科技大学）；Columbia University（哥伦比亚大学）；The Hong Kong Polytechnic University（香港理工大学）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
针对大语言模型应用于语义解析的提示设计、长度限制等问题，提出k近邻上下文学习方法kNN-ICL，可兼容任意提示策略并调用全部示例，在TOP任务上性能媲美强监督模型，且无需额外数据即可提升复杂请求理解能力。
2023-12-17 cs.CL
Two Questions about Data-Oriented Parsing
在本文中，我目前正在进行的工作，面向数据的解析（DOP）模型。在以前的工作中，DOP进行了测试，从宾夕法尼亚州树库的一组清理的分析部分的语音字符串，取得了良好的测试结果。然而，这留下了两个重要的问题没有回答：（1）如果在未经编辑的数据上测试，DOP如何执行，以及（2）DOP如何用于解析包含未知单词的单词串？本文探讨了这些问题。我们表明，未编辑的数据上的解析结果比清理后的数据更差，虽然与其他模型相比非常有竞争力。至于单词串的解析，我们表明，这个问题的难度并不取决于未知的单词，但在以前看不见的词汇类别的已知单词。我们给出了一种新的方法来分析这些话，通过估计未知子树的概率。该方法是普遍感兴趣的，因为它表明，可以获得良好的性能，而不使用一部分的语音标记。据我们所知，我们的方法优于其他统计分析器测试Penn Treebank字串。
1996-06-17 cmp-lg cs.CL
explanation-based learning of data oriented parsing
本文提出了一种新的自然语言句法分析的基于解释的学习（EBL）的观点。本文建议采用EBL学习如何减少歧义只有部分，而不是采用EBL的专业化解析器推断新的。该方法包括一个用于学习部分语法分析器的EBL算法，以及一个将部分语法分析器与现有的"全语法分析器”相结合的语法分析算法。学习的部分解析器，可实现为有限状态转换器（CFST）的级联，有效地识别和组合成分，防止虚假的过度生成。解析算法将学习的部分解析器与给定的完全解析器相结合，使得完全解析器的作用限于组合由部分解析器识别的成分，以及识别输入句子的未识别部分。除了在消歧之前减少解析空间之外，本方法还提供了一种用于改进从树库学习随机语法的现有消歧模型的方法。我们展示了令人鼓舞的实证结果，使用试点实施：解析空间大大减少了最小的损失的覆盖范围。消歧模型的加速增益通过DOP模型的实验来举例说明。
1997-08-20 cmp-lg cs.CL
X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
面向任务的组合语义解析（TCSP）处理复杂的嵌套用户查询，并作为虚拟助手的重要组成部分。目前的TCSP模型依赖于大量的训练数据来实现良好的性能，但无法推广到低资源的目标语言或领域。在本文中，我们提出了X2Parser，一个可转移的跨语言和跨域的语法分析器TCSP。与以前的模型，学习生成嵌套的意图和插槽的层次表示，我们建议预测扁平化的意图和插槽表示分开，并将这两个预测任务转化为序列标记问题。在此之后，我们进一步提出了一个基于生育率的插槽预测器，首先学习动态检测每个令牌的标签数量，然后预测插槽类型。实验结果表明，该模型在跨语言和跨领域的环境下，能够显著优于已有的强基线，并且在目标领域的目标语言上具有良好的泛化能力.此外，我们的模型以一种有效的非自回归方式解决了这个问题，与生成模型相比，延迟减少了66%。
2021-06-07 cs.AI cs.CL
Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues
Stanford University（斯坦福大学）；Meta
面向任务的对话系统的鲁棒状态跟踪目前仍然局限于几种流行的语言。本文表明，给定一个大规模的对话数据集在一种语言，我们可以自动产生一个有效的语义分析器为其他语言使用机器翻译。我们提出了自动翻译对话数据集与对齐，以确保忠实的翻译槽值，并消除昂贵的人力监督使用在以前的基准。我们还提出了一个新的上下文语义解析模型，它编码的正式槽和值，只有最后的代理和用户的话语。我们表明，简洁的表示减少了翻译错误的复合效应，而不会损害在实践中的准确性。我们在几个对话状态跟踪基准上评估我们的方法。在RiSAWOZ、CrossWOZ、CrossWOZ-EN和MultiWOZ-ZH数据集上，我们将联合目标准确度提高了11%、17%、20%和0.3%。我们对所有三个数据集进行了全面的错误分析，显示错误的注释可能会导致对模型质量的错误判断。最后，我们介绍了使用我们的翻译方法创建的RiSAWOZ英语和德语数据集。在这些数据集上，准确度在原始数据集的11%以内，这表明高准确度的多语言对话数据集是可能的，而不依赖于昂贵的人工注释。我们发布我们的数据集和软件开源。
2023-02-18 cs.CL cs.LG
Semantic Role Labeling for Knowledge Graph Extraction from Text
ISTC, CNR（意大利国家研究委员会科技认知研究所）；University of Bologna（博洛尼亚大学）；Università degli Studi di Cagliari（卡利亚里大学）
介绍了一种新的语义角色标注方法TakeFive，该方法将文本转换为面向框架的知识图谱。它执行依存句法分析，识别唤起词汇框架的单词，定位每个框架的角色和填充符，运行强制技术，并将结果形式化为知识图谱。这种形式化表示符合Framester中使用的框架语义，Framester是一种事实语言链接的数据资源。所获得的精确度，召回率和F1值表明TakeFive与其他现有方法，如SEMAFOR，Pikes，PathLSTM和FRED具有竞争力。最后讨论了如何将TakeFive和FRED相结合，获得更高的查准率、查全率和F1值。
2018-11-04 cs.AI cs.CL
DAMP: Doubly Aligned Multilingual Parser for Task-Oriented Dialogue
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）；Stanford University（斯坦福大学）
针对多语言语义解析迁移效率低的问题，提出双重对齐多语言解析器DAMP，通过对比对齐预训练和约束对抗对齐微调，大幅提升零样本性能，在多个基准上超越现有模型。
2023-05-26 cs.CL cs.LG
SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
提出混合问答流水线SPAGHETTI，利用LLM增强方法整合异构知识源，在Compmix数据集上达到56.5% EM率，人工分析显示其准确率超90%，证明EM已不适合评估现代问答系统。
2024-06-01 cs.CL
STOP: A dataset for Spoken Task Oriented Semantic Parsing
Meta AI
端到端口语语言理解（SLU）使用单个模型直接从音频预测意图。它通过利用中间文本表示中丢失的声学信息和防止自动语音识别（ASR）的级联错误来提高辅助系统的性能。此外，当在设备上部署辅助系统时，具有一个统一模型具有效率优势。然而，具有语义解析标签的公共音频数据集数量有限，阻碍了该领域的研究进展。在本文中，我们发布了面向口语任务的语义解析（STOP）数据集，这是公开可用的最大和最复杂的SLU数据集。此外，我们定义了低资源分割，以建立一个基准，提高SLU时，有限的标记数据可用。此外，除了人工录制的音频外，我们还发布了TTS生成的版本，以衡量端到端SLU系统的低资源领域自适应性能。最初的实验表明，端到端SLU模型的性能略差于级联模型，我们希望这能鼓励未来在这个方向上的工作。
2022-10-18 cs.AI cs.CL cs.SD
Stockmark-Nemotron-3-Nano-Omni-JapanDocReader: Structured Document Parsing via Capability Injection and Forgetting Control
Stockmark Inc.（斯托克马克公司）
本研究提出Stockmark-Nemotron-3-Nano-Omni-JapanDocReader模型，通过能力注入与遗忘控制优化结构化文档解析性能，结合混合SFT与DAPO式RL取得优于SFT的效果。
2026-08-10 cs.CL
Ambiguity resolution in a reductionistic parser
我们关注的是运行文本的依赖导向的形态句法分析。虽然解析语法应该避免引入结构上无法解析的区别，以优化解析器的准确性，但对于语法学家来说，尽可能具有表达性的结构表示也是有益的。在简化解析系统中，这种策略可能会导致输入中存在相当大的歧义;然而，即使是大规模的歧义也可以通过准确的解析描述和有效的解析技术来有效地解决。
1995-02-13 cmp-lg cs.CL
