Unsupervised Dual Paraphrasing for Two-stage Semantic Parsing
MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);Department of Computer Science and Engineering(计算机科学与工程系);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
语义解析的一个令人生畏的问题是注释的缺乏。为了减少非平凡的人力劳动,我们提出了一个两阶段的语义解析框架,其中第一阶段利用一个无监督的释义模型,将一个未标记的自然语言话语转换为规范的话语。下游朴素语义解析器接受中间输出并返回目标逻辑形式。此外,整个训练过程分为两个阶段:预训练和循环学习。在整个训练过程中引入了三个定制的自监督任务来激活无监督释义模型。在基准测试Overnight和GeoGranno上的实验结果表明,我们的框架是有效的,并且与监督训练兼容。
2020-12-22 cs.CL cs.LG
From Paraphrasing to Semantic Parsing: Unsupervised Semantic Parsing via Synchronous Semantic Decoding
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Meituan(美团)
由于语句和逻辑形式之间存在结构鸿沟和语义鸿沟,语义解析具有挑战性。本文提出了一种无监督的语义解析方法--同步语义解码(SSD),该方法通过联合利用释义和语法约束解码,同时解决语义鸿沟和结构鸿沟。具体来说,我们重新制定语义解析作为一个受约束的释义问题:给定一个话语,我们的模型同步生成其规范的话语和意义表示。在同步解码期间:话语释义受逻辑形式结构的制约,规范话语可以被有控制地释义;语义解码受规范话语语义的引导,规范话语的逻辑形式可以无监督地生成。实验结果表明,SSD是一种很有前途的方法,可以在多个数据集上获得有竞争力的无监督语义解析性能。
2021-06-11 cs.CL
Conversational Semantic Parsing
Facebook(脸书)
面向任务的辅助系统中的语义解析的结构化表示是面向单轮查询的简单理解。由于表示的局限性,基于会话的属性,如共指消解和上下文结转在流水线系统中的下游处理。在本文中,我们提出了一个语义表示这种面向任务的会话系统,可以表示概念,如共同引用和上下文结转,使全面理解的查询会话。我们发布了一个新的基于会话的,面向任务的分析数据集,包含20k会话,由60k话语组成。与对话状态跟踪挑战不同,数据集中的查询具有组合形式。我们提出了一个新的系列Seq2Seq模型的会话为基础的解析上面,实现更好的或相当的性能,目前国家的最先进的ATIS,SNIPS,TOP和DSTC 2。值得注意的是,我们将DSTC 2上最知名的结果提高了5个点。
2020-09-28 cs.CL cs.LG
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University(天津大学)
句法和语义解析是自然语言处理领域的一个主要研究课题,已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务,这些任务很难被完全覆盖。在这里,我们集中在两个最流行的形式化分析:成分分析和依存句法分析。成分句法分析主要针对句法分析,而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型,以及具有丰富语义的依存图句法分析。此外,本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Cornell SPF: Cornell Semantic Parsing Framework
Cornell University(康奈尔大学)
Cornell语义解析框架(SPF)是一个学习和推理框架,用于将自然语言映射到其含义的形式化表示。
2016-10-08 cs.CL
Context Dependent Semantic Parsing: A Survey
Monash University(莫纳什大学)
语义解析是将自然语言语句翻译成机器可读的意义表示的任务。目前,大多数语义解析方法不能利用上下文信息(例如对话和评论历史),这具有很大的潜力,以提高语义解析性能。为了解决这个问题,上下文相关的语义解析最近引起了很多关注。在这篇综述中,我们调查了上下文相关的语义解析方法的进展,以及当前的数据集和任务。然后,我们指出了开放的问题和挑战,为未来的研究在这一领域。有关此主题的资源可从以下网址获得:https://github.com/zhuang-li/Contextual-Semantic-Parsing-Paper-List。
2020-11-02 cs.CL
On graph-based reentrancy-free semantic parsing
Universite Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(LISN实验室)
我们提出了一种新的基于图的方法语义解析,解决了文献中观察到的两个问题:(1)seq 2seq模型失败的合成泛化任务;(2)以前的工作,使用短语结构解析器不能覆盖所有的语义分析中观察到的树库。我们证明了MAP推理和潜在的标签锚定(弱监督学习所需的)是NP难问题。我们提出了两个基于约束平滑和条件梯度的优化算法来近似解决这些推理问题。在实验中,我们的方法在Geoquery,Scan和BMLR上提供了最先进的结果,无论是i.i.d.。splits和for splits测试合成泛化。
2023-02-15 cs.CL cs.LG
Modeling Label Correlations for Second-Order Semantic Dependency Parsing with Mean-Field Inference
ShanghaiTech University(上海科技大学)
二阶语义解析与端到端的平均场推理已经表现出良好的性能。在这项工作中,我们的目标是改进这种方法,通过建模相邻弧之间的标签相关性。然而,直接建模会导致内存爆炸,因为二阶分数张量的大小为$O(n^3L^2)$($n$是句子长度,$L$是标签的数量),这是负担不起的。为了解决这一计算挑战,我们利用张量分解技术,有趣的是,我们表明,大的二阶得分张量没有必要在平均场推理过程中被物化,从而降低了计算复杂性从三次到二次。我们在SemEval 2015 Task 18英语数据集上进行了实验,显示了对标签相关性建模的有效性。我们的代码可在https://github.com/sustcsonglin/mean-field-dep-parsing上公开获取。
2022-04-07 cs.CL cs.LG
Fast semantic parsing with well-typedness guarantees
Saarland University(萨尔大学);Department of Language Science and Technology(语言科学与技术系)
AM依赖解析是一种基于语言学原理的神经语义解析方法,具有跨多个图库的高精度。它依赖于一个类型系统,该类型系统对语义价进行建模,但会使现有的解析器变慢。我们描述了一个A * 解析器和一个基于转换的解析器AM依存句法分析,保证良好的类型和提高解析速度高达3个数量级,同时保持或提高准确性。
2020-10-06 cs.CL
Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University(阿尔帕斯兰·蒂尔凯什科技大学);Research Institute in Information and Language Processing(信息与语言处理研究所);University of Wolverhampton(伍尔弗汉普顿大学)
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序,如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中,我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法,而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Zero-Shot Semantic Parsing for Instructions
Technion, IIT(以色列理工学院)
我们考虑一个zero-shot语义解析任务:将指令解析成组合逻辑形式,在训练期间没有看到的域中。我们提出了一个新的数据集,其中包含来自7个应用程序域(例如日历或文件管理器)的1,390个示例,每个示例由一个三元组组成:(a)应用程序的初始状态,(b)在该状态的上下文中执行的指令,以及(c)执行指令后的应用程序状态。我们介绍了一种新的训练算法,旨在训练语义解析器的例子从一组源域,使它能够有效地解析指令从一个未知的目标域。我们将我们的算法集成到Pasupat和Liang(2015)的浮点解析器中,并进一步用特征和逻辑形式候选过滤逻辑来增强解析器,以支持zero-shot自适应。我们的实验与各种zero-shot适应设置证明了大量的性能增益超过非适应的解析器。
2019-11-20 cs.CL cs.LG
Hierarchical Neural Data Synthesis for Semantic Parsing
Borealis AI(北极光人工智能)
收集语义解析数据集的成本很高,而且即使是作为语义解析系统输入的与给定领域相关的问题也可能不容易获得,特别是在跨领域的语义解析中。这使得数据增强更具挑战性。现有的合成新数据的方法使用手工制定或诱导的规则,需要大量的工程工作和语言专业知识来实现良好的覆盖率和精确度,这限制了可扩展性。在这项工作中,我们提出了一个纯粹的神经方法的数据增强的语义解析,完全消除了语法工程的需要,同时实现更高的语义解析的准确性。此外,我们的方法可以合成在zero-shot设置,只有一个新的域模式是可用的,没有任何输入输出的新域的例子。在Spider跨域文本到SQL语义解析基准测试中,我们使用我们的zero-shot增强在开发集上实现了最先进的性能(77.2%的准确率)。
2021-12-04 cs.CL
Sequence-to-Action: End-to-End Semantic Graph Generation for Semantic Parsing
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种神经语义解析方法-- Sequence-to-Action,它将语义解析建模为一个端到端的语义图生成过程。我们的方法同时利用了语义解析的两个最近有前途的方向的优势。首先,我们的模型使用一个语义图来表示一个句子的意义,这与知识库有一个紧耦合。其次,利用神经网络模型强大的表示学习和预测能力,我们提出了一个RNN模型,可以有效地映射句子到动作序列的语义图生成。实验结果表明,该方法在OVERNIGHT数据集上达到了最佳的性能,在GEO和ATIS数据集上也有竞争力的性能。
2018-09-04 cs.CL
Calibrated Interpretation: Confidence Estimation in Semantic Parsing
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究语义解析生成模型的校准问题,在四个数据集上评估校准表现,分析校准误差相关因素,并发布基于置信度的挑战性数据划分和校准指标计算库,以推动安全语义解析系统的发展。
2023-07-06 cs.CL
Retrieval-Augmented Semantic Parsing: Improving Generalization with Lexical Knowledge
University of Groningen(Groningen 大学);Leiden University(莱顿大学)
本文针对开放域语义解析中神经模型难以处理未见过概念的问题,提出检索增强语义解析(RASP)方法,将外部符号知识整合到解析过程,实验表明该方法可显著提升大型语言模型在分布外概念上的性能,几乎翻倍。
2025-08-20 cs.CL
Type-Driven Incremental Semantic Parsing with Polymorphism
City University of New York(纽约市立大学)
语义解析已经取得了很大的进展,但目前大多数语义解析器都非常慢(基于CKY),而且在表示上相当原始。我们介绍了三种新技术来解决这些问题。首先,我们设计了第一个线性时间增量移位-归约式语义解析算法,它比传统的线性时间自底向上语义解析器更有效。其次,我们的解析器,是类型驱动的,而不是语法驱动的,使用类型检查来决定减少的方向,这消除了对语法语法,如CCG的需要。第三,为了充分利用类型驱动语义解析的强大功能,超越简单类型(如实体和真值),我们借用程序设计语言理论中的子类型多态性和参数多态性的概念来丰富类型系统,以便更好地指导解析。我们的系统在GeoQuery,Jobs和Atis域中学习非常准确的解析。
2014-12-16 cs.CL
A Deep Architecture for Semantic Parsing
University of Oxford(牛津大学)
许多成功的语义解析方法都建立在文本的句法分析之上,并利用分布表示或统计模型将解析结果与特定于本体的查询进行匹配。本文提出了一种新的深度学习架构,通过联合语言语义的两个神经模型来提供语义解析系统。它允许从自然语言语句和问题中生成特定于本体的查询,而不需要解析,这使得它特别适合语法错误或语法不典型的文本,如tweets,以及允许为资源贫乏的语言开发语义解析器。
2014-04-29 cs.CL
CraftAssist Instruction Parsing: Semantic Parsing for a Minecraft Assistant
Facebook AI Research(脸书人工智能研究院)
我们提出了一个大规模的语义解析数据集专注于与Minecraft中的代理进行预防驱动的通信。我们描述的数据汇集过程中,产生额外的35K人类生成的指令与他们的语义注释。我们报告了三个基准模型的性能,发现虽然这种大小的数据集可以帮助我们训练一个可用的指令解析器,但它仍然带来了有趣的泛化挑战,我们希望这将有助于开发更好,更强大的模型。
2019-04-17 cs.AI cs.CL
Semantic Parsing for Task Oriented Dialog using Hierarchical Representations
Facebook Conversational AI(Facebook 对话人工智能);Facebook AI Research(Facebook 人工智能研究院)
面向任务的对话系统通常首先将用户话语解析为包括意图和槽的语义框架。以前关于面向任务的意图和槽填充工作的工作被限制为每个查询一个意图和每个令牌一个槽标签,因此无法对复杂的组合请求进行建模。替代的语义解析系统已经将查询表示为逻辑形式,但是这些对于注释和解析是具有挑战性的。我们提出了一个层次化的语义解析的注释方案,允许组合查询的表示,并可以有效地和准确地解析标准的选区解析模型。我们发布了一个44k注释查询的数据集(fb.me/semanticparsingdialog),并表明解析模型在这个数据集上的性能优于序列到序列的方法。
2018-10-18 cs.CL
Universal Decompositional Semantic Parsing
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
我们引入了一个转换模型解析到通用分解语义(UDS)表示,共同学习映射自然语言的话语到UDS图结构和注释的图与分解语义属性得分。我们还介绍了一个强大的管道模型解析到UDS图结构,并表明,我们的转换解析器执行的同时,还执行属性预测。通过分析属性预测误差,我们发现该模型捕捉属性组之间的自然关系。
2020-05-02 cs.CL
SLING: A framework for frame semantic parsing
Google Inc.(谷歌公司)
我们描述了SLING,一个用于将自然语言解析成语义框架的框架。SLING支持通用的基于转换的神经网络解析,具有双向LSTM输入编码和基于转换的递归单元(TBRU)用于输出解码。解析模型只使用文本标记作为输入进行端到端的训练。转换系统被设计成直接输出框架图,而不需要任何介入的符号表示。SLING框架包括一个有效的和可扩展的帧存储实现,以及一个神经网络JIT编译器,用于在解析过程中进行快速推理。SLING是用C++实现的,可以在GitHub上下载。
2017-10-19 cs.CL
Open-source Frame Semantic Parsing
University College London(伦敦大学学院)
虽然近年来框架语义解析的最新技术取得了巨大的进步,但最终用户仍然很难将最新技术的模型应用于实践。为了解决这个问题,我们提出了Frame Semantic Transformer,这是一个开源的Python库,它在FrameNet 1.7上实现了接近最先进的性能,同时专注于易用性。我们使用一个T5模型微调Propbank和FrameNet范例作为基础,并通过使用FrameNet词汇单元在推理时提供T5的提示来提高性能。我们通过在训练过程中使用文本数据增强来增强对真实数据的鲁棒性。
2023-03-22 cs.AI cs.CL cs.LG
A Graph-Based Neural Model for End-to-End Frame Semantic Parsing
Tianjin University(天津大学)
框架语义解析是近年来备受关注的基于框架网的语义分析任务。该任务通常依次包括三个子任务:(1)目标识别,(2)框架分类和(3)语义角色标注。这三个子任务紧密相关,以往的研究将它们单独建模,忽略了它们之间的内在联系,同时也导致了错误传播问题。在这项工作中,我们提出了一个端到端的神经模型来联合处理任务。具体地说,我们采用了一种基于图的方法,把框架语义解析看作是一个图的构造问题。所有的谓词和角色被视为图节点,它们之间的关系被视为图边。在两个框架语义解析基准数据集上的实验结果表明,该方法具有很强的竞争力,性能优于流水线模型。
2021-09-25 cs.CL
Few-Shot Semantic Parsing for New Predicates
Monash University(莫纳什大学)
在这项工作中,我们调查的问题,语义解析在少样本学习设置。在这种情况下,每个新谓词都有话语-逻辑形式对。当k= 1时,最先进的神经语义解析器在基准数据集上的准确率低于25%。为了解决这个问题,我们建议i)应用指定的元学习方法来训练模型; ii)使用对齐统计来正则化注意力分数; iii)在预训练中应用平滑技术。因此,我们的方法在一次和两次拍摄设置中始终优于所有基线。
2021-01-26 cs.AI cs.CL cs.LG
Multitask Parsing Across Semantic Representations
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
整合不同类型信息的能力是智力的核心,在允许学习一项任务时,可以从为其他任务学习的概括中受益,这具有巨大的实用价值。在本文中,我们解决了具有挑战性的任务,以提高语义解析的性能,UCCA解析作为测试用例,AMR,SDP和通用语法(UD)解析作为辅助任务。我们在三种语言上进行实验,使用统一的基于转换的系统和学习架构来完成所有解析任务。尽管显着的概念,形式和域的差异,我们表明,多任务学习显着提高UCCA解析域内和域外的设置。
2018-05-01 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen(格罗宁根大学)
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记,与基线字符级模型相比,我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型,但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成,在性能上会有很小的提高。
2017-04-19 cs.CL
Broad-Coverage Semantic Parsing as Transduction
Johns Hopkins University(约翰斯·霍普金斯大学)
我们统一了不同的广泛覆盖的语义解析任务下的转导范式,并提出了一个基于注意力的神经框架,逐步建立一个意义表示通过一系列的语义关系。通过利用多个注意力机制,可以有效地训练换能器而不依赖于预先训练的对准器。在三个独立的广泛覆盖的语义解析任务- AMR,SDP和UCCA -上进行的实验表明,我们的基于注意力的神经传感器提高了AMR和UCCA的最新技术水平,并且与SDP的最新技术水平相竞争。
2019-11-04 cs.CL
Toward Code Generation: A Survey and Lessons from Semantic Parsing
Intel Labs(英特尔实验室);University of Pennsylvania(宾夕法尼亚大学)
随着自然语言处理技术的发展和对提高软件工程效率的需求,人们对将意图从人类语言翻译成程序设计语言产生了兴趣。在这篇调查论文中,我们试图概述这一领域不断增长的研究。我们首先回顾自然语言语义解析技术,并与程序合成的努力。然后,我们认为语义解析作品从进化的角度来看,神经符号的方法,架构和监督的具体分析。然后,我们分析了代码生成的语义解析框架的进步。最后,我们提出了我们认为在这一领域正在出现的一些公开挑战。
2021-04-26 cs.CL cs.LG cs.PL
Error-Aware Interactive Semantic Parsing of OpenStreetMap
Heidelberg University(海德堡大学)
在对诸如OpenStreetMap(OSM)之类的真实世界数据库进行地理查询的语义解析中,不一定存在唯一的正确答案。相反,真相可能在用户眼中,用户需要进入一个交互式设置,在那里可以解决歧义并纠正解析错误。我们的工作提出了一种交互式语义解析的方法,其中执行一个明确的错误检测,并产生一个澄清问题,查明可疑来源的歧义或错误,并将其传达给人类用户。我们的实验结果表明,基于熵的不确定性检测和束搜索的组合,以及对澄清问题,初始解析和用户答案的多源训练,导致解析器上的F1分数提高了1.2%,该解析器在NLMaps数据集上已经执行了90.26%的OSM语义解析。
2021-06-22 cs.CL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
领域通用语义解析是自然语言处理中的长期目标,其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督,以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型,并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法,用于训练,解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程(HDP)的结构化预测,我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov(2022)的论文,其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov,Saraswat和Mitchell(2017)首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中,训练算法,解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外,我们扩展了早期的工作与一个新的模型的词形态,它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
Data Recombination for Neural Semantic Parsing
Stanford University(斯坦福大学)
在语义解析中,对清晰的逻辑推理进行建模是至关重要的,这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中,我们介绍了数据重组,一种新的框架注入这样的先验知识模型。从训练数据中,我们归纳出一个高精度的同步上下文无关文法,它捕获了语义解析中常见的重要条件独立属性。然后,我们训练一个序列到序列递归网络(RNN)模型,该模型具有一种新的基于注意力的复制机制,该机制基于从该语法中采样的数据点,从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性,从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
Holistic Exploration on Universal Decompositional Semantic Parsing: Architecture, Data Augmentation, and LLM Paradigm
Harbin Institute of Technology(哈尔滨工业大学)
本文整体探索通用分解语义解析,提出级联模型分解任务,优于先前模型并减少推理时间,融入句法信息优化架构,探索数据增强,并评估ChatGPT在UDS任务中的表现,发现其在属性解析强而关系解析弱。
2023-07-25 cs.CL
Improving Semantic Parsing with Neural Generator-Reranker Architecture
Stanford University(斯坦福大学);Google Research(谷歌研究院);Google Inc.(谷歌公司)
语义解析是从自然语言话语中导出机器可解释的含义表示的问题。具有编码器-解码器架构的神经模型最近相对于传统方法取得了实质性的改进。虽然神经语义解析器似乎具有相对较高的召回率使用大的波束尺寸,有改进的空间方面的一个最佳精度。在这项工作中,我们提出了一个生成器-reranker架构的语义解析。生成器产生一个潜在的候选人列表和reranker,其中包括一个预处理步骤的候选人,其次是一个新的评论家网络,重新排名这些候选人之间的相似性的基础上,每个候选人和输入的句子。我们展示了这种方法的优点以及它如何通过广泛的分析提高解析性能。我们在三个语义解析数据集(GEO,ATIS和OVERNIGHT)上对我们的模型进行了实验。整体架构在所有三个数据集中实现了最先进的结果。
2019-09-27 cs.CL
Integrating Multiple Knowledge Sources for Robust Semantic Parsing
本文的工作为无限制文本的语义解析探索了一种新的鲁棒方法。我们的方法认为,语义解析作为一个一致的标签问题(CLP),允许集成的几种知识类型(语法和语义)从不同的来源(语言和统计)。目前的实现获得95%的模型识别准确率和72%的情况下,角色填充。
2001-09-17 cs.AI cs.CL
Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies
University of Copenhagen(哥本哈根大学)
在语义依存句法分析(SDP)中,语义关系形成有向无环图,而不是树。我们提出了一个新的迭代谓词选择(IPS)算法的SDP。我们的IPS算法结合了基于图和基于转换的解析方法,以处理多个语义中心词。我们使用多任务学习和特定于任务的策略梯度训练的组合来训练IPS模型。通过这种方式训练,IPS在SemEval 2015 Task 18数据集上达到了新的技术水平。此外,我们观察到,策略梯度训练学习一个容易的第一个策略。
2019-06-04 cs.CL
Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data
Google Research(谷歌研究院)
虽然在单一语言上微调的多语言预训练语言模型(LM)已经显示出大量的跨语言任务传输能力,但当目标语言监督可用时,在语义解析任务中仍然存在很大的性能差距。在本文中,我们提出了一种新的翻译和填充(TaF)方法产生银训练数据的多语言语义分析器。该方法简化了流行的翻译对齐项目(TAP)管道,并由一个序列到序列的填充模型,构建一个完整的解析条件的话语和相同的解析视图。我们的填充器仅在英语数据上进行训练,但可以准确地完成其他语言的实例(即,英语训练话语的翻译)。在三个多语种语义解析数据集上的实验结果表明,与传统对齐技术相比,TaF的数据增强具有竞争力的准确率。
2021-09-09 cs.AI cs.CL cs.LG
Learning Structured Natural Language Representations for Semantic Parsing
University of Edinburgh(爱丁堡大学);IBM T.J. Watson Research(IBM T.J. Watson研究院)
我们介绍了一个神经语义解析器,转换自然语言的话语中间表示形式的谓词参数结构,这是诱导与过渡系统,随后映射到目标域。语义解析器使用带注释的逻辑形式或它们的表示进行端到端的训练。我们在各种数据集上获得了有竞争力的结果。归纳的谓词-论元结构揭示了用于语义解析的表征类型,以及这些表征与语言动机表征的不同之处。
2017-06-14 cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA,一个基于规则的自然语言处理系统解决棘手的问题,句法歧义减少和词义消歧,以及提供创新和原始的解决方案,成分生成和约束管理。为了深入了解它是如何运作的,该系统的总体架构和组件,以及它的词汇,语法和语义资源进行了描述。在此基础上,本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制,从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
Memory-Based Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们提出了一个基于记忆的上下文相关的语义解析模型。先前的方法集中于使解码器能够从先前的话语复制或修改解析,假设当前解析与先前解析之间存在依赖性。在这项工作中,我们建议使用外部存储器来表示上下文信息。我们学习一个上下文记忆控制器,它通过维护连续用户话语的累积意义来管理记忆。我们评估我们的方法上的三个语义解析基准。实验结果表明,我们的模型可以更好地处理上下文相关的信息,并表现出改善的性能,而不使用特定于任务的解码器。
2021-09-07 cs.CL
Counterfactual Learning from Human Proofreading Feedback for Semantic Parsing
Heidelberg University(海德堡大学)
在用于问答的语义解析中,收集黄金解析甚至黄金答案作为监督信号通常代价太高。我们建议将模型输出转换为一组人类可理解的语句,允许非专家用户充当校对员,为解析器提供错误标记作为学习信号。由于模型输出是由历史系统建议的,因此我们在反事实或非政策的学习设置中操作。我们引入新的估计,可以有效地利用给定的反馈,避免已知的退化反事实学习,同时仍然适用于神经语义解析的随机梯度优化。此外,我们讨论了我们的反馈收集方法可以无缝集成到部署的虚拟个人助理,嵌入语义解析器。我们的工作是第一个表明,语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-29 cs.CL cs.LG stat.ML
A Globally Normalized Neural Model for Semantic Parsing
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);Borealis AI(北极光人工智能研究院)
本文提出了一种基于上下文无关文法(CFG)的语义解析的全局规范化模型。我们的模型不是预测概率,而是在每一步预测一个实值分数,并且不会受到标签偏差问题的影响。实验表明,我们的方法在小数据集上的性能优于局部归一化模型,但在大数据集上没有得到改善。
2021-06-07 cs.CL
Simple, Fast Semantic Parsing with a Tensor Kernel
University of Sussex(萨塞克斯大学)
我们描述了一个简单的方法,语义解析的基础上的张量积核。我们提取两个特征向量:一个用于查询,一个用于每个候选逻辑形式。然后,我们使用两个向量的张量积训练分类器。我们的系统对两者都使用非常简单的功能,在WebQuestions数据集中获得了40.1%的平均F1分数。这与更复杂的系统相当,但更容易实现,运行速度更快。
2015-07-02 cs.CL
Cross-domain Semantic Parsing via Paraphrasing
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
现有的语义解析研究主要集中在域内环境。我们将跨领域语义解析归结为一个领域自适应问题:训练一个源领域的语义分析器,然后使其适应目标领域。由于不同领域的逻辑形式的多样性,这个问题提出了独特的和有趣的挑战。通过将逻辑形式转换为自然语言中的规范话语,将语义解析简化为释义,建立了一个具有通用性和灵活性的注意序列到序列释义模型。我们发现了两个问题,小的微观方差和大的宏观方差,预训练的词嵌入,阻碍了他们的直接使用在神经网络,并提出标准化技术作为补救措施。在流行的Overnight数据集上,它包含八个域,我们表明跨域训练和标准化的预训练词嵌入都可以带来显着的改善。
2017-07-24 cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University(萨尔大学)
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器,实现了,第一次,竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性,在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
Polyglot Semantic Parsing in APIs
University of Stuttgart(斯图加特大学);Tel-Aviv University(特拉维夫大学)
传统的语义解析(SP)方法是通过为每个可用的文本-含义对并行数据集训练单独的模型来工作的。在本文中,我们探索了多语言语义翻译的想法,或者学习在多个数据集和自然语言上训练的语义解析模型。特别是,我们专注于使用Richardson和Kuhn(2017 a,b)的软件组件数据集将文本转换为代码签名表示。这种模型的优点在于,它们可以用于使用单个统一模型来解析各种各样的输入自然语言和输出程序设计语言或混合输入语言。为了便于这种类型的建模,我们开发了一种新的基于图的解码框架,在上述数据集上实现了最先进的性能,并将这种方法应用于另外两个基准SP任务。
2018-04-18 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI(亚马逊Alexa人工智能部门)
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型,他们,我们调查使用多任务学习(MTL)架构。我们使用五个数据集(Geoquery,NLMaps,TOP,Overnight,AMR)进行实验。我们发现,跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性,同时将参数总数减少了68%。我们进一步提供的证据表明,MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较,并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre(三星人工智能中心);Peak AI;University of Edinburgh(爱丁堡大学)
语义解析是一种有向无环图(DAG),因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战,因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单,也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法,一个图形感知的序列模型,确保只有良好的图形,同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果,并为德语,意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了PERIN,一种新的置换不变的方法来实现图到图的语义解析。PERIN是一个通用的,跨框架和语言独立的体系结构的语义结构的通用建模。我们的系统参与了CoNLL 2020共享任务,跨框架意义表示解析(MRP 2020),在四种语言的五种不同框架(AMR,DRG,EDS,PTG和UCCA)上进行了评估。佩林是这项共同任务的获胜者之一。源代码和预训练模型可在https://github.com/ufal/perin上获得。
2020-11-02 cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中,我们提出了一个结构感知的神经架构,它分解成两个阶段的语义解析过程。给定一个输入话语,我们首先生成其含义的粗略草图,其中低级别信息(如变量名和参数)被掩盖。然后,我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明,我们的方法不断提高性能,实现竞争力的结果,尽管使用相对简单的解码器。
2018-05-12 cs.CL
Robust Semantic Parsing with Adversarial Learning for Domain Generalization
Orange Labs(奥兰治实验室);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
本文讨论了在对抗框架下语义解析的泛化问题。构建对文档间可变性更健壮的模型对于在实际应用中集成语义解析技术至关重要。整个研究的根本问题是对抗学习是否可以用于训练模型在更高的抽象层次上,以增加其鲁棒性词汇和风格的variation.We建议执行语义解析与域分类对抗任务没有明确的知识域。该策略首先评估法语语料库的pedic文件,注释与FrameNet,在信息检索的角度来看,然后在PropBank语义角色标注任务的CoNLL-2005基准。我们发现,对抗性学习提高了所有模型在域内和域外数据上的泛化能力。
2019-10-01 cs.CL
Translate First Reorder Later: Leveraging Monotonicity in Semantic Parsing
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);dMetrics(dMetrics公司)
先前在语义解析中的工作已经表明,传统的seq2seq模型在组合泛化任务中失败。这种限制导致了对句子及其相应含义表示之间的对齐进行建模的方法的复兴,这些方法要么通过隐变量进行隐式建模,要么通过利用对齐注释进行显式建模。我们采取第二个方向,并提出TPOL,一个两步的方法,首先单调地翻译输入句子,然后重新排序,以获得正确的输出。这是通过一个模块化框架来实现的,该框架包括一个翻译器和一个重新排序器组件。我们在两个流行的语义解析数据集上测试我们的方法。我们的实验表明,通过单调翻译,TPOL可以从对齐的数据中学习可靠的词汇逻辑模式,显着提高了传统seq2seq模型以及其他利用黄金对齐的方法的组成概括。
2023-02-06 cs.AI cs.CL cs.LG
Kicktionary-LOME: A Domain-Specific Multilingual Frame Semantic Parsing Model for Football Language
Center for Language and Cognition(语言与认知中心);University of Groningen(格罗宁根大学)
该技术报告介绍了LOME框架语义解析模型的改编版本(Xia等人,EACL 2021),它能够根据“Kicktionary”特定于域的框架网资源自动注释文本。提出了几种即使在有限的可用训练数据的情况下训练模型的方法。虽然存在一些与可用注释的性质相关的评估挑战,但初步结果非常有希望,最佳模型的F1分数达到0.83(帧预测)和0.81(语义角色预测)。
2021-08-12 cs.CL
Semantic Parsing of Mathematics by Context-based Learning from Aligned Corpora and Theorem Proving
University of Innsbruck(因斯布鲁克大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们研究的非正式数学表达式到正式的,深入的计算机理解的非正式数学文本的主要先决条件的自动解析方法。我们提出了一种基于上下文的解析方法,结合了有效的统计学习的深度解析树的语义修剪类型检查和大理论自动定理证明。我们表明,这些方法非常显着地改进了Flyspeck语料库中解析定理的先前结果。
2016-11-29 cs.AI cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi(印度理工学院德里分校)
与之前在语义解析(Kamath和Das,2018)和知识库问答(KBQA)(Chakraborty等人,2019; Zhu等人,2019; Hoffner等人,2017)我们试图从不同的角度来研究语义解析。具体来说,我们将集中在(a)从句法结构(Partee,1975年)的意义组合,(b)语义分析器处理给定的知识库(KB)上下文的词汇变化的能力。在接下来的部分中,在介绍了语义解析领域及其在KBQA中的应用之后,我们将描述使用语法形式主义CCG(Steedman,1996)的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中,我们将考虑使用形式语言的系统,例如$λ$ -演算(Steedman,1996),$λ$ -DCS(Liang,2013)。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions(Bao et al.,2016)和GraphQuestions(Su et al.,2016),可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL