Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University(阿尔帕斯兰·蒂尔凯什科技大学);Research Institute in Information and Language Processing(信息与语言处理研究所);University of Wolverhampton(伍尔弗汉普顿大学)
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序,如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中,我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法,而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Hierarchical Neural Data Synthesis for Semantic Parsing
Borealis AI(北极光人工智能)
收集语义解析数据集的成本很高,而且即使是作为语义解析系统输入的与给定领域相关的问题也可能不容易获得,特别是在跨领域的语义解析中。这使得数据增强更具挑战性。现有的合成新数据的方法使用手工制定或诱导的规则,需要大量的工程工作和语言专业知识来实现良好的覆盖率和精确度,这限制了可扩展性。在这项工作中,我们提出了一个纯粹的神经方法的数据增强的语义解析,完全消除了语法工程的需要,同时实现更高的语义解析的准确性。此外,我们的方法可以合成在zero-shot设置,只有一个新的域模式是可用的,没有任何输入输出的新域的例子。在Spider跨域文本到SQL语义解析基准测试中,我们使用我们的zero-shot增强在开发集上实现了最先进的性能(77.2%的准确率)。
2021-12-04 cs.CL
Sequence-to-Action: End-to-End Semantic Graph Generation for Semantic Parsing
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种神经语义解析方法-- Sequence-to-Action,它将语义解析建模为一个端到端的语义图生成过程。我们的方法同时利用了语义解析的两个最近有前途的方向的优势。首先,我们的模型使用一个语义图来表示一个句子的意义,这与知识库有一个紧耦合。其次,利用神经网络模型强大的表示学习和预测能力,我们提出了一个RNN模型,可以有效地映射句子到动作序列的语义图生成。实验结果表明,该方法在OVERNIGHT数据集上达到了最佳的性能,在GEO和ATIS数据集上也有竞争力的性能。
2018-09-04 cs.CL
Calibrated Interpretation: Confidence Estimation in Semantic Parsing
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究语义解析生成模型的校准问题,在四个数据集上评估校准表现,分析校准误差相关因素,并发布基于置信度的挑战性数据划分和校准指标计算库,以推动安全语义解析系统的发展。
2023-07-06 cs.CL
Compositional Semantic Parsing on Semi-Structured Tables
Stanford University(斯坦福大学)
问答语义解析的两个重要方面是知识源的广度和逻辑组合的深度。虽然现有的工作从一个方面到另一个方面,本文同时通过一个新的任务在两个方面取得了进展:使用问答对作为监督,在半结构化表格上回答复杂的问题。核心挑战来自两个复合因素:更广泛的领域导致一组开放式的关系,更深层次的组合性导致逻辑形式空间的组合爆炸。我们提出了一个逻辑形式驱动的解析算法引导强类型约束,并表明它获得了显着的改善自然基线。为了进行评估,我们在维基百科表格上创建了一个包含22,033个复杂问题的新数据集,该数据集可供公众使用。
2015-08-03 cs.CL
Retrieval-Augmented Semantic Parsing: Improving Generalization with Lexical Knowledge
University of Groningen(Groningen 大学);Leiden University(莱顿大学)
本文针对开放域语义解析中神经模型难以处理未见过概念的问题,提出检索增强语义解析(RASP)方法,将外部符号知识整合到解析过程,实验表明该方法可显著提升大型语言模型在分布外概念上的性能,几乎翻倍。
2025-08-20 cs.CL
Type-Driven Incremental Semantic Parsing with Polymorphism
City University of New York(纽约市立大学)
语义解析已经取得了很大的进展,但目前大多数语义解析器都非常慢(基于CKY),而且在表示上相当原始。我们介绍了三种新技术来解决这些问题。首先,我们设计了第一个线性时间增量移位-归约式语义解析算法,它比传统的线性时间自底向上语义解析器更有效。其次,我们的解析器,是类型驱动的,而不是语法驱动的,使用类型检查来决定减少的方向,这消除了对语法语法,如CCG的需要。第三,为了充分利用类型驱动语义解析的强大功能,超越简单类型(如实体和真值),我们借用程序设计语言理论中的子类型多态性和参数多态性的概念来丰富类型系统,以便更好地指导解析。我们的系统在GeoQuery,Jobs和Atis域中学习非常准确的解析。
2014-12-16 cs.CL
A Deep Architecture for Semantic Parsing
University of Oxford(牛津大学)
许多成功的语义解析方法都建立在文本的句法分析之上,并利用分布表示或统计模型将解析结果与特定于本体的查询进行匹配。本文提出了一种新的深度学习架构,通过联合语言语义的两个神经模型来提供语义解析系统。它允许从自然语言语句和问题中生成特定于本体的查询,而不需要解析,这使得它特别适合语法错误或语法不典型的文本,如tweets,以及允许为资源贫乏的语言开发语义解析器。
2014-04-29 cs.CL
Semantic Parsing for Task Oriented Dialog using Hierarchical Representations
Facebook Conversational AI(Facebook 对话人工智能);Facebook AI Research(Facebook 人工智能研究院)
面向任务的对话系统通常首先将用户话语解析为包括意图和槽的语义框架。以前关于面向任务的意图和槽填充工作的工作被限制为每个查询一个意图和每个令牌一个槽标签,因此无法对复杂的组合请求进行建模。替代的语义解析系统已经将查询表示为逻辑形式,但是这些对于注释和解析是具有挑战性的。我们提出了一个层次化的语义解析的注释方案,允许组合查询的表示,并可以有效地和准确地解析标准的选区解析模型。我们发布了一个44k注释查询的数据集(fb.me/semanticparsingdialog),并表明解析模型在这个数据集上的性能优于序列到序列的方法。
2018-10-18 cs.CL
Universal Decompositional Semantic Parsing
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
我们引入了一个转换模型解析到通用分解语义(UDS)表示,共同学习映射自然语言的话语到UDS图结构和注释的图与分解语义属性得分。我们还介绍了一个强大的管道模型解析到UDS图结构,并表明,我们的转换解析器执行的同时,还执行属性预测。通过分析属性预测误差,我们发现该模型捕捉属性组之间的自然关系。
2020-05-02 cs.CL
SLING: A framework for frame semantic parsing
Google Inc.(谷歌公司)
我们描述了SLING,一个用于将自然语言解析成语义框架的框架。SLING支持通用的基于转换的神经网络解析,具有双向LSTM输入编码和基于转换的递归单元(TBRU)用于输出解码。解析模型只使用文本标记作为输入进行端到端的训练。转换系统被设计成直接输出框架图,而不需要任何介入的符号表示。SLING框架包括一个有效的和可扩展的帧存储实现,以及一个神经网络JIT编译器,用于在解析过程中进行快速推理。SLING是用C++实现的,可以在GitHub上下载。
2017-10-19 cs.CL
A Graph-Based Neural Model for End-to-End Frame Semantic Parsing
Tianjin University(天津大学)
框架语义解析是近年来备受关注的基于框架网的语义分析任务。该任务通常依次包括三个子任务:(1)目标识别,(2)框架分类和(3)语义角色标注。这三个子任务紧密相关,以往的研究将它们单独建模,忽略了它们之间的内在联系,同时也导致了错误传播问题。在这项工作中,我们提出了一个端到端的神经模型来联合处理任务。具体地说,我们采用了一种基于图的方法,把框架语义解析看作是一个图的构造问题。所有的谓词和角色被视为图节点,它们之间的关系被视为图边。在两个框架语义解析基准数据集上的实验结果表明,该方法具有很强的竞争力,性能优于流水线模型。
2021-09-25 cs.CL
Multitask Parsing Across Semantic Representations
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
整合不同类型信息的能力是智力的核心,在允许学习一项任务时,可以从为其他任务学习的概括中受益,这具有巨大的实用价值。在本文中,我们解决了具有挑战性的任务,以提高语义解析的性能,UCCA解析作为测试用例,AMR,SDP和通用语法(UD)解析作为辅助任务。我们在三种语言上进行实验,使用统一的基于转换的系统和学习架构来完成所有解析任务。尽管显着的概念,形式和域的差异,我们表明,多任务学习显着提高UCCA解析域内和域外的设置。
2018-05-01 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen(格罗宁根大学)
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记,与基线字符级模型相比,我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型,但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成,在性能上会有很小的提高。
2017-04-19 cs.CL
Broad-Coverage Semantic Parsing as Transduction
Johns Hopkins University(约翰斯·霍普金斯大学)
我们统一了不同的广泛覆盖的语义解析任务下的转导范式,并提出了一个基于注意力的神经框架,逐步建立一个意义表示通过一系列的语义关系。通过利用多个注意力机制,可以有效地训练换能器而不依赖于预先训练的对准器。在三个独立的广泛覆盖的语义解析任务- AMR,SDP和UCCA -上进行的实验表明,我们的基于注意力的神经传感器提高了AMR和UCCA的最新技术水平,并且与SDP的最新技术水平相竞争。
2019-11-04 cs.CL
Structured Sentiment Analysis as Dependency Graph Parsing
National Library of Sweden(瑞典国家图书馆);University of Oslo(奥斯陆大学)
结构化情感分析试图从文本中提取完整的意见元组,但随着时间的推移,该任务已被细分为越来越小的子任务,例如,目标提取或目标极性分类。我们认为,这种分裂已成为适得其反,并提出了一个新的统一框架,以纠正这种情况。我们将结构化情感问题转化为依赖图分析,其中节点是情感持有者、目标和表达式的跨度,弧是它们之间的关系。我们在四种语言(英语,挪威语,巴斯克语和加泰罗尼亚语)的五个数据集上进行了实验,并表明这种方法比最先进的基线有了很大的改进。我们的分析表明,用句法依赖信息细化情感图进一步改善了结果。
2021-05-30 cs.CL
Error-Aware Interactive Semantic Parsing of OpenStreetMap
Heidelberg University(海德堡大学)
在对诸如OpenStreetMap(OSM)之类的真实世界数据库进行地理查询的语义解析中,不一定存在唯一的正确答案。相反,真相可能在用户眼中,用户需要进入一个交互式设置,在那里可以解决歧义并纠正解析错误。我们的工作提出了一种交互式语义解析的方法,其中执行一个明确的错误检测,并产生一个澄清问题,查明可疑来源的歧义或错误,并将其传达给人类用户。我们的实验结果表明,基于熵的不确定性检测和束搜索的组合,以及对澄清问题,初始解析和用户答案的多源训练,导致解析器上的F1分数提高了1.2%,该解析器在NLMaps数据集上已经执行了90.26%的OSM语义解析。
2021-06-22 cs.CL
Data Recombination for Neural Semantic Parsing
Stanford University(斯坦福大学)
在语义解析中,对清晰的逻辑推理进行建模是至关重要的,这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中,我们介绍了数据重组,一种新的框架注入这样的先验知识模型。从训练数据中,我们归纳出一个高精度的同步上下文无关文法,它捕获了语义解析中常见的重要条件独立属性。然后,我们训练一个序列到序列递归网络(RNN)模型,该模型具有一种新的基于注意力的复制机制,该机制基于从该语法中采样的数据点,从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性,从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
Holistic Exploration on Universal Decompositional Semantic Parsing: Architecture, Data Augmentation, and LLM Paradigm
Harbin Institute of Technology(哈尔滨工业大学)
本文整体探索通用分解语义解析,提出级联模型分解任务,优于先前模型并减少推理时间,融入句法信息优化架构,探索数据增强,并评估ChatGPT在UDS任务中的表现,发现其在属性解析强而关系解析弱。
2023-07-25 cs.CL
Improving Semantic Parsing with Neural Generator-Reranker Architecture
Stanford University(斯坦福大学);Google Research(谷歌研究院);Google Inc.(谷歌公司)
语义解析是从自然语言话语中导出机器可解释的含义表示的问题。具有编码器-解码器架构的神经模型最近相对于传统方法取得了实质性的改进。虽然神经语义解析器似乎具有相对较高的召回率使用大的波束尺寸,有改进的空间方面的一个最佳精度。在这项工作中,我们提出了一个生成器-reranker架构的语义解析。生成器产生一个潜在的候选人列表和reranker,其中包括一个预处理步骤的候选人,其次是一个新的评论家网络,重新排名这些候选人之间的相似性的基础上,每个候选人和输入的句子。我们展示了这种方法的优点以及它如何通过广泛的分析提高解析性能。我们在三个语义解析数据集(GEO,ATIS和OVERNIGHT)上对我们的模型进行了实验。整体架构在所有三个数据集中实现了最先进的结果。
2019-09-27 cs.CL
Structured Sentiment Analysis Using Sequence Labeling as Dependency Graph Parsing
Universidade da Coruña(拉科鲁尼亚大学);Graz University of Technology(格拉茨工业大学);University of Copenhagen(哥本哈根大学)
本研究将结构化情感分析转化为依存图解析任务,利用线性化图编码的序列标注方法,在五种语言七个数据集上取得与领先复杂单模型相当的性能。
2026-10-09 cs.CL
Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies
University of Copenhagen(哥本哈根大学)
在语义依存句法分析(SDP)中,语义关系形成有向无环图,而不是树。我们提出了一个新的迭代谓词选择(IPS)算法的SDP。我们的IPS算法结合了基于图和基于转换的解析方法,以处理多个语义中心词。我们使用多任务学习和特定于任务的策略梯度训练的组合来训练IPS模型。通过这种方式训练,IPS在SemEval 2015 Task 18数据集上达到了新的技术水平。此外,我们观察到,策略梯度训练学习一个容易的第一个策略。
2019-06-04 cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA,一个基于规则的自然语言处理系统解决棘手的问题,句法歧义减少和词义消歧,以及提供创新和原始的解决方案,成分生成和约束管理。为了深入了解它是如何运作的,该系统的总体架构和组件,以及它的词汇,语法和语义资源进行了描述。在此基础上,本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制,从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
Memory-Based Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们提出了一个基于记忆的上下文相关的语义解析模型。先前的方法集中于使解码器能够从先前的话语复制或修改解析,假设当前解析与先前解析之间存在依赖性。在这项工作中,我们建议使用外部存储器来表示上下文信息。我们学习一个上下文记忆控制器,它通过维护连续用户话语的累积意义来管理记忆。我们评估我们的方法上的三个语义解析基准。实验结果表明,我们的模型可以更好地处理上下文相关的信息,并表现出改善的性能,而不使用特定于任务的解码器。
2021-09-07 cs.CL
A Globally Normalized Neural Model for Semantic Parsing
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);Borealis AI(北极光人工智能研究院)
本文提出了一种基于上下文无关文法(CFG)的语义解析的全局规范化模型。我们的模型不是预测概率,而是在每一步预测一个实值分数,并且不会受到标签偏差问题的影响。实验表明,我们的方法在小数据集上的性能优于局部归一化模型,但在大数据集上没有得到改善。
2021-06-07 cs.CL
Simple, Fast Semantic Parsing with a Tensor Kernel
University of Sussex(萨塞克斯大学)
我们描述了一个简单的方法,语义解析的基础上的张量积核。我们提取两个特征向量:一个用于查询,一个用于每个候选逻辑形式。然后,我们使用两个向量的张量积训练分类器。我们的系统对两者都使用非常简单的功能,在WebQuestions数据集中获得了40.1%的平均F1分数。这与更复杂的系统相当,但更容易实现,运行速度更快。
2015-07-02 cs.CL
Cross-domain Semantic Parsing via Paraphrasing
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
现有的语义解析研究主要集中在域内环境。我们将跨领域语义解析归结为一个领域自适应问题:训练一个源领域的语义分析器,然后使其适应目标领域。由于不同领域的逻辑形式的多样性,这个问题提出了独特的和有趣的挑战。通过将逻辑形式转换为自然语言中的规范话语,将语义解析简化为释义,建立了一个具有通用性和灵活性的注意序列到序列释义模型。我们发现了两个问题,小的微观方差和大的宏观方差,预训练的词嵌入,阻碍了他们的直接使用在神经网络,并提出标准化技术作为补救措施。在流行的Overnight数据集上,它包含八个域,我们表明跨域训练和标准化的预训练词嵌入都可以带来显着的改善。
2017-07-24 cs.CL
Compositional Semantic Parsing Across Graphbanks
Saarland University(萨尔大学)
大多数将句子映射到基于图的含义表示的语义解析器都是为特定的图库手工设计的。我们提出了一个组成的神经语义解析器,实现了,第一次,竞争力的准确性在不同范围的graphbanks。BERT嵌入和多任务学习进一步提高了准确性,在DM、PAS、PSD、AMR 2015和EDS上创造了新的技术水平。
2019-07-13 cs.CL
Polyglot Semantic Parsing in APIs
University of Stuttgart(斯图加特大学);Tel-Aviv University(特拉维夫大学)
传统的语义解析(SP)方法是通过为每个可用的文本-含义对并行数据集训练单独的模型来工作的。在本文中,我们探索了多语言语义翻译的想法,或者学习在多个数据集和自然语言上训练的语义解析模型。特别是,我们专注于使用Richardson和Kuhn(2017 a,b)的软件组件数据集将文本转换为代码签名表示。这种模型的优点在于,它们可以用于使用单个统一模型来解析各种各样的输入自然语言和输出程序设计语言或混合输入语言。为了便于这种类型的建模,我们开发了一种新的基于图的解码框架,在上述数据集上实现了最先进的性能,并将这种方法应用于另外两个基准SP任务。
2018-04-18 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI(亚马逊Alexa人工智能部门)
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型,他们,我们调查使用多任务学习(MTL)架构。我们使用五个数据集(Geoquery,NLMaps,TOP,Overnight,AMR)进行实验。我们发现,跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性,同时将参数总数减少了68%。我们进一步提供的证据表明,MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较,并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre(三星人工智能中心);Peak AI;University of Edinburgh(爱丁堡大学)
语义解析是一种有向无环图(DAG),因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战,因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单,也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法,一个图形感知的序列模型,确保只有良好的图形,同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果,并为德语,意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了PERIN,一种新的置换不变的方法来实现图到图的语义解析。PERIN是一个通用的,跨框架和语言独立的体系结构的语义结构的通用建模。我们的系统参与了CoNLL 2020共享任务,跨框架意义表示解析(MRP 2020),在四种语言的五种不同框架(AMR,DRG,EDS,PTG和UCCA)上进行了评估。佩林是这项共同任务的获胜者之一。源代码和预训练模型可在https://github.com/ufal/perin上获得。
2020-11-02 cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中,我们提出了一个结构感知的神经架构,它分解成两个阶段的语义解析过程。给定一个输入话语,我们首先生成其含义的粗略草图,其中低级别信息(如变量名和参数)被掩盖。然后,我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明,我们的方法不断提高性能,实现竞争力的结果,尽管使用相对简单的解码器。
2018-05-12 cs.CL
Robust Semantic Parsing with Adversarial Learning for Domain Generalization
Orange Labs(奥兰治实验室);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
本文讨论了在对抗框架下语义解析的泛化问题。构建对文档间可变性更健壮的模型对于在实际应用中集成语义解析技术至关重要。整个研究的根本问题是对抗学习是否可以用于训练模型在更高的抽象层次上,以增加其鲁棒性词汇和风格的variation.We建议执行语义解析与域分类对抗任务没有明确的知识域。该策略首先评估法语语料库的pedic文件,注释与FrameNet,在信息检索的角度来看,然后在PropBank语义角色标注任务的CoNLL-2005基准。我们发现,对抗性学习提高了所有模型在域内和域外数据上的泛化能力。
2019-10-01 cs.CL
Kicktionary-LOME: A Domain-Specific Multilingual Frame Semantic Parsing Model for Football Language
Center for Language and Cognition(语言与认知中心);University of Groningen(格罗宁根大学)
该技术报告介绍了LOME框架语义解析模型的改编版本(Xia等人,EACL 2021),它能够根据“Kicktionary”特定于域的框架网资源自动注释文本。提出了几种即使在有限的可用训练数据的情况下训练模型的方法。虽然存在一些与可用注释的性质相关的评估挑战,但初步结果非常有希望,最佳模型的F1分数达到0.83(帧预测)和0.81(语义角色预测)。
2021-08-12 cs.CL
Lock-Free Parallel Perceptron for Graph-based Dependency Parsing
Peking University(北京大学)
依存句法分析是一项重要的自然语言处理任务。依存句法分析的一种流行方法是结构化感知器。尽管如此,基于图的依存句法分析具有$O(n^3)$的时间复杂度,并且它受到缓慢训练的影响。为了解决这个问题,我们提出了一个并行算法称为并行感知器。并行算法可以充分利用多核计算机,节省大量的训练时间。基于实验,我们观察到,在使用10个线程时,使用并行感知器的依存句法分析可以比传统结构化感知器方法获得快8倍的训练速度,并且准确率没有任何损失。
2017-03-02 cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi(印度理工学院德里分校)
与之前在语义解析(Kamath和Das,2018)和知识库问答(KBQA)(Chakraborty等人,2019; Zhu等人,2019; Hoffner等人,2017)我们试图从不同的角度来研究语义解析。具体来说,我们将集中在(a)从句法结构(Partee,1975年)的意义组合,(b)语义分析器处理给定的知识库(KB)上下文的词汇变化的能力。在接下来的部分中,在介绍了语义解析领域及其在KBQA中的应用之后,我们将描述使用语法形式主义CCG(Steedman,1996)的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中,我们将考虑使用形式语言的系统,例如$λ$ -演算(Steedman,1996),$λ$ -DCS(Liang,2013)。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions(Bao et al.,2016)和GraphQuestions(Su et al.,2016),可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
From Surface to Semantics: Semantic Structure Parsing for Table-Centric Document Analysis
University of New South Wales, Sydney, Australia(新南威尔士大学,悉尼,澳大利亚)
针对现有文档分析缺乏表格深度语义解析的问题,提出以表格为中心的语义解析框架 DOTABLER,通过定制数据集与模型微调实现文档结构解析与表格检索,在真实数据上表现优于 GPT-4o。
2025-08-14 cs.CL
Grammatical Sequence Prediction for Real-Time Neural Semantic Parsing
Bloomberg(彭博)
虽然序列到序列(seq 2seq)模型在许多自然语言处理任务中实现了最先进的性能,但对于实时的【形】应用程序来说,它们可能太慢。一个性能瓶颈是在大量词汇表上预测最有可能的下一个标记;规避此瓶颈的方法是当前的研究主题。我们专注于使用seq 2seq模型的语义解析,我们观察到,语法往往存在指定有效的正式表示的话语语义。通过开发一种通用的方法来限制seq 2seq模型的预测,语法上允许的延续,我们到达一个广泛适用的技术,加快语义解析。与没有语法限制的相同神经模型相比,该技术在具有大量词汇的内部数据集上加速了74%。
2019-07-25 cs.CL
Backpropagating through Structured Argmax using a SPIGOT
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了中间梯度优化技术(SPIGOT)的结构化投影,这是一种通过神经网络进行反向传播的新方法,其中包括硬决策结构化预测(例如,解析)。SPIGOT不需要边际推理,不像结构化注意力网络(Kim et al.,2017)和一些受强化学习启发的解决方案(Yogatama等人,2017年)。与所谓的直通估计器(Hinton,2012)一样,SPIGOT定义了与中间不可微运算相关的类梯度量,允许在它们之前和之后进行反向传播; SPIGOT的代理旨在确保在参数更新后,中间结构将保持良好的形式。我们在两个结构化的NLP管道上进行了实验:语法-语义依存句法分析和语义解析,然后进行情感分类。我们表明,SPIGOT训练导致更大的改善下游任务比模块化训练的管道,直通式估计器,结构化注意,达到一个新的最先进的语义依存句法分析。
2018-05-12 cs.CL
Contextual Semantic Parsing using Crowdsourced Spatial Descriptions
Institute for Artificial Intelligence, University of Leeds(利兹大学人工智能研究所)
我们描述了一个上下文解析器的机器人命令树库,一个新的众包资源。与以前的语义分析器,选择最可能的解析,我们认为不同的问题,解析使用额外的情景上下文之间的歧义消除不同的阅读句子。我们表明,多个语义分析可以搜索使用动态规划通过与空间规划师的互动,指导解析过程。我们能够通过排除与空间上下文不兼容的早期分析来解析接近线性时间的句子。我们报告了34%的准确率上限,因为我们的规划器正确处理了10,000个句子中的3,394个空间上下文。然而,我们的解析器实现了96.53%的精确匹配分数内的句子识别的规划器的子集进行解析,相比之下,82.14%的非上下文解析器。
2014-05-01 cs.CL
A Survey on Semantic Parsing
Oracle Labs(甲骨文实验室);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
当今世界上大量的信息存储在结构化和半结构化的知识库中。有效和简单的方法来查询它们是必不可少的,必须不限于只有那些谁在正式的查询语言的专业知识。语义解析领域涉及将自然语言话语转换为可以在知识库上容易地执行的逻辑形式。在这项调查中,我们研究了语义解析系统的各个组成部分,并讨论了突出的工作,从最初的基于规则的方法,目前的神经方法,程序合成。我们还讨论了使用不同级别的监督操作的方法,并强调了学习此类系统所面临的关键挑战。
2019-05-29 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
在这项工作中,我们探讨了新的想法,采用依存句法分析信息的上下文中的少样本学习,学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先,我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次,我们介绍了两种少样本学习方法,通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University(乔治城大学);University of Amsterdam(阿姆斯特丹大学);Saarland University(萨尔大学);University of Groningen(格罗宁根大学)
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题,提出基于新型量词辖域预测机制的组合式神经符号AMS解析器,可稳定输出合规结果,复杂句子解析表现更优。
2024-10-09 cs.CL
Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学)
我们提出了一个新的,高效的框架语义分析器,标签语义参数的框架谓词。使用强调召回的分段RNN的扩展构建,我们的基本系统实现了有竞争力的性能,而无需调用任何语法解析器。然后,我们介绍了一种方法,只在训练过程中使用来自Penn Treebank的短语句法注释,通过多任务目标;在训练或测试时不需要解析。这种“语法脚手架”提供了一种比传统的语法流水线更便宜的替代方案,并实现了最先进的性能。
2017-06-29 cs.CL
Semantic Parsing Natural Language into Relational Algebra
Northeastern University(东北大学)
数据库自然接口(NLIDB)是近几十年来国内外研究的热点问题之一。NLIDB的核心是一个语义解析器,用于将自然语言转换为SQL。传统NLP方法的解决方案侧重于通过中间逻辑形式进行语法规则模式学习和配对。虽然这些方法在某些特定的数据库和解析任务上提供了可接受的性能,但它们很难推广和扩展。另一方面,神经深度学习的最新进展似乎为构建通用NLIDB系统提供了一个有希望的方向。与传统方法不同,这些神经方法将解析问题视为序列到序列的学习问题。在本文中,我们实验了几个序列到序列的学习模型,并评估其性能的一般数据库解析任务。
2021-06-25 cs.CL
SmBoP: Semi-autoregressive Bottom-up Semantic Parsing
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
近年来,用于语义解析的事实标准解码方法是使用自顶向下的深度优先遍历对目标程序的抽象语法树进行自回归解码。在这项工作中,我们提出了一种替代方法:半自回归自自底向上的【形】解析器(SmBoP),在解码步骤$t$构建高度$\leq t$的顶部$K$子树。我们的解析器享有自顶向下自回归解析相比,几个好处。从效率的角度来看,自自底向上的【形】解析允许并行解码特定高度的所有子树,导致对数运行时复杂度而不是线性的。从建模的角度来看,自自底向上的【形】的解析器在每一步都学习有意义的语义子程序的表示,而不是语义空洞的部分树。我们将SmBoP应用于Spider,一个具有挑战性的zero-shot语义解析基准测试,并表明SmBoP导致解码时间的2.2倍加速和训练时间的$\sim$ 5倍加速,与使用自回归解码的语义解析器相比。SmBoP在Spider上获得了71.1的表示准确度,建立了一个新的最先进的技术,以及69.5的精确匹配,与自回归RAT-SQL+GraPPa的69.6精确匹配相当。
2021-04-11 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP(圣保罗大学);Institute of Mathematics and Statistics - IME(数学与统计学院)
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而,自然语言的人工自动翻译并不为生成的句子提供语法性保证,这样的保证对于实际情况是特别重要的,在实际情况中,如果句子不符合语法,则数据库查询可能导致要害差错。在这项工作中,我们提出了一个神经架构称为编码器CFG解码器,其输出符合给定的上下文无关文法。结果表明,任何实现这种架构显示其正确性,并提供基准精度水平优于文献。
2018-07-18 cs.CL
Sparse Fuzzy Attention for Structured Sentiment Analysis
Shanghai Jiao Tong University(上海交通大学)
注意力评分器在语义和句法依存句法分析等分析任务中取得了成功。然而,在建模为解析的任务中,如结构化情感分析,“依赖边”非常稀疏,这阻碍了解析器的性能。因此,我们提出了一个稀疏和模糊的注意力评分池层,提高解析器的性能,并设置新的国家的最先进的结构化情感分析。我们进一步探讨了结构化的情感分析与二阶解析的解析建模,并介绍了一种新的稀疏二阶边建设过程,导致显着提高解析性能。
2021-09-25 cs.AI cs.CL
Learning compositional structures for semantic graph parsing
Saarland University(萨尔兰大学);Utrecht University(乌得勒支大学)
AM依存句法分析是一种利用组合性原理的神经语义图解析方法。虽然AM依赖解析器已经被证明是快速和准确的几个graphbank,他们需要明确的组合树结构的注释进行训练。在过去,这些都是使用由专家编写的复杂的特定于图形库的算法来获得的。在这里,我们展示了如何使用神经潜变量模型直接在图上训练它们,从而大大减少了手动识别的数量和复杂性。我们证明,我们的模型拿起自己的几个语言现象,并达到相当的精度监督训练,大大方便了使用AM依存句法分析的新sembanks。
2021-06-08 cs.CL
Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT
University of Groningen(格罗宁根大学)
我们结合字符级和上下文语言模型表示,以提高性能的话语表示结构分析。字符表示可以很容易地添加到一个编码器或作为一个完全独立的编码器的序列到序列模型中,并对不同的语言模型、语言和数据集进行了鲁棒性改进。对于英语来说,这些改进比添加语言信息的单个来源或添加非上下文嵌入要大。一种基于语义标签的新分析方法表明,字符级表示提高了所选语义现象子集的性能。
2020-11-09 cs.CL
Compressing Transformer-Based Semantic Parsing Models using Compositional Code Embeddings
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon Alexa(亚马逊 Alexa)
当前最先进的面向任务的语义解析模型使用BERT或RoBERTa作为预训练的编码器;这些模型具有巨大的内存占用。这对他们在内存预算有限的边缘设备上部署Amazon Alexa和Google Assistant等语音助手提出了挑战。我们建议学习组合代码嵌入,以大大减少BERT-base和RobERTa-base的大小。我们还将该技术应用于DistilBERT,ALBERT-基地,和ALBERT-大,三个已经压缩的BERT变种,达到类似的最先进的性能语义解析与小得多的模型大小。在保持97.5%以上语义解析性能的同时,嵌入压缩率为95.15% ~ 98.46%,编码压缩率为20.47% ~ 34.22%。我们提供了训练的配方,并分析了代码嵌入大小和下游性能之间的权衡。
2020-10-10 cs.CL
SUBS: Subtree Substitution for Compositional Semantic Parsing
Georgia Institute of Technology(佐治亚理工学院);Fudan University(复旦大学)
虽然序列到序列模型在用于i.i.d.的语义解析中通常可以获得良好的性能。数据,他们的表现仍然是劣质的成分概括。已经提出了几种数据增强方法来缓解这个问题。然而,以前的工作只利用表面的语法或规则来进行数据增强,这导致了有限的改进。我们建议使用子树替换组合数据增强,我们认为具有相似语义功能的子树可交换。我们的实验表明,这种增强的数据导致显着更好的性能扫描和GeoQuery,并达到新的SOTA的GeoQuery的组成分裂。
2022-05-03 cs.CL
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
Microsoft Semantic Machines(微软语义机器);Scaled Cognition(规模化认知)
本文提出 BenchCLAMP 基准,通过提供上下文无关文法和受约束解码接口,评估语言模型在句法和语义解析任务上的性能,发现受约束的编码器-解码器模型能超越现有最先进方法。
2024-01-10 cs.CL