In-Order Chart-Based Constituent Parsing
East China Normal University（华东师范大学）
我们提出了一种新的基于有序图的成分分析模型。与以往的CKY风格和自顶向下的模型相比，我们的模型获得的优势，从一棵树的顺序遍历（丰富的功能，前瞻信息和高效率），并通过编码的历史决策，更好地利用结构知识。在Penn Treebank上的实验表明，该模型的性能优于以前的基于图表的模型，并与其他有区别的单一模型相比，具有竞争力的性能。
2021-02-08 cs.CL
Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了新的动态预言机训练两个最准确的已知移位减少算法成分分析：自顶向下和顺序转换为基础的分析器。在这两种情况下，与通过执行经典静态训练获得的准确性相比，动态预言机能够显著提高其准确性。此外，通过提高最先进的顺序移位-归约解析器的性能，我们实现了迄今为止最好的准确度（92.0 F1），通过WSJ基准测试的全监督单模型贪婪移位-归约成分解析器获得。
2018-10-25 cs.CL
Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
Universidade de Vigo, Departamento de Informática（维戈大学计算机系）
本文提出利用预训练的编码器-解码器模型进行短语结构解析，通过微调生成线性解析树并在不同线性化策略下评估，优于传统序列到序列模型并能与任务专用解析器竞争。
2026-05-13 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Discontinuous Constituent Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；FASTPARSE Lab（FASTPARSE实验室）；LyS Group（LyS小组）
计算语言学和NLP中使用的最复杂的句法表示之一是不连续成分树，对于表示德语等语言的所有语法现象至关重要。依存句法分析的最新进展表明，指针网络擅长于有效地分析句子中单词之间的句法关系。这种序列到序列模型在构建非投射依赖树方面具有出色的准确性，但其潜力尚未在更困难的任务上得到证明。我们提出了一种新的神经网络架构，通过指针网络，能够生成最准确的不连续的成分表示，即使不需要的词性标注信息。为此，我们在内部将不连续的组成结构建模为增强的非投射依赖结构。所提出的方法在两个广泛使用的NEGRA和TIGER基准测试中取得了最先进的结果，远远优于以前的工作。
2020-02-05 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo（东京大学）；Imperial College London（伦敦帝国学院）；The University of Liverpool（利物浦大学）
本文提出基于频率的无监督成分句法解析器span-overlap，利用PAS等价句子集合中成分对应频繁词序列的特性，通过最大化span-overlap分数识别成分结构，在十种语言中的八种上达到最先进水平，并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Constituent Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了一种方法来减少成分分析序列标记。对于每个单词w_t，它生成一个标签，该标签编码：（1）单词w_t和w_{t+1}在树中共有的祖先的数量，以及（2）最低共同祖先处的非终结符。我们首先证明，建议的编码功能是单射的任何树没有一元分支。在实践中，通过折叠一元分支，该方法可扩展到所有选区树。然后，我们使用PTB和CTB树库作为测试平台，并提出了一套快速基线。我们在PTB测试集上获得了90.7%的F分数，优于Vinyals et al.（2015）序列到序列解析器。此外，牺牲一些准确性，我们的方法实现了最快的成分分析速度报告PTB上迄今为止的一个很大的利润。
2019-09-17 cs.CL
From Partial to Strictly Incremental Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本研究构建严格从左到右的增量成分句法分析器，仅用前缀表示输出句法树，并对比非增量与部分增量模型，验证其跨语言有效性。
2024-02-05 cs.CL
Enriched In-Order Linearization for Faster Sequence-to-Sequence Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
序列到序列成分分析需要线性化来将树表示为序列。自上而下的树线性化，可以基于括号或移位归约操作，已经达到了迄今为止最好的精度。在本文中，我们表明，这些结果可以改善，而使用的顺序线性化。基于这一观察结果，我们实施了一种受Vinyals等人（2015）方法启发的丰富的有序移位归约线性化，在全监督单模型序列到序列组成解析器中，在英语PTB数据集上实现了迄今为止的最佳准确度。最后，我们应用确定性注意力机制来匹配最先进的基于转换的解析器的速度，从而表明序列到序列模型可以匹配它们，不仅在准确性上，而且在速度上。
2020-05-27 cs.CL
Arc-Standard Spinal Parsing with Stack-LSTMs
IBM T.J Watson Research Center（IBM T.J. Watson 研究中心）；Naver Labs Europe
我们提出了一个神经过渡为基础的解析器的脊椎树，依赖表示的组成树。解析器使用Stack-LSTM来组成具有基于依赖关系的派生的组成节点。在实验中，我们表明，该模型适用于不同风格的依赖关系，但这种选择对预测组成结构的影响不大，这表明LSTM诱导有用的状态本身。
2017-09-01 cs.CL
Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategy
Universidade da Coruña（拉科鲁尼亚大学）
越来越广泛的人工智能应用依赖于句法信息来处理和从自然语言文本或语音中提取含义，成分树是最广泛使用的句法形式主义之一。为了从自然语言的句子中产生这些短语结构表示，移位归约成分分析器已经成为最有效的方法之一。提高其准确性和速度仍然是研究界追求的主要目标之一，以便利用解析输出的人工智能应用程序（如机器翻译或语音助理服务）可以提高其性能。考虑到这一目标，我们在这篇文章中提出了一种新的非二进制移位减少算法的成分分析。我们的解析器遵循经典的自自底向上的【形】的策略，但与其他解析器不同的是，它直接创建非二进制分支，只需一个Reduce转换，而不需要事先进行二进制化或一系列二进制转换，允许其直接应用于任何语言，而不需要进一步的资源，如渗透表。因此，它比现有的基于转换的成分解析器使用更少的转换，成为最快的系统，从而加快下游应用程序。使用静态oracle训练和贪婪搜索，这种新方法的准确性与最先进的基于transition的成分解析器相当，并且优于来自英语Penn Treebank和Penn Chinese Treebank的华尔街日报部分的所有自上而下和自自底向上的【形】的贪婪移位归约系统。此外，我们开发了一个动态的oracle来训练所提出的基于transition的算法，在两个基准测试中都取得了进一步的改进，并在Penn Chinese Treebank中获得了迄今为止最好的准确度。
2019-08-02 cs.CL
Concurrent Parsing of Constituency and Dependency
Shanghai Jiao Tong University（上海交通大学）
句法结构的成分表示和依存表示具有很多语言和计算上的共同特点，本文首次尝试引入一种新的模型，该模型能够同时解析成分和依存，从而使任何一个解析器都能相互增强。特别是，我们评估了不同的共享网络组件的效果和经验验证，依存句法分析可能是更有益的成分分析结构。建议的解析器实现了新的国家的最先进的性能分析任务，成分和依赖PTB和CTB基准。
2019-09-25 cs.CL cs.LG
Parsing as Reduction
Universidade de Vigo（维戈大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Priberam Labs（Priberam实验室）
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示，“头有序依赖树”，表现出同构的组成树。通过编码顺序信息的依赖标签，我们表明，任何现成的，可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候，我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单，但实验表明，所得到的解析器与强大的基线相当，例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国，我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
Entity-Aware Biaffine Attention Model for Improved Constituent Parsing with Reduced Entity Violations
Henan Institute of Technology（河南科技学院）
针对成分句法分析中的实体违规问题，提出实体感知双仿射注意力模型，通过引入实体角色向量提升分析准确率，并使用新指标EVR量化违规程度，在多数据集上实现最低EVR且保持高F1分数。
2024-11-12 cs.AI cs.CL
Head-driven Phrase Structure Parsing in O($n^3$) Time Complexity
Shanghai Jiao Tong University（上海交通大学）
成分句法分析和依存句法分析是句法分析的两种经典形式，在中心语驱动短语结构语法（Head-driven Phrase Structure Grammar，HPSG）的统一形式化框架下，联合训练和解码对这两种句法分析都有好处。然而，由于在解码期间必须考虑更多的因素，因此解码该统一语法具有比单独解码任一形式（$O(n^3)$）更高的时间复杂度（$O(n^5)$）。因此，我们提出了一个改进的头部评分器，有助于实现一个新的性能保持解析器在$O$（$n^3$）时间复杂度。此外，在此基础上提出了实用的HPSG解析器，我们调查了基于HPSG的解析的优势，并探讨了在多语言场景中仅从成分或依赖注释训练基于HPSG的解析器的一般方法。因此，我们提出了一个更有效的，更深入的，和一般的工作HPSG解析。
2021-05-20 cs.CL
Unlexicalized Transition-based Discontinuous Constituency Parsing
University of Edinburgh, ILCC（爱丁堡大学语言、认知与计算研究所）；Université Paris Diderot（巴黎第七大学）；Université Sorbonne Paris Cité（索邦巴黎西岱大学）；LLF（形式语言学实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
词汇化句法分析模型基于以下假设：（i）成分是围绕词汇中心词组织的;（ii）双词汇统计对解决歧义至关重要。在本文中，我们介绍了一个基于结构标签转换系统和bi-LSTM评分系统的非解析化的基于转换的不连续选区结构解析器。我们比较它的词汇化分析模型，以解决不连续选区分析的上下文中的词汇化问题。我们的实验表明，unexxicalized模型系统地实现更高的结果比词汇化模型，并提供额外的经验证据，词汇化是没有必要实现强大的分析结果。我们最好的unexixicalized模型设置了一个新的国家的艺术英语和德语不连续选区树银行。我们进一步提供了一个每现象分析其误差的不连续成分。
2019-02-24 cs.CL
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文件简要介绍了为SPMRL 2013共享任务准备的韩国数据。共有27，363个句子和350，090个标记用于共享任务。所有组成树都是从KAIST树库中收集的，并转化为Penn树库风格。所有的依赖树转换从转换的成分树使用专门为KAIST树库设计的分类和标记规则。除了KAIST Treebank提供的黄金标准形态分析外，还为共享任务提供了两套自动形态分析，一套由HanNanum形态分析仪生成，另一套由Sejong形态分析仪生成。
2013-09-10 cs.CL
Encoder-Decoder Shift-Reduce Syntactic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
从NMT开始，编码器-解码器神经网络已被用于许多NLP问题。借用编码器组件的基于图形的模型和基于转换的模型分别在依存句法分析和成分语法分析上实现了最先进的性能。然而，还没有工作经验性地研究基于转换的解析的编码器-解码器神经网络。为此，我们应用了一个简单的编码器-解码器，在标准依赖性解析上实现了与Dyer et al.（2015）的解析器相当的结果，并在成分解析上优于Vinyals et al.（2015）的解析器。
2017-06-24 cs.CL
Better, Faster, Stronger Sequence Tagging Constituent Parsers
Universidade da Coruña, CITIC（拉科鲁尼亚大学，CITIC）；University of Copenhagen（哥本哈根大学）
用于成分分析的序列标记模型比其他类型的分析器更快，但准确性较差。在这项工作中，我们解决了以下弱点，这样的成分解析器：（a）高出错率关闭括号长成分，（b）大标签集，导致稀疏性，和（c）错误传播所产生的贪心解码。为了有效地关闭括号，我们训练了一个学习在标记方案之间切换的模型。为了减少稀疏性，我们分解标签集，并使用多任务学习来联合学习预测子标签。最后，我们通过辅助损失和带有策略梯度的缓存级微调来缓解贪心解码的问题。结合这些技术，我们显然超过了英语和中文Penn Treebanks上的序列标记成分解析器的性能，并进一步减少了它们的解析时间。在SPMRL数据集上，我们观察到全面的更大改进，包括巴斯克语，希伯来语，波兰语和瑞典语的最新技术水平。
2019-10-14 cs.CL
Integrating Supertag Features into Neural Discontinuous Constituent Parsing
Philosophische Fakultät（哲学系）；Institut für Sprache und Information（语言与信息研究所）
本研究探索将超标签特征集成到基于转移的神经非连续成分句法分析中，通过流水线和多任务两种方式引入超标签信息，并对比多种框架与序列标注任务作为辅助任务的适用性。
2024-10-11 cs.AI cs.CL cs.FL
Discontinuous Grammar as a Foreign Language
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
为了实现自然语言的深层理解，句法成分分析是一个重要的步骤，许多人工智能系统都高度要求处理文本和语音。最新的建议之一是使用标准的序列到序列模型来执行成分解析作为机器翻译任务，而不是应用特定于任务的解析器。虽然这些文本解析转换器表现出了竞争力，但在准确性、覆盖范围和速度方面仍然落后于经典技术。为了缩小差距，我们在这里扩展的框架序列到序列模型的成分分析，不仅通过提供一个更强大的神经架构，以提高其性能，而且还通过扩大其覆盖范围，以处理最复杂的句法现象：不连续结构。为此，我们设计了几种新的线性化，可以完全产生不连续性，并首次在主要的不连续基准上测试了序列到序列模型，获得了与特定任务的不连续成分解析器相当的竞争结果，并在（不连续）英语Penn Treebank上获得了最先进的分数。
2022-12-22 cs.CL
Multitask Pointer Network for Multi-Representational Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
我们提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何具有成分树和依赖树的输入句子，支持连续/投射和不连续/非投射句法结构。为此，我们开发了一个指针网络架构，两个单独的特定任务的解码器和一个共同的编码器，并遵循多任务学习策略，共同训练他们。由此产生的二次系统，不仅成为第一个解析器，可以从一个单一的模型联合产生无限制的成分和依赖树，但也证明了这两种句法形式可以受益于彼此在训练过程中，实现国家的最先进的精度在几个广泛使用的基准，如连续英语和中文Penn树库，以及不连续的德国NEGRA和TIGER数据集。
2022-12-22 cs.CL
Investigating Non-local Features for Neural Constituency Parsing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于神经编码器的强大表示能力，基于神经图表的解析器通过使用局部特征实现了极具竞争力的性能。最近，它已被证明，CRF结构中的非本地功能导致的改善。在本文中，我们研究注入非本地功能的本地跨度为基础的分析器的训练过程中，通过预测成分n-gram非本地模式，并确保非本地模式和本地成分之间的一致性。结果表明，我们的简单的方法给出了更好的结果比自我关注的分析器上的PTB和CTB。此外，我们的方法在PTB上实现了最先进的基于BERT的性能（95.92 F1），在CTB上实现了强大的性能（92.31 F1）。我们的解析器也取得了更好的或有竞争力的性能，在多语言和zero-shot跨域设置相比，基线。
2022-03-28 cs.CL
Prosodic features improve sentence segmentation and parsing
University of Edinburgh（爱丁堡大学）
解析口语对话提出了解析文本所没有的挑战，包括缺乏清晰的句子边界。我们从以前的工作中知道，韵律有助于解析单个句子（Tran et al. 2018），但我们想展示韵律对解析未分割成句子的语音的影响。在英语Switchboard语料库上的实验中，我们发现韵律有助于我们的模型进行解析和准确识别句子边界。然而，我们发现，性能最好的解析器不一定是产生最好的句子分割性能的解析器。我们建议，最好的解析，而不是来自建模句子边界与其他成分的边界。
2023-02-23 cs.CL
Generalized chart constraints for efficient PCFG and TAG parsing
Saarland University（萨尔兰大学）
图表约束，它指定了一个组成部分可以开始或结束的字符串位置，已经被证明可以加快PCFG的图表解析器。我们将图表约束推广到更具表现力的语法形式主义，并描述了一个神经标记器，它以非常高的精度预测图表约束。我们的约束加速PCFG和TAG解析，并有效地结合其他修剪技术（粗到细和supertaging）的两个数量级的整体加速，同时提高准确性。
2018-06-27 cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA，一个基于规则的自然语言处理系统解决棘手的问题，句法歧义减少和词义消歧，以及提供创新和原始的解决方案，成分生成和约束管理。为了深入了解它是如何运作的，该系统的总体架构和组件，以及它的词汇，语法和语义资源进行了描述。在此基础上，本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制，从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
A Variant of Earley Parsing
Earley算法是自然语言处理应用中广泛使用的解析方法。我们介绍了一个变体的Earley解析，是基于一个“延迟”的成分识别。这允许我们仅在输入字符串中找到其所有子成分的情况下才开始识别成分。这在某些情况下是特别有利的，在这种情况下，一个成分的部分分析不能完成，一般来说，在所有的情况下，产生式共享一些后缀的右手边（即使是不同的左手边非终结符）。虽然这两种算法的结果在相同的渐近时间和空间复杂度，从实用的角度来看，我们的算法提高了原方法的时间和空间的要求，所报告的实验结果表明。
1998-08-31 cmp-lg cs.CL
Generic rules and non-constituent coordination
我们提出了一个元语法形式主义，{ \em通用规则}，给出一个默认的解释语法规则。我们的形式主义介绍了一个过程{ \em动态绑定}接口的纯语法知识表示和解析水平的水平。我们提出了一种方法，范畴语法内的非成分协调，并重新制定它作为一个通用的规则。这种重构是上下文无关的解析，并大大减少了搜索空间相关的解析任务，这种现象。
1996-01-09 cmp-lg cs.CL
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University（赫瑞-瓦特大学）
我们研究的问题，从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务，即目标识别（TI），框架识别（FI），和语义角色标注（SRL）。我们使用图卷积网络来学习成分的特定表示，使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征，计算为单词和树中特定任务节点之间路径上的所有成分的总和，例如SRL的目标谓词。当在FrameNet 1.5上测试时，我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果（以BERT作为输入获得了+2.5%的额外点），同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University（达尔马辛赫·德赛大学）
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文，从著名的期刊和会议。
2015-01-28 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks
Tsinghua University（清华大学）；Heilongjiang University（黑龙江大学）
虽然词性标注和依存句法分析被认为是密切相关的，但现有的手工特征模板联合建模工作存在特征稀疏和不完整的问题。在本文中，我们提出了一种联合使用基于转换的神经网络的词性标注和依存句法分析的方法。三个基于神经网络的分类器被设计用于解决移位/归约、标记和标记冲突。实验表明，我们的方法显着优于以前的方法联合词性标注和依存句法分析在各种自然语言。
2017-04-25 cs.CL
Assessment of Pre-Trained Models Across Languages and Grammars
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
本文通过将解析转化为序列标注，在13个UD树库和10个成分树库上评估多语言大语言模型恢复依存与成分结构的能力，发现预训练数据中语言的出现比任务数据量更关键。
2023-09-20 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析，通过结合从左到右编码器与序列标注及基于转移的解码器，证明其仍明显落后于双向模型。
2023-09-28 cs.CL
Addressing the Data Sparsity Issue in Neural AMR Parsing
University of Rochester（罗切斯特大学）；Brandeis University（布兰迪斯大学）
神经注意力模型在不同的NLP任务中取得了巨大的成功。然而，由于数据稀疏性问题，他们并没有履行他们在AMR解析任务上的承诺。在本文中，我们描述了一个序列到序列的AMR解析模型，并提出了不同的方法来解决数据稀疏性问题。我们表明，我们的方法在基线神经注意力模型上取得了显着的改进，我们的结果也与不使用额外语言资源的最先进的系统竞争。
2017-02-16 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（机械与工程计算机科学实验室）
我们介绍了一种新的基于图表的算法，基于跨度的分析不连续的选区树的块度2，包括病态嵌套结构。特别是，我们表明，我们可以建立我们的分析器的变种，具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分，同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行（Negra，老虎和不连续PTB）和报告国家的最先进的结果，在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Hierarchical Neural Data Synthesis for Semantic Parsing
Borealis AI（北极光人工智能）
收集语义解析数据集的成本很高，而且即使是作为语义解析系统输入的与给定领域相关的问题也可能不容易获得，特别是在跨领域的语义解析中。这使得数据增强更具挑战性。现有的合成新数据的方法使用手工制定或诱导的规则，需要大量的工程工作和语言专业知识来实现良好的覆盖率和精确度，这限制了可扩展性。在这项工作中，我们提出了一个纯粹的神经方法的数据增强的语义解析，完全消除了语法工程的需要，同时实现更高的语义解析的准确性。此外，我们的方法可以合成在zero-shot设置，只有一个新的域模式是可用的，没有任何输入输出的新域的例子。在Spider跨域文本到SQL语义解析基准测试中，我们使用我们的zero-shot增强在开发集上实现了最先进的性能（77.2%的准确率）。
2021-12-04 cs.CL
Reducing Discontinuous to Continuous Parsing with Pointer Network Reordering
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（加泰罗尼亚通信技术中心）
不连续成分分析器在准确性和速度方面总是落后于连续方法，因为存在不连续产量的成分会给任务带来额外的复杂性。然而，不连续的树可以通过重新排序令牌转换为连续的变体。在此基础上，我们建议减少不连续的解析到一个连续的问题，然后可以直接解决任何现成的连续解析器。为此，我们开发了一个指针网络，能够准确地生成一个给定的输入句子的连续令牌安排，并定义了一个双射函数，以恢复原来的顺序。在两个连续解析器的主要基准测试上的实验证明，我们的方法与纯粹不连续的最先进的算法在准确性上不相上下，但速度要快得多。
2021-09-13 cs.AI cs.CL
Discontinuous Constituency Parsing with a Stack-Free Transition System and a Dynamic Oracle
University of Edinburgh（爱丁堡大学）；Naver Labs Europe（欧洲Naver实验室）；ILCC, School of Informatics（信息学院ILCC研究所）
我们介绍了一种新的过渡系统不连续选区分析。代替将子树存储在堆栈中-即具有线性时间顺序存取的数据结构-所提出的系统使用具有恒定时间随机存取的一组解析项。这个改变使得有可能为长度为$n$的句子在精确的$4n - 2$转换中构造任何不连续的选区树。在每个解析步骤中，解析器将集合中的每个项与焦点项组合，并以自底向上的方式构造新的成分。解析策略基于这样的假设：大多数句法结构可以被增量解析，并且集合（解析器的内存）平均保持合理的小。此外，我们引入了一个可证明是正确的动态预言机的新的过渡系统，并提出了第一个实验，在不连续选区解析使用动态预言机。我们的解析器获得国家的最先进的结果，在三个英语和德语不连续树银行。
2019-04-01 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Improving Semantic Parsing with Neural Generator-Reranker Architecture
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Google Inc.（谷歌公司）
语义解析是从自然语言话语中导出机器可解释的含义表示的问题。具有编码器-解码器架构的神经模型最近相对于传统方法取得了实质性的改进。虽然神经语义解析器似乎具有相对较高的召回率使用大的波束尺寸，有改进的空间方面的一个最佳精度。在这项工作中，我们提出了一个生成器-reranker架构的语义解析。生成器产生一个潜在的候选人列表和reranker，其中包括一个预处理步骤的候选人，其次是一个新的评论家网络，重新排名这些候选人之间的相似性的基础上，每个候选人和输入的句子。我们展示了这种方法的优点以及它如何通过广泛的分析提高解析性能。我们在三个语义解析数据集（GEO，ATIS和OVERNIGHT）上对我们的模型进行了实验。整体架构在所有三个数据集中实现了最先进的结果。
2019-09-27 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
为了推广和进一步发展RST风格的语篇分析模型，我们需要一个强有力的基线，可以被视为报告可靠的实验结果的参考。本文通过将现有的简单解析策略（自上而下和自下而上）与各种基于transformer的预训练语言模型相集成，探索了一个强大的基线。在两个基准数据集上的实验结果表明，句法分析的性能主要依赖于预训练的语言模型，而不是句法分析策略。特别是，自底向上的解析器实现了大的性能增益相比，目前最好的解析器时，采用DeBERTa。我们进一步揭示，语言模型与跨度掩蔽计划，特别是提高分析性能，通过我们的分析内和多个领域的分析，和核预测。
2022-11-01 cs.CL
Multilingual Neural RST Discourse Parsing
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究所）
语篇分析在理解自然语言中的信息流和论证结构方面起着重要的作用。以往的修辞结构理论研究主要集中在从英语树库中归纳和评价模式。然而，由于注释数据的短缺，其他语言（如德语，荷兰语和葡萄牙语）的解析任务仍然具有挑战性。在这项工作中，我们研究了两种方法来建立一个神经，跨语言的话语解析器通过：（1）利用多语言向量表示;（2）采用段级翻译的源内容。实验结果表明，这两种方法在训练数据有限的情况下也能有效地进行文本级的跨语言句法分析。
2020-12-03 cs.CL
explanation-based learning of data oriented parsing
本文提出了一种新的自然语言句法分析的基于解释的学习（EBL）的观点。本文建议采用EBL学习如何减少歧义只有部分，而不是采用EBL的专业化解析器推断新的。该方法包括一个用于学习部分语法分析器的EBL算法，以及一个将部分语法分析器与现有的"全语法分析器”相结合的语法分析算法。学习的部分解析器，可实现为有限状态转换器（CFST）的级联，有效地识别和组合成分，防止虚假的过度生成。解析算法将学习的部分解析器与给定的完全解析器相结合，使得完全解析器的作用限于组合由部分解析器识别的成分，以及识别输入句子的未识别部分。除了在消歧之前减少解析空间之外，本方法还提供了一种用于改进从树库学习随机语法的现有消歧模型的方法。我们展示了令人鼓舞的实证结果，使用试点实施：解析空间大大减少了最小的损失的覆盖范围。消歧模型的加速增益通过DOP模型的实验来举例说明。
1997-08-20 cmp-lg cs.CL
Data Recombination for Neural Semantic Parsing
Stanford University（斯坦福大学）
在语义解析中，对清晰的逻辑推理进行建模是至关重要的，这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中，我们介绍了数据重组，一种新的框架注入这样的先验知识模型。从训练数据中，我们归纳出一个高精度的同步上下文无关文法，它捕获了语义解析中常见的重要条件独立属性。然后，我们训练一个序列到序列递归网络（RNN）模型，该模型具有一种新的基于注意力的复制机制，该机制基于从该语法中采样的数据点，从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性，从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
On the Role of Style in Parsing Speech with Neural Models
University of Washington（华盛顿大学）；LAIX Inc.（LAIX公司）
书面文本和会话语音的差异是实质性的;以前的解析器在树库文本上训练的结果非常差。对于口语来说，风格上的不匹配也延伸到韵律线索上，尽管这一点还不太清楚。本文重新审视使用书面文本在解析语音的背景下，在神经语言处理的最新进展。我们表明，神经方法有助于使用书面文本，以提高自发语音的解析，韵律进一步提高了这个国家的最先进的结果。此外，我们发现了一个不对称的退化从读取与自发的不匹配，与自发的语音更普遍的有用的训练分析器。
2020-10-08 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
End-to-end Graph-based TAG Parsing with Neural Networks
Department of Linguistics, Yale University（耶鲁大学语言学系）；Elemental Cognition, LLP（Elemental Cognition, LLP（Elemental Cognition有限责任公司））
我们提出了一个基于图的树邻接语法（TAG）解析器，它使用BiLSTM，高速公路连接和字符级CNN。我们最好的端到端解析器，它联合执行超级标记，POS标记和解析，比以前报告的最佳结果高出2.2个LAS和UAS点。基于图的解析架构允许全局推理和丰富的特征表示TAG解析，减轻了基于转换和基于图的解析系统之间的根本权衡。我们还表明，建议的解析器实现最先进的性能在下游任务的解析评估使用文本蕴涵（PETE）和无限依赖恢复。这进一步支持了TAG是一种可行的形式主义的主张，需要丰富的句子结构分析的问题。
2018-04-28 cs.CL
A Globally Normalized Neural Model for Semantic Parsing
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Borealis AI（北极光人工智能研究院）
本文提出了一种基于上下文无关文法（CFG）的语义解析的全局规范化模型。我们的模型不是预测概率，而是在每一步预测一个实值分数，并且不会受到标签偏差问题的影响。实验表明，我们的方法在小数据集上的性能优于局部归一化模型，但在大数据集上没有得到改善。
2021-06-07 cs.CL
Structured Training for Neural Network Transition-Based Parsing
Google Inc（谷歌公司）
我们提出了结构化的感知器训练的神经网络转换为基础的依存句法分析。我们学习的神经网络表示使用大量的自动解析的句子增强的黄金语料库。给定这个固定的网络表示，我们使用具有波束搜索解码的结构化感知器来学习最后一层。在Penn Treebank上，我们的解析器达到了94.26%的未标记和92.41%的标记附件准确率，据我们所知，这是斯坦福大学迄今为止最好的准确率。我们还提供了深入的烧蚀分析，以确定我们的模型的哪些方面提供了最大的准确性增益。
2015-06-19 cs.CL
A Graph-Based Neural Model for End-to-End Frame Semantic Parsing
Tianjin University（天津大学）
框架语义解析是近年来备受关注的基于框架网的语义分析任务。该任务通常依次包括三个子任务：（1）目标识别，（2）框架分类和（3）语义角色标注。这三个子任务紧密相关，以往的研究将它们单独建模，忽略了它们之间的内在联系，同时也导致了错误传播问题。在这项工作中，我们提出了一个端到端的神经模型来联合处理任务。具体地说，我们采用了一种基于图的方法，把框架语义解析看作是一个图的构造问题。所有的谓词和角色被视为图节点，它们之间的关系被视为图边。在两个框架语义解析基准数据集上的实验结果表明，该方法具有很强的竞争力，性能优于流水线模型。
2021-09-25 cs.CL
