Approximation-Aware Dependency Parsing by Belief Propagation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何训练Smith和Reynner（2008）的快速依赖解析器以提高准确性。这个解析器可以考虑边之间的高阶交互，同时保持O（n^3）的运行时间。它输出具有最大预期召回率的解析-但为了速度，该预期是在仅近似构造的后验分布下采用的，使用通过结构化因子的循环信念传播。我们展示了如何调整模型参数来补偿这种近似引入的误差，通过遵循训练数据上的实际损失的梯度。我们通过反向传播找到这个梯度。也就是说，我们将整个解析器（近似和所有）视为可微电路，就像Stoyanov et al.（2011）和Domke（2010）对循环CRF所做的那样。所得到的训练解析器获得更高的准确性与更少的迭代的信念传播比条件对数似然训练。
2015-08-10 cs.CL cs.LG
Notes About a More Aware Dependency Parser
在本文中，我解释了促使我研究和构思一种新的依存句法分析技术的原因，这种技术将基于数据驱动的转换方法和基于约束的方法的优点结合在一起。特别是我强调的问题，推断的可靠性的数据驱动的基于转换的解析器的结果，这是非常重要的高层次的过程，期望使用正确的解析结果。然后，我简要介绍了一些关于我正在研究的新解析器模型的注意事项，该模型能够以一种“更有意识”的方式进行分析，具有更“健壮”的健壮性概念。
2015-07-20 cs.CL
A Higher-Order Semantic Dependency Parser
Southeast University（东南大学）；Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络和信息集成重点实验室（东南大学））
高阶特征在语义依存句法分析中带来了显著的准确性增益。然而，建模高阶特征与精确推理是NP难的。图神经网络（GNNs）已被证明是一种有效的工具，用于解决NP难问题的近似推理在许多图学习任务。受GNNs成功的启发，我们研究通过应用GNNs构建高阶语义依赖解析器。GNN不是从中间解析图中显式地提取高阶特征，而是通过堆叠多个GNN层来简洁地聚合高阶信息。实验结果表明，我们的模型在SemEval 2015 Task 18英语数据集上的性能优于以前最先进的解析器。
2022-01-27 cs.CL
Dependency Parsing with LSTMs: An Empirical Evaluation
Carnegie Mellon University（卡内基梅隆大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个基于转换的依赖解析器，使用具有长短期记忆（LSTM）单元的递归神经网络。这扩展了Chen和Manning（2014）的前馈神经网络解析器，并能够对移位/归约转换决策的整个序列进行建模。在Google Web Treebank上，我们的LSTM解析器在整体准确性上与最好的前馈解析器具有竞争力，并且在长距离依赖关系方面显着提高了3%以上，由于错误传播和有限的上下文信息，这对于以前的基于transition的解析器来说已经证明是困难的。我们的研究结果还表明，嵌入层上的dropout正则化对于提高LSTM的泛化能力至关重要。
2016-06-30 cs.CL cs.LG cs.NE
A Re-ranking Model for Dependency Parser with Recursive Convolutional Neural Network
Fudan University（复旦大学）
在这项工作中，我们解决的问题，模型中的所有节点（单词或短语）的依赖树与密集表示。我们提出了一种递归卷积神经网络（RCNN）架构，以捕获依赖树中的短语和单词的语法和组成语义表示。与原有的递归神经网络不同，我们引入了卷积层和池化层，通过特征映射对多种成分进行建模，并通过池化层选择信息量最大的成分。基于RCNN，我们使用一个判别模型来重新排序候选依存句法分析树的$k$ -最佳列表。实验表明，RCNN是非常有效的，以改善国家的最先进的依存句法分析在英语和汉语数据集。
2015-05-21 cs.CL cs.LG cs.NE
Deep Contextualized Word Embeddings in Transition-Based and Graph-Based Dependency Parsing -- A Tale of Two Parsers Revisited
Uppsala University（乌普萨拉大学）
基于转换和基于图的依赖解析器先前已被证明具有互补的优势和弱点：基于转换的解析器利用丰富的结构特征，但遭受错误传播，而基于图的解析器受益于全局优化，但具有有限的功能范围。在本文中，我们表明，即使切换到神经网络和连续表示后，图片的一些细节发生了变化，丰富的功能和全局优化之间的基本权衡仍然基本相同。此外，我们表明，深度上下文化的词嵌入，它允许解析器将有关全局句子结构的信息打包到本地特征表示中，使基于转换的解析器比基于图的解析器更受益，使得这两种方法在准确性和错误率方面几乎等同。我们认为，原因是，这些表示有助于防止搜索错误，从而使过渡为基础的解析器，以更好地利用其固有的优势，作出准确的本地决策。我们支持这一解释的错误分析13种语言的解析实验。
2019-08-27 cs.CL
Deep Contextualized Self-training for Low Resource Dependency Parsing
Technion, IIT（以色列理工学院）
神经依存句法分析已经被证明是非常有效的，在许多领域和语言上都取得了最先进的结果。不幸的是，它需要大量的标记数据，这是昂贵和费力的创建。在本文中，我们提出了一个自我训练算法，通过训练解析器自己的输出来消除这个注释瓶颈。我们的深度上下文自训练（DCST）算法利用在序列标记任务上训练的表示模型，这些任务在应用于未标记数据时从解析器的输出中导出，并通过门控机制将这些模型与基础解析器集成。我们在多种语言中进行了实验，无论是在低资源域中还是在跨域设置中，并证明DCST大大优于传统的自我训练以及最近的半监督训练方法。
2019-11-11 cs.CL cs.LG
Concurrent Parsing of Constituency and Dependency
Shanghai Jiao Tong University（上海交通大学）
句法结构的成分表示和依存表示具有很多语言和计算上的共同特点，本文首次尝试引入一种新的模型，该模型能够同时解析成分和依存，从而使任何一个解析器都能相互增强。特别是，我们评估了不同的共享网络组件的效果和经验验证，依存句法分析可能是更有益的成分分析结构。建议的解析器实现了新的国家的最先进的性能分析任务，成分和依赖PTB和CTB基准。
2019-09-25 cs.CL cs.LG
A Practical Chinese Dependency Parser Based on A Large-scale Dataset
Baidu（百度）
依存句法分析是一个长期存在的自然语言处理任务，其输出对各种下游任务至关重要。近年来，基于神经网络的依存句法分析取得了显著的进展，取得了令人瞩目的成果。众所周知，基于神经网络的方法需要大量的标记训练数据，这是非常昂贵的，因为它需要专家的人工注释。因此，很少有面向工业的依赖解析器工具是公开可用的。在这份报告中，我们介绍了百度依赖解析器（DDParser），这是一个新的中文依赖解析器，在一个名为百度中文树库（DuCTB）的大规模手动标记数据集上训练。DuCTB由来自多个来源的大约一百万个注释句子组成，包括搜索日志，中文新闻专线，各种论坛话语和对话程序。DDParser是在基于图的偏仿射语法分析器的基础上进行扩展，以适应中文数据集的特点。我们在两个测试集上进行了实验：与训练集分布相同的标准测试集和从其他来源抽样的随机测试集，它们的标记依恋得分（LAS）分别为92.9%和86.9%。DDParser实现了最先进的结果，并在https://github.com/baidu/DDParser上发布。
2020-09-03 cs.AI cs.CL
Second-Order Semantic Dependency Parsing with End-to-End Neural Networks
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
语义依存句法分析的目的是识别句子中形成图的词之间的语义关系。在本文中，我们提出了一个二阶语义依赖分析器，它不仅考虑到个人的依赖边缘，但也对边缘之间的相互作用。我们表明，二阶解析可以近似使用平均场（MF）变分推理或循环的信念传播（LBP）。我们可以将这两种算法展开为神经网络的递归层，因此可以以端到端的方式训练解析器。我们的实验表明，我们的方法达到了国家的最先进的性能。
2021-02-24 cs.CL cs.LG
Stack-Pointer Networks for Dependency Parsing
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
我们介绍了一种新的依存句法分析架构：\emph{stack-pointer networks}（\textbf{\textsc{StackPtr}}）。该模型结合指针网络\citep{vinyals2015pointer}和内部堆栈，首先读取并编码整个句子，然后以深度优先的方式自顶向下（从根到叶）构建依存树。堆栈跟踪深度优先搜索的状态，指针网络在每一步为堆栈顶部的单词选择一个孩子。\textsc{StackPtr}语法分析器充分利用了整个句子的信息和所有先前导出的子树结构，消除了经典的基于转换的语法分析器中从左到右的限制。然而，用于构建任何（包括非投射）解析树的步骤的数量在句子的长度上是线性的，就像其他基于转换的解析器一样，产生具有$O(n^2)$时间复杂度的高效解码算法。我们评估了我们的模型在29个树库跨越20种语言和不同的依赖注释模式，并达到最先进的性能对其中的21个。
2018-05-03 cs.CL cs.LG
Hybrid Oracle: Making Use of Ambiguity in Transition-based Chinese Dependency Parsing
MOE Key Laboratory of Computational Linguistics（教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science（电子工程与计算机科学学院）；Peking University（北京大学）
在基于转换的依赖分析器的训练中，使用预言机来预测句子及其黄金树的转换序列。然而，过渡系统可能会表现出模糊性，即可能有多个正确的过渡序列形成黄金树。我们建议利用该属性训练神经依赖解析器，并提出了混合预言。新的预言机给出了解析状态的所有正确转换，这些转换用于交叉熵损失函数以提供更好的监督信号。它还用于为一个句子生成不同的转换序列，以更好地探索训练数据，提高解析器的泛化能力。实验结果表明，在中文依存句法分析中，使用混合预言机训练的句法分析器的性能优于使用传统预言机训练的句法分析器。我们从语言学的角度进行分析。该代码可在https://github.com/lancopku/nndep上获得。
2018-02-06 cs.CL
Viable Dependency Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究所）；FASTPARSE Lab（FASTPARSE实验室）；LyS Research Group（LyS研究组）；Departamento de Computación（计算机系）
我们将依存句法分析转换为序列标签问题，探索依赖树作为标签的几种编码。虽然依存句法分析的序列标记的手段已尝试在现有的工作中，结果表明，该技术是不切实际的。相反，我们表明，与传统的BiLSTM为基础的模型，它是可能的，以获得快速和准确的解析器。这些解析器在概念上很简单，不需要传统的解析算法或辅助结构。然而，在PTB和UD树库样本上的实验表明，它们提供了良好的速度-精度权衡，结果与更复杂的方法竞争。
2019-03-29 cs.CL cs.LG
An empirical study for Vietnamese dependency parsing
Macquarie University（麦考瑞大学）
本文介绍了一个经验比较不同的依赖分析越南语，它有一些不寻常的特点，如系词下降和动词序列化。实验结果表明，基于神经网络的语法分析器的性能明显优于传统的语法分析器。我们报告了迄今为止越南语的最高解析分数，标记附件分数（LAS）为73.53%，未标记附件分数（UAS）为80.66%。
2016-11-03 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于双向LSTM（BiLSTM）的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联，该向量在其上下文中表示该标记，特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练，从而产生非常有效的解析特征提取器。我们证明了该方法的有效性，通过将其应用到一个贪婪的基于转换的解析器，以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构，并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
A Dynamic Oracle for Linear-Time 2-Planar Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一个有效的动态预言机用于训练基于2-Planar transition的解析器，一个线性时间解析器，在非投射句法语料库上的覆盖率超过99%。这种新方法在绝大多数测试语言中优于静态训练策略，并且在大多数数据集上的得分优于使用SWAP转换增强的弧混合解析器，后者可以处理不受限制的非投射性。
2018-05-15 cs.CL
Universal Dependency Parsing with a General Transition-Based DAG Parser
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文介绍了我们将TUPA应用于CoNLL 2018 UD共享任务的实验。TUPA是一个通用的神经转换为基础的DAG解析器，我们使用它来恢复增强的依赖关系作为一般解析任务的一部分，目前的第一个实验。TUPA是为分析UCCA而设计的，UCCA是一种跨语言的语义标注方案，具有可重入性，不连续性和非终结节点。通过将UD树和图转换为类似于UCCA的DAG格式，我们训练TUPA几乎不需要对UD解析任务进行修改。我们的方法的通用性质自然适合于多任务学习。我们的代码可在https://github.com/CoNLL-UD-2018/HUJI上获得
2018-08-28 cs.CL
A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning
Boğaziçi University（博阿齐奇大学）
完全数据驱动的、基于深度学习的模型通常被设计为独立于语言的，并且已经被证明在许多自然语言处理任务中是成功的。然而，当所研究的语言是低资源和训练数据量不足时，这些模型可以受益于基于自然语言语法的信息的集成。我们提出了两种方法依存句法分析，特别是对有限的训练数据的语言。我们的第一种方法将最先进的基于深度学习的解析器与基于规则的方法相结合，第二种方法将形态信息纳入解析器。在基于规则的方法中，由规则做出的解析决策被编码并与输入单词的矢量表示连接，作为深度网络的附加信息。基于形态学的方法提出了不同的方法，包括词的形态结构到解析器网络。在IMST-UD Treebank上进行了实验，结果表明，通过基于规则的句法分析系统和形态分析，将目标语言的显性知识整合到神经句法分析器中，可以获得更准确的注释，从而提高了句法分析的附加得分。所提出的方法是为土耳其语开发的，但也可以适用于其他语言。
2020-02-24 cs.CL cs.LG
Transition-Based Dependency Parsing with Stack Long Short-Term Memory
Carnegie Mellon University（卡内基梅隆大学）；Marianas Labs；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种技术，用于学习表示的解析器状态的转换为基础的依赖解析器。我们的主要创新是一种新的序列到序列神经网络控制结构--堆栈LSTM。与基于transition的解析中使用的传统堆栈数据结构一样，元素可以在恒定时间内被推到堆栈顶部或从堆栈顶部弹出，但除此之外，LSTM保持堆栈内容的连续空间嵌入。这让我们制定了一个有效的解析模型，捕捉解析器的状态的三个方面：（i）无限的前瞻到传入的单词的缓冲区，（ii）由解析器采取的行动的完整历史，以及（iii）部分构建的树片段堆栈的完整内容，包括它们的内部结构。标准的反向传播技术用于训练和产生最先进的解析性能。
2015-05-29 cs.CL cs.LG cs.NE
Biaffine Discourse Dependency Parsing
我们提供了一个研究，使用双仿射模型的神经话语依存句法分析，并取得显着的性能改善相比，基线分析器。在任务中我们比较了Reynner算法和Chu-Liu-Edmonds算法，发现Chu-Liu-Edmonds算法生成的树更深，性能更好。我们还用平均最大路径长度和平均叶节点比例来评价解析器的输出结构，发现解析器生成的依赖树接近于黄金树。由于语料库允许非投射结构，我们分析了语料库非投射性的复杂性，发现该语料库中的依赖结构的间隙度和边缘度最多为1。
2022-01-12 cs.CL
Arc-swift: A Novel Transition System for Dependency Parsing
Stanford University（斯坦福大学）
基于转换的依赖解析器通常需要局部移位和归约操作序列来产生某些附件。因此，正确的个体决策需要关于句子上下文的全局信息，而错误会导致错误传播。本文提出了一种新的过渡系统，弧迅捷，使令牌之间的直接附件更远的一个单一的过渡。这允许解析器在转换决策中更直接地利用词法信息。因此，arc-swift可以用非常小的光束尺寸实现显著更好的性能。我们的分析器减少了3.7- 7.6%的错误，相对于那些使用现有的过渡系统对Penn Treebank依存句法分析任务和英语通用语法分析。
2017-05-12 cs.CL
Diversity-Aware Batch Active Learning for Dependency Parsing
Cornell University（康奈尔大学）；Bloomberg L.P.（彭博有限合伙企业）
虽然现代统计依赖解析器的预测性能在很大程度上依赖于昂贵的专家注释树库数据的可用性，但并非所有注释都对解析器的训练有同样的贡献。在本文中，我们试图减少标记的例子需要训练一个强依赖分析器使用批量主动学习（AL）的数量。特别是，我们调查是否强制多样性的抽样批次，使用决定性点过程（DPP），可以改善他们的多样性不可知的同行。英语新闻通讯语料库上的模拟实验表明，选择不同的批次与DPPs是优于强选择策略，不执行批次的多样性，特别是在学习过程的初始阶段。此外，我们的diversityaware策略是强大的语料库重复设置下，多样性不可知的采样策略表现出显着的退化。
2021-04-28 cs.AI cs.CL cs.LG
Revisiting Tri-training of Dependency Parsers
School of Computing（计算学院）；Dublin City University（都柏林城市大学）
在依存句法分析任务中比较了tri-training与预训练词嵌入在低资源场景下的效果，发现预训练词嵌入能更有效利用无标签数据，且两者可成功结合。
2021-09-16 cs.CL
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了递归的非自回归图到图的Transformer架构（RNGTr）的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer，并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型，在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer（SynTr），一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性，甚至比SynTr实现的新的最先进的结果更好，显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
University of Stuttgart（斯图加特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
现代的基于图的句法依赖性解析器通过针对句子内的每个标记预测其可能的句法中心词上的概率分布（即，所有其它令牌），然后从所得的对数概率中提取最大生成树。如今，几乎所有这样的解析器都利用深度神经网络，因此可能容易发生错误校准（特别是过度自信的预测）。在本文中，我们证明了温度缩放，一个流行的技术事后校准的神经网络，不能改变上述过程的输出。我们的结论是，需要其他技术来解决基于图的依赖解析器中的误校准，以提高解析精度。
2021-06-15 cs.CL
Semi-supervised Autoencoding Projective Dependency Parsing
Purdue University（普渡大学）
我们描述了两个端到端的自动编码模型的半监督图为基础的投影依存句法分析。第一个模型是局部自动编码解析器（Locally Autoencoding Parser，简称GAP），它使用连续的隐变量以顺序的方式对输入进行编码;第二个模型是全局自动编码解析器（Globally Autoencoding Parser，简称GAP），它将输入作为隐变量编码到依赖树中，并进行精确推理。这两个模型都由两部分组成：一个由深度神经网络（DNN）增强的编码器，它可以利用上下文信息将输入编码为潜在变量，以及一个解码器，它是一个能够重建输入的生成模型。两种方法都采用了统一的结构，对有标记和无标记的数据使用不同的损失函数，并共享参数。我们在WSJ和UD依存句法分析数据集上进行了实验，结果表明，在有限的标记数据下，我们的模型可以利用未标记数据提高性能，并且优于之前提出的半监督模型.
2020-11-02 cs.CL cs.LG
A non-projective greedy dependency parser with bidirectional LSTMs
Universidade da Coruña（拉科鲁尼亚大学）
LyS-FASTPARSE团队介绍了BIST-COVINGTON，这是Covington（2001）算法的神经实现，用于非投射依存句法分析。Kipperwasser和Goldberg（2016）的双向LSTM方法用于训练具有动态oracle的贪婪解析器，以减轻错误传播。该模型参加了CoNLL 2017 UD共享任务。尽管没有使用任何集成方法，并使用基线分割和PoS标记，解析器在大型树库类别（55种语言）的宏观平均LAS和UAS上都获得了良好的结果，在33个团队中排名第7。在所有树库类别（LAS和UAS）中，我们排名第16位和第12位。所有类别和大类别之间的差距主要是由于四个并行PUD树库的性能不佳，这表明一些“后缀”树库（例如西班牙语AnCora）在跨树库设置上表现不佳，而相应的“无后缀”树库（例如西班牙语）则不会出现这种情况。通过改变这一点，我们在所有运行（官方和非官方）中获得了第11名。该代码可在https://github.com/CoNLL-UD-2017/LyS-FASTPARSE上获得
2017-07-11 cs.CL
Compositional Generalization in Dependency Parsing
McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
组合性（Compositionality）--将熟悉的单元（如单词）组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化，Keysers等人（2020）引入了组合自由基分析（CFQ）。该数据集最大化了测试和训练分布在原始单元（如单词）上的相似性，同时最大化了复合发散：测试和训练分布在较大结构（如短语）上的不相似性。然而，依存句法分析缺少组合泛化基准。在这项工作中，我们为CFQ引入了一套黄金标准的依赖解析器，并使用它来分析最先进的依赖解析器的行为（Qi等人，2020年，CFQ数据集。我们发现，增加复合分歧降低依存句法分析的性能，虽然没有显着的语义解析的性能。此外，我们发现的依赖分析器的性能并不均匀降低相对于复合发散，和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能，并确定了一些句法结构，驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Parsing as Reduction
Universidade de Vigo（维戈大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Priberam Labs（Priberam实验室）
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示，“头有序依赖树”，表现出同构的组成树。通过编码顺序信息的依赖标签，我们表明，任何现成的，可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候，我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单，但实验表明，所得到的解析器与强大的基线相当，例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国，我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
Dependency Parsing as Head Selection
University of Edinburgh（爱丁堡大学）
传统的基于图的依赖性解析器在训练和推理期间都保证树结构。相反，我们将依存句法分析形式化为独立选择句子中每个单词的头部的问题。我们的模型，我们称之为\textsc{DeNSe}（简称为{ \bf De}pendency { \bf N}eural { \bf Se}lection），使用从双向递归神经网络获得的特征为每个单词在可能的头部上产生分布。在训练期间不强制结构约束的情况下，\textsc{DeNSe}（在推理时）为绝大多数句子生成树，而非树输出可以使用最大生成树算法进行调整。我们评估\textsc{DeNSe}四种语言（英语，中文，捷克语和德语）不同程度的非投射。尽管这种方法很简单，但我们的解析器与最先进的解析器不相上下。
2016-12-22 cs.CL cs.LG
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Transition-Based Dependency Parsing using Perceptron Learner
使用依赖结构的句法分析已经成为具有许多不同解析模型的自然语言处理中的标准技术，特别是可以在句法注释语料库上训练的数据驱动模型。在本文中，我们处理基于转换的依存句法分析使用感知器学习器。我们提出的模型，它增加了更多的相关功能的感知学习器，优于基准弧标准解析器。我们击败了MALT和LSTM解析器的UAS。我们还提供了可能的方法来解决非投影树的解析。
2020-01-28 cs.AI cs.CL cs.LG
Left-to-Right Dependency Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；FASTPARSE Lab（FASTPARSE实验室）；LyS Group（LyS研究组）；CITIC（CITIC研究中心）
我们提出了一种新的过渡为基础的算法，直接从左到右的句子通过建立$n$附件，与$n$的输入句子的长度。与Ma等人最近的堆栈指针解析器类似。（2018），我们使用指针网络框架，给定一个单词，可以直接指向句子中的位置。然而，我们的从左到右的方法比原来的自上而下的堆栈指针解析器（不需要堆栈）更简单，并且将转换序列长度减少了一半，从2个$n$ -1操作减少到$n$。这导致二次非投射解析器的运行速度是原始解析器的两倍，同时在全监督单模型依赖解析器中实现了迄今为止英语PTB数据集（96.04%UAS，94.43%LAS）的最佳准确性，并在大多数测试语言中改进了前自顶向下转换系统。
2019-03-20 cs.CL
Please Mind the Root: Decoding Arborescences for Dependency Parsing
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
依赖树和生成树之间的联系被NLP社区用来训练和解码基于图的依赖解析器。然而，NLP文献忽略了这两种结构之间的一个重要区别：在依赖树中，只有一条边可以从根发出。我们分析了Universal Dependency Treebank中许多语言的最先进解析器的输出：尽管这些解析器通常能够学习到违反约束的树应该被分配较低的概率，但随着训练集大小的减少，它们这样做的能力也会降低。事实上，我们观察到的最糟糕的约束违反率是24%。先前的工作已经提出了一种低效率的算法来强制约束，其将因子n添加到解码运行时间。我们将Gabow和Tarjan（1984）的算法应用于依存句法分析，它满足了约束条件，而不影响原始的运行时间。
2020-10-07 cs.CL
Deep Biaffine Attention for Neural Dependency Parsing
Stanford University（斯坦福大学）
本文基于Kiperwasser & Goldberg（2016）最近的工作，在一个简单的基于图的依赖解析器中使用神经注意力。我们使用一个更大，但更彻底的正则化解析器比其他最近的BiLSTM为基础的方法，biaffine分类器预测弧和标签。我们的解析器在六种不同语言的标准树库上获得了最先进或接近最先进的性能，在最流行的英语PTB数据集上实现了95.7%的UAS和94.1%的LAS。这使得它成为该基准测试中性能最高的基于图的解析器-比Kiperwasser Goldberg（2016）高出1.8%和2.2%-并且与性能最高的基于transition的解析器（Kuncoro et al.，2016年），实现了95.8%的UAS和94.6%的LAS。我们还展示了哪些超参数选择对解析准确性有显著影响，使我们能够比其他基于图的方法获得更大的收益。
2017-03-10 cs.CL cs.NE
Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Bar-Ilan University（巴伊兰大学）
我们建议一个组成向量表示的解析树，依赖于递归神经网络编码器的递归组合。为了证明它的有效性，我们使用的表示作为一个贪婪的，自下而上的依赖分析器的骨干，实现国家的最先进的英语和中文的准确性，而不依赖于外部词嵌入。解析器的实现可以在第一作者的网页上下载。
2016-05-26 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
Tackling Error Propagation through Reinforcement Learning: A Case of Greedy Dependency Parsing
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
错误传播是NLP中的一个常见问题。强化学习在训练过程中探索错误状态，因此在过程的早期犯错误时可以更鲁棒。在本文中，我们将强化学习的贪婪依存句法分析，这是已知的遭受错误传播。强化学习提高了斯坦福神经依赖解析器（一种高性能贪婪解析器）的标记和未标记依赖关系的准确性，同时保持了其效率。我们调查的部分错误，这是错误传播的结果，并确认，强化学习减少错误传播的发生。
2017-02-22 cs.CL
Global Transition-based Non-projective Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）
Shi，Huang和Lee（2017）通过将基于transition的依赖解析器的动态编程实现与最小的双向LSTM特征集相结合，获得了英语和中文依存句法分析的最新结果。然而，他们的研究成果仅限于投射句法分析。在本文中，我们扩展了他们的方法，以支持非投射性提供了第一个实际的实现MH_4算法，一个$O(n^4)$轻度非投射动态编程解析器具有非常高的覆盖率非投射树库。为了使MH_4与最小的基于转换的特征集兼容，我们引入了一个基于转换的解释，其中解析器项被映射到转换序列。我们由此获得了非投射转换句法分析的全局解码的第一个实现，并实证证明了它在分析一些高度非投射语言时比投射转换句法分析更有效
2018-07-04 cs.CL
Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing
University of Wrocław（弗罗茨瓦夫大学）
我们提出了一个依赖解析器实现为一个单一的深神经网络，读取单词的正字法表示，并直接生成依赖关系和它们的标签。与典型的解析方法不同，该模型不需要对句子进行词性（POS）标记。通过适当的正则化和多任务学习实现的额外监督，我们在通用递归树库的斯拉夫语言上达到了最先进的性能：除了字符之外没有其他语言特征，我们的解析器与在完美的POS标签上训练的基于转换的系统一样准确。
2017-06-05 cs.CL
Efficient Second-Order TreeCRF for Neural Dependency Parsing
Soochow University（苏州大学）
在深度学习（DL）时代，由于多层BiLSTM在上下文表示方面的卓越能力，解析模型被极度简化，对性能的影响很小。作为最流行的基于图的依赖解析器，由于其高效率和性能，biaffine解析器在弧分解假设下直接对单个依赖进行评分，并采用非常简单的局部令牌式交叉熵训练损失。本文首次提出了二阶TreeCRF扩展的biaffine分析器。长期以来，内外算法的复杂性和低效性阻碍了TreeCRF的普及。为了解决这个问题，我们提出了一种有效的方法来批量化的内部和Viterbi算法的直接大矩阵运算的GPU上，并通过有效的反向传播，以避免复杂的外部算法。对来自13种语言的27个数据集的实验和分析清楚地表明，在DL时代之前开发的技术，如结构学习（全局TreeCRF损失）和高阶建模仍然是有用的，并且可以进一步提高分析性能，特别是对于部分注释的训练数据。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-06-29 cs.CL
Non-Projective Dependency Parsing with Non-Local Transitions
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一种新的过渡系统，基于Covington非投影解析器，引入非局部过渡，可以直接创建弧涉及节点的左边的当前焦点位置。这避免了需要长序列的无弧过渡来创建长距离弧，从而减轻了错误传播。由此产生的解析器优于原来的版本，并实现了最好的准确性之间的贪婪的过渡为基础的算法的斯坦福大学的宾夕法尼亚树库转换。
2018-05-15 cs.CL
Fast semantic parsing with well-typedness guarantees
Saarland University（萨尔大学）；Department of Language Science and Technology（语言科学与技术系）
AM依赖解析是一种基于语言学原理的神经语义解析方法，具有跨多个图库的高精度。它依赖于一个类型系统，该类型系统对语义价进行建模，但会使现有的解析器变慢。我们描述了一个A * 解析器和一个基于转换的解析器AM依存句法分析，保证良好的类型和提高解析速度高达3个数量级，同时保持或提高准确性。
2020-10-06 cs.CL
Exploiting Cross-Dialectal Gold Syntax for Low-Resource Historical Languages: Towards a Generic Parser for Pre-Modern Slavic
University of Oxford（牛津大学）
本文探讨了通过训练来自不同相关品种的数据来提高前现代斯拉夫语专用解析器性能的可能性。由于其语言的异质性，前现代斯拉夫语的品种被视为低资源的历史语言，从而跨方言树库数据可以被利用，以克服数据稀缺性，并尝试训练的品种不可知的解析器。以前的实验早期斯拉夫语依存句法分析进行了讨论，特别是关于他们的能力，以解决不同的正字法，区域和文体特征。使用jPTDP（Nguyen & Verspoor 2018）训练了一个通用的前现代斯拉夫语解析器和两个专门的解析器-一个用于东斯拉夫语，一个用于南斯拉夫语-这是一种用于联合词性（POS）标记和依存句法分析的神经网络模型，它在许多通用依存关系（UD）树库上显示出有希望的结果，包括旧教会斯拉夫语（OCS）。通过这些实验，获得了OCS（83.79%的未标记依恋得分（UAS）和78.43%的标记依恋得分（LAS））和Old East Slavic（85.7%UAS和80.16%LAS）的最新技术水平。
2020-11-12 cs.CL
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法（UD）等框架的基于图的解析器的准确性的显著提高。然而，以前的作品在各个方面都有所不同，包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响，并确定一个简单而广泛适用的体系结构，我们介绍了STEPS，一个新的模块化的基于图的依赖解析器。使用STEPS，我们进行了一系列的分析UD语料库的一组不同的语言。我们发现，到目前为止，预训练嵌入的选择对解析器性能的影响最大，并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时，添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起，我们提出了一个简单但广泛适用的解析器架构和配置，为12种不同语言中的10种实现了新的最先进的结果（就LAS而言）。
2021-07-29 cs.CL
Empirical Analysis for Unsupervised Universal Dependency Parse Tree Aggregation
Iowa State University（爱荷华州立大学）
针对依存分析器跨领域和语言质量不稳定的问题，本文通过广泛实证研究比较多种无监督后处理聚合方法，以识别最合适的依存树结构聚合方案。
2024-04-03 cs.CL
A Fundamental Algorithm for Dependency Parsing (With Corrections)
Institute for Artificial Intelligence（人工智能研究所）；The University of Georgia（佐治亚大学）
本文提出一种逐词附加的依存句法分析基础算法，其最坏情况复杂度为$O(n^3)$，但仅在句子较短时出现，并模拟了人脑解析特性。
2025-10-22 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析，通过结合从左到右编码器与序列标注及基于转移的解码器，证明其仍明显落后于双向模型。
2023-09-28 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型，用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器（Kiperwasser和Goldberg，2016），通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上，我们的模型分别获得了94.51%和92.87%的UAS和LAS分数，比基于BIST图的解析器有1.5%以上的绝对改进，并且还获得了97.97%的最先进的POS标记准确率。此外，从原始文本中解析61个“大”通用词典树库的实验结果表明，我们的模型优于基线UDPipe（Straka和Straková，2017），平均POS标记得分高出0.8%，平均LAS得分高出3.6%。此外，通过我们的模型，我们还获得了最先进的下游任务分数，用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供：https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Weakly Supervised Headline Dependency Parsing
Google Research（谷歌研究院）；Bloomberg（彭博）；Cornell University（康奈尔大学）
自20世纪30年代以来，英语新闻标题形成了一个具有独特句法特征的语域，这在语言学文献中已有记载。然而，令人惊讶的是，标题很少受到NLP句法分析社区的关注。我们的目标是弥合这一差距，通过提供第一个新闻标题语料库的通用的标注句法依赖树，这使我们能够评估现有的国家的最先进的依赖分析器的新闻标题。为了提高英语新闻标题的句法分析准确率，我们提出了一种投影方法，从未标记的新闻标题-文章引导句对中引导银训练数据。在银色标题解析上训练的模型比仅在金色注释的长格式文本上训练的模型在性能上有显着提高。最终，我们发现，虽然预计银训练数据提高了解析器的性能在不同的新闻媒体，改善是缓和的建设特质出口。
2023-01-25 cs.AI cs.CL cs.LG
Hexatagging: Projective Dependency Parsing as Tagging
提出名为hexatagger的依存句法分析器，通过将单词标注为有限标签来构建依存树，实现训练时完全并行化和线性时空复杂度的精确解码，并在Penn Treebank上取得SOTA性能且解码速度提升约10倍。
2023-06-08 cs.AI cs.CL
On the feasibility of dependency parsing of non-human sequences without a gold standard. Is evaluation possible in other species?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of St Andrews（圣安德鲁斯大学）；University of Michigan（密歇根大学）；Western University（韦仕敦大学）
探讨无黄金标准下非人类序列依存句法分析的可行性，应用网络科学进展，发现非人类灵长类动物发声或手势序列因序列长度分布快速衰减，解析器检索正确边比例高，可无黄金标准评估，人类语言序列则不然。
2026-07-09 cs.CL
A Simple LSTM model for Transition-based Dependency Parsing
Google Inc.（谷歌公司）
我们提出了一个简单的基于LSTM的基于转换的依赖解析器。我们的模型由单个LSTM隐藏层组成，取代了通常前馈网络架构中的隐藏层。我们还提出了一种新的初始化方法，使用前馈神经网络的预训练权重来初始化我们的基于LSTM的模型。我们还表明，在输入层上使用dropout对性能有积极的影响。我们最终的解析器在Penn Treebank上实现了93.06%的未标记和91.01%的标记附件得分。我们还在模型中用GRU和Elman单元替换了LSTM，并探索了我们的初始化方法对构成所有三种类型RNN单元的各个门的有效性。
2017-09-08 cs.CL
Transition-based Semantic Dependency Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
用指针网络实现的基于转换的语法分析器已经成为依存句法分析的最新技术，在产生标记语法树方面表现出色，在这项任务中优于基于图的模型。为了进一步测试这些强大的神经网络在更难的NLP问题上的能力，我们提出了一个过渡系统，由于指针网络，可以直接产生标记的有向无环图，并执行语义依存句法分析。此外，我们增强了我们的方法与深上下文的词嵌入提取BERT。由此产生的系统不仅优于所有现有的基于transition的模型，而且在SemEval 2015 Task 18英语数据集上与之前最先进的基于图的解析器相匹配。
2020-05-28 cs.CL
