DPH Parser: A Bottom-Up Grammar-Driven Parser for Joint Constituency and Dependency Analysis
本文提出DPH解析器,一种基于语法的自底向上无监督解析框架,通过特征规则和中心语标注联合生成成分与依存结构,在UD语料上验证了透明解析的可行性。
2026-09-09 cs.CL
Minor changes make a difference: a case study on the consistency of UD-based dependency parsers
KTH Royal Institute of Technology(瑞典皇家理工学院)
许多下游应用程序使用依赖关系树,因此依赖于产生正确或至少一致的输出的依赖关系解析器。然而,依赖性解析器是使用机器学习训练的,并且因此容易受到由于训练数据中的偏差而导致的不期望的不一致性的影响。本文通过一个实验来研究句子中数字替换的效果,探讨了这种偏见在四种语言中的影响-英语,瑞典语,俄语和乌克兰语。我们表明,这种看似微不足道的变化,在输入可能会导致很大的差异,在输出,并建议数据增强可以补救的问题。
2021-11-30 cs.CL
Dependency Grammar Induction with a Neural Variational Transition-based Parser
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
依存语法归纳是在没有带注释的训练数据的情况下学习依存语法的任务。传统的基于图的全局推理模型在此任务上实现了最先进的结果,但它们需要$O(n^3)$运行时间。基于转换的模型可以通过$O(n)$时间复杂度实现更快的推理,但其性能仍然落后。在这项工作中,我们提出了一个基于神经转换的依存语法归纳分析器,其推理过程利用了丰富的神经功能与$O(n)$时间复杂度。我们训练的分析器与变分推理,后验正则化和方差减少技术的集成。由此产生的框架优于以前的无监督的过渡为基础的依赖解析器,并实现性能媲美基于图形的模型,无论是在英语Penn树库和通用Dependency树库。在实证比较中,我们表明,我们的方法大大提高了基于图的模型的解析速度。
2018-11-14 cs.CL
Notes About a More Aware Dependency Parser
在本文中,我解释了促使我研究和构思一种新的依存句法分析技术的原因,这种技术将基于数据驱动的转换方法和基于约束的方法的优点结合在一起。特别是我强调的问题,推断的可靠性的数据驱动的基于转换的解析器的结果,这是非常重要的高层次的过程,期望使用正确的解析结果。然后,我简要介绍了一些关于我正在研究的新解析器模型的注意事项,该模型能够以一种“更有意识”的方式进行分析,具有更“健壮”的健壮性概念。
2015-07-20 cs.CL
A Higher-Order Semantic Dependency Parser
Southeast University(东南大学);Key Laboratory of Computer Network and Information Integration (Southeast University)(计算机网络和信息集成重点实验室(东南大学))
高阶特征在语义依存句法分析中带来了显著的准确性增益。然而,建模高阶特征与精确推理是NP难的。图神经网络(GNNs)已被证明是一种有效的工具,用于解决NP难问题的近似推理在许多图学习任务。受GNNs成功的启发,我们研究通过应用GNNs构建高阶语义依赖解析器。GNN不是从中间解析图中显式地提取高阶特征,而是通过堆叠多个GNN层来简洁地聚合高阶信息。实验结果表明,我们的模型在SemEval 2015 Task 18英语数据集上的性能优于以前最先进的解析器。
2022-01-27 cs.CL
Improving Coverage and Runtime Complexity for Exact Inference in Non-Projective Transition-Based Dependency Parsers
Cornell University(康奈尔大学);Universidade da Coruña(拉科鲁尼亚大学)
我们将Cohen,Gómez-Rodríguez和Satta(2011)的解析器推广到一系列基于非投射转换的依赖解析器,允许多项式时间精确推理。这包括比Cohen等人(2011)具有更好覆盖率的新型解析器,甚至是将时间复杂度降低到$O(n^6)$的变体,改进了基于非投射转换的解析的精确推理的已知界限。我们希望,这一块的理论工作启发设计新的过渡系统,更好的覆盖率和更好的运行时保证。代码可在https://github.com/tzshi/nonproj-dp-variants-naacl2018获得
2018-05-02 cs.CL
Deep Contextualized Word Embeddings in Transition-Based and Graph-Based Dependency Parsing -- A Tale of Two Parsers Revisited
Uppsala University(乌普萨拉大学)
基于转换和基于图的依赖解析器先前已被证明具有互补的优势和弱点:基于转换的解析器利用丰富的结构特征,但遭受错误传播,而基于图的解析器受益于全局优化,但具有有限的功能范围。在本文中,我们表明,即使切换到神经网络和连续表示后,图片的一些细节发生了变化,丰富的功能和全局优化之间的基本权衡仍然基本相同。此外,我们表明,深度上下文化的词嵌入,它允许解析器将有关全局句子结构的信息打包到本地特征表示中,使基于转换的解析器比基于图的解析器更受益,使得这两种方法在准确性和错误率方面几乎等同。我们认为,原因是,这些表示有助于防止搜索错误,从而使过渡为基础的解析器,以更好地利用其固有的优势,作出准确的本地决策。我们支持这一解释的错误分析13种语言的解析实验。
2019-08-27 cs.CL
ThamizhiUDp: A Dependency Parser for Tamil
University of Moratuwa(莫拉图瓦大学)
本文介绍了我们如何开发一个基于神经的依赖分析器,即ThamizhiUDP,它提供了一个完整的管道依存句法分析的泰米尔语文本使用通用依赖形式主义。我们已经考虑了依存句法分析管道的各个阶段,并确定了每个阶段中的工具和资源,以提高准确性并解决数据稀缺问题。ThamizhiUDP使用Stanza进行标记化和词形化,使用ThamizhiPOSt和ThamizhiMorph生成词性(POS)和形态学注释,使用uuparser进行多语言训练以进行依存句法分析。ThamizhiPOSt是我们的POS标记器,它基于Stanza,使用Amrita POS标记语料库进行训练。它是目前最先进的泰米尔语POS标记,F1得分为93.27。我们的形态分析器,ThamizhiMorph是一个基于规则的系统,具有很好的泰米尔语覆盖率。我们的依赖解析器ThamizhiUDp是使用多语言数据训练的。它显示了62.39的标记语法得分(LAS),比泰米尔语依存句法分析目前达到的最好成绩高出4分。因此,我们表明,打破了依存句法分析管道,以适应现有的工具和资源是一个可行的方法,低资源的语言。
2020-12-24 cs.CL
The (Non-)Utility of Structural Features in BiLSTM-based Dependency Parsers
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
经典的非神经依赖解析器在特征函数的设计上投入了大量的精力。特别是,它们受益于来自结构特征的信息,例如从依赖关系树中的相邻标记中提取的特征。相比之下,他们的基于BiLSTM的后继者在没有关于结构上下文的明确信息的情况下实现了最先进的性能。在本文中,我们的目标是回答这个问题:BiLSTM表示能够隐式地捕获多少结构上下文?我们表明,从部分子树绘制的功能变得冗余时,使用的BiLSTM。我们提供了一个深刻的洞察信息流的过渡和基于图的神经架构,以证明隐含的信息来自解析器时,他们的决定。最后,与模型烧蚀,我们证明了结构的背景不仅存在于模型中,但它显着影响其性能。
2019-06-04 cs.CL
Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);Corti
目前的跨语言解析器迁移方法主要集中在全局预测低资源目标语言的最佳解析器,即“在树库级别”。在这项工作中,我们提出并主张一种新的跨语言迁移范式:实例级解析器选择(ILPS),并提出了一个概念验证的研究集中在实例级选择的框架下的非词汇化解析器迁移。我们从经验观察开始,不同的源解析器是目标语言中不同通用POS序列的最佳选择。然后,我们建议在实例级预测最佳解析器。为此,我们训练一个监督回归模型,基于Transformer架构,预测解析器的准确性为个人POS序列。我们比较ILPS与两个强大的单一最佳解析器选择基线(SBPS):(1)一个模型,比较源和目标语言(KL)之间的POS n-gram分布和(2)的模型,选择源之间的相似性手动创建的语言向量编码的语言(L2 V)的语法属性。从我们广泛的评估,耦合42源解析器和20个不同的低资源测试语言的结果表明,ILPS优于KL和L2 V的13/20和14/20测试语言,分别。此外,我们表明,通过预测最好的解析器“在树库级别”(SBPS),使用我们的实例级模型的预测聚合,我们在17/20和16/20测试语言上的表现优于相同的基线。
2020-04-16 cs.CL
Hybrid Oracle: Making Use of Ambiguity in Transition-based Chinese Dependency Parsing
MOE Key Laboratory of Computational Linguistics(教育部计算语言学重点实验室);School of Electronics Engineering and Computer Science(电子工程与计算机科学学院);Peking University(北京大学)
在基于转换的依赖分析器的训练中,使用预言机来预测句子及其黄金树的转换序列。然而,过渡系统可能会表现出模糊性,即可能有多个正确的过渡序列形成黄金树。我们建议利用该属性训练神经依赖解析器,并提出了混合预言。新的预言机给出了解析状态的所有正确转换,这些转换用于交叉熵损失函数以提供更好的监督信号。它还用于为一个句子生成不同的转换序列,以更好地探索训练数据,提高解析器的泛化能力。实验结果表明,在中文依存句法分析中,使用混合预言机训练的句法分析器的性能优于使用传统预言机训练的句法分析器。我们从语言学的角度进行分析。该代码可在https://github.com/lancopku/nndep上获得。
2018-02-06 cs.CL
An empirical study for Vietnamese dependency parsing
Macquarie University(麦考瑞大学)
本文介绍了一个经验比较不同的依赖分析越南语,它有一些不寻常的特点,如系词下降和动词序列化。实验结果表明,基于神经网络的语法分析器的性能明显优于传统的语法分析器。我们报告了迄今为止越南语的最高解析分数,标记附件分数(LAS)为73.53%,未标记附件分数(UAS)为80.66%。
2016-11-03 cs.CL
Performance of Stanford and Minipar Parser on Biomedical Texts
University of Western Ontario(西安大略大学)
在本文中,性能的依赖分析器,即斯坦福大学和Minipar,对生物医学文本已经报道。在两个已经被证明是连接的生物医学概念之间分配依赖关系的解析器的性能并不令人满意。Stanford和Minipar都是统计分析器,如果两个连接的概念之间至少有一个子句是遥远的,则它们不能分配它们之间的依赖关系。Minipar的性能,在精确度,召回率和附件分数的F分数方面(例如,正确识别依赖项中的头部),解析生物医学文本的能力也以斯坦福大学的作为金标准来衡量。结果表明,Minipar是不适合的生物医学文本的解析。此外,定性调查显示,工作原理的解析器之间的差异也起到了至关重要的作用,Minipar的性能下降。
2014-09-25 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University(巴伊兰大学)
本文提出了一种基于双向LSTM(BiLSTM)的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联,该向量在其上下文中表示该标记,特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练,从而产生非常有效的解析特征提取器。我们证明了该方法的有效性,通过将其应用到一个贪婪的基于转换的解析器,以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构,并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
A Dynamic Oracle for Linear-Time 2-Planar Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学)
我们提出了一个有效的动态预言机用于训练基于2-Planar transition的解析器,一个线性时间解析器,在非投射句法语料库上的覆盖率超过99%。这种新方法在绝大多数测试语言中优于静态训练策略,并且在大多数数据集上的得分优于使用SWAP转换增强的弧混合解析器,后者可以处理不受限制的非投射性。
2018-05-15 cs.CL
Universal Dependency Parsing with a General Transition-Based DAG Parser
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文介绍了我们将TUPA应用于CoNLL 2018 UD共享任务的实验。TUPA是一个通用的神经转换为基础的DAG解析器,我们使用它来恢复增强的依赖关系作为一般解析任务的一部分,目前的第一个实验。TUPA是为分析UCCA而设计的,UCCA是一种跨语言的语义标注方案,具有可重入性,不连续性和非终结节点。通过将UD树和图转换为类似于UCCA的DAG格式,我们训练TUPA几乎不需要对UD解析任务进行修改。我们的方法的通用性质自然适合于多任务学习。我们的代码可在https://github.com/CoNLL-UD-2018/HUJI上获得
2018-08-28 cs.CL
Working Hard or Hardly Working: Challenges of Integrating Typology into Neural Dependency Parsers
Massachusetts Institute of Technology(麻省理工学院)
本文探讨了在跨语言依存句法分析中利用类型学的任务。虽然这种语言信息在前神经分析中表现出很大的希望,但神经结构的结果却好坏参半。我们的研究目的是为了更好地理解这一现状,主要发现如下:1)类型学信息的益处来自于对语言进行粗略的句法同质聚类,而不是学习以组合的方式利用各个类型学维度上的变化; 2)与实际语料统计数据一致的类型学产生更好的迁移性能;(3)类型相似性只是句法分析中跨语言可迁移性的一个粗略指标。
2019-09-20 cs.CL
The ADAPT Enhanced Dependency Parser at the IWPT 2020 Shared Task
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算学院)
我们描述了用于2020 IWPT共享任务的ADAPT系统,该任务以17种语言解析增强的通用语法。我们使用UDPipe和UDPipe-future实现了一个管道方法来提供初始级别的注释。增强的依赖图或者由基于图的语义依赖解析器产生,或者使用一小组语法从基本树构建。我们的研究结果表明,对于大多数语言,语义依赖分析器可以成功地应用于分析增强的依赖关系的任务。不幸的是,我们没有确保连接图作为我们管道方法的一部分,我们的竞争提交依赖于最后一刻的修复来通过验证脚本,这严重损害了我们的官方评估分数。我们的提交在官方评估中排名第八,宏观平均粗糙ELAS F1为67.23,树库平均值为67.49。我们后来实现了自己的图形连接修复,结果得分为79.53(语言平均)或79.76(树库平均),这将在竞争评估中排名第四。
2020-09-03 cs.CL
Unsupervised Dependency Parsing: Let's Use Supervised Parsers
Institute for Logic, Language, and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
我们提出了一个自我训练的方法来无监督依存句法分析,重用现有的监督和无监督解析算法。我们的方法,被称为“迭代重排序”(IR),开始与依赖树生成的无监督解析器,并迭代地提高这些树使用更丰富的概率模型中使用的监督解析,反过来训练这些树。我们的系统在WSJ语料库上的准确率比Spitkovsky et al.(2013)的部分状态解析器高出1.8%。
2015-04-18 cs.CL cs.LG
Cross-lingual Universal Dependency Parsing Only from One Monolingual Treebank
Shanghai Jiao Tong University(上海交通大学)
句法分析是一个高度语言处理的任务,其分析器需要从昂贵的人工注释中训练树库。由于不太可能为每种人类语言获得树库,因此在这项工作中,我们提出了一个有效的跨语言UD解析框架,用于将解析器从一个源单语树库转移到任何其他目标语言,而无需树库。为了在不同的语言之间达到满意的分析精度,我们将两个语言建模任务作为多任务引入到依存句法分析中。假设只有来自目标语言的未标记数据和源树库可以一起利用,我们采用了一种自我训练策略,以进一步提高我们的多任务框架的性能。我们提出的跨语言解析器实现英语,中文,和22 UD树库。实证研究表明,我们的跨语言分析器产生的所有目标语言,第一次有希望的结果,接近分析器的性能,这是在自己的目标树库训练。
2021-04-23 cs.CL
Biaffine Discourse Dependency Parsing
我们提供了一个研究,使用双仿射模型的神经话语依存句法分析,并取得显着的性能改善相比,基线分析器。在任务中我们比较了Reynner算法和Chu-Liu-Edmonds算法,发现Chu-Liu-Edmonds算法生成的树更深,性能更好。我们还用平均最大路径长度和平均叶节点比例来评价解析器的输出结构,发现解析器生成的依赖树接近于黄金树。由于语料库允许非投射结构,我们分析了语料库非投射性的复杂性,发现该语料库中的依赖结构的间隙度和边缘度最多为1。
2022-01-12 cs.CL
Neural Ranking Models for Temporal Dependency Structure Parsing
Brandeis University(布兰迪斯大学)
我们设计并构建了第一个神经时序依赖解析器。它利用神经排序模型与最小的特征工程,并解析时间表达式和事件在文本中的时间依赖树结构。我们评估我们的解析器在两个领域:新闻报道和叙事故事。在一个只分析的评估设置,其中提供黄金时间表达式和事件,我们的解析器达到0.81和0.70的F-分数无标记和标记的解析分别,结果是非常有竞争力的替代方法。在自动识别时间表达式和事件的端到端评估设置中,我们的解析器在两个数据域上都超过了两个强基线。我们的实验结果和讨论揭示了时间依赖结构在不同领域的性质,并提供了见解,我们相信这将是有价值的,在这一领域的未来研究。
2018-09-02 cs.CL
Arc-swift: A Novel Transition System for Dependency Parsing
Stanford University(斯坦福大学)
基于转换的依赖解析器通常需要局部移位和归约操作序列来产生某些附件。因此,正确的个体决策需要关于句子上下文的全局信息,而错误会导致错误传播。本文提出了一种新的过渡系统,弧迅捷,使令牌之间的直接附件更远的一个单一的过渡。这允许解析器在转换决策中更直接地利用词法信息。因此,arc-swift可以用非常小的光束尺寸实现显著更好的性能。我们的分析器减少了3.7- 7.6%的错误,相对于那些使用现有的过渡系统对Penn Treebank依存句法分析任务和英语通用语法分析。
2017-05-12 cs.CL
Revisiting Tri-training of Dependency Parsers
School of Computing(计算学院);Dublin City University(都柏林城市大学)
在依存句法分析任务中比较了tri-training与预训练词嵌入在低资源场景下的效果,发现预训练词嵌入能更有效利用无标签数据,且两者可成功结合。
2021-09-16 cs.CL
Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
现代的基于图的句法依赖性解析器通过针对句子内的每个标记预测其可能的句法中心词上的概率分布(即,所有其它令牌),然后从所得的对数概率中提取最大生成树。如今,几乎所有这样的解析器都利用深度神经网络,因此可能容易发生错误校准(特别是过度自信的预测)。在本文中,我们证明了温度缩放,一个流行的技术事后校准的神经网络,不能改变上述过程的输出。我们的结论是,需要其他技术来解决基于图的依赖解析器中的误校准,以提高解析精度。
2021-06-15 cs.CL
A non-projective greedy dependency parser with bidirectional LSTMs
Universidade da Coruña(拉科鲁尼亚大学)
LyS-FASTPARSE团队介绍了BIST-COVINGTON,这是Covington(2001)算法的神经实现,用于非投射依存句法分析。Kipperwasser和Goldberg(2016)的双向LSTM方法用于训练具有动态oracle的贪婪解析器,以减轻错误传播。该模型参加了CoNLL 2017 UD共享任务。尽管没有使用任何集成方法,并使用基线分割和PoS标记,解析器在大型树库类别(55种语言)的宏观平均LAS和UAS上都获得了良好的结果,在33个团队中排名第7。在所有树库类别(LAS和UAS)中,我们排名第16位和第12位。所有类别和大类别之间的差距主要是由于四个并行PUD树库的性能不佳,这表明一些“后缀”树库(例如西班牙语AnCora)在跨树库设置上表现不佳,而相应的“无后缀”树库(例如西班牙语)则不会出现这种情况。通过改变这一点,我们在所有运行(官方和非官方)中获得了第11名。该代码可在https://github.com/CoNLL-UD-2017/LyS-FASTPARSE上获得
2017-07-11 cs.CL
Compositional Generalization in Dependency Parsing
McGill University(麦吉尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));ServiceNow Research(ServiceNow研究院);Facebook(脸书)
组合性(Compositionality)--将熟悉的单元(如单词)组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化,Keysers等人(2020)引入了组合自由基分析(CFQ)。该数据集最大化了测试和训练分布在原始单元(如单词)上的相似性,同时最大化了复合发散:测试和训练分布在较大结构(如短语)上的不相似性。然而,依存句法分析缺少组合泛化基准。在这项工作中,我们为CFQ引入了一套黄金标准的依赖解析器,并使用它来分析最先进的依赖解析器的行为(Qi等人,2020年,CFQ数据集。我们发现,增加复合分歧降低依存句法分析的性能,虽然没有显着的语义解析的性能。此外,我们发现的依赖分析器的性能并不均匀降低相对于复合发散,和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能,并确定了一些句法结构,驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Parsing as Reduction
Universidade de Vigo(维戈大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Priberam Labs(Priberam实验室)
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示,“头有序依赖树”,表现出同构的组成树。通过编码顺序信息的依赖标签,我们表明,任何现成的,可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候,我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单,但实验表明,所得到的解析器与强大的基线相当,例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国,我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
A Practical Chinese Dependency Parser Based on A Large-scale Dataset
Baidu(百度)
依存句法分析是一个长期存在的自然语言处理任务,其输出对各种下游任务至关重要。近年来,基于神经网络的依存句法分析取得了显著的进展,取得了令人瞩目的成果。众所周知,基于神经网络的方法需要大量的标记训练数据,这是非常昂贵的,因为它需要专家的人工注释。因此,很少有面向工业的依赖解析器工具是公开可用的。在这份报告中,我们介绍了百度依赖解析器(DDParser),这是一个新的中文依赖解析器,在一个名为百度中文树库(DuCTB)的大规模手动标记数据集上训练。DuCTB由来自多个来源的大约一百万个注释句子组成,包括搜索日志,中文新闻专线,各种论坛话语和对话程序。DDParser是在基于图的偏仿射语法分析器的基础上进行扩展,以适应中文数据集的特点。我们在两个测试集上进行了实验:与训练集分布相同的标准测试集和从其他来源抽样的随机测试集,它们的标记依恋得分(LAS)分别为92.9%和86.9%。DDParser实现了最先进的结果,并在https://github.com/baidu/DDParser上发布。
2020-09-03 cs.AI cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University(上海交通大学)
大多数句法依存句法分析模型可以分为两类:基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率,但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树,并且由于动态预言训练的必要性而导致训练速度较慢。后者,基于图的模型,可能拥有更好的性能,但不幸的是被多项式时间推理破坏。在本文中,我们提出了一个新的分析顺序的目标,从而在一个新的依存句法分析模型能够在全局(句子范围内)特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动,左和右弧,投影分析。当配备两个额外的非投射弧建设行动,建议的解析器也可以顺利地支持非投射解析。使用多个基准树库,包括Penn树库(PTB),CoNLL-X树库,和通用Dependency树库,我们评估我们的解析器,并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
A Modest Pareto Optimisation Analysis of Dependency Parsers in 2021
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
我们评估了三个领先的依赖解析器系统从不同的范式在一个小而多样的语言子集的准确性,效率的帕累托前。由于我们对效率感兴趣,我们评估了没有预先训练的语言模型的核心解析器(因为这些模型通常是巨大的网络,并且会构成大部分计算时间)或其他可以横向应用于其中任何一个的增强。Biaffine解析作为一个平衡的默认选择出现,如果推理速度(而不是训练能量成本)是优先级,则序列标记解析是首选。
2021-06-09 cs.AI cs.CL
Left-to-Right Dependency Parsing with Pointer Networks
Universidade da Coruña(拉科鲁尼亚大学);FASTPARSE Lab(FASTPARSE实验室);LyS Group(LyS研究组);CITIC(CITIC研究中心)
我们提出了一种新的过渡为基础的算法,直接从左到右的句子通过建立$n$附件,与$n$的输入句子的长度。与Ma等人最近的堆栈指针解析器类似。(2018),我们使用指针网络框架,给定一个单词,可以直接指向句子中的位置。然而,我们的从左到右的方法比原来的自上而下的堆栈指针解析器(不需要堆栈)更简单,并且将转换序列长度减少了一半,从2个$n$ -1操作减少到$n$。这导致二次非投射解析器的运行速度是原始解析器的两倍,同时在全监督单模型依赖解析器中实现了迄今为止英语PTB数据集(96.04%UAS,94.43%LAS)的最佳准确性,并在大多数测试语言中改进了前自顶向下转换系统。
2019-03-20 cs.CL
Please Mind the Root: Decoding Arborescences for Dependency Parsing
University of Cambridge(剑桥大学);Johns Hopkins University(约翰斯·霍普金斯大学);ETH Zürich(苏黎世联邦理工学院)
依赖树和生成树之间的联系被NLP社区用来训练和解码基于图的依赖解析器。然而,NLP文献忽略了这两种结构之间的一个重要区别:在依赖树中,只有一条边可以从根发出。我们分析了Universal Dependency Treebank中许多语言的最先进解析器的输出:尽管这些解析器通常能够学习到违反约束的树应该被分配较低的概率,但随着训练集大小的减少,它们这样做的能力也会降低。事实上,我们观察到的最糟糕的约束违反率是24%。先前的工作已经提出了一种低效率的算法来强制约束,其将因子n添加到解码运行时间。我们将Gabow和Tarjan(1984)的算法应用于依存句法分析,它满足了约束条件,而不影响原始的运行时间。
2020-10-07 cs.CL
The DCU-EPFL Enhanced Dependency Parser at the IWPT 2021 Shared Task
Dublin City University(都柏林城市大学);Idiap Research Institute(Idiap 研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们描述了DCU-EPFL向IWPT 2021共享任务提交的关于解析为增强的通用解析的报告。该任务涉及解析增强的UD图,它是基本依赖树的扩展,旨在更方便地表示语义结构。评估是在17种语言的29个树库上进行的,要求参与者从原始字符串开始解析每种语言的数据。我们的方法使用Stanza管道来预处理文本文件,XLMRoBERTA来获得上下文化的令牌表示,以及边缘评分和标签模型来预测增强的图形。最后,我们运行一个后处理脚本,以确保我们所有的输出都是有效的增强型UD图。我们的系统在9名参与者中排名第6,粗略的增强标记依恋评分(ELAS)为83.57。我们进行额外的截止日期后的实验,其中包括使用Trankit的预处理,XLM-RoBERTa-LARGE,树库连接,和多任务学习之间的基本和增强的依赖关系解析器。所有这些修改都提高了我们的初始分数,我们最终的系统具有88.04的粗略ELAS。
2021-07-05 cs.CL
Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Bar-Ilan University(巴伊兰大学)
我们建议一个组成向量表示的解析树,依赖于递归神经网络编码器的递归组合。为了证明它的有效性,我们使用的表示作为一个贪婪的,自下而上的依赖分析器的骨干,实现国家的最先进的英语和中文的准确性,而不依赖于外部词嵌入。解析器的实现可以在第一作者的网页上下载。
2016-05-26 cs.CL
Training Dependency Parsers with Partial Annotation
Soochow University(苏州大学)
最近,研究如何获得部分注释数据以进行模型监督的研究激增。然而,如何训练具有部分标注(PA)的统计模型还缺乏系统的研究。本文以依存句法分析为例,描述并比较了三种主流依赖解析器的两种直接方法。第一种方法是以前提出的直接训练一个对数线性图为基础的分析器(LLGPar)与PA基于森林的目标。这项工作首次提出了第二种方法,直接训练线性图为基础的解析器(LGPar)和线性转换为基础的解析器(LTPar)与PA基于约束解码的想法。我们在Penn Treebank上进行了广泛的实验,在三种不同的设置下模拟PA,即,随机依赖关系、最不确定依赖关系以及具有来自三个解析器的不同输出的依赖关系。结果表明,LLGPar是最有效的学习PA和LTPar落后于基于图形的同行大幅度。此外,LGPar和LTPar可以通过使用LLGPar将PA完成为完整注释(FA)来实现最佳性能。
2016-09-29 cs.CL cs.LG
Sequential Graph Dependency Parser
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
我们提出了一种非投射依存句法分析的方法,通过增量预测一组边缘。由于边缘没有预先指定的顺序,我们提出了一个基于集合的学习方法。我们的方法融合了图,过渡,和容易的第一次解析,包括一个特殊情况下的解析器的先前状态。所提出的基于转换的方法成功地解析了近最先进的投射和非投射语言,而无需假设一定的解析顺序。
2019-10-23 cs.CL cs.LG stat.ML
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们提出了一个基于转换的依赖分析器,使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进,特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上,我们的系统优于之前最好的贪婪解析器(Ballesteros等人,2015年,平均增长3%。
2017-05-30 cs.CL
Tackling Error Propagation through Reinforcement Learning: A Case of Greedy Dependency Parsing
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
错误传播是NLP中的一个常见问题。强化学习在训练过程中探索错误状态,因此在过程的早期犯错误时可以更鲁棒。在本文中,我们将强化学习的贪婪依存句法分析,这是已知的遭受错误传播。强化学习提高了斯坦福神经依赖解析器(一种高性能贪婪解析器)的标记和未标记依赖关系的准确性,同时保持了其效率。我们调查的部分错误,这是错误传播的结果,并确认,强化学习减少错误传播的发生。
2017-02-22 cs.CL
Global Transition-based Non-projective Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);Cornell University(康奈尔大学)
Shi,Huang和Lee(2017)通过将基于transition的依赖解析器的动态编程实现与最小的双向LSTM特征集相结合,获得了英语和中文依存句法分析的最新结果。然而,他们的研究成果仅限于投射句法分析。在本文中,我们扩展了他们的方法,以支持非投射性提供了第一个实际的实现MH_4算法,一个$O(n^4)$轻度非投射动态编程解析器具有非常高的覆盖率非投射树库。为了使MH_4与最小的基于转换的特征集兼容,我们引入了一个基于转换的解释,其中解析器项被映射到转换序列。我们由此获得了非投射转换句法分析的全局解码的第一个实现,并实证证明了它在分析一些高度非投射语言时比投射转换句法分析更有效
2018-07-04 cs.CL
I3rab: A New Arabic Dependency Treebank Based on Arabic Grammatical Theory
Princess Sumaya University for Technology(普林塞萨·苏马亚科技大学);Hashemite University(哈希姆特大学)
树库是一种非常有价值的语言资源,它除了包含词性标记和形态特征外,还包含了语言句子的句法结构。它们主要用于建模统计分析器。尽管统计自然语言解析器最近对于诸如英语的语言变得更准确,但是对于阿拉伯语的那些解析器仍然具有低准确性。本文的目的是在传统的阿拉伯语语法理论的基础上,结合阿拉伯语的特点,构建一个新的阿拉伯语依存关系树库,研究其对统计分析器准确性的影响。建议的阿拉伯语依赖树库,称为I3rab,对比现有的阿拉伯语依赖树库在两个主要概念。第一个概念是确定句子的主要词的方法,第二个概念是连接代词和隐蔽代词的表示。为了评估I3rab,我们将其性能与布拉格阿拉伯语DepartmentTreebank的一个子集进行了比较,该子集具有可比的细节水平。进行的实验表明,在UAS和LAS中的百分比改善达到7.5%和18.8%。
2020-07-11 cs.CL
Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing
University of Wrocław(弗罗茨瓦夫大学)
我们提出了一个依赖解析器实现为一个单一的深神经网络,读取单词的正字法表示,并直接生成依赖关系和它们的标签。与典型的解析方法不同,该模型不需要对句子进行词性(POS)标记。通过适当的正则化和多任务学习实现的额外监督,我们在通用递归树库的斯拉夫语言上达到了最先进的性能:除了字符之外没有其他语言特征,我们的解析器与在完美的POS标签上训练的基于转换的系统一样准确。
2017-06-05 cs.CL
Efficient Second-Order TreeCRF for Neural Dependency Parsing
Soochow University(苏州大学)
在深度学习(DL)时代,由于多层BiLSTM在上下文表示方面的卓越能力,解析模型被极度简化,对性能的影响很小。作为最流行的基于图的依赖解析器,由于其高效率和性能,biaffine解析器在弧分解假设下直接对单个依赖进行评分,并采用非常简单的局部令牌式交叉熵训练损失。本文首次提出了二阶TreeCRF扩展的biaffine分析器。长期以来,内外算法的复杂性和低效性阻碍了TreeCRF的普及。为了解决这个问题,我们提出了一种有效的方法来批量化的内部和Viterbi算法的直接大矩阵运算的GPU上,并通过有效的反向传播,以避免复杂的外部算法。对来自13种语言的27个数据集的实验和分析清楚地表明,在DL时代之前开发的技术,如结构学习(全局TreeCRF损失)和高阶建模仍然是有用的,并且可以进一步提高分析性能,特别是对于部分注释的训练数据。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-06-29 cs.CL
Non-Projective Dependency Parsing with Non-Local Transitions
Universidade da Coruña(拉科鲁尼亚大学)
我们提出了一种新的过渡系统,基于Covington非投影解析器,引入非局部过渡,可以直接创建弧涉及节点的左边的当前焦点位置。这避免了需要长序列的无弧过渡来创建长距离弧,从而减轻了错误传播。由此产生的解析器优于原来的版本,并实现了最好的准确性之间的贪婪的过渡为基础的算法的斯坦福大学的宾夕法尼亚树库转换。
2018-05-15 cs.CL
Fast semantic parsing with well-typedness guarantees
Saarland University(萨尔大学);Department of Language Science and Technology(语言科学与技术系)
AM依赖解析是一种基于语言学原理的神经语义解析方法,具有跨多个图库的高精度。它依赖于一个类型系统,该类型系统对语义价进行建模,但会使现有的解析器变慢。我们描述了一个A * 解析器和一个基于转换的解析器AM依存句法分析,保证良好的类型和提高解析速度高达3个数量级,同时保持或提高准确性。
2020-10-06 cs.CL
Exploiting Cross-Dialectal Gold Syntax for Low-Resource Historical Languages: Towards a Generic Parser for Pre-Modern Slavic
University of Oxford(牛津大学)
本文探讨了通过训练来自不同相关品种的数据来提高前现代斯拉夫语专用解析器性能的可能性。由于其语言的异质性,前现代斯拉夫语的品种被视为低资源的历史语言,从而跨方言树库数据可以被利用,以克服数据稀缺性,并尝试训练的品种不可知的解析器。以前的实验早期斯拉夫语依存句法分析进行了讨论,特别是关于他们的能力,以解决不同的正字法,区域和文体特征。使用jPTDP(Nguyen & Verspoor 2018)训练了一个通用的前现代斯拉夫语解析器和两个专门的解析器-一个用于东斯拉夫语,一个用于南斯拉夫语-这是一种用于联合词性(POS)标记和依存句法分析的神经网络模型,它在许多通用依存关系(UD)树库上显示出有希望的结果,包括旧教会斯拉夫语(OCS)。通过这些实验,获得了OCS(83.79%的未标记依恋得分(UAS)和78.43%的标记依恋得分(LAS))和Old East Slavic(85.7%UAS和80.16%LAS)的最新技术水平。
2020-11-12 cs.CL
On Multilingual Training of Neural Dependency Parsers
University of Wrocław(弗罗茨瓦夫大学)
我们表明,最近提出的神经依赖解析器可以通过对来自同一家族的多种语言进行联合训练来改进。解析器被实现为一个深度神经网络,其唯一的输入是单词的正字法表示。为了成功解析,网络必须发现如何从单词拼写中推断出语言相关的概念。我们分析了网络学习的字符和单词的表示,以确定语言的哪些属性被考虑在内。特别是,我们表明,解析器已经大致学会了拉丁字符与西里尔文对应,它可以组波兰语和俄语的话,有一个类似的语法功能。最后,我们评估了从通用数据集的选定语言的解析器,并表明它是有竞争力的其他最近提出的最先进的方法,同时具有简单的结构。
2017-05-29 cs.CL cs.LG cs.NE
An efficiency dependency parser using hybrid approach for tamil language
National Engineering College(国立工程学院)
自然语言处理是一个非常活跃的研究领域。句法分析是语言分析系统的重要工具之一,其目的是预测句子中词与词之间的结构关系。许多研究人员已经开发了很多语言工具,但准确性还没有达到人类的期望水平,因此研究仍然存在。机器翻译是自然语言处理的主要应用领域之一。在一种语言到另一种语言的翻译中,句子的结构识别起着关键的作用。本文介绍了一种混合方法来解决句子中给定词之间的关系识别问题。在现有的系统是使用基于规则的方法,这是不适合在巨大的数据量。机器学习方法适合于处理大量的数据,也可以通过学习和训练系统来获得更好的准确性。该方法以泰米尔语句子作为输入,并产生一个依赖关系的结果作为一个树状结构,使用混合的方法。该工具对研究人员非常有帮助,并有望提高现有方法的质量。
2014-03-21 cs.CL
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College(波士顿学院)
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语(MacWhinney,2000年)。我们的注释在很大程度上遵循了通用自动化项目(UD(Zeman et al.,2022)),详细扩展到词汇/句法结构独特的会话讲话(在反对书面文本)。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比,我们的数据集的大小(大得多)(话语数N = 44,744;单词数N = 233,907),包含来自10个儿童的语音,涵盖了广泛的年龄范围(18-66个月)。有了这个数据集,我们问:(1)为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何?(2)句法分析能力与儿童的发展阶段有什么关系?为了解决这些问题,在正在进行的工作中,我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估,这些解析器具有不同的超参数化,从三种不同类型的域外书面文本中训练:新闻,推文和学习者数据。
2022-09-28 cs.CL
Arc-Standard Spinal Parsing with Stack-LSTMs
IBM T.J Watson Research Center(IBM T.J. Watson 研究中心);Naver Labs Europe
我们提出了一个神经过渡为基础的解析器的脊椎树,依赖表示的组成树。解析器使用Stack-LSTM来组成具有基于依赖关系的派生的组成节点。在实验中,我们表明,该模型适用于不同风格的依赖关系,但这种选择对预测组成结构的影响不大,这表明LSTM诱导有用的状态本身。
2017-09-01 cs.CL
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法(UD)等框架的基于图的解析器的准确性的显著提高。然而,以前的作品在各个方面都有所不同,包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响,并确定一个简单而广泛适用的体系结构,我们介绍了STEPS,一个新的模块化的基于图的依赖解析器。使用STEPS,我们进行了一系列的分析UD语料库的一组不同的语言。我们发现,到目前为止,预训练嵌入的选择对解析器性能的影响最大,并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时,添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起,我们提出了一个简单但广泛适用的解析器架构和配置,为12种不同语言中的10种实现了新的最先进的结果(就LAS而言)。
2021-07-29 cs.CL
Question Decomposition with Dependency Graphs
Tel Aviv University(特拉维夫大学)
QDMR是一种复杂问题的意义表示方法,它将问题分解为一系列原子步骤。虽然最先进的QDMR解析器使用常见的序列到序列(seq2seq)方法,但QDMR结构从根本上描述了输入问题中跨度之间的标记关系,因此基于依赖性的方法似乎适合于此任务。在这项工作中,我们提出了一个QDMR解析器,它是基于依赖图(DG),其中图中的节点是单词和边缘描述的逻辑关系,对应于不同的计算步骤。我们提出了(a)一个非自回归图解析器,其中所有的图边同时计算,和(b)一个seq2seq解析器,使用黄金图作为辅助监督。我们发现,图解析器导致性能适度降低(0.47至0.44),但由于解析器的非自回归性质,推理时间加快了16倍,并且与seq2seq模型相比,提高了样本复杂度。其次,与seq2seq模型相比,使用辅助图监督训练的seq2seq模型对新领域具有更好的泛化能力,并且在具有长计算步骤序列的问题上也表现得更好。
2021-04-17 cs.CL cs.LG
A Fundamental Algorithm for Dependency Parsing (With Corrections)
Institute for Artificial Intelligence(人工智能研究所);The University of Georgia(佐治亚大学)
本文提出一种逐词附加的依存句法分析基础算法,其最坏情况复杂度为$O(n^3)$,但仅在句子较短时出现,并模拟了人脑解析特性。
2025-10-22 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析,通过结合从左到右编码器与序列标注及基于转移的解码器,证明其仍明显落后于双向模型。
2023-09-28 cs.CL