Urdu Dependency Parsing and Treebank Development: A Syntactic and Morphological Perspective
COMSATS University Islamabad（伊斯兰堡COMSATS大学）
本文面向低资源、形态复杂的乌尔都语，构建人工标注新闻树库，并结合词性与形态特征训练依存分析器，最佳 LA 达 70%、UAS 达 84%。
2024-10-02 cs.CL cs.LG
Instance-Based Neural Dependency Parsing
NAIST（日本国立情报学研究所）；RIKEN（理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）；Langsmith, Inc.（Langsmith公司）
在实际应用中，模型预测的可解释的原理是至关重要的。我们开发的神经模型，拥有一个可解释的推理过程的依存句法分析。我们的模型采用基于实例的推理，其中依赖性边缘被提取并通过将它们与训练集中的边缘进行比较来标记。训练边缘被明确地用于预测;因此，很容易掌握每个边缘对预测的贡献。我们的实验表明，我们的基于实例的模型实现了竞争力的准确性与标准的神经模型，并具有合理的基于实例的解释。
2021-09-28 cs.CL cs.LG
Semi-supervised Autoencoding Projective Dependency Parsing
Purdue University（普渡大学）
我们描述了两个端到端的自动编码模型的半监督图为基础的投影依存句法分析。第一个模型是局部自动编码解析器（Locally Autoencoding Parser，简称GAP），它使用连续的隐变量以顺序的方式对输入进行编码;第二个模型是全局自动编码解析器（Globally Autoencoding Parser，简称GAP），它将输入作为隐变量编码到依赖树中，并进行精确推理。这两个模型都由两部分组成：一个由深度神经网络（DNN）增强的编码器，它可以利用上下文信息将输入编码为潜在变量，以及一个解码器，它是一个能够重建输入的生成模型。两种方法都采用了统一的结构，对有标记和无标记的数据使用不同的损失函数，并共享参数。我们在WSJ和UD依存句法分析数据集上进行了实验，结果表明，在有限的标记数据下，我们的模型可以利用未标记数据提高性能，并且优于之前提出的半监督模型.
2020-11-02 cs.CL cs.LG
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University（天津大学）
句法和语义解析是自然语言处理领域的一个主要研究课题，已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务，这些任务很难被完全覆盖。在这里，我们集中在两个最流行的形式化分析：成分分析和依存句法分析。成分句法分析主要针对句法分析，而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型，以及具有丰富语义的依存图句法分析。此外，本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Transition-Based Dependency Parsing using Perceptron Learner
使用依赖结构的句法分析已经成为具有许多不同解析模型的自然语言处理中的标准技术，特别是可以在句法注释语料库上训练的数据驱动模型。在本文中，我们处理基于转换的依存句法分析使用感知器学习器。我们提出的模型，它增加了更多的相关功能的感知学习器，优于基准弧标准解析器。我们击败了MALT和LSTM解析器的UAS。我们还提供了可能的方法来解决非投影树的解析。
2020-01-28 cs.AI cs.CL cs.LG
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了递归的非自回归图到图的Transformer架构（RNGTr）的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer，并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型，在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer（SynTr），一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性，甚至比SynTr实现的新的最先进的结果更好，显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
在前深度学习时代，词性标记已被认为是依存句法分析中特征工程不可或缺的成分。但是，相当多的工作集中在联合标记和解析模型，以避免错误传播。相比之下，最近的研究表明，POS标签变得不那么重要，甚至无用的神经解析，特别是当使用基于字符的单词表示。然而，无论是从经验上还是从语言学上，都没有足够的研究关注这一问题。为了回答这个问题，我们设计并比较了三种典型的多任务学习框架，共享-松散，共享-紧密和堆栈，用于基于最先进的biaffine解析器的联合标记和解析。考虑到它是便宜得多的POS标签注释比解析树，我们还调查了大规模异构POS标签数据的利用。我们在英文和中文数据集上进行了实验，结果清楚地表明，使用Stack联合框架时，词性标注（同质和异构）仍然可以显着提高解析性能。我们进行详细的分析，并从语言方面获得更多的见解。
2020-08-14 cs.CL cs.LG
Lock-Free Parallel Perceptron for Graph-based Dependency Parsing
Peking University（北京大学）
依存句法分析是一项重要的自然语言处理任务。依存句法分析的一种流行方法是结构化感知器。尽管如此，基于图的依存句法分析具有$O(n^3)$的时间复杂度，并且它受到缓慢训练的影响。为了解决这个问题，我们提出了一个并行算法称为并行感知器。并行算法可以充分利用多核计算机，节省大量的训练时间。基于实验，我们观察到，在使用10个线程时，使用并行感知器的依存句法分析可以比传统结构化感知器方法获得快8倍的训练速度，并且准确率没有任何损失。
2017-03-02 cs.CL
A Survey of Unsupervised Dependency Parsing
National University of Singapore（新加坡国立大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴达摩院，阿里巴巴集团）；ShanghaiTech University（上海科技大学）
句法依存句法分析是自然语言处理中的一项重要任务。无监督依存句法分析的目标是从没有标注正确句法树的句子中学习依存句法分析器。尽管它的困难，无监督分析是一个有趣的研究方向，因为它的能力，利用几乎无限的无注释的文本数据。它也是其他低资源句法分析研究的基础。在本文中，我们调查现有的无监督依存句法分析的方法，确定两个主要类别的方法，并讨论最近的趋势。我们希望我们的调查可以为研究人员提供见解，并促进未来对这一主题的研究。
2020-10-04 cs.CL
Dependency Parsing as Head Selection
University of Edinburgh（爱丁堡大学）
传统的基于图的依赖性解析器在训练和推理期间都保证树结构。相反，我们将依存句法分析形式化为独立选择句子中每个单词的头部的问题。我们的模型，我们称之为\textsc{DeNSe}（简称为{ \bf De}pendency { \bf N}eural { \bf Se}lection），使用从双向递归神经网络获得的特征为每个单词在可能的头部上产生分布。在训练期间不强制结构约束的情况下，\textsc{DeNSe}（在推理时）为绝大多数句子生成树，而非树输出可以使用最大生成树算法进行调整。我们评估\textsc{DeNSe}四种语言（英语，中文，捷克语和德语）不同程度的非投射。尽管这种方法很简单，但我们的解析器与最先进的解析器不相上下。
2016-12-22 cs.CL cs.LG
Deep Contextualized Self-training for Low Resource Dependency Parsing
Technion, IIT（以色列理工学院）
神经依存句法分析已经被证明是非常有效的，在许多领域和语言上都取得了最先进的结果。不幸的是，它需要大量的标记数据，这是昂贵和费力的创建。在本文中，我们提出了一个自我训练算法，通过训练解析器自己的输出来消除这个注释瓶颈。我们的深度上下文自训练（DCST）算法利用在序列标记任务上训练的表示模型，这些任务在应用于未标记数据时从解析器的输出中导出，并通过门控机制将这些模型与基础解析器集成。我们在多种语言中进行了实验，无论是在低资源域中还是在跨域设置中，并证明DCST大大优于传统的自我训练以及最近的半监督训练方法。
2019-11-11 cs.CL cs.LG
Bi-directional Attention with Agreement for Dependency Parsing
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们开发了一个新的双向注意模型的依存句法分析，学习一致的中心词预测从向前和向后的分析方向。每个方向的解析过程被制定为顺序查询存储连续中心词嵌入的内存组件。建议的解析器使用{ \it soft}中心词嵌入，允许该模型隐式地捕获高阶解析历史，而不会显着增加计算复杂性。我们进行了实验，英语，中文，和其他12种语言的CoNLL 2006共享任务，表明该模型实现了国家的最先进的无标签附件分数6种语言。
2016-09-22 cs.AI cs.CL cs.LG
Error Analysis for Vietnamese Dependency Parsing
Department of Information Science；Engineering University of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email；Faculty of Computer Science\ of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email
在自然语言处理的不同应用中，都需要进行依存句法分析。在本文中，我们提出了一个彻底的错误分析依存句法分析的越南语，使用两个国家的最先进的解析器：MSTParser和MaltParser。错误分析的结果为进一步提高越南语依存句法分析的性能提供了参考。
2019-11-09 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
Enhanced Universal Dependency Parsing with Automated Concatenation of Embeddings
ShanghaiTech University（上海科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文描述了上海特科团队向IWPT 2021共享任务提交的系统。我们的系统是一个基于图形的分析器与嵌入的自动连接（ACE）的技术。由于最近的工作发现，更好的词表示可以通过连接不同类型的嵌入，我们使用ACE自动找到更好的连接嵌入增强通用依赖的任务。根据17种语言的平均官方结果，我们的系统在9支球队中排名第二。
2021-07-06 cs.CL cs.LG
Modeling Label Correlations for Second-Order Semantic Dependency Parsing with Mean-Field Inference
ShanghaiTech University（上海科技大学）
二阶语义解析与端到端的平均场推理已经表现出良好的性能。在这项工作中，我们的目标是改进这种方法，通过建模相邻弧之间的标签相关性。然而，直接建模会导致内存爆炸，因为二阶分数张量的大小为$O(n^3L^2)$（$n$是句子长度，$L$是标签的数量），这是负担不起的。为了解决这一计算挑战，我们利用张量分解技术，有趣的是，我们表明，大的二阶得分张量没有必要在平均场推理过程中被物化，从而降低了计算复杂性从三次到二次。我们在SemEval 2015 Task 18英语数据集上进行了实验，显示了对标签相关性建模的有效性。我们的代码可在https://github.com/sustcsonglin/mean-field-dep-parsing上公开获取。
2022-04-07 cs.CL cs.LG
Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks
Tsinghua University（清华大学）；Heilongjiang University（黑龙江大学）
虽然词性标注和依存句法分析被认为是密切相关的，但现有的手工特征模板联合建模工作存在特征稀疏和不完整的问题。在本文中，我们提出了一种联合使用基于转换的神经网络的词性标注和依存句法分析的方法。三个基于神经网络的分类器被设计用于解决移位/归约、标记和标记冲突。实验表明，我们的方法显着优于以前的方法联合词性标注和依存句法分析在各种自然语言。
2017-04-25 cs.CL
Semi-Supervised Methods for Out-of-Domain Dependency Parsing
The University of Birmingham（伯明翰大学）
依存句法分析是自然语言处理的重要任务之一，它为文本分配句法树。由于依赖语料库的广泛可用性以及解析和机器学习技术的改进，基于监督学习的系统的解析准确性已经得到显著提高。然而，由于监督学习的性质，这些句法分析系统高度依赖于人工标注的训练语料库。它们在域内数据上工作得相当好，但在域外文本上测试时，性能显着下降。为了弥补域内和域外之间的性能差距，本文研究了三种用于域外依存句法分析的半监督技术，即协同训练、自训练和依存语言模型。我们的方法使用容易获得的未标记的数据，以提高域外解析的准确性，而不需要昂贵的语料库注释。在多个英文领域和多语种数据上的测试结果表明，该算法在句法分析准确率上有很好的提高。总的来说，这项工作进行了调查的半监督方法域外依存句法分析，在那里我扩展和比较了一些重要的半监督方法在一个统一的框架。这些技术之间的比较表明，自训练的作品同样以及合作训练域外解析，而依赖语言模型可以提高域内外的准确性。
2018-10-04 cs.CL
Stack-Pointer Networks for Dependency Parsing
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
我们介绍了一种新的依存句法分析架构：\emph{stack-pointer networks}（\textbf{\textsc{StackPtr}}）。该模型结合指针网络\citep{vinyals2015pointer}和内部堆栈，首先读取并编码整个句子，然后以深度优先的方式自顶向下（从根到叶）构建依存树。堆栈跟踪深度优先搜索的状态，指针网络在每一步为堆栈顶部的单词选择一个孩子。\textsc{StackPtr}语法分析器充分利用了整个句子的信息和所有先前导出的子树结构，消除了经典的基于转换的语法分析器中从左到右的限制。然而，用于构建任何（包括非投射）解析树的步骤的数量在句子的长度上是线性的，就像其他基于转换的解析器一样，产生具有$O(n^2)$时间复杂度的高效解码算法。我们评估了我们的模型在29个树库跨越20种语言和不同的依赖注释模式，并达到最先进的性能对其中的21个。
2018-05-03 cs.CL cs.LG
CRF Autoencoder for Unsupervised Dependency Parsing
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
无监督依存句法分析试图从无标注的数据中发现语言依存结构，是一个非常具有挑战性的任务。几乎所有以前的工作都集中在学习生成模型上。本文提出了一种基于CRF自动编码器的无监督依存句法分析模型。我们的模型的编码器部分是有区别的和全局规范化的，这使我们能够使用丰富的特征以及通用的语言先验。我们提出了一个精确的算法解析以及一个听话的学习算法。我们评估了我们的模型在八个多语言树库上的性能，发现我们的模型与最先进的方法具有可比的性能。
2017-08-03 cs.CL
A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning
Boğaziçi University（博阿齐奇大学）
完全数据驱动的、基于深度学习的模型通常被设计为独立于语言的，并且已经被证明在许多自然语言处理任务中是成功的。然而，当所研究的语言是低资源和训练数据量不足时，这些模型可以受益于基于自然语言语法的信息的集成。我们提出了两种方法依存句法分析，特别是对有限的训练数据的语言。我们的第一种方法将最先进的基于深度学习的解析器与基于规则的方法相结合，第二种方法将形态信息纳入解析器。在基于规则的方法中，由规则做出的解析决策被编码并与输入单词的矢量表示连接，作为深度网络的附加信息。基于形态学的方法提出了不同的方法，包括词的形态结构到解析器网络。在IMST-UD Treebank上进行了实验，结果表明，通过基于规则的句法分析系统和形态分析，将目标语言的显性知识整合到神经句法分析器中，可以获得更准确的注释，从而提高了句法分析的附加得分。所提出的方法是为土耳其语开发的，但也可以适用于其他语言。
2020-02-24 cs.CL cs.LG
A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing
Fudan University（复旦大学）
汉语分词和依存句法分析是汉语自然语言处理的两个基本任务。依存句法分析是在词级上定义的。因此分词是依存句法分析的前提，这使得依存句法分析容易产生错误传播，无法直接利用预先训练好的字符级语言模型（如BERT）。本文提出了一个基于图的汉语分词和依存句法分析的集成模型。与以往的基于过渡的关节模型不同，我们提出的模型更加简洁，从而减少了特征工程的工作量。本文提出的基于图的联合模型在中文分词和依存句法分析两个方面都取得了较好的性能。此外，当结合BERT时，我们的模型可以大大减少联合模型和基于黄金分割词的模型之间的依存句法分析的性能差距。我们的代码可在https://github.com/fastnlp/JointCwsParser上公开获取。
2019-12-18 cs.AI cs.CL
A Gamification of Japanese Dependency Parsing
游戏化方法已被用作为NLP创建语言资源的一种方式。它还用于演示和教学NLP和语言现象中的算法。本文讨论了后一个目标的日语句法依存分析的游戏化设计。用户界面的设计基于一种基于转换的移位化简依存句法分析，该方法只需要日语依存结构中的"不附加“和”减少“两个动作。我们将这两个动作分配给游戏手柄或其他设备上的双向方向控制。我们还根据心理语言学的研究设计了目标句。
2021-01-09 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Non-Projective Dependency Parsing via Latent Heads Representation (LHR)
在本文中，我们介绍了一种新的方法的基础上，双向循环自编码器进行全局优化的非投射依存句法分析通过半监督学习。句法分析是在神经过程的最后完成的，该神经过程生成了一个潜头表示（LHR），没有任何算法约束，具有线性复杂度。由此产生的“潜在句法结构”可以直接用于其他语义任务。LHR被转换成通常的依赖树计算一个简单的向量相似度。我们相信，我们的模型有潜力与更复杂的国家的最先进的解析架构。
2018-02-06 cs.CL
Probabilistic Models for High-Order Projective Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
本文提出了高阶投射依存句法分析的广义概率模型和学习这些统计模型的算法框架，包括依存树。通过调整我们的算法，将内部-外部算法扩展到高阶情况，可以有效地计算高阶依赖树的划分函数和边缘。为了证明我们的算法的有效性，我们进行了三种语言-英语，汉语和捷克语，使用最大条件似然估计的模型训练和L-BFGS参数估计的实验。我们的方法实现了英语的竞争力的表现，并优于所有以前报道的依赖解析器中文和捷克语。
2015-02-14 cs.CL
Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration
Uppsala University（乌普萨拉大学）
句法依存句法分析的标准模型把词作为依存关系的基本单位。在本文中，我们调查是否有任何好处，丰富这些模型与更抽象的概念提出的Tesnière核。我们这样做的核的概念，可以在框架中定义的通用依赖，以及我们如何使用组合函数，使一个基于转换的依赖解析器知道这个概念。在12种语言上的实验表明，核组合在句法分析准确率上有很大的提高。进一步的分析表明，改进主要涉及少数依存关系，包括名词性修饰语、并列关系、主谓语和直接宾语。
2021-01-29 cs.CL
Vietnamese transition-based dependency parsing with supertag features
Department of Information Science；Engineering University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email；Faculty of Computer Science University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email
依存句法分析是近年来的一个研究热点，在自然语言处理中有着广泛的应用。在本文中，我们提出了一种有效的方法来改善依存句法分析利用超标记的功能。我们使用基于转换的依存句法分析进行了实验，因为它可以利用丰富的功能。对越南依赖树库的实证评估表明，使用黄金超级标签的标记附件评分提高了18.92%，使用自动超级标签的标记附件评分提高了3.57%。
2019-11-09 cs.CL
Headed-Span-Based Projective Dependency Parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程研究中心）
本文提出了一种新的基于标题跨度的投射依存句法分析方法。在投影依赖树中，以每个单词为根的最大子树覆盖连续序列（即，跨度）按表面顺序排列。我们将这样一个由词根标记的跨度称为\textit{headed span}。投影依赖树可以表示为有头跨度的集合。我们将依赖树的得分分解为头跨度的得分，并设计了一种新的$O(n^3)$动态规划算法，以实现全局训练和精确推理。我们的模型在PTB，CTB和UD上实现了最先进或具有竞争力的结果。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with the Structuralized Prompt Template
SungKyunKwan University（成均馆大学）
提出一种仅依赖编码器模型和文本到文本训练方式的依存句法分析方法，通过结构化提示模板捕获依存树结构信息，在实验中优于传统模型且适应多种预训练模型。
2025-02-24 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析，通过结合从左到右编码器与序列标注及基于转移的解码器，证明其仍明显落后于双向模型。
2023-09-28 cs.CL
Compositional Generalization in Dependency Parsing
McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
组合性（Compositionality）--将熟悉的单元（如单词）组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化，Keysers等人（2020）引入了组合自由基分析（CFQ）。该数据集最大化了测试和训练分布在原始单元（如单词）上的相似性，同时最大化了复合发散：测试和训练分布在较大结构（如短语）上的不相似性。然而，依存句法分析缺少组合泛化基准。在这项工作中，我们为CFQ引入了一套黄金标准的依赖解析器，并使用它来分析最先进的依赖解析器的行为（Qi等人，2020年，CFQ数据集。我们发现，增加复合分歧降低依存句法分析的性能，虽然没有显着的语义解析的性能。此外，我们发现的依赖分析器的性能并不均匀降低相对于复合发散，和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能，并确定了一些句法结构，驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Approximation-Aware Dependency Parsing by Belief Propagation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何训练Smith和Reynner（2008）的快速依赖解析器以提高准确性。这个解析器可以考虑边之间的高阶交互，同时保持O（n^3）的运行时间。它输出具有最大预期召回率的解析-但为了速度，该预期是在仅近似构造的后验分布下采用的，使用通过结构化因子的循环信念传播。我们展示了如何调整模型参数来补偿这种近似引入的误差，通过遵循训练数据上的实际损失的梯度。我们通过反向传播找到这个梯度。也就是说，我们将整个解析器（近似和所有）视为可微电路，就像Stoyanov et al.（2011）和Domke（2010）对循环CRF所做的那样。所得到的训练解析器获得更高的准确性与更少的迭代的信念传播比条件对数似然训练。
2015-08-10 cs.CL cs.LG
Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features
Uppsala University（乌普萨拉大学）
我们研究了丰富的超标记特征在基于贪婪转换的依存句法分析中的作用。虽然以前的研究表明，稀疏布尔功能表示的1-最好的超级标记的一个字可以提高解析的准确性，我们表明，我们可以得到进一步的改善，通过添加一个连续的矢量表示的整个超级标记分布的一个字。通过这种方式，我们实现了最好的结果，贪婪的过渡为基础的分析与supertag功能与$88.6\%$ LAS和$90.9\%$ UAS上的英语Penn树库转换为斯坦福大学的词典。
2020-07-09 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
Dependency Graph Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究院）
本文通过扩展线性化方法处理重入和环，将语义依存与增强型通用依存图解析转化为序列标注任务，在保持高效率的同时取得接近最优的准确率。
2024-10-23 cs.CL
Transition-Based Dependency Parsing With Pluggable Classifiers
School of Informatics and Computing, Indiana University（印第安纳大学信息与计算学院）
原则上，基于转换的依赖性解析器的设计使得可以在不对解析算法进行其他更改的情况下对任何通用分类器进行实验。然而，在实践中，通常需要大量的软件工程来在两个软件包使用的不同表示之间进行桥接。在这里，我们提出了扩展MaltParser，允许使用符合Weka机器学习包的接口的任何分类器，TiMBL基于内存的学习器的包装器到这个接口，以及使用各种分类器进行多语言依赖解析的实验。虽然早期的工作表明，记忆为基础的学习者可能是一个很好的选择低资源的分析方案，我们不能支持这一假设在这项工作中。我们观察到，支持向量机提供更好的解析性能比基于记忆的学习，无论训练集的大小。
2012-11-01 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Weakly Supervised Headline Dependency Parsing
Google Research（谷歌研究院）；Bloomberg（彭博）；Cornell University（康奈尔大学）
自20世纪30年代以来，英语新闻标题形成了一个具有独特句法特征的语域，这在语言学文献中已有记载。然而，令人惊讶的是，标题很少受到NLP句法分析社区的关注。我们的目标是弥合这一差距，通过提供第一个新闻标题语料库的通用的标注句法依赖树，这使我们能够评估现有的国家的最先进的依赖分析器的新闻标题。为了提高英语新闻标题的句法分析准确率，我们提出了一种投影方法，从未标记的新闻标题-文章引导句对中引导银训练数据。在银色标题解析上训练的模型比仅在金色注释的长格式文本上训练的模型在性能上有显着提高。最终，我们发现，虽然预计银训练数据提高了解析器的性能在不同的新闻媒体，改善是缓和的建设特质出口。
2023-01-25 cs.AI cs.CL cs.LG
Elimination of Spurious Ambiguity in Transition-Based Dependency Parsing
Columbia University（哥伦比亚大学）；Universidade da Coruña（拉科鲁尼亚大学）；University of Padua（帕多瓦大学）
我们提出了一种新的技术，以消除虚假的二义性，从过渡系统的依存句法分析。我们的技术为给定的依赖树选择了一个规范的转换操作（计算）序列。我们的技术可以应用于一大类自下而上的过渡系统，包括例如Nivre（2004）和Attardi（2006）。
2012-06-28 cs.AI cs.CL
An empirical study for Vietnamese dependency parsing
Macquarie University（麦考瑞大学）
本文介绍了一个经验比较不同的依赖分析越南语，它有一些不寻常的特点，如系词下降和动词序列化。实验结果表明，基于神经网络的语法分析器的性能明显优于传统的语法分析器。我们报告了迄今为止越南语的最高解析分数，标记附件分数（LAS）为73.53%，未标记附件分数（UAS）为80.66%。
2016-11-03 cs.CL
Transferring Neural Potentials For High Order Dependency Parsing
本文提出一种利用双仿射分数和双分解推理的端到端方法，将一阶依存信息转移至高阶，以提升依存句法分析准确率。
2023-06-18 cs.CL
Tackling Error Propagation through Reinforcement Learning: A Case of Greedy Dependency Parsing
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
错误传播是NLP中的一个常见问题。强化学习在训练过程中探索错误状态，因此在过程的早期犯错误时可以更鲁棒。在本文中，我们将强化学习的贪婪依存句法分析，这是已知的遭受错误传播。强化学习提高了斯坦福神经依赖解析器（一种高性能贪婪解析器）的标记和未标记依赖关系的准确性，同时保持了其效率。我们调查的部分错误，这是错误传播的结果，并确认，强化学习减少错误传播的发生。
2017-02-22 cs.CL
Dependency Language Models for Transition-based Dependency Parsing
University of Birmingham（伯明翰大学）；Google（谷歌）
在本文中，我们提出了一种方法来提高一个强的过渡为基础的依赖分析器的准确性，利用依赖语言模型，从一个大型的分析语料库中提取。我们将少量基于依赖语言模型的特征集成到解析器中。为了证明所提出的方法的有效性，我们评估我们的分析器在标准的英语和中文数据的基础分析器可以实现竞争力的准确性分数。我们的增强型解析器在中文数据上达到了最先进的精度，在英文数据上也取得了有竞争力的结果。我们在中文方面获得了1分（UAS）的绝对进步，在英语方面获得了0.5分。
2017-08-30 cs.CL
Schema-Free Dependency Parsing via Sequence Generation
Huawei Cloud Computing Technologies（华为云计算技术）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
依存句法分析的目的是提取句子的句法依存结构或语义依存结构。现有的方法存在通用性差或对辅助解码器依赖性强的缺点。为了弥补这些缺点，我们建议仅利用预训练的语言模型（PLM），而不使用任何辅助结构或解析算法，通过序列生成（SG）DPSG来实现通用且无模式的依存句法分析（DP）。我们首先探讨了不同的序列化设计策略，将解析结构转换为序列。然后，我们设计依赖单元，并将这些单元连接成DPSG序列。由于序列生成的高度灵活性，我们的DPSG可以实现语法DP和语义DP使用一个单一的模型。通过连接前缀来指示特定模式与序列，我们的DPSG甚至可以完成多模式解析。我们的DPSG的有效性证明了广泛使用的DP基准，即，PTB、CODT、SDP 15和SemEval 16。DPSG在所有基准测试中实现了与第一层方法相当的结果，甚至在CODT和SemEval16中实现了最先进的（SOTA）性能。本文表明，我们的DPSG有潜力成为一个新的分析范式。我们将在接受后发布代码。
2022-01-28 cs.CL
Combining (second-order) graph-based and headed-span-based projective dependency parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
基于图的方法将依赖树的得分分解为依赖弧的得分，几十年来一直是依存句法分析中的流行方法。最近，\citet{Yang2022Span}提出了一种基于头部跨度的方法，该方法将依赖树的得分分解为头部跨度的得分。它们显示了对基于一阶图的方法的改进。然而，他们的方法根本不对依赖弧进行评分，并且依赖弧由他们的实时算法隐式地诱导，这可能是次优的，因为建模依赖弧直观地有用。在这项工作中，我们的目标是结合基于图形和头部跨度为基础的方法，将弧分数和头部跨度分数到我们的模型。首先，我们展示了一种直接的方法来结合$O(n^4)$解析复杂性。为了降低复杂性，灵感来自经典的头部分裂技巧，我们展示了两个$O(n^3)$动态规划算法结合第一和第二阶图为基础的方法和头部跨度。我们在PTB、CTB和UD上的实验表明，结合基于一阶图和基于头跨度的方法是有效的。我们还确认了基于二阶图的解析在深度学习时代的有效性，然而，当结合基于二阶图和基于头跨度的方法时，我们观察到边际或没有改进。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Transition-Based Dependency Parsing with Stack Long Short-Term Memory
Carnegie Mellon University（卡内基梅隆大学）；Marianas Labs；Pompeu Fabra University（庞培法布拉大学）
我们提出了一种技术，用于学习表示的解析器状态的转换为基础的依赖解析器。我们的主要创新是一种新的序列到序列神经网络控制结构--堆栈LSTM。与基于transition的解析中使用的传统堆栈数据结构一样，元素可以在恒定时间内被推到堆栈顶部或从堆栈顶部弹出，但除此之外，LSTM保持堆栈内容的连续空间嵌入。这让我们制定了一个有效的解析模型，捕捉解析器的状态的三个方面：（i）无限的前瞻到传入的单词的缓冲区，（ii）由解析器采取的行动的完整历史，以及（iii）部分构建的树片段堆栈的完整内容，包括它们的内部结构。标准的反向传播技术用于训练和产生最先进的解析性能。
2015-05-29 cs.CL cs.LG cs.NE
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Effective Representation for Easy-First Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
简单优先解析依赖于子树重排序来构建完整的解析树。而解析处理的中间状态是由各种子树，其内部结构信息是后来的解析动作决策的关键线索，我们探索一个更好的表示这样的子树。详细地说，这项工作介绍了一种基于子和树LSTM的自底向上子树编码方法。从一个简单的第一依赖解析器没有其他手工功能，我们表明，有效的子树编码器促进解析过程，并可以使贪婪搜索简单的第一解析器实现有前途的结果基准树库相比，国家的最先进的基线。此外，在当前预训练语言模型的帮助下，我们进一步改进了easy-first方法的最新结果。
2019-06-11 cs.CL
Dependency-based Hybrid Trees for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出了一种新的基于依赖关系的混合树模型用于语义解析，它将自然语言话语转换为机器可解释的语义表示。与以前的最先进的模型不同，语义信息被解释为在我们的联合表示中的自然语言单词之间的潜在依赖关系。这样的依赖信息可以捕获语义和自然语言词之间的交互。我们将神经元组件集成到我们的模型中，并提出了一个有效的动态编程算法来执行易处理的推理。通过对八种语言的标准多语言GeoQuery数据集进行广泛的实验，我们证明了我们所提出的方法能够在多种语言中实现最先进的性能。分析还证明了使用我们的新的依赖性为基础的表示的有效性。
2018-09-01 cs.CL
A Systematic Comparison of Syntactic Representations of Dependency Parsing
LIMSI；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）；DIKU, University of Copenhagen（哥本哈根大学DIKU）
本文系统比较了基于转移的依存解析器在不同标注方案下的表现，发现将特定句法结构转换为标准表示并不总能提升性能，且结果因语言而异。
2025-03-10 cs.CL
