Reduction of Parameter Redundancy in Biaffine Classifiers with Symmetric and Circulant Weight Matrices
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Osaka University（大阪大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Works Applications（Works Applications公司）
目前，双仿射分类器作为一种将注意力机制引入二元关系建模的方法已经引起了人们的注意。例如，在依存句法分析领域，Dozat和Manning的Deep Biaffine Parser在英语Penn Treebank和CoNLL 2017共享任务上实现了最先进的基于图的依赖解析器性能。另一方面，据报道，在双仿射分类器中的权重矩阵中的参数冗余，其具有O（n^2）个参数，导致过拟合（n是维数）。在本文中，我们试图通过假设权矩阵的对称性或循环性来减少参数冗余。在我们对CoNLL 2017共享任务数据集的实验中，我们的模型在大多数树库上实现了更好或相当的准确性，参数减少了16%以上。
2018-10-18 cs.CL
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University（天津大学）
句法和语义解析是自然语言处理领域的一个主要研究课题，已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务，这些任务很难被完全覆盖。在这里，我们集中在两个最流行的形式化分析：成分分析和依存句法分析。成分句法分析主要针对句法分析，而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型，以及具有丰富语义的依存图句法分析。此外，本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Lock-Free Parallel Perceptron for Graph-based Dependency Parsing
Peking University（北京大学）
依存句法分析是一项重要的自然语言处理任务。依存句法分析的一种流行方法是结构化感知器。尽管如此，基于图的依存句法分析具有$O(n^3)$的时间复杂度，并且它受到缓慢训练的影响。为了解决这个问题，我们提出了一个并行算法称为并行感知器。并行算法可以充分利用多核计算机，节省大量的训练时间。基于实验，我们观察到，在使用10个线程时，使用并行感知器的依存句法分析可以比传统结构化感知器方法获得快8倍的训练速度，并且准确率没有任何损失。
2017-03-02 cs.CL
A Survey of Unsupervised Dependency Parsing
National University of Singapore（新加坡国立大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴达摩院，阿里巴巴集团）；ShanghaiTech University（上海科技大学）
句法依存句法分析是自然语言处理中的一项重要任务。无监督依存句法分析的目标是从没有标注正确句法树的句子中学习依存句法分析器。尽管它的困难，无监督分析是一个有趣的研究方向，因为它的能力，利用几乎无限的无注释的文本数据。它也是其他低资源句法分析研究的基础。在本文中，我们调查现有的无监督依存句法分析的方法，确定两个主要类别的方法，并讨论最近的趋势。我们希望我们的调查可以为研究人员提供见解，并促进未来对这一主题的研究。
2020-10-04 cs.CL
Error Analysis for Vietnamese Dependency Parsing
Department of Information Science；Engineering University of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email；Faculty of Computer Science\ of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email
在自然语言处理的不同应用中，都需要进行依存句法分析。在本文中，我们提出了一个彻底的错误分析依存句法分析的越南语，使用两个国家的最先进的解析器：MSTParser和MaltParser。错误分析的结果为进一步提高越南语依存句法分析的性能提供了参考。
2019-11-09 cs.CL
Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks
Tsinghua University（清华大学）；Heilongjiang University（黑龙江大学）
虽然词性标注和依存句法分析被认为是密切相关的，但现有的手工特征模板联合建模工作存在特征稀疏和不完整的问题。在本文中，我们提出了一种联合使用基于转换的神经网络的词性标注和依存句法分析的方法。三个基于神经网络的分类器被设计用于解决移位/归约、标记和标记冲突。实验表明，我们的方法显着优于以前的方法联合词性标注和依存句法分析在各种自然语言。
2017-04-25 cs.CL
Semi-Supervised Methods for Out-of-Domain Dependency Parsing
The University of Birmingham（伯明翰大学）
依存句法分析是自然语言处理的重要任务之一，它为文本分配句法树。由于依赖语料库的广泛可用性以及解析和机器学习技术的改进，基于监督学习的系统的解析准确性已经得到显著提高。然而，由于监督学习的性质，这些句法分析系统高度依赖于人工标注的训练语料库。它们在域内数据上工作得相当好，但在域外文本上测试时，性能显着下降。为了弥补域内和域外之间的性能差距，本文研究了三种用于域外依存句法分析的半监督技术，即协同训练、自训练和依存语言模型。我们的方法使用容易获得的未标记的数据，以提高域外解析的准确性，而不需要昂贵的语料库注释。在多个英文领域和多语种数据上的测试结果表明，该算法在句法分析准确率上有很好的提高。总的来说，这项工作进行了调查的半监督方法域外依存句法分析，在那里我扩展和比较了一些重要的半监督方法在一个统一的框架。这些技术之间的比较表明，自训练的作品同样以及合作训练域外解析，而依赖语言模型可以提高域内外的准确性。
2018-10-04 cs.CL
CRF Autoencoder for Unsupervised Dependency Parsing
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
无监督依存句法分析试图从无标注的数据中发现语言依存结构，是一个非常具有挑战性的任务。几乎所有以前的工作都集中在学习生成模型上。本文提出了一种基于CRF自动编码器的无监督依存句法分析模型。我们的模型的编码器部分是有区别的和全局规范化的，这使我们能够使用丰富的特征以及通用的语言先验。我们提出了一个精确的算法解析以及一个听话的学习算法。我们评估了我们的模型在八个多语言树库上的性能，发现我们的模型与最先进的方法具有可比的性能。
2017-08-03 cs.CL
A Gamification of Japanese Dependency Parsing
游戏化方法已被用作为NLP创建语言资源的一种方式。它还用于演示和教学NLP和语言现象中的算法。本文讨论了后一个目标的日语句法依存分析的游戏化设计。用户界面的设计基于一种基于转换的移位化简依存句法分析，该方法只需要日语依存结构中的"不附加“和”减少“两个动作。我们将这两个动作分配给游戏手柄或其他设备上的双向方向控制。我们还根据心理语言学的研究设计了目标句。
2021-01-09 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Non-Projective Dependency Parsing via Latent Heads Representation (LHR)
在本文中，我们介绍了一种新的方法的基础上，双向循环自编码器进行全局优化的非投射依存句法分析通过半监督学习。句法分析是在神经过程的最后完成的，该神经过程生成了一个潜头表示（LHR），没有任何算法约束，具有线性复杂度。由此产生的“潜在句法结构”可以直接用于其他语义任务。LHR被转换成通常的依赖树计算一个简单的向量相似度。我们相信，我们的模型有潜力与更复杂的国家的最先进的解析架构。
2018-02-06 cs.CL
Probabilistic Models for High-Order Projective Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
本文提出了高阶投射依存句法分析的广义概率模型和学习这些统计模型的算法框架，包括依存树。通过调整我们的算法，将内部-外部算法扩展到高阶情况，可以有效地计算高阶依赖树的划分函数和边缘。为了证明我们的算法的有效性，我们进行了三种语言-英语，汉语和捷克语，使用最大条件似然估计的模型训练和L-BFGS参数估计的实验。我们的方法实现了英语的竞争力的表现，并优于所有以前报道的依赖解析器中文和捷克语。
2015-02-14 cs.CL
Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration
Uppsala University（乌普萨拉大学）
句法依存句法分析的标准模型把词作为依存关系的基本单位。在本文中，我们调查是否有任何好处，丰富这些模型与更抽象的概念提出的Tesnière核。我们这样做的核的概念，可以在框架中定义的通用依赖，以及我们如何使用组合函数，使一个基于转换的依赖解析器知道这个概念。在12种语言上的实验表明，核组合在句法分析准确率上有很大的提高。进一步的分析表明，改进主要涉及少数依存关系，包括名词性修饰语、并列关系、主谓语和直接宾语。
2021-01-29 cs.CL
Vietnamese transition-based dependency parsing with supertag features
Department of Information Science；Engineering University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email；Faculty of Computer Science University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email
依存句法分析是近年来的一个研究热点，在自然语言处理中有着广泛的应用。在本文中，我们提出了一种有效的方法来改善依存句法分析利用超标记的功能。我们使用基于转换的依存句法分析进行了实验，因为它可以利用丰富的功能。对越南依赖树库的实证评估表明，使用黄金超级标签的标记附件评分提高了18.92%，使用自动超级标签的标记附件评分提高了3.57%。
2019-11-09 cs.CL
Headed-Span-Based Projective Dependency Parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程研究中心）
本文提出了一种新的基于标题跨度的投射依存句法分析方法。在投影依赖树中，以每个单词为根的最大子树覆盖连续序列（即，跨度）按表面顺序排列。我们将这样一个由词根标记的跨度称为\textit{headed span}。投影依赖树可以表示为有头跨度的集合。我们将依赖树的得分分解为头跨度的得分，并设计了一种新的$O(n^3)$动态规划算法，以实现全局训练和精确推理。我们的模型在PTB，CTB和UD上实现了最先进或具有竞争力的结果。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with the Structuralized Prompt Template
SungKyunKwan University（成均馆大学）
提出一种仅依赖编码器模型和文本到文本训练方式的依存句法分析方法，通过结构化提示模板捕获依存树结构信息，在实验中优于传统模型且适应多种预训练模型。
2025-02-24 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析，通过结合从左到右编码器与序列标注及基于转移的解码器，证明其仍明显落后于双向模型。
2023-09-28 cs.CL
Compositional Generalization in Dependency Parsing
McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
组合性（Compositionality）--将熟悉的单元（如单词）组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化，Keysers等人（2020）引入了组合自由基分析（CFQ）。该数据集最大化了测试和训练分布在原始单元（如单词）上的相似性，同时最大化了复合发散：测试和训练分布在较大结构（如短语）上的不相似性。然而，依存句法分析缺少组合泛化基准。在这项工作中，我们为CFQ引入了一套黄金标准的依赖解析器，并使用它来分析最先进的依赖解析器的行为（Qi等人，2020年，CFQ数据集。我们发现，增加复合分歧降低依存句法分析的性能，虽然没有显着的语义解析的性能。此外，我们发现的依赖分析器的性能并不均匀降低相对于复合发散，和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能，并确定了一些句法结构，驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
传统的NLP长期以来一直认为（监督）句法分析是成功的高级语义语言理解（LU）所必需的。然而，最近出现的端到端神经模型，通过语言建模（LM）进行自我监督，以及它们在广泛的LU任务上的成功，质疑了这种信念。在这项工作中，我们实证研究的有用性监督解析语义LU的LM预训练的Transformer网络的背景下。依靠已建立的微调范例，我们首先耦合一个预训练的Transformer与biaffine解析头，旨在注入显式的语法知识，从通用的语法树库到Transformer。然后，我们微调LU任务的模型，并测量中间解析训练（IPT）对下游LU任务性能的影响。单语英语和zero-shot语言迁移实验（中间目标语言解析）的结果表明，明确的形式化语法，通过IPT注入到Transformers，下游LU性能的影响非常有限和不一致。我们的研究结果，再加上我们的分析Transformers的表示空间之前和之后的中间解析，使一个重要的一步，提供答案的一个基本问题：如何（联合国）availing是监督解析高层次的语义自然语言理解在时代的大型神经模型？
2021-04-28 cs.CL
Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features
Uppsala University（乌普萨拉大学）
我们研究了丰富的超标记特征在基于贪婪转换的依存句法分析中的作用。虽然以前的研究表明，稀疏布尔功能表示的1-最好的超级标记的一个字可以提高解析的准确性，我们表明，我们可以得到进一步的改善，通过添加一个连续的矢量表示的整个超级标记分布的一个字。通过这种方式，我们实现了最好的结果，贪婪的过渡为基础的分析与supertag功能与$88.6\%$ LAS和$90.9\%$ UAS上的英语Penn树库转换为斯坦福大学的词典。
2020-07-09 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
Dependency Graph Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究院）
本文通过扩展线性化方法处理重入和环，将语义依存与增强型通用依存图解析转化为序列标注任务，在保持高效率的同时取得接近最优的准确率。
2024-10-23 cs.CL
Transition-Based Dependency Parsing With Pluggable Classifiers
School of Informatics and Computing, Indiana University（印第安纳大学信息与计算学院）
原则上，基于转换的依赖性解析器的设计使得可以在不对解析算法进行其他更改的情况下对任何通用分类器进行实验。然而，在实践中，通常需要大量的软件工程来在两个软件包使用的不同表示之间进行桥接。在这里，我们提出了扩展MaltParser，允许使用符合Weka机器学习包的接口的任何分类器，TiMBL基于内存的学习器的包装器到这个接口，以及使用各种分类器进行多语言依赖解析的实验。虽然早期的工作表明，记忆为基础的学习者可能是一个很好的选择低资源的分析方案，我们不能支持这一假设在这项工作中。我们观察到，支持向量机提供更好的解析性能比基于记忆的学习，无论训练集的大小。
2012-11-01 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
An empirical study for Vietnamese dependency parsing
Macquarie University（麦考瑞大学）
本文介绍了一个经验比较不同的依赖分析越南语，它有一些不寻常的特点，如系词下降和动词序列化。实验结果表明，基于神经网络的语法分析器的性能明显优于传统的语法分析器。我们报告了迄今为止越南语的最高解析分数，标记附件分数（LAS）为73.53%，未标记附件分数（UAS）为80.66%。
2016-11-03 cs.CL
Tackling Error Propagation through Reinforcement Learning: A Case of Greedy Dependency Parsing
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
错误传播是NLP中的一个常见问题。强化学习在训练过程中探索错误状态，因此在过程的早期犯错误时可以更鲁棒。在本文中，我们将强化学习的贪婪依存句法分析，这是已知的遭受错误传播。强化学习提高了斯坦福神经依赖解析器（一种高性能贪婪解析器）的标记和未标记依赖关系的准确性，同时保持了其效率。我们调查的部分错误，这是错误传播的结果，并确认，强化学习减少错误传播的发生。
2017-02-22 cs.CL
Fast and Accurate Neural CRF Constituency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
概率分布估计是自然语言处理领域的核心问题之一。然而，在深度学习（DL）和前DL时代，与线性链CRF在序列标记任务中的广泛应用不同，很少有工作将树结构CRF应用于选区解析，主要是由于内部-外部算法的复杂性和效率低下。这项工作提出了一个快速，准确的神经CRF选区解析器。其核心思想是通过直接在GPU上进行大张量运算来批量化损失计算的内部算法，同时通过有效的反向传播来避免梯度计算的外部算法。我们还提出了一个简单的两阶段括号，然后标记解析方法，以进一步提高效率。为了提高分析性能，灵感来自依存句法分析的最新进展，我们引入了一个新的评分架构的基础上边界表示和biaffine注意，和一个有益的辍学策略。在PTB、CTB5.1和CTB 7上的实验表明，我们的两阶段CRF句法分析器在w/o和w/ BERT两种设置下都达到了最新的性能水平，每秒可以分析超过1,000个句子。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-08-09 cs.CL
Dependency Language Models for Transition-based Dependency Parsing
University of Birmingham（伯明翰大学）；Google（谷歌）
在本文中，我们提出了一种方法来提高一个强的过渡为基础的依赖分析器的准确性，利用依赖语言模型，从一个大型的分析语料库中提取。我们将少量基于依赖语言模型的特征集成到解析器中。为了证明所提出的方法的有效性，我们评估我们的分析器在标准的英语和中文数据的基础分析器可以实现竞争力的准确性分数。我们的增强型解析器在中文数据上达到了最先进的精度，在英文数据上也取得了有竞争力的结果。我们在中文方面获得了1分（UAS）的绝对进步，在英语方面获得了0.5分。
2017-08-30 cs.CL
Schema-Free Dependency Parsing via Sequence Generation
Huawei Cloud Computing Technologies（华为云计算技术）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
依存句法分析的目的是提取句子的句法依存结构或语义依存结构。现有的方法存在通用性差或对辅助解码器依赖性强的缺点。为了弥补这些缺点，我们建议仅利用预训练的语言模型（PLM），而不使用任何辅助结构或解析算法，通过序列生成（SG）DPSG来实现通用且无模式的依存句法分析（DP）。我们首先探讨了不同的序列化设计策略，将解析结构转换为序列。然后，我们设计依赖单元，并将这些单元连接成DPSG序列。由于序列生成的高度灵活性，我们的DPSG可以实现语法DP和语义DP使用一个单一的模型。通过连接前缀来指示特定模式与序列，我们的DPSG甚至可以完成多模式解析。我们的DPSG的有效性证明了广泛使用的DP基准，即，PTB、CODT、SDP 15和SemEval 16。DPSG在所有基准测试中实现了与第一层方法相当的结果，甚至在CODT和SemEval16中实现了最先进的（SOTA）性能。本文表明，我们的DPSG有潜力成为一个新的分析范式。我们将在接受后发布代码。
2022-01-28 cs.CL
Combining (second-order) graph-based and headed-span-based projective dependency parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
基于图的方法将依赖树的得分分解为依赖弧的得分，几十年来一直是依存句法分析中的流行方法。最近，\citet{Yang2022Span}提出了一种基于头部跨度的方法，该方法将依赖树的得分分解为头部跨度的得分。它们显示了对基于一阶图的方法的改进。然而，他们的方法根本不对依赖弧进行评分，并且依赖弧由他们的实时算法隐式地诱导，这可能是次优的，因为建模依赖弧直观地有用。在这项工作中，我们的目标是结合基于图形和头部跨度为基础的方法，将弧分数和头部跨度分数到我们的模型。首先，我们展示了一种直接的方法来结合$O(n^4)$解析复杂性。为了降低复杂性，灵感来自经典的头部分裂技巧，我们展示了两个$O(n^3)$动态规划算法结合第一和第二阶图为基础的方法和头部跨度。我们在PTB、CTB和UD上的实验表明，结合基于一阶图和基于头跨度的方法是有效的。我们还确认了基于二阶图的解析在深度学习时代的有效性，然而，当结合基于二阶图和基于头跨度的方法时，我们观察到边际或没有改进。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Effective Representation for Easy-First Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
简单优先解析依赖于子树重排序来构建完整的解析树。而解析处理的中间状态是由各种子树，其内部结构信息是后来的解析动作决策的关键线索，我们探索一个更好的表示这样的子树。详细地说，这项工作介绍了一种基于子和树LSTM的自底向上子树编码方法。从一个简单的第一依赖解析器没有其他手工功能，我们表明，有效的子树编码器促进解析过程，并可以使贪婪搜索简单的第一解析器实现有前途的结果基准树库相比，国家的最先进的基线。此外，在当前预训练语言模型的帮助下，我们进一步改进了easy-first方法的最新结果。
2019-06-11 cs.CL
Dependency-based Hybrid Trees for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出了一种新的基于依赖关系的混合树模型用于语义解析，它将自然语言话语转换为机器可解释的语义表示。与以前的最先进的模型不同，语义信息被解释为在我们的联合表示中的自然语言单词之间的潜在依赖关系。这样的依赖信息可以捕获语义和自然语言词之间的交互。我们将神经元组件集成到我们的模型中，并提出了一个有效的动态编程算法来执行易处理的推理。通过对八种语言的标准多语言GeoQuery数据集进行广泛的实验，我们证明了我们所提出的方法能够在多种语言中实现最先进的性能。分析还证明了使用我们的新的依赖性为基础的表示的有效性。
2018-09-01 cs.CL
A Systematic Comparison of Syntactic Representations of Dependency Parsing
LIMSI；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）；DIKU, University of Copenhagen（哥本哈根大学DIKU）
本文系统比较了基于转移的依存解析器在不同标注方案下的表现，发现将特定句法结构转换为标准表示并不总能提升性能，且结果因语言而异。
2025-03-10 cs.CL
A Fundamental Algorithm for Dependency Parsing (With Corrections)
Institute for Artificial Intelligence（人工智能研究所）；The University of Georgia（佐治亚大学）
本文提出一种逐词附加的依存句法分析基础算法，其最坏情况复杂度为$O(n^3)$，但仅在句子较短时出现，并模拟了人脑解析特性。
2025-10-22 cs.CL
Global Transition-based Non-projective Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）
Shi，Huang和Lee（2017）通过将基于transition的依赖解析器的动态编程实现与最小的双向LSTM特征集相结合，获得了英语和中文依存句法分析的最新结果。然而，他们的研究成果仅限于投射句法分析。在本文中，我们扩展了他们的方法，以支持非投射性提供了第一个实际的实现MH_4算法，一个$O(n^4)$轻度非投射动态编程解析器具有非常高的覆盖率非投射树库。为了使MH_4与最小的基于转换的特征集兼容，我们引入了一个基于转换的解释，其中解析器项被映射到转换序列。我们由此获得了非投射转换句法分析的全局解码的第一个实现，并实证证明了它在分析一些高度非投射语言时比投射转换句法分析更有效
2018-07-04 cs.CL
Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对语音直接依存句法分析任务，评估基于图和基于序列标注两种分析范式在大规模法语口语树库上的表现，证实基于图的方法性能更优，且直接语音分析在参数量少30%的情况下仍优于ASR加句法分析的流水线方法。
2024-06-18 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Web-scale Surface and Syntactic n-gram Features for Dependency Parsing
University of Sydney（悉尼大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们开发了新的一阶和二阶功能的依存句法分析的基础上，谷歌句法Ngrams语料库，收集子树计数的扫描书籍解析句子。我们还扩展了以前的工作表面$n$ -gram功能从Web 1 T的谷歌图书语料库，从一阶到二阶，比较和分析性能超过新闻专线和网络树库。表面和语法$n$ -gram在跨域的解析准确性方面都产生了实质性的互补增益。我们最好的系统结合了这两个功能集，在新闻专线上实现了0.8%的绝对UAS改进，在网络文本上实现了1.4%的绝对UAS改进。
2015-02-25 cs.CL
Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing
University of Wrocław（弗罗茨瓦夫大学）
我们提出了一个依赖解析器实现为一个单一的深神经网络，读取单词的正字法表示，并直接生成依赖关系和它们的标签。与典型的解析方法不同，该模型不需要对句子进行词性（POS）标记。通过适当的正则化和多任务学习实现的额外监督，我们在通用递归树库的斯拉夫语言上达到了最先进的性能：除了字符之外没有其他语言特征，我们的解析器与在完美的POS标签上训练的基于转换的系统一样准确。
2017-06-05 cs.CL
Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies
University of Copenhagen（哥本哈根大学）
在语义依存句法分析（SDP）中，语义关系形成有向无环图，而不是树。我们提出了一个新的迭代谓词选择（IPS）算法的SDP。我们的IPS算法结合了基于图和基于转换的解析方法，以处理多个语义中心词。我们使用多任务学习和特定于任务的策略梯度训练的组合来训练IPS模型。通过这种方式训练，IPS在SemEval 2015 Task 18数据集上达到了新的技术水平。此外，我们观察到，策略梯度训练学习一个容易的第一个策略。
2019-06-04 cs.CL
Transition-based Semantic Dependency Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
用指针网络实现的基于转换的语法分析器已经成为依存句法分析的最新技术，在产生标记语法树方面表现出色，在这项任务中优于基于图的模型。为了进一步测试这些强大的神经网络在更难的NLP问题上的能力，我们提出了一个过渡系统，由于指针网络，可以直接产生标记的有向无环图，并执行语义依存句法分析。此外，我们增强了我们的方法与深上下文的词嵌入提取BERT。由此产生的系统不仅优于所有现有的基于transition的模型，而且在SemEval 2015 Task 18英语数据集上与之前最先进的基于图的解析器相匹配。
2020-05-28 cs.CL
Arc-swift: A Novel Transition System for Dependency Parsing
Stanford University（斯坦福大学）
基于转换的依赖解析器通常需要局部移位和归约操作序列来产生某些附件。因此，正确的个体决策需要关于句子上下文的全局信息，而错误会导致错误传播。本文提出了一种新的过渡系统，弧迅捷，使令牌之间的直接附件更远的一个单一的过渡。这允许解析器在转换决策中更直接地利用词法信息。因此，arc-swift可以用非常小的光束尺寸实现显著更好的性能。我们的分析器减少了3.7- 7.6%的错误，相对于那些使用现有的过渡系统对Penn Treebank依存句法分析任务和英语通用语法分析。
2017-05-12 cs.CL
Combining Generative and Discriminative Approaches to Unsupervised Dependency Parsing via Dual Decomposition
ShanghaiTech University（上海科技大学）
无监督依存句法分析的目标是从无注释的句子中学习依存句法分析器。现有的工作集中在使用期望最大化算法及其变体学习生成模型，或使用判别聚类算法学习判别模型。在本文中，我们提出了一种新的学习策略，学习一个生成模型和判别模型联合基于对偶分解方法。我们的方法是简单和通用的，但有效地捕捉这两个模型的优点，提高他们的学习结果。我们在UD树库上测试了我们的方法，并在30种语言上实现了最先进的性能。
2017-09-24 cs.CL
Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Bar-Ilan University（巴伊兰大学）
我们建议一个组成向量表示的解析树，依赖于递归神经网络编码器的递归组合。为了证明它的有效性，我们使用的表示作为一个贪婪的，自下而上的依赖分析器的骨干，实现国家的最先进的英语和中文的准确性，而不依赖于外部词嵌入。解析器的实现可以在第一作者的网页上下载。
2016-05-26 cs.CL
AMR Dependency Parsing with a Typed Semantic Algebra
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
我们提出了一个语义解析器的抽象意义表示学习解析字符串到树表示的AMR图的组成结构。这使我们能够使用标准的神经技术进行超标记和依赖树解析，并受到语言原则类型系统的约束。我们提出了两种近似解码算法，实现了最先进的精度和优于强基线。
2018-05-29 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于双向LSTM（BiLSTM）的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联，该向量在其上下文中表示该标记，特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练，从而产生非常有效的解析特征提取器。我们证明了该方法的有效性，通过将其应用到一个贪婪的基于转换的解析器，以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构，并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur（印度理工学院坎普尔分校）；University of Cambridge（剑桥大学）；University of Utah（犹他大学）；Tata Consultancy Services（塔塔咨询服务公司）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中，我们专注于依存句法分析的形态丰富的语言（MRL）在低资源设置。虽然形态信息是必不可少的依存句法分析任务，形态消歧和缺乏强大的分析器提出了挑战，以获得这些信息的MRL。为了应对这些挑战，我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验，以测量我们提出的预训练方法的有效性，并观察到2点（UAS）和3.6点（LAS）的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
Dependency Parsing with Backtracking using Deep Reinforcement Learning
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（计算机科学实验室）
用于NLP的贪心算法，例如基于转换的解析，易于发生错误传播。克服这个问题的一种方法是允许算法回溯并在新证据与迄今为止探索的解决方案相矛盾的情况下探索替代解决方案。为了实现这样的行为，我们使用了强化学习，并让算法在这样的行为得到比继续探索当前解决方案更好的回报的情况下进行回溯。我们测试这一想法的词性标注和依存句法分析，并表明回溯是一种有效的手段，以打击错误传播。
2022-06-28 cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University（哈佛大学）；Raytheon BBN Technologies（雷神BBN技术公司）
提取事件和时间表达式之间的时间关系具有许多应用，例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题，它需要句子或话语级别的句法和语义信息，这些信息可以由诸如BERT（Devlin等人，2019年）。在本文中，我们开发了几种基于BERT的时态依赖解析器的变体，并证明了BERT显着改进了时态依存句法分析（Zhang和Xue，2018 a）。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
82 Treebanks, 34 Models: Universal Dependency Parsing with Multi-Treebank Models
Uppsala University（乌普萨拉大学）；Google Research（谷歌研究院）
我们为CoNLL 2018通用依存句法分析共享任务提供了乌普萨拉系统。我们的系统是一个管道，由三个部分组成：第一个执行联合单词和句子分割;第二个预测词性标签和形态特征;第三个预测依赖树的单词和标签。我们不是为每个树库训练一个解析模型，而是为一种语言或密切相关的语言训练多个树库模型，大大减少了模型的数量。在正式测试中，我们在LAS和MLAS指标的27支球队中排名第7。我们的系统在分词、通用词性标注和形态特征方面获得了最好的分数。
2018-09-06 cs.CL
