CRF Autoencoder for Unsupervised Dependency Parsing
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
无监督依存句法分析试图从无标注的数据中发现语言依存结构，是一个非常具有挑战性的任务。几乎所有以前的工作都集中在学习生成模型上。本文提出了一种基于CRF自动编码器的无监督依存句法分析模型。我们的模型的编码器部分是有区别的和全局规范化的，这使我们能够使用丰富的特征以及通用的语言先验。我们提出了一个精确的算法解析以及一个听话的学习算法。我们评估了我们的模型在八个多语言树库上的性能，发现我们的模型与最先进的方法具有可比的性能。
2017-08-03 cs.CL
A Gamification of Japanese Dependency Parsing
游戏化方法已被用作为NLP创建语言资源的一种方式。它还用于演示和教学NLP和语言现象中的算法。本文讨论了后一个目标的日语句法依存分析的游戏化设计。用户界面的设计基于一种基于转换的移位化简依存句法分析，该方法只需要日语依存结构中的"不附加“和”减少“两个动作。我们将这两个动作分配给游戏手柄或其他设备上的双向方向控制。我们还根据心理语言学的研究设计了目标句。
2021-01-09 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Non-Projective Dependency Parsing via Latent Heads Representation (LHR)
在本文中，我们介绍了一种新的方法的基础上，双向循环自编码器进行全局优化的非投射依存句法分析通过半监督学习。句法分析是在神经过程的最后完成的，该神经过程生成了一个潜头表示（LHR），没有任何算法约束，具有线性复杂度。由此产生的“潜在句法结构”可以直接用于其他语义任务。LHR被转换成通常的依赖树计算一个简单的向量相似度。我们相信，我们的模型有潜力与更复杂的国家的最先进的解析架构。
2018-02-06 cs.CL
Probabilistic Models for High-Order Projective Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
本文提出了高阶投射依存句法分析的广义概率模型和学习这些统计模型的算法框架，包括依存树。通过调整我们的算法，将内部-外部算法扩展到高阶情况，可以有效地计算高阶依赖树的划分函数和边缘。为了证明我们的算法的有效性，我们进行了三种语言-英语，汉语和捷克语，使用最大条件似然估计的模型训练和L-BFGS参数估计的实验。我们的方法实现了英语的竞争力的表现，并优于所有以前报道的依赖解析器中文和捷克语。
2015-02-14 cs.CL
Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration
Uppsala University（乌普萨拉大学）
句法依存句法分析的标准模型把词作为依存关系的基本单位。在本文中，我们调查是否有任何好处，丰富这些模型与更抽象的概念提出的Tesnière核。我们这样做的核的概念，可以在框架中定义的通用依赖，以及我们如何使用组合函数，使一个基于转换的依赖解析器知道这个概念。在12种语言上的实验表明，核组合在句法分析准确率上有很大的提高。进一步的分析表明，改进主要涉及少数依存关系，包括名词性修饰语、并列关系、主谓语和直接宾语。
2021-01-29 cs.CL
Vietnamese transition-based dependency parsing with supertag features
Department of Information Science；Engineering University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email；Faculty of Computer Science University of Information Technology Vietnam National University - Ho Chi Minh City, Vietnam Email
依存句法分析是近年来的一个研究热点，在自然语言处理中有着广泛的应用。在本文中，我们提出了一种有效的方法来改善依存句法分析利用超标记的功能。我们使用基于转换的依存句法分析进行了实验，因为它可以利用丰富的功能。对越南依赖树库的实证评估表明，使用黄金超级标签的标记附件评分提高了18.92%，使用自动超级标签的标记附件评分提高了3.57%。
2019-11-09 cs.CL
Headed-Span-Based Projective Dependency Parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程研究中心）
本文提出了一种新的基于标题跨度的投射依存句法分析方法。在投影依赖树中，以每个单词为根的最大子树覆盖连续序列（即，跨度）按表面顺序排列。我们将这样一个由词根标记的跨度称为\textit{headed span}。投影依赖树可以表示为有头跨度的集合。我们将依赖树的得分分解为头跨度的得分，并设计了一种新的$O(n^3)$动态规划算法，以实现全局训练和精确推理。我们的模型在PTB，CTB和UD上实现了最先进或具有竞争力的结果。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with the Structuralized Prompt Template
SungKyunKwan University（成均馆大学）
提出一种仅依赖编码器模型和文本到文本训练方式的依存句法分析方法，通过结构化提示模板捕获依存树结构信息，在实验中优于传统模型且适应多种预训练模型。
2025-02-24 cs.CL
On the Challenges of Fully Incremental Neural Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文研究现代神经架构能否实现有竞争力的完全增量依存句法分析，通过结合从左到右编码器与序列标注及基于转移的解码器，证明其仍明显落后于双向模型。
2023-09-28 cs.CL
Compositional Generalization in Dependency Parsing
McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
组合性（Compositionality）--将熟悉的单元（如单词）组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化，Keysers等人（2020）引入了组合自由基分析（CFQ）。该数据集最大化了测试和训练分布在原始单元（如单词）上的相似性，同时最大化了复合发散：测试和训练分布在较大结构（如短语）上的不相似性。然而，依存句法分析缺少组合泛化基准。在这项工作中，我们为CFQ引入了一套黄金标准的依赖解析器，并使用它来分析最先进的依赖解析器的行为（Qi等人，2020年，CFQ数据集。我们发现，增加复合分歧降低依存句法分析的性能，虽然没有显着的语义解析的性能。此外，我们发现的依赖分析器的性能并不均匀降低相对于复合发散，和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能，并确定了一些句法结构，驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features
Uppsala University（乌普萨拉大学）
我们研究了丰富的超标记特征在基于贪婪转换的依存句法分析中的作用。虽然以前的研究表明，稀疏布尔功能表示的1-最好的超级标记的一个字可以提高解析的准确性，我们表明，我们可以得到进一步的改善，通过添加一个连续的矢量表示的整个超级标记分布的一个字。通过这种方式，我们实现了最好的结果，贪婪的过渡为基础的分析与supertag功能与$88.6\%$ LAS和$90.9\%$ UAS上的英语Penn树库转换为斯坦福大学的词典。
2020-07-09 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
Dependency Graph Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究院）
本文通过扩展线性化方法处理重入和环，将语义依存与增强型通用依存图解析转化为序列标注任务，在保持高效率的同时取得接近最优的准确率。
2024-10-23 cs.CL
Transition-Based Dependency Parsing With Pluggable Classifiers
School of Informatics and Computing, Indiana University（印第安纳大学信息与计算学院）
原则上，基于转换的依赖性解析器的设计使得可以在不对解析算法进行其他更改的情况下对任何通用分类器进行实验。然而，在实践中，通常需要大量的软件工程来在两个软件包使用的不同表示之间进行桥接。在这里，我们提出了扩展MaltParser，允许使用符合Weka机器学习包的接口的任何分类器，TiMBL基于内存的学习器的包装器到这个接口，以及使用各种分类器进行多语言依赖解析的实验。虽然早期的工作表明，记忆为基础的学习者可能是一个很好的选择低资源的分析方案，我们不能支持这一假设在这项工作中。我们观察到，支持向量机提供更好的解析性能比基于记忆的学习，无论训练集的大小。
2012-11-01 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
An empirical study for Vietnamese dependency parsing
Macquarie University（麦考瑞大学）
本文介绍了一个经验比较不同的依赖分析越南语，它有一些不寻常的特点，如系词下降和动词序列化。实验结果表明，基于神经网络的语法分析器的性能明显优于传统的语法分析器。我们报告了迄今为止越南语的最高解析分数，标记附件分数（LAS）为73.53%，未标记附件分数（UAS）为80.66%。
2016-11-03 cs.CL
Transferring Neural Potentials For High Order Dependency Parsing
本文提出一种利用双仿射分数和双分解推理的端到端方法，将一阶依存信息转移至高阶，以提升依存句法分析准确率。
2023-06-18 cs.CL
Tackling Error Propagation through Reinforcement Learning: A Case of Greedy Dependency Parsing
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
错误传播是NLP中的一个常见问题。强化学习在训练过程中探索错误状态，因此在过程的早期犯错误时可以更鲁棒。在本文中，我们将强化学习的贪婪依存句法分析，这是已知的遭受错误传播。强化学习提高了斯坦福神经依赖解析器（一种高性能贪婪解析器）的标记和未标记依赖关系的准确性，同时保持了其效率。我们调查的部分错误，这是错误传播的结果，并确认，强化学习减少错误传播的发生。
2017-02-22 cs.CL
Dependency Language Models for Transition-based Dependency Parsing
University of Birmingham（伯明翰大学）；Google（谷歌）
在本文中，我们提出了一种方法来提高一个强的过渡为基础的依赖分析器的准确性，利用依赖语言模型，从一个大型的分析语料库中提取。我们将少量基于依赖语言模型的特征集成到解析器中。为了证明所提出的方法的有效性，我们评估我们的分析器在标准的英语和中文数据的基础分析器可以实现竞争力的准确性分数。我们的增强型解析器在中文数据上达到了最先进的精度，在英文数据上也取得了有竞争力的结果。我们在中文方面获得了1分（UAS）的绝对进步，在英语方面获得了0.5分。
2017-08-30 cs.CL
Schema-Free Dependency Parsing via Sequence Generation
Huawei Cloud Computing Technologies（华为云计算技术）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
依存句法分析的目的是提取句子的句法依存结构或语义依存结构。现有的方法存在通用性差或对辅助解码器依赖性强的缺点。为了弥补这些缺点，我们建议仅利用预训练的语言模型（PLM），而不使用任何辅助结构或解析算法，通过序列生成（SG）DPSG来实现通用且无模式的依存句法分析（DP）。我们首先探讨了不同的序列化设计策略，将解析结构转换为序列。然后，我们设计依赖单元，并将这些单元连接成DPSG序列。由于序列生成的高度灵活性，我们的DPSG可以实现语法DP和语义DP使用一个单一的模型。通过连接前缀来指示特定模式与序列，我们的DPSG甚至可以完成多模式解析。我们的DPSG的有效性证明了广泛使用的DP基准，即，PTB、CODT、SDP 15和SemEval 16。DPSG在所有基准测试中实现了与第一层方法相当的结果，甚至在CODT和SemEval16中实现了最先进的（SOTA）性能。本文表明，我们的DPSG有潜力成为一个新的分析范式。我们将在接受后发布代码。
2022-01-28 cs.CL
Combining (second-order) graph-based and headed-span-based projective dependency parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
基于图的方法将依赖树的得分分解为依赖弧的得分，几十年来一直是依存句法分析中的流行方法。最近，\citet{Yang2022Span}提出了一种基于头部跨度的方法，该方法将依赖树的得分分解为头部跨度的得分。它们显示了对基于一阶图的方法的改进。然而，他们的方法根本不对依赖弧进行评分，并且依赖弧由他们的实时算法隐式地诱导，这可能是次优的，因为建模依赖弧直观地有用。在这项工作中，我们的目标是结合基于图形和头部跨度为基础的方法，将弧分数和头部跨度分数到我们的模型。首先，我们展示了一种直接的方法来结合$O(n^4)$解析复杂性。为了降低复杂性，灵感来自经典的头部分裂技巧，我们展示了两个$O(n^3)$动态规划算法结合第一和第二阶图为基础的方法和头部跨度。我们在PTB、CTB和UD上的实验表明，结合基于一阶图和基于头跨度的方法是有效的。我们还确认了基于二阶图的解析在深度学习时代的有效性，然而，当结合基于二阶图和基于头跨度的方法时，我们观察到边际或没有改进。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Effective Representation for Easy-First Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
简单优先解析依赖于子树重排序来构建完整的解析树。而解析处理的中间状态是由各种子树，其内部结构信息是后来的解析动作决策的关键线索，我们探索一个更好的表示这样的子树。详细地说，这项工作介绍了一种基于子和树LSTM的自底向上子树编码方法。从一个简单的第一依赖解析器没有其他手工功能，我们表明，有效的子树编码器促进解析过程，并可以使贪婪搜索简单的第一解析器实现有前途的结果基准树库相比，国家的最先进的基线。此外，在当前预训练语言模型的帮助下，我们进一步改进了easy-first方法的最新结果。
2019-06-11 cs.CL
Dependency-based Hybrid Trees for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出了一种新的基于依赖关系的混合树模型用于语义解析，它将自然语言话语转换为机器可解释的语义表示。与以前的最先进的模型不同，语义信息被解释为在我们的联合表示中的自然语言单词之间的潜在依赖关系。这样的依赖信息可以捕获语义和自然语言词之间的交互。我们将神经元组件集成到我们的模型中，并提出了一个有效的动态编程算法来执行易处理的推理。通过对八种语言的标准多语言GeoQuery数据集进行广泛的实验，我们证明了我们所提出的方法能够在多种语言中实现最先进的性能。分析还证明了使用我们的新的依赖性为基础的表示的有效性。
2018-09-01 cs.CL
A Systematic Comparison of Syntactic Representations of Dependency Parsing
LIMSI；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）；DIKU, University of Copenhagen（哥本哈根大学DIKU）
本文系统比较了基于转移的依存解析器在不同标注方案下的表现，发现将特定句法结构转换为标准表示并不总能提升性能，且结果因语言而异。
2025-03-10 cs.CL
A Fundamental Algorithm for Dependency Parsing (With Corrections)
Institute for Artificial Intelligence（人工智能研究所）；The University of Georgia（佐治亚大学）
本文提出一种逐词附加的依存句法分析基础算法，其最坏情况复杂度为$O(n^3)$，但仅在句子较短时出现，并模拟了人脑解析特性。
2025-10-22 cs.CL
Global Transition-based Non-projective Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）
Shi，Huang和Lee（2017）通过将基于transition的依赖解析器的动态编程实现与最小的双向LSTM特征集相结合，获得了英语和中文依存句法分析的最新结果。然而，他们的研究成果仅限于投射句法分析。在本文中，我们扩展了他们的方法，以支持非投射性提供了第一个实际的实现MH_4算法，一个$O(n^4)$轻度非投射动态编程解析器具有非常高的覆盖率非投射树库。为了使MH_4与最小的基于转换的特征集兼容，我们引入了一个基于转换的解释，其中解析器项被映射到转换序列。我们由此获得了非投射转换句法分析的全局解码的第一个实现，并实证证明了它在分析一些高度非投射语言时比投射转换句法分析更有效
2018-07-04 cs.CL
Biaffine Discourse Dependency Parsing
我们提供了一个研究，使用双仿射模型的神经话语依存句法分析，并取得显着的性能改善相比，基线分析器。在任务中我们比较了Reynner算法和Chu-Liu-Edmonds算法，发现Chu-Liu-Edmonds算法生成的树更深，性能更好。我们还用平均最大路径长度和平均叶节点比例来评价解析器的输出结构，发现解析器生成的依赖树接近于黄金树。由于语料库允许非投射结构，我们分析了语料库非投射性的复杂性，发现该语料库中的依赖结构的间隙度和边缘度最多为1。
2022-01-12 cs.CL
Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对语音直接依存句法分析任务，评估基于图和基于序列标注两种分析范式在大规模法语口语树库上的表现，证实基于图的方法性能更优，且直接语音分析在参数量少30%的情况下仍优于ASR加句法分析的流水线方法。
2024-06-18 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Web-scale Surface and Syntactic n-gram Features for Dependency Parsing
University of Sydney（悉尼大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们开发了新的一阶和二阶功能的依存句法分析的基础上，谷歌句法Ngrams语料库，收集子树计数的扫描书籍解析句子。我们还扩展了以前的工作表面$n$ -gram功能从Web 1 T的谷歌图书语料库，从一阶到二阶，比较和分析性能超过新闻专线和网络树库。表面和语法$n$ -gram在跨域的解析准确性方面都产生了实质性的互补增益。我们最好的系统结合了这两个功能集，在新闻专线上实现了0.8%的绝对UAS改进，在网络文本上实现了1.4%的绝对UAS改进。
2015-02-25 cs.CL
Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing
University of Wrocław（弗罗茨瓦夫大学）
我们提出了一个依赖解析器实现为一个单一的深神经网络，读取单词的正字法表示，并直接生成依赖关系和它们的标签。与典型的解析方法不同，该模型不需要对句子进行词性（POS）标记。通过适当的正则化和多任务学习实现的额外监督，我们在通用递归树库的斯拉夫语言上达到了最先进的性能：除了字符之外没有其他语言特征，我们的解析器与在完美的POS标签上训练的基于转换的系统一样准确。
2017-06-05 cs.CL
Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies
University of Copenhagen（哥本哈根大学）
在语义依存句法分析（SDP）中，语义关系形成有向无环图，而不是树。我们提出了一个新的迭代谓词选择（IPS）算法的SDP。我们的IPS算法结合了基于图和基于转换的解析方法，以处理多个语义中心词。我们使用多任务学习和特定于任务的策略梯度训练的组合来训练IPS模型。通过这种方式训练，IPS在SemEval 2015 Task 18数据集上达到了新的技术水平。此外，我们观察到，策略梯度训练学习一个容易的第一个策略。
2019-06-04 cs.CL
Transition-based Semantic Dependency Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
用指针网络实现的基于转换的语法分析器已经成为依存句法分析的最新技术，在产生标记语法树方面表现出色，在这项任务中优于基于图的模型。为了进一步测试这些强大的神经网络在更难的NLP问题上的能力，我们提出了一个过渡系统，由于指针网络，可以直接产生标记的有向无环图，并执行语义依存句法分析。此外，我们增强了我们的方法与深上下文的词嵌入提取BERT。由此产生的系统不仅优于所有现有的基于transition的模型，而且在SemEval 2015 Task 18英语数据集上与之前最先进的基于图的解析器相匹配。
2020-05-28 cs.CL
Arc-swift: A Novel Transition System for Dependency Parsing
Stanford University（斯坦福大学）
基于转换的依赖解析器通常需要局部移位和归约操作序列来产生某些附件。因此，正确的个体决策需要关于句子上下文的全局信息，而错误会导致错误传播。本文提出了一种新的过渡系统，弧迅捷，使令牌之间的直接附件更远的一个单一的过渡。这允许解析器在转换决策中更直接地利用词法信息。因此，arc-swift可以用非常小的光束尺寸实现显著更好的性能。我们的分析器减少了3.7- 7.6%的错误，相对于那些使用现有的过渡系统对Penn Treebank依存句法分析任务和英语通用语法分析。
2017-05-12 cs.CL
Combining Generative and Discriminative Approaches to Unsupervised Dependency Parsing via Dual Decomposition
ShanghaiTech University（上海科技大学）
无监督依存句法分析的目标是从无注释的句子中学习依存句法分析器。现有的工作集中在使用期望最大化算法及其变体学习生成模型，或使用判别聚类算法学习判别模型。在本文中，我们提出了一种新的学习策略，学习一个生成模型和判别模型联合基于对偶分解方法。我们的方法是简单和通用的，但有效地捕捉这两个模型的优点，提高他们的学习结果。我们在UD树库上测试了我们的方法，并在30种语言上实现了最先进的性能。
2017-09-24 cs.CL
Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Bar-Ilan University（巴伊兰大学）
我们建议一个组成向量表示的解析树，依赖于递归神经网络编码器的递归组合。为了证明它的有效性，我们使用的表示作为一个贪婪的，自下而上的依赖分析器的骨干，实现国家的最先进的英语和中文的准确性，而不依赖于外部词嵌入。解析器的实现可以在第一作者的网页上下载。
2016-05-26 cs.CL
AMR Dependency Parsing with a Typed Semantic Algebra
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
我们提出了一个语义解析器的抽象意义表示学习解析字符串到树表示的AMR图的组成结构。这使我们能够使用标准的神经技术进行超标记和依赖树解析，并受到语言原则类型系统的约束。我们提出了两种近似解码算法，实现了最先进的精度和优于强基线。
2018-05-29 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于双向LSTM（BiLSTM）的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联，该向量在其上下文中表示该标记，特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练，从而产生非常有效的解析特征提取器。我们证明了该方法的有效性，通过将其应用到一个贪婪的基于转换的解析器，以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构，并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur（印度理工学院坎普尔分校）；University of Cambridge（剑桥大学）；University of Utah（犹他大学）；Tata Consultancy Services（塔塔咨询服务公司）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中，我们专注于依存句法分析的形态丰富的语言（MRL）在低资源设置。虽然形态信息是必不可少的依存句法分析任务，形态消歧和缺乏强大的分析器提出了挑战，以获得这些信息的MRL。为了应对这些挑战，我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验，以测量我们提出的预训练方法的有效性，并观察到2点（UAS）和3.6点（LAS）的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
Dependency Parsing with Backtracking using Deep Reinforcement Learning
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（计算机科学实验室）
用于NLP的贪心算法，例如基于转换的解析，易于发生错误传播。克服这个问题的一种方法是允许算法回溯并在新证据与迄今为止探索的解决方案相矛盾的情况下探索替代解决方案。为了实现这样的行为，我们使用了强化学习，并让算法在这样的行为得到比继续探索当前解决方案更好的回报的情况下进行回溯。我们测试这一想法的词性标注和依存句法分析，并表明回溯是一种有效的手段，以打击错误传播。
2022-06-28 cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University（哈佛大学）；Raytheon BBN Technologies（雷神BBN技术公司）
提取事件和时间表达式之间的时间关系具有许多应用，例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题，它需要句子或话语级别的句法和语义信息，这些信息可以由诸如BERT（Devlin等人，2019年）。在本文中，我们开发了几种基于BERT的时态依赖解析器的变体，并证明了BERT显着改进了时态依存句法分析（Zhang和Xue，2018 a）。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
82 Treebanks, 34 Models: Universal Dependency Parsing with Multi-Treebank Models
Uppsala University（乌普萨拉大学）；Google Research（谷歌研究院）
我们为CoNLL 2018通用依存句法分析共享任务提供了乌普萨拉系统。我们的系统是一个管道，由三个部分组成：第一个执行联合单词和句子分割;第二个预测词性标签和形态特征;第三个预测依赖树的单词和标签。我们不是为每个树库训练一个解析模型，而是为一种语言或密切相关的语言训练多个树库模型，大大减少了模型的数量。在正式测试中，我们在LAS和MLAS指标的27支球队中排名第7。我们的系统在分词、通用词性标注和形态特征方面获得了最好的分数。
2018-09-06 cs.CL
Zero-Shot Dependency Parsing with Worst-Case Aware Automated Curriculum Learning
University of Copenhagen（哥本哈根大学）；Uppsala University（乌普萨拉大学）；KU Leuven（鲁汶大学）；National University of Defense Technology（国防科技大学）
大型多语言预训练语言模型，如mBERT和XLM-RoBERTa，被发现对于句法分析模型的跨语言迁移非常有效（Wu and Dredze 2019），但仅限于相关语言之间。然而，当解析真正的低资源语言时，源语言和训练语言很少相关。为了弥补这一差距，我们采用了一种多任务学习的方法，该方法依赖于自动化课程学习，以动态优化离群语言的解析性能。我们表明，这种方法是显着优于均匀和大小比例抽样的zero-shot设置。
2022-03-16 cs.CL
Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
University of Stuttgart（斯图加特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
现代的基于图的句法依赖性解析器通过针对句子内的每个标记预测其可能的句法中心词上的概率分布（即，所有其它令牌），然后从所得的对数概率中提取最大生成树。如今，几乎所有这样的解析器都利用深度神经网络，因此可能容易发生错误校准（特别是过度自信的预测）。在本文中，我们证明了温度缩放，一个流行的技术事后校准的神经网络，不能改变上述过程的输出。我们的结论是，需要其他技术来解决基于图的依赖解析器中的误校准，以提高解析精度。
2021-06-15 cs.CL
Deep Multitask Learning for Semantic Dependency Parsing
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个深度神经架构，将句子解析为三个语义依赖图形式。通过使用高效的、近似弧因子推理和由多层感知器组成的双向LSTM，我们的基础系统能够显著提高语义依存句法分析的最新技术水平，而无需使用手工设计的功能或语法。然后，我们探索两种多任务学习方法-一种是在形式主义中共享参数，另一种是使用高阶结构来联合预测图形。我们发现，这两种方法平均提高了整个形式主义的性能，实现了一个新的艺术状态。我们的代码是开源的，可在www.example.com。
2017-04-25 cs.CL
Revisiting the Effects of Leakage on Dependency Parsing
George Mason University（乔治梅森大学）；University of Virginia（弗吉尼亚大学）
Søgaard（2020）最近的工作表明，除了树库大小之外，训练和测试图之间的重叠（称为泄漏）比其他解释更能解释依存句法分析性能的变化。在这项工作中，我们重新审视这一主张，在更多的模型和语言上进行测试。我们发现，它只适用于zero-shot跨语言设置。然后，我们提出了一个更细粒度的措施，这种泄漏，不像原来的措施，不仅解释，而且与观察到的性能变化。代码和数据可在这里获得：https://github.com/miriamwanner/reu-nlp-project
2022-03-24 cs.CL
Parsing as Reduction
Universidade de Vigo（维戈大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Priberam Labs（Priberam实验室）
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示，“头有序依赖树”，表现出同构的组成树。通过编码顺序信息的依赖标签，我们表明，任何现成的，可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候，我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单，但实验表明，所得到的解析器与强大的基线相当，例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国，我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
On the feasibility of dependency parsing of non-human sequences without a gold standard. Is evaluation possible in other species?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of St Andrews（圣安德鲁斯大学）；University of Michigan（密歇根大学）；Western University（韦仕敦大学）
探讨无黄金标准下非人类序列依存句法分析的可行性，应用网络科学进展，发现非人类灵长类动物发声或手势序列因序列长度分布快速衰减，解析器检索正确边比例高，可无黄金标准评估，人类语言序列则不然。
2026-07-09 cs.CL
Please Mind the Root: Decoding Arborescences for Dependency Parsing
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
依赖树和生成树之间的联系被NLP社区用来训练和解码基于图的依赖解析器。然而，NLP文献忽略了这两种结构之间的一个重要区别：在依赖树中，只有一条边可以从根发出。我们分析了Universal Dependency Treebank中许多语言的最先进解析器的输出：尽管这些解析器通常能够学习到违反约束的树应该被分配较低的概率，但随着训练集大小的减少，它们这样做的能力也会降低。事实上，我们观察到的最糟糕的约束违反率是24%。先前的工作已经提出了一种低效率的算法来强制约束，其将因子n添加到解码运行时间。我们将Gabow和Tarjan（1984）的算法应用于依存句法分析，它满足了约束条件，而不影响原始的运行时间。
2020-10-07 cs.CL
