Constituency Structure over Eojeol in Korean Treebanks
KAIST（韩国国立科学技术院）；Anyang University（安阳大学）
针对韩语成分树库中终端单位选择问题，提出基于语节的成分表示，将形态分割和细粒度词性信息编码在非成分层，支持跨树库比较和成分-依存对齐。
2026-06-25 cs.CL
Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文件简要介绍了为SPMRL 2013共享任务准备的韩国数据。共有27，363个句子和350，090个标记用于共享任务。所有组成树都是从KAIST树库中收集的，并转化为Penn树库风格。所有的依赖树转换从转换的成分树使用专门为KAIST树库设计的分类和标记规则。除了KAIST Treebank提供的黄金标准形态分析外，还为共享任务提供了两套自动形态分析，一套由HanNanum形态分析仪生成，另一套由Sejong形态分析仪生成。
2013-09-10 cs.CL
Supertagging-based Parsing with Linear Context-free Rewriting Systems
Technische Universität Dresden（德累斯顿工业大学）
我们提出了第一个基于超标记的LCFRS解析器。它利用神经分类器，在准确性和解析速度方面都大大优于以前的基于LCFRS的解析器。此外，我们的结果跟上最好的（一般）不连续的分析器，特别是不连续的成分的分数是优秀的。我们的方法的核心是一个有效的词汇化过程，诱导词汇LCFRS从任何不连续的树库。它是Mörbitz和Ruprecht（2020）以前工作的改编。我们还描述了一个修改通常的基于图表的LCFRS解析，占supertaging，并介绍了一个程序的词汇LCFRS衍生转化为等价的解析树的原始树库。我们的方法是实施和评估英语不连续宾州树库和德国语料库NeGra和老虎。
2020-10-20 cs.CL
Error-Driven Pruning of Treebank Grammars for Base Noun Phrase Identification
寻找简单的、非递归的基本名词短语是许多自然语言处理应用程序的重要子任务。虽然以前的经验方法基本NP识别已经相当复杂，本文提出了一个非常简单的算法，是针对相对简单的任务。特别是，我们提出了一种基于语料库的方法，通过匹配部分的语音标签序列来寻找基本的NP。该算法的训练阶段基于两种成功的技术：首先从“树库”语料库中读取基本NP语法;然后通过选择具有高“效益”分数的规则来改进语法。使用这个简单的算法与一个天真的启发式匹配规则，我们实现了令人惊讶的准确性在宾夕法尼亚州树库华尔街日报的评价。
1998-08-26 cmp-lg cs.CL
A Minimal Span-Based Neural Constituency Parser
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个最小的神经模型的标签和跨度的独立评分的基础上，选区解析。我们表明，该模型不仅与经典的动态规划技术兼容，但也承认一个新的贪婪自上而下的推理算法的基础上递归分区的输入。我们的经验表明，这两个预测方案与最近的工作是有竞争力的，当结合基本扩展的评分模型能够实现国家的最先进的单模型性能的Penn Treebank（91.79 F1）和强大的性能的法国Treebank（82.23 F1）。
2017-05-10 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Fast(er) Exact Decoding and Global Training for Transition-Based Dependency Parsing via a Minimal Feature Set
Cornell University（康奈尔大学）；Oregon State University（俄勒冈州立大学）
我们首先为基于transition的依存句法分析提出了一个最小特征集，延续了Kiperwasser和Goldberg（2016 a）以及Cross和Huang（2016 a）使用双向LSTM特征的最新趋势。我们将我们的最小特征集插入Huang和Sagae（2010）和Kuhlmann et al.（2011）的动态编程框架中，以产生弧混合和弧渴望转换系统的最坏情况O（n^3）精确解码器的第一个实现。利用我们的最小特征，我们还提出了O（n^3）的全局训练方法。最后，使用合奏，包括我们的新的解析器，我们实现了最好的无标签的附件分数报告（据我们所知）的中文树库和“第二最好的”结果的英文Penn树库。
2017-08-30 cs.CL
A PDTB-Styled End-to-End Discourse Parser
National University of Singapore（新加坡国立大学）
我们已经开发了一个完整的话语分析器在宾夕法尼亚州话语树库（PDTB）的风格。我们训练的解析器首先识别所有的话语和非话语关系，定位和标记它们的参数，然后分类它们的关系类型。在适当的时候，这些关系的属性跨度也被确定。我们提出了一个全面的评估，从组件明智的和错误级联的角度。
2010-11-03 cs.CL
Distilling Neural Networks for Greener and Faster Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
近年来，自然语言处理研究的碳足迹一直在增加，因为它依赖于大型且低效的神经网络实现。蒸馏是一种网络压缩技术，它试图将知识从一个大的模型传递到一个较小的模型。我们使用师生蒸馏来提高Biaffine依赖解析器的效率，该解析器在准确性和解析速度方面获得了最先进的性能（Dozat和Manning，2017）。当提取到原始模型的可训练参数的20%时，我们在许多不同的通用依赖树库中仅观察到UAS和LAS的平均$\sim$ 1点下降，同时在推理时间比CPU（GPU）上的基线模型快2.30倍（1.19倍）。我们还观察到一个小的性能提高时，压缩到80%的一些树库。最后，通过蒸馏，我们得到一个解析器，这不仅是更快，而且更准确的比最快的现代解析器在Penn树库。
2020-06-01 cs.CL
Improving a Strong Neural Parser with Conjunction-Specific Features
Bar-Ilan University（巴伊兰大学）
虽然依赖关系解析器达到了非常高的整体准确性，但某些依赖关系比其他依赖关系更难。特别地，依赖性解析器在协调构造（即，正确地附加“conj”关系）。我们扩展了一个国家的最先进的依赖分析器与连接词的特定功能，专注于连接词头词之间的相似性。训练扩展解析器产生的“conj”附件，以及在整体依存句法分析精度上的斯坦福依存关系转换的Penn TreeBank的改进。
2017-02-22 cs.CL
Non-Projective Dependency Parsing with Non-Local Transitions
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一种新的过渡系统，基于Covington非投影解析器，引入非局部过渡，可以直接创建弧涉及节点的左边的当前焦点位置。这避免了需要长序列的无弧过渡来创建长距离弧，从而减轻了错误传播。由此产生的解析器优于原来的版本，并实现了最好的准确性之间的贪婪的过渡为基础的算法的斯坦福大学的宾夕法尼亚树库转换。
2018-05-15 cs.CL
Parsing with Traces: An $O(n^4)$ Algorithm and a Structural Representation
University of California, Berkeley（加州大学伯克利分校）
一般的树库分析是图形结构的，但是出于效率和建模的原因，解析器通常限于树结构。我们提出了一种新的表示和算法的一类图结构，是足够灵活，几乎所有的树库结构，同时仍然承认有效的学习和推理。特别是，我们认为有向的，无环的，单端点交叉图结构，其中包括最长距离的错位，共享论证，和类似的树违反语言现象。我们描述了如何转换短语结构解析，包括痕迹，我们的新表示在一个可逆的方式。我们的动态程序独特地分解结构，是健全和完整的，并涵盖了97.3%的宾夕法尼亚州英语树库。我们还实现了一个概念验证解析器，它可以恢复一系列空元素和跟踪类型。
2017-07-13 cs.CL cs.DM
CITE: A Corpus of Image-Text Discourse Relations
Rutgers University（罗格斯大学）
本文提出了一种新的众包资源的多模态话语：我们的资源特征的推理在图像-文本背景下的烹饪食谱的连贯关系的形式。像以前的语料库注释文本参数之间的话语结构，如宾州话语树库，我们的新语料库有助于建立一个更好的理解自然的沟通和常识推理，而我们的研究结果有广泛的应用，如理解和生成多模态文档的影响。
2019-04-16 cs.CL
Greedy Transition-Based Dependency Parsing with Discrete and Continuous Supertag Features
Uppsala University（乌普萨拉大学）
我们研究了丰富的超标记特征在基于贪婪转换的依存句法分析中的作用。虽然以前的研究表明，稀疏布尔功能表示的1-最好的超级标记的一个字可以提高解析的准确性，我们表明，我们可以得到进一步的改善，通过添加一个连续的矢量表示的整个超级标记分布的一个字。通过这种方式，我们实现了最好的结果，贪婪的过渡为基础的分析与supertag功能与$88.6\%$ LAS和$90.9\%$ UAS上的英语Penn树库转换为斯坦福大学的词典。
2020-07-09 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型，用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器（Kiperwasser和Goldberg，2016），通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上，我们的模型分别获得了94.51%和92.87%的UAS和LAS分数，比基于BIST图的解析器有1.5%以上的绝对改进，并且还获得了97.97%的最先进的POS标记准确率。此外，从原始文本中解析61个“大”通用词典树库的实验结果表明，我们的模型优于基线UDPipe（Straka和Straková，2017），平均POS标记得分高出0.8%，平均LAS得分高出3.6%。此外，通过我们的模型，我们还获得了最先进的下游任务分数，用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供：https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Transition-based Bubble Parsing: Improvements on Coordination Structure Prediction
Cornell University（康奈尔大学）
我们提出了一个过渡为基础的气泡分析器进行协调结构的识别和依赖的句法分析同时进行。气泡表示在几十年前的正式语言学文献中提出;它们通过明确编码协调结构中的协调边界和内部关系来增强依赖树。在本文中，我们介绍了一个过渡系统和神经模型解析这些泡沫增强结构。在Penn树库和GENIA语料库上的实验结果表明，本文的分析器在协调结构预测方面优于现有的分析方法，尤其是对于具有复杂协调结构的句子子集。
2021-07-14 cs.CL
Graph-to-Graph Transformer for Transition-based Dependency Parsing
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了Graph2Graph Transformer架构，用于调节和预测任意图形，并将其应用于基于转换的依存句法分析的挑战性任务。在提出了两个新的Transformer模型的过渡为基础的依存句法分析作为强基线后，我们表明，添加所提出的机制，条件和预测图的Graph2Graph Transformer的结果显着改善，无论有和没有BERT预训练。新的基线及其与Graph2Graph Transformer的集成在英语Penn Treebank和13种语言的Universal Advertisements Treebanks上的性能明显优于传统的基于转换的依存句法分析。Graph2Graph Transformer可以与许多以前的结构化预测方法集成，使其易于应用于广泛的NLP任务。
2020-10-30 cs.CL cs.LG
Arc-swift: A Novel Transition System for Dependency Parsing
Stanford University（斯坦福大学）
基于转换的依赖解析器通常需要局部移位和归约操作序列来产生某些附件。因此，正确的个体决策需要关于句子上下文的全局信息，而错误会导致错误传播。本文提出了一种新的过渡系统，弧迅捷，使令牌之间的直接附件更远的一个单一的过渡。这允许解析器在转换决策中更直接地利用词法信息。因此，arc-swift可以用非常小的光束尺寸实现显著更好的性能。我们的分析器减少了3.7- 7.6%的错误，相对于那些使用现有的过渡系统对Penn Treebank依存句法分析任务和英语通用语法分析。
2017-05-12 cs.CL
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了递归的非自回归图到图的Transformer架构（RNGTr）的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer，并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型，在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer（SynTr），一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性，甚至比SynTr实现的新的最先进的结果更好，显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
A Simple LSTM model for Transition-based Dependency Parsing
Google Inc.（谷歌公司）
我们提出了一个简单的基于LSTM的基于转换的依赖解析器。我们的模型由单个LSTM隐藏层组成，取代了通常前馈网络架构中的隐藏层。我们还提出了一种新的初始化方法，使用前馈神经网络的预训练权重来初始化我们的基于LSTM的模型。我们还表明，在输入层上使用dropout对性能有积极的影响。我们最终的解析器在Penn Treebank上实现了93.06%的未标记和91.01%的标记附件得分。我们还在模型中用GRU和Elman单元替换了LSTM，并探索了我们的初始化方法对构成所有三种类型RNN单元的各个门的有效性。
2017-09-08 cs.CL
Rethinking Self-Attention: Towards Interpretability in Neural Parsing
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Adobe Research（Adobe研究）
注意力机制提高了NLP任务的性能，同时允许模型保持可解释性。自我注意是目前广泛使用的，但解释是困难的，由于众多的注意力分布。最近的工作表明，模型表示可以受益于标签特定的信息，同时促进预测的解释。我们引入标签注意层：一种新的自我注意形式，其中注意头代表标签。我们通过运行选区和依存句法分析实验来测试我们的新层，并表明我们的新模型在Penn Treebank（PTB）和Chinese Treebank上都获得了新的最先进的结果。此外，与现有工作相比，我们的模型需要更少的自我注意层。最后，我们发现标签注意脑能够学习句法范畴之间的关系，并显示出分析错误的路径。
2020-10-29 cs.CL cs.LG
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Multitask Pointer Network for Multi-Representational Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
我们提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何具有成分树和依赖树的输入句子，支持连续/投射和不连续/非投射句法结构。为此，我们开发了一个指针网络架构，两个单独的特定任务的解码器和一个共同的编码器，并遵循多任务学习策略，共同训练他们。由此产生的二次系统，不仅成为第一个解析器，可以从一个单一的模型联合产生无限制的成分和依赖树，但也证明了这两种句法形式可以受益于彼此在训练过程中，实现国家的最先进的精度在几个广泛使用的基准，如连续英语和中文Penn树库，以及不连续的德国NEGRA和TIGER数据集。
2022-12-22 cs.CL
Representing and Parsing Korean Constituency Structure at Different Levels of Granularity
Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；Anyang University（安阳大学）
该研究对比三种韩语成分分析表示，评估不同顺序的转换式分析器，发现细粒度的语素+XPOS表示表现最优，同时明确eojeol作为表层标注域的合理性。
2026-08-31 cs.CL
Dependency Parsing with Bottom-up Hierarchical Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
依存句法分析是实现深度语言理解的关键一步，因此被众多自然语言处理应用广泛需求。特别是，依赖于指针网络的从左到右和自上而下的基于转换的算法是执行依存句法分析的最准确的方法之一。此外，对于自顶向下算法，已经观察到指针网络的顺序解码可以通过实现更适合于模型依赖结构的分层变体来改进。考虑到这一切，我们开发了一个自自底向上的【形】的面向层次指针网络的左到右的解析器，并提出了两个新的过渡为基础的替代品：一种方法，解析一个句子从右到左的顺序和一个变种，这样做，从外到内。我们在各种语言上使用不同的算法对所提出的神经架构进行了实证测试，几乎在所有语言上都优于原始方法，并在英语和中文Penn Treebanks上为非上下文化和基于BERT的嵌入设置了新的最先进的结果。
2022-10-25 cs.CL
A description of Turkish Discourse Bank 1.2 and an examination of common dependencies in Turkish discourse
Middle East Technical University（中东技术大学）
我们描述了土耳其语话语库1.2，最新版本的话语语料库注释显式或隐式传达的话语关系，其构成单位，并在宾夕法尼亚州话语树库风格的意义。我们提出了一个评估最近添加的令牌和检查三个常见的依赖模式，一对相邻的话语关系，即，共享参数，完全嵌入和部分包含的话语关系的构成单位之间举行。我们发现了三个主要问题：（a）隐性关系比显性关系更常见;（b）两个相邻的隐性话语关系共享一个论元比两个相邻的显性话语关系共享一个论元更常见;（3）语篇关系的完全嵌入和部分包含在语料库中普遍存在，这可能是由于从属连接词的前置从句倾向于与主句一起选择而不是单独选择。最后，我们简要讨论了我们的研究结果对土耳其语篇分析的影响。
2022-07-13 cs.CL
Three New Probabilistic Models for Dependency Parsing: An Exploration
在提出了一个新的O（n^3）的依存语法分析算法之后，我们提出了三种不同的方法来随机化它：（a）一个词汇亲和模型，其中词之间的相互修饰是困难的;（b）一个意义标记模型，其中词的选择偏好是随机波动的;（c）生成模式，说话者充实每个词的句法和概念结构，而不考虑对听话者的影响。我们还给出了初步的实证结果，从评估三个模型的解析性能的注释华尔街日报训练文本（来自宾夕法尼亚树库）。在这些结果中，生成（即，自上而下）模型的性能明显优于其他模型，并且在分配词性标记方面也表现得相当好。
1997-06-07 cmp-lg cs.CL
Hexatagging: Projective Dependency Parsing as Tagging
提出名为hexatagger的依存句法分析器，通过将单词标注为有限标签来构建依存树，实现训练时完全并行化和线性时空复杂度的精确解码，并在Penn Treebank上取得SOTA性能且解码速度提升约10倍。
2023-06-08 cs.AI cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
LIMIT-BERT : Linguistic Informed Multi-Task BERT
Shanghai Jiao Tong University（上海交通大学）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室（上海交通大学人工智能研究院））
在本文中，我们提出了一个语言知情的多任务BERT（LIMIT-BERT）的学习语言表示在多个语言任务的多任务学习（MTL）。LIMIT-BERT包括五个关键的语言句法和语义任务：词性标记、成分和依存句法分析、跨度和依存语义角色标注。此外，LIMIT-BERT还采用了语言学屏蔽策略：句法和语义短语屏蔽，屏蔽了与句法/语义短语对应的所有标记。不同于最近的多任务深度神经网络（MT-DNN）（Liu等人，2019），我们的LIMIT-BERT是语言驱动的，并在半监督方法中学习，该方法提供了与BERT学习语料库相同的大量语言任务数据。因此，LIMIT-BERT不仅提高了语言任务的性能，而且还受益于正则化效应和语言信息，从而产生更一般的表示，以帮助适应新的任务和领域。LIMIT-BERT在Propbank基准上的跨度和依存语义解析以及Penn Treebank上的依存和成分句法分析上都获得了新的最先进的或有竞争力的结果。
2020-10-06 cs.CL cs.LG
