A non-projective greedy dependency parser with bidirectional LSTMs
Universidade da Coruña（拉科鲁尼亚大学）
LyS-FASTPARSE团队介绍了BIST-COVINGTON，这是Covington（2001）算法的神经实现，用于非投射依存句法分析。Kipperwasser和Goldberg（2016）的双向LSTM方法用于训练具有动态oracle的贪婪解析器，以减轻错误传播。该模型参加了CoNLL 2017 UD共享任务。尽管没有使用任何集成方法，并使用基线分割和PoS标记，解析器在大型树库类别（55种语言）的宏观平均LAS和UAS上都获得了良好的结果，在33个团队中排名第7。在所有树库类别（LAS和UAS）中，我们排名第16位和第12位。所有类别和大类别之间的差距主要是由于四个并行PUD树库的性能不佳，这表明一些“后缀”树库（例如西班牙语AnCora）在跨树库设置上表现不佳，而相应的“无后缀”树库（例如西班牙语）则不会出现这种情况。通过改变这一点，我们在所有运行（官方和非官方）中获得了第11名。该代码可在https://github.com/CoNLL-UD-2017/LyS-FASTPARSE上获得
2017-07-11 cs.CL
Many Languages, One Parser
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Pompeu Fabra University（庞培法布拉大学）
我们训练了一个多语种的依存句法分析模型，并使用它来分析几种语言的句子。解析模型使用（i）多语言词簇和嵌入;（ii）标记级语言信息;以及（iii）语言特定特征（细粒度POS标签）。这种输入表示使解析器不仅能够在多种语言中有效地解析，而且还能够基于语言共性和类型相似性来概括跨语言，从而使其更有效地从有限的注释中学习。我们的解析器的性能在一系列数据场景中优于强基线，包括当目标语言有一个大的树库，一个小的树库，或没有树库的训练。
2016-07-26 cs.CL
Exploiting Diversity in Natural Language Processing: Combining Parsers
三个国家的最先进的统计分析器相结合，以产生更准确的分析，以及新的界限可实现的树库解析精度。提出了两种通用方法，并针对每种方法描述了两种组合技术。探索了参数模型和非参数模型。由此产生的解析器超过了以前发表的最好的性能结果的Penn Treebank。
2000-06-01 cs.CL
Cross-Domain Generalization of Neural Constituency Parsers
University of California, Berkeley（加州大学伯克利分校）
神经解析器在基准树库上获得了最先进的结果，用于选区解析-但它们在多大程度上推广到其他领域？我们提出了关于零射击（zero-shot）设置中神经解析器泛化的三个结果：对来自一个语料库的树进行训练和对域外语料库进行评估。首先，神经和非神经解析器将XML推广到新的领域。其次，将预先训练的编码器表示纳入神经解析器中，可以大大提高其在所有域中的性能，但对于域外树库并没有更大的相对改善。最后，尽管神经解析器学习了丰富的输入表示，但它们仍然受益于输出树的结构化输出预测，从而获得更高的精确匹配精度和更强的泛化能力，无论是对更大的文本跨度还是对域外语料库。我们分析了英语和汉语语料库的泛化，并在此过程中获得了最先进的解析结果的布朗，Genia和英语网络树库。
2019-07-09 cs.CL
I3rab: A New Arabic Dependency Treebank Based on Arabic Grammatical Theory
Princess Sumaya University for Technology（普林塞萨·苏马亚科技大学）；Hashemite University（哈希姆特大学）
树库是一种非常有价值的语言资源，它除了包含词性标记和形态特征外，还包含了语言句子的句法结构。它们主要用于建模统计分析器。尽管统计自然语言解析器最近对于诸如英语的语言变得更准确，但是对于阿拉伯语的那些解析器仍然具有低准确性。本文的目的是在传统的阿拉伯语语法理论的基础上，结合阿拉伯语的特点，构建一个新的阿拉伯语依存关系树库，研究其对统计分析器准确性的影响。建议的阿拉伯语依赖树库，称为I3rab，对比现有的阿拉伯语依赖树库在两个主要概念。第一个概念是确定句子的主要词的方法，第二个概念是连接代词和隐蔽代词的表示。为了评估I3rab，我们将其性能与布拉格阿拉伯语DepartmentTreebank的一个子集进行了比较，该子集具有可比的细节水平。进行的实验表明，在UAS和LAS中的百分比改善达到7.5%和18.8%。
2020-07-11 cs.CL
The Fragility of Multi-Treebank Parsing Evaluation
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
用于解析评估的树库选择和可能由有偏见的选择引起的虚假效果还没有详细探讨。本文研究了如何评估一个单一的树库子集可能会导致弱结论。首先，我们采取了一些对比的解析器，并运行它们的子集的树库在以前的工作中，其使用是合理的（或不）的标准，如类型或数据稀缺性。其次，我们运行了这个实验的大规模版本，创建了大量树库的随机子集，并在这些子集上比较了许多得分可用的解析器。结果表明，各子集之间存在很大的差异，虽然很难建立良好的树库选择指南，但有可能检测到潜在的有害策略。
2022-09-14 cs.CL
Large Discourse Treebanks from Scalable Distant Supervision
University of British Columbia（不列颠哥伦比亚大学）
语篇分析是自然语言处理中的一项重要的上游任务，对许多现实世界的应用具有重要意义。尽管其广泛认可的作用，最新的话语分析器（因此下游任务）仍然依赖于小规模的人类注释的话语树库，试图从非常有限的数据在几个狭窄的领域推断通用的话语结构。为了克服这种可怕的情况，并允许话语解析器在更大，更多样化和独立于领域的数据集上进行训练，我们提出了一个框架，从情感分析辅助任务的远程监督中生成“银标准”话语树。
2022-10-18 cs.CL
MEGA RST Discourse Treebanks with Structure and Nuclearity from Scalable Distant Sentiment Supervision
University of British Columbia（不列颠哥伦比亚大学）
缺乏大型和多样化的话语树库阻碍了数据驱动方法（如深度学习）在RST风格话语分析中的应用。在这项工作中，我们提出了一种新的可扩展的方法来自动生成话语树库，使用远程监督从情感标注的数据集，创建和发布MEGA-DT，一个新的大规模的话语标注语料库。我们的方法生成的话语树，将结构和核的文件的任意长度依赖于一个有效的启发式波束搜索策略，扩展了随机组件。在多个数据集上的实验表明，与在人类注释的话语语料库上训练的解析器相比，在我们的MEGA-DT树库上训练的话语解析器提供了有希望的域间性能增益。
2020-11-05 cs.CL
Leveraging Newswire Treebanks for Parsing Conversational Data with Argument Scrambling
University of Colorado Boulder（科罗拉多大学博尔德分校）；IIIT-H（海得拉巴国际信息技术研究所）
我们调查的问题，解析会话数据的形态丰富的语言，如印地语的参数扰频频繁发生。我们评估了一个国家的最先进的非线性转换为基础的解析系统，一个新的数据集包含506个依赖树的句子从宝莱坞（印地语）电影剧本和Twitter帖子的印地语单语扬声器。我们表明，依赖解析器训练的新闻专线树库是强烈偏向于规范的结构和降低时，应用于会话数据。受转换生成语法的启发，我们通过从树库中现有的（内核）结构生成一个子句的所有理论上可能的替代词序来减轻采样偏差。在规范和转换结构上训练我们的解析器，与基线新闻解析器相比，会话数据的性能提高了约9% LAS。
2019-02-13 cs.CL
Universal Dependency Treebank for Odia Language
Silo AI；University of Lille（里尔大学）；Institute of Mathematics and Applications（数学与应用研究所）；KIIT University（KIIT大学）；Ravenshaw University（雷文肖大学）
本文介绍了第一个公开可用的树库Odia，形态丰富的低资源的印度语言。树库包含大约。1082个单词（100个句子）从“Samantar”中选出，这是印度语言最大的平行语料库。所有选择的句子都是按照“通用依赖性（UD）”准则手动注释的。Odia树库的形态学分析使用机器学习技术进行。Odia注释树库将丰富Odia语言资源，并将有助于建立跨语言学习和类型学研究的语言技术工具。我们还使用机器学习方法构建了一个初步的Odia解析器。解析器的正确率分别为：标记化86.6%，UPOS 64.1%，XPOS 63.78%，UAS 42.04%，LAS 21.34%。最后，本文简要讨论了Odia UD树库的语言分析。
2022-05-24 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
A Minimal Span-Based Neural Constituency Parser
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个最小的神经模型的标签和跨度的独立评分的基础上，选区解析。我们表明，该模型不仅与经典的动态规划技术兼容，但也承认一个新的贪婪自上而下的推理算法的基础上递归分区的输入。我们的经验表明，这两个预测方案与最近的工作是有竞争力的，当结合基本扩展的评分模型能够实现国家的最先进的单模型性能的Penn Treebank（91.79 F1）和强大的性能的法国Treebank（82.23 F1）。
2017-05-10 cs.CL
Supertagging-based Parsing with Linear Context-free Rewriting Systems
Technische Universität Dresden（德累斯顿工业大学）
我们提出了第一个基于超标记的LCFRS解析器。它利用神经分类器，在准确性和解析速度方面都大大优于以前的基于LCFRS的解析器。此外，我们的结果跟上最好的（一般）不连续的分析器，特别是不连续的成分的分数是优秀的。我们的方法的核心是一个有效的词汇化过程，诱导词汇LCFRS从任何不连续的树库。它是Mörbitz和Ruprecht（2020）以前工作的改编。我们还描述了一个修改通常的基于图表的LCFRS解析，占supertaging，并介绍了一个程序的词汇LCFRS衍生转化为等价的解析树的原始树库。我们的方法是实施和评估英语不连续宾州树库和德国语料库NeGra和老虎。
2020-10-20 cs.CL
Thai Universal Dependency Treebank
Department of Linguistics, Chulalongkorn University（朱拉隆梭大学语言学系）；AI Singapore（AI新加坡）；Amazon（亚马逊）；Prince of Songkhla University（素可诺大学）
针对泰语自动依存分析缺乏大规模树库和系统性模型评估的问题，构建了符合UD框架的最大规模泰语依存树库TUD，基准测试验证了基于预训练transformer的分析器性能更优，相关资源已开源。
2024-05-13 cs.CL
Dependency Grammar Induction with a Neural Variational Transition-based Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
依存语法归纳是在没有带注释的训练数据的情况下学习依存语法的任务。传统的基于图的全局推理模型在此任务上实现了最先进的结果，但它们需要$O(n^3)$运行时间。基于转换的模型可以通过$O(n)$时间复杂度实现更快的推理，但其性能仍然落后。在这项工作中，我们提出了一个基于神经转换的依存语法归纳分析器，其推理过程利用了丰富的神经功能与$O(n)$时间复杂度。我们训练的分析器与变分推理，后验正则化和方差减少技术的集成。由此产生的框架优于以前的无监督的过渡为基础的依赖解析器，并实现性能媲美基于图形的模型，无论是在英语Penn树库和通用Dependency树库。在实证比较中，我们表明，我们的方法大大提高了基于图的模型的解析速度。
2018-11-14 cs.CL
Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了我们的系统（HIT-SCIR）提交给CoNLL 2018共享任务从原始文本到通用语法的多语言解析。我们的提交基于斯坦福大学的CoNLL 2017共享任务的获奖系统，并进行了两个有效的扩展：1）将深度上下文化的词嵌入纳入词性标记器和解析器; 2）集成使用不同初始化训练的解析器。我们还探讨了不同的方式连接树库进一步改进。开发数据上的实验结果表明了我们方法的有效性。在最后的评估中，我们的系统根据LAS（75.84%）排名第一，并大大优于其他系统。
2018-07-30 cs.CL
A PDTB-Styled End-to-End Discourse Parser
National University of Singapore（新加坡国立大学）
我们已经开发了一个完整的话语分析器在宾夕法尼亚州话语树库（PDTB）的风格。我们训练的解析器首先识别所有的话语和非话语关系，定位和标记它们的参数，然后分类它们的关系类型。在适当的时候，这些关系的属性跨度也被确定。我们提出了一个全面的评估，从组件明智的和错误级联的角度。
2010-11-03 cs.CL
Strongly Incremental Constituency Parsing with Graph Neural Networks
Princeton University（普林斯顿大学）
将句子解析成语法树可以使NLP中的下游应用受益。基于转换的解析器通过在状态转换系统中执行动作来构建树。它们在计算上是高效的，并且可以利用机器学习来预测基于部分树的动作。然而，现有的基于转换的解析器主要基于移位-归约转换系统，这与人类已知的解析句子的方式不一致。心理语言学研究表明，人类的解析是强烈的增量：人类通过在每一步添加一个标记来生长一个解析树。在本文中，我们提出了一种新的过渡系统称为附加并置。它是强增量的;它使用一棵树表示一个部分句子;每个动作只向部分树中添加一个标记。基于我们的转换系统，我们开发了一个强增量解析器。在每一步中，它使用图神经网络对部分树进行编码，并预测动作。我们在Penn树库（PTB）和中文树库（CTB）上对我们的解析器进行了评估。在PTB上，它优于仅用选区树训练的现有解析器;并且它的性能与使用依赖树作为附加训练数据的最先进解析器相当。在CTB上，我们的解析器建立了一个新的技术状态。代码可以在https://github.com/princeton-vl/attach-juxtapose-parser上获得。
2020-10-27 cs.CL
Parsing Tweets into Universal Dependencies
Harbin Institute of Technology（哈尔滨工业大学）；University of Cambridge（剑桥大学）；Georgetown University（乔治敦大学）；University of Washington（华盛顿大学）
我们研究的问题，分析推文与普遍的一致性。我们扩展了UD准则，以涵盖影响标记化，词性标记和标记依赖关系的推文中的特殊结构。使用扩展的指导方针，我们创建了一个新的英语tweet树库（Tweebank v2），比Kong et al.（2014）介绍的（未标记的）Tweebank v1大四倍。我们的注释者之间的分歧的特点，并表明，这是具有挑战性的，以提供一致的注释，由于在理解和解释推文的模糊性。尽管如此，使用新的树库，我们构建了一个管道系统来将原始推文解析为UD。为了在不牺牲计算效率的情况下克服注释噪声，我们提出了一种新的方法，将20个基于转换的解析器的集合提取为一个。我们的解析器在LAS中实现了2.2的改进，并且在准确性和速度方面优于其他树库上最先进的解析器。
2018-04-23 cs.CL
Universal Dependencies Parsing for Colloquial Singaporean English
Singapore University of Technology and Design（新加坡科技设计大学）；DSO National Laboratories（新加坡国防科技研究院）
新加坡式英语在语言学上作为基于英语的主要克里奥尔语，在计算上用于区域社交媒体的信息抽取和情感分析，对ACL社区来说都很有趣。我们研究了新加坡英语的依存句法分析，通过在通用依存模式下构建依存树库，然后通过将英语句法知识集成到在新加坡英语树库上训练的最先进的句法分析器中来训练神经网络模型。结果表明，英语知识可以导致25%的相对错误减少，从而在84.47%的准确率分析。据我们所知，我们是第一个使用神经堆栈来改善低资源语言上的跨语言依存句法分析的人。我们使我们的注释和解析器可用于进一步的研究。
2017-05-18 cs.CL
Distilling Neural Networks for Greener and Faster Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
近年来，自然语言处理研究的碳足迹一直在增加，因为它依赖于大型且低效的神经网络实现。蒸馏是一种网络压缩技术，它试图将知识从一个大的模型传递到一个较小的模型。我们使用师生蒸馏来提高Biaffine依赖解析器的效率，该解析器在准确性和解析速度方面获得了最先进的性能（Dozat和Manning，2017）。当提取到原始模型的可训练参数的20%时，我们在许多不同的通用依赖树库中仅观察到UAS和LAS的平均$\sim$ 1点下降，同时在推理时间比CPU（GPU）上的基线模型快2.30倍（1.19倍）。我们还观察到一个小的性能提高时，压缩到80%的一些树库。最后，通过蒸馏，我们得到一个解析器，这不仅是更快，而且更准确的比最快的现代解析器在Penn树库。
2020-06-01 cs.CL
The ADAPT Enhanced Dependency Parser at the IWPT 2020 Shared Task
ADAPT Centre（ADAPT中心）；School of Computing, Dublin City University（都柏林城市大学计算学院）
我们描述了用于2020 IWPT共享任务的ADAPT系统，该任务以17种语言解析增强的通用语法。我们使用UDPipe和UDPipe-future实现了一个管道方法来提供初始级别的注释。增强的依赖图或者由基于图的语义依赖解析器产生，或者使用一小组语法从基本树构建。我们的研究结果表明，对于大多数语言，语义依赖分析器可以成功地应用于分析增强的依赖关系的任务。不幸的是，我们没有确保连接图作为我们管道方法的一部分，我们的竞争提交依赖于最后一刻的修复来通过验证脚本，这严重损害了我们的官方评估分数。我们的提交在官方评估中排名第八，宏观平均粗糙ELAS F1为67.23，树库平均值为67.49。我们后来实现了自己的图形连接修复，结果得分为79.53（语言平均）或79.76（树库平均），这将在竞争评估中排名第四。
2020-09-03 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近，基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模，用非常简单的模型实现了具有竞争力的准确性。然而，Stern et al（2017 a）的最小跨度解析器保持了当前最先进的准确性，它是一个以立方时间运行的图表解析器，$O(n^3)$，对于较长的句子和超出句子边界的应用程序（如端到端话语解析和联合句子边界检测和解析）来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索，它运行在时间$O(n b^2)$，其中$b$是波束的大小。通过集成立方体修剪，我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比，这种线性时间解析器在Penn Treebank上的长句解析速度要快得多，在话语解析上要快几个数量级，并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College（波士顿学院）
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语（MacWhinney，2000年）。我们的注释在很大程度上遵循了通用自动化项目（UD（Zeman et al.，2022）），详细扩展到词汇/句法结构独特的会话讲话（在反对书面文本）。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比，我们的数据集的大小（大得多）（话语数N = 44，744;单词数N = 233，907），包含来自10个儿童的语音，涵盖了广泛的年龄范围（18-66个月）。有了这个数据集，我们问：（1）为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何？(2)句法分析能力与儿童的发展阶段有什么关系？为了解决这些问题，在正在进行的工作中，我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估，这些解析器具有不同的超参数化，从三种不同类型的域外书面文本中训练：新闻，推文和学习者数据。
2022-09-28 cs.CL
Parsing with Traces: An $O(n^4)$ Algorithm and a Structural Representation
University of California, Berkeley（加州大学伯克利分校）
一般的树库分析是图形结构的，但是出于效率和建模的原因，解析器通常限于树结构。我们提出了一种新的表示和算法的一类图结构，是足够灵活，几乎所有的树库结构，同时仍然承认有效的学习和推理。特别是，我们认为有向的，无环的，单端点交叉图结构，其中包括最长距离的错位，共享论证，和类似的树违反语言现象。我们描述了如何转换短语结构解析，包括痕迹，我们的新表示在一个可逆的方式。我们的动态程序独特地分解结构，是健全和完整的，并涵盖了97.3%的宾夕法尼亚州英语树库。我们还实现了一个概念验证解析器，它可以恢复一系列空元素和跟踪类型。
2017-07-13 cs.CL cs.DM
The DCU-EPFL Enhanced Dependency Parser at the IWPT 2021 Shared Task
Dublin City University（都柏林城市大学）；Idiap Research Institute（Idiap 研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们描述了DCU-EPFL向IWPT 2021共享任务提交的关于解析为增强的通用解析的报告。该任务涉及解析增强的UD图，它是基本依赖树的扩展，旨在更方便地表示语义结构。评估是在17种语言的29个树库上进行的，要求参与者从原始字符串开始解析每种语言的数据。我们的方法使用Stanza管道来预处理文本文件，XLMRoBERTA来获得上下文化的令牌表示，以及边缘评分和标签模型来预测增强的图形。最后，我们运行一个后处理脚本，以确保我们所有的输出都是有效的增强型UD图。我们的系统在9名参与者中排名第6，粗略的增强标记依恋评分（ELAS）为83.57。我们进行额外的截止日期后的实验，其中包括使用Trankit的预处理，XLM-RoBERTa-LARGE，树库连接，和多任务学习之间的基本和增强的依赖关系解析器。所有这些修改都提高了我们的初始分数，我们最终的系统具有88.04的粗略ELAS。
2021-07-05 cs.CL
Yara Parser: A Fast and Accurate Dependency Parser
Columbia University（哥伦比亚大学）；Yahoo Labs（雅虎实验室）
相关分析器是自然语言处理中最重要的工具之一，因为它们在诸如信息检索、机器翻译和知识获取等下游任务中有许多重要的应用。我们介绍了Yara Parser，一个基于弧渴望算法和束搜索的快速准确的开源依赖解析器。它在标准WSJ测试集上达到了93.32的未标记准确率，这使它成为顶级依赖解析器之一。最快的时候，Yara在贪婪模式下每秒可以解析大约4000个句子（1束）。当优化准确性时（使用64个波束和Brown聚类特征），Yara每秒可以解析45个句子。解析器可以在任何语法依赖树库上训练，并提供不同的选项，以使其更灵活和可调的特定任务。它以Apache 2.0版许可证发布，可用于商业和学术目的。解析器可以在https://github.com/yahoo/YaraParser上找到。
2015-03-24 cs.CL
Parsing Natural Language Sentences by Semi-supervised Methods
Charles University in Prague, Faculty of Mathematics and Physics（布拉格查理大学数学与物理学院）
我们提出了我们的工作，半监督分析的自然语言句子，侧重于多源跨语言迁移的非词汇化依赖分析器。我们首先评估了树库标注风格对句法分析性能的影响，重点是介词附加风格。然后，我们提出了KLcpos3，一个经验的语言相似性度量，设计和调整源解析器加权多源去词汇化解析器转移。最后，我们介绍了一种新的资源组合方法，基于训练的解析器模型的插值。
2015-06-16 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（机械与工程计算机科学实验室）
我们介绍了一种新的基于图表的算法，基于跨度的分析不连续的选区树的块度2，包括病态嵌套结构。特别是，我们表明，我们可以建立我们的分析器的变种，具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分，同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行（Negra，老虎和不连续PTB）和报告国家的最先进的结果，在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
Framework and Resources for Natural Language Parser Evaluation
University of Joensuu（约恩苏大学）
由于现代自然语言的自动句法分析方法多种多样，因此有必要分析和评价各种方法的优缺点。这项研究更有必要，因为目前还没有一个独立于体裁和领域的解析器能够100%准确地分析不受限制的文本（我用这个术语来指解析器分配的分析的正确性）。所有这些因素都产生了对可用于评估和比较解析系统的方法和资源的需求。本研究内容包括：（1）对句法分析和句法分析器评估的研究现状进行了理论分析。(2)一个框架（称为FEPa），可用于执行实际的解析器评估和比较。(3)一组新的评估资源：FiEval是一个正在建设中的芬兰树库，MGTS和RobSet是英文的解析器评估资源。(4)实验结果，其中开发的评价框架和两个资源的英语被用来评估一组选定的解析器。
2007-12-21 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型，用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器（Kiperwasser和Goldberg，2016），通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上，我们的模型分别获得了94.51%和92.87%的UAS和LAS分数，比基于BIST图的解析器有1.5%以上的绝对改进，并且还获得了97.97%的最先进的POS标记准确率。此外，从原始文本中解析61个“大”通用词典树库的实验结果表明，我们的模型优于基线UDPipe（Straka和Straková，2017），平均POS标记得分高出0.8%，平均LAS得分高出3.6%。此外，通过我们的模型，我们还获得了最先进的下游任务分数，用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供：https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Contextual Semantic Parsing using Crowdsourced Spatial Descriptions
Institute for Artificial Intelligence, University of Leeds（利兹大学人工智能研究所）
我们描述了一个上下文解析器的机器人命令树库，一个新的众包资源。与以前的语义分析器，选择最可能的解析，我们认为不同的问题，解析使用额外的情景上下文之间的歧义消除不同的阅读句子。我们表明，多个语义分析可以搜索使用动态规划通过与空间规划师的互动，指导解析过程。我们能够通过排除与空间上下文不兼容的早期分析来解析接近线性时间的句子。我们报告了34%的准确率上限，因为我们的规划器正确处理了10，000个句子中的3，394个空间上下文。然而，我们的解析器实现了96.53%的精确匹配分数内的句子识别的规划器的子集进行解析，相比之下，82.14%的非上下文解析器。
2014-05-01 cs.CL
Statistical Parsing by Machine Learning from a Classical Arabic Treebank
The University of Leeds（利兹大学）
英语统计句法分析的研究已经取得了十多年的成功。然而，将这些模型应用于其他语言遇到了困难。以前的比较工作表明，现代阿拉伯语是最难解析的语言之一，因为它有丰富的词法和自由的词序。古典阿拉伯语是阿拉伯语的古老形式，相对于其作为古兰经语言的全球影响力，在计算语言学中研究不足。本论文是基于七个出版物作出重大贡献的知识有关的注释和解析古典阿拉伯语。这篇论文的一个中心论点是，使用一个混合表示密切配合传统的语法导致改进的阿拉伯语解析。为了验证这一假设，两种方法进行了比较。作为参考，一个纯粹的依赖分析器是适应使用图转换，导致87.47%的F1分数。这是一个综合的解析模型相比，F1得分为89.03%，表明联合依赖选区解析更适合于古典阿拉伯语。
2015-10-25 cs.CL
Low-Resource Parsing with Crosslingual Contextualized Representations
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管在依存句法分析方面取得了进展，但树库较小的语言仍然面临挑战。我们评估最近的方法，多语言的上下文单词表示（CWRs），并比较他们的跨语言迁移从一个大的树库语言与一个小的或不存在的树库，通过共享参数之间的语言在解析器本身。我们在模拟和真正的低资源情况下进行了多种语言选择的实验，并表明多语言CWRs极大地促进了低资源依存句法分析，即使没有跨语言的监督，如字典或并行文本。此外，我们研究了非上下文部分的学习语言模型（我们称之为“解文本探针”），以证明多语种语言模型更好地编码跨语言词汇对应对齐单语语言模型相比。这一分析进一步证明了多语言培训是一种有效的跨语言迁移方法。
2019-09-19 cs.CL
Training Dependency Parsers with Partial Annotation
Soochow University（苏州大学）
最近，研究如何获得部分注释数据以进行模型监督的研究激增。然而，如何训练具有部分标注（PA）的统计模型还缺乏系统的研究。本文以依存句法分析为例，描述并比较了三种主流依赖解析器的两种直接方法。第一种方法是以前提出的直接训练一个对数线性图为基础的分析器（LLGPar）与PA基于森林的目标。这项工作首次提出了第二种方法，直接训练线性图为基础的解析器（LGPar）和线性转换为基础的解析器（LTPar）与PA基于约束解码的想法。我们在Penn Treebank上进行了广泛的实验，在三种不同的设置下模拟PA，即，随机依赖关系、最不确定依赖关系以及具有来自三个解析器的不同输出的依赖关系。结果表明，LLGPar是最有效的学习PA和LTPar落后于基于图形的同行大幅度。此外，LGPar和LTPar可以通过使用LLGPar将PA完成为完整注释（FA）来实现最佳性能。
2016-09-29 cs.CL cs.LG
Deep Biaffine Attention for Neural Dependency Parsing
Stanford University（斯坦福大学）
本文基于Kiperwasser & Goldberg（2016）最近的工作，在一个简单的基于图的依赖解析器中使用神经注意力。我们使用一个更大，但更彻底的正则化解析器比其他最近的BiLSTM为基础的方法，biaffine分类器预测弧和标签。我们的解析器在六种不同语言的标准树库上获得了最先进或接近最先进的性能，在最流行的英语PTB数据集上实现了95.7%的UAS和94.1%的LAS。这使得它成为该基准测试中性能最高的基于图的解析器-比Kiperwasser Goldberg（2016）高出1.8%和2.2%-并且与性能最高的基于transition的解析器（Kuncoro et al.，2016年），实现了95.8%的UAS和94.6%的LAS。我们还展示了哪些超参数选择对解析准确性有显著影响，使我们能够比其他基于图的方法获得更大的收益。
2017-03-10 cs.CL cs.NE
Neural Machine Translation with Source-Side Latent Graph Parsing
The University of Tokyo（东京大学）
本文提出了一种新的神经机器翻译模型，该模型联合学习句子的翻译和源端潜图表示。与现有的使用句法解析器的流水线方法不同，我们的端到端模型学习潜在图解析器作为基于注意力的神经机器翻译模型的编码器的一部分，从而根据翻译目标优化解析器。在实验中，我们首先表明，我们的模型相媲美的最先进的顺序和流水线的语法为基础的NMT模型。我们还表明，我们的模型的性能可以通过使用少量的树库注释进行预训练来进一步提高。我们最终的集成模型在标准英日翻译数据集上的表现明显优于之前的最佳模型。
2017-07-24 cs.CL
Please Mind the Root: Decoding Arborescences for Dependency Parsing
University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）
依赖树和生成树之间的联系被NLP社区用来训练和解码基于图的依赖解析器。然而，NLP文献忽略了这两种结构之间的一个重要区别：在依赖树中，只有一条边可以从根发出。我们分析了Universal Dependency Treebank中许多语言的最先进解析器的输出：尽管这些解析器通常能够学习到违反约束的树应该被分配较低的概率，但随着训练集大小的减少，它们这样做的能力也会降低。事实上，我们观察到的最糟糕的约束违反率是24%。先前的工作已经提出了一种低效率的算法来强制约束，其将因子n添加到解码运行时间。我们将Gabow和Tarjan（1984）的算法应用于依存句法分析，它满足了约束条件，而不影响原始的运行时间。
2020-10-07 cs.CL
Effective Representation for Easy-First Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
简单优先解析依赖于子树重排序来构建完整的解析树。而解析处理的中间状态是由各种子树，其内部结构信息是后来的解析动作决策的关键线索，我们探索一个更好的表示这样的子树。详细地说，这项工作介绍了一种基于子和树LSTM的自底向上子树编码方法。从一个简单的第一依赖解析器没有其他手工功能，我们表明，有效的子树编码器促进解析过程，并可以使贪婪搜索简单的第一解析器实现有前途的结果基准树库相比，国家的最先进的基线。此外，在当前预训练语言模型的帮助下，我们进一步改进了easy-first方法的最新结果。
2019-06-11 cs.CL
Statistical Decision-Tree Models for Parsing
句法自然语言解析器已经证明自己不足以处理高度模糊的大词汇量文本，这可以从它们在《华尔街日报》等领域的糟糕表现以及从基于解析的方法到一般文本处理的运动中得到证明。在本文中，我描述了SPATTER，一个基于决策树学习技术的统计解析器，它为每个句子构建了一个完整的解析，并实现了比任何已发表的结果更好的准确率。这项工作是基于以下前提：（1）语法是太复杂和详细的手动开发的最感兴趣的领域;（2）解析模型必须严重依赖于词汇和上下文信息，以准确地分析句子;（3）现有的{ $n$ }-gram建模技术是不够的解析模型。在比较SPATTER和IBM的计算机手册解析器的实验中，SPATTER明显优于基于语法的解析器。在Penn Treebank Wall Street Journal语料库中，使用PARSEVAL方法对SPATTER进行评价，对于40个单词或更少的句子，SPATTER达到了86%的准确率、86%的召回率和1.3个交叉括号，对于10到20个单词的句子，SPATTER达到了91%的准确率、90%的召回率和0.5个交叉括号。
1995-04-29 cmp-lg cs.CL
Stack-Pointer Networks for Dependency Parsing
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）
我们介绍了一种新的依存句法分析架构：\emph{stack-pointer networks}（\textbf{\textsc{StackPtr}}）。该模型结合指针网络\citep{vinyals2015pointer}和内部堆栈，首先读取并编码整个句子，然后以深度优先的方式自顶向下（从根到叶）构建依存树。堆栈跟踪深度优先搜索的状态，指针网络在每一步为堆栈顶部的单词选择一个孩子。\textsc{StackPtr}语法分析器充分利用了整个句子的信息和所有先前导出的子树结构，消除了经典的基于转换的语法分析器中从左到右的限制。然而，用于构建任何（包括非投射）解析树的步骤的数量在句子的长度上是线性的，就像其他基于转换的解析器一样，产生具有$O(n^2)$时间复杂度的高效解码算法。我们评估了我们的模型在29个树库跨越20种语言和不同的依赖注释模式，并达到最先进的性能对其中的21个。
2018-05-03 cs.CL cs.LG
Correction as Annotation: Bootstrapping a Dependency Parser for Documentary Medieval Latin
Harvard University（哈佛大学）
针对中世纪拉丁语文献缺乏可用解析工具的问题，提出以专家修正模型预标注作为训练数据的方法，显著提升解析性能并减少数据需求。
2026-09-09 cs.CL cs.DL
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对语音直接依存句法分析任务，评估基于图和基于序列标注两种分析范式在大规模法语口语树库上的表现，证实基于图的方法性能更优，且直接语音分析在参数量少30%的情况下仍优于ASR加句法分析的流水线方法。
2024-06-18 cs.CL
Unsupervised Parsing via Constituency Tests
Computer Science Division（计算机科学系）；University of California, Berkeley（加利福尼亚大学伯克利分校）
我们提出了一种基于语言概念的选区测试的无监督解析方法。一种类型的选民测试涉及通过一些转换来修改句子（例如用代词替换跨度），然后判断结果（例如检查它是否符合语法）。基于这个想法，我们设计了一个无监督的解析器，通过指定一组转换，并使用一个无监督的神经接受模型来做出语法决定。为了生成一个给定句子的树，我们通过聚合其选区测试判断来对每个跨度进行评分，并选择总分最高的二叉树。虽然这种方法已经在当前方法的范围内实现了性能，但我们通过细化过程微调语法模型来进一步提高准确性，在该过程中，我们在改进估计树和改进语法模型之间进行交替。改进后的模型在Penn Treebank测试集上达到了62.8 F1，比之前公布的最佳结果绝对提高了7.6分。
2020-10-07 cs.CL cs.LG
Do latent tree learning models identify meaningful structure in sentences?
Dept. of LinguisticsNew York University（纽约大学语言学系）；Dept. of Computer ScienceNew York University（纽约大学计算机科学系）；Center for Data ScienceNew York University（纽约大学数据科学中心）；eBay, Inc.（eBay公司）
最近对潜在树学习问题的研究使得训练神经网络成为可能，这些神经网络学习解析句子并使用所得到的解析来解释句子，所有这些都在训练时不暴露于地面实况解析树。令人惊讶的是，这些模型在句子理解任务中的表现通常比使用传统解析器的解析树的模型更好。本文旨在研究这些潜在树学习模型学习到了什么。我们在一个共享的代码库中复制了两个这样的模型，发现（i）这些模型中只有一个在句子分类上优于传统的树结构模型，（ii）它的解析策略在随机重新启动时并不特别一致，（iii）它产生的解析往往比标准的Penn Treebank（PTB）解析更浅，和（iv）他们不像那些PTB或任何其他语义或句法形式主义，作者都知道。
2018-02-26 cs.CL
