The LL(finite) strategy for optimal LL(k) parsing
本文提出了一种LL（有限）分析策略，用于分析k不需要已知的LL（k）文法。该策略在线性时间内解析输入，使用任意但总是最小的前瞻性必要的非终端的替代品之间消除歧义，它是最佳的前瞻性终端扫描的数量进行。算法的修改，允许通过优先级的语法歧义的决议-有效地解释为一个解析表达式语法的输入-以及使用的谓词，和概念的证明，开源解析器生成器Astir，采用LL（有限）的策略，它产生的输出。
2021-01-20 cs.CL cs.FL cs.PL
Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了新的动态预言机训练两个最准确的已知移位减少算法成分分析：自顶向下和顺序转换为基础的分析器。在这两种情况下，与通过执行经典静态训练获得的准确性相比，动态预言机能够显著提高其准确性。此外，通过提高最先进的顺序移位-归约解析器的性能，我们实现了迄今为止最好的准确度（92.0 F1），通过WSJ基准测试的全监督单模型贪婪移位-归约成分解析器获得。
2018-10-25 cs.CL
Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
Universidade de Vigo, Departamento de Informática（维戈大学计算机系）
本文提出利用预训练的编码器-解码器模型进行短语结构解析，通过微调生成线性解析树并在不同线性化策略下评估，优于传统序列到序列模型并能与任务专用解析器竞争。
2026-05-13 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Two Local Models for Neural Constituent Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
非局部特征已经被句法分析器用于捕获子输出结构之间的依赖关系。这些特性是最先进的统计解析器成功的关键。然而，随着深度学习的兴起，已经表明，由于包含全局语法信息的密集神经输入表示的力量，局部输出决策可以提供极具竞争力的准确性。我们研究了两个概念上简单的局部神经元模型的成分分析，使当地的决定，成分跨度和CFG规则，分别。与之前的研究结果一致，我们的最佳模型给出了极具竞争力的结果，在PTB上实现了92.4%的标记括号F1评分，在CTB 5.1上实现了87.3%。
2018-08-28 cs.CL
Discontinuous Constituent Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；FASTPARSE Lab（FASTPARSE实验室）；LyS Group（LyS小组）
计算语言学和NLP中使用的最复杂的句法表示之一是不连续成分树，对于表示德语等语言的所有语法现象至关重要。依存句法分析的最新进展表明，指针网络擅长于有效地分析句子中单词之间的句法关系。这种序列到序列模型在构建非投射依赖树方面具有出色的准确性，但其潜力尚未在更困难的任务上得到证明。我们提出了一种新的神经网络架构，通过指针网络，能够生成最准确的不连续的成分表示，即使不需要的词性标注信息。为此，我们在内部将不连续的组成结构建模为增强的非投射依赖结构。所提出的方法在两个广泛使用的NEGRA和TIGER基准测试中取得了最先进的结果，远远优于以前的工作。
2020-02-05 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo（东京大学）；Imperial College London（伦敦帝国学院）；The University of Liverpool（利物浦大学）
本文提出基于频率的无监督成分句法解析器span-overlap，利用PAS等价句子集合中成分对应频繁词序列的特性，通过最大化span-overlap分数识别成分结构，在十种语言中的八种上达到最先进水平，并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Constituent Parsing as Sequence Labeling
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了一种方法来减少成分分析序列标记。对于每个单词w_t，它生成一个标签，该标签编码：（1）单词w_t和w_{t+1}在树中共有的祖先的数量，以及（2）最低共同祖先处的非终结符。我们首先证明，建议的编码功能是单射的任何树没有一元分支。在实践中，通过折叠一元分支，该方法可扩展到所有选区树。然后，我们使用PTB和CTB树库作为测试平台，并提出了一套快速基线。我们在PTB测试集上获得了90.7%的F分数，优于Vinyals et al.（2015）序列到序列解析器。此外，牺牲一些准确性，我们的方法实现了最快的成分分析速度报告PTB上迄今为止的一个很大的利润。
2019-09-17 cs.CL
From Partial to Strictly Incremental Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本研究构建严格从左到右的增量成分句法分析器，仅用前缀表示输出句法树，并对比非增量与部分增量模型，验证其跨语言有效性。
2024-02-05 cs.CL
Recursive Subtree Composition in LSTM-Based Dependency Parsing
Uppsala University（乌普萨拉大学）；IBM Research AI（IBM研究院人工智能部门）
在神经依存句法分析中，对树结构建模的需求是一个开放的问题。我们研究了在顺序模型之上添加树层的影响，方法是在基于转换的解析器中递归地组成子树表示（组合），该解析器使用BiLSTM提取的特征。对于这样的模型，组合似乎是多余的，这表明BiLSTM捕获了关于子树的信息。我们进行模型烧蚀，梳理出的条件下，组合物的帮助。当消除向后LSTM时，性能下降，并且组合不会恢复大部分差距。当消除前向LSTM时，性能下降不太明显，组合恢复了大部分差距，这表明前向LSTM和组合捕获了类似的信息。我们将向后LSTM与前瞻特征相关，将向前LSTM与丰富的基于历史的特征相关，这两者对于基于转换的解析器至关重要。为了捕获基于历史的信息，组合比正向LSTM本身更好，但将正向LSTM作为BiLSTM的一部分甚至更好。我们将结果与语言属性相关联，表明向后LSTM的改进前瞻对于头尾语言尤其重要。
2019-02-26 cs.CL
Enriched In-Order Linearization for Faster Sequence-to-Sequence Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
序列到序列成分分析需要线性化来将树表示为序列。自上而下的树线性化，可以基于括号或移位归约操作，已经达到了迄今为止最好的精度。在本文中，我们表明，这些结果可以改善，而使用的顺序线性化。基于这一观察结果，我们实施了一种受Vinyals等人（2015）方法启发的丰富的有序移位归约线性化，在全监督单模型序列到序列组成解析器中，在英语PTB数据集上实现了迄今为止的最佳准确度。最后，我们应用确定性注意力机制来匹配最先进的基于转换的解析器的速度，从而表明序列到序列模型可以匹配它们，不仅在准确性上，而且在速度上。
2020-05-27 cs.CL
Arc-Standard Spinal Parsing with Stack-LSTMs
IBM T.J Watson Research Center（IBM T.J. Watson 研究中心）；Naver Labs Europe
我们提出了一个神经过渡为基础的解析器的脊椎树，依赖表示的组成树。解析器使用Stack-LSTM来组成具有基于依赖关系的派生的组成节点。在实验中，我们表明，该模型适用于不同风格的依赖关系，但这种选择对预测组成结构的影响不大，这表明LSTM诱导有用的状态本身。
2017-09-01 cs.CL
Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategy
Universidade da Coruña（拉科鲁尼亚大学）
越来越广泛的人工智能应用依赖于句法信息来处理和从自然语言文本或语音中提取含义，成分树是最广泛使用的句法形式主义之一。为了从自然语言的句子中产生这些短语结构表示，移位归约成分分析器已经成为最有效的方法之一。提高其准确性和速度仍然是研究界追求的主要目标之一，以便利用解析输出的人工智能应用程序（如机器翻译或语音助理服务）可以提高其性能。考虑到这一目标，我们在这篇文章中提出了一种新的非二进制移位减少算法的成分分析。我们的解析器遵循经典的自自底向上的【形】的策略，但与其他解析器不同的是，它直接创建非二进制分支，只需一个Reduce转换，而不需要事先进行二进制化或一系列二进制转换，允许其直接应用于任何语言，而不需要进一步的资源，如渗透表。因此，它比现有的基于转换的成分解析器使用更少的转换，成为最快的系统，从而加快下游应用程序。使用静态oracle训练和贪婪搜索，这种新方法的准确性与最先进的基于transition的成分解析器相当，并且优于来自英语Penn Treebank和Penn Chinese Treebank的华尔街日报部分的所有自上而下和自自底向上的【形】的贪婪移位归约系统。此外，我们开发了一个动态的oracle来训练所提出的基于transition的算法，在两个基准测试中都取得了进一步的改进，并在Penn Chinese Treebank中获得了迄今为止最好的准确度。
2019-08-02 cs.CL
Concurrent Parsing of Constituency and Dependency
Shanghai Jiao Tong University（上海交通大学）
句法结构的成分表示和依存表示具有很多语言和计算上的共同特点，本文首次尝试引入一种新的模型，该模型能够同时解析成分和依存，从而使任何一个解析器都能相互增强。特别是，我们评估了不同的共享网络组件的效果和经验验证，依存句法分析可能是更有益的成分分析结构。建议的解析器实现了新的国家的最先进的性能分析任务，成分和依赖PTB和CTB基准。
2019-09-25 cs.CL cs.LG
Parsing as Reduction
Universidade de Vigo（维戈大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Priberam Labs（Priberam实验室）
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示，“头有序依赖树”，表现出同构的组成树。通过编码顺序信息的依赖标签，我们表明，任何现成的，可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候，我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单，但实验表明，所得到的解析器与强大的基线相当，例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国，我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
Entity-Aware Biaffine Attention Model for Improved Constituent Parsing with Reduced Entity Violations
Henan Institute of Technology（河南科技学院）
针对成分句法分析中的实体违规问题，提出实体感知双仿射注意力模型，通过引入实体角色向量提升分析准确率，并使用新指标EVR量化违规程度，在多数据集上实现最低EVR且保持高F1分数。
2024-11-12 cs.AI cs.CL
Head-driven Phrase Structure Parsing in O($n^3$) Time Complexity
Shanghai Jiao Tong University（上海交通大学）
成分句法分析和依存句法分析是句法分析的两种经典形式，在中心语驱动短语结构语法（Head-driven Phrase Structure Grammar，HPSG）的统一形式化框架下，联合训练和解码对这两种句法分析都有好处。然而，由于在解码期间必须考虑更多的因素，因此解码该统一语法具有比单独解码任一形式（$O(n^3)$）更高的时间复杂度（$O(n^5)$）。因此，我们提出了一个改进的头部评分器，有助于实现一个新的性能保持解析器在$O$（$n^3$）时间复杂度。此外，在此基础上提出了实用的HPSG解析器，我们调查了基于HPSG的解析的优势，并探讨了在多语言场景中仅从成分或依赖注释训练基于HPSG的解析器的一般方法。因此，我们提出了一个更有效的，更深入的，和一般的工作HPSG解析。
2021-05-20 cs.CL
Unlexicalized Transition-based Discontinuous Constituency Parsing
University of Edinburgh, ILCC（爱丁堡大学语言、认知与计算研究所）；Université Paris Diderot（巴黎第七大学）；Université Sorbonne Paris Cité（索邦巴黎西岱大学）；LLF（形式语言学实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
词汇化句法分析模型基于以下假设：（i）成分是围绕词汇中心词组织的;（ii）双词汇统计对解决歧义至关重要。在本文中，我们介绍了一个基于结构标签转换系统和bi-LSTM评分系统的非解析化的基于转换的不连续选区结构解析器。我们比较它的词汇化分析模型，以解决不连续选区分析的上下文中的词汇化问题。我们的实验表明，unexxicalized模型系统地实现更高的结果比词汇化模型，并提供额外的经验证据，词汇化是没有必要实现强大的分析结果。我们最好的unexixicalized模型设置了一个新的国家的艺术英语和德语不连续选区树银行。我们进一步提供了一个每现象分析其误差的不连续成分。
2019-02-24 cs.CL
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文件简要介绍了为SPMRL 2013共享任务准备的韩国数据。共有27，363个句子和350，090个标记用于共享任务。所有组成树都是从KAIST树库中收集的，并转化为Penn树库风格。所有的依赖树转换从转换的成分树使用专门为KAIST树库设计的分类和标记规则。除了KAIST Treebank提供的黄金标准形态分析外，还为共享任务提供了两套自动形态分析，一套由HanNanum形态分析仪生成，另一套由Sejong形态分析仪生成。
2013-09-10 cs.CL
Encoder-Decoder Shift-Reduce Syntactic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
从NMT开始，编码器-解码器神经网络已被用于许多NLP问题。借用编码器组件的基于图形的模型和基于转换的模型分别在依存句法分析和成分语法分析上实现了最先进的性能。然而，还没有工作经验性地研究基于转换的解析的编码器-解码器神经网络。为此，我们应用了一个简单的编码器-解码器，在标准依赖性解析上实现了与Dyer et al.（2015）的解析器相当的结果，并在成分解析上优于Vinyals et al.（2015）的解析器。
2017-06-24 cs.CL
Better, Faster, Stronger Sequence Tagging Constituent Parsers
Universidade da Coruña, CITIC（拉科鲁尼亚大学，CITIC）；University of Copenhagen（哥本哈根大学）
用于成分分析的序列标记模型比其他类型的分析器更快，但准确性较差。在这项工作中，我们解决了以下弱点，这样的成分解析器：（a）高出错率关闭括号长成分，（b）大标签集，导致稀疏性，和（c）错误传播所产生的贪心解码。为了有效地关闭括号，我们训练了一个学习在标记方案之间切换的模型。为了减少稀疏性，我们分解标签集，并使用多任务学习来联合学习预测子标签。最后，我们通过辅助损失和带有策略梯度的缓存级微调来缓解贪心解码的问题。结合这些技术，我们显然超过了英语和中文Penn Treebanks上的序列标记成分解析器的性能，并进一步减少了它们的解析时间。在SPMRL数据集上，我们观察到全面的更大改进，包括巴斯克语，希伯来语，波兰语和瑞典语的最新技术水平。
2019-10-14 cs.CL
Integrating Supertag Features into Neural Discontinuous Constituent Parsing
Philosophische Fakultät（哲学系）；Institut für Sprache und Information（语言与信息研究所）
本研究探索将超标签特征集成到基于转移的神经非连续成分句法分析中，通过流水线和多任务两种方式引入超标签信息，并对比多种框架与序列标注任务作为辅助任务的适用性。
2024-10-11 cs.AI cs.CL cs.FL
Discontinuous Grammar as a Foreign Language
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
为了实现自然语言的深层理解，句法成分分析是一个重要的步骤，许多人工智能系统都高度要求处理文本和语音。最新的建议之一是使用标准的序列到序列模型来执行成分解析作为机器翻译任务，而不是应用特定于任务的解析器。虽然这些文本解析转换器表现出了竞争力，但在准确性、覆盖范围和速度方面仍然落后于经典技术。为了缩小差距，我们在这里扩展的框架序列到序列模型的成分分析，不仅通过提供一个更强大的神经架构，以提高其性能，而且还通过扩大其覆盖范围，以处理最复杂的句法现象：不连续结构。为此，我们设计了几种新的线性化，可以完全产生不连续性，并首次在主要的不连续基准上测试了序列到序列模型，获得了与特定任务的不连续成分解析器相当的竞争结果，并在（不连续）英语Penn Treebank上获得了最先进的分数。
2022-12-22 cs.CL
Multitask Pointer Network for Multi-Representational Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
我们提出了一种基于转换的方法，通过训练单个模型，可以有效地解析任何具有成分树和依赖树的输入句子，支持连续/投射和不连续/非投射句法结构。为此，我们开发了一个指针网络架构，两个单独的特定任务的解码器和一个共同的编码器，并遵循多任务学习策略，共同训练他们。由此产生的二次系统，不仅成为第一个解析器，可以从一个单一的模型联合产生无限制的成分和依赖树，但也证明了这两种句法形式可以受益于彼此在训练过程中，实现国家的最先进的精度在几个广泛使用的基准，如连续英语和中文Penn树库，以及不连续的德国NEGRA和TIGER数据集。
2022-12-22 cs.CL
Investigating Non-local Features for Neural Constituency Parsing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于神经编码器的强大表示能力，基于神经图表的解析器通过使用局部特征实现了极具竞争力的性能。最近，它已被证明，CRF结构中的非本地功能导致的改善。在本文中，我们研究注入非本地功能的本地跨度为基础的分析器的训练过程中，通过预测成分n-gram非本地模式，并确保非本地模式和本地成分之间的一致性。结果表明，我们的简单的方法给出了更好的结果比自我关注的分析器上的PTB和CTB。此外，我们的方法在PTB上实现了最先进的基于BERT的性能（95.92 F1），在CTB上实现了强大的性能（92.31 F1）。我们的解析器也取得了更好的或有竞争力的性能，在多语言和zero-shot跨域设置相比，基线。
2022-03-28 cs.CL
Prosodic features improve sentence segmentation and parsing
University of Edinburgh（爱丁堡大学）
解析口语对话提出了解析文本所没有的挑战，包括缺乏清晰的句子边界。我们从以前的工作中知道，韵律有助于解析单个句子（Tran et al. 2018），但我们想展示韵律对解析未分割成句子的语音的影响。在英语Switchboard语料库上的实验中，我们发现韵律有助于我们的模型进行解析和准确识别句子边界。然而，我们发现，性能最好的解析器不一定是产生最好的句子分割性能的解析器。我们建议，最好的解析，而不是来自建模句子边界与其他成分的边界。
2023-02-23 cs.CL
Generalized chart constraints for efficient PCFG and TAG parsing
Saarland University（萨尔兰大学）
图表约束，它指定了一个组成部分可以开始或结束的字符串位置，已经被证明可以加快PCFG的图表解析器。我们将图表约束推广到更具表现力的语法形式主义，并描述了一个神经标记器，它以非常高的精度预测图表约束。我们的约束加速PCFG和TAG解析，并有效地结合其他修剪技术（粗到细和supertaging）的两个数量级的整体加速，同时提高准确性。
2018-06-27 cs.CL
A Variant of Earley Parsing
Earley算法是自然语言处理应用中广泛使用的解析方法。我们介绍了一个变体的Earley解析，是基于一个“延迟”的成分识别。这允许我们仅在输入字符串中找到其所有子成分的情况下才开始识别成分。这在某些情况下是特别有利的，在这种情况下，一个成分的部分分析不能完成，一般来说，在所有的情况下，产生式共享一些后缀的右手边（即使是不同的左手边非终结符）。虽然这两种算法的结果在相同的渐近时间和空间复杂度，从实用的角度来看，我们的算法提高了原方法的时间和空间的要求，所报告的实验结果表明。
1998-08-31 cmp-lg cs.CL
Generic rules and non-constituent coordination
我们提出了一个元语法形式主义，{ \em通用规则}，给出一个默认的解释语法规则。我们的形式主义介绍了一个过程{ \em动态绑定}接口的纯语法知识表示和解析水平的水平。我们提出了一种方法，范畴语法内的非成分协调，并重新制定它作为一个通用的规则。这种重构是上下文无关的解析，并大大减少了搜索空间相关的解析任务，这种现象。
1996-01-09 cmp-lg cs.CL
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University（赫瑞-瓦特大学）
我们研究的问题，从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务，即目标识别（TI），框架识别（FI），和语义角色标注（SRL）。我们使用图卷积网络来学习成分的特定表示，使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征，计算为单词和树中特定任务节点之间路径上的所有成分的总和，例如SRL的目标谓词。当在FrameNet 1.5上测试时，我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果（以BERT作为输入获得了+2.5%的额外点），同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
Survey:Natural Language Parsing For Indian Languages
Dharmsinh Desai University（达尔马辛赫·德赛大学）
句法分析是包括机器翻译在内的自然语言处理应用中的一项必要任务。为形态丰富且黏着的语言开发一个定性分析器是一个具有挑战性的任务。句法分析用于理解自然语言句子的语法结构。它输出每个单词及其组成部分的所有语法信息。与之相关的问题也有助于我们更详细地理解语言。这篇文献调查是了解印度语言的不同解析器开发以及用于开发此类工具和技术的各种方法的基础。本文提供了一个调查的研究论文，从著名的期刊和会议。
2015-01-28 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
Assessment of Pre-Trained Models Across Languages and Grammars
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
本文通过将解析转化为序列标注，在13个UD树库和10个成分树库上评估多语言大语言模型恢复依存与成分结构的能力，发现预训练数据中语言的出现比任务数据量更关键。
2023-09-20 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（机械与工程计算机科学实验室）
我们介绍了一种新的基于图表的算法，基于跨度的分析不连续的选区树的块度2，包括病态嵌套结构。特别是，我们表明，我们可以建立我们的分析器的变种，具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分，同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行（Negra，老虎和不连续PTB）和报告国家的最先进的结果，在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
Discontinuous Constituency Parsing with a Stack-Free Transition System and a Dynamic Oracle
University of Edinburgh（爱丁堡大学）；Naver Labs Europe（欧洲Naver实验室）；ILCC, School of Informatics（信息学院ILCC研究所）
我们介绍了一种新的过渡系统不连续选区分析。代替将子树存储在堆栈中-即具有线性时间顺序存取的数据结构-所提出的系统使用具有恒定时间随机存取的一组解析项。这个改变使得有可能为长度为$n$的句子在精确的$4n - 2$转换中构造任何不连续的选区树。在每个解析步骤中，解析器将集合中的每个项与焦点项组合，并以自底向上的方式构造新的成分。解析策略基于这样的假设：大多数句法结构可以被增量解析，并且集合（解析器的内存）平均保持合理的小。此外，我们引入了一个可证明是正确的动态预言机的新的过渡系统，并提出了第一个实验，在不连续选区解析使用动态预言机。我们的解析器获得国家的最先进的结果，在三个英语和德语不连续树银行。
2019-04-01 cs.CL
Reducing Discontinuous to Continuous Parsing with Pointer Network Reordering
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（加泰罗尼亚通信技术中心）
不连续成分分析器在准确性和速度方面总是落后于连续方法，因为存在不连续产量的成分会给任务带来额外的复杂性。然而，不连续的树可以通过重新排序令牌转换为连续的变体。在此基础上，我们建议减少不连续的解析到一个连续的问题，然后可以直接解决任何现成的连续解析器。为此，我们开发了一个指针网络，能够准确地生成一个给定的输入句子的连续令牌安排，并定义了一个双射函数，以恢复原来的顺序。在两个连续解析器的主要基准测试上的实验证明，我们的方法与纯粹不连续的最先进的算法在准确性上不相上下，但速度要快得多。
2021-09-13 cs.AI cs.CL
Three Generative, Lexicalised Models for Statistical Parsing
在本文中，我们首先提出了一个新的统计分析模型，这是一个生成模型的词汇化上下文无关语法。然后，我们扩展了模型，包括一个概率处理的子分类和WH-运动。在华尔街日报文本上的结果显示，解析器的成分精确率/召回率为88.1/87.5%，平均提高了2.3%（Collins 96）。
1997-06-17 cmp-lg cs.CL
explanation-based learning of data oriented parsing
本文提出了一种新的自然语言句法分析的基于解释的学习（EBL）的观点。本文建议采用EBL学习如何减少歧义只有部分，而不是采用EBL的专业化解析器推断新的。该方法包括一个用于学习部分语法分析器的EBL算法，以及一个将部分语法分析器与现有的"全语法分析器”相结合的语法分析算法。学习的部分解析器，可实现为有限状态转换器（CFST）的级联，有效地识别和组合成分，防止虚假的过度生成。解析算法将学习的部分解析器与给定的完全解析器相结合，使得完全解析器的作用限于组合由部分解析器识别的成分，以及识别输入句子的未识别部分。除了在消歧之前减少解析空间之外，本方法还提供了一种用于改进从树库学习随机语法的现有消歧模型的方法。我们展示了令人鼓舞的实证结果，使用试点实施：解析空间大大减少了最小的损失的覆盖范围。消歧模型的加速增益通过DOP模型的实验来举例说明。
1997-08-20 cmp-lg cs.CL
A Statistical Parsing Framework for Sentiment Classification
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
在这篇文章中，我们提出了一个统计分析框架，用于情感分类。不同于以往的作品，采用句法分析结果的情感分析，我们开发了一个统计分析器，直接分析句子的情感结构。我们证明了情感分析中的复杂现象（例如，否定、强化和对比）可以以统一和概率的方式与简单和直接的情感表达相同地处理。我们制定的情感语法上上下文无关文法（CFGs），并提供了一个正式的描述的情感分析框架。我们开发的解析模型，以获得可能的情感分析树的句子，从极性模型提出了推导出的情感强度和极性，和排名模型是专门选择最好的情感树。我们训练的解析器直接从句子的例子注释只有情感极性标签，但没有任何句法注释或极性注释的成分在句子内。因此，我们可以很容易地获得训练数据。特别是，我们训练一个情感分析器，S.分析器，从大量的评论句子与用户的评级作为粗略的情感极性标签。在现有基准数据集上进行的大量实验表明，与基线情感分类方法相比，该方法有显着的改进。
2015-03-05 cs.CL
Parsing as Pretraining
Universidade da Coruña（拉科鲁尼亚大学）；CITIC, Ciencias de la Computación y Tecnologías de la Información (CC&TI)（CITIC，计算机科学与信息技术（CC&TI））；University of Copenhagen, Department of Computer Science（哥本哈根大学计算机科学系）；Google Research, Berlin（谷歌研究院柏林分院）；Google Research（谷歌研究院）；Berlin（柏林（注：此处仅保留机构名本身，Berlin为城市名，按要求不提取额外信息，故仅提取Google Research））
最近的分析表明，编码器预先训练的语言建模捕捉一定的形态句法结构。然而，词向量的探测框架仍然没有报告标准设置的结果，如成分和依存句法分析。本文解决了这个问题，并只依赖于预训练架构进行完整的解析（英语），而不进行解码。我们首先将成分分析和依存句法分析转换为序列标记。然后，我们使用单个前馈层将词向量直接映射到编码线性化树的标签。这用于：（i）看看我们可以在仅仅使用预训练的编码器的语法建模上走多远，以及（ii）揭示不同词向量的语法敏感性（通过在训练期间冻结预训练网络的权重）。为了进行评估，我们使用括号F1分数和LAS，并分析跨跨度长度和依赖位移的表示的深入差异。总体结果超过了PTB（93.5%）和端到端EN-EWT UD（78.8%）上现有的序列标记解析器。
2020-02-05 cs.CL cs.LG
CCG Parsing and Multiword Expressions
University of Edinburgh（爱丁堡大学）
本文研究了组合范畴语法在句法分析中对多词表达信息的整合。我们以之前的工作为基础，这些工作已经表明，通过使用CCG解析实现类似的管道，将有关MWE的信息添加到句法分析中可以带来好处。更具体地说，我们在CCGbank中的训练和测试数据中将MWE折叠为一个标记，CCGbank是一个包含用CCG推导注释的句子的语料库。然而，我们的崩溃算法只能处理MWE时，他们形成的数据中的一个组成部分，这是我们的方法的局限性之一。我们研究了折叠训练和测试数据的效果。如果折叠的数据有助于解析器的决策，则可以获得解析效果，并且如果对折叠的数据进行训练可以改善结果，则可以获得训练效果。我们还推翻了金标准，并表明我们的模型在金标准上的表现明显优于基线模型，这表明存在训练效应。我们发现，基线模型在我们的黄金标准上表现得更好，当数据在解析之前被折叠时，比在解析之后被折叠时，这表明存在解析效果。我们表明，这些结果可以导致提高性能的非崩溃的标准基准，虽然我们没有表明，它这样做显着。我们的结论是，尽管有限的设置，有明显的改善，从使用MWE解析。我们讨论的方式，将MWE到解析可以得到改善，并假设这将导致更实质性的结果。我们最后表明，将MWE识别部分的管道变成一个实验部分是一件有用的事情，因为我们得到不同的结果与不同的识别器。
2015-05-17 cs.CL
A Divide-and-Conquer Strategy for Parsing
在本文中，我们提出了一种新的策略，旨在提高分析器的准确性，简化复杂的句子分析之前。这种方法涉及对复合句中的组成子句进行单独分析。为了实现这一点，分而治之策略首先消除句子中链接词的角色，并根据这些角色对句子进行分段。然后，将分割的子句子和其中的名词短语的单独的解析树合成以形成最终的解析。为了评估这种策略对解析的影响，我们比较了依赖解析器的原始性能与使用分治策略增强后的性能。当对IPSM'95数据集的600个句子进行测试时，增强的解析器在其准确性上看到了21.2%的相当大的错误减少。
1996-07-16 cmp-lg cs.CL
Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing
University of Science and Technology of China（中国科学技术大学）
自然语言句子的依存树可以捕捉语义和词之间的相互作用。然而，目前还不清楚这些方法，利用这种依赖性信息的语义解析是否可以结合起来，以实现进一步的改进和这些方法的关系，当他们结合。在本文中，我们研究了三种方法，将这种依赖信息的Transformer为基础的语义分析器和实证研究他们的组合。我们首先将编码器中的标准自注意头替换为父母缩放自注意（PASCAL）头，即，可以关注每个令牌的依赖父令牌。然后，我们连接语法感知的单词表示（SAWR），即，神经依赖解析器的中间隐藏表示，用普通的词嵌入来增强编码器。随后，我们将成分注意力（CA）模块插入到编码器中，这为注意力头部添加了一个额外的约束，可以更好地捕捉输入句子的固有依赖结构。模型聚合采用了直推集成学习（TEL），并进行了消融研究，以显示每种方法的贡献。我们的实验表明，CA是PASCAL或SAWR的补充，PASCAL + CA提供了ATIS，GEO和JOBS的神经方法之间的最先进的性能。
2021-12-25 cs.CL
Exploiting Rich Syntactic Information for Semantic Parsing with Graph-to-Sequence Model
Tencent AI Lab（腾讯AI实验室）；IBM Research（IBM研究院）；Peking University（北京大学）
现有的神经语义解析器主要利用序列编码器，即，序列LSTM，提取词序特征，同时忽略其他有价值的语法信息，如依赖图或成分树。在本文中，我们首先提出使用\textit{syntactic graph}来表示三种类型的句法信息，即，词序、从属关系和选区特征。我们进一步采用图到序列模型来编码的语法图和解码的逻辑形式。在基准数据集上的实验结果表明，我们的模型与Jobs 640，ATIS和Geo 880上的最新技术相当。对抗性实例的实验结果表明，通过编码更多的句法信息，该模型的鲁棒性也得到了提高。
2018-08-23 cs.AI cs.CL
Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文首次研究口语语句的无监督成分句法分析，比较级联ASR与直接训练两种方法，发现级联方法更优，且准确分割足以解析口语，直接方法能无偏学习头部方向性。
2023-05-09 cs.CL eess.AS
Visually Grounded Neural Syntax Acquisition
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；ITCS, Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们提出了视觉接地神经网络学习器（VG-NSL），学习句法表示和结构的方法，没有任何明确的监督。该模型通过查看自然图像和阅读成对的标题来学习。VG-NSL生成文本的选区解析树，递归地组成成分的表示，并将它们与图像进行匹配。我们定义的具体性成分的匹配分数与图像，并使用它来指导文本的分析。MSCOCO数据集上的实验表明，VG-NSL优于各种无监督的解析方法，不使用视觉接地，在F1分数对黄金解析树。我们发现，VGNSL是更稳定的随机初始化的选择和训练数据的量。我们还发现，获得的具体性的VG-NSL的相关性以及与语言学家定义的类似措施。最后，我们还将VG-NSL应用于Multi 30 K数据集中的多种语言，表明我们的模型始终优于以前的无监督方法。
2019-09-24 cs.CL cs.CV
Robust Parsing Based on Discourse Information: Completing partial parses of ill-formed sentences on the basis of discourse information
在一个连贯的文本中，许多单词和短语在一个以上的句子中重复使用。当一个相同的短语（一组连续的词）在不同的句子中重复时，这些句子的组成词往往以相同的修饰模式与相同的词性和相同的修饰语-修饰语关系相关联。因此，当句法分析器不能将句子分析为统一的结构时，在同一文本内的其他句子的完整分析中的在形态上相同的词之间的词性和修饰语-修饰语关系提供用于获得句子的部分分析的有用信息。在本文中，我们描述了一种方法来完成部分解析保持一致性的形态相同的话在同一文本中，就其词性和修饰语的关系。通过使用该方法与技术文档所获得的实验结果提供了良好的前景，以提高在广泛覆盖的自然语言处理系统，如机器翻译系统的句子分析的准确性。
1995-05-24 cmp-lg cs.CL
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Mila/Université de Montréal（米拉/蒙特利尔大学）；Microsoft Research（微软研究院）
自然语言是分层结构的：较小的单元（例如，短语）嵌套在较大的单元内（例如，条款）。当一个较大的组成部分结束时，嵌套在其中的所有较小的组成部分也必须关闭。虽然标准的LSTM架构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分的层次结构进行建模。本文提出通过对神经元进行排序来增加这种归纳偏差;主输入和遗忘门的向量确保当给定神经元更新时，排序中跟随它的所有神经元也会更新。我们的新型递归架构，有序神经元LSTM（ON-LSTM），在四个不同的任务上实现了良好的性能：语言建模，无监督解析，有针对性的语法评估和逻辑推理。
2019-05-08 cs.CL cs.LG
Natural Language Parsing as Statistical Pattern Recognition
传统的自然语言解析器是基于重写规则系统开发的一个艰巨的，耗时的方式由语法学家。语法学家的大部分努力都致力于消除歧义的过程，首先假设规则，这些规则规定了歧义句中的词之间的成分类别和关系，然后寻找这些规则的例外和纠正。在这项工作中，我提出了一个自动的方法来获得一个统计分析器从一组分析的句子，它利用了一些初始的语言输入，但避免了陷阱的迭代和看似无穷无尽的语法开发过程。基于分布派生和基于语言的语言特征，该解析器获得一组统计决策树，该决策树在给定输入句子的解析树空间上分配概率分布。这些决策树利用大量的上下文信息，可能包括句子中的所有词汇信息，以产生消歧过程的高度准确的统计模型。通过将消歧标准选择基于熵减少而不是人类直觉，这种解析器开发方法能够在制定个体消歧规则时考虑比人类语法学家更多的句子。在实验之间的分析器，获得使用这个统计框架，和语法学家的基于规则的分析器，开发了十年的时间，都使用相同的训练材料和测试句子，决策树分析器显着优于语法分析器的准确性措施，语法学家试图最大化，实现了78%的准确性相比，基于语法的分析器的69%。
1994-05-05 cmp-lg cs.CL
Incremental Interpretation of Categorial Grammar
本文描述了一个范畴语法分析器，它提供了充分的逐词增量解释。解析器不需要句子的片段来形成成分，从而避免了虚假歧义的问题。本文简要讨论了基本范畴语法与其他形式主义，如HPSG，依存语法和Lambek演算之间的关系。它还包括一些问题的讨论时出现的语法分析词汇化，并使用统计技术调整到特定的语言的可能性。
1995-03-14 cmp-lg cs.CL
Neural Compositional Denotational Semantics for Question Answering
University of Pennsylvania（宾夕法尼亚大学）；Facebook AI Research（Facebook人工智能研究院）
解决需要多步推理的组合问题是具有挑战性的。我们引入了一个端到端的可微模型来解释有关知识图谱（KG）的问题，这是受到语义的正式方法的启发。文本的每个跨度都由KG中的指示词和捕获意义的无基础方面的向量表示。学习组成模块递归地组合成分跨度，最终形成回答问题的完整句子。例如，为了解释“not green”，模型将“green”表示为一组KG实体，将“not”表示为一个可训练的未接地向量，然后使用该向量来参数化执行补码运算的组合函数。对于每个句子，我们构建了一个包含所有可能解析的解析图，允许模型通过终端任务监督的梯度下降来共同学习组合运算符和输出结构。该模型学习各种具有挑战性的语义操作，如量词，析取和组合关系，并推断潜在的句法结构。与RNN、其基于树的变体和语义解析基线相比，它还可以很好地推广到比训练数据中更长的问题。
2018-08-29 cs.AI cs.CL cs.LG
