Assessing the Use of Prosody in Constituency Parsing of Imperfect Transcripts
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
这项工作探讨了自动识别的会话语音的成绩单选区分析。神经解析器基于句子编码器，该句子编码器利用与韵律特征上下文化的词向量，联合学习韵律特征提取和解析。我们评估的效用的韵律在解析不完美的成绩单，即成绩单与自动语音识别（ASR）的错误，通过应用解析器在N-最好的重新排序框架。在Switchboard上的实验中，相对于解析1-best ASR输出，我们获得了13-15%的Oracle N-best增益，对单词识别出错率的影响微不足道。韵律是其中重要的一部分，分析表明，韵律通过恢复虚词而导致更多的语法话语。
2021-06-14 cs.CL
Neural Combinatory Constituency Parsing
Tokyo Metropolitan University（东京都立大学）
我们提出了两个快速的神经组合模型的选区分析：二进制和多分支。我们的模型将自下而上的解析过程分解为：1）标记、标签和二进制方向或块的分类; 2）基于计算出的方向或块的向量组合。这些模型具有理论上的次二次复杂性和经验上的线性复杂性。二元模型在Penn Treebank上的F1得分为92.54，速度为1327.2 sents/sec。这两个模型与XLNet提供接近国家的最先进的准确性为英语。在Penn树库、汉语树库和Keyaki树库（日语）的训练和推理过程中观察到了语言的句法分支倾向和中心化。
2021-06-12 cs.CL
Improving Constituency Parsing with Span Attention
University of Washington（华盛顿大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
选区句法分析是自然语言理解的一项基本而重要的任务，而良好的上下文信息表示可以帮助完成这一任务。N-gram是上下文信息的常规类型的特征，已经被证明在许多任务中是有用的，并且因此如果它们被适当地建模，则也可以有益于选区解析。在本文中，我们提出了跨度注意神经图表为基础的选区分析，利用n-gram信息。考虑到当前基于图表的解析器与基于transformer的编码器表示跨度减去隐藏状态的跨度边界，这可能会导致信息丢失，特别是对于长跨度，我们将n-gram到跨度表示加权，根据他们的贡献解析过程。此外，我们提出了类别跨度注意力，以进一步加强模型的加权n-gram在不同长度的类别，从而有利于长句分析。在三个广泛使用的基准数据集上的实验结果表明，我们的方法在解析阿拉伯语，汉语和英语，其中国家的最先进的性能是通过我们的方法获得所有这些的有效性。
2020-10-15 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近，基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模，用非常简单的模型实现了具有竞争力的准确性。然而，Stern et al（2017 a）的最小跨度解析器保持了当前最先进的准确性，它是一个以立方时间运行的图表解析器，$O(n^3)$，对于较长的句子和超出句子边界的应用程序（如端到端话语解析和联合句子边界检测和解析）来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索，它运行在时间$O(n b^2)$，其中$b$是波束的大小。通过集成立方体修剪，我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比，这种线性时间解析器在Penn Treebank上的长句解析速度要快得多，在话语解析上要快几个数量级，并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
An Empirical Study for Vietnamese Constituency Parsing with Pre-training
University of Information Technology Vietnam National University Ho Chi Minh City（胡志明市越南国家大学信息技术大学）
在这项工作中，我们使用一个基于跨度的方法，越南选区解析。我们的方法遵循自注意编码器架构和使用CKY风格的推理算法的图表解码器。我们提出了我们的经验方法的比较的实验结果分析，使用预训练模型XLM-Roberta和PhoBERT在越南数据集VietTreebank和NIIVTB 1。结果表明，我们的XLM-Roberta模型的F1得分明显优于其他预训练模型，VietTreebank为81.19%，NIIVTB 1为85.70%。
2020-10-20 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（机械与工程计算机科学实验室）
我们介绍了一种新的基于图表的算法，基于跨度的分析不连续的选区树的块度2，包括病态嵌套结构。特别是，我们表明，我们可以建立我们的分析器的变种，具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分，同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行（Negra，老虎和不连续PTB）和报告国家的最先进的结果，在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
Better heads do not guarantee better binarized constituency parsing
The Chinese University of Hong Kong, Ma Liu Shui, Hong Kong（香港中文大学，大屿山分校）；The University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学，温哥华，加拿大）；Korea Advanced Institute of Science & Technology, Daejeon, South Korea（韩国科学技术院，大田，韩国）
本文研究了标点感知的树二值化方法，并探讨了依赖诱导的头部信息是否改善了二值化句法分析器的监督信号，发现尽管学习到的头部在内在头部预测上优于基于规则的头部，但在去二值化后并未带来一致的句法分析提升。
2026-05-27 cs.CL
Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University（阿尔帕斯兰·蒂尔凯什科技大学）；Research Institute in Information and Language Processing（信息与语言处理研究所）；University of Wolverhampton（伍尔弗汉普顿大学）
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序，如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中，我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法，而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Fast and Accurate Neural CRF Constituency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
概率分布估计是自然语言处理领域的核心问题之一。然而，在深度学习（DL）和前DL时代，与线性链CRF在序列标记任务中的广泛应用不同，很少有工作将树结构CRF应用于选区解析，主要是由于内部-外部算法的复杂性和效率低下。这项工作提出了一个快速，准确的神经CRF选区解析器。其核心思想是通过直接在GPU上进行大张量运算来批量化损失计算的内部算法，同时通过有效的反向传播来避免梯度计算的外部算法。我们还提出了一个简单的两阶段括号，然后标记解析方法，以进一步提高效率。为了提高分析性能，灵感来自依存句法分析的最新进展，我们引入了一个新的评分架构的基础上边界表示和biaffine注意，和一个有益的辍学策略。在PTB、CTB5.1和CTB 7上的实验表明，我们的两阶段CRF句法分析器在w/o和w/ BERT两种设置下都达到了最新的性能水平，每秒可以分析超过1,000个句子。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-08-09 cs.CL
Joint Chinese Word Segmentation and Span-based Constituency Parsing
Sun Yat-sen University（中山大学）
在选区句法分析中，基于广度的解码是一个重要的研究方向。然而，对于汉语句子，由于其语言特点，需要先利用其他模型进行分词，这就引入了一系列的不确定性，通常会导致后续选区树的计算出现错误。本文提出了一种通过在句法树上的单个汉字上添加额外的标签来实现汉语分词和基于跨度的选区句法分析的方法。通过实验，该算法在CTB 5.1上的联合分割和选区解析性能优于最新模型。
2022-11-30 cs.CL cs.LG
Representing and Parsing Korean Constituency Structure at Different Levels of Granularity
Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；Anyang University（安阳大学）
该研究对比三种韩语成分分析表示，评估不同顺序的转换式分析器，发现细粒度的语素+XPOS表示表现最优，同时明确eojeol作为表层标注域的合理性。
2026-08-31 cs.CL
Lexicalized Constituency Parsing for Middle Dutch: Low-resource Training and Cross-Domain Generalization
Universiteit Gent, Université Paris Cité \& Laboratoire de linguistique formelle
本文提出基于变压器的神经解析器用于中古荷兰语成分句法解析，通过联合训练高资源语言提升F1分数，并探索特征分离技术以增强跨领域泛化能力。
2026-01-11 cs.CL
Constituency Parsing with a Self-Attentive Encoder
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系（加州大学伯克利分校））
我们证明，用自我关注的架构替换LSTM编码器可以改进最先进的判别式选区解析器。注意力的使用明确了信息在句子中不同位置之间传播的方式，我们用它来分析我们的模型并提出潜在的改进。例如，我们发现在编码器中分离位置和内容信息可以提高解析精度。此外，我们评估不同的词汇表征方法。我们的解析器在Penn Treebank上训练的单个模型获得了最新的结果：在不使用任何外部数据的情况下为93.55 F1，在使用预训练的单词表示时为95.13 F1。我们的解析器在SPMRL数据集中的9种语言中的8种语言上的准确性也优于之前发表的最佳准确性数据。
2018-05-02 cs.CL
Policy Gradient as a Proxy for Dynamic Oracles in Constituency Parsing
University of California, Berkeley（加利福尼亚大学伯克利分校）；Computer Science Division（计算机科学系（注意：此处“Division”通常指学院或系级单位，但根据提取规则，“大学/学院/公司/研究院级别即可”，此处“Computer Science Division”作为伯克利的学院/系级单位，符合提取要求，因此保留））
动态预言机为训练具有探索功能的选区解析器提供了强有力的监督，但必须为给定解析器的转换系统自定义。我们探索使用策略梯度方法作为与解析器无关的替代方法。除了直接优化树级指标（如F1）外，策略梯度还可以通过在训练期间进行探索来减少暴露偏差;此外，它不需要动态oracle进行监督。在三种语言的四个选区解析器上，该方法在几乎所有设置中都大大优于静态Oracle似然训练。对于动态oracle可用的解析器（包括我们为Dyer et al. 2016的转换系统定义的新oracle），策略梯度通常会重新获得动态oracle提供的性能增益的很大一部分。
2018-06-08 cs.CL
Constituency Parsing using LLMs
School of Computer Science of Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖研究所以及先进科技研究院）
本文研究使用大语言模型进行成分句法分析，将其转化为序列到序列生成任务，并提出基于错误样本学习与多智能体协作的两种策略，以提升生成树的准确性与有效性。
2025-09-26 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Neural Constituency Parsing of Speech Transcripts
Macquarie University（麦考瑞大学）
本文研究了一种神经自注意句法分析器对转录语音的分析性能。语音呈现出书面文本中不存在的解析挑战，例如缺少标点符号和存在语音不流畅（包括填充停顿，重复，更正等）。对于传统的语法分析器来说，不流利性尤其成问题，因为它通常根本找不到任何编辑过的不流利性节点。这激发了特殊的不流利检测系统的开发，以及专门处理不流利的分析器的特殊机制。然而，我们在这里表明，神经解析器可以找到编辑的不流利节点，最好的神经解析器找到它们的准确性超过了专门的不流利检测系统，从而使这些专门的机制不必要。本文还研究了一种修改后的损失函数，把更多的重量编辑节点。它还描述了树转换，简化了不流利检测任务，提供替代编码的不流利和句法信息。
2020-04-10 cs.CL
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Non-binary bottom-up constituency parsing without arity actions
研究非二元自底向上成分句法分析，提出新方法，通过分别引入成分标签并从定界符界定的栈配置恢复规约跨度，消除特定于标签-元数的规约动作，实验表明该方法在相同框架下有竞争力且高元数成分不受影响。
2026-08-28 cs.CL
Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University（上海科技大学）；MIT（麻省理工学院）
该研究针对无监督不连续成分句法分析问题，采用LCFRS-2文法并优化规则降低推理复杂度，结合张量分解与嵌入参数化扩展非终结符数量，在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Strongly Incremental Constituency Parsing with Graph Neural Networks
Princeton University（普林斯顿大学）
将句子解析成语法树可以使NLP中的下游应用受益。基于转换的解析器通过在状态转换系统中执行动作来构建树。它们在计算上是高效的，并且可以利用机器学习来预测基于部分树的动作。然而，现有的基于转换的解析器主要基于移位-归约转换系统，这与人类已知的解析句子的方式不一致。心理语言学研究表明，人类的解析是强烈的增量：人类通过在每一步添加一个标记来生长一个解析树。在本文中，我们提出了一种新的过渡系统称为附加并置。它是强增量的;它使用一棵树表示一个部分句子;每个动作只向部分树中添加一个标记。基于我们的转换系统，我们开发了一个强增量解析器。在每一步中，它使用图神经网络对部分树进行编码，并预测动作。我们在Penn树库（PTB）和中文树库（CTB）上对我们的解析器进行了评估。在PTB上，它优于仅用选区树训练的现有解析器;并且它的性能与使用依赖树作为附加训练数据的最先进解析器相当。在CTB上，我们的解析器建立了一个新的技术状态。代码可以在https://github.com/princeton-vl/attach-juxtapose-parser上获得。
2020-10-27 cs.CL
Efficient Constituency Parsing by Pointing
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A-STAR（A*STAR资讯通信研究院）
我们提出了一种新的选区解析模型，将解析问题转化为一系列的指向任务。具体来说，我们的模型估计的可能性跨度是一个合法的树成分通过指向分数对应的边界词的跨度。我们的解析模型支持高效的自上而下的解码，我们的学习目标是能够执行结构一致性，而不诉诸昂贵的CKY推理。在标准的英语Penn Treebank句法分析任务上的实验表明，该方法在不使用预训练模型的情况下达到了92.78 F1，高于现有的具有相似时间复杂度的方法。使用预训练的BERT，我们的模型达到了95.48 F1，这与最先进的竞争力，同时更快。我们的方法还建立了新的国家的最先进的巴斯克语和瑞典语的SPMRL共享任务的多语言选区解析。
2020-06-24 cs.CL cs.LG
High-order Joint Constituency and Dependency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Inc.（华为公司）
本工作提出一种高阶联合成分与依存句法分析方法，通过在训练阶段引入联合建模、采用$O(n^4)$高效解码算法及高阶评分组件，显著提升了多语言场景下句法树的完全匹配率。
2024-03-26 cs.CL
Multilingual Constituency Parsing with Self-Attention and Pre-Training
University of California, Berkeley（加州大学伯克利分校）
我们表明，选区解析受益于无监督的预训练在各种语言和一系列的预训练条件。我们首先比较了无预训练、fastText、ELMo和BERT对英语的好处，发现BERT优于ELMo，这在很大程度上是由于模型容量的增加，而ELMo反过来又优于非上下文的fastText嵌入。我们还发现，预训练在所有11种测试语言中都是有益的;然而，大的模型大小（超过1亿个参数）使得为每种语言训练单独的模型在计算上非常昂贵。为了解决这个缺点，我们证明了联合多语言预训练和微调允许在最终模型中共享10种语言之间的所有参数，但只有少数参数。与每种语言微调一个模型相比，模型大小减少10倍，只会导致总体相对误差增加3.2%。我们进一步探讨了联合微调的想法，并表明它为低资源语言提供了一种从其他语言的更大数据集中受益的方法。最后，我们展示了11种语言的最新结果，包括英语（95.8 F1）和中文（91.8 F1）。
2019-06-04 cs.CL
Investigating Non-local Features for Neural Constituency Parsing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于神经编码器的强大表示能力，基于神经图表的解析器通过使用局部特征实现了极具竞争力的性能。最近，它已被证明，CRF结构中的非本地功能导致的改善。在本文中，我们研究注入非本地功能的本地跨度为基础的分析器的训练过程中，通过预测成分n-gram非本地模式，并确保非本地模式和本地成分之间的一致性。结果表明，我们的简单的方法给出了更好的结果比自我关注的分析器上的PTB和CTB。此外，我们的方法在PTB上实现了最先进的基于BERT的性能（95.92 F1），在CTB上实现了强大的性能（92.31 F1）。我们的解析器也取得了更好的或有竞争力的性能，在多语言和zero-shot跨域设置相比，基线。
2022-03-28 cs.CL
Concurrent Parsing of Constituency and Dependency
Shanghai Jiao Tong University（上海交通大学）
句法结构的成分表示和依存表示具有很多语言和计算上的共同特点，本文首次尝试引入一种新的模型，该模型能够同时解析成分和依存，从而使任何一个解析器都能相互增强。特别是，我们评估了不同的共享网络组件的效果和经验验证，依存句法分析可能是更有益的成分分析结构。建议的解析器实现了新的国家的最先进的性能分析任务，成分和依赖PTB和CTB基准。
2019-09-25 cs.CL cs.LG
A Conditional Splitting Framework for Efficient Constituency Parsing
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A-STAR（A*STAR资讯通信研究院）
我们引入了一个通用的seq 2seq解析框架，将选区解析问题（句法和话语解析）转化为一系列有条件的分割决策。我们的解析模型估计在给定的文本跨度可能的分裂点的条件概率分布，并支持有效的自上而下的解码，这是线性的节点数。条件分裂公式与高效的束搜索推理一起促进结构一致性，而不依赖于昂贵的结构化推理。至关重要的是，对于话语分析，我们表明，在我们的配方，话语分割可以作为一个特殊的情况下，分析，使我们能够进行话语分析，而不需要分割为先决条件。实验表明，我们的模型在标准的句法分析任务上取得了良好的效果，在有/没有预先训练的表示和竞争对手的国家的最先进的（SoTA）的方法，比我们的计算成本更高。在话语分析中，我们的方法优于SoTA的一个很好的保证金。
2021-06-30 cs.AI cs.CL
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University（中山大学）
最近的研究集中在编码器结构的神经选区解析，而很少的发展致力于解码器。以前的研究表明，基于句法规则的概率统计方法在选区分析中特别有效，而在以前的工作中，可能由于其巨大的计算需求，在神经模型的训练过程中不使用句法规则。在本文中，我们首先实现了一个快速CKY解码过程利用GPU加速，在此基础上，我们进一步推导出一个语法规则为基础的（规则约束）CKY解码。在实验中，我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1，与以前的方法相比，这表明了显着的改善。此外，我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；AdeptMind Scholar；University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量，命名为句法距离，在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序，以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比，我们的方法不存在复合错误的潜在问题，同时更快，更容易并行化。我们的模型在PTB数据集中的单个模型，判别式解析器中实现了有竞争力的性能，并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而，没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法，利用非常通用的语言知识的语法规则的形式存在的语言，从而诱导更好的句法结构。我们介绍了一种新的配方，利用的句法语法规则，是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
Structured Tree Alignment for Evaluation of (Speech) Constituency Parsing
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本研究提出结构化平均交并比（STRUCT-IOU）度量，通过强制对齐与结构化约束对齐实现语音/文本成分句法分析评估，解决词边界不匹配问题，对合理句法分析的容忍度优于PARSEVAL。
2024-06-19 cs.CL cs.DS
Joint Syntacto-Discourse Parsing and the Syntacto-Discourse Treebank
Oregon State University（俄勒冈州立大学）
语篇分析一直被视为独立于选区分析或依存句法分析的独立问题。解决这个问题的大多数尝试都是流水线式的，而不是端到端的，复杂的，不独立的：他们假设黄金标准的文本分割（基本话语单位），并使用外部解析器的句法特征。在本文中，我们提出了第一个端到端的话语分析器，联合分析在句法和话语水平，以及第一个句法话语树库集成Penn树库与PennyTreebank。该句法-语篇联合分析器建立在我们最近提出的基于跨度的选区分析器的基础上，不需要任何预处理（如分割或特征提取），达到了最先进的端到端语篇分析精度。
2017-08-28 cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University（赫瑞-瓦特大学）
我们研究的问题，从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务，即目标识别（TI），框架识别（FI），和语义角色标注（SRL）。我们使用图卷积网络来学习成分的特定表示，使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征，计算为单词和树中特定任务节点之间路径上的所有成分的总和，例如SRL的目标谓词。当在FrameNet 1.5上测试时，我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果（以BERT作为输入获得了+2.5%的额外点），同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文首次研究口语语句的无监督成分句法分析，比较级联ASR与直接训练两种方法，发现级联方法更优，且准确分割足以解析口语，直接方法能无偏学习头部方向性。
2023-05-09 cs.CL eess.AS
On Parsing as Tagging
在文献中，已经有许多建议将选区解析减少到标记。为了更好地理解这些方法的共同点，我们将几个现有的建议转换为一个统一的管道，包括三个步骤：线性化，学习和解码。特别是，我们展示了如何减少tetratagging，一个国家的最先进的选区标记，转移-减少语法分析上执行一个右角变换，并作出具体的独立性假设。此外，我们经验性地评估我们的分类标记管道与不同的选择线性化，学习器和解码器。基于英语和一组8种类型不同的语言的结果，我们得出结论，线性化的派生树和它的对齐与输入序列是最关键的因素，在实现准确的标签。
2022-11-20 cs.CL
Cross-Domain Generalization of Neural Constituency Parsers
University of California, Berkeley（加州大学伯克利分校）
神经解析器在基准树库上获得了最先进的结果，用于选区解析-但它们在多大程度上推广到其他领域？我们提出了关于零射击（zero-shot）设置中神经解析器泛化的三个结果：对来自一个语料库的树进行训练和对域外语料库进行评估。首先，神经和非神经解析器将XML推广到新的领域。其次，将预先训练的编码器表示纳入神经解析器中，可以大大提高其在所有域中的性能，但对于域外树库并没有更大的相对改善。最后，尽管神经解析器学习了丰富的输入表示，但它们仍然受益于输出树的结构化输出预测，从而获得更高的精确匹配精度和更强的泛化能力，无论是对更大的文本跨度还是对域外语料库。我们分析了英语和汉语语料库的泛化，并在此过程中获得了最先进的解析结果的布朗，Genia和英语网络树库。
2019-07-09 cs.CL
Ensemble Distillation for Unsupervised Constituency Parsing
University of Alberta（阿尔伯塔大学）；Borealis AI；Ingenuity Labs Research Institute, Queen’s University（英吉利蒂实验室研究所（女王大学））；McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (MILA)（魁北克人工智能研究所（MILA））
本文研究无监督成分句法分析，提出基于“树平均”的集成方法并蒸馏到学生模型以提升效率，有效缓解多教师蒸馏的过度平滑问题，在多种条件下超越已有方法。
2024-04-26 cs.AI cs.CL cs.LG
Constituency Structure over Eojeol in Korean Treebanks
KAIST（韩国国立科学技术院）；Anyang University（安阳大学）
针对韩语成分树库中终端单位选择问题，提出基于语节的成分表示，将形态分割和细粒度词性信息编码在非成分层，支持跨树库比较和成分-依存对齐。
2026-06-25 cs.CL
Tree-Averaging Algorithms for Ensemble-Based Unsupervised Discontinuous Constituency Parsing
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
针对无监督非连续成分句法分析中现有模型性能高方差的问题，提出基于树平均的集成方法，并给出计算复杂度分析与高效精确算法，在三个数据集上全面超越基线。
2024-11-05 cs.AI cs.CL cs.LG
A Minimal Span-Based Neural Constituency Parser
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个最小的神经模型的标签和跨度的独立评分的基础上，选区解析。我们表明，该模型不仅与经典的动态规划技术兼容，但也承认一个新的贪婪自上而下的推理算法的基础上递归分区的输入。我们的经验表明，这两个预测方案与最近的工作是有竞争力的，当结合基本扩展的评分模型能够实现国家的最先进的单模型性能的Penn Treebank（91.79 F1）和强大的性能的法国Treebank（82.23 F1）。
2017-05-10 cs.CL
jp-evalb: Robust Alignment-based PARSEVAL Measures
The University of British Columbia（不列颠哥伦比亚大学）；Sorbonne Université（索邦大学）
本文提出jp-evalb，一种基于对齐的PARSEVAL度量计算系统，作为evalb的替代方案，通过联合预处理对齐方法解决分词和句子边界不一致问题，实现更灵活、准确的成分句法分析评估。
2024-05-23 cs.CL
Dependency Induction Through the Lens of Visual Perception
Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
以前的大多数语法归纳工作都集中在纯粹从文本中学习短语或依存结构。然而，由于单独由文本提供的信号是有限的，最近推出的视觉接地语法模型利用多模态信息，从而提高性能的选区语法归纳。然而，与依赖语法相比，选区语法不提供一种直接的方法来合并视觉信息，而不强制执行特定于语言的语法。在本文中，我们提出了一个无监督的语法归纳模型，利用词的具体性和基于结构视觉的启发式，共同学习成分结构和依赖结构语法。我们的实验发现，具体性是学习依赖语法的一个强有力的指标，与在纯文本上训练的最先进模型相比，直接依恋得分（DAS）提高了50%以上。接下来，我们提出了一个扩展我们的模型，利用词的具体性和视觉语义角色标签的选区和依存句法分析。我们的实验表明，所提出的扩展优于目前国家的最先进的视觉接地模型在选区分析，即使具有较小的语法大小。
2021-09-20 cs.CL
Order-sensitive Neural Constituency Parsing
Sun Yat-sen University（中山大学）
我们提出了一种新的算法，改进了以前的神经跨度为基础的CKY解码器选区解析。与传统的基于跨度的解码，其中跨度仅根据其分数的总和进行组合相比，我们引入了顺序敏感的策略，其中跨度组合分数更仔细地从顺序敏感的基础上导出。我们的解码器可以被看作是一个泛化在现有的基于跨度的解码器，在确定一个更细粒度的评分方案的组合较低级别的跨度到较高级别的跨度，其中我们强调的顺序较低级别的跨度和使用顺序敏感的跨度分数以及顺序敏感的组合语法规则分数，以提高预测精度。我们实现了利用GPU并行性的解码策略，并实现了与最先进的基于跨度的解析器相当的解码速度。使用以前的最先进的模型，没有额外的数据作为我们的基线，我们的表现优于它，并将Penn Treebank数据集上的F1得分提高了0.26%，将中国Treebank数据集上的F1得分提高了0.35%。
2022-11-01 cs.AI cs.CL cs.LG
Center-Embedding and Constituency in the Brain and a New Characterization of Context-Free Languages
Columbia University（哥伦比亚大学）
最近，一种专门通过神经元的尖峰放电实现的计算系统被证明具有句法能力，即能够对简单的英语句子进行依存句法分析。我们解决了两个最重要的问题留下开放的工作：选区（识别句子的关键部分，如动词短语）和处理的依赖句，特别是中心嵌入的。我们表明，语言的这两个方面也可以通过神经元和突触来实现，其方式与已知的或广泛认为的语言器官的结构和功能是一致的。令人惊讶的是，我们实现中心嵌入的方式指向了上下文无关语言的新特征。
2022-06-27 cs.CL
Sequence Labeling Parsing by Learning Across Representations
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
我们使用解析作为序列标签作为一个共同的框架来学习跨选区和依赖句法抽象。为此，我们将问题转换为多任务学习（MTL）。首先，我们表明，添加一个解析范式作为辅助损失一贯提高其他范式的性能。其次，我们探索了一个MTL序列标记模型，解析这两种表示，在性能和速度方面几乎没有成本。结果表明，平均而言，MTL模型与辅助损失的选区分析优于单任务的1.14 F1点，并为依存句法分析的0.62 UAS点。
2020-01-07 cs.CL cs.LG
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University（卡内基梅隆大学）
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如，一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务，如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的（Shen et al.，2018 a），后来被（Shen et al.，2019年）。最值得注意的是，这是神经方法第一次能够成功地执行无监督的句法分析（通过F-1评分等各种指标进行评估）。然而，即使是启发式的（更少的完全数学）理解这些架构为什么以及何时工作也严重落后。在这项工作中，我们回答了（Shen et al.，2018 a，2019），以及一些基于转换的语法感知语言模型（Dyer等人，2016）：什么样的句法结构可以目前的神经句法方法表示？具体地说，我们接地这个问题的概率上下文无关文法（PCFG）的沙箱，并确定这些方法的代表性的权力的一个关键方面：预测器的数量和方向性的上下文时，被迫作出解析决定。我们表明，有限的上下文（无论是有界的，或单向的），有PCFG，这些方法不能代表的最大似然解析;相反，如果上下文是无限的，他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Syntactic Structure Processing in the Brain while Listening
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
句法分析是将句法结构分配给句子的任务。有两种流行的句法分析方法：选区句法分析和依存句法分析。最近的工作已经使用了基于选区树的句法嵌入，增量自上而下的解析，和其他单词的句法特征的大脑活动预测给定的文本刺激，研究如何在大脑的语言网络中表示的语法结构。然而，依赖解析树的有效性或跨大脑区域的各种语法解析器的相对预测能力，特别是对于听力任务，尚未被探索。在这项研究中，我们调查的预测能力的大脑编码模型在三个设置：（一）的选区和依赖句法分析为基础的嵌入方法的个人表现，（二）这些句法分析为基础的嵌入方法的有效性时，控制基本的句法信号，（三）相对有效性的每一个句法嵌入方法时，控制其他。此外，我们探索的相对重要性的句法信息（从这些句法嵌入方法）与语义信息使用BERT嵌入。我们发现，选区解析器有助于解释激活颞叶和额中回，而依赖解析器更好地编码句法结构的角回和后扣带皮层。虽然来自BERT的语义信号比任何句法特征或嵌入方法更有效，但句法嵌入方法解释了一些大脑区域的额外差异。
2023-02-16 cs.CL q-bio.NC
What's Going On in Neural Constituency Parsers? An Analysis
Computer Science Division（计算机科学系）；University of California, Berkeley（加利福尼亚大学伯克利分校）
近年来，现代和经典的选区解析方法之间出现了一些差异，语法和功能丰富的词汇等结构组件变得不那么重要，而递归神经网络表示越来越受欢迎。这项工作的目标是分析在经典系统中直接由模型结构提供的信息在多大程度上仍然被神经方法捕获。为此，我们提出了一个高性能的神经模型（PTB上的92.08 F1），它代表了最近的工作，并进行了一系列的调查实验。我们发现，我们的模型隐式地学习编码过去由语法和词汇明确提供的大部分相同信息，这表明这种脚手架可以在很大程度上被强大的通用神经机制所包含。
2018-04-20 cs.CL
Improved Latent Tree Induction with Distant Supervision via Span Constraints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
三十多年来，研究人员已经开发和分析了潜在树归纳方法作为无监督句法分析的一种方法。尽管如此，与有监督的对应系统相比，现代系统的性能仍然不够好，无法作为文本的结构化注释。在这项工作中，我们提出了一种技术，使用远程监督的形式跨度约束（即短语括号），以提高性能，在无监督选区解析。使用相对较少的跨度约束，我们可以大大提高DIORA，已经有竞争力的无监督解析系统的输出。与完整的解析树注释相比，可以以最小的努力获得跨度约束，例如使用来自维基百科的词典，以找到精确的文本匹配。我们的实验表明，基于实体的跨度约束提高了英语WSJ Penn Treebank上的选区解析超过5个F1。此外，我们的方法扩展到任何领域的跨度约束是很容易实现的，作为一个案例研究，我们证明了它的有效性，从CRAFT数据集解析生物医学文本。
2021-11-01 cs.CL
TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding
Fudan University（复旦大学）；CMU（卡内基梅隆大学）；Georgia Tech（佐治亚理工学院）
数据增强是解决过拟合问题的有效方法。许多以前的工作已经提出了不同的数据增强策略的自然语言处理，如噪声注入，单词替换，回译等，虽然有效，他们错过了一个重要的特征-组合性，一个复杂的表达式的意义是建立在它的子部分。出于这一动机，我们提出了一种组合数据增强方法称为TreeMix的自然语言理解。具体而言，TreeMix利用选区解析树将句子分解为组成子结构，并利用Mixup数据增强技术将它们重新组合以生成新句子。与以前的方法相比，TreeMix为生成的样本引入了更大的多样性，并鼓励模型学习NLP数据的组合性。在文本分类和SCAN上的大量实验表明，TreeMix优于当前最先进的数据增强方法。
2022-07-12 cs.CL
Tetra-Tagging: Word-Synchronous Parsing with Linear-Time Inference
University of California, Berkeley（加州大学伯克利分校）
我们提出了一个选区解析算法，就像一个supertagger，作品通过分配标签，每个字在一个句子。为了最大限度地利用当前的神经架构，该模型以最小的任务特定结构并行地对每个单词的标签进行评分。在评分之后，从左到右的协调阶段在（经验上）线性时间内提取树。我们的解析器在WSJ测试集上达到了95.4 F1，同时与当前最先进的解析器相比，具有相当的精度，也实现了大幅的加速。
2020-06-29 cs.CL
A Fundamental Algorithm for Dependency Parsing (With Corrections)
Institute for Artificial Intelligence（人工智能研究所）；The University of Georgia（佐治亚大学）
本文提出一种逐词附加的依存句法分析基础算法，其最坏情况复杂度为$O(n^3)$，但仅在句子较短时出现，并模拟了人脑解析特性。
2025-10-22 cs.CL
Optimizing for Measure of Performance in Max-Margin Parsing
Berlin Big Data Center（柏林大数据中心）；Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Korea University（高丽大学）
在自然语言处理领域，序列标注、序列分割和句法分析等统计学习问题已被结构化预测方法成功地解决。相应的判别式学习算法的吸引人的特性是它们能够将感兴趣的损失函数直接集成到优化过程中，这潜在地可以增加所得到的性能精度。在这里，我们展示了选区分析的例子，如何优化F1分数的最大利润框架的结构SVM。特别地，优化是相对于原始（未二进制化）树的。
2017-09-08 cs.CL
