LLM-enhanced Self-training for Cross-domain Constituency Parsing
Tianjin University（天津大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Westlake University（西湖大学）
本研究针对跨域成分句法分析中传统自训练语料有限且质量低的问题，提出LLM增强自训练方法，结合语法规则生成语料与置信度标准筛选伪实例，显著提升了跨域分析性能。
2023-11-05 cs.CL
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；AdeptMind Scholar；University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量，命名为句法距离，在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序，以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比，我们的方法不存在复合错误的潜在问题，同时更快，更容易并行化。我们的模型在PTB数据集中的单个模型，判别式解析器中实现了有竞争力的性能，并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
Unsupervised Full Constituency Parsing with Neighboring Distribution Divergence
Shanghai Jiao Tong University（上海交通大学）
无监督选区分析已经探索了很多，但仍然远远没有得到解决。传统的无监督选区分析器只能捕获句子的未标记结构。对于无监督的全选区解析，我们提出了一个无监督和训练免费标签程序，利用最近推出的度量，相邻分布发散（NDD），它评估前后版本之间的句子语义相似性的属性。为了实现，我们将NDD发展为双POS-NDD（DP-NDD），并建立“模具”来检测句子中的成分及其标签。我们表明，DP-NDD不仅标签成分准确，但也引入更准确的未标记的选区树比以前所有的无监督方法，更简单的规则。通过两个标记选区树推断框架，我们为未标记的F1设置了新的最新技术水平，并为标记的F1设置了强基线。与传统的预测和评估方案相比，我们的方法作为一个合理的例子，反向应用评估指标的预测。
2021-10-29 cs.CL
Contrastive Learning on LLM Back Generation Treebank for Cross-domain Constituency Parsing
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)（计算与智能研究院，哈尔滨工业大学（深圳））；School of New Media and Communication, Tianjin University（新媒体与传播学院，天津大学）；School of Engineering, Westlake University（工程学院，西湖大学）
针对跨领域成分句法分析中树库有限的问题，提出LLM回溯生成树库方法并引入跨度级对比学习预训练策略，在MCTB五个目标领域上达到最先进性能。
2025-05-27 cs.CL
Unlexicalized Transition-based Discontinuous Constituency Parsing
University of Edinburgh, ILCC（爱丁堡大学语言、认知与计算研究所）；Université Paris Diderot（巴黎第七大学）；Université Sorbonne Paris Cité（索邦巴黎西岱大学）；LLF（形式语言学实验室）；Institut Universitaire de France (IUF)（法国大学研究院）
词汇化句法分析模型基于以下假设：（i）成分是围绕词汇中心词组织的;（ii）双词汇统计对解决歧义至关重要。在本文中，我们介绍了一个基于结构标签转换系统和bi-LSTM评分系统的非解析化的基于转换的不连续选区结构解析器。我们比较它的词汇化分析模型，以解决不连续选区分析的上下文中的词汇化问题。我们的实验表明，unexxicalized模型系统地实现更高的结果比词汇化模型，并提供额外的经验证据，词汇化是没有必要实现强大的分析结果。我们最好的unexixicalized模型设置了一个新的国家的艺术英语和德语不连续选区树银行。我们进一步提供了一个每现象分析其误差的不连续成分。
2019-02-24 cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Discontinuous Constituency Parsing with a Stack-Free Transition System and a Dynamic Oracle
University of Edinburgh（爱丁堡大学）；Naver Labs Europe（欧洲Naver实验室）；ILCC, School of Informatics（信息学院ILCC研究所）
我们介绍了一种新的过渡系统不连续选区分析。代替将子树存储在堆栈中-即具有线性时间顺序存取的数据结构-所提出的系统使用具有恒定时间随机存取的一组解析项。这个改变使得有可能为长度为$n$的句子在精确的$4n - 2$转换中构造任何不连续的选区树。在每个解析步骤中，解析器将集合中的每个项与焦点项组合，并以自底向上的方式构造新的成分。解析策略基于这样的假设：大多数句法结构可以被增量解析，并且集合（解析器的内存）平均保持合理的小。此外，我们引入了一个可证明是正确的动态预言机的新的过渡系统，并提出了第一个实验，在不连续选区解析使用动态预言机。我们的解析器获得国家的最先进的结果，在三个英语和德语不连续树银行。
2019-04-01 cs.CL
Assessing the Use of Prosody in Constituency Parsing of Imperfect Transcripts
University of Southern California（南加州大学）；University of Washington（华盛顿大学）
这项工作探讨了自动识别的会话语音的成绩单选区分析。神经解析器基于句子编码器，该句子编码器利用与韵律特征上下文化的词向量，联合学习韵律特征提取和解析。我们评估的效用的韵律在解析不完美的成绩单，即成绩单与自动语音识别（ASR）的错误，通过应用解析器在N-最好的重新排序框架。在Switchboard上的实验中，相对于解析1-best ASR输出，我们获得了13-15%的Oracle N-best增益，对单词识别出错率的影响微不足道。韵律是其中重要的一部分，分析表明，韵律通过恢复虚词而导致更多的语法话语。
2021-06-14 cs.CL
Neural Combinatory Constituency Parsing
Tokyo Metropolitan University（东京都立大学）
我们提出了两个快速的神经组合模型的选区分析：二进制和多分支。我们的模型将自下而上的解析过程分解为：1）标记、标签和二进制方向或块的分类; 2）基于计算出的方向或块的向量组合。这些模型具有理论上的次二次复杂性和经验上的线性复杂性。二元模型在Penn Treebank上的F1得分为92.54，速度为1327.2 sents/sec。这两个模型与XLNet提供接近国家的最先进的准确性为英语。在Penn树库、汉语树库和Keyaki树库（日语）的训练和推理过程中观察到了语言的句法分支倾向和中心化。
2021-06-12 cs.CL
Improving Constituency Parsing with Span Attention
University of Washington（华盛顿大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
选区句法分析是自然语言理解的一项基本而重要的任务，而良好的上下文信息表示可以帮助完成这一任务。N-gram是上下文信息的常规类型的特征，已经被证明在许多任务中是有用的，并且因此如果它们被适当地建模，则也可以有益于选区解析。在本文中，我们提出了跨度注意神经图表为基础的选区分析，利用n-gram信息。考虑到当前基于图表的解析器与基于transformer的编码器表示跨度减去隐藏状态的跨度边界，这可能会导致信息丢失，特别是对于长跨度，我们将n-gram到跨度表示加权，根据他们的贡献解析过程。此外，我们提出了类别跨度注意力，以进一步加强模型的加权n-gram在不同长度的类别，从而有利于长句分析。在三个广泛使用的基准数据集上的实验结果表明，我们的方法在解析阿拉伯语，汉语和英语，其中国家的最先进的性能是通过我们的方法获得所有这些的有效性。
2020-10-15 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近，基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模，用非常简单的模型实现了具有竞争力的准确性。然而，Stern et al（2017 a）的最小跨度解析器保持了当前最先进的准确性，它是一个以立方时间运行的图表解析器，$O(n^3)$，对于较长的句子和超出句子边界的应用程序（如端到端话语解析和联合句子边界检测和解析）来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索，它运行在时间$O(n b^2)$，其中$b$是波束的大小。通过集成立方体修剪，我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比，这种线性时间解析器在Penn Treebank上的长句解析速度要快得多，在话语解析上要快几个数量级，并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
An Empirical Study for Vietnamese Constituency Parsing with Pre-training
University of Information Technology Vietnam National University Ho Chi Minh City（胡志明市越南国家大学信息技术大学）
在这项工作中，我们使用一个基于跨度的方法，越南选区解析。我们的方法遵循自注意编码器架构和使用CKY风格的推理算法的图表解码器。我们提出了我们的经验方法的比较的实验结果分析，使用预训练模型XLM-Roberta和PhoBERT在越南数据集VietTreebank和NIIVTB 1。结果表明，我们的XLM-Roberta模型的F1得分明显优于其他预训练模型，VietTreebank为81.19%，NIIVTB 1为85.70%。
2020-10-20 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（机械与工程计算机科学实验室）
我们介绍了一种新的基于图表的算法，基于跨度的分析不连续的选区树的块度2，包括病态嵌套结构。特别是，我们表明，我们可以建立我们的分析器的变种，具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分，同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行（Negra，老虎和不连续PTB）和报告国家的最先进的结果，在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
Ensemble Distillation for Unsupervised Constituency Parsing
University of Alberta（阿尔伯塔大学）；Borealis AI；Ingenuity Labs Research Institute, Queen’s University（英吉利蒂实验室研究所（女王大学））；McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (MILA)（魁北克人工智能研究所（MILA））
本文研究无监督成分句法分析，提出基于“树平均”的集成方法并蒸馏到学生模型以提升效率，有效缓解多教师蒸馏的过度平滑问题，在多种条件下超越已有方法。
2024-04-26 cs.AI cs.CL cs.LG
Better heads do not guarantee better binarized constituency parsing
The Chinese University of Hong Kong, Ma Liu Shui, Hong Kong（香港中文大学，大屿山分校）；The University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学，温哥华，加拿大）；Korea Advanced Institute of Science & Technology, Daejeon, South Korea（韩国科学技术院，大田，韩国）
本文研究了标点感知的树二值化方法，并探讨了依赖诱导的头部信息是否改善了二值化句法分析器的监督信号，发现尽管学习到的头部在内在头部预测上优于基于规则的头部，但在去二值化后并未带来一致的句法分析提升。
2026-05-27 cs.CL
On the Role of Supervision in Unsupervised Constituency Parsing
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们分析了几个最近的无监督选区解析模型，这是调整相对于华尔街日报（WSJ）开发集（1,700句）的解析$F_1$分数。我们为它们引入了强大的基线，通过在它们访问的相同标记示例上训练现有的监督解析模型（Kitaev和Klein，2018）。当在1，700个示例上进行训练时，或者甚至当仅使用50个示例进行训练和5个示例进行开发时，这种Few-Shot解析方法可以显著优于所有无监督解析方法。Few-Shot解析可以通过简单的数据增强方法和自训练来进一步改进。这表明，为了得出公平的结论，我们应该仔细考虑用于模型开发的标记数据的数量。我们提出了两个协议，为未来的工作无监督解析：（i）使用完全无监督的超参数调整和模型选择的标准;（ii）使用尽可能少的标记的例子模型开发，并比较Few-Shot解析训练相同的标记的例子。
2020-10-07 cs.CL
Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University（阿尔帕斯兰·蒂尔凯什科技大学）；Research Institute in Information and Language Processing（信息与语言处理研究所）；University of Wolverhampton（伍尔弗汉普顿大学）
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序，如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中，我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法，而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Fast and Accurate Neural CRF Constituency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
概率分布估计是自然语言处理领域的核心问题之一。然而，在深度学习（DL）和前DL时代，与线性链CRF在序列标记任务中的广泛应用不同，很少有工作将树结构CRF应用于选区解析，主要是由于内部-外部算法的复杂性和效率低下。这项工作提出了一个快速，准确的神经CRF选区解析器。其核心思想是通过直接在GPU上进行大张量运算来批量化损失计算的内部算法，同时通过有效的反向传播来避免梯度计算的外部算法。我们还提出了一个简单的两阶段括号，然后标记解析方法，以进一步提高效率。为了提高分析性能，灵感来自依存句法分析的最新进展，我们引入了一个新的评分架构的基础上边界表示和biaffine注意，和一个有益的辍学策略。在PTB、CTB5.1和CTB 7上的实验表明，我们的两阶段CRF句法分析器在w/o和w/ BERT两种设置下都达到了最新的性能水平，每秒可以分析超过1,000个句子。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-08-09 cs.CL
Tree-Averaging Algorithms for Ensemble-Based Unsupervised Discontinuous Constituency Parsing
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
针对无监督非连续成分句法分析中现有模型性能高方差的问题，提出基于树平均的集成方法，并给出计算复杂度分析与高效精确算法，在三个数据集上全面超越基线。
2024-11-05 cs.AI cs.CL cs.LG
A Conditional Splitting Framework for Efficient Constituency Parsing
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A-STAR（A*STAR资讯通信研究院）
我们引入了一个通用的seq 2seq解析框架，将选区解析问题（句法和话语解析）转化为一系列有条件的分割决策。我们的解析模型估计在给定的文本跨度可能的分裂点的条件概率分布，并支持有效的自上而下的解码，这是线性的节点数。条件分裂公式与高效的束搜索推理一起促进结构一致性，而不依赖于昂贵的结构化推理。至关重要的是，对于话语分析，我们表明，在我们的配方，话语分割可以作为一个特殊的情况下，分析，使我们能够进行话语分析，而不需要分割为先决条件。实验表明，我们的模型在标准的句法分析任务上取得了良好的效果，在有/没有预先训练的表示和竞争对手的国家的最先进的（SoTA）的方法，比我们的计算成本更高。在话语分析中，我们的方法优于SoTA的一个很好的保证金。
2021-06-30 cs.AI cs.CL
Representing and Parsing Korean Constituency Structure at Different Levels of Granularity
Korea Advanced Institute of Science & Technology（韩国科学技术院）；The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；Anyang University（安阳大学）
该研究对比三种韩语成分分析表示，评估不同顺序的转换式分析器，发现细粒度的语素+XPOS表示表现最优，同时明确eojeol作为表层标注域的合理性。
2026-08-31 cs.CL
Sequence Labeling Parsing by Learning Across Representations
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
我们使用解析作为序列标签作为一个共同的框架来学习跨选区和依赖句法抽象。为此，我们将问题转换为多任务学习（MTL）。首先，我们表明，添加一个解析范式作为辅助损失一贯提高其他范式的性能。其次，我们探索了一个MTL序列标记模型，解析这两种表示，在性能和速度方面几乎没有成本。结果表明，平均而言，MTL模型与辅助损失的选区分析优于单任务的1.14 F1点，并为依存句法分析的0.62 UAS点。
2020-01-07 cs.CL cs.LG
Lexicalized Constituency Parsing for Middle Dutch: Low-resource Training and Cross-Domain Generalization
Universiteit Gent, Université Paris Cité \& Laboratoire de linguistique formelle
本文提出基于变压器的神经解析器用于中古荷兰语成分句法解析，通过联合训练高资源语言提升F1分数，并探索特征分离技术以增强跨领域泛化能力。
2026-01-11 cs.CL
Constituency Parsing with a Self-Attentive Encoder
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系（加州大学伯克利分校））
我们证明，用自我关注的架构替换LSTM编码器可以改进最先进的判别式选区解析器。注意力的使用明确了信息在句子中不同位置之间传播的方式，我们用它来分析我们的模型并提出潜在的改进。例如，我们发现在编码器中分离位置和内容信息可以提高解析精度。此外，我们评估不同的词汇表征方法。我们的解析器在Penn Treebank上训练的单个模型获得了最新的结果：在不使用任何外部数据的情况下为93.55 F1，在使用预训练的单词表示时为95.13 F1。我们的解析器在SPMRL数据集中的9种语言中的8种语言上的准确性也优于之前发表的最佳准确性数据。
2018-05-02 cs.CL
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University（卡内基梅隆大学）
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如，一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务，如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的（Shen et al.，2018 a），后来被（Shen et al.，2019年）。最值得注意的是，这是神经方法第一次能够成功地执行无监督的句法分析（通过F-1评分等各种指标进行评估）。然而，即使是启发式的（更少的完全数学）理解这些架构为什么以及何时工作也严重落后。在这项工作中，我们回答了（Shen et al.，2018 a，2019），以及一些基于转换的语法感知语言模型（Dyer等人，2016）：什么样的句法结构可以目前的神经句法方法表示？具体地说，我们接地这个问题的概率上下文无关文法（PCFG）的沙箱，并确定这些方法的代表性的权力的一个关键方面：预测器的数量和方向性的上下文时，被迫作出解析决定。我们表明，有限的上下文（无论是有界的，或单向的），有PCFG，这些方法不能代表的最大似然解析;相反，如果上下文是无限的，他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Policy Gradient as a Proxy for Dynamic Oracles in Constituency Parsing
University of California, Berkeley（加利福尼亚大学伯克利分校）；Computer Science Division（计算机科学系（注意：此处“Division”通常指学院或系级单位，但根据提取规则，“大学/学院/公司/研究院级别即可”，此处“Computer Science Division”作为伯克利的学院/系级单位，符合提取要求，因此保留））
动态预言机为训练具有探索功能的选区解析器提供了强有力的监督，但必须为给定解析器的转换系统自定义。我们探索使用策略梯度方法作为与解析器无关的替代方法。除了直接优化树级指标（如F1）外，策略梯度还可以通过在训练期间进行探索来减少暴露偏差;此外，它不需要动态oracle进行监督。在三种语言的四个选区解析器上，该方法在几乎所有设置中都大大优于静态Oracle似然训练。对于动态oracle可用的解析器（包括我们为Dyer et al. 2016的转换系统定义的新oracle），策略梯度通常会重新获得动态oracle提供的性能增益的很大一部分。
2018-06-08 cs.CL
Order-sensitive Neural Constituency Parsing
Sun Yat-sen University（中山大学）
我们提出了一种新的算法，改进了以前的神经跨度为基础的CKY解码器选区解析。与传统的基于跨度的解码，其中跨度仅根据其分数的总和进行组合相比，我们引入了顺序敏感的策略，其中跨度组合分数更仔细地从顺序敏感的基础上导出。我们的解码器可以被看作是一个泛化在现有的基于跨度的解码器，在确定一个更细粒度的评分方案的组合较低级别的跨度到较高级别的跨度，其中我们强调的顺序较低级别的跨度和使用顺序敏感的跨度分数以及顺序敏感的组合语法规则分数，以提高预测精度。我们实现了利用GPU并行性的解码策略，并实现了与最先进的基于跨度的解析器相当的解码速度。使用以前的最先进的模型，没有额外的数据作为我们的基线，我们的表现优于它，并将Penn Treebank数据集上的F1得分提高了0.26%，将中国Treebank数据集上的F1得分提高了0.35%。
2022-11-01 cs.AI cs.CL cs.LG
Constituency Parsing using LLMs
School of Computer Science of Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖研究所以及先进科技研究院）
本文研究使用大语言模型进行成分句法分析，将其转化为序列到序列生成任务，并提出基于错误样本学习与多智能体协作的两种策略，以提升生成树的准确性与有效性。
2025-09-26 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Neural Constituency Parsing of Speech Transcripts
Macquarie University（麦考瑞大学）
本文研究了一种神经自注意句法分析器对转录语音的分析性能。语音呈现出书面文本中不存在的解析挑战，例如缺少标点符号和存在语音不流畅（包括填充停顿，重复，更正等）。对于传统的语法分析器来说，不流利性尤其成问题，因为它通常根本找不到任何编辑过的不流利性节点。这激发了特殊的不流利检测系统的开发，以及专门处理不流利的分析器的特殊机制。然而，我们在这里表明，神经解析器可以找到编辑的不流利节点，最好的神经解析器找到它们的准确性超过了专门的不流利检测系统，从而使这些专门的机制不必要。本文还研究了一种修改后的损失函数，把更多的重量编辑节点。它还描述了树转换，简化了不流利检测任务，提供替代编码的不流利和句法信息。
2020-04-10 cs.CL
Structured Tree Alignment for Evaluation of (Speech) Constituency Parsing
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本研究提出结构化平均交并比（STRUCT-IOU）度量，通过强制对齐与结构化约束对齐实现语音/文本成分句法分析评估，解决词边界不匹配问题，对合理句法分析的容忍度优于PARSEVAL。
2024-06-19 cs.CL cs.DS
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Non-binary bottom-up constituency parsing without arity actions
研究非二元自底向上成分句法分析，提出新方法，通过分别引入成分标签并从定界符界定的栈配置恢复规约跨度，消除特定于标签-元数的规约动作，实验表明该方法在相同框架下有竞争力且高元数成分不受影响。
2026-08-28 cs.CL
Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University（上海科技大学）；MIT（麻省理工学院）
该研究针对无监督不连续成分句法分析问题，采用LCFRS-2文法并优化规则降低推理复杂度，结合张量分解与嵌入参数化扩展非终结符数量，在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Strongly Incremental Constituency Parsing with Graph Neural Networks
Princeton University（普林斯顿大学）
将句子解析成语法树可以使NLP中的下游应用受益。基于转换的解析器通过在状态转换系统中执行动作来构建树。它们在计算上是高效的，并且可以利用机器学习来预测基于部分树的动作。然而，现有的基于转换的解析器主要基于移位-归约转换系统，这与人类已知的解析句子的方式不一致。心理语言学研究表明，人类的解析是强烈的增量：人类通过在每一步添加一个标记来生长一个解析树。在本文中，我们提出了一种新的过渡系统称为附加并置。它是强增量的;它使用一棵树表示一个部分句子;每个动作只向部分树中添加一个标记。基于我们的转换系统，我们开发了一个强增量解析器。在每一步中，它使用图神经网络对部分树进行编码，并预测动作。我们在Penn树库（PTB）和中文树库（CTB）上对我们的解析器进行了评估。在PTB上，它优于仅用选区树训练的现有解析器;并且它的性能与使用依赖树作为附加训练数据的最先进解析器相当。在CTB上，我们的解析器建立了一个新的技术状态。代码可以在https://github.com/princeton-vl/attach-juxtapose-parser上获得。
2020-10-27 cs.CL
High-order Joint Constituency and Dependency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Inc.（华为公司）
本工作提出一种高阶联合成分与依存句法分析方法，通过在训练阶段引入联合建模、采用$O(n^4)$高效解码算法及高阶评分组件，显著提升了多语言场景下句法树的完全匹配率。
2024-03-26 cs.CL
Multilingual Constituency Parsing with Self-Attention and Pre-Training
University of California, Berkeley（加州大学伯克利分校）
我们表明，选区解析受益于无监督的预训练在各种语言和一系列的预训练条件。我们首先比较了无预训练、fastText、ELMo和BERT对英语的好处，发现BERT优于ELMo，这在很大程度上是由于模型容量的增加，而ELMo反过来又优于非上下文的fastText嵌入。我们还发现，预训练在所有11种测试语言中都是有益的;然而，大的模型大小（超过1亿个参数）使得为每种语言训练单独的模型在计算上非常昂贵。为了解决这个缺点，我们证明了联合多语言预训练和微调允许在最终模型中共享10种语言之间的所有参数，但只有少数参数。与每种语言微调一个模型相比，模型大小减少10倍，只会导致总体相对误差增加3.2%。我们进一步探讨了联合微调的想法，并表明它为低资源语言提供了一种从其他语言的更大数据集中受益的方法。最后，我们展示了11种语言的最新结果，包括英语（95.8 F1）和中文（91.8 F1）。
2019-06-04 cs.CL
Investigating Non-local Features for Neural Constituency Parsing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于神经编码器的强大表示能力，基于神经图表的解析器通过使用局部特征实现了极具竞争力的性能。最近，它已被证明，CRF结构中的非本地功能导致的改善。在本文中，我们研究注入非本地功能的本地跨度为基础的分析器的训练过程中，通过预测成分n-gram非本地模式，并确保非本地模式和本地成分之间的一致性。结果表明，我们的简单的方法给出了更好的结果比自我关注的分析器上的PTB和CTB。此外，我们的方法在PTB上实现了最先进的基于BERT的性能（95.92 F1），在CTB上实现了强大的性能（92.31 F1）。我们的解析器也取得了更好的或有竞争力的性能，在多语言和zero-shot跨域设置相比，基线。
2022-03-28 cs.CL
Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文首次研究口语语句的无监督成分句法分析，比较级联ASR与直接训练两种方法，发现级联方法更优，且准确分割足以解析口语，直接方法能无偏学习头部方向性。
2023-05-09 cs.CL eess.AS
Syntactic Structure Processing in the Brain while Listening
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
句法分析是将句法结构分配给句子的任务。有两种流行的句法分析方法：选区句法分析和依存句法分析。最近的工作已经使用了基于选区树的句法嵌入，增量自上而下的解析，和其他单词的句法特征的大脑活动预测给定的文本刺激，研究如何在大脑的语言网络中表示的语法结构。然而，依赖解析树的有效性或跨大脑区域的各种语法解析器的相对预测能力，特别是对于听力任务，尚未被探索。在这项研究中，我们调查的预测能力的大脑编码模型在三个设置：（一）的选区和依赖句法分析为基础的嵌入方法的个人表现，（二）这些句法分析为基础的嵌入方法的有效性时，控制基本的句法信号，（三）相对有效性的每一个句法嵌入方法时，控制其他。此外，我们探索的相对重要性的句法信息（从这些句法嵌入方法）与语义信息使用BERT嵌入。我们发现，选区解析器有助于解释激活颞叶和额中回，而依赖解析器更好地编码句法结构的角回和后扣带皮层。虽然来自BERT的语义信号比任何句法特征或嵌入方法更有效，但句法嵌入方法解释了一些大脑区域的额外差异。
2023-02-16 cs.CL q-bio.NC
Joint Syntacto-Discourse Parsing and the Syntacto-Discourse Treebank
Oregon State University（俄勒冈州立大学）
语篇分析一直被视为独立于选区分析或依存句法分析的独立问题。解决这个问题的大多数尝试都是流水线式的，而不是端到端的，复杂的，不独立的：他们假设黄金标准的文本分割（基本话语单位），并使用外部解析器的句法特征。在本文中，我们提出了第一个端到端的话语分析器，联合分析在句法和话语水平，以及第一个句法话语树库集成Penn树库与PennyTreebank。该句法-语篇联合分析器建立在我们最近提出的基于跨度的选区分析器的基础上，不需要任何预处理（如分割或特征提取），达到了最先进的端到端语篇分析精度。
2017-08-28 cs.CL
On Parsing as Tagging
在文献中，已经有许多建议将选区解析减少到标记。为了更好地理解这些方法的共同点，我们将几个现有的建议转换为一个统一的管道，包括三个步骤：线性化，学习和解码。特别是，我们展示了如何减少tetratagging，一个国家的最先进的选区标记，转移-减少语法分析上执行一个右角变换，并作出具体的独立性假设。此外，我们经验性地评估我们的分类标记管道与不同的选择线性化，学习器和解码器。基于英语和一组8种类型不同的语言的结果，我们得出结论，线性化的派生树和它的对齐与输入序列是最关键的因素，在实现准确的标签。
2022-11-20 cs.CL
Cross-Domain Generalization of Neural Constituency Parsers
University of California, Berkeley（加州大学伯克利分校）
神经解析器在基准树库上获得了最先进的结果，用于选区解析-但它们在多大程度上推广到其他领域？我们提出了关于零射击（zero-shot）设置中神经解析器泛化的三个结果：对来自一个语料库的树进行训练和对域外语料库进行评估。首先，神经和非神经解析器将XML推广到新的领域。其次，将预先训练的编码器表示纳入神经解析器中，可以大大提高其在所有域中的性能，但对于域外树库并没有更大的相对改善。最后，尽管神经解析器学习了丰富的输入表示，但它们仍然受益于输出树的结构化输出预测，从而获得更高的精确匹配精度和更强的泛化能力，无论是对更大的文本跨度还是对域外语料库。我们分析了英语和汉语语料库的泛化，并在此过程中获得了最先进的解析结果的布朗，Genia和英语网络树库。
2019-07-09 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
Urdu Dependency Parsing and Treebank Development: A Syntactic and Morphological Perspective
COMSATS University Islamabad（伊斯兰堡COMSATS大学）
本文面向低资源、形态复杂的乌尔都语，构建人工标注新闻树库，并结合词性与形态特征训练依存分析器，最佳 LA 达 70%、UAS 达 84%。
2024-10-02 cs.CL cs.LG
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University（天津大学）
句法和语义解析是自然语言处理领域的一个主要研究课题，已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务，这些任务很难被完全覆盖。在这里，我们集中在两个最流行的形式化分析：成分分析和依存句法分析。成分句法分析主要针对句法分析，而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型，以及具有丰富语义的依存图句法分析。此外，本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Constituency Structure over Eojeol in Korean Treebanks
KAIST（韩国国立科学技术院）；Anyang University（安阳大学）
针对韩语成分树库中终端单位选择问题，提出基于语节的成分表示，将形态分割和细粒度词性信息编码在非成分层，支持跨树库比较和成分-依存对齐。
2026-06-25 cs.CL
A Minimal Span-Based Neural Constituency Parser
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个最小的神经模型的标签和跨度的独立评分的基础上，选区解析。我们表明，该模型不仅与经典的动态规划技术兼容，但也承认一个新的贪婪自上而下的推理算法的基础上递归分区的输入。我们的经验表明，这两个预测方案与最近的工作是有竞争力的，当结合基本扩展的评分模型能够实现国家的最先进的单模型性能的Penn Treebank（91.79 F1）和强大的性能的法国Treebank（82.23 F1）。
2017-05-10 cs.CL
jp-evalb: Robust Alignment-based PARSEVAL Measures
The University of British Columbia（不列颠哥伦比亚大学）；Sorbonne Université（索邦大学）
本文提出jp-evalb，一种基于对齐的PARSEVAL度量计算系统，作为evalb的替代方案，通过联合预处理对齐方法解决分词和句子边界不一致问题，实现更灵活、准确的成分句法分析评估。
2024-05-23 cs.CL
Dependency Induction Through the Lens of Visual Perception
Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
以前的大多数语法归纳工作都集中在纯粹从文本中学习短语或依存结构。然而，由于单独由文本提供的信号是有限的，最近推出的视觉接地语法模型利用多模态信息，从而提高性能的选区语法归纳。然而，与依赖语法相比，选区语法不提供一种直接的方法来合并视觉信息，而不强制执行特定于语言的语法。在本文中，我们提出了一个无监督的语法归纳模型，利用词的具体性和基于结构视觉的启发式，共同学习成分结构和依赖结构语法。我们的实验发现，具体性是学习依赖语法的一个强有力的指标，与在纯文本上训练的最先进模型相比，直接依恋得分（DAS）提高了50%以上。接下来，我们提出了一个扩展我们的模型，利用词的具体性和视觉语义角色标签的选区和依存句法分析。我们的实验表明，所提出的扩展优于目前国家的最先进的视觉接地模型在选区分析，即使具有较小的语法大小。
2021-09-20 cs.CL
Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
用于句法分析的人工注释是昂贵的，并且大量资源仅可用于一小部分语言。我们提出的一个问题是，除了使用文本来获得更一般化的词汇特征（即超越词嵌入）之外，是否可以利用大量未标记的文本来改进句法分析器。为此，我们提出了一种新的潜在变量生成模型的半监督句法依存句法分析。由于精确推理是棘手的，我们引入了一个可微松弛获得近似样本和计算梯度相对于解析器参数。我们的方法（微分扰动和解析）依赖于可微的动态规划随机扰动的边缘分数。我们证明了我们的方法与英语，法语和瑞典语的实验的有效性。
2019-02-20 cs.CL cs.LG
Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
我们提出了一个新的，高效的框架语义分析器，标签语义参数的框架谓词。使用强调召回的分段RNN的扩展构建，我们的基本系统实现了有竞争力的性能，而无需调用任何语法解析器。然后，我们介绍了一种方法，只在训练过程中使用来自Penn Treebank的短语句法注释，通过多任务目标;在训练或测试时不需要解析。这种“语法脚手架”提供了一种比传统的语法流水线更便宜的替代方案，并实现了最先进的性能。
2017-06-29 cs.CL
Center-Embedding and Constituency in the Brain and a New Characterization of Context-Free Languages
Columbia University（哥伦比亚大学）
最近，一种专门通过神经元的尖峰放电实现的计算系统被证明具有句法能力，即能够对简单的英语句子进行依存句法分析。我们解决了两个最重要的问题留下开放的工作：选区（识别句子的关键部分，如动词短语）和处理的依赖句，特别是中心嵌入的。我们表明，语言的这两个方面也可以通过神经元和突触来实现，其方式与已知的或广泛认为的语言器官的结构和功能是一致的。令人惊讶的是，我们实现中心嵌入的方式指向了上下文无关语言的新特征。
2022-06-27 cs.CL
Keystroke dynamics as signal for shallow syntactic parsing
University of Groningen（格罗宁根大学）
击键动力学已被广泛用于心理语言学和写作研究，以获得认知加工的见解。但是，日志是否包含可用于学习更好的自然语言处理模型的实际信号？我们假设，句法动态包含的信息，可以通知浅句法分析的句法结构。为了验证这一假设，我们在多任务双向长短期记忆（bi-LSTM）中探索了从多任务日志中导出的标签作为辅助任务。我们的研究结果表明，两个浅层句法分析任务，组块和CCG supertaging有希望的结果。我们的模型很简单，具有数据可以来自不同来源的优势，并且产生的模型明显优于单独使用文本注释训练的模型。
2016-10-11 cs.CL
