Parsing with the Shortest Derivation
普遍的看法是，随机语法偏向于句子的较短派生是有害的，应该得到纠正。我们发现，共同的智慧是错误的随机文法，使用基本树，而不是上下文无关的规则，如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库，而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Aspects of Pattern-Matching in Data-Oriented Parsing
面向数据的语法分析（dop）是最好的语法分析方案之一，它将最先进的语法分析准确性与心理语言学的洞察力相结合，即较大的句法结构块是相关的语法和概率单位。然而，使用dop模型进行语法分析，似乎涉及大量的CPU周期和大量的双重工作，这是由多个推导的概念带来的，这对于概率处理是必要的，但与适当的语言主干没有令人信服的关系。然而，可以将dop模型重新解释为模式匹配模型，其试图最大化构造解析的子结构的大小，而不是解析的概率。通过强调dop模型的这种基于内存的方面，可以消除多个派生，为有效的Viterbi风格优化提供可能性，同时通过增强的上下文敏感性仍然保持可接受的解析准确性。
2000-08-18 cs.CL
Probabilistic Parsing Using Left Corner Language Models
我们介绍了一种新的分析器的基础上的概率版本的左角分析器。左上角策略是有吸引力的，因为规则概率可以以自上而下的目标和自下而上的推导为条件。我们开发的基础理论，并解释如何语法可以从分析数据。我们发现，左角的方法提供了一个优势，简单的自上而下的概率上下文无关的语法在解析华尔街日报使用的语法从宾夕法尼亚树库。我们还得出结论，宾州树库提供了一个相当薄弱的测试平台，由于其括号的平坦性和明显的过度生成和欠生成的诱导语法。
1997-11-17 cmp-lg cs.CL
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型，我们称之为HBG，它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库，称为树库，结合决策树构建来梳理出解析树的相关方面，这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一（我们称之为P-CFG）的头对头测试中，HBG模型明显优于P-CFG，将解析准确率从60%提高到75%，错误减少了37%。
1994-05-03 cmp-lg cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概率分析模型，它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子，使用神经表示作为输入。神经网络架构基于双向LSTM-CNN，通过使用双向LSTM和CNN的组合，自动受益于单词和字符级表示。在神经网络之上，我们引入了一个概率结构层，定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理（Tutte，1984），可以有效地计算分区函数和边缘，从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Three New Probabilistic Models for Dependency Parsing: An Exploration
在提出了一个新的O（n^3）的依存语法分析算法之后，我们提出了三种不同的方法来随机化它：（a）一个词汇亲和模型，其中词之间的相互修饰是困难的;（b）一个意义标记模型，其中词的选择偏好是随机波动的;（c）生成模式，说话者充实每个词的句法和概念结构，而不考虑对听话者的影响。我们还给出了初步的实证结果，从评估三个模型的解析性能的注释华尔街日报训练文本（来自宾夕法尼亚树库）。在这些结果中，生成（即，自上而下）模型的性能明显优于其他模型，并且在分配词性标记方面也表现得相当好。
1997-06-07 cmp-lg cs.CL
Apportioning Development Effort in a Probabilistic LR Parsing System through Evaluation
我们描述了一个强大的独立于领域的英语句法分析的实现系统，使用基于统一的语法部分的语音和标点符号标签加上概率LR解析器。我们提出了沿着几个不同的维度的系统的性能的评估，这些使我们能够评估的贡献，每个单独的部分是作为一个整体的系统的成功，从而优先考虑的努力致力于其进一步增强。目前，该系统能够解析包含许多不同类型的一般文本的大量语料库中约80%的句子。在随机抽样的250个这样的句子，该系统有一个平均交叉括号率为0.71和召回率和准确率分别为83%和84%时，对人工消歧分析进行评估。
1996-04-12 cmp-lg cs.CL
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University（天津大学）
句法和语义解析是自然语言处理领域的一个主要研究课题，已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务，这些任务很难被完全覆盖。在这里，我们集中在两个最流行的形式化分析：成分分析和依存句法分析。成分句法分析主要针对句法分析，而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型，以及具有丰富语义的依存图句法分析。此外，本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Top-down Discourse Parsing via Sequence Labelling
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们引入了一种自上而下的话语分析方法，这种方法在概念上比它的前辈更简单（Kobayashi等人，2020; Zhang等人，2020年）。通过框架的任务作为一个序列标签的问题，其目标是迭代分割成单独的话语单位的文件，我们能够消除解码器，并减少分裂点的搜索空间。我们探讨了传统的循环模型和现代的预训练的Transformer模型的任务，并引入了一种新的自顶向下的解析动态预言。基于Full度量，我们提出的LSTM模型为XML解析提供了一种新的最先进的技术。
2021-04-05 cs.CL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
领域通用语义解析是自然语言处理中的长期目标，其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督，以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型，并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法，用于训练，解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程（HDP）的结构化预测，我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov（2022）的论文，其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov，Saraswat和Mitchell（2017）首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中，训练算法，解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外，我们扩展了早期的工作与一个新的模型的词形态，它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities
我们描述了Earley的随机上下文无关文法分析器的一个扩展，它在给定随机上下文无关文法和输入字符串的情况下计算以下量：a）由文法生成的连续前缀的概率; b）由非终结符生成的子串的概率，包括由文法生成的整个字符串; c）字符串的最可能（Viterbi）分析; d）根据重新估计规则概率的需要，每个语法产生式的应用的后验预期数量。(a)和（b）在输入上的单次从左到右传递中递增地计算。我们的算法相比，毫不逊色标准的自下而上的SCFG解析方法，它有效地利用Earley的自上而下的控制结构稀疏语法。它可以处理任何上下文无关的规则格式，而无需转换为某种范式，并将（a）到（d）的计算组合在一个算法中。最后，该算法有简单的扩展处理部分括号的输入，并找到部分分析和他们的可能性不符合语法的输入。
1994-11-28 cmp-lg cs.CL
Fine-tuning a Subtle Parsing Distinction Using a Probabilistic Decision Tree: the Case of Postnominal "that" in Noun Complement Clauses vs. Relative Clauses
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
本文研究了英语关系和名词性补足语从句的两种不同的句法分析方法，并对它们的对应关系代词和补足语使用了不同的标记。我们使用了一个算法来重新标记一个语料库解析与GUM树库使用通用依赖。我们的第二个实验包括使用TreeTagger，一种概率决策树，来学习名词性后“that”的两种补语和相对用法之间的区别。我们研究了训练集大小对TreeTagger准确性的影响，以及GUM Treebank文件对两种结构的代表性。我们讨论了这种区别的可学习性的一些语言和结构原则。
2022-12-05 cs.CL cs.IR cs.LG
A Top-Down Neural Architecture towards Text-Level Parsing of Discourse Rhetorical Structure
Soochow University（苏州大学）
语篇修辞结构的文本级句法分析在自然语言的深层理解和各种下游应用中具有重要意义，近年来受到越来越多的关注。然而，以往的文本级语篇分析研究都是采用自底向上的方法，这使得DRS的确定仅限于局部信息，不能充分利用语篇整体信息。在本文中，我们证明从计算和感知的角度来看，自顶向下的架构更适合于文本级DRS解析。在此基础上，我们提出了一个自顶向下的神经网络结构的文本级DRS解析。特别是，我们铸造的话语分析作为一个递归的分裂点排名任务，其中一个分裂点被分类到不同的水平，根据其排名和与之相关的基本话语单位（EDU）相应地安排。以这种方式，我们可以通过具有内部堆栈的编码器-解码器将完整的DRS确定为分层树结构。在英文RST-DT语料库和中文CDTB语料库上的实验结果表明，本文提出的自顶向下方法对文本级DRS句法分析是有效的。
2021-05-19 cs.CL
Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了新的动态预言机训练两个最准确的已知移位减少算法成分分析：自顶向下和顺序转换为基础的分析器。在这两种情况下，与通过执行经典静态训练获得的准确性相比，动态预言机能够显著提高其准确性。此外，通过提高最先进的顺序移位-归约解析器的性能，我们实现了迄今为止最好的准确度（92.0 F1），通过WSJ基准测试的全监督单模型贪婪移位-归约成分解析器获得。
2018-10-25 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
In-Order Transition-based Constituent Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
自下而上和自上而下两种策略都被用于基于神经转换的成分句法分析。解析策略的不同之处在于它们在派生树中识别产生式的顺序，其中自底向上策略和自顶向下策略分别对树进行后序和前序遍历。自下而上的解析器从容易构建的部分解析器的丰富功能中受益，但是在解析过程中缺乏前瞻性指导;自上而下的句法分析器从非局部的局部决策指导中获益，但是依赖于对输入的强编码器来在其构造之前预测组成层次。为了减轻这两个问题，我们提出了一种基于句法树的有序遍历的新的句法分析系统，设计一组转换动作以找到自下而上的组成信息和自上而下的先行信息之间的折衷。基于stack-LSTM，我们的心理语言动机成分分析系统在WSJ基准测试中达到了91.8 F1。此外，该系统实现了93.6 F1与监督重排序和94.2 F1与半监督重排序，这是最好的结果在华尔街日报基准。
2017-07-17 cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est（巴黎-est大学）；LIGM（语言与信息学实验室）
本文通过将法语句法词典（Lexicon-Grammar）的数据整合到概率解析器中，并应用聚类方法于法语树库的动词，提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
AMR Parsing as Graph Prediction with Latent Alignment
ILCC, School of Informatics, University of Edinburgh（爱丁堡大学信息学院ILCC）；ILLC, University of Amsterdam（阿姆斯特丹大学ILLC）
抽象意义表示（AMR）是一种覆盖面很广的层次语义表示。AMR将句子表示为带根标记的有向无环图。AMR解析具有挑战性，部分原因是图中的节点与相应句子中的单词之间缺乏注释对齐。我们引入了一个神经解析器，它将对齐视为概念，关系和对齐的联合概率模型内的潜在变量。由于精确推理需要边缘化对齐，是不可行的，我们使用变分自动编码框架和连续松弛的离散对齐。我们表明，联合建模是最好的使用管道对齐和解析。该解析器在标准基准测试中获得了最好的报告结果（在LDC 2016E25上为74.4%）。
2018-05-14 cs.CL
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义，设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法，以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库，以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
Parsing with Principles and Probabilities
本文试图将两种语言分析方法结合起来。可能使用的概率信息的原则为基础的语法和语法分析器，包括讨论出现的一些理论和计算问题。最后，这些想法的部分实现，以及一些初步的结果，从测试的一小部分句子。
1994-08-02 cmp-lg cs.CL
Three Generative, Lexicalised Models for Statistical Parsing
在本文中，我们首先提出了一个新的统计分析模型，这是一个生成模型的词汇化上下文无关语法。然后，我们扩展了模型，包括一个概率处理的子分类和WH-运动。在华尔街日报文本上的结果显示，解析器的成分精确率/召回率为88.1/87.5%，平均提高了2.3%（Collins 96）。
1997-06-17 cmp-lg cs.CL
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出利用最优传输对齐概率潜变量以最小化跨语言散度，从而在少样本条件下实现跨语言语义解析，并在MTOP和MultiATIS++SQL上取得最先进结果。
2023-07-09 cs.CL
Towards General Natural Language Understanding with Probabilistic Worldbuilding
Carnegie Mellon University（卡内基梅隆大学）
我们引入概率世界构建模型（PWM），一个新的完全符号化的贝叶斯语义解析和推理模型，作为研究计划的第一步，走向更多的领域和任务一般的NLU和AI。人类创造了他们观察的内部心理模型，这大大有助于他们理解和推理各种问题的能力。在PWM中，句子的含义，关于世界的已获取事实，以及推理的中间步骤都以人类可读的形式语言表示，其设计目标是可解释性。PWM是贝叶斯的，专门设计为能够推广到新的领域和新的任务。我们推导并实现了一个推理算法，该算法通过解析和推导更新其潜在的世界模型来读取句子，该模型捕获这些句子的语义，并在两个域外问答数据集上对其进行评估：（1）ProofWriter和（2）一个新的数据集，我们称之为FictionalGeoQA，旨在更能代表真实语言，但仍然足够简单，可以专注于评估推理能力，同时还能抵抗寄生虫。我们的方法在这两个方面都优于基线，从而证明了其作为概念验证的价值。
2021-12-20 cs.CL
Parsing Inside-Out
内部-外部概率通常用于重新估计概率上下文无关语法（PCFG），就像前向-后向概率通常用于重新估计延迟一样。我展示了几个新的用途，包括通过匹配解析算法来提高解析器的准确性，以评估标准;加快DOP解析500倍;在给定的准确性水平下，PCFG阈值的速度加快30倍。我还给出了一个优雅的，最先进的语法形式主义，它可以用来计算内外概率;和解析器描述形式主义，这使得它很容易得出内外公式和许多其他。
1998-05-19 cmp-lg cs.CL
Compositional Task-Oriented Parsing as Abstractive Question Answering
Cornell University（康奈尔大学）；Amazon Alexa AI（亚马逊Alexa AI）
面向任务的解析（TOP）旨在将自然语言转换为特定任务（如设置警报）的机器可读表示。TOP的一种流行方法是应用seq2seq模型来生成线性解析树。最近的一项工作认为，预先训练的seq2seq模型更善于生成本身就是自然语言的输出，因此它们用规范的自然语言释义取代线性化的解析树，然后可以轻松地翻译成解析树，从而产生所谓的自然化解析器。在这项工作中，我们继续探索自然语义解析提出了一个一般的减少TOP抽象的问答，克服了一些规范释义的局限性。实验结果表明，我们的基于QA的技术优于国家的最先进的方法，在全数据设置，同时实现显着的改善，在Few-Shot设置。
2022-05-04 cs.CL
A Statistical Parsing Framework for Sentiment Classification
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
在这篇文章中，我们提出了一个统计分析框架，用于情感分类。不同于以往的作品，采用句法分析结果的情感分析，我们开发了一个统计分析器，直接分析句子的情感结构。我们证明了情感分析中的复杂现象（例如，否定、强化和对比）可以以统一和概率的方式与简单和直接的情感表达相同地处理。我们制定的情感语法上上下文无关文法（CFGs），并提供了一个正式的描述的情感分析框架。我们开发的解析模型，以获得可能的情感分析树的句子，从极性模型提出了推导出的情感强度和极性，和排名模型是专门选择最好的情感树。我们训练的解析器直接从句子的例子注释只有情感极性标签，但没有任何句法注释或极性注释的成分在句子内。因此，我们可以很容易地获得训练数据。特别是，我们训练一个情感分析器，S.分析器，从大量的评论句子与用户的评级作为粗略的情感极性标签。在现有基准数据集上进行的大量实验表明，与基线情感分类方法相比，该方法有显着的改进。
2015-03-05 cs.CL
Memoization of Top Down Parsing
本文讨论了自上而下记忆识别器和图表分析器之间的关系。它提出了一个版本的memoization适合于连续传递风格的程序。当应用于自顶向下识别器的简单形式化时，它会产生一个终止解析器。
1995-04-25 cmp-lg cs.CL
Integrative Semantic Dependency Parsing via Efficient Large-scale Feature Selection
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
语义解析，即，诸如句子的实例化谓词-论元结构的意义表示的自动推导在自然语言的深度处理中起着关键作用。与所有其他顶级的语义依存句法分析系统不同，它们必须依赖于管道框架来链接一系列子模型，每个子模型专门用于特定的子任务，本文中介绍的系统将所有内容集成到一个模型中，希望在保持有竞争力的性能的同时，为实际应用程序实现理想的完整性和实用性。这种综合的方法处理语义解析作为一个词对分类问题，使用最大熵分类器。我们利用参数候选的自适应修剪和大规模特征选择工程来允许该领域迄今为止使用的最大特征空间，它在CoNLL-2008共享任务的评估数据集上实现了最先进的性能，除了一个顶级管道系统之外，证实了其可行性和有效性。
2014-01-23 cs.CL
SmBoP: Semi-autoregressive Bottom-up Semantic Parsing
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
近年来，用于语义解析的事实标准解码方法是使用自顶向下的深度优先遍历对目标程序的抽象语法树进行自回归解码。在这项工作中，我们提出了一种替代方法：半自回归自自底向上的【形】解析器（SmBoP），在解码步骤$t$构建高度$\leq t$的顶部$K$子树。我们的解析器享有自顶向下自回归解析相比，几个好处。从效率的角度来看，自自底向上的【形】解析允许并行解码特定高度的所有子树，导致对数运行时复杂度而不是线性的。从建模的角度来看，自自底向上的【形】的解析器在每一步都学习有意义的语义子程序的表示，而不是语义空洞的部分树。我们将SmBoP应用于Spider，一个具有挑战性的zero-shot语义解析基准测试，并表明SmBoP导致解码时间的2.2倍加速和训练时间的$\sim$ 5倍加速，与使用自回归解码的语义解析器相比。SmBoP在Spider上获得了71.1的表示准确度，建立了一个新的最先进的技术，以及69.5的精确匹配，与自回归RAT-SQL+GraPPa的69.6精确匹配相当。
2021-04-11 cs.CL
Multilingual Neural Semantic Parsing for Low-Resourced Languages
Amazon Research Cambridge（亚马逊剑桥研究院）
多语言语义解析是一种经济有效的方法，它允许单个模型理解不同的语言。然而，研究人员面临着训练数据的可用性很大的不平衡，英语资源丰富，而其他语言的数据少得多。为了解决数据限制的问题，我们提出使用机器翻译引导多语言训练数据从更丰富的英语数据。为了补偿机器翻译的训练数据的数据质量，我们利用来自预训练的多语言编码器的迁移学习来进一步改进模型。为了评估我们的多语言模型对人类写的句子，而不是机器翻译的，我们介绍了一个新的多语言语义解析数据集的基础上，Facebook的任务导向解析（TOP）数据集的英语，意大利语和日语。我们发现，使用预训练编码器的联合多语言训练在TOP数据集上的表现远远优于我们的基线，并且在公共NLMaps数据集上的表现优于最先进的模型。我们还在TOP数据集上建立了一个新的零样本学习基线。我们发现，一个语义解析器只训练英语数据实现了zero-shot性能的44.9%的精确匹配准确度对意大利语句子。
2021-06-14 cs.CL
Second-Order Unsupervised Neural Dependency Parsing
ShanghaiTech University（上海科技大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴达摩院，阿里巴巴集团）；National University of Singapore（新加坡国立大学）
大多数无监督依赖解析器都是基于一阶概率生成模型，只考虑局部父子信息。受二阶监督依存句法分析的启发，我们提出了一个二阶扩展的无监督神经依赖模型，将祖父母-子女或兄弟姐妹的信息。我们还提出了一种新的设计的神经参数化和依赖模型的优化方法。在二阶模型中，语法规则的数量随着词汇量的增加而立方地增长，这使得训练可能包含数千个单词的词汇化模型变得困难。为了避免这个问题，同时仍然受益于二阶解析和词汇化，我们使用基于协议的学习框架，共同训练二阶非词汇化模型和一阶词汇化模型。多个数据集上的实验表明，我们的二阶模型的有效性与最近的国家的最先进的方法相比。我们的联合模型在WSJ完整测试集上比以前最先进的解析器提高了10%
2020-10-28 cs.CL
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Modelling Child Learning and Parsing of Long-range Syntactic Dependencies
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
提出一种基于儿童导向言语与逻辑形式的概率语言习得模型，可同时学习词义和句法，并成功建模长距离句法依存。
2025-03-17 cs.CL
Selective Magic HPSG Parsing
我们提出了一个解析器的约束逻辑语法实现HPSG，结合了动态自下而上和先进的自上而下的控制的优势。解析器允许用户将魔术编译应用于语法中的特定约束，因此可以以自底向上和目标导向的方式动态处理。最先进的自上而下的处理技术用于处理剩余的约束。我们讨论了有关的语法开发系统的一部分，分析器的实施的各个方面。
1999-07-08 cs.CL
Robust stochastic parsing using the inside-outside algorithm
本文描述了一个分析器的序列（英语）部分的语音标签，它利用概率语法训练使用的内-外算法。初始（Meta）语法由语言学家定义，并自动生成与元语法约束兼容的进一步规则。在训练过程中，概率非常低的规则被拒绝，从而产生一个能够对替代分析进行排名的广泛覆盖的解析器。一系列基于语料库的实验描述了该句法分析器的性能。
1994-12-19 cmp-lg cs.CL
A probabilistic top-down parser for minimalist grammars
UCLA（加州大学洛杉矶分校）；ENS（巴黎高等师范学院）
本文描述了一个概率自顶向下的最简文法分析器。自顶向下的解析器有一个很大的优势，在解析过程中有一定的预测能力，这发生在一个从左到右阅读的句子。这样的解析器已经在上下文无关文法的情况下得到了很好的实现和研究，它已经是自上而下的，但这些很难适应自下而上生成句子的极简主义文法。我在这里提出了一种重写最简文法作为线性上下文无关重写系统的方法，允许轻松地创建自顶向下的解析器。这种重写还允许在这些语法上放置概率字段，这可以用于加速解析器。最后，我提出了一种方法，通过使用数据压缩中使用的算法来细化概率场。
2010-10-09 cs.CL
Tree-gram Parsing: Lexical Dependencies and Structural Relations
本文探讨了在句法消歧中重要的概率关系类型。它提出了两种广泛使用的关系，词汇依赖和结构关系，具有互补的消歧能力。它提出了一个新的模型的基础上结构关系，Tree-gram模型，并报告的实验表明，结构关系应受益于丰富的词汇依赖。
2000-11-06 cs.AI cs.CL cs.HC
A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
为了推广和进一步发展RST风格的语篇分析模型，我们需要一个强有力的基线，可以被视为报告可靠的实验结果的参考。本文通过将现有的简单解析策略（自上而下和自下而上）与各种基于transformer的预训练语言模型相集成，探索了一个强大的基线。在两个基准数据集上的实验结果表明，句法分析的性能主要依赖于预训练的语言模型，而不是句法分析策略。特别是，自底向上的解析器实现了大的性能增益相比，目前最好的解析器时，采用DeBERTa。我们进一步揭示，语言模型与跨度掩蔽计划，特别是提高分析性能，通过我们的分析内和多个领域的分析，和核预测。
2022-11-01 cs.CL
A Deep Architecture for Semantic Parsing
University of Oxford（牛津大学）
许多成功的语义解析方法都建立在文本的句法分析之上，并利用分布表示或统计模型将解析结果与特定于本体的查询进行匹配。本文提出了一种新的深度学习架构，通过联合语言语义的两个神经模型来提供语义解析系统。它允许从自然语言语句和问题中生成特定于本体的查询，而不需要解析，这使得它特别适合语法错误或语法不典型的文本，如tweets，以及允许为资源贫乏的语言开发语义解析器。
2014-04-29 cs.CL
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo（维戈大学）
本文提出基于Stack-Transformers的移进-归约任务型语义解析器，融合自底向上和按序转移系统，在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Dependency Parsing with Bottom-up Hierarchical Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
依存句法分析是实现深度语言理解的关键一步，因此被众多自然语言处理应用广泛需求。特别是，依赖于指针网络的从左到右和自上而下的基于转换的算法是执行依存句法分析的最准确的方法之一。此外，对于自顶向下算法，已经观察到指针网络的顺序解码可以通过实现更适合于模型依赖结构的分层变体来改进。考虑到这一切，我们开发了一个自自底向上的【形】的面向层次指针网络的左到右的解析器，并提出了两个新的过渡为基础的替代品：一种方法，解析一个句子从右到左的顺序和一个变种，这样做，从外到内。我们在各种语言上使用不同的算法对所提出的神经架构进行了实证测试，几乎在所有语言上都优于原始方法，并在英语和中文Penn Treebanks上为非上下文化和基于BERT的嵌入设置了新的最先进的结果。
2022-10-25 cs.CL
Cross-TOP: Zero-Shot Cross-Schema Task-Oriented Parsing
Amazon Alexa AI（亚马逊Alexa人工智能部门）；The Ohio State University（俄亥俄州立大学）
深度学习方法已经能够对日益复杂的话语进行面向任务的语义解析。然而，单个模型通常仍然被单独地训练和部署用于每个任务，需要用于每个任务的标记的训练数据，这使得支持新任务具有挑战性，即使在单个业务垂直（例如，食品订购或旅行预订）。在本文中，我们描述了跨TOP（跨模式面向任务的解析），一个zero-shot方法复杂的语义解析在一个给定的垂直。通过利用来自相同垂直的用户请求共享词汇和语义相似性的事实，训练单个跨模式解析器来服务垂直内的任意数量的任务，无论是可见的还是不可见的。我们表明，交叉TOP可以实现高精度的一个以前看不见的任务，而不需要任何额外的训练数据，从而提供了一个可扩展的方式来引导语义解析器的新任务。作为这项工作的一部分，我们发布了FoodOrdering数据集，这是一个面向任务的解析数据集，在食物订购垂直领域，话语和注释来自五个模式，每个模式来自不同的餐厅菜单。
2022-06-10 cs.CL cs.LG
Pearl: A Probabilistic Chart Parser
本文描述了一种自然语言分析算法，该算法使用基于概率的评分函数来选择句子的“最佳”分析。解析器Pearl是一个时间异步的自下而上的图表解析器，具有Earley型自上而下的预测，它追求图表中得分最高的理论，其中理论的得分代表句子的上下文预测该解释的程度。这个解析器与以前的随机解析器不同，它使用了更丰富的基于上下文的条件概率来预测可能性。Pearl还提供了一个框架，用于将以前在词性分配、未知词模型和其他语言特征概率模型方面的工作成果合并到一个解析工具中，交错使用这些技术，而不是使用传统的管道架构。在初步测试中，Pearl成功地解决了词性和单词（语音处理中）的歧义，确定了未知单词的类别，并首先使用非常松散的覆盖语法选择了正确的解析。
1994-05-03 cmp-lg cs.CL
Core Semantic First: A Top-down Approach for AMR Parsing
The Chinese University of Hong Kong（香港中文大学）
我们介绍了一种新的方案，用于解析一段文本到其抽象意义表示（AMR）：基于图生成的解析（GSP）。GSP的一个新特性是它以自顶向下的方式递增地构造解析图。从根节点开始，在每一步中，新节点及其与现有节点的连接将被联合预测。输出图按照到根的距离跨越节点，遵循首先抓住主要思想然后挖掘更多细节的直觉。\textit{core semantic first}原则强调捕捉句子的主要思想，这是非常有趣的。我们评估我们的模型在最新的AMR sembank，并实现了国家的最先进的性能，在这个意义上，没有启发式图重新分类。更重要的是，实验表明，我们的解析器是特别好的获得核心语义。
2019-09-12 cs.AI cs.CL
Fast Statistical Parsing of Noun Phrases for Document Indexing
信息检索（IR）是自然语言处理（NLP）的一个重要应用领域，人们遇到了处理大量无限制自然语言文本的真正挑战。虽然已经做出了很大的努力，将NLP技术应用于IR，但很少有NLP技术在大于几兆字节的文档集合上进行评估。许多NLP技术在处理大量文本时效率不够高，也不够健壮。本文提出了一种新的概率模型的名词短语分析，并报告了这样的分析技术，以提高文档索引的应用。使用语法分析器提供的短语，以补充单个单词的索引的有效性进行评估与250兆字节的文档集合。实验结果表明，在单个词的基础上增加句法短语进行索引，可以显著提高检索性能。
1997-02-12 cmp-lg cs.CL
An Empirical Evaluation of Probabilistic Lexicalized Tree Insertion Grammars
我们提出了一个实证研究的适用性概率词汇化树插入语法（PLTIG），词汇化对应概率上下文无关语法（PCFG），随机自然语言处理的问题。PLTIG与非层次N-gram模型和PCFG的性能比较，我们表明，PLTIG结合了两者的最佳方面，与语言建模能力相媲美的N-gram，并提高了解析性能，其非词汇化的对应。此外，PLTIG的训练显示出比PCFG更快的收敛。
1998-08-04 cmp-lg cs.CL
Multi-Round Parsing-based Multiword Rules for Scientific OpenIE
University of Notre Dame（圣母大学）
科学文献中的信息抽取（IE）促进了许多下游任务。OpenIE不需要任何关系模式，但识别一个关系短语来描述主体和客体之间的关系，是IE在科学领域的一个热门话题。主语、宾语和关系通常是多词表达式，这给在非常有限甚至没有训练数据的情况下识别表达式边界的方法带来了挑战。在这项工作中，我们提出了一套规则提取结构化信息的基础上依存句法分析，可以适用于任何科学数据集，不需要专家的注释。新数据集上的实验结果表明了该方法的有效性。我们也讨论了负面的结果。
2021-08-04 cs.CL
kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Huazhong University of Science and Technology（华中科技大学）；Columbia University（哥伦比亚大学）；The Hong Kong Polytechnic University（香港理工大学）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
针对大语言模型应用于语义解析的提示设计、长度限制等问题，提出k近邻上下文学习方法kNN-ICL，可兼容任意提示策略并调用全部示例，在TOP任务上性能媲美强监督模型，且无需额外数据即可提升复杂请求理解能力。
2023-12-17 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型，他们，我们调查使用多任务学习（MTL）架构。我们使用五个数据集（Geoquery，NLMaps，TOP，Overnight，AMR）进行实验。我们发现，跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性，同时将参数总数减少了68%。我们进一步提供的证据表明，MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较，并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego（加州大学圣迭戈分校）；Microsoft Semantic Machines（微软语义机器公司）
我们探讨使用大语言模型（LLM）的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练，并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中，我们提出了ZEROTOP，一个zero-shot面向任务的分析方法，将语义解析问题分解成一组抽象和提取的问答（QA）问题，使我们能够利用LLM的能力，zero-shot回答阅读理解问题。对于每一个话语，我们提示LLM与问题相对应的顶级意图和一组插槽，并使用LLM代构建的目标意义表示。我们观察到，目前的LLM无法检测到无法回答的问题，因此，无法处理与缺失插槽对应的问题。为了解决这个问题，我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明，我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%，而不需要任何注释数据。
2022-12-21 cs.CL
The Power of Prompt Tuning for Low-Resource Semantic Parsing
ServiceNow Research（ServiceNow研究院）；Mila（Mila研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
提示微调最近已经成为一种有效的方法，用于使预训练的语言模型适应许多语言理解和生成任务。在本文中，我们研究提示微调的语义解析-映射自然语言的话语到正式的意义表示的任务。在Overnight和TOPv 2的低资源分割上，我们发现即时调整的T5-xl显著优于其微调的对应物，以及强大的GPT-3和BART基线。我们还在不同的模型规模和目标表示中进行了消融研究，发现随着模型规模的增加，及时调整的T5模型在生成远离训练前分布的目标表示方面有所改善。
2022-04-01 cs.CL
Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning
Google（谷歌）
语义解析（SP）是现代虚拟助手（如Google Assistant和Amazon Alexa）的核心组件。虽然基于序列到序列的自回归（AR）方法对于会话语义解析是常见的，但是最近的研究使用非自回归（NAR）解码器并且在保持竞争性解析质量的同时减少推理延迟。然而，NAR解码器的主要缺点是难以生成top-k（即，k-best）输出。为了解决这一挑战，我们提出了一种新的NAR语义解析器，它引入了解码器上的意图条件。受传统意图和槽标记解析器的启发，我们将顶层意图预测与解析的其余部分分离。由于顶级意图在很大程度上控制解析的语法和语义，因此意图调节允许模型更好地控制束搜索并提高前k个输出的质量和多样性。我们引入了一种混合的教师强迫方法，以避免训练和推理不匹配。我们评估建议的NAR会话SP数据集，TOP和TOPv 2。与现有的NAR模型一样，我们保持了O（1）的解码时间复杂度，同时生成更多样化的输出，并将前3个精确匹配（EM）提高了2.4个点。与AR模型相比，我们的模型加快了束搜索推理6.7倍的CPU与竞争力的top-k EM。
2022-04-14 cs.AI cs.CL cs.LG
