Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对语音直接依存句法分析任务，评估基于图和基于序列标注两种分析范式在大规模法语口语树库上的表现，证实基于图的方法性能更优，且直接语音分析在参数量少30%的情况下仍优于ASR加句法分析的流水线方法。
2024-06-18 cs.CL
Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies
University of Copenhagen（哥本哈根大学）
在语义依存句法分析（SDP）中，语义关系形成有向无环图，而不是树。我们提出了一个新的迭代谓词选择（IPS）算法的SDP。我们的IPS算法结合了基于图和基于转换的解析方法，以处理多个语义中心词。我们使用多任务学习和特定于任务的策略梯度训练的组合来训练IPS模型。通过这种方式训练，IPS在SemEval 2015 Task 18数据集上达到了新的技术水平。此外，我们观察到，策略梯度训练学习一个容易的第一个策略。
2019-06-04 cs.CL
Parsing with the Shortest Derivation
普遍的看法是，随机语法偏向于句子的较短派生是有害的，应该得到纠正。我们发现，共同的智慧是错误的随机文法，使用基本树，而不是上下文无关的规则，如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库，而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Aspects of Pattern-Matching in Data-Oriented Parsing
面向数据的语法分析（dop）是最好的语法分析方案之一，它将最先进的语法分析准确性与心理语言学的洞察力相结合，即较大的句法结构块是相关的语法和概率单位。然而，使用dop模型进行语法分析，似乎涉及大量的CPU周期和大量的双重工作，这是由多个推导的概念带来的，这对于概率处理是必要的，但与适当的语言主干没有令人信服的关系。然而，可以将dop模型重新解释为模式匹配模型，其试图最大化构造解析的子结构的大小，而不是解析的概率。通过强调dop模型的这种基于内存的方面，可以消除多个派生，为有效的Viterbi风格优化提供可能性，同时通过增强的上下文敏感性仍然保持可接受的解析准确性。
2000-08-18 cs.CL
Systematic Investigation of Strategies Tailored for Low-Resource Settings for Low-Resource Dependency Parsing
IIT Kanpur（印度理工学院坎普尔分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
在这项工作中，我们专注于低资源的依存句法分析的多种语言。有几项战略是专门为提高低资源情况下的业绩而制定的。虽然这些都是众所周知的社区，这是不平凡的选择这些策略的最佳组合，我们感兴趣的低资源的语言，并没有太多的注意力已经给予衡量这些策略的有效性。我们在7种通用依赖（UD）低资源语言上试验了5种低资源策略。我们对这些语言的详尽实验支持对预训练模型中未涵盖的语言进行有效改进。我们展示了一个成功的应用程序的集成系统上一个真正的低资源语言梵语。代码和数据可在https://github.com/Jivnesh/SanDP上获得
2023-01-29 cs.CL
Probabilistic Parsing Using Left Corner Language Models
我们介绍了一种新的分析器的基础上的概率版本的左角分析器。左上角策略是有吸引力的，因为规则概率可以以自上而下的目标和自下而上的推导为条件。我们开发的基础理论，并解释如何语法可以从分析数据。我们发现，左角的方法提供了一个优势，简单的自上而下的概率上下文无关的语法在解析华尔街日报使用的语法从宾夕法尼亚树库。我们还得出结论，宾州树库提供了一个相当薄弱的测试平台，由于其括号的平坦性和明显的过度生成和欠生成的诱导语法。
1997-11-17 cmp-lg cs.CL
In-Order Transition-based Constituent Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
自下而上和自上而下两种策略都被用于基于神经转换的成分句法分析。解析策略的不同之处在于它们在派生树中识别产生式的顺序，其中自底向上策略和自顶向下策略分别对树进行后序和前序遍历。自下而上的解析器从容易构建的部分解析器的丰富功能中受益，但是在解析过程中缺乏前瞻性指导;自上而下的句法分析器从非局部的局部决策指导中获益，但是依赖于对输入的强编码器来在其构造之前预测组成层次。为了减轻这两个问题，我们提出了一种基于句法树的有序遍历的新的句法分析系统，设计一组转换动作以找到自下而上的组成信息和自上而下的先行信息之间的折衷。基于stack-LSTM，我们的心理语言动机成分分析系统在WSJ基准测试中达到了91.8 F1。此外，该系统实现了93.6 F1与监督重排序和94.2 F1与半监督重排序，这是最好的结果在华尔街日报基准。
2017-07-17 cs.CL
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型，我们称之为HBG，它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库，称为树库，结合决策树构建来梳理出解析树的相关方面，这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一（我们称之为P-CFG）的头对头测试中，HBG模型明显优于P-CFG，将解析准确率从60%提高到75%，错误减少了37%。
1994-05-03 cmp-lg cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概率分析模型，它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子，使用神经表示作为输入。神经网络架构基于双向LSTM-CNN，通过使用双向LSTM和CNN的组合，自动受益于单词和字符级表示。在神经网络之上，我们引入了一个概率结构层，定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理（Tutte，1984），可以有效地计算分区函数和边缘，从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Three New Probabilistic Models for Dependency Parsing: An Exploration
在提出了一个新的O（n^3）的依存语法分析算法之后，我们提出了三种不同的方法来随机化它：（a）一个词汇亲和模型，其中词之间的相互修饰是困难的;（b）一个意义标记模型，其中词的选择偏好是随机波动的;（c）生成模式，说话者充实每个词的句法和概念结构，而不考虑对听话者的影响。我们还给出了初步的实证结果，从评估三个模型的解析性能的注释华尔街日报训练文本（来自宾夕法尼亚树库）。在这些结果中，生成（即，自上而下）模型的性能明显优于其他模型，并且在分配词性标记方面也表现得相当好。
1997-06-07 cmp-lg cs.CL
Why Are Parsing Actions for Understanding Message Hierarchies Not Random?
Preferred Networks, Inc.（Preferred Networks公司）；The University of Tokyo（东京大学）
针对涌现通信中随机解析策略仍能实现高准确率的问题，本研究通过引入层级结构复杂输入并将惊异度相关项纳入目标函数，评估随机解析策略是否仍具优势。
2025-06-27 cs.CL
A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
为了推广和进一步发展RST风格的语篇分析模型，我们需要一个强有力的基线，可以被视为报告可靠的实验结果的参考。本文通过将现有的简单解析策略（自上而下和自下而上）与各种基于transformer的预训练语言模型相集成，探索了一个强大的基线。在两个基准数据集上的实验结果表明，句法分析的性能主要依赖于预训练的语言模型，而不是句法分析策略。特别是，自底向上的解析器实现了大的性能增益相比，目前最好的解析器时，采用DeBERTa。我们进一步揭示，语言模型与跨度掩蔽计划，特别是提高分析性能，通过我们的分析内和多个领域的分析，和核预测。
2022-11-01 cs.CL
Joining Hands: Exploiting Monolingual Treebanks for Parsing of Code-mixing Data
IIIT-H（海得拉巴国际信息技术学院）
在本文中，我们提出了有效的和资源密集型的策略，代码混合数据的解析。这些策略不受域内注释的限制，而是利用预先存在的单语注释资源进行训练。我们表明，这些方法可以产生显着更好的结果相比，知情的基线。此外，我们还提出了一个数据集的450印地语和英语代码混合推文的印地语多语种的人进行评估。该数据集是手动注释与通用自动化。
2017-03-31 cs.CL
Apportioning Development Effort in a Probabilistic LR Parsing System through Evaluation
我们描述了一个强大的独立于领域的英语句法分析的实现系统，使用基于统一的语法部分的语音和标点符号标签加上概率LR解析器。我们提出了沿着几个不同的维度的系统的性能的评估，这些使我们能够评估的贡献，每个单独的部分是作为一个整体的系统的成功，从而优先考虑的努力致力于其进一步增强。目前，该系统能够解析包含许多不同类型的一般文本的大量语料库中约80%的句子。在随机抽样的250个这样的句子，该系统有一个平均交叉括号率为0.71和召回率和准确率分别为83%和84%时，对人工消歧分析进行评估。
1996-04-12 cmp-lg cs.CL
Synchronous Context-Free Grammars and Optimal Linear Parsing Strategies
Università di Firenze（佛罗伦萨大学）；University of Rochester（罗切斯特大学）；Università di Milano（米兰大学）；Università di Roma Tor Vergata（罗马第二大学（托尔·维尔加塔））；University of Padua（帕多瓦大学）
同步上下文无关文法（SCFG），也称为语法指导的翻译模式，与上下文无关文法不同之处在于它们没有二进制范式。通常，使用SCFG进行解析需要输入字符串长度的空间和时间多项式，但多项式的次数取决于SCFG规则的排列。我们考虑线性解析策略，每次添加一个非终结符。我们证明了对于给定的输入置换，寻找具有最小空间复杂度和时间复杂度的线性句法分析策略的问题都是NP困难的。
2013-11-25 cs.CL cs.FL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
领域通用语义解析是自然语言处理中的长期目标，其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督，以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型，并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法，用于训练，解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程（HDP）的结构化预测，我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov（2022）的论文，其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov，Saraswat和Mitchell（2017）首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中，训练算法，解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外，我们扩展了早期的工作与一个新的模型的词形态，它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities
我们描述了Earley的随机上下文无关文法分析器的一个扩展，它在给定随机上下文无关文法和输入字符串的情况下计算以下量：a）由文法生成的连续前缀的概率; b）由非终结符生成的子串的概率，包括由文法生成的整个字符串; c）字符串的最可能（Viterbi）分析; d）根据重新估计规则概率的需要，每个语法产生式的应用的后验预期数量。(a)和（b）在输入上的单次从左到右传递中递增地计算。我们的算法相比，毫不逊色标准的自下而上的SCFG解析方法，它有效地利用Earley的自上而下的控制结构稀疏语法。它可以处理任何上下文无关的规则格式，而无需转换为某种范式，并将（a）到（d）的计算组合在一个算法中。最后，该算法有简单的扩展处理部分括号的输入，并找到部分分析和他们的可能性不符合语法的输入。
1994-11-28 cmp-lg cs.CL
Fine-tuning a Subtle Parsing Distinction Using a Probabilistic Decision Tree: the Case of Postnominal "that" in Noun Complement Clauses vs. Relative Clauses
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
本文研究了英语关系和名词性补足语从句的两种不同的句法分析方法，并对它们的对应关系代词和补足语使用了不同的标记。我们使用了一个算法来重新标记一个语料库解析与GUM树库使用通用依赖。我们的第二个实验包括使用TreeTagger，一种概率决策树，来学习名词性后“that”的两种补语和相对用法之间的区别。我们研究了训练集大小对TreeTagger准确性的影响，以及GUM Treebank文件对两种结构的代表性。我们讨论了这种区别的可学习性的一些语言和结构原则。
2022-12-05 cs.CL cs.IR cs.LG
Multi-Modal Vision vs. Text-Based Parsing: Benchmarking LLM Strategies for Invoice Processing
Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）；Lamarr Institute（拉马尔研究所）
针对发票处理场景，对三款系列的多模态大模型开展零样本基准测试，对比直接图像处理与先转markdown的结构化解析策略，发现原生图像处理整体表现更优，为文档自动化系统的模型与策略选择提供参考。
2025-08-29 cs.AI cs.CL
Robust Probabilistic Predictive Syntactic Processing
本论文提出一个广泛覆盖的机率自顶向下分析器，并将其应用于语音识别的语言模型问题。解析器从左到右遍历字符串，一次就增量地构建完全连接的派生。我们认为，我们所采用的分析方法是动机良好的心理语言学的角度来看，作为一个模型，捕捉词汇项目之间的概率依赖关系，作为建立连接的句法结构的过程的一部分。给出了基本的句法分析器和条件概率模型，并对报纸文本和自发电话会话的句法分析准确性进行了实验研究。概率模型的修改，导致改善的性能。然后定义使用解析器的输出的新的语言模型。困惑和字出错率降低证明了在trigram模型，即使当trigram是在显着更多的数据上训练。使用三元模型在逐词的基础上进行插值会产生额外的改进。
2001-05-09 cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est（巴黎-est大学）；LIGM（语言与信息学实验室）
本文通过将法语句法词典（Lexicon-Grammar）的数据整合到概率解析器中，并应用聚类方法于法语树库的动词，提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义，设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法，以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库，以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
Parsing with Principles and Probabilities
本文试图将两种语言分析方法结合起来。可能使用的概率信息的原则为基础的语法和语法分析器，包括讨论出现的一些理论和计算问题。最后，这些想法的部分实现，以及一些初步的结果，从测试的一小部分句子。
1994-08-02 cmp-lg cs.CL
Semantic Parsing by Large Language Models for Intricate Updating Strategies of Zero-Shot Dialogue State Tracking
Beijing University of Posts and Telecommunications（北京邮电大学）
提出ParsingDST方法，利用大语言模型语义解析将对话转为JSON，引入复杂更新策略，在MultiWOZ上显著提升零样本DST的JGA和槽位准确率。
2023-11-25 cs.AI cs.CL cs.LG
Towards General Natural Language Understanding with Probabilistic Worldbuilding
Carnegie Mellon University（卡内基梅隆大学）
我们引入概率世界构建模型（PWM），一个新的完全符号化的贝叶斯语义解析和推理模型，作为研究计划的第一步，走向更多的领域和任务一般的NLU和AI。人类创造了他们观察的内部心理模型，这大大有助于他们理解和推理各种问题的能力。在PWM中，句子的含义，关于世界的已获取事实，以及推理的中间步骤都以人类可读的形式语言表示，其设计目标是可解释性。PWM是贝叶斯的，专门设计为能够推广到新的领域和新的任务。我们推导并实现了一个推理算法，该算法通过解析和推导更新其潜在的世界模型来读取句子，该模型捕获这些句子的语义，并在两个域外问答数据集上对其进行评估：（1）ProofWriter和（2）一个新的数据集，我们称之为FictionalGeoQA，旨在更能代表真实语言，但仍然足够简单，可以专注于评估推理能力，同时还能抵抗寄生虫。我们的方法在这两个方面都优于基线，从而证明了其作为概念验证的价值。
2021-12-20 cs.CL
Probabilistic, Structure-Aware Algorithms for Improved Variety, Accuracy, and Coverage of AMR Alignments
Georgetown University（乔治城大学）
我们提出了算法对齐组件的抽象意义表示（AMR）图的英语句子中的跨度。我们利用无监督学习与启发式方法相结合，从之前的AMR对准器中汲取两全其美的优点。然而，我们的无监督模型对图形子结构更敏感，而不需要单独的语法解析。我们的方法覆盖了比以前考虑的更广泛的AMR子结构，实现了更高的节点和边缘的覆盖率，并且具有更高的准确性。我们将发布我们的LEAMR数据集和对齐器，用于AMR解析，生成和评估的研究。
2021-06-10 cs.CL
Tree-gram Parsing: Lexical Dependencies and Structural Relations
本文探讨了在句法消歧中重要的概率关系类型。它提出了两种广泛使用的关系，词汇依赖和结构关系，具有互补的消歧能力。它提出了一个新的模型的基础上结构关系，Tree-gram模型，并报告的实验表明，结构关系应受益于丰富的词汇依赖。
2000-11-06 cs.AI cs.CL cs.HC
Pearl: A Probabilistic Chart Parser
本文描述了一种自然语言分析算法，该算法使用基于概率的评分函数来选择句子的“最佳”分析。解析器Pearl是一个时间异步的自下而上的图表解析器，具有Earley型自上而下的预测，它追求图表中得分最高的理论，其中理论的得分代表句子的上下文预测该解释的程度。这个解析器与以前的随机解析器不同，它使用了更丰富的基于上下文的条件概率来预测可能性。Pearl还提供了一个框架，用于将以前在词性分配、未知词模型和其他语言特征概率模型方面的工作成果合并到一个解析工具中，交错使用这些技术，而不是使用传统的管道架构。在初步测试中，Pearl成功地解决了词性和单词（语音处理中）的歧义，确定了未知单词的类别，并首先使用非常松散的覆盖语法选择了正确的解析。
1994-05-03 cmp-lg cs.CL
AMRs Assemble! Learning to Ensemble with Autoregressive Models for AMR Parsing
Babelscape（巴贝尔斯凯普）；Sapienza University of Rome（罗马第一大学）
本文针对 AMR 解析中集成策略违反结构约束的问题，提出两种基于 Transformer 的集成方法，提高鲁棒性并降低计算成本，为解析器与指标改进提供新思路。
2023-06-19 cs.AI cs.CL
REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
VNU University of Engineering and Technology（VNU工程技术大学）
该研究提出REAP系统，基于Mistral-Small-24B-Instruct-2501模型，结合结构化思维链推理等技术，在2026年AKBC共享任务闭卷知识库构建任务中取得宏F1值0.62，相关代码已公开。
2026-09-03 cs.CL
Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
针对对话中话语解析与主题分割的监督标注昂贵及无监督方法忽视二者交互的问题，提出统一表示与两个语言学假设，构建无监督互学习框架UMLF，联合建模修辞与主题结构，在多个数据集上超越强基线并有效提升大语言模型的话语结构建模。
2025-02-24 cs.CL
LLMStructBench: Benchmarking Large Language Model Structured Data Extraction
University of Applied Sciences Berlin（柏林应用技术大学）
LLMStructBench通过评估模型大小和提示策略对结构化数据提取的影响，为大型语言模型的解析可靠性提供新的基准测试。
2026-02-16 cs.CL cs.LG
