Probabilistic Models for High-Order Projective Dependency Parsing
Shanghai Jiao Tong University(上海交通大学)
本文提出了高阶投射依存句法分析的广义概率模型和学习这些统计模型的算法框架,包括依存树。通过调整我们的算法,将内部-外部算法扩展到高阶情况,可以有效地计算高阶依赖树的划分函数和边缘。为了证明我们的算法的有效性,我们进行了三种语言-英语,汉语和捷克语,使用最大条件似然估计的模型训练和L-BFGS参数估计的实验。我们的方法实现了英语的竞争力的表现,并优于所有以前报道的依赖解析器中文和捷克语。
2015-02-14 cs.CL
Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
情境问答是回答有关环境(如图像或图表)的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序(P3),一种新的情景问答模型,可以使用背景知识和全球功能的问题/环境的解释,同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序,执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法,优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
Left-corner Methods for Syntactic Modeling with Universal Structural Constraints
SOKENDAI Graduate University for Advanced Studies(综合研究大学院大学)
本论文的主要目标是识别更好的句法约束或偏向,即独立于语言,但在句子处理过程中也有效地利用。我们专注于一个特殊的句法结构称为中心嵌入,这是很好的研究,在心理语言学,并指出,造成特殊的理解困难。由于人们使用语言作为沟通的工具,人们希望避免这种复杂的结构,以提高沟通效率。从计算的角度来看,中心嵌入与左角解析算法密切相关,左角解析算法可以捕获正在构建的解析树的中心嵌入程度。这种联系表明,左上角的方法可以是一种工具,利用普遍的句法约束,人们避免产生中心嵌入结构。我们通过一些理论和实证研究,广泛地探索了中心嵌入和左角方法的实用性。我们的主要任务是无监督语法归纳。在这个任务中,算法的输入是一组句子,模型试图从中提取它们的显著模式作为语法。这是一个特别困难的问题,尽管我们预计通用约束可能有助于提高性能,因为它可以有效地限制模型可能的搜索空间。我们建立的模型,有效地制表的搜索空间除了那些涉及中心嵌入到一个特定的程度,通过扩展的左角解析算法。我们研究了我们的方法在许多树库上的有效性,并证明了我们的约束往往会导致更好的解析性能。因此,我们得出结论,左上角的方法是特别有用的面向语法的系统,因为它可以有效地利用语言中固有的普遍约束。
2016-08-01 cs.CL
Efficiency, Robustness, and Accuracy in Picky Chart Parsing
本文介绍了Picky,一种基于概率的图表解析算法,它使用一种称为{ \em概率预测}的技术来预测哪些语法规则可能导致一个可接受的分析输入。使用次优搜索方法,Picky显着减少了CKY类图表解析算法产生的边缘数量,同时保持了纯自下而上解析器的鲁棒性和现有概率解析器的准确性。使用Picky的实验演示了概率建模如何影响解析器的效率,鲁棒性和准确性。
1994-05-03 cmp-lg cs.CL
Parsing with the Shortest Derivation
普遍的看法是,随机语法偏向于句子的较短派生是有害的,应该得到纠正。我们发现,共同的智慧是错误的随机文法,使用基本树,而不是上下文无关的规则,如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库,而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Aspects of Pattern-Matching in Data-Oriented Parsing
面向数据的语法分析(dop)是最好的语法分析方案之一,它将最先进的语法分析准确性与心理语言学的洞察力相结合,即较大的句法结构块是相关的语法和概率单位。然而,使用dop模型进行语法分析,似乎涉及大量的CPU周期和大量的双重工作,这是由多个推导的概念带来的,这对于概率处理是必要的,但与适当的语言主干没有令人信服的关系。然而,可以将dop模型重新解释为模式匹配模型,其试图最大化构造解析的子结构的大小,而不是解析的概率。通过强调dop模型的这种基于内存的方面,可以消除多个派生,为有效的Viterbi风格优化提供可能性,同时通过增强的上下文敏感性仍然保持可接受的解析准确性。
2000-08-18 cs.CL
Compact non-left-recursive grammars using the selective left-corner transform and factoring
左角变换从(概率)上下文无关文法和统一文法中移除左递归,从而允许使用简单的自顶向下解析技术。不幸的是,由标准左角变换产生的语法通常比原始的要大得多。本文所描述的选择性左角变换产生了一个变换后的语法,它模拟了用户指定的一组原始产品的左角识别,以及自顶向下的其他识别。结合两个因子分解,它产生的非左递归文法并不比原来的文法大多少。
2000-08-22 cs.CL
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型,我们称之为HBG,它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库,称为树库,结合决策树构建来梳理出解析树的相关方面,这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一(我们称之为P-CFG)的头对头测试中,HBG模型明显优于P-CFG,将解析准确率从60%提高到75%,错误减少了37%。
1994-05-03 cmp-lg cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada(格拉纳达大学)
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外,传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中,我们提出了一个模型驱动的工具,允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上,并使概率解释和解析的照应,后照应,递归引用的消歧抽象语法图。为了证明ModelCC的表达能力,我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的(英语)输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围,并报告了一个分析实验的结果,使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验,以评估标点符号的贡献,以获得一个准确的句法分析,通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个概率分析模型,它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子,使用神经表示作为输入。神经网络架构基于双向LSTM-CNN,通过使用双向LSTM和CNN的组合,自动受益于单词和字符级表示。在神经网络之上,我们引入了一个概率结构层,定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理(Tutte,1984),可以有效地计算分区函数和边缘,从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Three New Probabilistic Models for Dependency Parsing: An Exploration
在提出了一个新的O(n^3)的依存语法分析算法之后,我们提出了三种不同的方法来随机化它:(a)一个词汇亲和模型,其中词之间的相互修饰是困难的;(b)一个意义标记模型,其中词的选择偏好是随机波动的;(c)生成模式,说话者充实每个词的句法和概念结构,而不考虑对听话者的影响。我们还给出了初步的实证结果,从评估三个模型的解析性能的注释华尔街日报训练文本(来自宾夕法尼亚树库)。在这些结果中,生成(即,自上而下)模型的性能明显优于其他模型,并且在分配词性标记方面也表现得相当好。
1997-06-07 cmp-lg cs.CL
Apportioning Development Effort in a Probabilistic LR Parsing System through Evaluation
我们描述了一个强大的独立于领域的英语句法分析的实现系统,使用基于统一的语法部分的语音和标点符号标签加上概率LR解析器。我们提出了沿着几个不同的维度的系统的性能的评估,这些使我们能够评估的贡献,每个单独的部分是作为一个整体的系统的成功,从而优先考虑的努力致力于其进一步增强。目前,该系统能够解析包含许多不同类型的一般文本的大量语料库中约80%的句子。在随机抽样的250个这样的句子,该系统有一个平均交叉括号率为0.71和召回率和准确率分别为83%和84%时,对人工消歧分析进行评估。
1996-04-12 cmp-lg cs.CL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
领域通用语义解析是自然语言处理中的长期目标,其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督,以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型,并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法,用于训练,解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程(HDP)的结构化预测,我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov(2022)的论文,其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov,Saraswat和Mitchell(2017)首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中,训练算法,解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外,我们扩展了早期的工作与一个新的模型的词形态,它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities
我们描述了Earley的随机上下文无关文法分析器的一个扩展,它在给定随机上下文无关文法和输入字符串的情况下计算以下量:a)由文法生成的连续前缀的概率; b)由非终结符生成的子串的概率,包括由文法生成的整个字符串; c)字符串的最可能(Viterbi)分析; d)根据重新估计规则概率的需要,每个语法产生式的应用的后验预期数量。(a)和(b)在输入上的单次从左到右传递中递增地计算。我们的算法相比,毫不逊色标准的自下而上的SCFG解析方法,它有效地利用Earley的自上而下的控制结构稀疏语法。它可以处理任何上下文无关的规则格式,而无需转换为某种范式,并将(a)到(d)的计算组合在一个算法中。最后,该算法有简单的扩展处理部分括号的输入,并找到部分分析和他们的可能性不符合语法的输入。
1994-11-28 cmp-lg cs.CL
Fine-tuning a Subtle Parsing Distinction Using a Probabilistic Decision Tree: the Case of Postnominal "that" in Noun Complement Clauses vs. Relative Clauses
Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文研究了英语关系和名词性补足语从句的两种不同的句法分析方法,并对它们的对应关系代词和补足语使用了不同的标记。我们使用了一个算法来重新标记一个语料库解析与GUM树库使用通用依赖。我们的第二个实验包括使用TreeTagger,一种概率决策树,来学习名词性后“that”的两种补语和相对用法之间的区别。我们研究了训练集大小对TreeTagger准确性的影响,以及GUM Treebank文件对两种结构的代表性。我们讨论了这种区别的可学习性的一些语言和结构原则。
2022-12-05 cs.CL cs.IR cs.LG
Robust Probabilistic Predictive Syntactic Processing
本论文提出一个广泛覆盖的机率自顶向下分析器,并将其应用于语音识别的语言模型问题。解析器从左到右遍历字符串,一次就增量地构建完全连接的派生。我们认为,我们所采用的分析方法是动机良好的心理语言学的角度来看,作为一个模型,捕捉词汇项目之间的概率依赖关系,作为建立连接的句法结构的过程的一部分。给出了基本的句法分析器和条件概率模型,并对报纸文本和自发电话会话的句法分析准确性进行了实验研究。概率模型的修改,导致改善的性能。然后定义使用解析器的输出的新的语言模型。困惑和字出错率降低证明了在trigram模型,即使当trigram是在显着更多的数据上训练。使用三元模型在逐词的基础上进行插值会产生额外的改进。
2001-05-09 cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est(巴黎-est大学);LIGM(语言与信息学实验室)
本文通过将法语句法词典(Lexicon-Grammar)的数据整合到概率解析器中,并应用聚类方法于法语树库的动词,提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
Parsing with Principles and Probabilities
本文试图将两种语言分析方法结合起来。可能使用的概率信息的原则为基础的语法和语法分析器,包括讨论出现的一些理论和计算问题。最后,这些想法的部分实现,以及一些初步的结果,从测试的一小部分句子。
1994-08-02 cmp-lg cs.CL
Towards General Natural Language Understanding with Probabilistic Worldbuilding
Carnegie Mellon University(卡内基梅隆大学)
我们引入概率世界构建模型(PWM),一个新的完全符号化的贝叶斯语义解析和推理模型,作为研究计划的第一步,走向更多的领域和任务一般的NLU和AI。人类创造了他们观察的内部心理模型,这大大有助于他们理解和推理各种问题的能力。在PWM中,句子的含义,关于世界的已获取事实,以及推理的中间步骤都以人类可读的形式语言表示,其设计目标是可解释性。PWM是贝叶斯的,专门设计为能够推广到新的领域和新的任务。我们推导并实现了一个推理算法,该算法通过解析和推导更新其潜在的世界模型来读取句子,该模型捕获这些句子的语义,并在两个域外问答数据集上对其进行评估:(1)ProofWriter和(2)一个新的数据集,我们称之为FictionalGeoQA,旨在更能代表真实语言,但仍然足够简单,可以专注于评估推理能力,同时还能抵抗寄生虫。我们的方法在这两个方面都优于基线,从而证明了其作为概念验证的价值。
2021-12-20 cs.CL
A Simple Transformation for Offline-Parsable Grammars and its Termination Properties
我们提出,在易于重现的条款,一个简单的转换离线可解析的语法,结果在一个可证明的终止解析程序直接自上而下的Prolog解释。转换包括两个步骤:(1)删除空产生式,然后是:(2)左递归消除。它与左角解析(语法是编译的,而不是通过解析程序解释的,并且具有在空产生式存在时保证终止的优点)和DCG的广义格雷巴赫范式(具有实现简单的优点)有关。
1996-05-14 cmp-lg cs.CL
A probabilistic top-down parser for minimalist grammars
UCLA(加州大学洛杉矶分校);ENS(巴黎高等师范学院)
本文描述了一个概率自顶向下的最简文法分析器。自顶向下的解析器有一个很大的优势,在解析过程中有一定的预测能力,这发生在一个从左到右阅读的句子。这样的解析器已经在上下文无关文法的情况下得到了很好的实现和研究,它已经是自上而下的,但这些很难适应自下而上生成句子的极简主义文法。我在这里提出了一种重写最简文法作为线性上下文无关重写系统的方法,允许轻松地创建自顶向下的解析器。这种重写还允许在这些语法上放置概率字段,这可以用于加速解析器。最后,我提出了一种方法,通过使用数据压缩中使用的算法来细化概率场。
2010-10-09 cs.CL
Maximizing Top-down Constraints for Unification-based Systems
一个左上角的解析算法与自顶向下过滤已被报道,以显示非常有效的性能为基础的统一系统。然而,由于左递归语法分析的不终止性,自顶向下的约束必须被削弱。本文提出了一种最大化自顶向下约束的一般方法。该方法提供了一个程序来动态计算 * 限制器 *,一个最小的功能集,参与一个无限循环的每个传播路径,从而自上而下的约束最大限度地传播。
1996-06-20 cmp-lg cs.CL
Tree-gram Parsing: Lexical Dependencies and Structural Relations
本文探讨了在句法消歧中重要的概率关系类型。它提出了两种广泛使用的关系,词汇依赖和结构关系,具有互补的消歧能力。它提出了一个新的模型的基础上结构关系,Tree-gram模型,并报告的实验表明,结构关系应受益于丰富的词汇依赖。
2000-11-06 cs.AI cs.CL cs.HC
Pearl: A Probabilistic Chart Parser
本文描述了一种自然语言分析算法,该算法使用基于概率的评分函数来选择句子的“最佳”分析。解析器Pearl是一个时间异步的自下而上的图表解析器,具有Earley型自上而下的预测,它追求图表中得分最高的理论,其中理论的得分代表句子的上下文预测该解释的程度。这个解析器与以前的随机解析器不同,它使用了更丰富的基于上下文的条件概率来预测可能性。Pearl还提供了一个框架,用于将以前在词性分配、未知词模型和其他语言特征概率模型方面的工作成果合并到一个解析工具中,交错使用这些技术,而不是使用传统的管道架构。在初步测试中,Pearl成功地解决了词性和单词(语音处理中)的歧义,确定了未知单词的类别,并首先使用非常松散的覆盖语法选择了正确的解析。
1994-05-03 cmp-lg cs.CL
An Empirical Evaluation of Probabilistic Lexicalized Tree Insertion Grammars
我们提出了一个实证研究的适用性概率词汇化树插入语法(PLTIG),词汇化对应概率上下文无关语法(PCFG),随机自然语言处理的问题。PLTIG与非层次N-gram模型和PCFG的性能比较,我们表明,PLTIG结合了两者的最佳方面,与语言建模能力相媲美的N-gram,并提高了解析性能,其非词汇化的对应。此外,PLTIG的训练显示出比PCFG更快的收敛。
1998-08-04 cmp-lg cs.CL