A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义,设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法,以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库,以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
Relating Complexity to Practical Performance in Parsing with Wide-Coverage Unification Grammars
本文表明,指数复杂度的语法大小和输入长度的性能影响不大的三个统一为基础的解析算法,使用广泛的覆盖语法。结果意味着,研究和优化的统一为基础的解析必须依赖于经验数据,直到复杂性理论可以更准确地预测这种解析器的实际行为。
1994-05-31 cmp-lg cs.CL
Parsing for Semidirectional Lambek Grammar is NP-Complete
我们研究了Lambek范畴语法的一个变体{ \em semi-directional}的解析问题的计算复杂性。在半定向Lambek演算$\SDL$中,有一个额外的非定向抽象规则,允许被抽象的公式出现在前提条件的左手边的任何地方,从而允许非外围提取。$\SDL$语法能够生成每一种上下文无关语言,甚至更多。我们证明了半定向Lambek文法的解析问题是NP-完全的3-分区问题的减少。
1996-05-10 cmp-lg cs.CL
Prefix Parsing is Just Parsing
ETH Zürich(苏黎世联邦理工学院);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席);Mila;CHI-FRO
本文提出通过前缀文法变换将前缀解析转化为普通解析,从而高效解决前缀解析问题,并引入基于算法微分的策略计算下一token权重向量,提供了一种简单、通用且高效的前缀解析框架。
2026-04-23 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University(上海交通大学)
中心语驱动短语结构语法(HPSG)具有统一的形式主义,代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息,所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器,并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能,在宾夕法尼亚树库(PTB)和中文宾夕法尼亚树库的分析任务,验证了联合学习成分和依赖结构的有效性。在PTB上,成分句法分析的F1为96.33,依存句法分析的UAS为97.20。
2020-05-05 cs.CL
On the Complexity of CCG Parsing
Linköping University(林雪平大学);University of Padua(帕多瓦大学)
我们在Vijay-Shanker和Weir(1994)的句法分析理论框架下研究了组合范畴语法的句法分析复杂性。作为我们的主要结果,我们证明了任何解析算法,这种形式主义将采取在最坏情况下的指数时间时,语法的大小,而不仅仅是输入句子的长度,包括在分析中。这使得Vijay-Shanker和Weir(1994)的形式主义与弱等价的形式主义(如树邻接语法(TAG))区分开来,后者可以在语法和输入句子的组合大小中以时间多项式进行解析。我们的研究结果有助于一个精致的理解类轻度上下文敏感的语法,并通知搜索新的,轻度上下文敏感版本的CCG。
2018-05-04 cs.CL
Principles and Implementation of Deductive Parsing
我们提出了一个系统,用于生成语法分析器直接基于隐喻的解析演绎。解析算法可以直接表示为演绎系统,并且单个演绎引擎可以解释这样的演绎系统以便实现相应的解析器。该方法很容易推广到语法分析器的增强短语结构形式主义,如定义子句语法和其他逻辑语法形式主义,并已被用于快速原型分析算法的各种形式主义,包括变种的树邻接语法,范畴语法,和词汇化上下文无关语法。
1994-04-26 cmp-lg cs.CL
Amalia -- A Unified Platform for Parsing and Generation
当代语言学理论(特别是HPSG)本质上是陈述性的:它们规定了对允许结构的限制,而不是如何计算这些结构。因此,在这种理论下设计的语法既适合于分析又适合于生成。然而,这些理论的实际实现通常不支持语法的双向处理。我们提出了一个语法开发系统,其中包括一个编译器的语法(解析和生成)抽象的机器指令,和一个解释器的抽象机器语言。生成编译器将输入语法(为解析而设计)转换为更适合生成的形式。编译后的文法然后由解释器使用一种控制策略执行,而不管文法是原始版本还是反转版本。从而为可逆文法的开发提供了一个统一、高效的平台。
1997-09-24 cmp-lg cs.CL
Fast Parsing using Pruning and Grammar Specialization
我们展示了如何一个一般的语法可以自动适应快速解析的话语从一个特定的域通过成分修剪和语法专业化的基础上基于简化的学习。这些方法一起给出了一个数量级的速度增加,语法专业化所带来的覆盖率损失减少到约一半,在以前的工作中报告。这里描述的实验表明,覆盖率的损失已经减少到在实际应用程序的上下文中不再导致显著的性能下降的程度。
1996-04-26 cmp-lg cs.CL
Synchronous Context-Free Grammars and Optimal Linear Parsing Strategies
Università di Firenze(佛罗伦萨大学);University of Rochester(罗切斯特大学);Università di Milano(米兰大学);Università di Roma Tor Vergata(罗马第二大学(托尔·维尔加塔));University of Padua(帕多瓦大学)
同步上下文无关文法(SCFG),也称为语法指导的翻译模式,与上下文无关文法不同之处在于它们没有二进制范式。通常,使用SCFG进行解析需要输入字符串长度的空间和时间多项式,但多项式的次数取决于SCFG规则的排列。我们考虑线性解析策略,每次添加一个非终结符。我们证明了对于给定的输入置换,寻找具有最小空间复杂度和时间复杂度的线性句法分析策略的问题都是NP困难的。
2013-11-25 cs.CL cs.FL
Graph Interpolation Grammars: a Rule-based Approach to the Incremental Parsing of Natural Languages
图插值文法是一种具有操作语义的声明式形式。他们的目标是模仿人类解析器的显著特征,特别是增量。由GIG定义的语法分析过程随着每个连续的词素被读取而递增地构建句子的句法表示。GIG规则指定一组解析配置,这些配置触发其应用程序和对匹配配置执行的操作。规则是部分上下文敏感的;此外,它们是可逆的,这意味着它们的操作可以撤消,这允许解析过程是不确定的。这两个因素赋予了自然语言分析的形式主义足够的表达能力。
1998-04-02 cmp-lg cs.CL
Some Novel Applications of Explanation-Based Learning to Parsing Lexicalized Tree-Adjoining Grammars
在本文中,我们提出了一些新的应用基于解释的学习(EBL)技术分析词汇化树邻接语法。新的方面是(a)在训练集中的解析的立即推广,(b)递归结构的推广和(c)作为有限状态转换器的广义解析的表示。还引入了一个称为“订书机”的高度贫困的解析器。我们目前的实验结果使用EBL不同的语料库和架构,以显示我们的方法的有效性。
1995-05-10 cmp-lg cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre(三星人工智能中心);Peak AI;University of Edinburgh(爱丁堡大学)
语义解析是一种有向无环图(DAG),因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战,因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单,也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法,一个图形感知的序列模型,确保只有良好的图形,同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果,并为德语,意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
Parsing Turkish with the Lexical Functional Grammar Formalism
本文介绍了我们的工作,分析土耳其语使用词汇功能语法形式主义。这项工作代表了解析土耳其语的第一次重大努力。我们的实现是基于富田的解析器开发的麦基-梅隆大学机器翻译中心。语法涵盖了大量的土耳其语子集,包括简单和复杂的句子,并处理了合理数量的词序自由。土耳其语词汇结构的复杂黏着形态使用单独的两级形态分析器进行处理。在讨论了土耳其语语法的关键相关问题后,我们讨论了我们系统的各个方面,并介绍了我们实施的结果。我们的初步结果表明,我们的系统可以直接解析约82%的句子,几乎所有剩余的非常小的预编辑。
1994-06-02 cmp-lg cs.CL
Trading off Completeness for Efficiency --- The \textsc{ParseTalk} Performance Grammar Approach to Real-World Text Parsing
我们主张自然语言语法及其相关解析器的基于性能的设计,以满足现实世界的自然语言理解所带来的约束。这种方法结合了面向对象规范框架中关于语言和语言使用的声明性和过程性知识。我们讨论了现实世界中的文本解析的消息传递协议,并提供了牺牲完整性的解析有利于效率的原因。
1996-05-15 cmp-lg cs.CL
Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University(上海科技大学);MIT(麻省理工学院)
该研究针对无监督不连续成分句法分析问题,采用LCFRS-2文法并优化规则降低推理复杂度,结合张量分解与嵌入参数化扩展非终结符数量,在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Dependency Grammar and the Parsing of Chinese Sentences
依存语法一直被语言学家用作其语法形式体系的句法成分的基础。它也被用于自然语言解析。在中国,人们已经尝试使用这种语法形式主义来使用基于语料库的技术分析汉语句子。本文回顾了依存语法的性质,体现在四个公理的依存结构的良构条件。它表明,允许多个总督所做的一些追随者,这种形式主义是不必要的。本文还讨论了在句法分析时,从建立功能结构的角度出发,用功能标签扩充依存语法的做法。这也将有助于语义解释。
1994-12-01 cmp-lg cs.CL
Something Old, Something New: Grammar-based CCG Parsing with Transformer Models
Cambridge Quantum Computing(剑桥量子计算)
本报告描述了组合范畴语法(CCG)的解析问题,展示了基于Transformer的神经模型和符号CCG语法的组合如何比现有方法带来实质性收益。该报告还记录了一个为期20年的研究计划,展示了NLP方法在这段时间内的演变。神经模型为CCG解析提供的惊人的准确性改进可以被视为NLP更普遍的改进的反映。该报告提供了一个最小的介绍CCG和CCG解析,与相关文献的许多指针。然后,它描述了CCG超级标记问题,以及Tian等人(2020)最近的一些工作,这些工作将基于transformer的模型应用于超级标记,效果很好。我使用这个现有的模型来开发一个CCG多标签器,它可以作为一个前端到现有的CCG解析器。简单地使用这个新的多标记器就可以大大提高解析的准确性。然后,我将展示如何将解析文献中基于transformer的模型与基于语法的CCG解析器相结合,为CCGbank解析任务设置一个新的最先进的水平,标记依赖项的F分数几乎为93%,完整的句子准确率超过50%。
2021-09-28 cs.CL
Fast Context-Free Grammar Parsing Requires Fast Boolean Matrix Multiplication
1975年,Valiant证明布尔矩阵乘法可以用于解析上下文无关文法(CFG),产生了已知的最快(尽管不实用)的CFG解析算法。我们证明了一个对偶结果:任何具有时间复杂度$O(g n^{3 - \epsilson})$的CFG解析器(其中$g$是语法的大小,$n$是输入串的长度)都可以被有效地转换成在时间上乘以$m \times m$布尔矩阵的算法$O(m^{3 - ε/3})$。鉴于实际的,基本上是次立方布尔矩阵乘法算法已经很难找到,因此,我们解释了为什么一直没有什么进展,在开发实用的,基本上是次立方一般的CFG解析器。在证明这一结果,我们还开发了一个形式化的概念解析。
2001-12-15 cs.CL cs.DS
Parsing with the Shortest Derivation
普遍的看法是,随机语法偏向于句子的较短派生是有害的,应该得到纠正。我们发现,共同的智慧是错误的随机文法,使用基本树,而不是上下文无关的规则,如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库,而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Macro Grammars and Holistic Triggering for Efficient Semantic Parsing
Stanford University(斯坦福大学)
为了从标注中学习语义分析器,学习算法必须在组合上大的逻辑形式空间中搜索与标注的标注一致的逻辑形式。我们提出了一种新的在线学习算法,搜索速度更快的训练进展。这两个关键思想是使用宏语法来缓存迄今为止发现的有用逻辑形式的抽象模式,以及基于句子相似性来有效地检索最相关的模式的整体触发。在WikiTableQuestions数据集上,我们首先扩展了现有模型的搜索空间,将最先进的准确率从38.7%提高到42.7%,然后使用宏语法和整体触发来实现11倍的加速和43.7%的准确率。
2017-08-31 cs.CL
Efficient Normal-Form Parsing for Combinatory Categorial Grammar
在具有强大规则(如组合)的范畴语法下,一个简单的n字句子可以有指数级的解析。生成所有解析是低效的,并且模糊了输入中真正的语义歧义。本文通过一种高效、正确、易于实现的范式分析技术,解决了组合范畴语法的一般形式问题。解析器被证明是在每个语义等价类的允许解析中找到一个解析,也就是说,虚假的歧义(仔细定义)被证明是安全和完全消除。
1996-06-02 cmp-lg cs.CL
SYNTAGMA. A Linguistic Approach to Parsing
SYNTAGMA是一个基于规则的句法分析系统,分为两个层次:通用的句法分析引擎和特定语言的语法。解析引擎是一个独立于语言的程序,而语法和语言特定的规则和资源是作为文本文件给出的,包括一个组成结构列表和一个词汇数据库与词义相关的功能和约束。由于其理论背景主要是Tesniere的语法元素,语法强调论元结构(配价)在约束满足中的作用,并允许水平边界,例如处理协调。Pro、迹、空语类等概念源于生成语法,一些解决方案虽然是自主研究的结果,但与管辖约束理论接近。这些属性允许SYNTAGMA管理复杂的语法配置和分析工程中众所周知的弱点。一个重要的资源是语义网络,它用于消歧任务。解析过程遵循自下而上的规则驱动策略。它的行为是可以控制和微调的。
2016-01-21 cs.CL
Parsing Combinatory Categorial Grammar with Answer Set Programming: Preliminary Report
University of Kentucky(肯塔基大学);Technische Universität Wien(维也纳工业大学)
组合范畴语法(CCG)是一种用于自然语言分析的语法形式。CCG将结构化的词汇类别分配给单词,并使用一小组组合规则来组合这些类别以解析句子。在这项工作中,我们提出并实现了一种新的CCG解析方法,该方法依赖于突出的知识表示形式主义,即答案集编程(ASP)--一种声明性编程范式。我们制定的CCG解析的任务作为一个规划问题,并使用ASP计算工具来计算解决方案,对应于有效的解析。与其他方法相比,不需要使用这种声明性方法实现特定的解析算法。我们的方法旨在为一个给定的句子产生所有语义不同的解析树。从这一目标出发,出现了规范化和效率问题,我们通过结合和扩展现有战略来处理这些问题。我们已经实现了一个CCG解析工具包- AspCcgTk -使用ASP作为其主要的计算手段。C&C supertagger可以用作AspCcgTk中的预处理器,这使我们能够实现广泛覆盖的自然语言解析。
2011-08-29 cs.AI cs.CL
Parsing Linear Context-Free Rewriting Systems with Fast Matrix Multiplication
University of Edinburgh(爱丁堡大学);University of Rochester(罗切斯特大学)
我们描述了一个矩阵乘法识别算法的一个子集的二进制线性上下文无关重写系统(LCFRS)与运行时间$O(n^{ωd})$其中$M(m) = O(m^ω)$是运行时间为$m \times m$矩阵乘法和$d$是“接触秩”的LCFRS -最大数量的组合和非组合点出现在语法规则。我们还表明,该算法可以作为一个子程序,得到一个识别算法的一般二进制LCFRS与运行时间$O(n^{ωd + 1})$。目前最著名的$ω$小于$2.38$。我们的结果提供了另一个证明的最有名的结果,分析温和的上下文敏感的形式主义,如组合范畴文法,头文法,线性索引文法,和树邻接文法,这可以在时间$O(n^{4.76})$。它还表明,反转转换语法可以在时间$O(n^{5.76})$中解析。此外,二进制LCFRS包含许多其他形式主义和类型的语法,其中一些我们还提高了解析的渐近复杂性。
2016-03-08 cs.CL cs.FL
Formalization and Parsing of Typed Unification-Based ID/LP Grammars
本文定义了基于类型化特征结构的统一ID/LP文法作为非终结符,并提出了Earley算法的一个变体,以确定给定的输入句子是否是由特定类型的统一ID/LP文法生成的语言的成员。在算法中加入了Seiffert(1991)中讨论的统一ID/LP文法中非局部信息流问题的解决方案。与此同时,它试图通过HPSG方法对语言学(Hinrichs和Nakasawa 1994,Richter和Sailer 1995)产生的问题的一个例子,将这一技术工作与语言学联系起来,并通过将这种方法与实现HPSG的系统,特别是TROLL系统,与计算语言学联系起来。
1995-02-14 cmp-lg cs.CL
Three studies of grammar-based surface-syntactic parsing of unrestricted English text. A summary and orientation
本文研究了无约束英语文本自动表层句法分析的语法设计。它包括一个摘要和三篇文章。{ \it Morphological disambiguation}记录了在Fred Karlsson提出的约束语法框架内进行的英语形态(或词性)消歧的语法。消歧器试图丢弃那些由词法分析器提出的上下文不合法的替代形态分析。这1,100个约束表达了大约23个一般的、基本上是句法的陈述,作为对形态标记线性顺序的限制。形态学消歧器的错误率比另一种最先进的概率消歧器的错误率小大约十倍,因为两者都允许留下一些最难的歧义未解决。这种准确性表明了基于语法的自然语言解析方法的可行性,因此也有助于更广泛的关于概率与语言技巧{ \it Experiments with Analogistics}解决了如何解决那些在形态消歧器中仍然存在的歧义的问题。两种方法提出和经验评估:(i)启发式消歧的约束条件和(ii)从完全消歧的语料库的一部分,然后应用这些信息来解决剩余的歧义学习技术。
1994-06-27 cmp-lg cs.CL
Parsing with Typed Feature Structures
在本文中,我们提供了语法分析表示在一个一般的TFS-based的形式主义,限制ALE。我们的动机是设计一个抽象的(WAM类)机器的形式主义,我们认为解析作为一个计算过程,并使用它作为一个操作语义来指导设计的控制结构的抽象机器。我们强调抽象类型化特征结构(AFS)的概念,编码TFSs的基本信息,并定义统一的AFS,而不是TFSs。然后,我们引入了一个明确的多根特征结构(MRS),自然扩展TFSs和使用它们来表示短语符号以及语法规则。我们还采用了MRS的抽象,并给出了操纵它们所需的数学基础。我们正式定义的语法和它们生成的语言,然后描述一个模型的计算,对应于自底向上的图表解析:语法写在基于TFS-based形式主义的解析器执行。我们证明了计算是正确的独立的定义。最后,我们讨论了计算终止的文法类,并证明了离线可解析文法的终止是可以保证的。
1996-01-31 cmp-lg cs.CL
A Simple Transformation for Offline-Parsable Grammars and its Termination Properties
我们提出,在易于重现的条款,一个简单的转换离线可解析的语法,结果在一个可证明的终止解析程序直接自上而下的Prolog解释。转换包括两个步骤:(1)删除空产生式,然后是:(2)左递归消除。它与左角解析(语法是编译的,而不是通过解析程序解释的,并且具有在空产生式存在时保证终止的优点)和DCG的广义格雷巴赫范式(具有实现简单的优点)有关。
1996-05-14 cmp-lg cs.CL
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型,我们称之为HBG,它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库,称为树库,结合决策树构建来梳理出解析树的相关方面,这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一(我们称之为P-CFG)的头对头测试中,HBG模型明显优于P-CFG,将解析准确率从60%提高到75%,错误减少了37%。
1994-05-03 cmp-lg cs.CL
Another Facet of LIG Parsing
在本文中,我们提出了一个新的分析算法的线性索引文法(LIGs)在相同的精神(Vijay-Shanker和Weir,1993年)中描述的树邻接文法。对于一个LIG $L$和一个长度为$n$的输入字符串$x$,我们建立了一个无二义性的上下文无关文法,它的句子都是(并且排他地)有效的推导序列在$L$中,导致$x$。我们表明,这种语法可以建立在${\cal O}(n^6)$的时间,可以提取的解析树的大小,在线性时间内的个人解析。虽然这个${\cal O}(n^6)$上限并没有比以前的结果有所改善,但平均情况下表现得更好。此外,实际的解析时间可以减少一些静态执行的计算。
1996-04-23 cmp-lg cs.CL
Selective Magic HPSG Parsing
我们提出了一个解析器的约束逻辑语法实现HPSG,结合了动态自下而上和先进的自上而下的控制的优势。解析器允许用户将魔术编译应用于语法中的特定约束,因此可以以自底向上和目标导向的方式动态处理。最先进的自上而下的处理技术用于处理剩余的约束。我们讨论了有关的语法开发系统的一部分,分析器的实施的各个方面。
1999-07-08 cs.CL
Probabilistic Parsing Using Left Corner Language Models
我们介绍了一种新的分析器的基础上的概率版本的左角分析器。左上角策略是有吸引力的,因为规则概率可以以自上而下的目标和自下而上的推导为条件。我们开发的基础理论,并解释如何语法可以从分析数据。我们发现,左角的方法提供了一个优势,简单的自上而下的概率上下文无关的语法在解析华尔街日报使用的语法从宾夕法尼亚树库。我们还得出结论,宾州树库提供了一个相当薄弱的测试平台,由于其括号的平坦性和明显的过度生成和欠生成的诱导语法。
1997-11-17 cmp-lg cs.CL
An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities
我们描述了Earley的随机上下文无关文法分析器的一个扩展,它在给定随机上下文无关文法和输入字符串的情况下计算以下量:a)由文法生成的连续前缀的概率; b)由非终结符生成的子串的概率,包括由文法生成的整个字符串; c)字符串的最可能(Viterbi)分析; d)根据重新估计规则概率的需要,每个语法产生式的应用的后验预期数量。(a)和(b)在输入上的单次从左到右传递中递增地计算。我们的算法相比,毫不逊色标准的自下而上的SCFG解析方法,它有效地利用Earley的自上而下的控制结构稀疏语法。它可以处理任何上下文无关的规则格式,而无需转换为某种范式,并将(a)到(d)的计算组合在一个算法中。最后,该算法有简单的扩展处理部分括号的输入,并找到部分分析和他们的可能性不符合语法的输入。
1994-11-28 cmp-lg cs.CL
GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing
Salesforce Research(赛富时研究院);Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学);Facebook AI(脸书人工智能研究院)
我们提出了一种有效的预训练方法,用于表语义解析,学习文本和表格数据的联合表示中的组合归纳偏差。我们通过一个同步的上下文无关文法(SCFG)从现有的文本到SQL数据集诱导高质量的表上构建合成的问题SQL对。我们使用一种新的文本模式链接目标对合成数据预训练我们的模型,该目标预测每个问题-SQL对的SQL中表字段的语法角色。为了保持模型表示真实世界数据的能力,我们还在几个现有的表和语言数据集上包含了掩码语言建模(MLM),以规范预训练过程。在四个流行的全监督和弱监督表语义解析基准测试中,GraPPa作为特征表示层的性能明显优于Roberta-large,并在所有这些测试中建立了新的最先进的结果。
2021-05-29 cs.AI cs.CL
The LL(finite) strategy for optimal LL(k) parsing
本文提出了一种LL(有限)分析策略,用于分析k不需要已知的LL(k)文法。该策略在线性时间内解析输入,使用任意但总是最小的前瞻性必要的非终端的替代品之间消除歧义,它是最佳的前瞻性终端扫描的数量进行。算法的修改,允许通过优先级的语法歧义的决议-有效地解释为一个解析表达式语法的输入-以及使用的谓词,和概念的证明,开源解析器生成器Astir,采用LL(有限)的策略,它产生的输出。
2021-01-20 cs.CL cs.FL cs.PL
Incremental Parser Generation for Tree Adjoining Grammars
本文描述了树邻接语言(TAL)LR型语法分析的语法分析表的增量生成。提出的算法通过更新到目前为止生成的解析器来处理对输入语法的修改。本文定义了一种用于TAL的LR型解析器的惰性生成,在这种惰性生成中,解析表在解析时根据需要创建。然后,我们描述了一个增量解析器生成器的TAL响应修改的输入语法更新解析表建立至今。
1998-09-18 cs.CL
The intersection of Finite State Automata and Definite Clause Grammars
Bernard Lang将解析定义为计算FSA(输入)和CFG的交集。将用于解析的输入视为FSA而不是字符串与语音理解系统中的一些方法很好地结合,在语音理解系统中,解析将词格(而不是词串)作为输入。此外,某些技术的鲁棒解析可以建模为有限状态转换器。在本文中,我们将探讨如何推广这种方法的统一文法。特别是,我们将集中在我们如何可能的FSA和DCG的交集的计算。它表明,现有的解析算法可以很容易地扩展FSA输入。然而,我们也表明,终止属性发生了巨大的变化:我们表明,它是不可判定的FSA和DCG的交集是否为空(即使DCG是离线解析)。此外,我们讨论的方法来处理这个问题。
1995-04-28 cmp-lg cs.CL
Disambiguation of Super Parts of Speech (or Supertags): Almost Parsing
在词汇化的语法形式体系中,例如词汇化的树邻接语法(LTAG),每个词汇项与至少一个局部化句法和语义依赖的基本结构(超级标记)相关联。因此,词汇化语法的解析器必须搜索大量的超标记,以选择正确的超标记组合来解析句子。我们提出了使用本地信息,如词汇偏好和本地词汇依赖关系消除歧义的超标签的技术。在超标记消歧的依赖模型中利用了LTAG和依赖文法之间的相似性。超级标签消歧的各种模型,如一元模型,三元模型和依赖性为基础的模型的性能结果。
1994-10-26 cmp-lg cs.CL
Recognizing Bangla Grammar using Predictive Parser
Khulna University of Engineering and Technology (KUET)(库尔纳工程技术大学)
我们描述了孟加拉语的上下文无关文法(CFG),因此我们提出了一个基于该文法的孟加拉语语法分析器。我们的方法是非常普遍适用于孟加拉语句子和方法被广泛接受的语法分析的语言。建议的分析器是一个预测分析器,我们构造的分析表识别孟加拉语语法。使用解析表,我们认识到孟加拉语句子的语法错误时,没有在解析表中的终端条目。如果一种自然语言可以被成功地解析,那么从这种语言进行语法检查就成为可能。该方案是基于自顶向下的分析方法,我们已经避免了左递归的CFG使用左分解的想法。
2012-01-10 cs.CL
Polynomial Graph Parsing with Non-Structural Reentrancies
Umeå University(于默奥大学)
基于图的语义表示在自然语言处理中是有价值的,在自然语言处理中,将语言概念表示为节点,将关系表示为它们之间的边通常是简单而有效的。已经进行了几次尝试,以找到一个生成设备,是足够强大的语义图表示的语言,而在同一时间允许有效的解析。我们添加到这一行的工作,通过引入图扩展语法,它包括一个代数图连同一个经常树语法,生成表达式的操作代数。由于操作的设计,这些语法可以生成具有非结构性可重入性的图;这是一种在抽象意义表示等形式主义中非常常见的节点共享类型,但现有设备几乎没有提供支持。我们提供了一个图扩展文法的解析算法,该算法被证明是正确的,并且运行在多项式时间内。
2021-05-07 cs.CL cs.DM cs.FL
Parsing of Myanmar sentences with function tagging
University of Computer Studies(计算机研究大学);Natural Language Processing Laboratory(自然语言处理实验室)
本文介绍了使用朴素贝叶斯来解决分配功能标签的任务和上下文无关文法(CFG)来解析缅甸语句子。缅甸语句子的统计功能标记的部分挑战来自于缅甸语有自由的短语顺序和复杂的形态系统。函数标记是解析的预处理步骤。在功能标注任务中,我们使用功能标注语料库,对具有正确切分、词性标注和组块信息的缅甸语句子进行标注。提出了缅甸语语法规则,并应用上下文无关文法(CFG)找出了缅甸语功能标记语句的语法分析树。实验表明,我们的分析取得了良好的效果,分析简单句和三种类型的复杂句。
2012-05-08 cs.CL
Frequency vs. Association for Constraint Selection in Usage-Based Construction Grammar
University of Canterbury(坎特伯雷大学)
基于用法的构式语法(CxG)认为槽约束是从常见的范例构式中概括出来的。但是什么是约束泛化的最佳模型呢?本文评估了竞争的频率为基础的和基于关联的模型在八种语言使用的最小描述长度范式的度量。实验表明,基于关联的模型在所有语言中产生更好的泛化效果。
2019-04-11 cs.CL
Ambiguity resolution in a reductionistic parser
我们关注的是运行文本的依赖导向的形态句法分析。虽然解析语法应该避免引入结构上无法解析的区别,以优化解析器的准确性,但对于语法学家来说,尽可能具有表达性的结构表示也是有益的。在简化解析系统中,这种策略可能会导致输入中存在相当大的歧义;然而,即使是大规模的歧义也可以通过准确的解析描述和有效的解析技术来有效地解决。
1995-02-13 cmp-lg cs.CL
A Robust Parsing Algorithm For Link Grammars
在本文中,我们提出了一个强大的分析算法的基础上的链接文法形式主义的分析自然语言。我们的算法是一个自然的扩展,原来的动态规划识别算法,递归计数输入句子中的两个单词之间的联系的数量。修改后的算法使用空链接的概念,以便允许任何一对相邻单词之间的连接,而不管它们的字典定义。该算法通过进行三次动态规划来进行。在第一遍中,使用原始算法解析输入,该算法强制约束链接以确保语法性。在第二遍中,计算每个单词子串的总成本,其中成本由解析子串所需的空链接的数量确定。最后一遍以最小的代价计算解析的总数。所有的原始修剪技术在鲁棒算法中都有自然的对应物。当与记忆化一起使用时,这些技术使算法能够以立方最坏情况复杂度有效地运行。我们已经实现了这些想法,并测试他们通过分析的交换机语料库的会话英语。该语料库由大约300万字的文本组成,相当于从70个不同主题的电话交谈中收集的150多个小时的转录语音。虽然在这个语料库中只有一小部分的句子是“语法”的标准,强大的链接语法分析器是能够提取相关的结构的大部分句子。我们提出了我们的实验结果,使用这个系统,包括从语料库中选择和随机句子的分析。
1995-08-02 cmp-lg cs.CL
Interfacing Constraint-Based Grammars and Generation Algorithms
原则上,基于约束的语法可以作为分析和生成的主要语言知识源。表面生成从输入语义表示开始,输入语义表示可能会因语法而异。对于许多声明性语法来说,内置的中隐含的派生概念就是解析的概念。因此,它们可能无法由生成算法解释。我们表明,语言上合理的语义分析可能会导致严重的问题,语义头驱动的方法生成(SHDG)。我们使用SeReal,SHDG的变体和德语的DISCO语法作为我们的例子来源。我们提出了一种新的,一般的方法,明确占语法和生成算法之间的接口,通过添加一个面向控制的层的语言知识库,重组的语义在一种适合生成。
2000-08-07 cs.CL
Data Recombination for Neural Semantic Parsing
Stanford University(斯坦福大学)
在语义解析中,对清晰的逻辑推理进行建模是至关重要的,这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中,我们介绍了数据重组,一种新的框架注入这样的先验知识模型。从训练数据中,我们归纳出一个高精度的同步上下文无关文法,它捕获了语义解析中常见的重要条件独立属性。然后,我们训练一个序列到序列递归网络(RNN)模型,该模型具有一种新的基于注意力的复制机制,该机制基于从该语法中采样的数据点,从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性,从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
Parsing Inside-Out
内部-外部概率通常用于重新估计概率上下文无关语法(PCFG),就像前向-后向概率通常用于重新估计延迟一样。我展示了几个新的用途,包括通过匹配解析算法来提高解析器的准确性,以评估标准;加快DOP解析500倍;在给定的准确性水平下,PCFG阈值的速度加快30倍。我还给出了一个优雅的,最先进的语法形式主义,它可以用来计算内外概率;和解析器描述形式主义,这使得它很容易得出内外公式和许多其他。
1998-05-19 cmp-lg cs.CL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
领域通用语义解析是自然语言处理中的长期目标,其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督,以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型,并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法,用于训练,解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程(HDP)的结构化预测,我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov(2022)的论文,其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov,Saraswat和Mitchell(2017)首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中,训练算法,解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外,我们扩展了早期的工作与一个新的模型的词形态,它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
Graphes paramétrés et outils de lexicalisation
IGM – Université de Marne-la-Vallée(马恩拉瓦莱大学IGM研究所);LADL(语言自动处理实验室)
转换到词汇化语法可以减少解析错误的数量,并改善应用程序的结果。然而,这样的操作影响句法分析器的所有方面。我们的研究目标之一是设计一个现实的语法词汇化模型。我们进行了实验,我们使用的语法与一个非常简单的内容和形式主义,和一个非常翔实的句法词汇,词汇语法的法语详细的LADL。词汇化是通过应用参数化图的方法。我们的研究结果表明,词汇语法中的大部分信息都可以转化为语法,并成功地用于句子的句法分析。
2007-11-21 cs.CL
Head-driven Phrase Structure Parsing in O($n^3$) Time Complexity
Shanghai Jiao Tong University(上海交通大学)
成分句法分析和依存句法分析是句法分析的两种经典形式,在中心语驱动短语结构语法(Head-driven Phrase Structure Grammar,HPSG)的统一形式化框架下,联合训练和解码对这两种句法分析都有好处。然而,由于在解码期间必须考虑更多的因素,因此解码该统一语法具有比单独解码任一形式($O(n^3)$)更高的时间复杂度($O(n^5)$)。因此,我们提出了一个改进的头部评分器,有助于实现一个新的性能保持解析器在$O$($n^3$)时间复杂度。此外,在此基础上提出了实用的HPSG解析器,我们调查了基于HPSG的解析的优势,并探讨了在多语言场景中仅从成分或依赖注释训练基于HPSG的解析器的一般方法。因此,我们提出了一个更有效的,更深入的,和一般的工作HPSG解析。
2021-05-20 cs.CL
Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars
The University of Tokyo(东京大学);Artificial Intelligence Research Center, AIST(日本产业技术综合研究所人工智能研究中心)
本文通过对比 LSTM 与采用自顶向下和左角解析策略的 RNNGs 在日语阅读时间上的表现,发现左角 RNNGs 最符合人类认知,证明层级加左角架构更具认知合理性。
2023-10-05 cs.CL
Efficient Analysis of Complex Diagrams using Constraint-Based Parsing
本文介绍了使用约束语法分析(解析)图的实质性进展。将集合类型添加到数据的语法和空间索引中,可以有效地解析具有相当复杂性的真实图表。该系统可能是第一个使用语法来演示高效的图表解析的系统,这些语法可以很容易地重定向到其他领域。这项工作假设,图表是作为一个平面收集的图形原语:线,多边形,圆,贝塞尔曲线和文本。这适用于将来的电子文档或从扫描图像转换的矢量化图表。我们分析的图表类别包括从生物学文献中绘制的x,y数据图和遗传图,以及有限状态自动机图(状态和弧)。例如,在Macintosh Quadra 700上使用Macintosh Common Lisp解析由133个原语组成的四部分数据图需要35秒。
1995-05-05 cmp-lg cs.CL
Analyse en dépendances à l'aide des grammaires d'interaction
LORIA(洛林计算机科学及其应用实验室);Université Nancy 2(南锡第二大学);INRIA Nancy Grand-Est(法国国家信息与自动化研究所南锡-大东部分院)
本文提出了一种利用交互语法从短语结构层次句法分析中提取依存结构的方法。交互语法是一种用极性系统来表达词与词之间的交互作用的形式主义。极性的饱和导致了句法结构的变化。成分之间发生相互作用,但随着语法的词汇化,这些相互作用可以在单词层面上进行翻译。依存关系是从解析过程中提取的:每个依存关系都是极性饱和的结果。我们得到的依赖关系可以看作是通常的依赖树的细化。总的来说,这项工作揭示了短语结构和依存句法分析之间的联系。
2009-09-18 cs.CL