A Lexicalized Tree Adjoining Grammar for English
本文档描述了一个相当大的英语语法编写的TAG形式主义和实现使用的JTAG系统。本报告和此处描述的语法取代了1995年早期JTAG技术报告中描述的TAG语法。本报告中描述的英语语法是基于TAG形式主义，它已扩展到包括词汇化和基于统一的特征结构。可以处理的句法现象的范围很大，包括助动词（包括倒装）、系动词、提升和小从句结构、主题化、关系从句、不定式、动名词、被动语态、介词、it-分裂式、wh-分裂式、PRO结构、名词-名词修饰、介词、限定词序列、属格、否定、名词-动词收缩式、先行词和祈使句。本技术报告对应于JTAG Release 8/31/98。随着新分析的增加和旧分析的修改，JTAG语法不断更新，该报告的在线版本可以在JTAG网页http://www.cis.upenn.edu/~xtag/上找到
1998-09-18 cs.CL
Prefix Probabilities from Stochastic Tree Adjoining Grammars
用于语音识别的语言模型通常使用Pr（a_n）形式的概率模型|a_1，a_2，. a_{n-1}）。另一方面，随机语法通常用于为话语分配结构。通过计算前缀概率Sum_{w in Sigma*} Pr（a_1.. a_n w），其中w表示前缀a_1. a_n。本文的主要结果是一个算法来计算这样的前缀概率给定一个随机树邻接文法（TAG）。算法的时间复杂度为O（n^6）。不派生前缀中的任何单词，但在结构上有助于其派生的子派生的概率被预先计算以实现终止。该算法使现有的基于语料库的随机TAG的估计技术用于语言建模。
1998-09-18 cs.CL
A Layered Grammar Model: Using Tree-Adjoining Grammars to Build a Common Syntactic Kernel for Related Dialects
GRIMAAG；Université des Antilles et de la Guyane（安的列斯-圭亚那大学）
本文描述了一组相关方言的核心语法的通用句法描述的设计。通用描述不依赖于抽象的子语言结构，如元语法：它包含在单个FS-LTAG中，其中实际的特定语言作为为特征定义的属性类型集中的属性之一。当lang属性被实例化时，所选的语法子集等价于一种方言的语法。当它不是，我们有一个混合多方言语言系统的模型。这一原则适用于西大西洋地区的一组克里奥尔语，即海地，瓜德罗普岛，马提尼克岛和法属圭亚那的法语克里奥尔语。
2008-10-07 cs.CL
Conditions on Consistency of Probabilistic Tree Adjoining Grammars
在建模语言中，概率方法的大部分功能来自于它们在语言中比较同一字符串的几个派生的能力。一个重要的出发点，研究这种交叉派生的性质是一致性的概念。由概率语法定义的概率模型被称为_consistent_，如果分配给语言中所有字符串的概率之和为1。从概率上下文无关文法（CFG）的文献，我们确切地知道的条件，确保一致性是真实的一个给定的CFG。本文给出了概率树邻接文法（TAG）相容的条件。给出了一个简单的一致性检验算法，并对其正确性给出了形式化的证明。这里导出的条件可以用来确保使用TAG的概率模型可以被检查是否存在_deficiency_（即，是否有任何概率质量被分配给无法生成的字符串）。
1998-09-18 cs.CL
Latent Variable Sentiment Grammar
ShanghaiTech University（上海科技大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Westlake University（西湖大学）
神经模型已经被研究用于成分树上的情感分类。它们通过对树结构进行编码来自动学习短语组合，但不显式地对情感组合进行建模，这需要对情感类标签进行编码。为此，我们研究了两种形式主义与深层情感表示，捕捉情感亚型表达的潜变量和高斯混合向量，分别。在斯坦福情感树库（SST）上的实验表明，情感语法比香草神经编码器更有效。使用ELMo嵌入，我们的方法在这个基准测试中给出了最好的结果。
2019-07-08 cs.CL
Computational Complexity of Probabilistic Disambiguation by means of Tree-Grammars
研究了概率树文法和上下文无关文法下的消歧算法的计算复杂度。证明了以下问题是NP难的：从句子或词图计算最可能句法分析（MPP），从词图计算最可能句子（MPS）。从词图计算MPS的NP-困难也适用于随机上下文无关文法。因此，存在确定性的多项式时间算法来解决这些消歧问题是一个非常不可能的事件。
1996-06-17 cmp-lg cs.CL
Grammar Induction with Neural Language Models: An Unusual Replication
New York University（纽约大学）
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型，并在非解析任务上对它们进行训练，希望它们能发现可解释的树结构。在最近的一篇论文中，Shen et al.（2018）介绍了这样一个模型，并报告了语言建模目标任务的最新结果，以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时，我们发现了使原始结果难以信任的问题，包括调整甚至训练有效的测试集。在这里，我们试图在一个公平的实验中重现这些结果，并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的：所研究的模型的所有变体都优于所有潜在树学习基线，并且与符号语法归纳系统竞争。我们发现，这个模型代表了第一个经验的成功，潜在树学习，和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
Discovering Textual Structures: Generative Grammar Induction using Template Trees
Computer Science Department, Leuven AI（鲁汶人工智能计算机科学系）；KU Leuven（鲁汶大学）
自然语言生成为设计人员提供了自动生成文本的方法，例如用于创建摘要、聊天机器人和游戏内容。在实践中，文本生成器通常要么是学习和难以解释的，要么是使用语法和模板等技术手工创建的。在本文中，我们介绍了一种新的语法归纳算法学习可解释的语法生成的目的，称为Gitta。我们还引入了新的概念，模板树发现潜在的模板语料库中派生这些生成语法。通过使用现有的人类创建的语法，我们发现，该算法可以合理地近似这些语法使用只有几个例子。这些结果表明，Gitta可以用来自动学习可解释和易于修改的语法，从而为人机共同创建生成模型提供了一个垫脚石。
2020-09-09 cs.AI cs.CL
Spanish Resource Grammar version 2023
Universidade da Coruña（拉科鲁尼亚大学）
本文介绍了基于 HPSG 形式体系的西班牙语资源语法（SRG）最新版，其随附经人工验证的 2,291 句树库，可用于语言学理论实证测试、高质量语义分析器训练及二语习得假设的鲁棒实证评估。
2024-03-26 cs.CL
An Empirical Evaluation of Probabilistic Lexicalized Tree Insertion Grammars
我们提出了一个实证研究的适用性概率词汇化树插入语法（PLTIG），词汇化对应概率上下文无关语法（PCFG），随机自然语言处理的问题。PLTIG与非层次N-gram模型和PCFG的性能比较，我们表明，PLTIG结合了两者的最佳方面，与语言建模能力相媲美的N-gram，并提高了解析性能，其非词汇化的对应。此外，PLTIG的训练显示出比PCFG更快的收敛。
1998-08-04 cmp-lg cs.CL
The effect of alternative tree representations on tree bank grammars
从树银行估计的PCFG的性能是敏感的语言结构表示为树在树银行的特定方式。本文提出了一种理论分析的PP附件上的PCFG模型的不同树表示的效果，并介绍了一种新的方法，实证检验这种效果，使用树转换。它表明，一个转换，即复制父节点的标签到其子节点的标签，可以提高PCFG模型的性能，在标记的精度和召回率方面，从73%（精度）和69%（召回率）分别提高到80%和79%。它还指出，如果只有极大似然分析是感兴趣的，那么许多产品可以被忽略，因为它们被包含在语法中的其他产品的组合。在Penn II树库语法中，几乎9%的结果都是以这种方式包含的。
1997-11-21 cmp-lg cs.CL
Capturing CFLs with Tree Adjoining Grammars
我们定义了一个可判定类的TAG，是强等价于CFGs，是可解析的。这个类以与Schabes和Waters的LCFGs相同的方式将CFGs词汇化，但对语法形式的限制要少得多。该类为生成局部集的TAG提供了范式，其方式与正则语法为生成正则集的CFG提供范式的方式非常相似。
1994-05-25 cmp-lg cs.CL
Some Novel Applications of Explanation-Based Learning to Parsing Lexicalized Tree-Adjoining Grammars
在本文中，我们提出了一些新的应用基于解释的学习（EBL）技术分析词汇化树邻接语法。新的方面是（a）在训练集中的解析的立即推广，（b）递归结构的推广和（c）作为有限状态转换器的广义解析的表示。还引入了一个称为“订书机”的高度贫困的解析器。我们目前的实验结果使用EBL不同的语料库和架构，以显示我们的方法的有效性。
1995-05-10 cmp-lg cs.CL
Coordination in Tree Adjoining Grammars: Formalization and Implementation
在本文中，我们表明，一个帐户的协调可以使用派生结构的词汇化树邻接语法（LTAG）。我们提出了一个概念，衍生LTAG保留的概念，固定选区的LTAG词汇，同时提供协调现象所需的灵活性。我们还讨论了一个实用的LTAG分析器，可以处理协调，包括非成分协调的情况下，建设。
1996-06-07 cmp-lg cs.CL
Anchoring a Lexicalized Tree-Adjoining Grammar for Discourse
我们在这里探索一个“完全”词汇化的树邻接语法的话语，需要一个（独白）话语的基本元素是不简单的条款，但更大的结构，锚定在不同的实现话语线索。这种与语篇内部语法的联系说明了不同的语篇提示模式，而不同的结构和操作则说明了语篇意义要素的三个独立来源：（1）与基本树和操作相联系的合成语义，（2）由与树自由邻接的提示短语所承载的预设语义，（3）由与树相关联的提示短语所承载的预设语义。以及（3）一般推理，即得出额外的、可废除的结论，以充实组成中所传达的内容。
1998-06-24 cmp-lg cs.CL
Encoding Lexicalized Tree Adjoining Grammars with a Nonmonotonic Inheritance Hierarchy
本文展示了如何DATR，一个广泛使用的词汇知识表示的形式化语言，可以用来定义一个LTAG词典作为一个继承层次结构的内部词汇规则。自下而上的特征编码用于LTAG树，这允许词汇规则被实现为特征结构内的协变约束。这种方法消除了与LTAG词典相关的大量冗余。
1995-05-15 cmp-lg cs.CL
Dependency resolution and semantic mining using Tree Adjoining Grammars for Tamil Language
树邻接语法（TAG）提供了一个充分的工具来捕捉许多印度语言的语法。泰米尔语对计算形式主义提出了特殊的挑战，因为它具有广泛的粘着形态学和相对困难的论点结构。使用TAG建模泰米尔语语法和形态学是一个有趣的问题，尽管TAG已经有40多年的历史了，但这个问题一直没有得到关注。我们对泰米尔语TAG的研究表明，我们不仅可以表示语言的语法，而且在一定程度上可以通过句子的依赖关系解析来挖掘语义。但是为了证明这种现象属性，我们需要使用我们构建的TAG来解析泰米尔语句子，并通过解析获得我们可以用来解决依赖关系的派生，从而证明语义属性。我们使用内部开发的伪词汇TAG图解析器; Schabes和Joshi（1988）给出的算法，用于生成句子的派生。我们不使用任何统计数据来排除模糊的派生，而是使用所有这些来理解泰米尔语标签中提到的语义关系。为了使讨论更完整，我们还将给出一个简短的解析器分析。
2017-04-19 cs.CL
Error-Driven Pruning of Treebank Grammars for Base Noun Phrase Identification
寻找简单的、非递归的基本名词短语是许多自然语言处理应用程序的重要子任务。虽然以前的经验方法基本NP识别已经相当复杂，本文提出了一个非常简单的算法，是针对相对简单的任务。特别是，我们提出了一种基于语料库的方法，通过匹配部分的语音标签序列来寻找基本的NP。该算法的训练阶段基于两种成功的技术：首先从“树库”语料库中读取基本NP语法;然后通过选择具有高“效益”分数的规则来改进语法。使用这个简单的算法与一个天真的启发式匹配规则，我们实现了令人惊讶的准确性在宾夕法尼亚州树库华尔街日报的评价。
1998-08-26 cmp-lg cs.CL
Lexicalization and Grammar Development
在本文中，我们提出了一个完全词汇化的语法形式主义作为一个特别有吸引力的框架规范的自然语言语法。我们详细讨论了基于语法的词汇化树邻接文法（FB-LTAG），一类词汇化文法的代表。我们说明了词汇化语法在自然语言处理的各种背景下的优势，从广泛覆盖的语法开发到解析和机器翻译。我们还提出了一种紧凑和高效的词汇化树的表示方法。
1994-10-21 cmp-lg cs.CL
The Logic for a Mildly Context-Sensitive Fragment of the Lambek-Grishin Calculus
Keio University（庆应义塾大学）
虽然上下文无关文法的特点是一个简单的证明理论的语法形式主义，即范畴语法和它的逻辑Lambek演算，没有这样的特征是已知的树邻接文法，甚至任何轻度上下文敏感的语言类在过去的四十年，尽管一些努力。本文解决了这一问题。在现有的片段的Lambek-Grishin演算捕获树邻接语言的基础上，我们提出了一个逻辑称为HLG：一个证明理论的表征树邻接语言的Lambek-Grishin演算的基础上限制到超边替换文法与秩二的Moot研究。HLG定义在具有割容许性的显示演算中。一些新的技术，如纯结构连接词，有用性，并证明网络HLG的图论参数的证明。
2021-01-10 cs.CL
Grammar Specialization through Entropy Thresholds
基于解释的概括用于使用解析树的训练语料库从原始语法中提取专门的语法。这使得解析速度更快，错误率更低，但代价是覆盖率略有下降。以前，有必要手动指定树切割标准（或操作性标准）;这里，它们是从训练集和特定语法的期望覆盖范围自动导出的。这是通过为解析树中的每个节点分配一个熵值并插入具有足够高熵值的节点来完成的。
1994-05-25 cmp-lg cs.CL
Parsing with the Shortest Derivation
普遍的看法是，随机语法偏向于句子的较短派生是有害的，应该得到纠正。我们发现，共同的智慧是错误的随机文法，使用基本树，而不是上下文无关的规则，如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库，而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Multiset-Valued Linear Index Grammars: Imposing Dominance Constraints on Derivations
本文定义了多集值线性指标文法和带支配链的无序向量文法。前者在基于统一的形式主义中对多集值特征结构的某些用途进行建模，而后者则是由词序变化和“准树”（树的一种推广）所激发的。这两种形式主义是弱等价的，并且一个重要的子集至多是上下文敏感的和多项式可解析的。
1994-06-02 cmp-lg cs.CL
Restricting the Weak-Generative Capacity of Synchronous Tree-Adjoining Grammars
同步树邻接文法的形式主义是标准树邻接文法（TAG）的一个变体，其目的是允许在语言规范之外使用TAG进行语言转换。在以前的工作中，由同步TAG定义的转导关系的定义是通过呼吁迭代重写过程。派生的重写定义是有问题的，因为它极大地扩展了形式主义的表达能力，并使解析算法的设计变得困难。我们引入了一个简单的，自然的同步树邻接派生的定义，标准的树邻接派生之间的同构的基础上，避免了原来的重写定义的表达性和可实现性的问题。表达性的下降，这将使该方法无法使用，被抵消的标准树邻接推导的替代定义，以前提出的完全不同的原因，从而使它实际上是娱乐使用自然的定义同步推导。尽管如此，一些剩余的问题情况要求在定义中有更大的灵活性;同构要求可能必须放宽。它仍然是未来的研究，以调整对允许的映射的确切要求。
1994-08-30 cmp-lg cs.CL
Separating Surface Order and Syntactic Relations in a Dependency Grammar
本文提出了将依赖树与词序解耦，使得表面排序不是通过遍历依赖树来确定的。我们开发了一个\emph{word order domain structure}的概念，它是链接的，但在结构上不同的语法依赖树。该建议的结果在词汇化，声明性，和正式的词序精确的描述，功能缺乏以前的建议依赖语法。相反，其他词汇化的方法，词序，我们的建议不需要词汇歧义排序的替代品。
1998-08-25 cmp-lg cs.CL
Encoding Frequency Information in Lexicalized Grammars
我们解决的问题，如何将频率信息与词汇化的语法形式主义，使用词汇化树邻接语法作为一个代表性的框架。我们系统地考虑了一些替代的概率框架，从理论和实证的角度使用现有的大型树库的数据来评估其充分性。我们还提出了三个正交的方法来支持概率估计，以应付大量的参数。
1997-08-19 cmp-lg cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
Ant Group（蚂蚁集团）；Shandong University（山东大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
近年来，基于CKY的模型在无监督语法归纳中显示出巨大的潜力，这要归功于它们类似于人类的编码范式，它递归地、层次地运行，但需要$O(n^3)$时间复杂度。基于可微树的递归Transformer（R2D2）通过引入启发式剪枝方法，使得即使使用复杂的树编码器也可以扩展到大语言模型预训练。然而，基于规则的剪枝方法存在局部最优和推理速度慢的问题。在本文中，我们解决这些问题在一个统一的方法。我们建议使用一个自顶向下的解析器作为基于模型的修剪方法，这也使并行编码在推理。通常，我们的解析器将解析转换为分割点评分任务，首先对给定句子的所有分割点进行评分，然后通过选择当前跨度中得分最高的分割点将跨度递归地分为两个。拆分的相反顺序被认为是R2D2编码器中的修剪顺序。除了双向语言模型损失外，我们还通过最小化解析器和R2D2的树概率之间的KL距离来优化解析器。我们的实验表明，我们的Fast-R2D2在语法归纳方面显着提高了性能，并在下游分类任务中取得了有竞争力的结果。
2022-11-02 cs.CL
A Lie-algebraic perspective on Tree-Adjoining Grammars
Yale University（耶鲁大学）；California Institute of Technology（加州理工学院）
本文用图的组合定义给出树邻接语法的新数学实现，证明邻接操作构成预李运算与李代数，并表明该表述可自然捕捉空邻接约束和特征TAG等性质，无需额外设定。
2025-07-04 cs.CL math.QA math.RA
D-Tree Grammars
DTG被设计为共享TAG的一些优点，同时克服其一些限制。DTG涉及两个合成操作，称为subsertion和sister-adjunction。DTG最显著的特点是，与TAG不同，DTG的两个操作在词汇项的关系上是完全一致的：subsertion总是对应于complementation，sister adjunction总是对应于modification。此外，与TAG不同，DTG可以为英语和克什米尔语中的em wh-运动提供统一的分析，尽管克什米尔语中的em wh元素出现在第二个位置，而不是英语中的第一个位置。
1995-05-12 cmp-lg cs.CL
An Alternative Conception of Tree-Adjoining Derivation
树邻接文法推导的精确公式化对于形式主义的各种用途具有重要的影响，从句法分析到语义解释和统计语言建模。我们认为，树邻接派生的定义必须重新制定，以体现适当的语言依赖派生。特定的建议是精确的特征，通过定义的TAG派生的等价类的有序派生树，和计算操作，凭借一个编译线性索引的语法与一个有效的算法识别和解析，根据编译的语法。
1994-04-04 cmp-lg cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Evaluation of a Grammar of French Determiners
Université Paris-Est（巴黎东部大学）；Institut Gaspard-Monge（加斯帕尔·蒙日学院）；Laboratoire d'Informatique de l'Institut Gaspard-Monge（加斯帕尔·蒙日学院计算机实验室）
现有的自然语言的句法语法，即使覆盖面远远不够，也是复杂的对象。对此类语法的部分质量的评估对于验证其构造非常有用。我们评估了法国决定因素的语法，采取递归过渡网络的形式的质量。这种局部语法的应用结果给出了比组块或树库中可用的信息更深的句法信息。我们进行了评价，通过与语料库独立注释的信息限定词进行比较。我们获得了86%的准确率和92%的召回率的文本没有标记的词性。
2007-11-21 cs.CL
Sequence-to-Sequence Learning with Latent Neural Grammars
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
使用神经网络的序列到序列学习已经成为序列预测任务的事实标准。这种方法通常使用一个强大的神经网络对下一个单词的局部分布进行建模，该神经网络可以根据任意上下文进行调节。虽然灵活且性能良好，但这些模型通常需要大型数据集进行训练，并且可能在旨在测试组合泛化的基准测试中失败。这项工作探讨了一种替代的，层次化的方法，序列到序列的学习与准同步语法，在目标树中的每个节点是由源树中的一个节点转换。源树和目标树都被视为潜在的，并在训练过程中诱导。我们开发了一个神经参数化的语法，使参数共享的组合空间的推导规则，而不需要手动功能工程。我们将这种潜在的神经语法应用于各个领域-诊断语言导航任务，旨在测试成分概括（SCAN），风格转移和小规模机器翻译-并发现与标准基线相比，它的表现相当不错。
2021-11-16 cs.CL cs.LG
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型，我们称之为HBG，它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库，称为树库，结合决策树构建来梳理出解析树的相关方面，这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一（我们称之为P-CFG）的头对头测试中，HBG模型明显优于P-CFG，将解析准确率从60%提高到75%，错误减少了37%。
1994-05-03 cmp-lg cs.CL
Natural Language Parsing as Statistical Pattern Recognition
传统的自然语言解析器是基于重写规则系统开发的一个艰巨的，耗时的方式由语法学家。语法学家的大部分努力都致力于消除歧义的过程，首先假设规则，这些规则规定了歧义句中的词之间的成分类别和关系，然后寻找这些规则的例外和纠正。在这项工作中，我提出了一个自动的方法来获得一个统计分析器从一组分析的句子，它利用了一些初始的语言输入，但避免了陷阱的迭代和看似无穷无尽的语法开发过程。基于分布派生和基于语言的语言特征，该解析器获得一组统计决策树，该决策树在给定输入句子的解析树空间上分配概率分布。这些决策树利用大量的上下文信息，可能包括句子中的所有词汇信息，以产生消歧过程的高度准确的统计模型。通过将消歧标准选择基于熵减少而不是人类直觉，这种解析器开发方法能够在制定个体消歧规则时考虑比人类语法学家更多的句子。在实验之间的分析器，获得使用这个统计框架，和语法学家的基于规则的分析器，开发了十年的时间，都使用相同的训练材料和测试句子，决策树分析器显着优于语法分析器的准确性措施，语法学家试图最大化，实现了78%的准确性相比，基于语法的分析器的69%。
1994-05-05 cmp-lg cs.CL
TreeGAN: Syntax-Aware Sequence Generation with Generative Adversarial Networks
Worcester Polytechnic Institute（伍斯特理工学院）；Apple（苹果公司）；Huawei（华为）
生成对抗网络（GANs）在图像生成方面表现出了很大的能力，其中判别模型指导生成模型的训练以构建类似于真实图像的图像。最近，GANs已经从生成图像扩展到生成序列（例如，诗歌、音乐和密码）。现有的序列生成GANs主要集中在一般序列上，这是无语法的。然而，在许多实际应用中，我们需要用一种形式语言生成序列，并受其相应文法的约束。例如，要测试数据库的性能，可能需要生成一个SQL查询集合，这些查询不仅与真实用户的查询相似，而且遵循目标数据库的SQL语法。生成这样的序列是非常具有挑战性的，因为GANs的生成器和编译器都需要考虑序列的结构和形式语言中的给定语法。为了解决这些问题，我们研究了使用GANs的语法感知序列生成问题，其中将真实序列的集合和一组预定义的语法规则赋予生成器和生成器。我们提出了一种新的GAN框架，即TreeGAN，将一个给定的上下文无关文法（CFG）的序列生成过程。在TreeGAN中，生成器采用递归神经网络（RNN）来构建解析树。然后，每个生成的解析树可以被转换为给定语法的有效序列。该算法使用树结构的RNN来区分生成的树和真实的树。我们证明了TreeGAN可以为任何CFG生成序列，并且它的生成完全符合给定的语法。在合成和真实数据集上的实验表明，TreeGAN显着提高了上下文无关语言中序列生成的质量。
2018-08-22 cs.AI cs.CL
Compound Probabilistic Context-Free Grammars for Grammar Induction
Harvard University（哈佛大学）；DeepMind（深度思维）
我们研究的语法归纳问题，模型的句子是由一个复合概率上下文无关文法生成的形式化。与学习单个随机语法的传统公式相反，我们的语法的规则概率由每句连续潜变量调制，这会导致超出传统上下文无关假设的边际依赖性。在这种语法中的推理是由折叠变分推理，其中一个摊销变分后被放置在连续变量，和潜在的树被边缘化的动态规划。英文和中文的实验表明，我们的方法相比，最近的国家的最先进的方法进行评估时，无监督分析的有效性。
2020-03-29 cs.CL stat.ML
A Tree Adjoining Grammar Representation for Models Of Stochastic Dynamical Systems
Eindhoven University of Technology（埃因霍温理工大学）
在系统辨识中，模型结构和复杂度的选择是一个具有挑战性的问题，特别是对于参数非线性模型。许多基于进化算法（EA）的方法已被提出在文献中估计模型的结构和复杂性。在大多数情况下，所提出的方法被设计用于估计指定模型类内的结构和复杂性，因此这些方法在没有显著变化的情况下不会扩展到其他模型结构。在本文中，我们提出了一个树邻接文法（TAG）随机参数模型。TAG可用于在EA框架中生成模型，同时施加期望的结构约束并结合先验知识。在本文中，我们提出了一个TAG，可以系统地生成从FIR到多项式NARMAX模型的模型。此外，我们证明，TAG可以很容易地扩展到更一般的模型类，如非线性Box-Jenkins模型类，使灵活和自动的模型结构和复杂性选择通过EA的实现。
2020-05-25 cs.CL cs.NE cs.SY
A Grammar Formalism and Cross-Serial Dependencies
首先，我们定义了一个统一的语法形式主义称为树同态特征结构语法。它是基于词汇功能语法（LFG），但有很强的限制语法的方程。然后，我们表明，这种语法形式主义定义了一个完整的抽象的语言家族，它是能够描述瑞士德语中发现的类型的跨序列依赖关系。
1995-07-24 cmp-lg cs.CL
XTAG system - A Wide Coverage Grammar for English
本文介绍了JTAG系统，一个语法开发工具的基础上的树邻接语法（TAG）的形式主义，包括一个广泛覆盖的英语语法。该系统的各个组成部分进行了讨论，并给出了初步的评价结果，从各种语料库的解析。从比较结果的JTAG对IBM的统计分析器和阿尔维自然语言工具分析器也给出了。
1994-10-20 cmp-lg cs.CL
Vector symbolic architectures for context-free grammars
Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Brandenburgische Technische Universität (BTU) Cottbus–Senftenberg（科特布斯-森夫滕贝格勃兰登堡工业大学）
背景/导言。向量符号架构（VSA）是一种可行的方法来表示符号数据，如文档，语法结构，或语义框架。方法.我们提出了一个严格的数学框架表示的短语结构树和分析树的上下文无关文法（CFG）在Fock空间，即无限维希尔伯特空间中被用于量子场论。利用项代数定义了一种新的CFG范式。使用最近开发的软件工具箱，称为FockBox，我们构建Fock空间表示的树建立了一个CFG左角（LC）解析器。结果我们证明了一个通用的表示定理的CFG项代数在Fock空间，并说明我们的研究结果，通过低维主成分投影的LC解析器状态。结论.我们的方法可以利用VSA的发展，通过多维深度神经计算实现可解释的人工智能（XAI）。这对认知用户界面的改进以及VSA在机器学习中的其他应用具有重要意义。
2020-09-25 cs.CL q-bio.NC
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出依存Transformer文法（DTGs），通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中，实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
From Regular to Context Free to Mildly Context Sensitive Tree Rewriting Systems: The Path of Child Language Acquisition
当前的句法理论严重限制了语法变异的范围，以至于语法学习的逻辑问题变得微不足道。然而，儿童至少在六岁之前表现出句法发展的特征阶段。而不是假定成熟的延迟，我认为，收购困难的结果，在操纵语法表示的限制。我认为，复杂的句子的起源反映了生成能力的系统产生的结构描述：连体条款只需要一个定期的树重写系统;嵌入使用上下文无关的树替代语法;修改需要TAG，一个温和的上下文敏感系统。
1994-11-04 cmp-lg cs.CL
Strong Equivalence of TAG and CCG
Universität Leipzig（莱比锡大学）
树邻接文法（TAG）和组合范畴文法（CCG）是两种建立良好的轻度上下文敏感文法形式主义，已知它们对字符串具有相同的表达能力（即，生成相同类的字符串语言）。它表明，他们的表现力在树上也基本上是一致的。事实上，CCG没有空字符串的词典条目，只有次数最多为2的一阶规则就足以满足其全部表达能力。
2022-05-16 cs.CL cs.FL
Another Facet of LIG Parsing
在本文中，我们提出了一个新的分析算法的线性索引文法（LIGs）在相同的精神（Vijay-Shanker和Weir，1993年）中描述的树邻接文法。对于一个LIG $L$和一个长度为$n$的输入字符串$x$，我们建立了一个无二义性的上下文无关文法，它的句子都是（并且排他地）有效的推导序列在$L$中，导致$x$。我们表明，这种语法可以建立在${\cal O}(n^6)$的时间，可以提取的解析树的大小，在线性时间内的个人解析。虽然这个${\cal O}(n^6)$上限并没有比以前的结果有所改善，但平均情况下表现得更好。此外，实际的解析时间可以减少一些静态执行的计算。
1996-04-23 cmp-lg cs.CL
Data-driven Modelling of Dynamical Systems Using Tree Adjoining Grammar and Genetic Programming
Department of Electrical Engineering（电气工程系）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出了一种利用树附加语法学和遗传编程进行非线性动态系统数据驱动建模的方法，通过自动化建模过程并分析不同挑战下的性能。
2019-04-05 cs.CL cs.NE cs.SY
Principles and Implementation of Deductive Parsing
我们提出了一个系统，用于生成语法分析器直接基于隐喻的解析演绎。解析算法可以直接表示为演绎系统，并且单个演绎引擎可以解释这样的演绎系统以便实现相应的解析器。该方法很容易推广到语法分析器的增强短语结构形式主义，如定义子句语法和其他逻辑语法形式主义，并已被用于快速原型分析算法的各种形式主义，包括变种的树邻接语法，范畴语法，和词汇化上下文无关语法。
1994-04-26 cmp-lg cs.CL
Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University（首尔国立大学）；University of Chicago（芝加哥大学）
随着预训练语言模型（LM）在自然语言处理中的成功和流行，人们越来越多地努力了解其内部工作原理。在这样的兴趣，我们提出了一种新的方法，帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外，我们在诱导树中报告了有趣的发现，包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
How to define a context-free backbone for DGs: Implementing a DG in the LFG formalism
本文提出了一种多维依存文法（DG），它将依存树从词序中抽象出来，使得表面排序不是通过遍历依存树来确定的。我们开发了一个\emph{word order domain structure}的概念，它是链接的，但在结构上不同的语法依赖树。然后，我们讨论了这样一个DG的实现使用构造基于统一的短语结构的方法，即词汇功能语法（LFG）。特别注意的是在DG的LFG的功能不确定性方面的不连续性分析。
1998-08-21 cmp-lg cs.CL
Matroids Hitting Sets and Unsupervised Dependency Grammar Induction
Dept of Computer Science, Univ of British Columbia（不列颠哥伦比亚大学计算机科学系）；Systems Biology Dept, Harvard Medical School（哈佛医学院系统生物学系）；Dept of Computer Science, MIT（麻省理工学院计算机科学系）；Google（谷歌）
本文提出了一个新的图问题：在一个全连通图中求最小边子集，使得所得到的图包含一组指定子图的所有生成树。这种提法的动机是一个无监督的语法归纳问题，从计算语言学。我们提出了一个减少一些已知的问题和算法从图论，提供计算复杂性的结果，并描述了一个近似算法。
2017-07-15 cs.CL cs.DM cs.DS
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
