Stability of Syntactic Dialect Classification Over Space and Time
New Zealand Institute for Language, Brain and Behaviour（新西兰语言、大脑与行为研究所）；University of Canterbury（坎特伯雷大学）；Geospatial Research Institute Toi Hangarau（Toi Hangarau地理空间研究所）
本文分析了基于句法表征的方言量词在时空上的稳定程度。虽然以前的工作已经表明，语法归纳和地理空间文本分类的组合产生强大的方言模型，我们不知道什么影响变化的语法和变化的人口对方言模型。本文为12种英语方言构建了一个测试集，时间跨度为三年，每月一次，在1,120个城市中具有固定的空间分布。句法表征是在基于用法的构式语法范式（CxG）内制定的。随着时间的推移，每种方言的分类性能的衰减率，使我们能够确定正在发生语法变化的地区。分类准确率在方言区域内的分布使我们能够确定方言语法内部异质性的程度。本文的主要贡献是表明，严格的评估方言分类模型可以用来找到随时间的变化，随空间的变化。
2022-09-11 cs.CL
Evaluating Syntactic Properties of Seq2seq Output with a Broad Coverage HPSG: A Case Study on Machine Translation
College of Natural Sciences（自然科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Department of Computer Science（计算机科学系）；San Jose State University（圣何塞州立大学）；Department of Linguistics（语言学系）；College of Information and Computer Sciences（信息与计算机科学学院）
序列到序列（seq 2seq）模型通常用于目标输出是自然语言的设置中。然而，从这些模型生成的语言的语法属性还没有得到很好的理解。我们探讨这种输出是否属于一个正式的和现实的语法，采用英语资源语法（ERG），一个广泛的覆盖面，语言精确的HPSG为基础的语法英语。从法语到英语的平行语料库，我们分析了可解析性和语法结构发生在输出从seq 2seq翻译模型。超过93%的模型翻译是可解析的，这表明它学习生成符合语法的翻译。该模型在学习稀有语法规则的分布方面遇到了困难，我们确定了几个结构，这些结构可以区分参考文献和我们的模型之间的翻译。
2018-09-06 cs.CL
Grammar Assistance Using Syntactic Structures (GAUSS)
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（CITIC研究院）；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
提出西班牙语语法辅导系统GAUSS，结合丰富语言形式化体系与快速解析算法，提供信息丰富反馈，减少对高成本神经方法的依赖，推动绿色AI与全球教育包容性。
2024-06-26 cs.CL
Separating Surface Order and Syntactic Relations in a Dependency Grammar
本文提出了将依赖树与词序解耦，使得表面排序不是通过遍历依赖树来确定的。我们开发了一个\emph{word order domain structure}的概念，它是链接的，但在结构上不同的语法依赖树。该建议的结果在词汇化，声明性，和正式的词序精确的描述，功能缺乏以前的建议依赖语法。相反，其他词汇化的方法，词序，我们的建议不需要词汇歧义排序的替代品。
1998-08-25 cmp-lg cs.CL
A Unified Representation for Continuity and Discontinuity: Syntactic and Computational Motivations
University of Kansas（堪萨斯大学）；Indian Institute of Technology Hyderabad（海得拉巴印度理工学院）
本文提出对应原则，将短语结构语法、依存语法和范畴语法统一为一种语言结构表征，并以土耳其语非连续从属子句为例，证明该统一表征可简化连续与非连续句的句法分析和神经认知加工的计算复杂性。
2025-06-06 cs.CL
Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本文系统研究了Transformer语法中不同树遍历方法（深度优先、广度优先及新提出的产生式规则遍历）对语言建模、句法泛化和摘要生成的影响，揭示了嵌套组合与全局前瞻之间的权衡。
2026-06-16 cs.CL
The Grail theorem prover: Type theory for syntax and semantics
LIRMM, Montpellier University（蒙彼利埃大学LIRMM）；CNRS, LaBRI, Bordeaux University（波尔多大学LaBRI，法国国家科学研究中心）
顾名思义，类型逻辑语法是一种基于逻辑和类型论的语法形式。从语法设计的角度来看，类型逻辑语法发展的句法和语义方面的语言现象手牵手，让一个表达式的预期语义通知句法类型，反之亦然。类型逻辑语法成功应用于语法语义接口的典型例子包括协调、量词作用域和extraction.This章介绍了Grail定理证明器，这是一系列用于设计和测试各种现代类型逻辑语法中的语法的工具。本章中描述的所有工具都是免费提供的。
2016-08-26 cs.CL
Evaluation of a Grammar of French Determiners
Université Paris-Est（巴黎东部大学）；Institut Gaspard-Monge（加斯帕尔·蒙日学院）；Laboratoire d'Informatique de l'Institut Gaspard-Monge（加斯帕尔·蒙日学院计算机实验室）
现有的自然语言的句法语法，即使覆盖面远远不够，也是复杂的对象。对此类语法的部分质量的评估对于验证其构造非常有用。我们评估了法国决定因素的语法，采取递归过渡网络的形式的质量。这种局部语法的应用结果给出了比组块或树库中可用的信息更深的句法信息。我们进行了评价，通过与语料库独立注释的信息限定词进行比较。我们获得了86%的准确率和92%的召回率的文本没有标记的词性。
2007-11-21 cs.CL
A generic tool to generate a lexicon for NLP from Lexicon-Grammar tables
Université Paris-Est（巴黎东部大学）
词汇语法表是一种覆盖率很高的语法词典，但由于其依赖于隐含信息，不能直接应用于自然语言处理（NLP）中。在本文中，我们介绍了LGExtract，一个通用的工具，用于从词汇语法表中生成NLP的语法词典。它基于一个包含未定义信息的全局表和一个包含对所有表执行的所有操作的唯一提取脚本。我们还提出了一个实验，已进行生成一个新的法语动词和谓词名词的词汇。
2010-05-31 cs.CL
Three studies of grammar-based surface-syntactic parsing of unrestricted English text. A summary and orientation
本文研究了无约束英语文本自动表层句法分析的语法设计。它包括一个摘要和三篇文章。{ \it Morphological disambiguation}记录了在Fred Karlsson提出的约束语法框架内进行的英语形态（或词性）消歧的语法。消歧器试图丢弃那些由词法分析器提出的上下文不合法的替代形态分析。这1,100个约束表达了大约23个一般的、基本上是句法的陈述，作为对形态标记线性顺序的限制。形态学消歧器的错误率比另一种最先进的概率消歧器的错误率小大约十倍，因为两者都允许留下一些最难的歧义未解决。这种准确性表明了基于语法的自然语言解析方法的可行性，因此也有助于更广泛的关于概率与语言技巧{ \it Experiments with Analogistics}解决了如何解决那些在形态消歧器中仍然存在的歧义的问题。两种方法提出和经验评估：（i）启发式消歧的约束条件和（ii）从完全消歧的语料库的一部分，然后应用这些信息来解决剩余的歧义学习技术。
1994-06-27 cmp-lg cs.CL
Syntactic Analyses for Parallel Grammars: Auxiliaries and Genitive NPs
本文从平行语法发展的角度出发，着重讨论德语句法的两个不同方面。作为一个合作项目的一部分，我们提出了一个创新的方法，助剂和多个属格NP在德国。基于LFG的实现避免了不必要的结构复杂性表示的助动词的挑战传统的分析助动词提高。为多个属格NP开发的方法提供了与名物化动词相关的属格词的更抽象、独立于语言的表示。这两种方法合在一起，代表了为不同语言提供统一适用的处理方法的一个步骤，从而减轻了机器翻译的负担。
1996-04-24 cmp-lg cs.CL
Syntactic Enhancement to VSIMM for Roadmap Based Anomalous Trajectory Detection: A Natural Language Processing Approach
Cornell University（康奈尔大学）
句法跟踪的目的是使用自然语言处理模型对目标运动的时空模式进行分类。在本文中，我们概括了早期的工作，考虑一个受约束的随机上下文无关文法（CSCFG）建模模式局限于路线图。受约束的语法有助于在路线图中对特定方向和道路名称进行建模。我们提出了一种新的粒子滤波算法，利用CSCFG模型估计目标的模式。该元级算法与基本级跟踪算法结合操作。大量的数值模拟结果表明，使用模拟地面动目标指示器（GMTI）雷达测量目标跟踪精度的显着改善。
2018-08-04 cs.CL
Collocational Grammar
一个统计语言模型的角度，强调其搭配方面的主张。建议将字符串一般化为关系类而不是对象类。这种模型最重要的一个特征是比较模式的机制。当模式被完全泛化时，语法类的自然定义就作为关系类的子集出现了。这些搭配句法类应该是对传统句法类的明确划分。
1996-04-19 cmp-lg cs.CL
A Multilingual FrameNet-based Grammar and Lexicon for Controlled Natural Language
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
Berkeley FrameNet是基于框架语义学理论的英语词汇语义资源库。它已被广泛用于自然语言处理应用程序中，并启发了许多语言的框架网的开发。我们提出了一种方法论的方法来提取和生成一个计算多语言的基于FrameNet的语法和词汇。该方法利用FrameNet标注语料库自动提取一组跨语言语义-句法配价模式。基于伯克利框架网和瑞典框架网的数据，所提出的方法已经实现了语法框架（GF），一个类别的语法形式主义专门为多语言语法。语法和词典的实现由FrameNet的设计支持，在GF资源语法库已经提供的语际语法API之上提供框架语义抽象层，语际语义API（应用程序编程接口）。对习得的语法和词汇的评价表明了该方法的可行性。此外，我们说明了如何在两个不同的多语言控制的自然语言的应用程序中利用基于FrameNet的语法和词典。所生成的资源在开源许可证下可用。
2015-11-12 cs.CL
Using Grammar Masking to Ensure Syntactic Validity in LLM-based Modeling Tasks
针对大语言模型建模时句法易出错、复杂文法下提示工程效果有限的问题，提出语法掩码方法，通过约束解码限制输出符合给定文法，实验证明其可显著提升多类LLM的建模正确率，降低对精细提示的依赖。
2024-07-09 cs.AI cs.CL cs.SE
Proposing TAGbank as a Corpus of Tree-Adjoining Grammar Derivations
The University of British Columbia（不列颠哥伦比亚大学）
为填补词汇化语法形式缺乏大规模语料库的空白，本文提出从现有句法树库自动提取TAG推导的TAGbank语料库，概述映射方法并讨论挑战，支持句法分析等任务并计划扩展多语言语料库。
2025-04-13 cs.CL
The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学）；ICREA（加泰罗尼亚国家研究委员会）
通过对337篇文章的系统综述，评估基于Transformer的语言模型（TLM）的句法能力，发现TLM编码了非平凡的句法知识，但句法-语义接口现象表现较弱，且研究集中在英语和BERT类模型上。
2026-09-01 cs.AI cs.CL
DPH Parser: A Bottom-Up Grammar-Driven Parser for Joint Constituency and Dependency Analysis
本文提出DPH解析器，一种基于语法的自底向上无监督解析框架，通过特征规则和中心语标注联合生成成分与依存结构，在UD语料上验证了透明解析的可行性。
2026-09-09 cs.CL
GiLT: Augmenting Transformer Language Models with Dependency Graphs
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（智能视觉与成像上海工程研究中心）
GiLT通过依赖图增强Transformer语言模型，提升语法泛化能力，同时保持竞争力的困惑度，且能通过微调提升下游任务表现。
2026-05-15 cs.CL
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs
Universidade da Coruña, CITIC（科鲁纳大学，CITIC）；Independent Researcher（独立研究者）；Palacký University, Olomouc（帕拉茨基大学，奥洛穆克）
研究比较两代LLM生成的新闻文本与人类写作的语法特性，发现新模型在语法和词汇多样性上有所下降。
2026-05-07 cs.CL
Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks
该研究开发了粤语与爱尔兰语ParGram树库，探究多语言LLMs在语法工程中的应用，发现其翻译表现差、跨语言抽象任务效果不佳，但可提供参考，凸显其潜力与专家分析的重要性。
2026-08-10 cs.CL
We can still parse using syntactic rules
Independent Researcher（独立研究者）
本文提出了一种基于语法理论的新解析方法，通过改进解析算法和规则，实现更准确的依赖和构成解析，适用于自然语言处理任务。
2026-02-15 cs.CL
Complexity of Grammar Induction for Quantum Types
École Normale Supérieure（巴黎高等师范学院）
大多数范畴意义模型使用从句法范畴到语义范畴的函子。当语义信息是可用的，语法归纳的问题，因此可以被定义为寻找在这个健忘函子下的语义类型的原像，提升信息流从语义层面的有效减少在句法层面。我们研究了语法归纳的复杂性，并证明了对于各种类型系统，包括枢轴和紧闭范畴，语法归纳问题是NP-完全的。我们的方法可以扩展到语言类型系统，如自治或双闭范畴。
2014-12-30 cs.CL math.CT
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Linguistic Analysis, Description, and Typological Exploration with Categorial Grammar (TheBench Guide)
本文介绍了TheBench工具，基于单子结构和范畴语法，通过将应用转变为组合并指定句法与语义命令关系，实现自然语言分析、跨语言比较及语法模型训练。
2024-06-04 cs.CL
Memory limitations are hidden in grammar
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）；Aarhus University（奥胡斯大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
产生和理解无限数量的不同句子的能力是人类语言的标志。语言学家试图使用形式语法来定义这种生成能力的本质，这些语法描述了成分之间的句法依赖关系，独立于人脑的计算限制。在这里，我们评估这个独立性假设采样句子均匀的空间可能的句法结构。我们发现，平均依存关系之间的距离句法相关的话，记忆限制的代理，是小于预期的机会，在一个国家的最先进的类依赖语法的集合。我们的研究结果表明，记忆的局限性已经渗透到语法描述，这表明它可能是不可能建立一个简约的理论，人类的语言生产力独立的非语言认知约束。
2022-04-05 cs.CL cs.DM
Verbal behavior without syntactic structures: beyond Skinner and Chomsky
Cornell University（康奈尔大学）
了解语言意味着什么？自乔姆斯基革命以来，对这个问题的一个流行的回答是：拥有一种专门许可某些句法结构的生成语法。几十年过去了，对于任何一种语言来说，甚至连一种近似的语法都没有形成;语法是普遍的、天生特定的观点已经证明是徒劳的;试图说明如何从经验中学习语法的努力总是失败的。为了走出这一僵局，我们必须重新发现语言在多大程度上与其他人类行为一样：动态的、社会的、多模态的、模式化的和有目的的，其目的是促进他人和自我的可取行为（或思想）。最近的心理学，计算，神经生物学和进化的见解的形成和结构的行为可能会指向我们对语言的一个新的，可行的帐户。
2023-03-11 cs.CL q-bio.NC
Controlled Natural Language Generation from a Multilingual FrameNet-based Grammar
Språkbanken, University of Gothenburg（哥德堡大学语言库）；Department of Computer Science and Engineering, University of Gothenburg（哥德堡大学计算机科学与工程系）
本文介绍了一个目前双语，但潜在的多语种的语法库实现语法框架。本文的贡献是双重的。首先，它提供了一种方法论的方法来自动生成语法的基础上提取的语义句法配价模式从FrameNet标注语料库。其次，它提供了两个用例的概念证明，说明如何收购多语言语法可以在不同的CNL应用程序中的艺术和旅游领域的开发。
2014-06-10 cs.CL
Abstract categorial grammars with island constraints and effective decidability
一个众所周知的方法来处理语法岛的限制，在设置的Lambek语法包括在添加特定的括号模态的逻辑。我们适应这种方法抽象范畴语法（ACG）。因此，我们定义了括号（蕴涵）线性逻辑，括号内的代数演算，并最终，括号内ACG的基础上括号内的$λ$演算。这使得我们至少可以在相对化的背景下对最简单的岛屿约束进行建模。接下来，我们确定特定的安全括号ACG，就像普通的（无括号）二阶ACG生成有效的可判定的语言，但足够灵活的模型一些高阶现象，如相对化和正确处理语法岛，至少在简单的玩具的例子。
2020-05-20 cs.CL math.LO
Global Syntactic Variation in Seven Languages: Towards a Computational Dialectology
University of Canterbury（坎特伯雷大学）
本文的目标是提供一个完整的代表性的区域语言变异在全球范围内。为此，本文着重于消除三个限制，以前有限的工作方言学/方言测量。首先，而不是假设一个固定的和不完整的变量集，我们使用计算构式语法提供一个可复制的和可证伪的句法特征集。其次，我们不是假设一个特定的兴趣领域，而是使用基于网络抓取和社交媒体数据集的全球语言映射来确定国家品种的选择。第三，我们不是孤立地看待一种语言，而是使用相同的方法对七种主要语言进行建模：阿拉伯语，英语，法语，德语，葡萄牙语，俄语和西班牙语。结果表明，每种语言的模型都能够鲁棒地预测出的样本的原产地更好地使用构造语法比使用简单的句法功能。这些全球规模的实验被用来证明，计算社会语言学的新方法能够提供更普遍的区域变化模型，这对于理解语言变化和大规模变化至关重要。
2021-04-03 cs.CL
Modeling Global Syntactic Variation in English Using Dialect Classification
University of Canterbury（坎特伯雷大学）
本文评估了14个国家英语变体的全球范围方言识别，作为研究句法变异的一种手段。本文的主要贡献有三：（i）引入数据驱动的语言映射作为选择国家变体的方法，以包括在任务中;（ii）使用语法归纳产生一个大的和动态的句法特征集，而不是专注于少数手工选择的特征，如虚词;以及（iii）跨网络语料库和社交媒体语料库比较模型，以便测量跨寄存器的句法变化的鲁棒性。
2019-04-11 cs.CL
Recognizing Bangla Grammar using Predictive Parser
Khulna University of Engineering and Technology (KUET)（库尔纳工程技术大学）
我们描述了孟加拉语的上下文无关文法（CFG），因此我们提出了一个基于该文法的孟加拉语语法分析器。我们的方法是非常普遍适用于孟加拉语句子和方法被广泛接受的语法分析的语言。建议的分析器是一个预测分析器，我们构造的分析表识别孟加拉语语法。使用解析表，我们认识到孟加拉语句子的语法错误时，没有在解析表中的终端条目。如果一种自然语言可以被成功地解析，那么从这种语言进行语法检查就成为可能。该方案是基于自顶向下的分析方法，我们已经避免了左递归的CFG使用左分解的想法。
2012-01-10 cs.CL
Explicit Syntactic Guidance for Neural Text Generation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出一种基于成分句法树自顶向下指导的文本生成模式及结构化束搜索方法，在复述生成与机器翻译任务中优于自回归基线，并提升了可解释性、可控性与多样性。
2023-06-25 cs.CL
The Grammar of Emergent Languages
University of Amsterdam（阿姆斯特丹大学）；Institute of Cognitive Science（认知科学研究所）；University of Osnabruek（奥斯纳布吕克大学）；Institute for Logic, Language and Computation（逻辑、语言与计算研究所）
在本文中，我们考虑的语法属性出现在参考游戏中，使用无监督语法归纳（UGI）技术最初设计用于分析自然语言。我们认为UGI技术是适当的分析新兴的语言，然后我们研究，如果出现在一个典型的参考游戏设置的语言表现出句法结构，并在何种程度上这取决于最大的消息长度和数量的符号，代理商被允许使用。我们的实验表明，一定的消息长度和词汇量的结构出现所需的，但他们也说明，需要更复杂的游戏场景，以获得更类似于人类语言中观察到的句法属性。我们认为，UGI技术应该是分析新兴语言的标准工具包的一部分，并发布一个全面的库，以方便未来的研究人员进行这种分析。
2020-10-09 cs.AI cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est（巴黎-est大学）；LIGM（语言与信息学实验室）
本文通过将法语句法词典（Lexicon-Grammar）的数据整合到概率解析器中，并应用聚类方法于法语树库的动词，提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
A Constraint-Satisfaction Parser for Context-Free Grammars
University of Granada（格拉纳达大学）
传统的语言处理工具将语言设计者限制在特定类型的语法上。相反，基于模型的语言规范将语言设计与语言处理相结合。因此，基于模型的语言规范工具需要能够解析不受限制的上下文无关文法的通用解析器。由于遵循这种方法指定的语言可能是二义性的，解析器必须处理二义性。基于模型的语言规范还允许定义关联性、优先级和自定义约束。因此，由模型驱动的语言规范工具生成的解析器需要强制约束。在本文中，我们提出了围栏，一个有效的自下而上的图表解析器，支持词汇和语法歧义，允许规范的约束，因此，使使用基于模型的语言规范在实践中。
2012-02-02 cs.CL
Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文讨论了将自然语言句子映射到其意义的代数演算编码的问题。我们描述了一种学习算法，它将λ演算中标记有表达式的句子训练集作为输入。该算法归纳的语法问题，以及一个对数线性模型，表示分布在句法和语义分析的条件下的输入句子。我们将该方法应用于学习数据库的自然语言接口的任务，并表明学习的解析器优于以前的方法在两个基准数据库域。
2012-07-04 cs.CL
Network statistics on early English Syntax: Structural criteria
ICREA（加泰罗尼亚研究与高级研究机构）；Universitat Pompeu Fabra（庞培法布拉大学）
本文包括对网络在英语语言习得研究中的作用的反思，以及从儿童话语中注释自由言论语料库的实用标准的收集。在理论层面上，本文的主要观点是句法网络应该被解释为句法机器使用的结果。因此，这种机制的内在特征不能直接从（已知的）网络属性中获得。相反，人们可以看到的是它的使用的全球模式，因此，对潜在语法的力量和组织的全球看法。本文从更实际的角度出发，探讨了如何从句法关系的投射中构建网络。回想一下，与成人语法相反，早期儿童语言没有一个明确的结构概念。为了克服这样的困难，我们制定了一套系统的标准，假设选区层次结构和语法的基础上词汇主题关系。最后，我们得到的是一个定义良好的语料库注释，它使我们能够i）对结构的大小进行统计，ii）从句法关系中构建一个网络，我们可以在这个网络上执行复杂性的标准度量。我们还提供了一个详细的例子。
2007-04-30 cs.CL
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
Microsoft Semantic Machines（微软语义机器）；Scaled Cognition（规模化认知）
本文提出 BenchCLAMP 基准，通过提供上下文无关文法和受约束解码接口，评估语言模型在句法和语义解析任务上的性能，发现受约束的编码器-解码器模型能超越现有最先进方法。
2024-01-10 cs.CL
Discontinuous Grammar as a Foreign Language
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
为了实现自然语言的深层理解，句法成分分析是一个重要的步骤，许多人工智能系统都高度要求处理文本和语音。最新的建议之一是使用标准的序列到序列模型来执行成分解析作为机器翻译任务，而不是应用特定于任务的解析器。虽然这些文本解析转换器表现出了竞争力，但在准确性、覆盖范围和速度方面仍然落后于经典技术。为了缩小差距，我们在这里扩展的框架序列到序列模型的成分分析，不仅通过提供一个更强大的神经架构，以提高其性能，而且还通过扩大其覆盖范围，以处理最复杂的句法现象：不连续结构。为此，我们设计了几种新的线性化，可以完全产生不连续性，并首次在主要的不连续基准上测试了序列到序列模型，获得了与特定任务的不连续成分解析器相当的竞争结果，并在（不连续）英语Penn Treebank上获得了最先进的分数。
2022-12-22 cs.CL
Generative Statistical Models with Self-Emergent Grammar of Chord Sequences
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
和弦序列的生成统计模型在音乐处理中起着至关重要的作用。为了捕捉某些和弦之间的句法相似性（例如，在C大调，G和G7之间，F和Dm之间），我们研究隐马尔可夫模型和概率上下文无关文法模型与潜在变量描述的和弦符号的句法类别和它们的无监督学习技术，从数据中归纳出潜在的语法。令人惊讶的是，我们发现，这些模型往往优于传统的马尔可夫模型的预测能力，和自我涌现的类别往往对应于传统的调和函数。这意味着从信息学的角度来看，和声模型中需要和弦类别。
2018-03-02 cs.AI cs.CL cs.SD
Fine-Grained Prediction of Syntactic Typology: Discovering Latent Structure with Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何预测的基本语序事实的一种新的语言只给出一个语料库的词性（POS）序列。我们预测了直接宾语跟随动词的频率，形容词跟随名词的频率，以及所有依赖关系的方向性。这种类型学特征有助于语法归纳。虽然这样的问题通常被认为是无监督学习，我们的创新是将其视为监督学习，使用大量的现实合成语言作为训练数据。监督学习者必须识别语言的POS序列的表面特征（手工设计或神经特征），这些特征与语言的深层结构（潜在树）相关。在实验中，我们表明：1）给定一个小的真实语言集，它有助于添加许多合成语言的训练数据。2)我们的系统是强大的，即使POS序列包括噪声。3)我们的系统在这项任务上的表现远远优于语法归纳基线。
2017-10-11 cs.CL
Have Attention Heads in BERT Learned Constituency Grammar?
Uppsala University（乌普萨拉大学）
近年来，随着预训练语言模型的成功，越来越多的研究者开始关注如何打开这些模型的“黑箱”。基于这种兴趣，我们对BERT和RoBERTa的注意中心语中的选区语法进行了定性和定量分析。我们采用句法距离的方法来提取隐含的选区语法的注意力权重的每个头。我们的研究结果表明，存在的头，可以诱导一些语法类型比基线好得多，这表明，一些头作为选民语法的代理。我们还分析了在句子语义相似性（SMS）和自然语言推理（NLI）两种任务下，注意中心成分语法诱导（CGI）能力在微调后的变化。我们的结果表明SMS任务降低了上层的平均CGI能力，而NLI任务提高了上层的平均CGI能力。最后，我们考察了QQP和MNLI任务中CGI能力与自然语言理解能力之间的关系。
2021-06-02 cs.CL
The Grammar and Syntax Based Corpus Analysis Tool For The Ukrainian Language
NASK National Research Institute（NASK国家研究院）
本文介绍了扩展至乌克兰语的文本挖掘工具StyloMetrix，基于手动设计的指标分析语法和句法模式，并展示了其在文本分类任务上的实验及局限性。
2023-05-22 cs.AI cs.CL
Extracting a bilingual semantic grammar from FrameNet-annotated corpora
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
我们提出了创建一个基于英语瑞典语的语法框架。本研究的目的是使现有的框架计算访问多语言自然语言应用程序通过一个共同的语义语法API，并促进移植到其他语言的语法。在本文中，我们描述了语义语法的抽象语法，同时专注于其自动提取的可能性。我们已经从Berkeley FrameNet（BFN）中的~ 58，500个注释句子和Swedish FrameNet（SweFN）中的~ 3，500个注释句子中提取了共享的抽象语法。抽象语法定义了769个帧特定的价模式，覆盖77.8%的BFN和74.9%的SweFN属于共享的471帧集的例子。作为一个侧面的结果，我们提供了一个统一的方法比较语义和句法价模式跨框架。
2014-04-08 cs.CL
Formal Properties of XML Grammars and Languages
XML文档由文档类型定义（DTD）描述。XML语法是一种形式化的语法，它捕捉了DTD的语法特征。我们调查这个家庭的文法的属性。我们表明，每一种XML语言基本上都有一个独特的XML语法。本文给出了XML文法生成语言的两种刻画，一种是集合论的刻画，另一种是饱和性的刻画。我们调查的可判定性问题，并证明了一些属性是不可判定的一般上下文无关的语言成为可判定的XML语言。我们还描述了生成常规XML语言的XML语法。
2000-11-07 cs.CL cs.DM
Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models
Harvard University（哈佛大学）；MIT（麻省理工学院）
先前的工作表明，结构监督有助于英语语言模型学习句法现象的概括，如主谓一致。然而，目前还不清楚这种归纳偏见是否也会提高语言模型在类型不同的语言中学习语法依赖关系的能力。在这里，我们调查这个问题在普通话中，这有一个标识符，主要是基于音节的书写系统;不同的词序;和稀疏的形态比英语。我们在两个不同大小的汉语普通话数据集上训练LSTM、递归神经网络文法、Transformer语言模型和Transformer参数化生成句法分析模型。我们评估模型学习汉语语法的不同方面的能力，评估句法和语义关系。我们发现暗示性的证据表明，结构监督有助于在干预内容中代表句法状态，并提高低数据设置中的性能，这表明在获取依赖关系时，分层归纳偏见的好处可能会超出英语。
2021-09-22 cs.CL
Syntax-guided Localized Self-attention by Constituency Syntactic Distance
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
最近的工作表明，Transformers隐式地从数据中学习其较低层的语法信息，尽管高度依赖于训练数据的质量和规模。然而，如果我们可以利用外部语法分析器，从数据中学习语法信息是不必要的，这提供了更好的分析质量与定义良好的语法结构。这可能会提高Transformer的性能和样本效率。在这项工作中，我们提出了一个语法指导的本地化自我注意Transformer，允许直接将语法结构从外部选区解析器。它禁止注意力机制将语法上远距离的标记置于近距离标记之上。实验结果表明，我们的模型可以持续提高翻译性能的各种机器翻译数据集，从小到大的数据集大小，并与不同的源语言。
2022-10-21 cs.CL
What Do Recurrent Neural Network Grammars Learn About Syntax?
Carnegie Mellon University（卡内基梅隆大学）；IBM T.J. Watson Research Center（IBM T.J. Watson研究中心）；University of Washington（华盛顿大学）；DeepMind
循环神经网络文法（RNNG）是最近提出的一种用于自然语言的概率生成建模方法。它们展示了最先进的语言建模和解析性能。我们从语言学的角度，通过对模型和数据的各种消融，以及通过用注意力机制（GA-RNNG）增强模型以进行更仔细的检查，来研究他们学到了什么信息。我们发现，明确建模的组成是至关重要的，以实现最佳性能。通过注意力机制，我们发现头脑在短语表征中起着核心作用（模型的潜在注意力在很大程度上与手工制定的头脑规则所做的预测一致，尽管有一些重要的差异）。通过训练没有非终端标签的语法，我们发现短语表示最小程度地依赖于非终端，为内核假设提供了支持。
2017-01-10 cs.CL
Left-corner Methods for Syntactic Modeling with Universal Structural Constraints
SOKENDAI Graduate University for Advanced Studies（综合研究大学院大学）
本论文的主要目标是识别更好的句法约束或偏向，即独立于语言，但在句子处理过程中也有效地利用。我们专注于一个特殊的句法结构称为中心嵌入，这是很好的研究，在心理语言学，并指出，造成特殊的理解困难。由于人们使用语言作为沟通的工具，人们希望避免这种复杂的结构，以提高沟通效率。从计算的角度来看，中心嵌入与左角解析算法密切相关，左角解析算法可以捕获正在构建的解析树的中心嵌入程度。这种联系表明，左上角的方法可以是一种工具，利用普遍的句法约束，人们避免产生中心嵌入结构。我们通过一些理论和实证研究，广泛地探索了中心嵌入和左角方法的实用性。我们的主要任务是无监督语法归纳。在这个任务中，算法的输入是一组句子，模型试图从中提取它们的显著模式作为语法。这是一个特别困难的问题，尽管我们预计通用约束可能有助于提高性能，因为它可以有效地限制模型可能的搜索空间。我们建立的模型，有效地制表的搜索空间除了那些涉及中心嵌入到一个特定的程度，通过扩展的左角解析算法。我们研究了我们的方法在许多树库上的有效性，并证明了我们的约束往往会导致更好的解析性能。因此，我们得出结论，左上角的方法是特别有用的面向语法的系统，因为它可以有效地利用语言中固有的普遍约束。
2016-08-01 cs.CL
A Psycholinguistically Motivated Parser for CCG
考虑到人类解决句法歧义的速度，以及通过选择解释最“明智”的分析来解决句法歧义的压倒性证据，人们得出结论，解释，因此解析是递增的，几乎每个词都是如此。考虑到句法处理器理论中的简约性，人们开始探索最简单的分析器：它只表示语法定义的分析，而不表示其他信息。为了实现这一目标的一个简单的，增量解析器，我探讨的建议，能力语法是一个组合范畴语法（CCG）。我解决的问题，增殖分析，源于CCG的关联性的推导。我的解决方案包括只维护最大增量分析，并在必要时计算最大右分支分析。我使用重写系统的研究结果表明，这种计算是有效的。
1994-06-20 cmp-lg cs.CL
Learning Syntactic Rules and Tags with Genetic Algorithms for Information Retrieval and Filtering: An Empirical Basis for Grammatical Rules
自然语言的语法可以通过使用遗传算法来学习，遗传算法可以复制和改变语法规则和词性标签，从而提高后代语法成分的质量。语法规则是随机生成的，然后演变;这些规则导致改进的解析，偶尔改进的检索和过滤性能被允许进一步传播。LUST系统通过学习从解析的摘要获得的文档排名来学习文档摘要中使用的语言或子语言的特征。与将传统语言规则应用于检索和过滤应用程序不同，LUST开发了语法结构和标签，而无需事先强加一些常见的语法假设（例如，词性假设），从而产生基于经验并且针对该特定应用而优化的语法。
1995-05-04 cmp-lg cs.CL
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而，没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法，利用非常通用的语言知识的语法规则的形式存在的语言，从而诱导更好的句法结构。我们介绍了一种新的配方，利用的句法语法规则，是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
