Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
The University of Tokyo（东京大学）
本文提出tree-planting方法，将句法树隐式植入单向Transformer注意力权重，形成TPT模型，在保持推理效率的同时以数据高效方式学习类人句法知识，并在SyntaxGym上显著优于普通Transformer和显式句法语言模型。
2024-06-06 cs.CL
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）；University of Oxford（牛津大学）
接受大量数据训练的文本表征学习者在下游任务中取得了显着的成功;有趣的是，他们在具有挑战性的句法能力测试中也表现出色。鉴于这一成功，像BERT这样的可扩展学习者是否可以仅仅凭借数据规模就完全精通自然语言的语法，或者他们是否仍然受益于更明确的语法偏见，这仍然是一个悬而未决的问题。为了回答这个问题，我们引入了一种知识蒸馏策略，通过蒸馏层次结构的语法信息预测-尽管更难扩展-语法语言模型，将语法偏见注入BERT预训练。由于BERT模型屏蔽词在双向上下文中，我们建议提取近似的边缘分布在上下文中的词从句法LM。我们的方法在一组不同的结构化预测任务上将相对误差降低了2-21%，尽管我们在GLUE基准测试中获得了混合的结果。我们的研究结果表明，句法偏见的好处，即使在代表性的学习者，利用大量的数据，并有助于更好地了解句法偏见是最有帮助的基准自然语言理解。
2020-05-27 cs.CL
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich（苏黎世联邦理工学院）
大多数生成式文档模型作用于词袋输入，试图专注于语义内容，从而部分放弃句法信息。我们认为，它是更可取的，以保持原来的词序完整，而明确的句法结构，而不是。我们提出了对神经变分文档模型的扩展（Miao等人，2016年），它正是这样做的，以分离本地（语法）上下文从全局（语义）表示的文件。我们的模型建立在变分自编码器框架上，定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器，因为与其前身相比，它对真实的输入序列进行操作。在一系列的实验中，我们观察到更强的时事性的学习表示，以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
Expoiting Syntactic Structure for Language Modeling
本文提出了一种语言模型，开发句法结构，并使用它来提取有意义的信息，从单词的历史，从而使使用长距离的依赖关系。该模型将概率分配给单词的每个联合序列--带有中心词注释的二进制解析结构，并以从左到右的方式操作--因此可用于自动语音识别。该模型，它的概率参数化，和一组旨在评估其预测能力的实验，实现了对标准三元模型的改进。
2000-01-25 cs.CL
Graph based Neural Networks for Event Factuality Prediction using Syntactic and Semantic Structures
University of Oregon（俄勒冈大学）
事件真实性预测（EFP）是对句子中所提到的事件发生的程度进行评估的任务。在这一任务中，句法和语义信息对于识别重要的上下文词至关重要。以前的工作EFP只结合这些信息在一个简单的方式，不能充分利用他们的协调。在这项工作中，我们介绍了一种新的基于图的神经网络的EFP，可以更有效地整合语义和句法信息。我们的实验证明了所提出的EFP模型的优势。
2019-07-07 cs.CL
Towards Robust NLG Bias Evaluation with Syntactically-diverse Prompts
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
我们提出了一个强大的方法来评估偏见的自然语言生成（NLG）系统。以前的作品使用固定的手工制作的前缀模板，提到各种人口统计学群体，以提示模型生成延续的偏见分析。这些固定前缀模板本身在风格或语言结构方面可能是特定的，这可能导致不可靠的公平性结论，其不代表来自音调变化提示的一般趋势。为了研究这个问题，我们解释了不同的句法结构的提示，并使用这些来评估NLG系统中的人口偏见。我们的研究结果表明，类似的整体偏见的趋势，但一些句法结构导致矛盾的结论相比，过去的作品。我们表明，我们的方法是更强大的，一些句法结构提示更多的有毒内容，而其他人可能会提示少偏见的一代。这表明了不依赖固定句法结构和使用声调不变提示的重要性。引入句法多样的提示可以实现更稳健的NLG（偏倚）评估。
2022-12-03 cs.CL
Syntactic Structures and Code Parameters
California Institute of Technology（加州理工学院）
我们分配二进制和三进制的纠错码的语法结构的数据，我们研究的代码参数空间中的码点的分布。我们发现，虽然大多数代码填充的低区域近似的叠加的pk10函数，有大量存在的代码以上的吉尔伯特-Varshamov界，甚至以上的渐近界和Plotkin界。我们调查的动态诱导的空间上的代码参数的自旋玻璃模型的语言变化，并表明，在存在的蕴涵关系的语法参数的动态有时可以提高代码。对于大量的语言和语法数据，人们可以从代码参数空间中的诱导动力学中获得关于自旋玻璃动力学的信息。
2016-10-02 cs.CL
Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
语法已被证明对各种NLP任务很有用，而现有工作大多使用一个分层神经网络对单例语法树进行编码。在本文中，我们研究了一种简单有效的方法，知识蒸馏，集成异构结构的知识到一个统一的顺序LSTM编码器。在4个典型的依赖于语法的任务上的实验结果表明，该方法有效地整合了丰富的异构结构语法，同时减少了错误传播，在效率和准确性方面优于树编码器。
2020-09-16 cs.CL
Combining semantic and syntactic structure for language modeling
用于语音识别的结构化语言模型已经被证明可以弥补n元模型的弱点。然而，所有当前的结构化语言模型的局限性在于它们没有考虑非中心词之间的依赖关系。我们发现，非中心词的依赖关系有助于显着改善字的出错率，并在语义和语法注释数据训练的面向数据的解析模型可以利用这些依赖关系。本文还包含了第一个DOP模型训练的最大似然重新估计过程，解决了以前的DOP模型的一些理论缺陷。
2001-10-24 cs.CL
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术，使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明，与标准的3-gram语言模型相比，在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法，该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures
Tianjin University（天津大学）
句法和语义解析是自然语言处理领域的一个主要研究课题，已经有几十年的研究历史。本文旨在对这一主题进行简要的概述。解析社区包括许多任务，这些任务很难被完全覆盖。在这里，我们集中在两个最流行的形式化分析：成分分析和依存句法分析。成分句法分析主要针对句法分析，而依存句法分析可以同时处理句法和语义分析。本文简要回顾了成分句法分析和依存句法分析的代表性模型，以及具有丰富语义的依存图句法分析。此外，本文还对跨领域、跨语言和联合句法分析模型、句法分析器的应用以及句法分析语料库的开发等相关问题进行了综述。
2020-06-19 cs.CL
Counting trees: A treebank-driven exploration of syntactic variation in speech and writing across languages
University of Ljubljana（卢布尔雅那大学）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
本文提出基于树库的方法，研究口语和写作中句法结构的差异，发现口语结构较少且多样性低，揭示了模态特定的句法偏好。
2026-02-23 cs.CL
Serialising the ISO SynAF Syntactic Object Model
Inria（法国国家信息与自动化研究所）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Georgetown University（乔治城大学）
本文介绍了一种XML格式的开发序列化的对象模型定义的ISO语法注释框架SynAF。基于广泛的最佳实践，我们采用流行的XML格式的语法注释，TigerXML，与其他功能，以支持各种语法现象，包括成分和依赖结构，绑定，以及不同的节点类型，如化合物或空元素。我们还定义了其他格式和标准的接口，包括形态语法注释框架MAF和ISOCat数据类别注册表。最后，德国树库TueBa-D/Z的案例研究，展示了处理的组成结构，拓扑字段和共指注释串联。
2014-09-15 cs.CL
Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；VinAI Research（越南人工智能研究院）
有针对性的观点词提取（TOWE）是基于体的情感分析（ABSA）的一个子任务，其目的是为句子中的给定体词找到观点词。尽管它们在TOWE上取得了成功，但当前的深度学习模型未能利用在先前研究中已被证明对TOWE有用的句子的句法信息。在这项工作中，我们建议将句子的句法结构纳入TOWE的深度学习模型中，利用基于句法的意见可能性得分和单词之间的句法连接。我们还引入了一种新的正则化技术，以提高基于TOWE中单词之间的表示差异的深度学习模型的性能。提出的模型进行了广泛的分析，并实现了最先进的性能在四个基准数据集。
2020-10-26 cs.CL
Heat Kernel analysis of Syntactic Structures
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Toronto（多伦多大学）
我们考虑两个不同的数据集的语法参数，我们讨论了如何检测参数之间的关系，通过热核方法开发的贝尔金Niyogi，它产生低维表示的数据，拉普拉斯特征函数的基础上，保持邻域信息。我们分析了两个数据集中出现的不同连接和聚类结构，以及Belkin-Niyogi构造的双参数空间中的最大方差区域，这些区域确定了自变量的优选选择。我们计算聚类系数及其方差。
2018-03-26 cs.CL
Syntactic Structure from Deep Learning
John Hopkins University（约翰·霍普金斯大学）；Facebook AI Research（Facebook人工智能研究院）；Catalan Institute for Research and Advanced Studies（加泰罗尼亚研究与高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
现代深度神经网络在需要广泛语言技能的工程应用中取得了令人印象深刻的性能，例如机器翻译。这一成功引发了人们对探索这些模型是否能从它们接触到的原始数据中诱导出类似人类的语法知识的兴趣，因此，它们是否能为关于语言习得所需的先天结构的长期争论提供新的线索。在这篇文章中，我们回顾了深度网络句法能力的代表性研究，并讨论了这项工作对理论语言学的更广泛的影响。
2020-04-22 cs.CL
Universal Syntactic Structures: Modeling Syntax for Various Natural Languages
本文提出一种新的句法表示建模方法，旨在揭示所有自然语言共有的通用句法结构，并通过分析英语和韩语语料库展示其普遍性，进而探讨关键期假说和普遍语法等理论，以加深对人脑语言机制的理解。
2023-12-28 cs.CL
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；New York University（纽约大学）；Technion – IIT（以色列理工学院）
有针对性的句法评估已经证明了语言模型在困难的上下文中执行主谓一致的能力。为了阐明模型实现这种行为的机制，本研究将因果中介分析应用于预先训练的神经语言模型。我们研究了模型对语法变化的偏好程度，以及神经元是否在具有不同句法结构的句子中类似地处理主谓一致。我们揭示了不同架构和模型大小的相似性和差异-值得注意的是，较大的模型不一定会学习更强的偏好。我们还观察到两个不同的机制，根据输入句子的句法结构产生主谓一致。最后，我们发现，语言模型依赖于相似的神经元集时，给定的句子具有相似的句法结构。
2021-06-22 cs.CL
Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument Extraction
University of Oregon（俄勒冈大学）；VinAI Research（越南人工智能研究院）
事件论元提取（EAE）的目标是找到给定事件触发词的每个实体提及的角色。在以前的工作中已经表明，句子的句法结构有助于EAE的深度学习模型。然而，在这样的现有工作的一个主要问题是，他们未能利用句子的语义结构，以诱导有效的表征EAE。因此，在这项工作中，我们提出了一种新的模型EAE，利用图Transformer网络（GTN）的句子的句法和语义结构，学习更有效的句子结构EAE。此外，我们引入了一种新的归纳偏差的基础上的信息瓶颈，以提高推广的EAE模型。进行了大量的实验，以证明所提出的模型的好处，导致国家的最先进的EAE标准数据集上的性能。
2020-10-26 cs.CL
S$^2$GSL: Incorporating Segment to Syntactic Enhanced Graph Structure Learning for Aspect-based Sentiment Analysis
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；College of Science, Shantou University（汕头大学理学院）
本文提出S$^2$GSL框架，通过分段感知语义图学习与基于句法的潜在图学习分别去除不相关上下文和依赖，并利用自适应聚合网络融合两个分支，在四个基准上验证了其在方面级情感分析中的有效性。
2024-06-07 cs.CL
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University（卡内基梅隆大学）
用于机器理解的深度神经网络通常仅利用单词或字符嵌入，而不显式地利用结构化的语言信息，例如选区树和依赖树。在本文中，我们提出了结构嵌入的语法树（SEST），算法框架，利用结构化的信息，并将其编码成向量表示，可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明，我们的模型可以准确地识别句子的语法边界，并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Word Representations, Tree Models and Syntactic Functions
University of Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
从具有离散潜变量的模型（例如，阻碍）已被证明在许多NLP应用中是有益的。在这项工作中，我们利用标记的句法依赖树和形式化的归纳问题的树结构的隐马尔可夫模型的无监督学习。句法功能被用作模型中的额外观察变量，影响过渡和发射组件。这样的句法信息可能会导致捕获单词之间更细粒度和功能的区别，这反过来可能是许多NLP应用程序所期望的。我们评估了两个任务的词表示--命名实体识别和语义框架识别。在这两种情况下，我们观察到利用句法功能信息的改进，以及与最先进的表示学习方法相媲美的结果。此外，我们重新审视了顺序和未标记树模型之间的关系，发现后者的优势并不是不言而喻的。
2016-02-05 cs.CL cs.LG stat.ML
Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Cornell University（康奈尔大学）
神经语言模型（LM）在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式，我们提出了一种新的技术来分析表征，使这种成功。通过建立结构之间的梯度相似性度量，该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的，这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
Syntax-guided Localized Self-attention by Constituency Syntactic Distance
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
最近的工作表明，Transformers隐式地从数据中学习其较低层的语法信息，尽管高度依赖于训练数据的质量和规模。然而，如果我们可以利用外部语法分析器，从数据中学习语法信息是不必要的，这提供了更好的分析质量与定义良好的语法结构。这可能会提高Transformer的性能和样本效率。在这项工作中，我们提出了一个语法指导的本地化自我注意Transformer，允许直接将语法结构从外部选区解析器。它禁止注意力机制将语法上远距离的标记置于近距离标记之上。实验结果表明，我们的模型可以持续提高翻译性能的各种机器翻译数据集，从小到大的数据集大小，并与不同的源语言。
2022-10-21 cs.CL
Syntactic Structure Processing in the Brain while Listening
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
句法分析是将句法结构分配给句子的任务。有两种流行的句法分析方法：选区句法分析和依存句法分析。最近的工作已经使用了基于选区树的句法嵌入，增量自上而下的解析，和其他单词的句法特征的大脑活动预测给定的文本刺激，研究如何在大脑的语言网络中表示的语法结构。然而，依赖解析树的有效性或跨大脑区域的各种语法解析器的相对预测能力，特别是对于听力任务，尚未被探索。在这项研究中，我们调查的预测能力的大脑编码模型在三个设置：（一）的选区和依赖句法分析为基础的嵌入方法的个人表现，（二）这些句法分析为基础的嵌入方法的有效性时，控制基本的句法信号，（三）相对有效性的每一个句法嵌入方法时，控制其他。此外，我们探索的相对重要性的句法信息（从这些句法嵌入方法）与语义信息使用BERT嵌入。我们发现，选区解析器有助于解释激活颞叶和额中回，而依赖解析器更好地编码句法结构的角回和后扣带皮层。虽然来自BERT的语义信号比任何句法特征或嵌入方法更有效，但句法嵌入方法解释了一些大脑区域的额外差异。
2023-02-16 cs.CL q-bio.NC
Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs
Johns Hopkins University（约翰斯·霍普金斯大学）
基于序列的神经网络对句法结构表现出显著的敏感性，但它们在句法任务上的表现仍然不如基于树的网络。这样的基于树的网络可以被提供有选区解析、依赖性解析或两者。我们评估这两个代表性的计划更有效地介绍了偏见的句法结构，提高性能的主谓一致预测任务。我们发现，一个基于成分的网络比一个基于依赖关系的网络更强大的概括，并结合这两种类型的结构不会产生进一步的改善。最后，我们表明，顺序模型的语法鲁棒性可以大大提高微调少量的构建数据，这表明数据增强是一个可行的替代显式选区结构给予顺序模型缺乏的语法偏见。
2020-04-30 cs.CL
Chunk Tagger - Statistical Recognition of Noun Phrases
我们描述了一个随机的方法，部分解析，即，对有限深度的句法结构的识别。该技术利用马尔可夫模型，但超越了通常的括号法，因为它不仅能够识别边界，而且能够识别简单和复杂NP，PP，AP和状语的内部结构和句法类别。我们比较不同的应用程序和编码方案的标记精度。
1998-07-17 cmp-lg cs.CL
Portability of Syntactic Structure for Language Modeling
本文在结构化语言模型（SLM）框架下研究了统计句法知识的可移植性。我们调查SLM统计数据从华尔街日报（WSJ）移植到航空旅行信息系统（ATIS）域的影响。我们比较这种方法应用微软基于规则的解析器（NLPwin）的ATIS数据，并使用少量的数据手动解析在宾夕法尼亚大学收集的初始SLM统计。令人惊讶的是，尽管它在困惑（PPL）方面表现平平，但在WSJ解析器上初始化的模型优于基于域内注释数据的其他初始化方法，与单词出错率为5.8%的基线系统相比，单词出错率（WER）实现了0.4%的绝对和7%的相对降低;相对于在我们使用的N最佳列表上可实现的最小WER测量的改进是12%。
2001-08-29 cs.CL
Multilingual Nonce Dependency Treebanks: Understanding how Language Models represent and process syntactic structure
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）；IBM Research（IBM研究院）；Dalhousie University（达尔豪斯大学）
提出SPUD框架构建五种语言的非ce依存树库，通过困惑度和句法探针实验表明模型性能虽下降但大部分句法能力独立于语义。
2024-06-12 cs.CL
What Syntactic Structures block Dependencies in RNN Language Models?
Harvard University（哈佛大学）；MIT（麻省理工学院）；UC Irvine（加州大学欧文分校）
在语言建模任务上训练的递归神经网络（RNN）已被证明可以获得许多非局部语法依赖性，并取得了一些成功。在这里，我们提供了新的证据表明，RNN语言模型是敏感的分层句法结构，通过调查的填料间隙依赖和约束，它被称为语法岛。以前的工作是不确定的RNN是否学会削弱他们的期望差距，特别是在岛屿建设或在任何足够复杂的句法环境。本文通过提供迄今为止缺乏的对照研究，为前者提供了新的证据。我们证明了两种最先进的RNN模型能够通过无界的嵌入来保持填充-间隙依赖性，并且对填充和间隙之间的层次关系也很敏感。接下来，我们证明了模型能够通过岛屿结构来维持物主代词的性别期望-这种控制情况排除了岛屿结构阻止这些网络中所有信息流的可能性。我们还评估了三个未经测试的岛屿约束：协调岛屿，左分支岛屿，和独立的主题岛屿。模型能够逐步学习左分支岛和协调岛，但不能学习主分支岛。通过这些控制和新的测试，我们提供的证据表明，模型的行为是由于细粒度的期望比总的语法复杂性，而且模型是显着的非人类在他们的一些性能特征。
2019-05-24 cs.CL
DisSim: A Discourse-Aware Syntactic Text Simplification Frameworkfor English and German
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）
我们介绍了DisSim，一个话语意识的句子分裂框架，英语和德语，其目标是转换成一个中间表示，提出了一个简单的，更规则的结构，更容易处理的下游语义应用句法复杂的句子。为此，我们把输入的句子成一个两层的语义层次结构的形式的核心事实和伴随的上下文，同时确定它们之间的修辞关系。通过这种方式，我们保留了输入的连贯性结构，从而保留了其对下游任务的可解释性。
2019-09-26 cs.CL
Classifying Syntactic Errors in Learner Language
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Stockholm University（斯德哥尔摩大学）；MIT（麻省理工学院）
我们提出了一种分类学习者语言中的句法错误的方法，即错误的纠正改变了句子的形态句法结构。该方法建立在已建立的通用重复语法表示方案，并提供补充信息，其他错误分类系统。与现有的错误分类方法不同，我们的方法适用于各种语言，我们通过制作学习者英语和学习者俄语中句法错误的详细图片来展示。我们进一步展示了实用的方法来分析领先的语法纠错（GEC）系统的输出。
2020-10-27 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Probing for Constituency Structure in Neural Language Models
Qatar Computing Research Institute, Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）
在本文中，我们调查在何种程度上上下文神经语言模型（LM）隐式学习句法结构。更具体地说，我们专注于组成结构，在宾夕法尼亚州树库（PTB）。使用基于诊断分类器的标准探测技术，我们评估代表LM的神经元激活内的不同类别的成分的准确性，如RoberTa。为了确保我们的探测集中在句法知识而不是隐含的语义概括上，我们还对PTB版本进行了实验，该版本是通过在保持句法结构的同时随机替换成分而获得的，即，PTB的一个语义上格式错误但语法上格式正确的版本。我们发现，4个预训练的mathomer LM在我们的探测任务中获得了高性能，即使是在操纵的数据上，这表明它们表示中的语义和句法知识可以分离，并且选区信息实际上是由LM学习的。此外，我们表明，一个完整的选区树可以线性分离LM表示。
2022-04-13 cs.CL
Understanding Syntactic Generalization in Structure-inducing Language Models
Heinrich-Heine-Universität（海因里希·海涅大学）；Dalhousie University（达尔豪斯大学）
本文研究了结构诱导语言模型中的句法泛化问题，通过训练三种不同架构评估其句法表示和性能，发现GPST在长距离依赖性上表现最佳。
2025-12-08 cs.CL
Comparing LLM-generated and human-authored news text using formal syntactic theory
Universidade da Coruña, CITIC（科鲁尼亚大学，CITIC）；Palacký University at Olomouc, Department of Asian Studies（奥洛穆茨帕拉茨基大学，亚洲研究系）
本文首次基于HPSG形式句法理论，系统比较六个LLM生成的纽约时报风格文本与人类撰写文本的语法类型分布差异，揭示了二者在句法行为上的系统性区别。
2025-06-02 cs.CL
Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models
University of Florida（佛罗里达大学）
本文提出首个多模态结构启动数据集PRISMATIC及无参考评估指标SPI，发现融合编码模型在视觉相似性与句法启动间呈正相关，更接近人类认知模式。
2025-10-16 cs.CL
Menzerath-Altmann Law for Syntactic Structures in Ukrainian
本文提出了适用于乌克兰语文本自动处理的从句定义，并在小说《Perekhresni Stezhky》的句子层面验证了Menzerath-Altmann定律，计算了以词和音节计的从句长度对以从句计的句子长度的依赖关系参数。
2007-01-30 cs.CL
Syntactic Substitutability as Unsupervised Dependency Syntax
Stanford University（斯坦福大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文提出一种与理论无关的新方法，通过在语言模型注意力分布中建模句法可替代性来归纳无监督依存结构，显著提升了长距离主谓一致解析的召回率并展现出跨设置泛化能力。
2023-10-20 cs.CL
Retrofitting Structure-aware Transformer Language Model for End Tasks
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
我们考虑改造结构感知的transformer为基础的语言模型，以促进最终任务，建议利用句法距离编码到语言模型的短语选区和依存关系连接。采用中间层结构化学习策略进行结构整合，在多任务学习模式下进行主要语义任务训练。实验结果表明，改进后的结构感知Transformer语言模型在提高复杂度的同时，能够准确地归纳出句法短语.通过执行结构感知的微调，我们的模型实现了语义和句法依赖的任务显着改善。
2020-09-16 cs.CL
Generative Statistical Models with Self-Emergent Grammar of Chord Sequences
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
和弦序列的生成统计模型在音乐处理中起着至关重要的作用。为了捕捉某些和弦之间的句法相似性（例如，在C大调，G和G7之间，F和Dm之间），我们研究隐马尔可夫模型和概率上下文无关文法模型与潜在变量描述的和弦符号的句法类别和它们的无监督学习技术，从数据中归纳出潜在的语法。令人惊讶的是，我们发现，这些模型往往优于传统的马尔可夫模型的预测能力，和自我涌现的类别往往对应于传统的调和函数。这意味着从信息学的角度来看，和声模型中需要和弦类别。
2018-03-02 cs.AI cs.CL cs.SD
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，使用（部分）选区解析树的句法指导控制文本生成。现有的方法使用递归结构，这不仅遭受长期依赖问题，而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制，然后使用扩展的树来指导文本生成。在这个过程中，我们的模型的有效性取决于两个新的注意力机制：1）路径注意力机制，迫使一个节点只关注位于语法树中的路径中的其他节点，以更好地结合语法指导; 2）多编码器注意力机制，允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明，我们的方法在语义和语法上都优于SOTA模型，将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
A Data-free Universal Prior over Syntactic Structures
University of Cambridge（剑桥大学）
本文提出一种基于认知的增量语言产出模型，无需语言数据即可产生句法结构的通用先验，在138种语言中优于随机树，并与语料库概率正相关，揭示句法概率的认知起源。
2026-10-02 cond-mat.dis-nn cs.CL
Syntactic Patterns and Stylistic Functions in Narrative Prose: A Rule-Based and Machine-Learning Approach
本文提出一种基于规则与机器学习的方法，利用依存句法分析语料库中的线性化三元组模式，对叙事散文句子进行五类文体分类，最佳模型宏F1达0.948。
2026-09-09 cs.CL
Syntactic Data Augmentation Increases Robustness to Inference Heuristics
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
预训练的神经模型，如BERT，当被微调以执行自然语言推理（NLI）时，通常在标准数据集上显示出高准确性，但在受控挑战集上显示出惊人的对词序缺乏敏感性。我们假设这个问题主要不是由预训练模型的局限性引起的，而是由于缺乏可能在微调阶段传达句法结构重要性的众包NLI示例。我们探讨了几种方法来增加标准的训练集与句法信息的例子，通过应用句法转换从MNLI语料库的句子。表现最好的增强方法，主语/宾语倒置，提高了BERT的准确性控制的例子，诊断敏感性从0.28到0.73，不影响性能的MNLI测试集。这种改进超出了用于数据增强的特定结构，表明增强导致BERT招募抽象语法表示。
2020-04-24 cs.CL
Tree Transformers are an Ineffective Model of Syntactic Constituency
University of Colorado（科罗拉多大学）
研究表明，旨在提供句法成分结构归纳偏向的树转换器（Tree Transformer），在预训练语言模型中未学习到有意义的成分结构，且在相关错误检测任务上无显著有效改进，并非有效模型。
2024-11-25 cs.CL
Topological Analysis of Syntactic Structures
University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Toronto（多伦多大学）
我们使用拓扑数据分析中的持久同源方法和维数分析技术来研究世界语言的句法结构数据。我们分析的维度，层次聚类结构，和非平凡循环的语法参数之间的关系。我们发现，有跨语言家庭和家庭特定的额外的关系举行的关系。然后，我们分析的树描述的合并结构的持久连接组件的语言在不同的语系，我们表明，他们部分相关的历史系统发育树，但有显着差异。我们还证明了有趣的非平凡持久的第一个同源群的存在，在各种语言的家庭。我们给出的例子中，明确的发电机持久的第一同源性可以确定，其中一些似乎对应于同质性现象，而其他人可能有一个解释的历史语言学，对应于已知的情况下，跨不同的语言亚科的句法借用。
2019-03-12 cs.CL math.AT
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University（哥伦比亚大学）；Intel Labs（英特尔实验室）；MIT-IBM Watson AI（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准，但尚未对其内部工作原理进行完整的解释。特别是，我们还不完全清楚这些表示捕捉了哪些方面的语法，也不清楚它们是如何（如果有的话）沿着网络的堆叠层构建的。在本文中，我们的目标是解决这样的问题与一般类的干预，输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念，我们进行了一系列的探测器设计，以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词，并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验：（1）随机排列不同宽度的n-gram，以测试表征对单词位置敏感的程度;（2）交换两个跨度，它们形成或不形成句法短语，以测试对全局短语结构的敏感性;以及（3）交换两个相邻的词，它们分开或不分开句法短语，以测试对局部短语结构的敏感性。这些探测的结果共同表明，Transformers沿着它们的层建立对句子较大部分的敏感性，并且层次短语结构在这个过程中起着作用。更广泛地说，我们的研究结果还表明，结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围，并且可以作为现有工具（如监督线性探针）的补充，用于解释复杂的黑盒模型。
2021-04-15 cs.CL
Attention Can Reflect Syntactic Structure (If You Let It)
University of Oslo（奥斯陆大学）；Uppsala University（乌普萨拉大学）；University of Copenhagen（哥本哈根大学）
自从Transformer作为一种通用的自然语言处理特征编码器得到广泛应用以来，许多研究都试图从其新颖的多头注意力机制中解码语言结构。然而，大部分这样的工作几乎完全集中在英语上--一种语序僵化、缺乏屈折形态的语言。在这项研究中，我们提出了解码实验的多语言BERT在18种语言，以测试的普遍性的索赔，依赖语法反映在注意模式。我们表明，完整的树可以解码以上的基线精度从单一的注意头，和个人的关系往往是由相同的头跨语言跟踪。此外，为了解决最近关于注意力作为解释机制的地位的争论，我们尝试在监督解析目标上微调mBERT，同时冻结不同系列的参数。有趣的是，在引导学习外显语言结构的目标时，我们发现在所得的注意模式中表现出许多相同的结构，在哪些参数被冻结方面存在有趣的差异。
2021-01-26 cs.CL
Benchmarking Language Models for Code Syntax Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
预训练的语言模型在自然语言处理和程序理解方面都表现出了令人印象深刻的性能，它将输入表示为令牌序列，而不显式地对其结构进行建模。一些先前的工作表明，预先训练的语言模型可以捕获自然语言的语法规则，而无需对语法理解任务进行微调。然而，到目前为止，对预训练模型如何理解代码结构的理解有限。在这项工作中，我们对最先进的预训练模型进行了第一次彻底的基准测试，用于识别程序的语法结构。具体来说，我们介绍Codebooks，一个大规模的数据集的程序注释的语法关系，在其相应的抽象语法树。我们的主要观察是，现有的代码预训练的语言模型仍然缺乏对代码语法的理解。事实上，这些预先训练的程序设计语言模型无法匹配基于位置偏移和关键字的简单基线的性能。我们还提出了一个自然语言的基准突出自然语言和程序设计语言的语法结构理解方面的差异。我们的研究结果指出了现有的程序设计语言的预训练方法的主要局限性，并提出了建模代码语法结构的重要性。
2022-10-26 cs.CL
A Unified Representation for Continuity and Discontinuity: Syntactic and Computational Motivations
University of Kansas（堪萨斯大学）；Indian Institute of Technology Hyderabad（海得拉巴印度理工学院）
本文提出对应原则，将短语结构语法、依存语法和范畴语法统一为一种语言结构表征，并以土耳其语非连续从属子句为例，证明该统一表征可简化连续与非连续句的句法分析和神经认知加工的计算复杂性。
2025-06-06 cs.CL
Mathematical Structure of Syntactic Merge
California Institute of Technology（加州理工学院）；University of Arizona（亚利桑那大学）；Massachusetts Institute of Technology（麻省理工学院）
本文用霍普夫代数刻画最简方案中的句法合并操作，借助重正化物理中的形式体系解释语言学现象，并为外在化与句法参数提供数学模型。
2023-05-29 cs.CL math.QA math.RA
Universal Topological Regularity of Syntactic Structures
Radboud University（拉德堡德大学）
该研究分析124种语言的依存树，发现其拓扑偏离随机性，提出由增量式语法编码和次线性优先依附模型自然产生，无需直接优化交际。
2026-09-15 cs.CL q-bio.NC
Magical Number Seven Plus or Minus Two: Syntactic Structure Recognition in Japanese and English Sentences
George A.米勒说，人类在短期记忆中只有七块，正负两块。我们计算了在日语句子依存结构分析的每一步中，其修饰语不确定的bunsetsus（短语）的数量，因此必须存储在短期记忆中。这个数字大约小于9，也就是7加2的上限。我们也得到了类似的结果与英语句子的假设下，人类认识到一系列的话，如名词短语（NP），作为一个单位。这表明，如果我们假设人类在日语和英语中的认知单位分别是文色和NP，分析将支持米勒的$7 \pm 2$理论。
2001-03-12 cs.CL
