Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University（上海科技大学）；MIT（麻省理工学院）
该研究针对无监督不连续成分句法分析问题，采用LCFRS-2文法并优化规则降低推理复杂度，结合张量分解与嵌入参数化扩展非终结符数量，在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Modeling structure-building in the brain with CCG parsing and large language models
本文比较了CCG与CFG在fMRI神经信号上的建模效果，发现CCG的结构构建测量在左侧后颞叶对神经信号的拟合优于CFG，且该效应与可预测性效应在空间上可分离。
2023-04-16 cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
What's Going On in Neural Constituency Parsers? An Analysis
Computer Science Division（计算机科学系）；University of California, Berkeley（加利福尼亚大学伯克利分校）
近年来，现代和经典的选区解析方法之间出现了一些差异，语法和功能丰富的词汇等结构组件变得不那么重要，而递归神经网络表示越来越受欢迎。这项工作的目标是分析在经典系统中直接由模型结构提供的信息在多大程度上仍然被神经方法捕获。为此，我们提出了一个高性能的神经模型（PTB上的92.08 F1），它代表了最近的工作，并进行了一系列的调查实验。我们发现，我们的模型隐式地学习编码过去由语法和词汇明确提供的大部分相同信息，这表明这种脚手架可以在很大程度上被强大的通用神经机制所包含。
2018-04-20 cs.CL
Using Integrated Gradients and Constituency Parse Trees to explain Linguistic Acceptability learnt by BERT
ARiSE Labs at Bosch（博世ARiSE实验室）；Bosch（博世）
语言可接受性是判断一个句子是否合乎语法的任务。它在几个用例中有应用，如自动翻译，自然语言生成，神经机器翻译，其中语法正确性至关重要。在本文中，我们旨在了解BERT的决策过程（Devlin等人，语言上可接受的句子（LA）和语言上不可接受的句子（LUA）。我们利用层集成的语义归因得分（LIG）来解释由BERT在语言可接受性语料库（CoLA）上学习的语言可接受性标准（Warstadt等人，2018）基准数据集。我们对5类句子的实验得出了以下有趣的发现：1）与LUA相比，LA的LIG显著较小，2）LA和LUA的选区解析树（CPT）的特定子树贡献较大的LIG，3）在不同类别的句子中，我们观察到大约88%到100%的正确分类的句子具有正LIG，表明与模型的预测置信度有很强的正相关关系，以及4）大约43%的错误分类句子具有负LIG，我们相信如果LIG在模型的损失函数中被参数化，则可以成为正确分类的句子。
2022-03-08 cs.CL
Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning
EPFL（洛桑联邦理工学院）；Université Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，格勒诺布尔理工学院，格勒诺布尔信息学实验室）
本文提出输入依赖语法约束解码方法，无需微调即可统一控制语言模型生成结构化输出，在信息抽取、实体消歧和成分句法解析任务上显著优于无约束模型甚至超越微调模型。
2024-01-18 cs.AI cs.CL cs.LG
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Discontinuous Constituency and BERT: A Case Study of Dutch
Utrecht University（乌得勒支大学）；Utrecht Institute of Linguistics OTS（乌得勒支语言学研究所OTS）
在本文中，我们开始量化的句法能力BERT的非上下文无关模式的评价制度，发生在荷兰。我们设计了一个测试套件的基础上温和的上下文敏感的形式主义，从中我们得到的语法，捕捉控制动词嵌套和动词提高的语言现象。语法，搭配一个小的词汇，为我们提供了大量的自然主义的话语，与动词-主语配对注释，作为评估测试床的注意力为基础的跨度选择探针。我们的研究结果，支持广泛的分析，表明调查的模型失败的隐式收购的依赖关系检查。
2022-03-08 cs.CL cs.LG
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而，没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法，利用非常通用的语言知识的语法规则的形式存在的语言，从而诱导更好的句法结构。我们介绍了一种新的配方，利用的句法语法规则，是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
Syntax-guided Localized Self-attention by Constituency Syntactic Distance
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
最近的工作表明，Transformers隐式地从数据中学习其较低层的语法信息，尽管高度依赖于训练数据的质量和规模。然而，如果我们可以利用外部语法分析器，从数据中学习语法信息是不必要的，这提供了更好的分析质量与定义良好的语法结构。这可能会提高Transformer的性能和样本效率。在这项工作中，我们提出了一个语法指导的本地化自我注意Transformer，允许直接将语法结构从外部选区解析器。它禁止注意力机制将语法上远距离的标记置于近距离标记之上。实验结果表明，我们的模型可以持续提高翻译性能的各种机器翻译数据集，从小到大的数据集大小，并与不同的源语言。
2022-10-21 cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Multilingual Constituency Parsing with Self-Attention and Pre-Training
University of California, Berkeley（加州大学伯克利分校）
我们表明，选区解析受益于无监督的预训练在各种语言和一系列的预训练条件。我们首先比较了无预训练、fastText、ELMo和BERT对英语的好处，发现BERT优于ELMo，这在很大程度上是由于模型容量的增加，而ELMo反过来又优于非上下文的fastText嵌入。我们还发现，预训练在所有11种测试语言中都是有益的;然而，大的模型大小（超过1亿个参数）使得为每种语言训练单独的模型在计算上非常昂贵。为了解决这个缺点，我们证明了联合多语言预训练和微调允许在最终模型中共享10种语言之间的所有参数，但只有少数参数。与每种语言微调一个模型相比，模型大小减少10倍，只会导致总体相对误差增加3.2%。我们进一步探讨了联合微调的想法，并表明它为低资源语言提供了一种从其他语言的更大数据集中受益的方法。最后，我们展示了11种语言的最新结果，包括英语（95.8 F1）和中文（91.8 F1）。
2019-06-04 cs.CL
Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction?
Université Paris-Saclay, INRAE, MaIAGE（巴黎-萨克雷大学，法国国家农业食品与环境研究院，应用数学与计算机科学、基因组学与环境研究单位）；Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique（巴黎-萨克雷大学，法国国家科学研究中心，数字科学跨学科实验室）
近年来，人们对关系抽取进行了大量的研究。BioCreative VII的DrugProt跟踪为关系抽取系统的开发和评估提供了一个手动注释的语料库，其中研究了化学品和基因之间的相互作用。我们描述了我们用于提交的集成系统，该系统通过多数投票结合了微调的bioBERT，sciBERT和const-bioBERT模型的预测。我们特别测试了语法信息对BERT关系抽取的贡献。我们观察到，向BERT添加基于成分的句法信息提高了准确率，但降低了召回率，因为在训练集中很少看到的关系不太可能被注入句法信息的BERT模型预测。我们的代码可以在线获取[https：//github.com/Maple177/drugprot-relation-extraction]。
2021-11-25 cs.AI cs.CL cs.LG
GrammarTagger: A Multilingual, Minimally-Supervised Grammar Profiler for Language Education
Octanove Labs；University of Washington（华盛顿大学）；University of Tokyo（东京大学）；Allen Institute for AI（艾伦人工智能研究所）
我们提出了GrammarTagger，一个开源的语法分析器，给定一个输入文本，确定有用的语言教育的语法功能。该模型架构使其能够从少量标注了span及其标签的文本中学习，这1）实现了更简单，更直观的注释，2）支持重叠span，3）与在选区/依赖解析上定义的复杂手工规则相比，不易发生错误传播。我们表明，我们可以引导一个语法分析器模型与$F_1 \approx 0.6$从只有几百个句子在英语和中文，这可以进一步提高通过学习多语言模型。通过GrammarTagger，我们还建立了Octanove Learn，一个根据阅读难度和语法特征索引的语言学习材料的搜索引擎。代码和预训练模型在\url{https://github.com/octanove/grammartagger}上公开提供。
2021-04-07 cs.CL
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出依存Transformer文法（DTGs），通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中，实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
An Attempt to Develop a Neural Parser based on Simplified Head-Driven Phrase Structure Grammar on Vietnamese
Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam（信息科学与工程学院，信息技术大学，胡志明市，越南）；Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam（多媒体通信实验室，信息技术大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本文基于简化HPSG开发越南语神经分析器，通过排列样本使其符合语法规则并替换为PhoBERT/XLM-RoBERTa模型，在成分分析上取得82%的最优F-score，依存分析UAS提升，但LAS因未改标签而较低。
2025-04-28 cs.CL
Grammar as a Foreign Language
Google（谷歌）
句法成分分析是自然语言处理中的一个基本问题，并且几十年来一直是深入研究和工程的主题。因此，最准确的解析器是特定于域的、复杂的和低效的。在本文中，我们表明，领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果，当训练的大型合成语料库，使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时，它也与标准解析器的性能相匹配，这表明该模型具有高度的数据效率，与没有注意力机制的序列到序列模型相比。我们的解析器也很快，在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
Probing the Category of Verbal Aspect in Transformer Language Models
University of Helsinki（赫尔辛基大学）
本文首次探究了预训练语言模型在俄语中编码动词体范畴的机制，通过行为与因果探测发现BERT和RoBERTa主要在最后一层编码该特征，并证明仅微调最后一层预测体更高效。
2024-06-04 cs.CL
CxGBERT: BERT meets Construction Grammar
University of Birmingham（伯明翰大学）
虽然词汇语义元素无疑捕捉了大量的语言信息，但有人认为它们并没有捕捉到文本中包含的所有信息。这一假设是语言建构主义方法的核心，它认为语言由结构组成，即形式和功能或意义的习得配对，这些配对要么是频繁的，要么具有无法从其组成部分预测的意义。BERT的训练目标使其能够获得大量的词汇语义信息，虽然BERT学已经表明BERT捕获了某些重要的语言维度，但还没有研究探索BERT可能获得结构信息的程度。在这项工作中，我们设计了几个探头，并进行了广泛的实验来回答这个问题。我们的研究结果使我们能够得出结论，BERT确实能够获得大量的信息，其中大部分语言学家通常称之为构式信息。这一观察的影响可能是深远的，因为它提供了深度学习方法从文本中学习的见解，同时也表明结构中包含的信息在词汇语义中被冗余编码。
2020-11-09 cs.CL
Do Transformers Parse while Predicting the Masked Word?
Princeton University（普林斯顿大学）；Duke University（杜克大学）
本文研究 Transformer 是否真正进行句法解析，证明中等规模掩码语言模型可近似执行 Inside-Outside 算法，并构造特定 Transformer 在 PTB 上实现高 F1 分数，揭示其隐式解析能力。
2023-10-16 cs.CL cs.LG
Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?
University of Vienna（维也纳大学）
近年来，深度神经语言模型在各种NLP任务中取得了长足的进步。这项工作探讨了一个问题的一个方面，即最先进的NLP模型是否表现出人类认知的基本机制。探索的重点是一个相对原始的机制，有很多证据，从各种心理语言学实验的婴儿。摘要“抽象同一关系”的计算在人类语言习得和处理过程中，特别是在学习更复杂的语法规则时，起着重要的作用。为了在BERT和其他预训练语言模型（PLM）中研究这种机制，以婴儿研究的实验设计为起点。在此基础上，我们设计了实验设置，其中每个元素从原来的研究被映射到一个组成部分的语言模型。即使在我们的实验中的任务是相对简单的，结果表明，计算抽象的相同关系的认知能力是强于在所有调查的PLM婴儿。
2022-05-12 cs.CL
Grammar Induction with Neural Language Models: An Unusual Replication
New York University（纽约大学）
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型，并在非解析任务上对它们进行训练，希望它们能发现可解释的树结构。在最近的一篇论文中，Shen et al.（2018）介绍了这样一个模型，并报告了语言建模目标任务的最新结果，以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时，我们发现了使原始结果难以信任的问题，包括调整甚至训练有效的测试集。在这里，我们试图在一个公平的实验中重现这些结果，并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的：所研究的模型的所有变体都优于所有潜在树学习基线，并且与符号语法归纳系统竞争。我们发现，这个模型代表了第一个经验的成功，潜在树学习，和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
On Parsing as Tagging
在文献中，已经有许多建议将选区解析减少到标记。为了更好地理解这些方法的共同点，我们将几个现有的建议转换为一个统一的管道，包括三个步骤：线性化，学习和解码。特别是，我们展示了如何减少tetratagging，一个国家的最先进的选区标记，转移-减少语法分析上执行一个右角变换，并作出具体的独立性假设。此外，我们经验性地评估我们的分类标记管道与不同的选择线性化，学习器和解码器。基于英语和一组8种类型不同的语言的结果，我们得出结论，线性化的派生树和它的对齐与输入序列是最关键的因素，在实现准确的标签。
2022-11-20 cs.CL
Leveraging Large Language Models in Code Question Answering: Baselines and Issues
Innopolis University（因诺波利斯大学）
本文提出通过微调大型语言模型于统一Python问答数据集，并测试不同预处理方式，实现源代码问答，发现语法校正提升指标，但公共数据集质量差。
2024-11-05 cs.AI cs.CL
The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative
LMU Munich（慕尼黑大学）；Munich Center of Machine Learning（慕尼黑机器学习中心）；University of Oxford（牛津大学）
构式语法是认知语言学的一种范式，强调句法和语义之间的联系。而不是对词汇项目进行操作的规则，它将结构视为语言的核心构建块，即，结合句法和语义的不同粒度的语言单位。作为评估CxG与最先进的预训练语言模型（PLMs）所展示的句法和语义知识的兼容性的第一步，我们提出了一个调查他们的能力，分类和理解最常用的研究结构之一，英语比较相关（CC）。我们进行实验，一方面检查分类准确性的语法探针和模型的行为在语义应用程序的任务，BERT，RoBERTa和DeBERTa作为示例PLM。我们的研究结果表明，所有三个调查PLM都能够识别的CC的结构，但未能使用其含义。尽管有人声称PLM在许多NLP任务上表现得像人类，但这表明PLM在语言知识的中心领域仍然存在重大缺陷。
2022-10-24 cs.CL
Leveraging Grammar Induction for Language Understanding and Generation
Shanghai Jiao Tong University（上海交通大学）
本研究提出一种无监督语法归纳方法，将归纳的语法特征作为句法掩码融入Transformer引导自注意力，在机器翻译与自然语言理解任务上性能优于基线模型，且适用于从零训练和预训练场景。
2024-10-07 cs.AI cs.CL
Visually Grounded Compound PCFGs
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
利用视觉基础来理解语言理解近年来受到了广泛的关注。在这项工作中，我们研究视觉接地语法归纳和学习选区分析器从无标签的文本及其视觉接地。关于这项任务的现有工作（Shi等人，2019）通过Reinforce优化解析器，并仅从图像和句子的对齐中获得学习信号。虽然他们的模型总体上相对准确，但其误差分布非常不均匀，对某些成分类型的性能较低（例如，26.2%的回忆动词短语，VP）和高的其他（例如，名词短语的回忆率为79.6%。这并不奇怪，因为学习信号可能不足以导出短语结构语法的所有方面，并且梯度估计是有噪声的。我们表明，使用概率上下文无关文法模型的扩展，我们可以做完全可区分的端到端的视觉接地学习。此外，这使我们能够用语言建模目标来补充图文对齐损失。在MSCOCO测试标题，我们的模型建立了一个新的国家的艺术，优于其非接地版本，从而证实了选区语法归纳视觉接地的有效性。它也大大优于以前的扎根模型，在更“抽象”的类别上有最大的改进（例如，VP的回忆率为+55.1%）。
2020-09-25 cs.CL cs.CV
Towards a Unified System of Representation for Continuity and Discontinuity in Natural Language
University of Kansas（堪萨斯大学）；Indian Institute of Technology Hyderabad（海得拉巴印度理工学院）
本文融合短语结构语法、依存语法和范畴语法三种形式化方法，提出统一表征系统，用统一数学推导同时分析自然语言中的连续与非连续结构。
2025-06-05 cs.CL
Explicit Syntactic Guidance for Neural Text Generation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出一种基于成分句法树自顶向下指导的文本生成模式及结构化束搜索方法，在复述生成与机器翻译任务中优于自回归基线，并提升了可解释性、可控性与多样性。
2023-06-25 cs.CL
Embedding-based system for the Text part of CALL v3 shared task
Sciforce（斯科福斯（Sciforce））
本文提出了一个评分系统，显示了CALL v3共享任务的文本子集上的顶部结果。该系统基于文本嵌入NNLM~ \cite{nnlm}和BERT~ \cite{Bert}。给定方法的显著特征是它不依赖于用于评分的参考语法文件。该模型与使用语法文件的方法进行了比较，并证明了在没有预定义的正确答案集的情况下实现类似甚至更高结果的可能性。本文描述了模型本身以及在模型训练中起着至关重要作用的数据准备过程。
2019-08-07 cs.CL
Depth-bounding is effective: Improvements and evaluation of unsupervised PCFG induction
The Ohio State University（俄亥俄州立大学）；Harvard University（哈佛大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近已经有几种尝试通过限制归纳模型的递归复杂性来提高语法归纳系统的准确性（Ponvert等人，2011; Noji和Johnson，2016; Shain等人，2016; Jin等人，2018年）。现代的深度有界语法归纳器已经被证明比早期的无界PCFG归纳器更准确，但这种技术从未在同一系统中与无界归纳进行过比较，部分原因是大多数以前的深度有界模型都是围绕序列模型构建的，其复杂性随着最大允许深度呈指数增长。相反，本工作在基于图表的贝叶斯PCFG诱导器内应用深度界限（Johnson等人，2007 b），其中可以打开和关闭绑定，然后在有和没有绑定的情况下对树进行采样。结果表明，深度绑定确实是显着有效的限制诱导器的搜索空间，从而提高了分析模型的准确性。此外，英语，汉语和德语的分析结果表明，这种有界模型与一个新的推理技术是能够更准确地产生分析树比或竞争力与国家的最先进的基于成分的语法归纳模型。
2018-09-10 cs.CL
Network statistics on early English Syntax: Structural criteria
ICREA（加泰罗尼亚研究与高级研究机构）；Universitat Pompeu Fabra（庞培法布拉大学）
本文包括对网络在英语语言习得研究中的作用的反思，以及从儿童话语中注释自由言论语料库的实用标准的收集。在理论层面上，本文的主要观点是句法网络应该被解释为句法机器使用的结果。因此，这种机制的内在特征不能直接从（已知的）网络属性中获得。相反，人们可以看到的是它的使用的全球模式，因此，对潜在语法的力量和组织的全球看法。本文从更实际的角度出发，探讨了如何从句法关系的投射中构建网络。回想一下，与成人语法相反，早期儿童语言没有一个明确的结构概念。为了克服这样的困难，我们制定了一套系统的标准，假设选区层次结构和语法的基础上词汇主题关系。最后，我们得到的是一个定义良好的语料库注释，它使我们能够i）对结构的大小进行统计，ii）从句法关系中构建一个网络，我们可以在这个网络上执行复杂性的标准度量。我们还提供了一个详细的例子。
2007-04-30 cs.CL
Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
当语言模型处理句法复杂的句子时，它们是否以与语言语法一致的方式使用它们的句法表示？我们提出了AlterRep，一种基于干预的方法来解决这个问题。对于给定句子的任何语言特征，AlterRep通过改变特征的编码方式来生成反事实表示，同时保持原始表示的所有其他方面不变。通过测量当这些反事实表征取代原始表征时模型的单词预测行为的变化，我们可以得出有关语言特征对模型行为的因果影响的结论。我们应用这种方法研究了不同规模的BERT模型如何处理关系从句。我们发现，BERT变体使用RC边界信息在单词预测的方式是一致的英语语法规则，这种RC边界信息概括到相当大的程度在不同的RC类型，这表明BERT代表RC作为一个抽象的语言类别。
2021-09-15 cs.CL
Robustness of Large Language Models to Perturbations in Text
inQbator AI at eviCore Healthcare Evernorth Health Services（inQbator AI 位于 eviCore 医疗保健 Evernorth 健康服务）
本研究探究大型语言模型对文本噪声扰动的鲁棒性，发现生成式LLMs对形态变化具有韧性，并在语法错误纠正和词汇语义变化基准上达到新最先进水平，同时发布相关数据集和代码。
2025-10-07 cs.AI cs.CL
Construction Identification and Disambiguation Using BERT: A Case Study of NPN
Georgetown University（乔治城大学）
本文通过构建NPN构式基准数据集并训练探测分类器，发现BERT能够区分NPN构式与干扰项、进行义项消歧，且对词序形式敏感，证明其潜在编码了超越表层句法和词汇线索的构式知识。
2025-07-06 cs.AI cs.CL
Investigating BERT's Knowledge of Language: Five Analysis Methods with NPIs
New York University（纽约大学）
虽然最先进的句子表示模型可以执行需要大量语法知识的任务，但如何最好地评估其语法知识仍然是一个悬而未决的问题。我们探索了五种实验方法，这些方法的灵感来自于先前评估预训练句子表征模型的工作。我们使用一个单一的语言现象，英语中的负极性项目（NPI）许可，作为我们的实验研究的案例。像“any”这样的NPI只有在出现在像否定这样的许可环境中时才是语法上的（“Sue doesn't have any cats”vs.“Sue has any cats”）。这种现象是具有挑战性的，因为存在各种各样的NPI许可证环境。我们引入了一个人工生成的数据集，操纵NPI许可的实验的关键特征。我们发现，BERT有显着的知识，这些功能，但它的成功有很大的不同，在不同的实验方法。我们的结论是，各种方法是必要的，以揭示在一个给定的域模型的语法知识的所有相关方面。
2019-09-19 cs.CL
Explicit Grammar Semantic Feature Fusion for Robust Text Classification
Department of Computer Science, American International University-Bangladesh（计算机科学系，美国国际大学-孟加拉国）
本文提出显式语法语义特征融合方法，通过编码语法结构并融合语义信息，构建轻量文本分类模型，提升跨领域学习效果
2026-02-24 cs.CL
Deep Subjecthood: Higher-Order Grammatical Features in Multilingual BERT
Stanford University（斯坦福大学）；University of California, Irvine（加州大学欧文分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们研究如何多语言BERT（mBERT）编码语法，通过研究如何高阶语法特征的形态句法对齐（不同的语言如何定义什么算作“主语”）是体现在不同语言的嵌入空间。为了理解形态句法对齐是否以及如何影响上下文嵌入空间，我们训练分类器以恢复传递句中mBERT嵌入的主体性（不包含关于形态句法对齐的公开信息），然后在语言内部和跨语言的不传递句中评估它们的zero-shot（主体性分类取决于对齐）。我们发现，由此产生的分类器分布反映了他们的训练语言的形态句法对齐。我们的研究结果表明，mBERT表示受到高级语法特征的影响，这些语法特征在任何一个输入句子中都没有表现出来，并且这在各种语言中都是鲁棒的。进一步研究我们的分类器依赖的特征，我们发现，如被动语态，生命力和情况下的功能与分类决策强烈相关，这表明mBERT不编码纯粹的句法主体，但主体嵌入是连续的，并依赖于语义和话语因素，在许多功能语言学文献中提出。总之，这些结果提供了深入了解语法功能如何体现在上下文嵌入空间，在抽象的水平上没有涵盖以前的工作。
2021-01-26 cs.CL
Can BERT eat RuCoLA? Topological Data Analysis to Explain
Université de Lyon（里昂大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
该研究利用拓扑数据分析从Transformer注意力图中提取弦性与匹配数等特征，解释并提升英俄语言可接受性分类，同时通过黑盒内省揭示注意力头的语法功能。
2023-04-04 cs.CL
Exploring the Capacity of a Large-scale Masked Language Model to Recognize Grammatical Errors
Konan University（甲南大学）；JST, PRESTO（日本科学技术振兴机构，PRESTO）；GRAS Group, Inc.（GRAS集团）；RIKEN AIP（理化学研究所革新智能统合研究中心）；Tohoku University（东北大学）
在本文中，我们探讨的能力，语言模型为基础的方法，语法错误检测详细。我们首先表明，5%至10%的训练数据是足够的一个基于BERT的错误检测方法，以实现性能相当于一个非语言模型为基础的方法可以实现与完整的训练数据;召回提高更快的训练数据的大小在基于BERT的方法比在非语言模型方法，而精度表现相似。这表明（i）基于BERT的方法应该具有识别某些类型的错误所需的良好语法知识，并且（ii）它可以通过少量训练样本的微调将知识转化为错误检测规则，这解释了其在语法错误检测中的高泛化能力。我们进一步用伪错误数据表明，它实际上在识别各种类型错误的学习规则中表现出如此好的特性。最后，基于这些发现，我们探索了一种低成本的方法来检测语法错误，并向学习者解释相关的语法规则的反馈意见。
2021-08-27 cs.CL
The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学）；ICREA（加泰罗尼亚国家研究委员会）
通过对337篇文章的系统综述，评估基于Transformer的语言模型（TLM）的句法能力，发现TLM编码了非平凡的句法知识，但句法-语义接口现象表现较弱，且研究集中在英语和BERT类模型上。
2026-09-01 cs.AI cs.CL
Leveraging Dependency Grammar for Fine-Grained Offensive Language Detection using Graph Convolutional Networks
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
在过去的几年里，社交媒体上攻击性文本的传播呈指数级增长。高精度地识别这一文本对社会福祉至关重要。大多数现有的方法倾向于给无害的陈述（例如，“我是一个同性恋”）。这些假阳性是由于对训练数据的过度概括造成的，其中语句中的特定术语可能已经以贬义的方式使用（例如，“gay”）。仅仅强调这些词语就可能导致对这些制度旨在保护的阶层的歧视。在本文中，我们解决了Twitter上的攻击性语言检测的问题，同时也检测的类型和目标的罪行。我们提出了一种名为SyLSTM的新方法，该方法使用图卷积网络将句子依赖解析树形式的语法特征和词嵌入形式的语义特征集成到深度学习架构中。结果表明，所提出的方法显着优于国家的最先进的BERT模型的数量级较少的参数。
2022-05-26 cs.CL cs.LG
Transformers in the loop: Polarity in neural models of language
Bookarang；Yandex Technologies GmbH（Yandex技术有限责任公司）
计算语言模型中语言现象的表示通常根据这些现象的现有语言理论的预测进行评估。使用极性的概念作为一个案例研究，我们表明，这并不总是最适当的设置。我们在两个预先训练的基于transformer的模型（BERT和GPT-2）中通过所谓的“负极性项”（特别是英语中的“任何”）来探测极性。我们表明，至少极性-来自语言模型的指标更符合心理语言学实验的数据比语言理论的预测。建立这一点使我们能够更充分地评估语言模型的性能，并使用语言模型来发现超越现有语言学理论的自然语言语法的新见解。这一工作有助于在心理语言学实验和语言模型实验之间建立更紧密的联系。
2022-03-17 cs.CL
