Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT（麻省理工学院）
该研究针对三种低资源语言开发句法评估测试，评估五款多语言Transformer语言模型的句法泛化能力，揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task
École Normale Supérieure-PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）；U. Sorbonne Nouvelle（新索邦大学）；University of Pisa（比萨大学）
虽然基于transformer的神经语言模型在各种任务上表现出令人印象深刻的性能，但它们的泛化能力还没有得到很好的理解。他们已经被证明在各种各样的设置中表现出强烈的主谓数一致性，这表明他们在训练过程中学会了跟踪句法依赖性，即使没有明确的监督。在本文中，我们研究的程度BERT是能够执行词汇独立的主谓数协议（NA）的目标句法模板。为此，我们在对BERT行为的新的细粒度分析中，破坏了每个目标结构的自然发生的刺激中发现的词汇模式。我们的研究结果对nonce句子表明，该模型概括简单的模板，但未能执行词汇独立的句法概括时，只有一个吸引子。
2022-04-14 cs.CL
A Targeted Assessment of Incremental Processing in Neural LanguageModels and Humans
Harvard University（哈佛大学）；MIT（麻省理工学院）
通过十六个句法测试套件对比人类与四种神经语言模型的增量处理，发现模型虽在方向上与人类一致，但系统低估了句法违例导致的处理难度差异幅度。
2023-10-25 cs.CL
Language model acceptability judgements are not always robust to context
Meta AI；MIT（麻省理工学院）；Johns Hopkins（约翰斯·霍普金斯大学）；Purdue University（普渡大学）
针对语言模型的语法评估询问模型是否对语法上可接受的内容表现出稳定的偏好，而不是最小对不可接受的输入。大多数有针对性的句法评估数据集要求模型仅使用单个上下文无关的句子作为输入来做出这些判断。这与语言模型的训练机制不匹配，在这种机制中，输入的句子总是被周围的语料库高度语境化。这种不匹配提出了一个重要的问题：在不同的上下文中，模型的句法判断有多稳健？在本文中，我们调查的稳定性语言模型的性能有针对性的句法评价，因为我们不同的属性的输入上下文：上下文的长度，它包含的句法现象的类型，以及是否有违反语法。我们发现，模型的判断一般是强大的，当放置在随机抽样的语言环境。然而，他们是实质上不稳定的上下文包含语法结构匹配那些在关键的测试内容。在所有测试模型（GPT-2和OPT的五个变体）中，我们通过提供具有匹配句法结构的上下文来显着改善模型的判断，相反，使用具有匹配但违反句法结构的不可接受的上下文来显着恶化模型的判断。除了不相关的输入之外，这种效果会被上下文的长度放大。我们发现，这些变化的模型性能是无法解释的简单功能匹配的上下文和测试输入，如词汇重叠和依赖重叠。这种对语境中高度具体的句法特征的敏感性只能用模型的内隐上下文学习能力来解释。
2022-12-18 cs.CL cs.LG
Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文提出 Derivational Probing 方法，探究神经语言模型中微句法与宏句法结构随词嵌入跨层传播的逐层派生过程，发现微句法在低层形成并在高层整合为宏句法，且其构建时机对下游性能至关重要。
2025-06-27 cs.CL
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；New York University（纽约大学）；Technion – IIT（以色列理工学院）
有针对性的句法评估已经证明了语言模型在困难的上下文中执行主谓一致的能力。为了阐明模型实现这种行为的机制，本研究将因果中介分析应用于预先训练的神经语言模型。我们研究了模型对语法变化的偏好程度，以及神经元是否在具有不同句法结构的句子中类似地处理主谓一致。我们揭示了不同架构和模型大小的相似性和差异-值得注意的是，较大的模型不一定会学习更强的偏好。我们还观察到两个不同的机制，根据输入句子的句法结构产生主谓一致。最后，我们发现，语言模型依赖于相似的神经元集时，给定的句子具有相似的句法结构。
2021-06-22 cs.CL
Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models
Pompeu Fabra University（庞培法布拉大学）；Catalan Institute for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究所）
基于多语言转换器的语言模型通常在100多种语言上进行预训练，已被证明在广泛的跨语言迁移任务中取得了出色的结果。然而，它仍然是未知的优化不同的语言条件的能力的模型概括的句法结构，以及如何语言的句法现象不同的复杂性受到影响。在这项工作中，我们探讨的单语和多语言版本的BERT和ROBERTa的句法泛化能力。更具体地说，我们评估英语和西班牙语测试模型的句法泛化潜力，比较单语和多语言模型在同一语言（英语），和两种不同的语言（英语和西班牙语）的多语言模型的句法能力。对于英语，我们使用可用的SyntaxGym测试套件;对于西班牙语，我们引入了SyntaxGyES，这是一种新的西班牙语语法测试组合，旨在通过SyntaxGym在线平台评估语言模型的语法泛化能力。
2021-05-10 cs.CL
Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
The University of Tokyo（东京大学）
本文提出tree-planting方法，将句法树隐式植入单向Transformer注意力权重，形成TPT模型，在保持推理效率的同时以数据高效方式学习类人句法知识，并在SyntaxGym上显著优于普通Transformer和显式句法语言模型。
2024-06-06 cs.CL
Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；VinAI Research（越南人工智能研究院）
有针对性的观点词提取（TOWE）是基于体的情感分析（ABSA）的一个子任务，其目的是为句子中的给定体词找到观点词。尽管它们在TOWE上取得了成功，但当前的深度学习模型未能利用在先前研究中已被证明对TOWE有用的句子的句法信息。在这项工作中，我们建议将句子的句法结构纳入TOWE的深度学习模型中，利用基于句法的意见可能性得分和单词之间的句法连接。我们还引入了一种新的正则化技术，以提高基于TOWE中单词之间的表示差异的深度学习模型的性能。提出的模型进行了广泛的分析，并实现了最先进的性能在四个基准数据集。
2020-10-26 cs.CL
The Language Model Understood the Prompt was Ambiguous: Probing Syntactic Uncertainty Through Generation
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
当一个句子的开头与多个句法分析兼容时，就会出现暂时的句法歧义。我们检查在何种程度上神经语言模型（LM）表现出不确定性，在这种分析时，处理暂时模糊的输入，以及如何通过消除歧义的线索调制的不确定性。我们探测LM的期望，从它产生：我们使用随机解码来获得一组句子完成，并估计LM分配给每个解释的概率的基础上，跨完成的分析分布。与基于评分的有针对性的句法评估方法不同，这种技术可以探索研究人员事先没有假设的完成。我们应用这种方法来研究两个LM（GPT2和LSTM）对三种类型的临时歧义的行为，使用来自人类句子处理实验的材料。我们发现，LM可以同时跟踪多个分析，不同的结构和背景下的不确定性程度不同。作为对消除歧义线索的回应，LMs通常会选择正确的解释，但偶尔的错误会指向潜在的改进领域。
2021-09-16 cs.CL
From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model
The University of Hong Kong（香港大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对离散扩散模型在视觉-语言任务中的错误级联问题，提出ReDiff校正框架，通过两阶段训练和在线自我纠正循环，将生成从去噪转为精炼，显著提升连贯性与事实准确性。
2025-10-22 cs.CL
How much pretraining data do language models need to learn syntax?
Amazon AI（亚马逊AI）；Pompeu Fabra University（庞培法布拉大学）；Catalan Institute for Research and Advanced Studies (ICREA)（加泰罗尼亚高等研究院（ICREA））
基于transformers的预训练语言模型在许多著名的NLU基准测试中取得了出色的结果。然而，虽然预训练方法非常方便，但它们在时间和资源方面是昂贵的。这就需要研究预训练数据大小对模型知识的影响。我们探索这种影响的句法能力的RoberTa，使用模型训练的原始文本数据的增量大小。首先，我们使用语法结构探测器来确定在更多数据上预训练的模型是否编码了更大量的语法信息。其次，我们进行了有针对性的句法评估，以分析预训练数据大小对模型句法泛化性能的影响。第三，我们比较了不同模型在三个下游应用上的性能：词性标注、依存句法分析和释义识别。我们补充我们的研究与培训这些模型的成本效益权衡分析。我们的实验表明，虽然在更多数据上预训练的模型编码了更多的语法知识，并且在下游应用程序中表现得更好，但它们并不总是在不同的语法现象中提供更好的性能，并且具有更高的财务和环境成本。
2021-09-09 cs.CL
Readers make targeted regressions to plausible errors in reanalysis of "noisy-channel garden-path" sentences
MIT Brain and Cognitive Sciences（麻省理工学院脑与认知科学）
研究探讨了读者在处理‘噪声通道花园路径’句子时如何通过后续信息定位可能的错误，揭示了阅读动态中的定向回归现象及对噪声通道语言理解理论的影响。
2026-05-18 cs.CL
Syntax as a Rosetta Stone: Universal Dependencies for In-Context Coptic Translation
Corpling Lab（科林实验室）；Georgetown University（乔治城大学）
提出一种结合通用依存句法分析和双语词典的上下文学习方法，用于低资源科普特语到英语的机器翻译，取得了新的最佳结果。
2026-05-26 cs.CL
Location Name Extraction from Targeted Text Streams using Gazetteer-based Statistical Language Models
Wright State University（莱特州立大学）
从非正式和非结构化的社交媒体数据中提取位置名称需要识别所指边界并划分复合名称。可变性，特别是地名的系统可变性（Carroll，1983），对识别任务提出了挑战。其中一些可变性可以作为统计语言模型中的操作来预期，在这种情况下，这些模型来自OpenStreetMap（OSM）、Geonames和DBpedia等地名录。这允许将Twitter目标文本中观察到的n-gram评估为来自相同位置上下文的合法位置名称变体。我们的地名提取工具（LNEx）使用n-gram统计和位置相关词典处理缩写，并自动过滤和增加地名词典中的地名（处理名称缩写和辅助内容），以帮助检测多词地名的边界，从而在文本中对其进行划界。我们对来自三个目标流的4，500条特定于事件的推文进行了评估，以比较LNEx与依赖于标准语义，语法和/或正字法特征的十种最先进的标签的性能。LNEx将平均F分数提高了33- 179%，优于所有标记器。此外，LNEx能够进行流处理。
2020-04-26 cs.CL
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg（彭博）；Duke University（杜克大学）；ASAPP Inc.（ASAPP公司）
我们提出了一个注入语法的变分自动编码器（SIVAE），它将句子与它们的语法树相结合，以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同，SIVAE包含两个独立的潜在空间，用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布，相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作，同时生成句子和语法树。两个版本的SIVAE提出：一个通过条件先验网络捕获的潜在变量之间的依赖关系，和其他处理的潜在变量独立，这样可以进行句法控制的句子生成。实验结果表明，SIVAE在重建和有针对性的句法评价上都具有生成优势。最后，我们表明，所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Investigating Novel Verb Learning in BERT: Selectional Preference Classes and Alternation-Based Syntactic Generalization
MIT（麻省理工学院）
以前研究深度学习模型的句法能力的研究并没有针对语法概括的强度与模型在训练过程中暴露的证据量之间的关系。我们解决这个问题，通过部署一个新的单词学习范式来测试BERT的少样本学习能力的两个方面的英语动词：交替和类的选择偏好。对于前者，我们微调BERT在一个单一的框架在一个动词交替对，并询问模型是否期望新的动词出现在它的姐妹框架。对于后者，我们微调BERT的不完整的选择网络的动词对象，并询问它是否期望未经证实，但似是而非的动词/对象对。我们发现，BERT在微调一个新单词的一两个实例后，就能做出强大的语法概括。对于动词交替测试，我们发现，该模型显示的行为是一致的及物性偏见：动词看到几次，预计将采取直接对象，但动词看到直接对象预计不会发生不及物。
2020-11-04 cs.CL cs.LG
Scalable Syntax-Aware Language Models Using Knowledge Distillation
DeepMind；University of Oxford（牛津大学）
先前的工作表明，在少量的训练数据上，句法神经语言模型比顺序语言模型更成功地学习结构敏感的概括。然而，它们的计算复杂性使得缩放困难，并且当序列模型可以访问越来越大量的训练数据时，结构偏差是否仍然是必要的仍然是一个悬而未决的问题。为了回答这个问题，我们引入了一种有效的知识蒸馏（KD）技术，该技术将知识从在小语料库上训练的语法语言模型转移到LSTM语言模型，从而使LSTM能够开发其学习的更大训练数据的结构敏感表示。在有针对性的语法评估，我们发现，虽然顺序LSTM执行比以前报道的要好得多，我们提出的技术大大提高了这个基线，产生一个新的艺术状态。我们的研究结果和分析肯定了结构偏差的重要性，即使在模型中，从大量的数据学习。
2019-06-14 cs.CL cs.LG
A Study of Crosslinguistic Influence in Language Models
Department of Advanced Computing Sciences（高级计算科学系）
本研究利用语言模型探讨跨语言影响，发现语言主导性和熟练度对CLI有显著影响，且L1在L2处理中被共激活。
2026-07-29 cs.CL
Measuring Form and Function in Language Models
University of Pennsylvania（宾夕法尼亚大学）；Department of Linguistics and Computer and Information Science（语言学与计算机与信息科学系）
通过引入儿童语言习得的定量指标，提出上下文替代选择（CAC）提示方法，评估语言模型在英语限定词的形式句法和功能话语知识方面的表现，发现仅大型模型能同时满足形式和功能基准。
2026-05-27 cs.AI cs.CL
Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning
Yale University（耶鲁大学）
提出一种对连续变量进行因果干预的方法，通过定位低维方向并编辑向量实现反事实目标值，应用于动词偏向特征，证明其在语言模型中的因果表示，并探讨与上下文学习的关系。
2026-05-28 cs.CL
When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations
Department of Computer Science and Engineering, Doha, Qatar（计算机科学与工程系，多哈，卡塔尔）
本研究系统分析了通用和医学专用LLM对提示扰动的敏感性，发现即使是微小的措辞变化也可能改变临床建议，对抗性提示可能引发有害输出，表明这些模型在临床应用中不可靠。
2026-06-05 cs.AI cs.CL cs.LG
Does injecting linguistic structure into language models lead to better alignment with brain recordings?
University of Copenhagen（哥本哈根大学）；Carnegie Mellon University（卡内基梅隆大学）
神经科学家评估了用于自然语言处理的深度神经网络，作为语言在大脑中如何处理的可能候选模型。这些模型通常在没有明确的语言监督的情况下进行训练，但是已经显示出在没有这种监督的情况下学习一些语言结构（Manning等人，2020），可能质疑符号语言学理论在建模这种认知过程中的相关性（Warstadt和Bowman，2020）。我们在两个fMRI数据集上评估语言模型是否与大脑记录更好地对齐，如果他们的注意力被句法或语义形式主义的注释所偏见。使用依赖结构或最小递归语义注释，我们发现其中一个数据集的对齐显着改善。对于另一个数据集，我们看到了更多的混合结果。我们提出了一个广泛的分析这些结果。我们提出的方法能够评估关于大脑中意义组成的更有针对性的假设，扩大神经科学家可能做出的科学推断的范围，并为计算神经科学和语言学之间的交叉授粉开辟了新的机会。
2021-01-29 cs.AI cs.CL
How Large Language Models Get Stuck: Early structure with persistent errors
Department of Statistics（统计学系）；University of Connecticut, Storrs（康涅狄格大学斯托尔分校）；Department of Linguistics（语言学系）；Department of Psychological Sciences（心理学科学系）
研究发现大语言模型在训练早期可能因大写统计偏差而陷入错误固化，提出双元组假设以解释这一现象并提出测试方法。
2026-03-10 cs.CL cs.LG
