Late Transformer Layers Recode Syntax Canonically: Evidence from Greek Scrambling and Cross-Layer Generalisation
Université Paris 8 Vincennes–Saint-Denis（巴黎第八大学（万塞纳-圣但尼））；University of Geneva（日内瓦大学）；Athena Research Center（雅典娜研究中心）
该研究通过对希腊语微调的大语言模型开展跨层泛化分析，发现Transformer后期层会定向重编码句法信息，为人类脑电解码研究提供了可验证预测。
2026-09-02 cs.CL
Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization
Fudan University（复旦大学）
本研究通过元学习对齐语言间结构概念空间，提升跨语言泛化，在43种语言句法分析中取得与最先进方法相当的结果，并缩小了语言间性能差距。
2023-12-22 cs.CL
Analyzing Syntactic Generalization Capacity of Pre-trained Language Models on Japanese Honorific Conversion
The University of Tokyo（东京大学）
本文构建考虑社会关系的日语敬语转换数据集，评估 GPT-3 在微调和提示学习下的句法泛化能力，发现微调整体更优，但难泛化到含直接引语的复合敬语句。
2023-06-05 cs.CL
Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
The University of Tokyo（东京大学）
本文提出tree-planting方法，将句法树隐式植入单向Transformer注意力权重，形成TPT模型，在保持推理效率的同时以数据高效方式学习类人句法知识，并在SyntaxGym上显著优于普通Transformer和显式句法语言模型。
2024-06-06 cs.CL
Instruction-Tuned Models Locally Produce More Syntactic Overlap -- But Not More Conditional Reuse -- Than Humans Do
University of Oxford（牛津大学）
研究大语言模型是否像人类一样句法趋同，通过替换范式数据在多个模型测量CFG规则复用。发现各模型与前一轮人类话语规则重叠多，指令微调模型有特点，还在词汇和语义相似度上有表现，揭示了模型在句法复用方面与人类的异同。
2026-11-03 cs.CL
Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies
UCLouvain（列日大学）
本文研究了LLM解释对训练随机性的敏感性，发现任务对敏感性影响最大，类别次之，上下文影响最小。
2026-03-09 cs.CL
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind（深度思维）；University of Oxford（牛津大学）
我们介绍了Transformer语法（TG），一类新的Transformer语言模型，结合（i）的表达能力，可扩展性，和强大的性能的Transformers和（ii）递归语法组合，这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现，TG优于各种强大的基线上的高级语言建模的困惑，以及多个语法敏感的语言建模评估指标。此外，我们发现，递归的句法组合瓶颈，代表每个句子作为一个单一的向量损害困惑的文档级语言建模，提供证据表明，一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models
Pompeu Fabra University（庞培法布拉大学）；Catalan Institute for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究所）
基于多语言转换器的语言模型通常在100多种语言上进行预训练，已被证明在广泛的跨语言迁移任务中取得了出色的结果。然而，它仍然是未知的优化不同的语言条件的能力的模型概括的句法结构，以及如何语言的句法现象不同的复杂性受到影响。在这项工作中，我们探讨的单语和多语言版本的BERT和ROBERTa的句法泛化能力。更具体地说，我们评估英语和西班牙语测试模型的句法泛化潜力，比较单语和多语言模型在同一语言（英语），和两种不同的语言（英语和西班牙语）的多语言模型的句法能力。对于英语，我们使用可用的SyntaxGym测试套件;对于西班牙语，我们引入了SyntaxGyES，这是一种新的西班牙语语法测试组合，旨在通过SyntaxGym在线平台评估语言模型的语法泛化能力。
2021-05-10 cs.CL
Assessing the Capacity of Transformer to Abstract Syntactic Representations: A Contrastive Analysis Based on Long-distance Agreement
Université Paris Cité（巴黎西岱大学）；LLF（语言学形式实验室）；CNRS（法国国家科学研究中心）
长距离一致性作为句法结构的证据，越来越多地被用来评估神经语言模型的句法泛化能力。许多工作表明，Transformers能够在不同的协议任务的高精度，但该模型实现这种行为的机制仍然没有得到很好的理解。为了更好地理解Transformers的内部工作，这项工作对比了他们如何处理两个表面上相似但理论上不同的一致现象：法语中的主语-动词和宾语-过去分词一致。使用探测和反事实分析方法，我们的实验表明，i）协议任务遭受了一些混淆，部分质疑迄今为止得出的结论和ii）Transformers处理主语-动词和宾语-过去分词协议的方式是一致的，与他们的建模在理论语言学。
2023-01-04 cs.CL
Nearest Neighbor Search over Vectorized Lexico-Syntactic Patterns for Relation Extraction from Financial Documents
UtilizeAI Research（UtilizeAI研究院）
本文提出通过词汇-句法模式稠密向量的最近邻搜索在测试时参考训练关系，以解决金融文档关系抽取中隐式表达、长尾类别及复杂长句问题，并在REFinD上取得最先进性能。
2023-10-26 cs.CE cs.CL
Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
Georgetown University（乔治城大学）
本文检验句法归纳偏置方法在五种低资源语言上的效果，发现其在低资源场景下结果不一致且多数情况下收益甚微。
2023-11-01 cs.CL
Case-Based or Rule-Based: How Do Transformers Do the Math?
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；National Key Laboratory of General Artificial Intelligence, BIGAI（北京智源人工智能研究院通用人工智能国家重点实验室）
本研究通过干预实验证实Transformer在数学任务中采用基于案例的推理，并提出规则遵循微调（RFFT）技术，使其在加法任务上实现从1-5位到12位的长度泛化，准确率超95%。
2024-06-26 cs.AI cs.CL
Tree Transformers are an Ineffective Model of Syntactic Constituency
University of Colorado（科罗拉多大学）
研究表明，旨在提供句法成分结构归纳偏向的树转换器（Tree Transformer），在预训练语言模型中未学习到有意义的成分结构，且在相关错误检测任务上无显著有效改进，并非有效模型。
2024-11-25 cs.CL
Causal Drawbridges: Characterizing Gradient Blocking of Syntactic Islands in Transformer LMs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究通过Transformer模型的因果干预揭示语法岛屿的提取机制，发现其与wh依赖关系机制相似但受阻程度不同，提出'and'在可提取与不可提取结构中表示方式不同。
2026-04-15 cs.CL
Transformers generalize differently from information stored in context vs in weights
DeepMind（深度思维）
Transformer模型可以使用两种根本不同的信息：在训练期间存储在权重中的信息，以及在推理时提供的“上下文”信息。在这项工作中，我们表明，Transformers表现出不同的感性偏见，他们如何表示和概括这两个来源的信息。特别是，我们的特点是否通过简约的规则（基于规则的泛化）或通过直接比较观察到的例子（基于范例的泛化），他们概括。这具有重要的实际意义，因为它决定了是在权重中还是在上下文中对信息进行编码，这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中，我们发现从权重的泛化更基于规则，而从上下文的泛化主要是基于范例的。相比之下，我们发现在自然语言预训练的Transformers中，上下文学习是基于规则的，更大的模型显示出更多的基于规则。我们假设，基于规则的概括，从上下文信息可能是一个紧急的结果，大规模的培训语言，它具有稀疏的规则结构。使用受控刺激，我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
Evaluating German Transformer Language Models with Syntactic Agreement Tests
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心 (DFKI)）
预训练的Transformer语言模型（TLM）最近重新塑造了自然语言处理（NLP）：大多数最先进的NLP模型现在都在TLM之上运行，以受益于上下文和知识归纳。为了解释他们的成功，科学界进行了大量的分析。除其他方法外，句法一致性测试被用来分析TLM。然而，大多数研究都是针对英语进行的。在这项工作中，我们分析德国的TLM。为此，我们设计了许多协议任务，其中一些考虑到德语的特殊性。我们的实验结果表明，国家的最先进的德国TLM一般表现良好的协议任务，但我们也确定和讨论的句法结构，将它们推向极限。
2020-07-07 cs.CL
Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument Extraction
University of Oregon（俄勒冈大学）；VinAI Research（越南人工智能研究院）
事件论元提取（EAE）的目标是找到给定事件触发词的每个实体提及的角色。在以前的工作中已经表明，句子的句法结构有助于EAE的深度学习模型。然而，在这样的现有工作的一个主要问题是，他们未能利用句子的语义结构，以诱导有效的表征EAE。因此，在这项工作中，我们提出了一种新的模型EAE，利用图Transformer网络（GTN）的句子的句法和语义结构，学习更有效的句子结构EAE。此外，我们引入了一种新的归纳偏差的基础上的信息瓶颈，以提高推广的EAE模型。进行了大量的实验，以证明所提出的模型的好处，导致国家的最先进的EAE标准数据集上的性能。
2020-10-26 cs.CL
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，使用（部分）选区解析树的句法指导控制文本生成。现有的方法使用递归结构，这不仅遭受长期依赖问题，而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制，然后使用扩展的树来指导文本生成。在这个过程中，我们的模型的有效性取决于两个新的注意力机制：1）路径注意力机制，迫使一个节点只关注位于语法树中的路径中的其他节点，以更好地结合语法指导; 2）多编码器注意力机制，允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明，我们的方法在语义和语法上都优于SOTA模型，将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）
本文针对基于Transformer的VAE（Optimus），提出通过图与序列模型集成及低秩算子注入多潜在表示，实现句法-语义空间分离，缓解信息丢失，提升语言建模与生成性能。
2023-11-14 cs.CL
Syntax-guided Localized Self-attention by Constituency Syntactic Distance
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
最近的工作表明，Transformers隐式地从数据中学习其较低层的语法信息，尽管高度依赖于训练数据的质量和规模。然而，如果我们可以利用外部语法分析器，从数据中学习语法信息是不必要的，这提供了更好的分析质量与定义良好的语法结构。这可能会提高Transformer的性能和样本效率。在这项工作中，我们提出了一个语法指导的本地化自我注意Transformer，允许直接将语法结构从外部选区解析器。它禁止注意力机制将语法上远距离的标记置于近距离标记之上。实验结果表明，我们的模型可以持续提高翻译性能的各种机器翻译数据集，从小到大的数据集大小，并与不同的源语言。
2022-10-21 cs.CL
Retrofitting Structure-aware Transformer Language Model for End Tasks
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
我们考虑改造结构感知的transformer为基础的语言模型，以促进最终任务，建议利用句法距离编码到语言模型的短语选区和依存关系连接。采用中间层结构化学习策略进行结构整合，在多任务学习模式下进行主要语义任务训练。实验结果表明，改进后的结构感知Transformer语言模型在提高复杂度的同时，能够准确地归纳出句法短语.通过执行结构感知的微调，我们的模型实现了语义和句法依赖的任务显着改善。
2020-09-16 cs.CL
Understanding Transformers via N-gram Statistics
Google DeepMind（谷歌DeepMind）
本文通过N-gram统计规则集近似Transformer预测，提出检测过拟合、量化学习进展的方法，并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
传统的NLP长期以来一直认为（监督）句法分析是成功的高级语义语言理解（LU）所必需的。然而，最近出现的端到端神经模型，通过语言建模（LM）进行自我监督，以及它们在广泛的LU任务上的成功，质疑了这种信念。在这项工作中，我们实证研究的有用性监督解析语义LU的LM预训练的Transformer网络的背景下。依靠已建立的微调范例，我们首先耦合一个预训练的Transformer与biaffine解析头，旨在注入显式的语法知识，从通用的语法树库到Transformer。然后，我们微调LU任务的模型，并测量中间解析训练（IPT）对下游LU任务性能的影响。单语英语和zero-shot语言迁移实验（中间目标语言解析）的结果表明，明确的形式化语法，通过IPT注入到Transformers，下游LU性能的影响非常有限和不一致。我们的研究结果，再加上我们的分析Transformers的表示空间之前和之后的中间解析，使一个重要的一步，提供答案的一个基本问题：如何（联合国）availing是监督解析高层次的语义自然语言理解在时代的大型神经模型？
2021-04-28 cs.CL
PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction
Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）
Prism通过几何构造实现白盒变换器，通过信号-噪声分解提升模型可解释性与性能
2026-02-03 cs.AI cs.CL cs.LG
We can still parse using syntactic rules
Independent Researcher（独立研究者）
本文提出了一种基于语法理论的新解析方法，通过改进解析算法和规则，实现更准确的依赖和构成解析，适用于自然语言处理任务。
2026-02-15 cs.CL
Enhancing the Transformer Decoder with Transition-based Syntax
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
尽管最近的进展，句法泛化仍然是文本解码器的一个挑战。虽然一些研究表明，将源端的符号句法和语义结构的文本生成Transformers的收益，很少有工作解决这种结构的解码。我们提出了一个通用的方法，树解码使用一个过渡为基础的方法。检查具有挑战性的测试情况下，将通用的重复性语法到机器翻译，我们提出了大量的改进测试集，侧重于语法泛化，同时提出改进或可比的性能标准MT基准。进一步的定性分析解决的情况下，语法概括香草Transformer解码器是不够的，并展示了整合语法信息所提供的优势。
2022-10-31 cs.CL cs.LG
Towards Syntactic Iberian Polarity Classification
Universidade da Coruña（拉科鲁尼亚大学）
基于词典的方法使用语法规则进行极性分类，依赖于依赖于语言和树库指南的解析器。因此，规则也是依赖性的，需要调整，特别是在多语言情况下。我们在伊比利亚半岛的背景下应对这一挑战，发布了第一个基于符号语法的伊比利亚系统，该系统的规则在五种官方语言之间共享：巴斯克语，加泰罗尼亚语，加利西亚语，葡萄牙语和西班牙语。该模型是可用的。
2017-08-17 cs.CL
The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学）；ICREA（加泰罗尼亚国家研究委员会）
通过对337篇文章的系统综述，评估基于Transformer的语言模型（TLM）的句法能力，发现TLM编码了非平凡的句法知识，但句法-语义接口现象表现较弱，且研究集中在英语和BERT类模型上。
2026-09-01 cs.AI cs.CL
Syntactic Patterns and Stylistic Functions in Narrative Prose: A Rule-Based and Machine-Learning Approach
本文提出一种基于规则与机器学习的方法，利用依存句法分析语料库中的线性化三元组模式，对叙事散文句子进行五类文体分类，最佳模型宏F1达0.948。
2026-09-09 cs.CL
A Systematic Study of Compositional Syntactic Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（智能视觉与成像工程技术研究中心）；Ant Group（蚂蚁集团）
本文系统研究了组合式句法语言模型，提出涵盖现有模型与新变体的统一框架，并在语言建模、句法泛化、摘要、对话和推理效率上进行全面评估，为组合式 SLMs 的设计提供了多项建议。
2025-06-28 cs.AI cs.CL
Syntactic Learnability of Echo State Neural Language Models at Scale
The University of Tokyo（东京大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
本文重新审视了回声状态网络（ESN），发现在约100M单词训练下，其在语法判断任务中表现与Transformer相当或更优，表明复杂架构对句法学习并非总是必要。
2025-03-03 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
本文提出一种基于句法与概率视角的上下文词表示模型，利用条件随机场和平均场变分推断建模词的潜在表示及依存弧，发现其计算图与transformers相似，在中小型数据集上表现具竞争力，旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本文系统研究了Transformer语法中不同树遍历方法（深度优先、广度优先及新提出的产生式规则遍历）对语言建模、句法泛化和摘要生成的影响，揭示了嵌套组合与全局前瞻之间的权衡。
2026-06-16 cs.CL
Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
提出 SynG2G-Tr，通过将句法图关系嵌入直接注入 Transformer 自注意力来编码句法，并在多类 SRL 数据集及域内外设置中取得优于以往方法的结果。
2023-06-02 cs.CL
Description of the Odin Event Extraction Framework and Rule Language
University of Arizona（亚利桑那大学）
本文档描述了Odin框架，这是一个独立于领域的平台，用于开发基于规则的事件提取模型。Odin的目标是强大（规则语言允许对复杂的语法结构进行建模）和健壮（从句法分析错误中恢复，语法模式可以自由地与表面的基于标记的模式混合），同时保持简单（一些领域语法可以在几分钟内启动并运行）和快速（Odin在现实世界的领域中处理超过100个句子/秒，超过200条规则）。在这里，我们包括Odin规则语言的完整定义，以及Scala语言中Odin API的描述，它允许将这些规则应用于任意文本。
2015-09-24 cs.CL
Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations
University of Edinburgh（爱丁堡大学）；Saarland University（萨尔大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出通过中间预训练执行依存树句法变换来强化Transformer的结构性归纳偏置，实验证明该方法能提升句法任务的少样本学习和语义解析的结构泛化能力。
2024-07-05 cs.CL
SAP: Syntactic Attention Pruning for Transformer-based Language Models
Institute of Information Science, Academia Sinica（学术院信息研究所）
SAP通过结合句法结构和注意力模式，提升Transformer模型的剪枝效果和可解释性，优于现有方法。
2025-12-22 cs.CL cs.LG
Syntactic Analysis Of Natural Language Using Linguistic Rules And Corpus-based Patterns
我们关注的是非限制语篇的句法注释。我们将基于规则的分析与随后的经验数据开发相结合。基于规则的表面句法分析器在输出中留下一定量的歧义，使用经验模式来解决。我们已经实现了一个系统，用于生成和应用基于语料库的模式。有些模式描述句子中的主要成分，有些模式描述每个句法功能的局部语境。有几个（部分）冗余模式，“模式”解析器选择分析与最严格的可能模式匹配的句子。该系统被应用于一个实验语料库。我们提出的结果，并讨论可能的改进方法从语言学的角度来看。
1994-10-25 cmp-lg cs.CL
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University（中山大学）
最近的研究集中在编码器结构的神经选区解析，而很少的发展致力于解码器。以前的研究表明，基于句法规则的概率统计方法在选区分析中特别有效，而在以前的工作中，可能由于其巨大的计算需求，在神经模型的训练过程中不使用句法规则。在本文中，我们首先实现了一个快速CKY解码过程利用GPU加速，在此基础上，我们进一步推导出一个语法规则为基础的（规则约束）CKY解码。在实验中，我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1，与以前的方法相比，这表明了显着的改善。此外，我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Syn-QG: Syntactic and Shallow Semantic Rules for Question Generation
Amelia Science（阿米莉亚科学公司）；IPsoft（IPsoft公司）；Stanford University（斯坦福大学）
问题生成（QG）从根本上说是一个简单的句法转换;然而，语义的许多方面影响什么是好的形式。我们通过开发SynQG来实现这一观察，SynQG是一组利用普遍依赖关系、浅层语义解析、词汇资源和自定义规则的透明语法规则，这些规则将陈述句转换为问答对。我们利用PropBank参数描述和VerbNet状态谓词，将浅语义内容，这有助于生成问题的描述性，并产生推理和语义丰富的问题比现有的系统。为了提高句法流畅性和消除语法错误的问题，我们采用回译这些句法规则的输出。一组众包的评估表明，我们的系统可以生成比以前的QG系统更多的高度语法和相关的问题，并且回译大大提高了语法性，而生成无关问题的成本很小。
2022-11-28 cs.AI cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
非自回归模型通过并行解码提高了神经机器翻译的效率，但与自回归模型相比，非自回归模型的效率较低。在本文中，我们认为，自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的，可以进一步提高性能。然而，这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发，我们建议将语言的显式语法和语义结构纳入非自回归Transformer中，用于神经机器翻译的任务。此外，我们还考虑了目标句子内的中间潜在对齐，以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果（即，WMT 14 En-De和WMT 16 En-Ro）表明，与几种最先进的非自回归模型相比，我们的模型实现了更快的速度，并保持了翻译质量。
2021-01-22 cs.AI cs.CL
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam（阿姆斯特丹大学）；Northeastern University（东北大学）；Technion – IIT（以色列理工学院）
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题，通过稀疏自编码器分析花园路径句处理机制，发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Are Transformers a Modern Version of ELIZA? Observations on French Object Verb Agreement
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）
最近的许多研究表明，神经网络的无监督句子表示通过观察神经语言模型能够预测动词与其主语之间的一致性来编码句法信息。我们对这一系列的研究进行了批判性的审视，表明用简单的表面算法就可以在这个协议任务上实现高精度，这表明我们对神经网络的句法能力的评估可能存在缺陷。我们的细粒度分析结果的长距离法语宾语动词协议表明，相反的LSTM，Transformers能够捕捉到一个非平凡的语法结构。
2021-09-21 cs.CL
Representation biases in sentence transformers
IMS, University of Stuttgart（斯图加特大学IMS研究所）
专门用于生成完整句子表示的BERT架构的变体在下游任务上通常比从普通BERT中提取的句子嵌入实现更好的性能。然而，对于输入的哪些属性决定了这种表示的属性，仍然知之甚少。在这项研究中，我们构建了几组句子与预定义的词汇和句法结构，并表明SOTA句子Transformers有很强的名词参与者集的偏见：句子对之间的余弦相似性更强烈地确定了重叠的集合中的名词参与者比有相同的谓词，冗长的名词修饰语，或numerts。与此同时，参与者的精确句法-主位功能在很大程度上是不相关的。
2023-01-30 cs.CL
Learning Syntactic Rules and Tags with Genetic Algorithms for Information Retrieval and Filtering: An Empirical Basis for Grammatical Rules
自然语言的语法可以通过使用遗传算法来学习，遗传算法可以复制和改变语法规则和词性标签，从而提高后代语法成分的质量。语法规则是随机生成的，然后演变;这些规则导致改进的解析，偶尔改进的检索和过滤性能被允许进一步传播。LUST系统通过学习从解析的摘要获得的文档排名来学习文档摘要中使用的语言或子语言的特征。与将传统语言规则应用于检索和过滤应用程序不同，LUST开发了语法结构和标签，而无需事先强加一些常见的语法假设（例如，词性假设），从而产生基于经验并且针对该特定应用而优化的语法。
1995-05-04 cmp-lg cs.CL
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale
Ant Group（蚂蚁集团）；ShanghaiTech University（上海科技大学）
本文提出大规模无监督句法语言模型GPST，通过表示代理和硬EM实现句法建模与组合模型的并行预训练，在语言理解、生成及语法归纳上优于GPT-2和现有无监督SLM，并显著加速训练。
2024-06-17 cs.AI cs.CL
Classifying Syntactic Regularities for Hundreds of Languages
University of Michigan（密歇根大学）；Ubiquiti, Inc.（优比快公司）
本文介绍了语言类型学的分类方法的比较，目的是扩展一个广泛的，但稀疏的语言资源：世界语言结构地图集（WALS）（Dryer和Haspelmath，2013）。我们实验了各种回归和最近邻方法，用于在一组325种语言和六个句法规则从WALS的分类。为了对每条规则进行分类，我们考虑其他五条规则的类型学特征;从每种语言的单词对齐圣经中提取的语言特征;以及每种语言的谱系特征（属和科）。在一般情况下，我们发现，传播的大多数标签之间的所有语言的同类实现最好的准确性标签预测。在此之后，结合类型学和语言学特征的逻辑回归模型提供了下一个最佳性能。有趣的是，这个模型实际上比同一家族的所有语言中的大多数标签都要好。
2016-04-27 cs.CL
Check_square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
在这个新闻消费的数字时代，新闻读者有能力以高度互动和快速的方式与他人反应，表达和分享意见。因此，假新闻已经进入我们的日常生活，因为大公司和个人在互联网上核实新闻的能力非常有限。在本文中，我们专注于解决事实核查生态系统中的两个问题，这两个问题可以帮助在社交媒体上不断增加的内容流中自动进行事实核查。对于第一个问题，声明检查价值预测，我们探索了语法特征和来自Transformers（BERT）嵌入的深度Transformer双向编码器表示的融合，以对推文的检查价值进行分类，即它是否包括声明。我们进行了详细的功能分析，并提出了我们的最佳表现模型为英语和阿拉伯语的推文。对于第二个问题，索赔检索，我们从专门针对语义文本相似性训练的连体网络Transformer模型（transformer-transformers）中探索预训练的嵌入，并执行KD搜索以检索关于查询tweet的验证索赔。
2020-09-20 cs.CL cs.SI
Analyzing the Inner Workings of Transformers in Compositional Generalization
The University of Tokyo（东京大学）
本研究通过定位泛化相关子网络与句法特征因果分析，探究Transformer的组合泛化内部机制，发现高性能子网络兼具句法特征依赖与非组合算法，且后者于训练早期习得。
2025-02-21 cs.CL
Transformers Generalize Linearly
Yale University（耶鲁大学）
自然语言表现出等级依赖的模式，其中词之间的关系对句法结构而不是线性排序敏感。虽然回流网络模型通常不能以分层敏感的方式进行概括（McCoy等人，2020）在模糊数据上训练时，较新的Trans-former语言模型（Vaswani等人，2017）在一系列大型数据集上训练的句法基准上（Goldberg，2019; Warstadtet等人，在本文中，我们研究了Transformer序列到序列模型的结构泛化模式，发现Transformers不仅不能在各种语法映射任务中进行层次泛化，而且它们比类似的递归网络更倾向于线性泛化
2021-09-24 cs.CL
Pushdown Layers: Encoding Recursive Structure in Transformer Language Models
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出下推层，通过栈带跟踪递归深度并调制注意力，使Transformer在保持困惑度的同时实现3-5倍更高效的句法泛化，并可直接替换标准自注意力。
2023-10-29 cs.CL
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们检查了三种源语言的Transformer NMT编码器中的多头自注意，寻找可能具有语法解释的模式。在许多注意中心语中，我们经常发现关注同一位置的连续状态序列，这类似于句法短语。我们提出了一个透明的确定性的方法，量化的句法信息量存在于自我注意力，基于自动构建和评估短语结构树的短语序列。我们将得到的树与现有的选区树库进行比较，手动和计算精度和召回。
2019-06-05 cs.CL cs.LG
Language Models Can Learn Exceptions to Syntactic Rules
New York University（纽约大学）
本研究以英语被动语态限制为案例，通过人类可接受性判断实验发现GPT-2的概率分布与人类判断高度相关，动词主被动相对可接受度与频率正相关，为固化假说提供初步支持，同时指出该假说的局限性。
2023-06-09 cs.CL
Empirical Study of Transformers for Source Code
HSE University（高等经济大学）
最初是为自然语言处理（NLP）而开发的，由于源代码和文本之间的格式相似性，Transformers现在广泛用于源代码处理。与自然语言相比，源代码是严格结构化的，即，它遵循程序设计语言的语法。最近的几项工作开发了Transformer修改，用于捕获源代码中的语法信息。这些作品的缺点是它们不相互比较，考虑不同的任务。在这项工作中，我们进行了彻底的实证研究的能力，Transformers利用句法信息在不同的任务。我们考虑三个任务（代码完成，函数命名和错误修复），并在一个统一的框架中重新实现不同的语法捕获修改。我们表明，Transformers能够作出有意义的预测纯粹基于语法信息，并强调考虑到语法信息的最佳做法，以提高模型的性能。
2021-06-24 cs.CL cs.LG cs.SE
