Universal Dependencies according to BERT: both more specific and more general
本文通过从自注意力中提取标记依赖树，分析了BERT所捕获的句法抽象的形式和程度。以前的工作表明，个人BERT头往往编码特定的依赖关系类型。我们通过明确比较BERT关系与通用自相似性（UD）注释来扩展这些发现，表明它们通常不一一匹配。我们提出了一种关系识别和句法树构造的方法。我们的方法比以前的工作产生更一致的依赖树，表明它更好地解释了BERT的语法抽象。与此同时，它可以成功地应用于只有少量的监督和推广以及跨语言。
2020-10-06 cs.CL
Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Harbin Institute of Technology（哈尔滨工业大学）；Westlake Institute for Advanced Study（西湖高等研究院）
目标情感分类预测输入文本中给定目标提及的情感极性。主要的方法采用神经网络对输入的句子进行编码，并提取目标提及与其上下文之间的关系。最近，图神经网络已经被研究用于集成任务的依赖语法，实现了最先进的结果。然而，现有的方法不考虑依赖性标签信息，这可能是直观有用的。为了解决这个问题，我们研究了一种新的关系图注意力网络，它集成了类型化的句法依赖信息。标准基准测试的结果表明，我们的方法可以有效地利用标签信息，以提高有针对性的情感分类性能。我们的最终模型显著优于最先进的基于语法的方法。
2020-12-17 cs.CL
Syntax as a Rosetta Stone: Universal Dependencies for In-Context Coptic Translation
Corpling Lab（科林实验室）；Georgetown University（乔治城大学）
提出一种结合通用依存句法分析和双语词典的上下文学习方法，用于低资源科普特语到英语的机器翻译，取得了新的最佳结果。
2026-05-26 cs.CL
What do RNN Language Models Learn about Filler-Gap Dependencies?
Harvard University（哈佛大学）；MIT（麻省理工学院）；Primate Research Institute, Kyoto University（京都大学灵长类研究所）；UC Irvine（加州大学欧文分校）
RNN语言模型已经取得了最先进的困惑结果，并已被证明在一系列NLP任务中是有用的，但目前还不清楚它们学习了什么语法概括。在这里，我们研究最先进的RNN语言模型是否代表长距离填充缺口依赖关系和对它们的约束。在实验控制的句子上检查RNN行为，旨在暴露填充缺口依赖关系，我们表明RNN可以在多个句法位置和大跨度的文本中表示关系。此外，我们还证明了RNN学习了已知的填充缺口依赖性限制的一个子集，称为岛约束：RNN显示了wh岛，附属岛和复杂NP岛的证据。这些研究表明，最先进的RNN模型能够学习和概括空句法位置。
2018-08-31 cs.CL
Syntactic Dependency Representations in Neural Relation Classification
University of Oslo（奥斯陆大学）；Department of Informatics（信息学系）
我们调查使用不同的句法依赖表示在神经关系分类任务，并比较CoNLL，斯坦福大学的基本和通用的重复方案。我们进一步比较了语法不可知的方法，并进行错误分析，以获得更好的理解的结果。
2018-05-28 cs.CL
Temporal Information Extraction for Question Answering Using Syntactic Dependencies in an LSTM-based Architecture
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
在本文中，我们提出了一套简单的，统一的架构LSTM为基础的模型，以恢复不同种类的时间关系，从文本。使用实体之间的最短依赖路径作为输入，使用相同的架构来提取句子内，跨句子和文档创建时间关系。一种“双重检查”技术在分类中颠倒实体对，提高了对阳性案例的回忆，减少了相反类之间的错误分类。一个有效的修剪算法解决全局冲突。在QA-TempEval（SemEval 2015任务5）上进行评估，我们提出的技术大大优于最先进的方法。
2017-10-05 cs.CL cs.IR
On the relation between dependency distance, crossing dependencies, and parsing. Comment on "Dependency distance: a new perspective on syntactic patterns in natural languages" by Haitao Liu et al
Universidade da Coruña（拉科鲁尼亚大学）
Liu et al.（2017）全面介绍了人类语言中依赖距离的研究。虽然这篇文章是关于这个复杂主题的非常丰富和有用的报告，但在这里我将扩展计算语言学（特别是自然语言处理）研究可以告知DDM研究的一些具体问题，反之亦然。这些方面在Liu等人的文章或其他地方没有进行太多的探索，可能是由于两个研究团体之间的重叠很少，但它们可能会为提高我们对人类语言进化的理解提供有趣的见解，大脑处理和理解语言的机制，以及构建有效的计算机系统来实现这一目标。
2017-06-03 cs.CL
Improving Chinese Story Generation via Awareness of Syntactic Dependencies and Semantics
The University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）
故事生成的目的是在给定的输入条件下生成一个长的叙事。尽管之前的作品在应用预训练模型方面取得了成功，但目前用于中文故事的神经模型仍然难以生成高质量的长文本叙事。我们假设，这源于歧义在句法分析的中文语言，没有明确的分隔符分词。因此，神经模型对中文叙事的特征捕捉效率低下。在本文中，我们提出了一个新的生成框架，通过通知生成模型的单词之间的依赖关系，并通过同义词去噪训练，增加语义表示学习，增强了特征捕获机制。我们进行了一系列的实验，结果表明，我们的框架优于国家的最先进的中文生成模型的所有评价指标，证明了增强的依赖性和语义表示学习的好处。
2022-10-19 cs.AI cs.CL
Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies
UCLouvain（列日大学）
本文研究了LLM解释对训练随机性的敏感性，发现任务对敏感性影响最大，类别次之，上下文影响最小。
2026-03-09 cs.CL
pyBART: Evidence-based Syntactic Transformations for IE
Allen Institute for AI（艾伦人工智能研究所）；Bar Ilan University（巴伊兰大学）
句法依赖性可以被高精度地预测，并且对于机器学习和基于模式的信息抽取任务都是有用的。然而，其效用可以得到改善。这些句法依赖性被设计为准确地反映句法关系，并且它们不使语义关系显式化。因此，这些表示缺乏内容词之间的许多显式连接，这对于下游应用程序是有用的。像English Enhanced UD这样的提案通过使用额外的显式弧扩展通用依赖树来改善这种情况。但是，它们不适用于Python用户，并且覆盖范围也有限。我们介绍了一个广泛的覆盖面，数据驱动和语言健全的转换，使事件结构和许多词汇关系明确。我们提出了pyBART，一个易于使用的开源Python库，用于将英语UD树转换为增强的UD图或我们的表示。该库可以作为一个独立的包工作，也可以集成在spaCy NLP管道中。当在基于模式的关系抽取场景中进行评估时，我们的表示比增强型UD获得更高的抽取分数，同时需要更少的模式。
2020-06-04 cs.CL
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Uppsala University（乌普萨拉大学）；The Ohio State University（俄亥俄州立大学）；University of Turku（图尔库大学）；Charles University in Prague（布拉格查理大学）；Stanford University（斯坦福大学）；Indiana University（印第安纳大学）
通用树库是一个开放的社区，致力于在基于依赖性的词汇框架内为许多语言创建跨语言一致的树库注释。该注释包括语言动机的分词;包括词元、通用词性标签和标准化形态特征的形态层;以及专注于谓词、参数和修饰语之间的句法关系的句法层。在本文中，我们描述了指南的第2版（UD v2），讨论了从UD v1到UD v2的主要变化，并概述了目前可用的90种语言的树库。
2020-04-22 cs.CL
Classifying Syntactic Errors in Learner Language
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Stockholm University（斯德哥尔摩大学）；MIT（麻省理工学院）
我们提出了一种分类学习者语言中的句法错误的方法，即错误的纠正改变了句子的形态句法结构。该方法建立在已建立的通用重复语法表示方案，并提供补充信息，其他错误分类系统。与现有的错误分类方法不同，我们的方法适用于各种语言，我们通过制作学习者英语和学习者俄语中句法错误的详细图片来展示。我们进一步展示了实用的方法来分析领先的语法纠错（GEC）系统的输出。
2020-10-27 cs.CL
Transferring Semantic Roles Using Translation and Syntactic Information
The George Washington University（乔治华盛顿大学）；Columbia University（哥伦比亚大学）
我们的论文解决了资源贫乏的语言使用监督注释通过并行数据从资源丰富的语言的语义角色标注的注释投影的问题。我们提出了一种传输方法，采用信息源和目标的句法依赖关系，以及字对齐密度，以提高迭代自举方法的质量。我们的实验产生了一个$3.5$绝对标记的F-分数的改进，一个标准的注释投影方法。
2017-10-03 cs.CL
K-UD: Revising Korean Universal Dependencies Guidelines
Seoul National University（首尔大学）；The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；Sorbonne Université（索邦大学）；SeoulTech（首尔科学技术大学）；Anyang University（安阳大学）
本文针对韩语 Universal Dependencies 标注框架在句法关系上的争议，提出 K-UD 指南修订，以完善句法依存定义并建立跨框架的语言共识模型。
2024-12-01 cs.CL
On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies
Stanford University（斯坦福大学）
我们研究了如何以无监督的方式掩蔽和预测令牌可以产生语言结构和下游性能增益。最近的理论表明，预训练的语言模型通过隐含地充当下游任务的完形填空缩减的掩码来获得有用的归纳偏差。虽然有吸引力，我们表明，在实践中使用的随机掩蔽策略的成功，不能解释这样的完形填空式的面具。我们使用三个不同分类数据集的特定任务词典构建了类似完形填空的掩码，并表明大多数预训练的性能增益来自与词典无关的通用掩码。为了解释这些通用面具的经验成功，我们证明了掩蔽语言模型（MLM）的目标和现有的方法之间的对应关系，学习统计依赖的图形模型。使用此，我们推导出一种方法，用于提取这些学习的统计依赖MLMs，并表明这些依赖编码有用的归纳偏见的形式的句法结构。在无监督解析评估中，简单地在隐含的统计依赖结构上形成最小生成树优于无监督解析的经典方法（58.74 vs. 55.91 UUAS）。
2021-04-12 cs.AI cs.CL cs.LG
Synonym Detection Using Syntactic Dependency And Neural Embeddings
Shandong Jianzhu University（山东建筑大学）
向量空间模型的最新进展显著改善了一些NLP应用，如神经机器翻译和自然语言生成。虽然上下文中的词共现已被广泛用于基于计数/预测的分布模型，句法依赖在推导分布语义中的作用尚未得到彻底的研究。通过比较不同的向量空间模型在TOEFL同义词检测中的应用，系统地研究了句法依赖在解释分布相似性时的显著性。我们将句法依赖根据其不同的语法角色分成不同的组，然后使用上下文计数来构建相应的原始矩阵和SVD压缩矩阵。此外，使用相同的训练超参数和语料库，我们研究了评估中的典型神经嵌入。我们进一步研究了将人工编译的语义知识注入神经嵌入计算分布相似性的有效性。我们的研究结果表明，句法条件的上下文可以解释词汇语义比无条件的，而改装的神经嵌入与语义知识可以显着提高同义词检测。
2022-09-30 cs.AI cs.CL
Fine-Grained Analysis of Shared Syntactic Mechanisms in Language Models
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Tohoku University（东北大学）
本研究通过细粒度分析探讨语言模型在不同句法结构中是否共享神经机制，发现填词-缺口依赖在早期至中期层有高度局部化的共享机制，而否定极性项目许可则无统一机制。
2026-04-24 cs.CL
Cross-Linguistic Syntactic Evaluation of Word Prediction Models
Johns Hopkins University（约翰斯·霍普金斯大学）
一系列的研究已经得出结论，神经单词预测模型可以高准确度地区分语法和不语法的句子。然而，这些研究主要基于英语的单语证据。为了研究这些模型学习语法的能力如何因语言而异，我们引入了CLAMS（跨语言模型评估），这是一个用于单语言和多语言模型的语法评估套件。CLAMS包括英语，法语，德语，希伯来语和俄语的主谓一致挑战集，从我们开发的语法生成。我们使用CLAMS来评估LSTM语言模型以及单语言和多语言BERT。在不同语言中，单语LSTM在没有吸引子的依赖关系上达到了很高的准确性，而在对象关系子句之间的一致性上的准确性通常很差。在其他结构上，一致性的准确性通常在具有更丰富形态的语言中更高。多语言模型的表现通常不如单语言模型。多语言BERT在英语上表现出很高的句法准确性，但在其他语言上存在明显的不足。
2020-05-21 cs.CL
Expoiting Syntactic Structure for Language Modeling
本文提出了一种语言模型，开发句法结构，并使用它来提取有意义的信息，从单词的历史，从而使使用长距离的依赖关系。该模型将概率分配给单词的每个联合序列--带有中心词注释的二进制解析结构，并以从左到右的方式操作--因此可用于自动语音识别。该模型，它的概率参数化，和一组旨在评估其预测能力的实验，实现了对标准三元模型的改进。
2000-01-25 cs.CL
Multilingual Nonce Dependency Treebanks: Understanding how Language Models represent and process syntactic structure
Heinrich-Heine-Universität Düsseldorf（杜塞尔多夫海因里希·海涅大学）；IBM Research（IBM研究院）；Dalhousie University（达尔豪斯大学）
提出SPUD框架构建五种语言的非ce依存树库，通过困惑度和句法探针实验表明模型性能虽下降但大部分句法能力独立于语义。
2024-06-12 cs.CL
Universal Dependencies for Learner English
CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；EECS & Linguistics MIT（麻省理工学院电气工程与计算机科学系及语言学系）；Linguistics MIT（麻省理工学院语言学系）；EECS MIT（麻省理工学院电气工程与计算机科学系）；MECHE MIT（麻省理工学院机械工程系）
我们介绍了学习者英语树库（TLE），第一个公开可用的句法树库英语作为第二语言（ESL）。TLE为来自剑桥第一英语证书（FCE）语料库的5，124个句子提供手动注释的POS标签和通用依存（UD）树。UD注释与FCE的预先存在的错误注释相关联，从而为每个句子的原始版本和错误校正版本提供完整的句法分析。此外，我们描绘ESL注释准则，允许一致的语法处理不符合语法的英语。最后，我们在TLE数据集上对POS标记和依存句法分析性能进行了基准测试，并测量了语法错误对句法分析准确性的影响。我们设想树库支持广泛的语言学和计算研究第二语言习得以及自动处理不合语法的语言。这个树库可以在universaldependency.org上找到，这个项目中使用的注释手册和一个图形查询引擎可以在esltreebank.org上找到。
2016-06-08 cs.CL
Probing LLMs for Syntactic Structure Beyond Universal Dependencies: A Minimalist Phase Account in English
Dartmouth College（达特茅斯学院）
通过设计UD距离不变的条件，使用结构探针评估LLM在wh-移位刺激上的表现，发现阶段计数梯度和阶段内凝聚性效应，表明分布预训练能诱导出超越UD的形式句法抽象表征。
2026-07-20 cs.CL stat.AP
Do Neural Language Models Show Preferences for Syntactic Formalisms?
Uppsala University（乌普萨拉大学）；University of Oslo（奥斯陆大学）；University of Copenhagen（哥本哈根大学）
最近关于深度神经语言模型的可解释性的研究得出结论，自然语言语法的许多属性都编码在其表示空间中。然而，这样的研究往往受到局限的范围，集中在一个单一的语言和单一的语言形式主义。在这项研究中，我们的目标是调查在何种程度上的语义句法结构捕获的语言模型坚持表面句法或深层句法风格的分析，以及模式是否是一致的，在不同的语言。我们应用一个探测器来提取有向依赖树到在13种不同语言上训练的BERT和ELMo模型，探测两种不同的语法注释风格：通用重复性（UD），优先考虑深层语法关系，和表面语法通用重复性（SUD），专注于表面结构。我们发现，这两种模型都表现出对UD的偏好，而不是SUD -在语言和层之间存在有趣的变化-并且这种偏好的强度与树形状的差异相关。
2020-04-29 cs.CL cs.LG
A computational psycholinguistic evaluation of the syntactic abilities of Galician BERT models at the interface of dependency resolution and training time
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术单一研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文探讨了Transformer模型在加利西亚语中捕捉主语-动词和名词-形容词一致依赖的能力。我们进行了一系列的单词预测实验中，我们操纵的依赖长度与存在的吸引名词，作为一个诱饵。首先，我们评估了现有的单语和多语言模型的整体性能加利西亚。其次，为了观察训练过程的效果，我们比较了两个单语BERT模型在不同训练点的不同成就程度。我们还释放了他们的检查点，并提出了一种替代的评估指标。我们的研究结果证实了以前的研究结果，类似的作品使用协议预测任务，并提供了有趣的见解的训练步骤的数量所需的一个Transformer模型来解决长距离的依赖关系。
2022-06-06 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
The distribution of syntactic dependency distances
本文提出一种双指数区域模型来描述句法依存距离分布，发现该模型在20种语言中普遍适用，断点平均为4-5个词，揭示了语言处理的普遍组块机制。
2025-07-14 cs.CL
Large Language Models Enhanced by Plug and Play Syntactic Knowledge for Aspect-based Sentiment Analysis
University of Washington（华盛顿大学）；University of Science and Technology of China（中国科学技术大学）；China Resources Digital Technology（中国资源数字技术）；People’s Daily Online（人民日报在线）；Sichuan University（四川大学）
针对大语言模型适配方面级情感分析时资源消耗高、微调数据不足的问题，提出可独立训练的即插即用句法记忆模块，融入多类句法知识指导情感极性预测，在基准数据集上性能优于现有方法。
2025-06-15 cs.CL
Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies
The George Washington University（乔治华盛顿大学）；University of Pennsylvania（宾夕法尼亚大学）
我们描述了一种方法，用于开发广泛覆盖的语义依赖分析器的语言，没有语义注释的资源。我们利用一个多任务的学习框架加上注释投影方法。我们通过并行数据将监督语义依赖解析注释从资源丰富的语言转移到资源较少的语言，并在投影数据上训练语义解析器。我们利用监督句法分析作为一个辅助任务的多任务学习框架，并表明，与不同的多任务学习设置，我们一贯提高单任务基线。在英语为源语言，捷克语为目标语言的设置中，我们的最佳多任务模型在域内SemEval数据中将标记的F1分数提高了1.8，超过单任务基线（Oepen et al.，2015年），以及2.5在域外测试集。此外，我们观察到句法和语义依赖方向匹配是改善结果的重要因素。
2020-04-30 cs.CL
Dravidian language family through Universal Dependencies lens
National Research Council, Canada（加拿大国家研究委员会）
针对通用依存关系（UD）项目仅收录两种达罗毗荼语系语言的现状，本文考察该语系部分形态与句法特征，探索其在UD框架中的标注方式，以推动UD的多语言覆盖与多语言NLP发展。
2024-06-20 cs.CL
Enhancing Korean Dependency Parsing with Morphosyntactic Features
The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；Seoul National University（首尔大学）；KAIST（韩国科学技术院）；Anyang University（安阳大学）
本文提出UniDive框架，融合UD与UniMorph以统一韩语形态句法标注，实验证明增强的形态特征能提升依存解析准确性。
2025-03-26 cs.CL
Different types of syntactic agreement recruit the same units within large language models
Massachusetts Institute of Technology（麻省理工学院）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）
研究探讨了不同句法现象在大型语言模型中是否共享或独立激活单元，发现句法一致构成模型表征空间中的重要类别。
2026-04-11 cs.CL
JCoLA: Japanese Corpus of Linguistic Acceptability
The University of Tokyo（东京大学）
本文构建了包含10,020句的日语语言可接受性语料库JCoLA，并评估9种日语语言模型，发现模型在域内数据可超人类但在域外数据不及人类，且在长距离句法依赖上表现较弱。
2023-09-22 cs.CL
A Pilot Study on Dialogue-Level Dependency Parsing for Chinese
Tianjin University（天津大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对汉语对话级依存分析资源与方法不足，本文构建含850段对话、199,803条依存的人工标注语料库，并提出零样本/少样本下基于信号转换与多视图数据选择的基线方法。
2023-06-01 cs.CL
Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences
Stockholm University（斯德哥尔摩大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
不同语言的句法聚合和发散的模式经常被用来为跨语言迁移的工作提供信息。然而，很少有实证工作已经做了量化的流行程度不同的句法差异跨语言对。我们提出了一个框架，从平行语料库中提取任何语言对的分歧模式，建立在通用的一致性。我们表明，我们的框架提供了一个详细的跨语言的分歧，概括以前的方法，并借给自己完全自动化。我们进一步提出了一个新的数据集，一个手动对齐的单词子集的并行UD语料库在五种语言，并使用它来执行详细的语料库研究。我们证明了有用的分析结果表明，它可以帮助帐户的跨语言分析器的性能模式。
2020-07-13 cs.CL
A stronger null hypothesis for crossing dependencies
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
句子的句法结构可以被建模为树，其中顶点是词，边表示词之间的句法依赖关系。众所周知，当画在句子上时，这些边缘通常不会交叉。这里提出了一个新的零假设的边缘交叉的句子的数量。该零假设考虑了可能交叉的边对的长度，并以较小的误差预测了随机树中交叉的相对数量，这表明一般不需要禁止交叉或交叉最小化原则来解释非交叉依赖性的起源。我们的工作为更强大的零假设铺平了道路，以调查自然界中非交叉依赖的起源。
2014-11-28 cs.CL cs.SI physics.soc-ph
CAIT: A Syntactic Parsing Toolkit for Child-Adult InTeractions
Center for Language and Cognition (CLCG), University of Groningen（格罗宁根大学语言与认知中心）；Georgetown University（乔治城大学）；Computational Linguistics, Department of Linguistics, Bielefeld University（比勒菲尔德大学语言学系计算语言学）
本文提出了一种专门针对CHILDES数据的句法解析工具包CAIT，通过训练先进的依赖解析器和标注工具，提升了对儿童-成人互动句法模式的解析精度，适用于语言习得的大规模可重复研究。
2026-07-01 cs.CL
Evaluating Morphological Plausibility of Subword Tokenization via Statistical Alignment with Morpho-Syntactic Features
Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查理大学数学与物理系形式与应用语言学研究所）
本文提出了一种基于形态-句法特征和IBM模型1的指标，用于评估子词分词的形态合理性，适用于更广泛的语言范围。
2026-01-26 cs.CL
Exploring the Syntactic Abilities of RNNs with Multi-task Learning
PSL Research University（巴黎文理研究大学）；Bar Ilan University（巴伊兰大学）；CNRS（法国国家科学研究中心）；EHESS（法国社会科学高等研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
最近的工作已经探索了RNN的句法能力，使用主语-动词一致性任务，诊断对句子结构的敏感性。RNN在常见情况下很好地执行了这项任务，但在复杂句子中却表现不佳（Linzen et al.，2016年）。我们测试这些错误是否是由于固有的限制架构或相对间接的监督提供的大多数协议依赖于语料库。我们训练了一个RNN来执行协议任务和一个额外的任务，无论是CCG超级标记还是语言建模。多任务训练导致出错率显著降低，特别是在复杂句子上，这表明RNN有能力进化出比以前更复杂的句法表示。我们还表明，容易获得的协议训练数据可以提高其他语法任务的性能，特别是当只有有限的训练数据可用于这些任务。多任务范例还可以被利用来将语法知识注入到语言模型中。
2017-06-12 cs.CL
Syntactic Substitutability as Unsupervised Dependency Syntax
Stanford University（斯坦福大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文提出一种与理论无关的新方法，通过在语言模型注意力分布中建模句法可替代性来归纳无监督依存结构，显著提升了长距离主谓一致解析的召回率并展现出跨设置泛化能力。
2023-10-20 cs.CL
GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
跨语言关系和事件提取的最新进展使用具有通用依赖性解析的图卷积网络（GCN）来学习语言无关的句子表示，使得在一种语言上训练的模型可以应用于其他语言。然而，GCN很难对具有长距离依赖关系的单词进行建模，或者在依赖关系树中没有直接连接。为了解决这些挑战，我们建议利用自我注意力机制，我们明确地融合结构信息，学习不同的句法距离的单词之间的依赖关系。本文介绍了一个{ \bf G}转换器{ \bf A} tension { \bf T} transformer { \bf E}ncoder GATE，并在关系和事件抽取任务上测试了它的跨语言可转换性。我们在ACE 05数据集上进行实验，该数据集包括三种类型不同的语言：英语，汉语和阿拉伯语。评估结果表明，GATE优于最近提出的三种方法的大幅度。我们的详细分析表明，由于依赖于语法依赖，GATE产生强大的表示，促进跨语言的传输。
2021-02-17 cs.CL
Cross-Lingual Syntactic Transfer with Limited Resources
Columbia University（哥伦比亚大学）；Google Inc.（谷歌公司）
我们描述了一个简单而有效的方法，跨语言的依赖分析器的句法转换，在大量的翻译数据是不可用的情况下。该方法使用三个步骤：1）用于导出跨语言单词集群的方法，然后可以在多语言解析器中使用; 2）用于将词汇信息从目标语言转移到源语言树库的方法; 3）将这些步骤与Rasooli和Collins（2015）的密度驱动的注释投影方法集成的方法。实验表明，在翻译数据的唯一来源是《圣经》的情况下，与之前工作中使用的几种语言的最新技术相比，有了改进，而《圣经》的语料库比之前工作中使用的Europarl语料库要小得多。使用Europarl语料库作为翻译数据源的结果显示，与Rasooli和Collins（2015）的结果相比，有了进一步的改进。我们的结论与结果38个数据集从通用的知识库。
2017-02-04 cs.CL
Are crossing dependencies really scarce?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universidade da Coruña（拉科鲁尼亚大学）
句子的句法结构可以被建模为树，其中顶点对应于单词，边缘指示句法依赖性。它已反复声称，在真正的句子中的边缘交叉的数量是小的。然而，一直缺乏基线或零假设。在这里，我们量化了真实句子的交叉数量，并将其与一系列基线的预测进行比较。我们的结论是，交叉是真的稀缺，在真正的句子。它们的稀少是出乎意料的树的hubiness。实际上，真实的句子接近于线性树，在线性树中，交叉的潜在数量被最大化。
2017-10-10 cond-mat.stat-mech cs.CL physics.data-an
A Compositional Typed Semantics for Universal Dependencies
针对跨语言句子语义推导难题，本文提出构建于 Universal Dependencies 之上的组合式类型系统 UD Type Calculus，并在大型语料库上验证其可取得与基线相当的效果。
2024-03-02 cs.CL
Robust Probabilistic Predictive Syntactic Processing
本论文提出一个广泛覆盖的机率自顶向下分析器，并将其应用于语音识别的语言模型问题。解析器从左到右遍历字符串，一次就增量地构建完全连接的派生。我们认为，我们所采用的分析方法是动机良好的心理语言学的角度来看，作为一个模型，捕捉词汇项目之间的概率依赖关系，作为建立连接的句法结构的过程的一部分。给出了基本的句法分析器和条件概率模型，并对报纸文本和自发电话会话的句法分析准确性进行了实验研究。概率模型的修改，导致改善的性能。然后定义使用解析器的输出的新的语言模型。困惑和字出错率降低证明了在trigram模型，即使当trigram是在显着更多的数据上训练。使用三元模型在逐词的基础上进行插值会产生额外的改进。
2001-05-09 cs.CL
Low-Resource Syntactic Transfer with Unsupervised Source Reordering
Facebook AI（脸书人工智能研究院）；Columbia University（哥伦比亚大学）
我们描述了一个跨语言迁移方法的依存句法分析，考虑到源和目标语言之间的词序差异的问题。我们的模型只依赖于圣经，一个相当小的并行数据比常用的并行数据传输方法。我们使用圣经语料库中的投影树的连接，以及多个源语言中的黄金标准树库以及跨语言的单词表示。我们证明，重新排序的源树库之前，他们的目标语言的培训，提高了欧洲语系以外的语言的准确性。我们的实验68树库（38种语言）的通用语料库中实现了所有语言的高精度。其中，我们对12种非欧洲语言的16个树库的实验比最先进的方法平均UAS绝对提高了3.3%。
2019-03-13 cs.CL
Building an Endangered Language Resource in the Classroom: Universal Dependencies for Kakataibo
Leibniz-Zentrum Allgemeine Sprachwissenschaft（莱布尼茨普通语言学中心）；University of Edinburgh（爱丁堡大学）
在本文中，我们推出了一个新的通用的濒危语言树库从亚马逊河流域：卡卡泰博，在秘鲁的Panoan语言。我们首先讨论的协作方法实施，这被证明是有效的，以创建一个树库的背景下，计算语言学课程的本科生。然后，我们描述了树库的一般细节和为建议的注释实现的特定于语言的考虑。最后，我们对词性标注和句法依存句法分析进行了实验。我们专注于单语和迁移学习设置，在那里我们研究的Shipibo-Konibo树库，另一个Panoan语言资源的影响。
2022-06-21 cs.CL
Counting trees: A treebank-driven exploration of syntactic variation in speech and writing across languages
University of Ljubljana（卢布尔雅那大学）；Jozef Stefan Institute（约瑟夫·斯特凡研究所）
本文提出基于树库的方法，研究口语和写作中句法结构的差异，发现口语结构较少且多样性低，揭示了模态特定的句法偏好。
2026-02-23 cs.CL
Universal Semantic Parsing
Stanford University（斯坦福大学）；Google Inc.（谷歌公司）；University of Edinburgh（爱丁堡大学）
通用语法（UD）提供了一个统一的跨语言的句法表示，旨在推进多语言应用。最近的工作表明，语义解析可以通过将句法依赖转换为逻辑形式来完成。然而，这项工作仅限于英语，不能处理依赖图，这允许处理复杂的现象，如控制。在这项工作中，我们介绍了UDepLambda，UD的语义接口，映射自然语言的逻辑形式，在一个几乎语言独立的方式，可以处理依赖图。我们对Freebase进行问答实验，并提供WebQuestions和GraphQuestions数据集的德语和西班牙语翻译，以促进多语言评估。结果表明，UDepLambda在语言和数据集上的表现优于强基线。对于英语，它比最先进的GraphQuestions提高了4.9 F1点。我们的代码和数据可以在https://github.com/sivareddyg/udeplambda下载。
2017-08-28 cs.CL
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
传统的NLP长期以来一直认为（监督）句法分析是成功的高级语义语言理解（LU）所必需的。然而，最近出现的端到端神经模型，通过语言建模（LM）进行自我监督，以及它们在广泛的LU任务上的成功，质疑了这种信念。在这项工作中，我们实证研究的有用性监督解析语义LU的LM预训练的Transformer网络的背景下。依靠已建立的微调范例，我们首先耦合一个预训练的Transformer与biaffine解析头，旨在注入显式的语法知识，从通用的语法树库到Transformer。然后，我们微调LU任务的模型，并测量中间解析训练（IPT）对下游LU任务性能的影响。单语英语和zero-shot语言迁移实验（中间目标语言解析）的结果表明，明确的形式化语法，通过IPT注入到Transformers，下游LU性能的影响非常有限和不一致。我们的研究结果，再加上我们的分析Transformers的表示空间之前和之后的中间解析，使一个重要的一步，提供答案的一个基本问题：如何（联合国）availing是监督解析高层次的语义自然语言理解在时代的大型神经模型？
2021-04-28 cs.CL
Cross-Lingual Adaptation Using Universal Dependencies
University of Tehran（德黑兰大学）
我们描述了一个跨语言的适应方法的基础上获得的语法分析树的通用的语法分析（UD），这是一致的跨语言，在低资源的语言开发分类。UD解析的思想是在类型不同的语言之间捕获相似性和特性。在本文中，我们展示了使用UD解析树为复杂的NLP任务训练的模型可以表征非常不同的语言。我们以释义识别和语义关系抽取两个任务为例进行了研究。基于UD解析树，我们使用树内核开发了几个模型，并表明这些模型在英语数据集上训练可以正确分类其他语言的数据，例如法语，波斯语和阿拉伯语。该方法为利用UD解析解决类似的跨语言任务开辟了途径，这对于没有标记数据的语言非常有用。
2020-03-28 cs.CL
Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies
Bar Ilan University（巴伊兰大学）
长短期记忆（LSTM）神经网络在语言处理中的成功通常归因于它们捕获长距离统计信息的能力。语言依赖通常对句法结构很敏感;这种依赖性能被没有显式结构表示的LSTM捕获吗？我们开始解决这个问题，使用英语主语-动词依赖中的数字一致性。我们探索架构的语法能力，使用一个明确的语法目标（数字预测，语法判断）的训练目标，并使用语言模型。在强监督环境中，LSTM实现了非常高的整体准确性（低于1%的错误），但当序列和结构信息冲突时，错误会增加。在语言建模环境中，这种错误的频率急剧上升。我们的结论是，LSTM可以捕捉到一个非平凡的语法结构有针对性的监督，但更强大的架构可能需要进一步减少错误;此外，语言建模信号是不够的捕捉语法敏感的依赖关系，并应补充更直接的监督，如果需要捕捉这种依赖关系。
2016-11-04 cs.CL
The scarcity of crossing dependencies: a direct outcome of a specific constraint?
Universidade da Coruña（拉科鲁尼亚大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
句子的结构可以表示为一个网络，其中顶点是单词，边表示句法依赖关系。有趣的是，交叉句法依赖在人类语言中并不常见。这就引出了一个问题，即语言中交叉点的缺乏是否源于对交叉点的独立和具体的限制。我们提供的统计证据表明，这是不是这样的，作为一个简单的预测器，基于零假设的本地概率，两个依赖性交叉给定其长度的依赖性交叉的句子从广泛的语言的比例可以准确地估计。这个预测器的相对误差平均不会超过5%，而假设句子中单词的随机排序的基线预测器的误差至少要大6倍。我们的研究结果表明，自然语言中交叉频率低既不是源于隐藏的语言知识，也不是由于交叉本身的不可取性，而只是依赖长度最小化原则的副作用。
2017-11-14 cs.CL cs.SI physics.soc-ph
Understanding Syntactic Generalization in Structure-inducing Language Models
Heinrich-Heine-Universität（海因里希·海涅大学）；Dalhousie University（达尔豪斯大学）
本文研究了结构诱导语言模型中的句法泛化问题，通过训练三种不同架构评估其句法表示和性能，发现GPST在长距离依赖性上表现最佳。
2025-12-08 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
