Multilingual Irony Detection with Dependency Syntax and Neural Models
Università degli Studi di Torino（都灵大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Università degli Studi di Cagliari（卡利亚里大学）；Université de Toulouse（图卢兹大学）
本文研究多语言反讽检测，探索基于依存句法特征与经典分类器、词嵌入及多语言BERT结合，证明细粒度依存句法信息有效。
2020-11-11 cs.CL
Formal Constraints on Dependency Syntax
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
研究依赖语法树结构的约束条件，以更准确描述语言现象，提高解析效率并理解语言演变。
2026-04-06 cs.CL
Deps-SAN: Neural Machine Translation with Dependency-Scaled Self-Attention Network
Zhejiang University（浙江大学）；Guangdong University of Technology（广东工业大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；South China Normal University（华南师范大学）；University College London（伦敦大学学院）
人工智能知识在神经机器翻译（NMT）任务中发挥了重要作用。早期的NMT工作假设句法细节可以通过注意网络从大量文本中自动学习。然而，随后的研究指出，由于注意力计算的不可控性，NMT模型需要一个外部的句法来捕捉深层的句法意识。虽然现有的语法感知NMT方法在组合语法方面取得了巨大的成果，但它们引入的额外工作量使模型变得繁重和缓慢。特别是，这些努力几乎没有涉及基于transformer的NMT和修改其核心自我注意网络（SAN）。为此，我们提出了一个无参数，依赖缩放的自注意力网络（Deps-SAN）的语法感知的基于转换器的NMT。通过构造一个量化的语义依赖矩阵，对语义网络施加明确的句法约束，以学习句法细节，消除注意力分布的分散性。进一步整合了两种知识稀疏技术，以避免模型过度拟合外部解析器引入的依赖噪声。在IWSLT 14德英和WMT 16德英基准NMT任务上的实验和分析验证了该方法的有效性。
2022-10-04 cs.CL
Do Syntax Trees Help Pre-trained Transformers Extract Information?
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；School of Computer Science, McGill University（麦吉尔大学计算机学院）；Stanford University（斯坦福大学）
最近的许多工作表明，从依赖树中合并语法信息可以改进特定于任务的Transformer模型。然而，将依赖性树信息并入到预先训练的Transformer模型（例如，BERT）仍然不清楚，特别是考虑到最近的研究强调了这些模型如何隐式编码语法。在这项工作中，我们系统地研究了将依赖树预训练的Transformers上的三个代表性的信息抽取任务：语义角色标注（SRL），命名实体识别，和关系抽取的效用。我们提出并研究了两种不同的策略，将依赖结构：后期融合的方法，它适用于一个图神经网络的输出的Transformer，和一个联合融合的方法，注入语法结构到Transformer注意层。这些策略是以前的工作的代表，但我们引入额外的模型设计元素，获得更好的性能是必要的。我们的实证分析表明，这些注入语法的Transformers在SRL和关系抽取任务上获得了最先进的结果。然而，我们的分析也揭示了这些模型的一个关键缺点：我们发现它们的性能增益高度依赖于人类注释的依赖解析的可用性，这就提出了关于语法增强Transformers在现实应用中的可行性的重要问题。
2021-01-27 cs.CL
Syntactic Substitutability as Unsupervised Dependency Syntax
Stanford University（斯坦福大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文提出一种与理论无关的新方法，通过在语言模型注意力分布中建模句法可替代性来归纳无监督依存结构，显著提升了长距离主谓一致解析的召回率并展现出跨设置泛化能力。
2023-10-20 cs.CL
Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs
Johns Hopkins University（约翰斯·霍普金斯大学）
基于序列的神经网络对句法结构表现出显著的敏感性，但它们在句法任务上的表现仍然不如基于树的网络。这样的基于树的网络可以被提供有选区解析、依赖性解析或两者。我们评估这两个代表性的计划更有效地介绍了偏见的句法结构，提高性能的主谓一致预测任务。我们发现，一个基于成分的网络比一个基于依赖关系的网络更强大的概括，并结合这两种类型的结构不会产生进一步的改善。最后，我们表明，顺序模型的语法鲁棒性可以大大提高微调少量的构建数据，这表明数据增强是一个可行的替代显式选区结构给予顺序模型缺乏的语法偏见。
2020-04-30 cs.CL
Syntax-aware Neural Semantic Role Labeling with Supertags
University of Washington（华盛顿大学）；Google（谷歌）；Yale University（耶鲁大学）；Elemental Cognition, LLP（元素认知有限责任合伙公司）
我们引入了一个新的语法感知模型依赖的语义角色标注，优于英语和西班牙语的语法不可知模型。我们使用BiLSTM来标记文本，其中包含从依赖解析中提取的超级标记，并将这些超级标记与单词和词性一起输入到深度高速公路BiLSTM中，以进行语义角色标注。我们的模型结合了早期模型的优势，执行SRL的基础上，一个完整的依赖关系解析与最近的模型，使用没有语法信息。我们的本地和非集成模型在CoNLL 09英语和西班牙语数据集上实现了最先进的性能。SRL模型受益于语法信息，我们表明，supertagging是一个简单的，强大的，强大的方式将语法纳入神经SRL系统。
2019-04-03 cs.CL
Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion
The University of Tokyo（东京大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）；LeapMind Inc.（LeapMind公司）
将更强的句法偏差引入神经语言模型（LM）是一个长期的目标，但这一领域的研究通常集中在建模英语文本上，其中成分树库是现成的。将基于成分树的LM扩展到依赖树库更常见的多语言设置，可以通过依赖到选区的转换方法。然而，这就提出了一个问题：哪种树格式最适合学习模型，以及哪种语言。我们通过使用各种转换方法训练递归神经网络语法（RNNG）来研究这个问题，并在多语言环境中对其进行经验评估。我们通过七种类型的语法测试，研究了九种转换方法和五种语言对LM性能的影响。平均而言，我们最好的模型的性能比所有语言中最差的选择在准确性上提高了19%。我们最好的模型显示了顺序/overparameterized LM的优势，这表明在多语言环境中的语法注入的积极影响。我们的实验强调了选择正确的树形式主义的重要性，并提供了做出明智决策的见解。
2022-04-19 cs.CL
A Simple and Accurate Syntax-Agnostic Neural Model for Dependency-based Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；Yandex；University of Edinburgh（爱丁堡大学）
我们介绍了一个简单而准确的神经模型依赖为基础的语义角色标注。我们的模型预测依赖于双向LSTM编码器状态的谓词参数依赖性。即使在没有任何句法信息和只使用局部推理的情况下，语义角色标注器在英语上也取得了有竞争力的性能。然而，当自动预测的词性标签作为输入时，它大大优于所有以前的本地模型，并接近英语CoNLL-2009数据集上的最佳报告结果。我们还考虑了中文、捷克语和西班牙语，我们的方法也取得了有竞争力的结果。语法解析器在域外数据上是不可靠的，所以标准（即，在这种设置下测试时，SRL模型受到阻碍。我们的语法不可知模型看起来更健壮，在标准的域外测试集上得到了最好的报告结果。
2017-06-15 cs.AI cs.CL
A Fusion Approach of Dependency Syntax and Sentiment Polarity for Feature Label Extraction in Commodity Reviews
Shanghai University of Engineering Science（上海工程技术大学）
本文针对商品评论，提出融合依存句法与情感极性的特征标签提取方法，解决了现有算法鲁棒性低的问题，在JD.com数据集上取得准确率0.7、召回率与F值0.8的有效结果。
2024-12-20 cs.AI cs.CL
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Carnegie Mellon University（卡内基梅隆大学）
方面级情感分类旨在识别给定上下文句子的方面所表达的情感。以前的基于神经网络的方法在很大程度上忽略了一个句子中的句法结构。在本文中，我们提出了一种新的目标依赖图注意力网络（TD-GAT）的方面级别的情感分类，明确利用词之间的依赖关系。使用依赖图，它直接从方面目标的语法上下文传播情感特征。在我们的实验中，我们证明了我们的方法优于GloVe嵌入的多个基线。我们还证明，使用BERT表示进一步大幅提高性能。
2019-09-05 cs.CL
Motifs de graphe pour le calcul de dépendances syntaxiques complètes
INRIA Nancy-Grand Est（法国国家信息与自动化研究所南锡-大东部分部）；LORIA（洛林计算机科学及其应用实验室）；Nancy-Université（南锡大学）
本文描述了一种从短语结构解析过程开始构建语法依赖关系的方法。目标是获得详细语义分析所需的所有信息。分析中使用了交互文法，其核心是极性饱和度可以映射为依赖关系。形式上，图模式用于表达控制依赖关系创建的约束集。
2010-11-18 cs.CL
Parsing All: Syntax and Semantics, Dependencies and Spans
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；Key Laboratory of Shanghai Education Commission for Intelligent Interactionand Cognitive Engineering, Shanghai Jiao Tong University（上海市教育委员会智能交互与认知工程重点实验室（上海交通大学））；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（教育部人工智能重点实验室（上海交通大学人工智能研究院））
句法结构和语义结构都是重要的语言语境线索，而句法结构的分析比语义结构的分析更有优势。然而，很少有研究试图让语义解析帮助句法分析。句法和语义作为语言表征的形式主义，可以用跨度（成分/短语）或依存关系来表示，而这两种形式的联合学习也很少被探索。在本文中，我们提出了一种新的联合模型的句法和语义解析的跨度和依赖表示，有效地将句法信息的编码器中的神经网络和受益于两个表示形式主义以统一的方式。实验表明，语义和语法可以通过优化联合目标而相互受益。我们的单一模型实现了新的国家的最先进的或有竞争力的结果上的跨度和依赖语义解析Propbank基准和依赖和成分的句法分析上Penn Treebank。
2020-10-06 cs.CL cs.LG
CSynGEC: Incorporating Constituent-based Syntax for Grammatical Error Correction with a Tailored GEC-Oriented Parser
Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
最近，Zhang等人（2022）提出了一种语法感知的语法错误纠正（GEC）方法，称为SynGEC，表明将输入句子的定制的基于依赖性的语法合并到GEC中是非常有益的。这项工作考虑了另一种主流语法形式主义，即，基于成分的语法。通过借鉴SynGEC的成功经验，我们首先提出了一个扩展的基于成分的句法计划，以适应错误的语法句子。然后以并行GEC数据为支点，自动获取语法错误句子的选区树，训练面向GEC的选区分析器。对于语法编码，我们采用图卷积网络（GCN）。实验结果表明，我们的方法，命名为CSynGEC，产生了很大的改善强基线。此外，我们研究了GEC的基于成分和基于依赖性的语法的集成：1）模型内组合，这意味着使用单独的GCN来编码两种语法以在单个模型中解码; 2）模型间组合，这意味着收集和选择由不同模型预测的编辑以实现最终校正。我们发现，前一种方法提高了召回率，而后者提高了精度，并导致更好的F0.5值。
2022-11-15 cs.CL
Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing
University of Charleston（查尔斯顿大学）
本研究提出动态句法映射（DSM），一种利用句法可替换性生成不变句子进行无监督句法解析的新方法，在长距离主谓一致任务上显著优于先前方法，并展现出广泛适用性。
2023-12-18 cs.CL
Syntax-Informed Interactive Model for Comprehensive Aspect-Based Sentiment Analysis
University of Charleston（查尔斯顿大学）
针对ABSA中句法结构建模不足的问题，提出SDEMTIA，通过SDEIN利用依存关系与类型，并结合多任务消息传递及BERT辅助特征，在基准数据集上显著优于现有方法。
2023-11-28 cs.CL
BiSyn-GAT+: Bi-Syntax Aware Graph Attention Network for Aspect-based Sentiment Analysis
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Naval University of Engineering（海军工程大学）
基于方面的情感分析（ABSA）是一种细粒度的情感分析任务，其目的是将方面和相应的情感对齐以进行特定于方面的情感极性推断。这是具有挑战性的，因为一个句子可能包含多个方面或复杂的（例如，条件、并列或转折）关系。近年来，利用图神经网络来挖掘依存句法信息已成为一种流行趋势。尽管其成功，但是严重依赖于依赖关系树的方法在准确地对方面及其指示情感的词的对齐进行建模方面提出了挑战，因为依赖关系树可能提供不相关关联的噪声信号（例如，图2中“伟大”和“可怕”之间的“conj”关系）。在本文中，为了缓解这个问题，我们提出了一个双感知图注意力网络（BiSyn-GAT+）。具体地，BiSyn-GAT+充分利用语法信息（例如，短语分割和分层结构）来对每个方面的感知情感的上下文（称为内部上下文）和跨方面的情感关系（称为内部上下文）进行建模以用于学习。在四个基准数据集上的实验表明，BiSyn-GAT+的性能始终优于最先进的方法。
2022-07-15 cs.AI cs.CL
Source Dependency-Aware Transformer with Supervised Self-Attention
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
最近，Transformer在许多机器翻译任务上实现了最先进的性能。然而，在编码器中没有明确考虑语法知识的情况下，违反语法结构的不正确的上下文信息可能被集成到源隐藏状态中，从而导致错误的翻译。在本文中，我们提出了一种新的方法，将源依赖到Transformer。具体来说，我们采用源依赖树，并定义了两个矩阵来表示依赖关系。在此基础上，对多头自注意模块中的两个头进行有监督的训练，并在训练目标函数中引入两个额外的交叉熵损失。在此训练目标下，模型被训练成直接学习源依赖关系。在推理过程中不需要预解析的输入，我们的模型可以使用依赖感知的上下文信息生成更好的翻译。在汉英、英日和英德双向翻译任务上的实验表明，该方法能显著提高Transformer的基线。
2019-09-05 cs.CL
Dependency resolution and semantic mining using Tree Adjoining Grammars for Tamil Language
树邻接语法（TAG）提供了一个充分的工具来捕捉许多印度语言的语法。泰米尔语对计算形式主义提出了特殊的挑战，因为它具有广泛的粘着形态学和相对困难的论点结构。使用TAG建模泰米尔语语法和形态学是一个有趣的问题，尽管TAG已经有40多年的历史了，但这个问题一直没有得到关注。我们对泰米尔语TAG的研究表明，我们不仅可以表示语言的语法，而且在一定程度上可以通过句子的依赖关系解析来挖掘语义。但是为了证明这种现象属性，我们需要使用我们构建的TAG来解析泰米尔语句子，并通过解析获得我们可以用来解决依赖关系的派生，从而证明语义属性。我们使用内部开发的伪词汇TAG图解析器; Schabes和Joshi（1988）给出的算法，用于生成句子的派生。我们不使用任何统计数据来排除模糊的派生，而是使用所有这些来理解泰米尔语标签中提到的语义关系。为了使讨论更完整，我们还将给出一个简短的解析器分析。
2017-04-19 cs.CL
Syntactic Dependency Representations in Neural Relation Classification
University of Oslo（奥斯陆大学）；Department of Informatics（信息学系）
我们调查使用不同的句法依赖表示在神经关系分类任务，并比较CoNLL，斯坦福大学的基本和通用的重复方案。我们进一步比较了语法不可知的方法，并进行错误分析，以获得更好的理解的结果。
2018-05-28 cs.CL
Graph Convolutions over Constituent Trees for Syntax-Aware Semantic Role Labeling
Amazon（亚马逊）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
语义角色标注（SRL）的任务是识别谓词和标注具有语义角色的论元跨度。尽管大多数语义角色形式主义都是建立在成分语法上的，并且只有语法成分可以被标记为参数（例如，FrameNet和PropBank），所有最近关于语法感知的SRL的工作都依赖于语法的依赖表示。相反，我们展示了如何图卷积网络（GCN）可以用来编码组成结构，并通知SRL系统。我们SpanGCN中的节点对应于成分。计算分三个阶段进行。首先，初始节点表示是通过“合成”组成部分中第一个和最后一个单词的单词表示来产生的。其次，依赖于组成树的图卷积被执行，从而产生语法上知情的组成表示。最后，组成表示被“分解”回单词表示，反过来又被用作SRL分类器的输入。我们评估SpanGCN对替代品，包括依赖树使用GCN的模型，并显示其有效性标准CoNLL-2005，CoNLL-2012，和FrameNet基准。
2020-11-21 cs.CL cs.LG
Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional Networks and Syntax-based Regulation
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；VinAI Research（越南人工智能研究院）
基于语义的情感分析（ABSA）试图预测句子对特定方面的情感极性。最近，已经证明依赖树可以集成到深度学习模型中，以产生ABSA的最先进性能。然而，这些模型倾向于计算隐藏/表示向量而不考虑方面项，并且无法从可以从ABSA的依赖关系树获得的单词的整体上下文重要性得分中受益。在这项工作中，我们提出了一种新的基于图的深度学习模型，以克服这两个问题的ABSA先前的工作。在我们的模型中，门向量生成的方面条款的表示向量定制的隐藏向量的基于图的模型向方面条款。此外，我们提出了一种机制，以获得的依赖树的基础上，然后注入到模型中，以提高ABSA的表示向量的句子中的每个单词的重要性分数。该模型在三个基准数据集上实现了最先进的性能。
2020-10-26 cs.CL
Assessment of Pre-Trained Models Across Languages and Grammars
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
本文通过将解析转化为序列标注，在13个UD树库和10个成分树库上评估多语言大语言模型恢复依存与成分结构的能力，发现预训练数据中语言的出现比任务数据量更关键。
2023-09-20 cs.CL
Language Model Decomposition: Quantifying the Dependency and Correlation of Language Models
Supportiv Inc（Supportiv公司）
预先训练的语言模型（LM），诸如BERT（Devlin等人，2018年）及其变体，在过去几年中导致了各种NLP任务的显着改进。然而，研究它们之间关系的理论框架仍然缺失。在本文中，我们通过研究预训练的LM之间的线性相关性来填补这一空白。线性矩阵的线性相关性类似于向量的线性相关性。我们提出了语言模型分解（LMD）表示LM使用的线性组合的其他LM作为基础，并推导出封闭形式的解决方案。定义了一个类似于决定系数的LMD拟合优度度量，并用于测量一组LM的线性依赖性。在实验中，我们发现，BERT和十一（11）BERT类LM是91%的线性相关。这一观察结果表明，目前最先进的（SOTA）LM是高度“相关”的。为了进一步推进SOTA，我们需要更多样化和新颖的LM，这些LM对现有LM的依赖性更小。
2022-10-21 cs.AI cs.CL cs.LG
Exploiting Rich Syntax for Better Knowledge Base Question Answering
Soochow University（苏州大学）；Tencent（腾讯）
最近的研究表明，知识库问答（KBQA）通过更好地理解问题，在这一任务上取得了很大的进展。以往的编码问题的研究主要集中在单词序列上，而很少考虑句法树的信息。首先，我们通过考虑关键字之间的最短依赖路径来编码基于路径的语法。然后，我们提出了两种编码策略来对整个句法树的信息进行建模，以获得基于树的句法。最后，我们结合了基于路径和基于树的语法表示KBQA。我们在一个广泛使用的基准数据集上进行了大量的实验，实验结果表明，我们的语法感知系统可以充分利用不同设置中的语法信息，并实现最先进的KBQA性能。
2021-07-16 cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Fixed Suffix Dependency Ratio: Quantifying the Dual-Track Mechanism of Gender Assignment in Latvian Loanwords
Riga Technical University（里加工业大学）；Vidzeme University of Applied Sciences Scientific Institute（维泽梅应用科学大学科学研究所）
本研究提出固定后缀依赖率（FSDR），量化拉脱维亚语借词中性属指派的双轨机制，发现阴性借词更依赖固定后缀、阳性借词更偏向自由选择，为语言接触中阳性默认的激活提供了量化框架。
2026-10-30 cs.CL
Exploiting Cross-Dialectal Gold Syntax for Low-Resource Historical Languages: Towards a Generic Parser for Pre-Modern Slavic
University of Oxford（牛津大学）
本文探讨了通过训练来自不同相关品种的数据来提高前现代斯拉夫语专用解析器性能的可能性。由于其语言的异质性，前现代斯拉夫语的品种被视为低资源的历史语言，从而跨方言树库数据可以被利用，以克服数据稀缺性，并尝试训练的品种不可知的解析器。以前的实验早期斯拉夫语依存句法分析进行了讨论，特别是关于他们的能力，以解决不同的正字法，区域和文体特征。使用jPTDP（Nguyen & Verspoor 2018）训练了一个通用的前现代斯拉夫语解析器和两个专门的解析器-一个用于东斯拉夫语，一个用于南斯拉夫语-这是一种用于联合词性（POS）标记和依存句法分析的神经网络模型，它在许多通用依存关系（UD）树库上显示出有希望的结果，包括旧教会斯拉夫语（OCS）。通过这些实验，获得了OCS（83.79%的未标记依恋得分（UAS）和78.43%的标记依恋得分（LAS））和Old East Slavic（85.7%UAS和80.16%LAS）的最新技术水平。
2020-11-12 cs.CL
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa
Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）
基于方面的情感分析（ABSA）是情感分析领域中的一个细粒度任务，其目的是预测方面的极性。以往的工作表明，句法信息，如依赖树，可以有效地提高ABSA的性能。最近，预训练模型（PTM）也在ABSA上显示了其有效性。因此，问题自然出现了PTMs是否包含足够的语法信息ABSA，使我们可以得到一个很好的ABSA模型只基于PTMs。在本文中，我们首先比较了从PTM和依存句法分析树的ABSA任务的几个流行的模型，从微调Roberta（FT-Roberta）的诱导树优于解析器提供的树。进一步的分析实验表明，FT-RoBERTa诱导树更倾向于情感词，有利于ABSA任务的完成。实验还表明，纯RoberTa为基础的模型可以优于或接近以前的SOTA性能在六个数据集，四种语言，因为它隐含地纳入了面向任务的句法信息。
2021-04-11 cs.CL
Extracting and Learning a Dependency-Enhanced Type Lexicon for Dutch
Utrecht University（乌得勒支大学）
本论文关注的是类型逻辑语法及其作为句子句法和语义推理工具的实用性。重点是缩小到荷兰语，表现出很大程度的词序变化的语言。为了克服由于这种可变性而产生的困难，本文探索并扩展了基于乘法直觉线性逻辑的类型语法，不可知的词序，但丰富的装饰，旨在减少其证明理论的复杂性。然后实现了一种将依赖性注释的句子转换为类型序列的算法，用具体的数据驱动的词法类型填充类型逻辑。两个实验上运行的语法实例化。第一个是关于神经结构的类型分配过程的可学习性。一个新的应用程序的自我关注的序列转导模型的建议，相反，既定的做法，它构造类型归纳内化的类型形成语法，从而表现出超出了预先指定的类型词汇的概括性。第二个围绕着一个演绎分析系统，可以解决结构歧义咨询字和类型的信息，初步结果表明，优秀的计算效率和性能。
2019-09-10 cs.CL
Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）
现有的中文文本错误检测主要集中在拼写和简单的语法错误。这些错误已被广泛研究，对人类来说相对简单。相反，汉语的语义错误研究不足，而且更加复杂，人类不容易识别。本文的任务是汉语语义错误识别（CSER），一个二元分类任务，以确定一个句子是否包含语义错误。目前的研究还没有有效的方法来解决这个问题。本文继承了BERT的模型结构，设计了多个与句法相关的预训练任务，使模型能够学习句法知识。我们的预训练任务考虑依赖结构的方向性和依赖关系的多样性。由于目前尚缺乏针对CSER的公开数据集，本文首次建立了一个高质量的CSER数据集--汉语语义可接受性语料库（Corpus of Chinese Linguistic Semantic Acceptability，CoCLSA）。在CoCLSA上的实验结果表明，我们的方法优于通用的预训练模型和语法注入模型。
2022-04-15 cs.AI cs.CL
Stack-propagation: Improved Representation Learning for Syntax
MIT（麻省理工学院）；Google Inc（谷歌公司）
传统的语法模型通常通过从手动调整的模板构建特征来利用词性（POS）信息。我们证明了一个更好的方法是利用POS标签作为学习表征的正则化。我们提出了一种简单的方法来学习一个堆叠的管道模型，我们称之为“堆栈传播”。我们将其应用于依存句法分析和标记，其中我们使用标记器网络的隐藏层作为解析器的输入标记的表示。在测试时，我们的解析器不需要预测的POS标记。在来自通用语言库的19种语言上，我们的方法比最先进的基于图形的方法准确1.3%（绝对），比最具可比性的贪婪模型准确2.7%。
2016-06-08 cs.CL
Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings
Charles University in Prague（布拉格查理大学）
我们提出了一个自然语言生成器的序列到序列的方法，可以训练产生自然语言字符串，以及从输入对话行为的深层语法依赖树的基础上，我们用它来直接比较两步生成单独的句子规划和表面实现阶段的联合，一步的方法。我们能够使用非常少的训练数据成功地训练这两个设置。联合设置提供了更好的性能，在基于n-gram的分数方面超过了最先进的水平，同时提供了更相关的输出。
2016-06-17 cs.CL
Deep RNNs Encode Soft Hierarchical Syntax
University of Washington（华盛顿大学）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）
我们提出了一组实验来证明深度递归神经网络（RNN）学习内部表示，这些表示从高度变化的监督中捕获语法的软层次概念。我们在解析树的不同深度考虑四个语法任务;对于每个单词，我们预测它的词性以及第一个（父），第二个（父），（祖父母）和第三级（曾祖父母）出现在其上方的成分标签。这些预测是根据网络中不同深度产生的表示进行的，这些网络是用四个目标之一进行预训练的：依存句法分析、语义角色标注、机器翻译或语言建模。在每一种情况下，我们发现网络深度和句法深度之间的对应关系，这表明出现了软句法层次结构。这种效果在所有条件下都是鲁棒的，这表明即使在没有明确的句法训练监督的情况下，模型也能编码大量的句法。
2018-05-11 cs.CL
The Linear Arrangement Library. A new tool for research on syntactic dependency structures
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
数量依赖性的新的和不断增长的领域已经出现在依赖性和数量语言学之间的十字路口。句法依存结构的统计模式是这一领域的主要关注点之一。这些结构，在树库中分组，是这些和相关领域的统计分析的来源;多年来设计的数十个分数是一个新行业的工具，用于搜索模式和执行其他类型的分析。过多的此类指标及其日益增加的复杂性要求共享用于执行此类分析的程序的源代码。然而，这些代码并不经常与科学界共享，或者按照未知的标准进行测试。在这里，我们提出了一个新的开源工具，线性排列库（LAL），它迎合了需求，特别是没有经验的程序员。该工具能够在单个语法依赖结构、树库和树库集合上计算这些度量，以易于使用为基础，但具有很大的灵活性。LAL被设计为高效，易于使用（同时满足各级编程专业知识的需求），可靠（由于彻底的测试），并结合来自不同传统，地理区域和研究领域的研究。
2021-12-05 cs.CL cs.DM
Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
递归神经网络（RNN）及其最近提出的扩展递归长短期记忆网络（RLSTM）是通过根据外部提供的解析树递归地组合词嵌入来计算句子表示的模型。因此，与循环网络不同的是，这两种模型都明确地利用了句子的层次结构。在本文中，我们证明了RNN仍然遭受消失梯度和长距离依赖问题，并且RLSTM在这些问题上大大改善了RNN。我们提出了一个人工学习任务，使我们能够量化这两个模型的这些问题的严重性。我们进一步表明，梯度的比率（在根结点和焦点叶节点）是高度指示的反向传播在优化树中的相关权重低的成功。因此，本文提供了一个解释，如情感分析任务的RLSTM现有的，优越的结果，并建议，包括层次结构和包括LSTM风格的门控的好处是互补的。
2016-03-01 cs.AI cs.CL cs.NE
Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations
Tianjin University（天津大学）；Soochow University（苏州大学）
在神经机器翻译（NMT）中，神经网络翻译被证明是非常有效的。先前的NMT模型通过表示来自良好训练的解析系统的1-最佳树输出来集成语法，例如，代表性的Tree-RNN和Tree-Linearization方法，可能会受到错误传播的影响。在这项工作中，我们提出了一种新的方法来集成源端语法隐式NMT。其基本思想是使用经过良好训练的端到端依赖解析器的中间隐藏表示，这被称为语法感知单词表示（SAWR）。然后，我们简单地将这样的SAWR与普通的词嵌入连接起来，以增强基本的NMT模型。该方法可以直接集成到广泛使用的序列到序列（Seq 2Seq）NMT模型中。我们从一个具有代表性的基于RNN的Seq 2Seq基线系统开始，分别在汉英和英越翻译任务的两个基准数据集上测试了我们提出的方法的有效性。实验结果表明，与基线相比，该方法能够显著提高两个数据集的BLEU评分，汉英翻译为1.74分，英越翻译为0.80分。此外，该方法还优于显式Tree-RNN和Tree-Linearization方法。
2019-05-08 cs.CL
Technical notes: Syntax-aware Representation Learning With Pointer Networks
这是一份正在进行的报告，旨在分享一种新的序列到序列模式的初步结果，该模式用于依赖于BiLSTM和两个指针网络的组合的依存句法分析（Vinyals et al.，2015），其中最终的softmax函数已被逻辑回归取代。这两个指针网络合作开发潜在的句法知识，通过学习的词汇属性的“选择”和“可选择性”，分别。目前，在没有微调的情况下，解析器实现在英语Penn-treebank上获得了93.14%的UAS（Marcus et al.，1993年）与斯坦福大学的解释：2-3%的SOTA下，但仍然有吸引力的基线的方法。
2019-03-17 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们提出了一个简单而有效的方法，将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络（GCN），这是最近开发的一类神经网络，用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示（即编码器的隐藏状态）。GCN将单词表示作为输入并产生单词表示作为输出，因此它们可以容易地作为层并入标准编码器（例如，在双向RNN或卷积神经网络之上）。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器，并观察到实质性的改进，在所有考虑的设置，其语法不可知的版本。
2020-06-18 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Harbin Institute of Technology（哈尔滨工业大学）；Westlake Institute for Advanced Study（西湖高等研究院）
目标情感分类预测输入文本中给定目标提及的情感极性。主要的方法采用神经网络对输入的句子进行编码，并提取目标提及与其上下文之间的关系。最近，图神经网络已经被研究用于集成任务的依赖语法，实现了最先进的结果。然而，现有的方法不考虑依赖性标签信息，这可能是直观有用的。为了解决这个问题，我们研究了一种新的关系图注意力网络，它集成了类型化的句法依赖信息。标准基准测试的结果表明，我们的方法可以有效地利用标签信息，以提高有针对性的情感分类性能。我们的最终模型显著优于最先进的基于语法的方法。
2020-12-17 cs.CL
Mastering the Explicit Opinion-role Interaction: Syntax-aided Neural Transition System for Unified Opinion Role Labeling
Wuhan University（武汉大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
统一意见角色标注（ORL）的目的是检测所有可能的意见结构的“意见持有者目标”在一个镜头，给定的文本。现有的基于转换的统一方法，不幸的是，是受较长的意见条款，并未能解决术语重叠的问题。目前的最高性能已经实现了采用基于跨度的图模型，但仍然受到高模型复杂性和意见和角色之间的互动不足。在这项工作中，我们研究了一种新的解决方案，通过重新访问的过渡架构，并增加了一个指针网络（PointNet）。该框架以线性时间复杂度解析出所有的意见结构，同时突破了PointNet对任意词长的限制。为了实现明确的意见-角色的互动，我们进一步提出了一个统一的依赖意见图（UDOG），共同建模的句法依赖结构和部分意见-角色结构。然后，我们设计了一个以关系为中心的图聚合器（RCGA）编码的多关系UDOG，其中产生的高阶表示用于促进香草过渡系统中的预测。我们的模型在MPQA基准测试中取得了新的最先进的结果。分析进一步证明了我们的方法在有效性和效率上的优越性。
2021-12-13 cs.CL
Incorporating Constituent Syntax for Coreference Resolution
The University of Melbourne（墨尔本大学）
无论是在传统的基于统计的机器学习系统中，还是在最近提出的神经模型中，都已经证明了将长距离依赖关系和语法树捕获的结构化信息结合起来，可以使共指消解受益。然而，大多数主流系统只使用依赖树。我们认为，成分树也编码重要的信息，如明确的跨边界信号捕获嵌套的多词短语，额外的语言标签和层次结构，用于检测回指。在这项工作中，我们提出了一个简单而有效的基于图的方法，将成分句法结构。此外，我们还探索利用高阶邻域信息来编码组成树中的丰富结构。因此，提出了一种新的消息传播机制，使语法树中的元素之间的信息流。在OntoNotes 5.0基准测试的英文和中文部分上的实验表明，我们提出的模型要么击败了一个强大的基线，要么达到了新的最先进的性能。(Code可在https：//github.com/Fantabulous-J/Coref-Constituent-Graph上获得）
2022-02-22 cs.CL
Syntax-based Deep Matching of Short Texts
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Centre for Next Generation Localisation, Dublin City University（都柏林城市大学下一代本地化中心）
自然语言处理中的许多任务，从机器翻译到问答，可以简化为匹配两个句子或更一般地匹配两个短文本的问题。我们提出了一种新的方法来解决这个问题，称为深度匹配树（DeepMatch $_{tree}$），在一般的设置。该方法由两个部分组成，1）挖掘算法，用于发现在依赖树的乘积空间中定义的用于匹配两个短文本的模式，以及2）深度神经网络，用于使用挖掘的模式来匹配短文本，以及学习算法，用于构建具有稀疏结构的网络。我们在社交媒体中匹配推文和响应的问题上测试我们的算法，这是在[Wang et al.，2013]，并表明DeepMatch $_{tree}$可以优于许多竞争对手的模型，包括一个不使用依赖树的模型和一个基于词嵌入的模型，所有这些模型都具有很大的利润率
2015-06-12 cs.CL cs.LG cs.NE
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们检查了三种源语言的Transformer NMT编码器中的多头自注意，寻找可能具有语法解释的模式。在许多注意中心语中，我们经常发现关注同一位置的连续状态序列，这类似于句法短语。我们提出了一个透明的确定性的方法，量化的句法信息量存在于自我注意力，基于自动构建和评估短语结构树的短语序列。我们将得到的树与现有的选区树库进行比较，手动和计算精度和召回。
2019-06-05 cs.CL cs.LG
SynGEC: Syntax-Enhanced Grammatical Error Correction with a Tailored GEC-Oriented Parser
Soochow University（苏州大学）
这项工作提出了一种语法增强的语法错误纠正（GEC）的方法命名为SynGEC，有效地将依赖语法信息到GEC模型的编码器部分。这个想法的关键挑战是，现成的解析器在处理不合语法的句子时是不可靠的。为了应对这一挑战，我们建议建立一个量身定制的面向GEC的解析器（GOPar）使用并行GEC训练数据作为支点。首先，我们设计了一个扩展的语法表示方案，使我们能够表示语法错误和语法在一个统一的树结构。然后，我们通过投影目标正确句子的分析树来获得源错误句子的分析树。最后，我们用这样的投影树训练GOPar。对于GEC，我们采用图卷积网络来编码GOPar产生的源端语法信息，并将它们与Transformer编码器的输出融合。在主流英文和中文GEC数据集上的实验表明，我们提出的SynGEC方法一致且大幅优于强基线，并取得了有竞争力的性能。我们的代码和数据都可以在https://github.com/HillZhang1999/SynGEC上公开获取。
2022-10-22 cs.CL
Quality of syntactic implication of RL-based sentence summarization
LORIA（洛林计算机科学及其应用实验室）；CNRS-LORIA（法国国家科学研究中心-洛林计算机科学及其应用实验室）
摘要方面的工作已经探索了使用ROUGE作为奖励的强化学习（RL）优化和语法感知模型，例如那些输入富含词性（POS）标签和依赖信息的模型。然而，目前尚不清楚这些方法在标准ROUGE评估指标之外的各自影响。特别是基于RL的摘要技术越来越受到人们的欢迎。在本文中，我们提供了一个详细的比较，这两种方法和它们的组合沿几个维度，涉及到感知质量的生成摘要：重复的单词的数量，分布的词性标签，句子长度的影响，相关性和语法。使用标准的Gigaword句子摘要任务，我们比较了RL自我批判序列训练（SCST）方法与利用POS标签和Dependency信息的语法感知模型。我们表明，在所有定性评估中，组合模型给出了最好的结果，但仅使用RL和没有任何语法信息的训练已经给出了几乎与语法感知模型一样好的结果，具有更少的参数和更快的训练收敛。
2019-12-11 cs.CL
Learning Better Sentence Representation with Syntax Information
University of Science and Technology of China（中国科学技术大学）
句子语义理解是自然语言处理领域的一个重要课题。最近，从预先训练的语言模型，如ELMO和BERT的上下文单词表示已经显示出显着的改善，为广泛的语义任务，例如问答，文本分类和情感分析。然而，如何添加外部知识以进一步提高模型的语义建模能力是值得探讨的问题。在本文中，我们提出了一种新的方法来结合语法信息与预训练的语言模型。为了评估预训练模型的效果，首先介绍了基于RNN和基于Transformer的预训练语言模型;其次，为了更好地整合外部知识，如句法信息与预训练模型的整合，提出了依存句法扩展（DSE）模型。为了评价，我们选择了两个子任务：句子完成任务和生物关系抽取任务。实验结果表明，在句子完成任务上，该模型达到了91.2%的准确率，比基线模型高出37.8%.在关系抽取任务上，$F_{1}$ $F_{1}$得分为75.1%，具有一定的竞争力。
2021-01-09 cs.CL
Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
提出 SynG2G-Tr，通过将句法图关系嵌入直接注入 Transformer 自注意力来编码句法，并在多类 SRL 数据集及域内外设置中取得优于以往方法的结果。
2023-06-02 cs.CL
Top-down string-to-dependency Neural Machine Translation
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Nara Women’s University（奈良女子大学）
本文提出一种自顶向下生成目标语言依存树的解码器，提升了长输入翻译性能，优于传统序列到序列解码。
2026-03-30 cs.CL
Integrating Dependency Tree Into Self-attention for Sentence Representation
Chongqing University（重庆大学）；The University of Queensland（昆士兰大学）
用于句子表示学习的解析树编码器的最新进展是显著的。然而，这些工作主要是对树结构进行递归编码，不利于并行化。另一方面，这些工作很少考虑依赖树中弧的标签。为了解决这两个问题，我们提出了依赖转换器，它适用于关系注意力机制，与自我注意力机制。该机制的目的是编码的依赖关系和节点之间的空间位置关系的依存关系树的句子。通过一种基于分数的方法，我们成功地注入了语法信息，而不影响Transformer的并行性。我们的模型优于或相当于国家的最先进的方法在四个任务的句子表示，并具有明显的优势，在计算效率。
2022-05-07 cs.CL cs.LG
Unbiased and Efficient Sampling of Dependency Trees
DeepMind（深度思维）
依赖语法的大多数计算模型都是由生成树上的分布组成的。然而，大多数依赖树库要求每个有效的依赖树都有一条从根结点出来的边，这是一个不属于生成树定义的约束。由于这个原因，所有标准的生成树的推理算法是次优的依赖树的推理。Zmigrod等人（2021 b）提出了从包含单根约束的依赖树分布中进行有替换和无替换采样的算法。在本文中，我们表明，他们的最快的算法，更换采样，威尔逊RC，实际上是产生有偏的样本，我们提供了两个替代品是无偏的。此外，我们提出了两个算法（一个增量，一个并行），减少了算法的渐近运行时间为O（kn3）的采样k树没有替换。这些算法都是渐近的，实际上更有效。
2022-11-28 cs.CL cs.DS
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出依存Transformer文法（DTGs），通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中，实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
