Cross-Lingual Dependency Parsing with Late Decoding for Truly Low-Resource Languages
University of Amsterdam(阿姆斯特丹大学);University of Copenhagen(哥本哈根大学)
在跨语言依赖标注投影中,由于早期解码,信息在传输过程中经常丢失。我们提出了一个端到端的基于图的神经网络依赖解析器,可以训练它来重现边缘分数矩阵,这些分数可以直接投影到单词对齐上。我们表明,我们的方法跨语言的依存句法分析不仅是简单的,而且还实现了2.25%的绝对改善平均跨10种语言相比,以前的状态。
2017-01-06 cs.CL
DT-grams: Structured Dependency Grammar Stylometry for Cross-Language Authorship Attribution
Universität Innsbruck(因斯布鲁克大学)
跨语言的作者归属问题依赖于翻译,使使用单一语言的功能,或语言无关的特征提取方法。直到最近,缺乏数据集的这个问题阻碍了后者的发展,和单一语言的解决方案进行机器翻译语料库。在本文中,我们提出了一种新的独立于语言的功能,作者分析依赖图和通用部分的语音标签的基础上,被称为DT-gram(依赖树图),这是通过选择特定的子部分的依赖图的句子。我们通过对双语作者的未翻译数据集进行跨语言作者归属来评估DT-gram,结果表明,平均而言,它们在五种不同语言对中的宏观平均F1得分比以前的方法高出0.081。此外,通过提供不同特征集的结果进行比较,我们为以前未翻译的跨语言作者归属任务提供了一个基线。
2021-06-10 cs.CL
Dependency-based Hybrid Trees for Semantic Parsing
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出了一种新的基于依赖关系的混合树模型用于语义解析,它将自然语言话语转换为机器可解释的语义表示。与以前的最先进的模型不同,语义信息被解释为在我们的联合表示中的自然语言单词之间的潜在依赖关系。这样的依赖信息可以捕获语义和自然语言词之间的交互。我们将神经元组件集成到我们的模型中,并提出了一个有效的动态编程算法来执行易处理的推理。通过对八种语言的标准多语言GeoQuery数据集进行广泛的实验,我们证明了我们所提出的方法能够在多种语言中实现最先进的性能。分析还证明了使用我们的新的依赖性为基础的表示的有效性。
2018-09-01 cs.CL
On the relation between dependency distance, crossing dependencies, and parsing. Comment on "Dependency distance: a new perspective on syntactic patterns in natural languages" by Haitao Liu et al
Universidade da Coruña(拉科鲁尼亚大学)
Liu et al.(2017)全面介绍了人类语言中依赖距离的研究。虽然这篇文章是关于这个复杂主题的非常丰富和有用的报告,但在这里我将扩展计算语言学(特别是自然语言处理)研究可以告知DDM研究的一些具体问题,反之亦然。这些方面在Liu等人的文章或其他地方没有进行太多的探索,可能是由于两个研究团体之间的重叠很少,但它们可能会为提高我们对人类语言进化的理解提供有趣的见解,大脑处理和理解语言的机制,以及构建有效的计算机系统来实现这一目标。
2017-06-03 cs.CL
Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages
University of Southern California(南加州大学);University of California Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
跨语言迁移学习已经成为解决低资源语言注释资源不足问题的重要武器。跨语言传输的基本技术之一是学习\emph{language-agnostic}表示,其形式为词嵌入或上下文编码。在这项工作中,我们建议利用辅助语言中未注释的句子来帮助学习与语言无关的表示。具体来说,我们探索了学习上下文编码器的对抗性训练,这些编码器产生跨语言的不变表示,以促进跨语言迁移。我们进行跨语言依存句法分析,我们训练依赖分析器上的源语言和转移到广泛的目标语言的实验。在28种目标语言上的实验表明,对抗性训练显著提高了几种不同设置下的整体迁移性能。我们进行了仔细的分析,以评估对抗训练产生的语言不可知论表示。
2019-09-20 cs.CL
Data Augmentation via Dependency Tree Morphing for Low-Resource Languages
Technische Universität Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学)
神经NLP系统在存在相当大的训练数据集的情况下获得高分。缺乏这样的数据集导致系统性能差的情况下,低资源的语言。我们提出了两个简单的文本增强技术,依赖树,灵感来自图像处理。我们通过删除依赖链接来裁剪句子,通过围绕根移动树片段来旋转句子。我们将这些技术应用于通用学习项目中的低资源语言的训练集。我们实现了一个字符级的序列标注模型,并在词性标注任务上对增强后的数据集进行了评估。我们表明,裁剪和旋转为大多数语言提供了非增强数据训练模型的改进,特别是对于具有丰富大小写标记系统的语言。
2019-03-22 cs.CL
GiLT: Augmenting Transformer Language Models with Dependency Graphs
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(智能视觉与成像上海工程研究中心)
GiLT通过依赖图增强Transformer语言模型,提升语法泛化能力,同时保持竞争力的困惑度,且能通过微调提升下游任务表现。
2026-05-15 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们提出了一个基于转换的依赖分析器,使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进,特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上,我们的系统优于之前最好的贪婪解析器(Ballesteros等人,2015年,平均增长3%。
2017-05-30 cs.CL
Target Language-Aware Constrained Inference for Cross-lingual Dependency Parsing
University of California, Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学)
以前的跨语言依存句法分析的工作往往侧重于捕捉源语言和目标语言之间的共性,而忽略了利用语言的语言特性来促进迁移的潜力。在本文中,我们表明,弱监督的语言知识的目标语言,可以大大提高跨语言的基于图的依赖分析器。具体来说,我们探讨了几种类型的语料库语言统计数据,并将它们编译成语料库的约束,以指导在测试期间的推理过程。我们采用两种技术,拉格朗日松弛和后验正则化,进行推断与语料库统计约束。实验结果表明,拉格朗日松弛和后验正则化推理分别提高了15和17个目标语言的性能。这些改进对于具有与源语言不同的词序特征的目标语言尤其重要。
2019-09-03 cs.CL
Substructure Distribution Projection for Zero-Shot Cross-Lingual Dependency Parsing
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出了子结构分布投影(SubDP),一种技术,项目的分布结构在一个域到另一个域,分别通过投影子结构分布。然后可以使用投影分布作为软银标签来训练目标域的模型。我们评估SubDP的zero-shot跨语言依存句法分析,依赖弧作为子结构:我们预测的依赖弧分布在源语言(S)的目标语言(S),和训练一个目标语言解析器,以适应产生的分布。当英语树库是涉及人类努力的唯一注释时,SubDP实现了比Universal Advertisements v2.2的所有先前工作更好的未标记附件分数(Nivre等人,2020)测试集在八种不同的目标语言,以及最好的标记附件分数的六个八种语言。此外,SubDP改进了zero-shot跨语言依存句法分析,50)监督的双文本对,跨更广泛的目标语言。
2021-10-16 cs.CL
BKTreebank: Building a Vietnamese Dependency Treebank
Hanoi University of Science and Technology(河内理工大学)
departmenttreebank是任何语言的重要资源。在本文中,我们提出了我们的工作,建立BKTreebank,依存关系树库越南。重点设计的POS标签集,依赖关系和注释准则进行了讨论。我们描述了在树库上进行的词性标注和依存句法分析的实验。实验结果表明,该树库是越南语处理的一个有用资源。
2018-02-21 cs.CL
The influence of Chunking on Dependency Crossing and Distance
Zhejiang University(浙江大学);Anhui Jianzhu University(安徽建筑大学);Ningbo Institute of Technology, Zhejiang University(浙江大学宁波理工学院)
本文假设组块在减少依存距离和依存交叉中起重要作用。与自然语言相比,计算机模拟表明,组块将线性节点序列(受连续性或投影性约束)的平均依赖距离(MDD)降低到自然语言的MDD。更有趣的是,单独使用组块也会减少依赖交叉,尽管未能减少依赖交叉,但在人类语言中非常罕见。这些结果表明,组块可能发挥了至关重要的作用,在最小化的依赖距离,并在一定程度上有助于依赖交叉的稀有性的作用。此外,研究结果表明,依赖交叉的罕见性并不仅仅是依赖距离最小化的副作用,而是一种有其自身动机的语言现象。
2015-09-03 cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University(哈佛大学);Raytheon BBN Technologies(雷神BBN技术公司)
提取事件和时间表达式之间的时间关系具有许多应用,例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题,它需要句子或话语级别的句法和语义信息,这些信息可以由诸如BERT(Devlin等人,2019年)。在本文中,我们开发了几种基于BERT的时态依赖解析器的变体,并证明了BERT显着改进了时态依存句法分析(Zhang和Xue,2018 a)。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
Error Analysis for Vietnamese Dependency Parsing
Department of Information Science;Engineering University of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email;Faculty of Computer Science\ of Information Technology\ National University -- Ho Chi Minh City, Vietnam Email
在自然语言处理的不同应用中,都需要进行依存句法分析。在本文中,我们提出了一个彻底的错误分析依存句法分析的越南语,使用两个国家的最先进的解析器:MSTParser和MaltParser。错误分析的结果为进一步提高越南语依存句法分析的性能提供了参考。
2019-11-09 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur(印度理工学院坎普尔分校);University of Cambridge(剑桥大学);University of Utah(犹他大学);Tata Consultancy Services(塔塔咨询服务公司);IIT Kharagpur(印度理工学院卡拉格普尔分校)
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中,我们专注于依存句法分析的形态丰富的语言(MRL)在低资源设置。虽然形态信息是必不可少的依存句法分析任务,形态消歧和缺乏强大的分析器提出了挑战,以获得这些信息的MRL。为了应对这些挑战,我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验,以测量我们提出的预训练方法的有效性,并观察到2点(UAS)和3.6点(LAS)的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
BeLLM: Backward Dependency Enhanced Large Language Model for Sentence Embeddings
The Hong Kong Polytechnic University(香港理工大学)
提出BeLLM模型,通过将特定注意力层从单向转为双向来增强自回归LLM的向后依赖,从而提升句子嵌入的语义相似度测量性能,并在多个STS任务和下游应用中达到最先进水平。
2024-03-14 cs.CL
Dependency length minimization: Puzzles and Promises
Zhejiang University(浙江大学);Anhui Jianzhu University(安徽建筑大学);Ningbo Institute of Technology, Zhejiang University(浙江大学宁波理工学院)
在最近一期的PNAS中,Futrell等人声称他们对37种语言的研究首次给出了依赖长度最小化的大规模跨语言证据,这是一种夸大,忽略了以前类似的研究。此外,该研究似乎没有注意到诸如体裁的一致性等因素,这削弱了DLM具有普遍性的论点的有效性。另一个问题是,这项研究将基线随机语言设置为投射,这未能真正揭示自然语言和随机语言之间的差异,因为投射性是许多自然语言的重要特征。最后,文章认为,尽管缺乏明确的统计比较,但“中心语词尾和依存长度之间存在明显的关系”,这使得这一结论相当仓促和不恰当。
2015-09-15 cs.CL
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen(格罗宁根大学)
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而,跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题,我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器,同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器,UDBACK,优于强大的单语和多语言的基线上的大多数高资源和低资源(zero-shot)的语言,显示出成功的建议的适应方法。我们的深入分析表明,通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
ChatGPT is a Potential Zero-Shot Dependency Parser
Beijing University of Posts and Telecommunications(北京邮电大学);East China Normal University(华东师范大学)
本文探索了ChatGPT等大型语言模型在零样本场景下的依存句法分析能力,实验表明其具备作为零样本依存句法分析器的潜力,且解析输出具有独特的语言学偏好。
2023-10-25 cs.CL
Minimal Dependency Translation: a Framework for Computer-Assisted Translation for Under-Resourced Languages
Indiana University(印第安纳大学)
本文介绍了最小依赖翻译(MDT),一个正在进行的项目,以开发一个基于规则的框架,创建基本的双语词汇语法的机器翻译和计算机辅助翻译成和出资源不足的语言,以及对英语到阿姆哈拉语翻译实施MDT的初步步骤。MDT中的基本单位称为组,是以多项序列为标题的。除了词形之外,组还可能包含词素、句法语义类别和语法特征。每个组与一个或多个翻译相关联,每个翻译是目标语言的组。在翻译过程中,使用约束满足来为输入句子选择一组源语言组,并对相关联的目标语言组中的单词进行排序。
2017-10-02 cs.CL
Systematic Investigation of Strategies Tailored for Low-Resource Settings for Low-Resource Dependency Parsing
IIT Kanpur(印度理工学院坎普尔分校);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
在这项工作中,我们专注于低资源的依存句法分析的多种语言。有几项战略是专门为提高低资源情况下的业绩而制定的。虽然这些都是众所周知的社区,这是不平凡的选择这些策略的最佳组合,我们感兴趣的低资源的语言,并没有太多的注意力已经给予衡量这些策略的有效性。我们在7种通用依赖(UD)低资源语言上试验了5种低资源策略。我们对这些语言的详尽实验支持对预训练模型中未涵盖的语言进行有效改进。我们展示了一个成功的应用程序的集成系统上一个真正的低资源语言梵语。代码和数据可在https://github.com/Jivnesh/SanDP上获得
2023-01-29 cs.CL
Cross-Lingual Dependency Parsing for Closely Related Languages - Helsinki's Submission to VarDial 2017
University of Helsinki(赫尔辛基大学)
本文介绍了赫尔辛基大学在VarDial 2017上提交的跨语言依存句法分析共享任务。我们目前的工作,注释投影和树库翻译,在测试集中的所有三个目标语言的良好效果。特别是,斯洛伐克语似乎与来自捷克树库的信息配合得很好,这与相关工作是一致的。跨语言模型的依恋得分甚至超过了在目标语言树库上训练的完全监督模型。克罗地亚语是测试集中最难的语言,在基线上的改进相当温和。挪威语对来自瑞典语的信息处理得最好,而丹麦语的贡献却出奇的少。
2017-08-18 cs.CL
Zero-shot Dependency Parsing with Pre-trained Multilingual Sentence Representations
Amazon Alexa AI(亚马逊Alexa AI);University of Groningen(格罗宁根大学)
我们调查是否现成的深双向句子表示训练的大规模多语言语料库(多语言BERT),使无监督的通用依赖分析器的发展。这种方法只利用多种语言的单语语料库的混合,不需要任何翻译数据,使其适用于低资源语言。在我们的实验中,我们在使用单个系统的同时,在共享任务的所有六种真正低资源语言中,都优于最好的CoNLL 2018语言特定系统。然而,我们也发现,(i)分析准确率仍然变化显着时,改变训练语言和(ii)在一些目标语言zero-shot转移失败的所有测试条件下,提出了对整个方法的“通用性”的关注。
2019-10-12 cs.CL
I3rab: A New Arabic Dependency Treebank Based on Arabic Grammatical Theory
Princess Sumaya University for Technology(普林塞萨·苏马亚科技大学);Hashemite University(哈希姆特大学)
树库是一种非常有价值的语言资源,它除了包含词性标记和形态特征外,还包含了语言句子的句法结构。它们主要用于建模统计分析器。尽管统计自然语言解析器最近对于诸如英语的语言变得更准确,但是对于阿拉伯语的那些解析器仍然具有低准确性。本文的目的是在传统的阿拉伯语语法理论的基础上,结合阿拉伯语的特点,构建一个新的阿拉伯语依存关系树库,研究其对统计分析器准确性的影响。建议的阿拉伯语依赖树库,称为I3rab,对比现有的阿拉伯语依赖树库在两个主要概念。第一个概念是确定句子的主要词的方法,第二个概念是连接代词和隐蔽代词的表示。为了评估I3rab,我们将其性能与布拉格阿拉伯语DepartmentTreebank的一个子集进行了比较,该子集具有可比的细节水平。进行的实验表明,在UAS和LAS中的百分比改善达到7.5%和18.8%。
2020-07-11 cs.CL
Cross-lingual Transfer Learning for Javanese Dependency Parsing
Universitas Indonesia(印度尼西亚大学)
针对爪哇语标注数据不足的问题,本文基于Universal Dependencies比较TL与HTL,发现引入中间语言的HTL可使UAS和LAS较基线均提升10%。
2024-01-22 cs.CL
Parameter sharing between dependency parsers for related languages
Uppsala University(乌普萨拉大学);University of Copenhagen(哥本哈根大学)
以前的工作表明,相关语言的基于转换的神经依赖解析器之间的参数共享可以带来更好的性能,但对于共享什么参数没有共识。我们提出了一个评估的27个不同的参数共享策略在10种语言,代表五对相关的语言,每对来自不同的语言家族。我们发现,共享转换分类器参数总是有帮助的,而共享单词和/或字符LSTM参数的有用性各不相同。基于这一结果,我们提出了一个架构,其中的过渡分类器是共享的,和共享的字和字符参数控制的参数,可以调整验证数据。该模型是语言动机,并获得了显着的改进,单语训练的基线。我们还发现,共享转换分类器参数有助于在不相关的语言对上训练解析器,但我们发现,在不相关的语言的情况下,共享太多的参数没有帮助。
2018-10-04 cs.CL
Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion
The University of Tokyo(东京大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心);LeapMind Inc.(LeapMind公司)
将更强的句法偏差引入神经语言模型(LM)是一个长期的目标,但这一领域的研究通常集中在建模英语文本上,其中成分树库是现成的。将基于成分树的LM扩展到依赖树库更常见的多语言设置,可以通过依赖到选区的转换方法。然而,这就提出了一个问题:哪种树格式最适合学习模型,以及哪种语言。我们通过使用各种转换方法训练递归神经网络语法(RNNG)来研究这个问题,并在多语言环境中对其进行经验评估。我们通过七种类型的语法测试,研究了九种转换方法和五种语言对LM性能的影响。平均而言,我们最好的模型的性能比所有语言中最差的选择在准确性上提高了19%。我们最好的模型显示了顺序/overparameterized LM的优势,这表明在多语言环境中的语法注入的积极影响。我们的实验强调了选择正确的树形式主义的重要性,并提供了做出明智决策的见解。
2022-04-19 cs.CL
Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality
University of Oxford(牛津大学)
本文提出统计学习理论,认为NLM将已学依存结构作为新分布单元,通过合成语法实验证明模型能学习复合结构的上下文分布,且依存关系学习先于上下文特征,为组合性提供解释。
2026-09-29 cs.CL
Second language Korean Universal Dependency treebank v1.2: Focus on data augmentation and annotation scheme refinement
University of Oregon(俄勒冈大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究扩充并优化第二语言韩语UD树库,基于该树库微调韩语语言模型,验证了适配性L2数据集对提升二语形态句法分析模型性能的重要作用。
2025-03-18 cs.CL
Response to Liu, Xu, and Liang (2015) and Ferrer-i-Cancho and Gómez-Rodríguez (2015) on Dependency Length Minimization
我们解决最近的批评(刘等人,2015年; Ferrer-i-Cancho和Gómez-Rodríguez,2015年)我们对跨语言依赖长度最小化的经验证据的工作(Futrell等人,2015)。首先,我们承认错误,没有承认刘(2008)的20种语言的语料库具有类似的目标之前的工作。更正将出现在PNAS中。尽管如此,我们认为,我们的工作提供了新的,强有力的证据依赖长度最小化作为一个普遍的定量属性的语言,超越了以前的工作,因为它提供了基线,专注于词序偏好。其次,我们认为我们对基线的选择是适当的,因为它们控制了替代理论。
2015-10-01 cs.CL
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出依存Transformer文法(DTGs),通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中,实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
Sort by Structure: Language Model Ranking as Dependency Probing
IT University of Copenhagen(哥本哈根信息技术大学);LMU Munich(慕尼黑大学)
对预训练的语言模型(LM)做出明智的选择对于性能至关重要,但环境代价高昂,因此广泛探索不足。计算机视觉领域已经开始解决编码器排名问题,并有望进军自然语言处理,但它们缺乏对结构化预测等语言任务的覆盖。我们建议探测排名LM,特别是在一个给定的语言解析依赖关系,通过测量标记树的程度是可恢复的LM的上下文嵌入。在46个类型和架构上不同的LM语言对中,我们的探测方法预测了79%的最佳LM选择,使用的数量级比训练一个完整的解析器少。在这项研究中,我们确定和分析一个最近提出的解耦LM - RemBERT -,并发现它惊人地包含较少的固有依赖信息,但往往会产生最好的解析器后,充分微调。如果没有这个离群值,我们的方法在89%的情况下确定了最佳LM。
2022-06-10 cs.CL
Benchmarking zero-shot and few-shot approaches for tokenization, tagging, and dependency parsing of Tagalog text
Electrical and Electronics Engineering Institute(电气与电子工程学院);University of the Philippines(菲律宾大学)
任何书面语言中文本的语法分析通常涉及许多基本处理任务,例如标记化、形态标记和依存句法分析。对于具有大型数据集的语言,最先进的系统可以在这些任务上实现高准确性,但对于具有很少或没有注释数据的语言,结果很差。为了解决这个问题的TagSword语言,我们研究使用替代语言资源创建特定于任务的模型,在没有依赖性注释的TagSword数据。我们还探讨了使用词嵌入和数据增强,以提高性能时,只有少量的注释TagSign数据可用。我们表明,这些zero-shot和Few-Shot的方法产生了显着的改进,语法分析的域和域外的标签文本相比,国家的最先进的监督基线。
2023-01-06 cs.CL
CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
IIT Kharagpur(印度克哈格普大学);IIT Dharwad(印度达尔瓦德大学);Independent Researcher(独立研究者)
本文针对词序相对自由且形态丰富的低资源语言,提出对比自监督学习方法CSSL,通过数据增强和移除位置编码等修改增强图式依存句法分析模型对词序变化的鲁棒性,在7种语言上UAS/LAS平均提升3.03/2.95点。
2025-07-19 cs.CL
Universal Dependency Treebank for Odia Language
Silo AI;University of Lille(里尔大学);Institute of Mathematics and Applications(数学与应用研究所);KIIT University(KIIT大学);Ravenshaw University(雷文肖大学)
本文介绍了第一个公开可用的树库Odia,形态丰富的低资源的印度语言。树库包含大约。1082个单词(100个句子)从“Samantar”中选出,这是印度语言最大的平行语料库。所有选择的句子都是按照“通用依赖性(UD)”准则手动注释的。Odia树库的形态学分析使用机器学习技术进行。Odia注释树库将丰富Odia语言资源,并将有助于建立跨语言学习和类型学研究的语言技术工具。我们还使用机器学习方法构建了一个初步的Odia解析器。解析器的正确率分别为:标记化86.6%,UPOS 64.1%,XPOS 63.78%,UAS 42.04%,LAS 21.34%。最后,本文简要讨论了Odia UD树库的语言分析。
2022-05-24 cs.CL
Towards a theory of word order. Comment on "Dependency distance: a new perspective on syntactic patterns in natural language" by Haitao Liu et al
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
刘海涛等“依存距离:自然语言句法模式的新视角“述评
2017-06-15 cs.CL physics.soc-ph
Fill it up: Exploiting partial dependency annotations in a minimum spanning tree parser
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
依存句法分析的无监督模型通常需要大量干净的、未标记的数据以及黄金标准的词性标记。添加间接监督(例如语言共性和规则)可以有所帮助,但我们表明,获得少量的直接监督-在这里,部分依赖注释-提供了一个强大的零和完全监督之间的平衡。我们适应无监督的ConvexMST依赖解析器学习部分依赖表示的图形片段语言。与不到24小时的总注释,我们获得了7%和17%的绝对改善,在未标记的依赖分数为英语和西班牙语,分别相比,相同的解析器,只使用通用语法约束。
2016-11-26 cs.CL
Zero-Shot Dependency Parsing with Worst-Case Aware Automated Curriculum Learning
University of Copenhagen(哥本哈根大学);Uppsala University(乌普萨拉大学);KU Leuven(鲁汶大学);National University of Defense Technology(国防科技大学)
大型多语言预训练语言模型,如mBERT和XLM-RoBERTa,被发现对于句法分析模型的跨语言迁移非常有效(Wu and Dredze 2019),但仅限于相关语言之间。然而,当解析真正的低资源语言时,源语言和训练语言很少相关。为了弥补这一差距,我们采用了一种多任务学习的方法,该方法依赖于自动化课程学习,以动态优化离群语言的解析性能。我们表明,这种方法是显着优于均匀和大小比例抽样的zero-shot设置。
2022-03-16 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Cross-lingual Universal Dependency Parsing Only from One Monolingual Treebank
Shanghai Jiao Tong University(上海交通大学)
句法分析是一个高度语言处理的任务,其分析器需要从昂贵的人工注释中训练树库。由于不太可能为每种人类语言获得树库,因此在这项工作中,我们提出了一个有效的跨语言UD解析框架,用于将解析器从一个源单语树库转移到任何其他目标语言,而无需树库。为了在不同的语言之间达到满意的分析精度,我们将两个语言建模任务作为多任务引入到依存句法分析中。假设只有来自目标语言的未标记数据和源树库可以一起利用,我们采用了一种自我训练策略,以进一步提高我们的多任务框架的性能。我们提出的跨语言解析器实现英语,中文,和22 UD树库。实证研究表明,我们的跨语言分析器产生的所有目标语言,第一次有希望的结果,接近分析器的性能,这是在自己的目标树库训练。
2021-04-23 cs.CL
How Much Does Corpus Choice Change Dependency-Distance Estimates?
该研究对比Universal Dependencies v2.18的38组同语言树库对,发现树库选择会显著影响依存距离估计的跨语言排序,仅依存长度最小化的定性规律稳定存在。
2026-09-07 cs.CL
An efficiency dependency parser using hybrid approach for tamil language
National Engineering College(国立工程学院)
自然语言处理是一个非常活跃的研究领域。句法分析是语言分析系统的重要工具之一,其目的是预测句子中词与词之间的结构关系。许多研究人员已经开发了很多语言工具,但准确性还没有达到人类的期望水平,因此研究仍然存在。机器翻译是自然语言处理的主要应用领域之一。在一种语言到另一种语言的翻译中,句子的结构识别起着关键的作用。本文介绍了一种混合方法来解决句子中给定词之间的关系识别问题。在现有的系统是使用基于规则的方法,这是不适合在巨大的数据量。机器学习方法适合于处理大量的数据,也可以通过学习和训练系统来获得更好的准确性。该方法以泰米尔语句子作为输入,并产生一个依赖关系的结果作为一个树状结构,使用混合的方法。该工具对研究人员非常有帮助,并有望提高现有方法的质量。
2014-03-21 cs.CL
Robust Cross-lingual Hypernymy Detection using Dependency Context
University of Maryland(马里兰大学);University of Pennsylvania(宾夕法尼亚大学)
跨语言上位词检测涉及确定一种语言中的词(“fruit”)是否是另一种语言中的词(“pomme”,即法语中的apple)的上位词。跨语言的上位词检测能力可以帮助解决跨语言版本的任务,如文本蕴涵和事件共指。我们提出了BISPARSE-DEP,一个家庭的跨语言上位词检测的无监督方法,学习稀疏,双语词嵌入依赖上下文的基础上。我们表明,BISPARSE-DEP可以显着提高性能,在这项任务上,仅基于词汇上下文的方法相比。我们的方法也很健壮,在低资源设置中表现出了希望:我们基于依赖关系的嵌入可以使用在相关语言上训练的解析器来学习,性能损失可以忽略不计。我们还为这项任务提供了一个具有挑战性的数据集,涉及四种语言-俄语,法语,阿拉伯语和中文。我们的嵌入和数据集是公开的。
2018-03-30 cs.CL
A systematic comparison of methods for low-resource dependency parsing on genuinely low-resource languages
University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
解析器只适用于世界上少数几种语言,因为它们需要大量的训练数据。仅仅使用少量的训练数据,我们能走多远?我们系统地比较了一组简单的策略,以改善低资源解析器:数据增强,这还没有被测试过;跨语言的培训;和音译。通过对三种类型多样的低资源语言--北萨米语、加利西亚语和哈萨克语--的实验,我们发现:(1)当只有低资源树库可用时,数据增强非常有用;(2)当相关的高资源树库可用时,跨语言训练是有用的,并且补充了数据增强;(3)当高资源树库使用不同的书写系统时,音译到共享的正字法空间中也是非常有帮助的。
2019-09-06 cs.CL
Probing for Labeled Dependency Trees
IT University of Copenhagen(哥本哈根信息技术大学)
探测已成为自然语言处理中分析表示的重要工具。对于诸如依存句法分析之类的图形化NLP任务,线性探测目前仅限于提取不捕获完整任务的无向或无标记解析树。这项工作介绍DepProbe,一个线性探针,可以提取标记和定向依赖分析树的嵌入,同时使用更少的参数和计算比以前的方法。利用它的全任务覆盖和轻量级参数化,我们研究了它的预测能力,选择最好的传输语言训练一个完整的双仿射注意力分析器。在13种语言中,我们提出的方法在94%的时间内识别出最佳源树库,优于竞争对手的基线和先前的工作。最后,我们分析了上下文嵌入中任务特定子空间的信息量以及完整解析器的非线性参数化提供的好处。
2022-03-24 cs.CL
Semi-Supervised Methods for Out-of-Domain Dependency Parsing
The University of Birmingham(伯明翰大学)
依存句法分析是自然语言处理的重要任务之一,它为文本分配句法树。由于依赖语料库的广泛可用性以及解析和机器学习技术的改进,基于监督学习的系统的解析准确性已经得到显著提高。然而,由于监督学习的性质,这些句法分析系统高度依赖于人工标注的训练语料库。它们在域内数据上工作得相当好,但在域外文本上测试时,性能显着下降。为了弥补域内和域外之间的性能差距,本文研究了三种用于域外依存句法分析的半监督技术,即协同训练、自训练和依存语言模型。我们的方法使用容易获得的未标记的数据,以提高域外解析的准确性,而不需要昂贵的语料库注释。在多个英文领域和多语种数据上的测试结果表明,该算法在句法分析准确率上有很好的提高。总的来说,这项工作进行了调查的半监督方法域外依存句法分析,在那里我扩展和比较了一些重要的半监督方法在一个统一的框架。这些技术之间的比较表明,自训练的作品同样以及合作训练域外解析,而依赖语言模型可以提高域内外的准确性。
2018-10-04 cs.CL
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性(POS)标记,命名实体识别(NER)和依存句法分析。在越南基准数据集上的实验表明,PhoNLP产生了最先进的结果,优于单任务学习方法,该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT(Nguyen和Nguyen,2020)。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP,但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言,这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库,可用于POS标记,NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包,不仅适用于越南语,也适用于其他语言。我们的PhoNLP可从以下网址获得:https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
RNNs as psycholinguistic subjects: Syntactic state and grammatical dependency
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学);Primate Research Institute, Kyoto University(京都大学灵长类研究所);MIT(麻省理工学院)
递归神经网络(RNN)是自然语言序列建模的最新技术。然而,它仍然知之甚少的语法特性的自然语言,他们隐含地学习和表示作为优化语言建模目标的结果。在这里,我们部署了受控心理语言学实验的方法,以阐明RNN行为在多大程度上反映了增量句法状态和语法依赖表示,这些都是人类语言行为的特征。我们广泛测试了两个公开的长短期记忆(LSTM)英语序列模型,并学习和测试了一个新的日语LSTM。我们证明,这些模型表示和维护增量语法状态,但他们并不总是以同样的方式概括人类。此外,我们的模型没有学习适当的语法依赖配置许可反身代词或负极性项目。
2018-09-05 cs.CL
Explainable Multimodal Aspect-Based Sentiment Analysis with Dependency-guided Large Language Model
Harbin Institute of Technology(哈尔滨工程大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);University of Science and Technology of China(中国科学技术大学)
本文提出了一种基于依赖引导的大语言模型的多模态情感分析方法,通过生成可解释的自然语言解释来提升情感分类的准确性。
2026-09-21 cs.CL
Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
提出数据挖掘框架 ProLong,通过综合依赖强度、距离和特异性指标为训练样本分配长依赖分数,有效筛选数据以显著增强大型语言模型的长上下文建模能力。
2024-05-28 cs.CL
Arabic Morphosyntactic Tagging and Dependency Parsing with Large Language Models
Computational Approaches to Modeling Language Lab(语言建模方法计算实验室);New York University Abu Dhabi(纽约大学阿布扎克分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文评估了大语言模型在阿拉伯语词法句法标注和依赖解析任务中的表现,发现提示设计和示例选择对性能影响显著,专有模型在特征层面标注接近监督基线,且在依赖解析中具有竞争力。
2026-09-04 cs.CL
Dependency Parsing with the Structuralized Prompt Template
SungKyunKwan University(成均馆大学)
提出一种仅依赖编码器模型和文本到文本训练方式的依存句法分析方法,通过结构化提示模板捕获依存树结构信息,在实验中优于传统模型且适应多种预训练模型。
2025-02-24 cs.CL
Zero-shot Dependency Parsing with Unsupervised Cross-Lingual Bootstrapping
VISTEC;Chulalongkorn University(朱拉隆功大学);AI Singapore(AI新加坡)
提出跨语言无监督自举方法增强预训练语言模型句法知识,显著提升低资源语言零样本依存句法分析性能,并增强句法结构识别鲁棒性。
2026-09-30 cs.CL