Many Languages, One Parser
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Pompeu Fabra University(庞培法布拉大学)
我们训练了一个多语种的依存句法分析模型,并使用它来分析几种语言的句子。解析模型使用(i)多语言词簇和嵌入;(ii)标记级语言信息;以及(iii)语言特定特征(细粒度POS标签)。这种输入表示使解析器不仅能够在多种语言中有效地解析,而且还能够基于语言共性和类型相似性来概括跨语言,从而使其更有效地从有限的注释中学习。我们的解析器的性能在一系列数据场景中优于强基线,包括当目标语言有一个大的树库,一个小的树库,或没有树库的训练。
2016-07-26 cs.CL
Exploiting Diversity in Natural Language Processing: Combining Parsers
三个国家的最先进的统计分析器相结合,以产生更准确的分析,以及新的界限可实现的树库解析精度。提出了两种通用方法,并针对每种方法描述了两种组合技术。探索了参数模型和非参数模型。由此产生的解析器超过了以前发表的最好的性能结果的Penn Treebank。
2000-06-01 cs.CL
Cross-Domain Generalization of Neural Constituency Parsers
University of California, Berkeley(加州大学伯克利分校)
神经解析器在基准树库上获得了最先进的结果,用于选区解析-但它们在多大程度上推广到其他领域?我们提出了关于零射击(zero-shot)设置中神经解析器泛化的三个结果:对来自一个语料库的树进行训练和对域外语料库进行评估。首先,神经和非神经解析器将XML推广到新的领域。其次,将预先训练的编码器表示纳入神经解析器中,可以大大提高其在所有域中的性能,但对于域外树库并没有更大的相对改善。最后,尽管神经解析器学习了丰富的输入表示,但它们仍然受益于输出树的结构化输出预测,从而获得更高的精确匹配精度和更强的泛化能力,无论是对更大的文本跨度还是对域外语料库。我们分析了英语和汉语语料库的泛化,并在此过程中获得了最先进的解析结果的布朗,Genia和英语网络树库。
2019-07-09 cs.CL
I3rab: A New Arabic Dependency Treebank Based on Arabic Grammatical Theory
Princess Sumaya University for Technology(普林塞萨·苏马亚科技大学);Hashemite University(哈希姆特大学)
树库是一种非常有价值的语言资源,它除了包含词性标记和形态特征外,还包含了语言句子的句法结构。它们主要用于建模统计分析器。尽管统计自然语言解析器最近对于诸如英语的语言变得更准确,但是对于阿拉伯语的那些解析器仍然具有低准确性。本文的目的是在传统的阿拉伯语语法理论的基础上,结合阿拉伯语的特点,构建一个新的阿拉伯语依存关系树库,研究其对统计分析器准确性的影响。建议的阿拉伯语依赖树库,称为I3rab,对比现有的阿拉伯语依赖树库在两个主要概念。第一个概念是确定句子的主要词的方法,第二个概念是连接代词和隐蔽代词的表示。为了评估I3rab,我们将其性能与布拉格阿拉伯语DepartmentTreebank的一个子集进行了比较,该子集具有可比的细节水平。进行的实验表明,在UAS和LAS中的百分比改善达到7.5%和18.8%。
2020-07-11 cs.CL
The Fragility of Multi-Treebank Parsing Evaluation
Universidade da Coruña(拉科鲁尼亚大学);CITIC
用于解析评估的树库选择和可能由有偏见的选择引起的虚假效果还没有详细探讨。本文研究了如何评估一个单一的树库子集可能会导致弱结论。首先,我们采取了一些对比的解析器,并运行它们的子集的树库在以前的工作中,其使用是合理的(或不)的标准,如类型或数据稀缺性。其次,我们运行了这个实验的大规模版本,创建了大量树库的随机子集,并在这些子集上比较了许多得分可用的解析器。结果表明,各子集之间存在很大的差异,虽然很难建立良好的树库选择指南,但有可能检测到潜在的有害策略。
2022-09-14 cs.CL
Large Discourse Treebanks from Scalable Distant Supervision
University of British Columbia(不列颠哥伦比亚大学)
语篇分析是自然语言处理中的一项重要的上游任务,对许多现实世界的应用具有重要意义。尽管其广泛认可的作用,最新的话语分析器(因此下游任务)仍然依赖于小规模的人类注释的话语树库,试图从非常有限的数据在几个狭窄的领域推断通用的话语结构。为了克服这种可怕的情况,并允许话语解析器在更大,更多样化和独立于领域的数据集上进行训练,我们提出了一个框架,从情感分析辅助任务的远程监督中生成“银标准”话语树。
2022-10-18 cs.CL
MEGA RST Discourse Treebanks with Structure and Nuclearity from Scalable Distant Sentiment Supervision
University of British Columbia(不列颠哥伦比亚大学)
缺乏大型和多样化的话语树库阻碍了数据驱动方法(如深度学习)在RST风格话语分析中的应用。在这项工作中,我们提出了一种新的可扩展的方法来自动生成话语树库,使用远程监督从情感标注的数据集,创建和发布MEGA-DT,一个新的大规模的话语标注语料库。我们的方法生成的话语树,将结构和核的文件的任意长度依赖于一个有效的启发式波束搜索策略,扩展了随机组件。在多个数据集上的实验表明,与在人类注释的话语语料库上训练的解析器相比,在我们的MEGA-DT树库上训练的话语解析器提供了有希望的域间性能增益。
2020-11-05 cs.CL
Leveraging Newswire Treebanks for Parsing Conversational Data with Argument Scrambling
University of Colorado Boulder(科罗拉多大学博尔德分校);IIIT-H(海得拉巴国际信息技术研究所)
我们调查的问题,解析会话数据的形态丰富的语言,如印地语的参数扰频频繁发生。我们评估了一个国家的最先进的非线性转换为基础的解析系统,一个新的数据集包含506个依赖树的句子从宝莱坞(印地语)电影剧本和Twitter帖子的印地语单语扬声器。我们表明,依赖解析器训练的新闻专线树库是强烈偏向于规范的结构和降低时,应用于会话数据。受转换生成语法的启发,我们通过从树库中现有的(内核)结构生成一个子句的所有理论上可能的替代词序来减轻采样偏差。在规范和转换结构上训练我们的解析器,与基线新闻解析器相比,会话数据的性能提高了约9% LAS。
2019-02-13 cs.CL
Global Greedy Dependency Parsing
Shanghai Jiao Tong University(上海交通大学)
大多数句法依存句法分析模型可以分为两类:基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率,但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树,并且由于动态预言训练的必要性而导致训练速度较慢。后者,基于图的模型,可能拥有更好的性能,但不幸的是被多项式时间推理破坏。在本文中,我们提出了一个新的分析顺序的目标,从而在一个新的依存句法分析模型能够在全局(句子范围内)特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动,左和右弧,投影分析。当配备两个额外的非投射弧建设行动,建议的解析器也可以顺利地支持非投射解析。使用多个基准树库,包括Penn树库(PTB),CoNLL-X树库,和通用Dependency树库,我们评估我们的解析器,并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
A Minimal Span-Based Neural Constituency Parser
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们提出了一个最小的神经模型的标签和跨度的独立评分的基础上,选区解析。我们表明,该模型不仅与经典的动态规划技术兼容,但也承认一个新的贪婪自上而下的推理算法的基础上递归分区的输入。我们的经验表明,这两个预测方案与最近的工作是有竞争力的,当结合基本扩展的评分模型能够实现国家的最先进的单模型性能的Penn Treebank(91.79 F1)和强大的性能的法国Treebank(82.23 F1)。
2017-05-10 cs.CL
Supertagging-based Parsing with Linear Context-free Rewriting Systems
Technische Universität Dresden(德累斯顿工业大学)
我们提出了第一个基于超标记的LCFRS解析器。它利用神经分类器,在准确性和解析速度方面都大大优于以前的基于LCFRS的解析器。此外,我们的结果跟上最好的(一般)不连续的分析器,特别是不连续的成分的分数是优秀的。我们的方法的核心是一个有效的词汇化过程,诱导词汇LCFRS从任何不连续的树库。它是Mörbitz和Ruprecht(2020)以前工作的改编。我们还描述了一个修改通常的基于图表的LCFRS解析,占supertaging,并介绍了一个程序的词汇LCFRS衍生转化为等价的解析树的原始树库。我们的方法是实施和评估英语不连续宾州树库和德国语料库NeGra和老虎。
2020-10-20 cs.CL
Thai Universal Dependency Treebank
Department of Linguistics, Chulalongkorn University(朱拉隆梭大学语言学系);AI Singapore(AI新加坡);Amazon(亚马逊);Prince of Songkhla University(素可诺大学)
针对泰语自动依存分析缺乏大规模树库和系统性模型评估的问题,构建了符合UD框架的最大规模泰语依存树库TUD,基准测试验证了基于预训练transformer的分析器性能更优,相关资源已开源。
2024-05-13 cs.CL
Replicating and Extending "Because Their Treebanks Leak": Graph Isomorphism, Covariants, and Parser Performance
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心);University of Copenhagen(哥本哈根大学)
Søgaard(2020)获得的结果表明,在测试数据中出现的树与训练集中的树同构的比例说明了解析器性能的非平凡变化。与NLP中的其他统计分析类似,结果基于评估线性回归。然而,这项研究存在方法问题,而且使用的样本量很小,导致结果不可靠。我们提出了一个复制的研究中,我们也斌的句子长度,发现只有一小部分的句子不同的性能与图同构。此外,当控制协变时,在解析器性能和图同构之间观察到的相关性消失了。然而,在一个受控实验中,协变量保持固定,我们确实观察到了很强的相关性。我们认为,从这样的统计分析中得出的结论需要加以调整,而对照实验可以通过更容易地剔除因素来补充它们。
2021-06-02 cs.AI cs.CL
Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本文介绍了我们的系统(HIT-SCIR)提交给CoNLL 2018共享任务从原始文本到通用语法的多语言解析。我们的提交基于斯坦福大学的CoNLL 2017共享任务的获奖系统,并进行了两个有效的扩展:1)将深度上下文化的词嵌入纳入词性标记器和解析器; 2)集成使用不同初始化训练的解析器。我们还探讨了不同的方式连接树库进一步改进。开发数据上的实验结果表明了我们方法的有效性。在最后的评估中,我们的系统根据LAS(75.84%)排名第一,并大大优于其他系统。
2018-07-30 cs.CL
A PDTB-Styled End-to-End Discourse Parser
National University of Singapore(新加坡国立大学)
我们已经开发了一个完整的话语分析器在宾夕法尼亚州话语树库(PDTB)的风格。我们训练的解析器首先识别所有的话语和非话语关系,定位和标记它们的参数,然后分类它们的关系类型。在适当的时候,这些关系的属性跨度也被确定。我们提出了一个全面的评估,从组件明智的和错误级联的角度。
2010-11-03 cs.CL
Parsing Tweets into Universal Dependencies
Harbin Institute of Technology(哈尔滨工业大学);University of Cambridge(剑桥大学);Georgetown University(乔治敦大学);University of Washington(华盛顿大学)
我们研究的问题,分析推文与普遍的一致性。我们扩展了UD准则,以涵盖影响标记化,词性标记和标记依赖关系的推文中的特殊结构。使用扩展的指导方针,我们创建了一个新的英语tweet树库(Tweebank v2),比Kong et al.(2014)介绍的(未标记的)Tweebank v1大四倍。我们的注释者之间的分歧的特点,并表明,这是具有挑战性的,以提供一致的注释,由于在理解和解释推文的模糊性。尽管如此,使用新的树库,我们构建了一个管道系统来将原始推文解析为UD。为了在不牺牲计算效率的情况下克服注释噪声,我们提出了一种新的方法,将20个基于转换的解析器的集合提取为一个。我们的解析器在LAS中实现了2.2的改进,并且在准确性和速度方面优于其他树库上最先进的解析器。
2018-04-23 cs.CL
Out-of-Domain Evaluation of Finnish Dependency Parsing
University of Turku(图尔库大学)
学术界的普遍做法是在通常从训练语料库中留出的域内评估数据上评估模型的性能。然而,在许多现实世界的应用中,应用模型的数据可能与训练数据的特性有很大的不同。在本文中,我们专注于芬兰的域外解析,通过引入一种新的UD芬兰OOD域外树库,包括五个非常不同的数据源(网络文档,临床,在线讨论,推文和诗歌),和19,382个句法单词在2,122个句子下发布的通用语法框架。连同新的树库,我们提出了广泛的域外解析评估利用现有的节级信息从三个不同的芬兰UD树库(TDT,PUD,OOD)。与以前现有的树库相比,新的芬兰OOD包括部分更具挑战性的一般解析器,创建一个有趣的评估设置,并产生有价值的信息,为那些应用解析器以外的训练域。
2022-04-22 cs.CL
A systematic comparison of methods for low-resource dependency parsing on genuinely low-resource languages
University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
解析器只适用于世界上少数几种语言,因为它们需要大量的训练数据。仅仅使用少量的训练数据,我们能走多远?我们系统地比较了一组简单的策略,以改善低资源解析器:数据增强,这还没有被测试过;跨语言的培训;和音译。通过对三种类型多样的低资源语言--北萨米语、加利西亚语和哈萨克语--的实验,我们发现:(1)当只有低资源树库可用时,数据增强非常有用;(2)当相关的高资源树库可用时,跨语言训练是有用的,并且补充了数据增强;(3)当高资源树库使用不同的书写系统时,音译到共享的正字法空间中也是非常有帮助的。
2019-09-06 cs.CL
Cross-lingual Inflection as a Data Augmentation Method for Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
提出了一种基于形态学的低资源(LR)依存句法分析方法。我们训练的目标LR语言的形态屈折,并将其应用到相关的丰富资源(RR)树库创建跨语言(x-屈折)树库,类似于目标LR语言。我们使用这种变形树库来训练零(在x变形树库上训练)和Few-Shot(在x变形树库和目标语言树库上训练)设置中的解析器。结果表明,该方法有时会改善基线,但并不一致。
2022-05-20 cs.CL
Universal Dependencies Parsing for Colloquial Singaporean English
Singapore University of Technology and Design(新加坡科技设计大学);DSO National Laboratories(新加坡国防科技研究院)
新加坡式英语在语言学上作为基于英语的主要克里奥尔语,在计算上用于区域社交媒体的信息抽取和情感分析,对ACL社区来说都很有趣。我们研究了新加坡英语的依存句法分析,通过在通用依存模式下构建依存树库,然后通过将英语句法知识集成到在新加坡英语树库上训练的最先进的句法分析器中来训练神经网络模型。结果表明,英语知识可以导致25%的相对错误减少,从而在84.47%的准确率分析。据我们所知,我们是第一个使用神经堆栈来改善低资源语言上的跨语言依存句法分析的人。我们使我们的注释和解析器可用于进一步的研究。
2017-05-18 cs.CL
Exploiting Cross-Dialectal Gold Syntax for Low-Resource Historical Languages: Towards a Generic Parser for Pre-Modern Slavic
University of Oxford(牛津大学)
本文探讨了通过训练来自不同相关品种的数据来提高前现代斯拉夫语专用解析器性能的可能性。由于其语言的异质性,前现代斯拉夫语的品种被视为低资源的历史语言,从而跨方言树库数据可以被利用,以克服数据稀缺性,并尝试训练的品种不可知的解析器。以前的实验早期斯拉夫语依存句法分析进行了讨论,特别是关于他们的能力,以解决不同的正字法,区域和文体特征。使用jPTDP(Nguyen & Verspoor 2018)训练了一个通用的前现代斯拉夫语解析器和两个专门的解析器-一个用于东斯拉夫语,一个用于南斯拉夫语-这是一种用于联合词性(POS)标记和依存句法分析的神经网络模型,它在许多通用依存关系(UD)树库上显示出有希望的结果,包括旧教会斯拉夫语(OCS)。通过这些实验,获得了OCS(83.79%的未标记依恋得分(UAS)和78.43%的标记依恋得分(LAS))和Old East Slavic(85.7%UAS和80.16%LAS)的最新技术水平。
2020-11-12 cs.CL
Distilling Neural Networks for Greener and Faster Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC
近年来,自然语言处理研究的碳足迹一直在增加,因为它依赖于大型且低效的神经网络实现。蒸馏是一种网络压缩技术,它试图将知识从一个大的模型传递到一个较小的模型。我们使用师生蒸馏来提高Biaffine依赖解析器的效率,该解析器在准确性和解析速度方面获得了最先进的性能(Dozat和Manning,2017)。当提取到原始模型的可训练参数的20%时,我们在许多不同的通用依赖树库中仅观察到UAS和LAS的平均$\sim$ 1点下降,同时在推理时间比CPU(GPU)上的基线模型快2.30倍(1.19倍)。我们还观察到一个小的性能提高时,压缩到80%的一些树库。最后,通过蒸馏,我们得到一个解析器,这不仅是更快,而且更准确的比最快的现代解析器在Penn树库。
2020-06-01 cs.CL
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College(波士顿学院)
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语(MacWhinney,2000年)。我们的注释在很大程度上遵循了通用自动化项目(UD(Zeman et al.,2022)),详细扩展到词汇/句法结构独特的会话讲话(在反对书面文本)。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比,我们的数据集的大小(大得多)(话语数N = 44,744;单词数N = 233,907),包含来自10个儿童的语音,涵盖了广泛的年龄范围(18-66个月)。有了这个数据集,我们问:(1)为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何?(2)句法分析能力与儿童的发展阶段有什么关系?为了解决这些问题,在正在进行的工作中,我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估,这些解析器具有不同的超参数化,从三种不同类型的域外书面文本中训练:新闻,推文和学习者数据。
2022-09-28 cs.CL
Self-Correction Makes LLMs Better Parsers
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
针对大语言模型在句法解析上的不足,本文提出利用现有树库语法规则引导模型自我纠正错误的方法,在多个数据集上显著提升域内及跨域解析性能。
2025-04-19 cs.CL
The DCU-EPFL Enhanced Dependency Parser at the IWPT 2021 Shared Task
Dublin City University(都柏林城市大学);Idiap Research Institute(Idiap 研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们描述了DCU-EPFL向IWPT 2021共享任务提交的关于解析为增强的通用解析的报告。该任务涉及解析增强的UD图,它是基本依赖树的扩展,旨在更方便地表示语义结构。评估是在17种语言的29个树库上进行的,要求参与者从原始字符串开始解析每种语言的数据。我们的方法使用Stanza管道来预处理文本文件,XLMRoBERTA来获得上下文化的令牌表示,以及边缘评分和标签模型来预测增强的图形。最后,我们运行一个后处理脚本,以确保我们所有的输出都是有效的增强型UD图。我们的系统在9名参与者中排名第6,粗略的增强标记依恋评分(ELAS)为83.57。我们进行额外的截止日期后的实验,其中包括使用Trankit的预处理,XLM-RoBERTa-LARGE,树库连接,和多任务学习之间的基本和增强的依赖关系解析器。所有这些修改都提高了我们的初始分数,我们最终的系统具有88.04的粗略ELAS。
2021-07-05 cs.CL
Span-based discontinuous constituency parsing: a family of exact chart-based algorithms with time complexities from O(n^6) down to O(n^3)
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);LIMSI(机械与工程计算机科学实验室)
我们介绍了一种新的基于图表的算法,基于跨度的分析不连续的选区树的块度2,包括病态嵌套结构。特别是,我们表明,我们可以建立我们的分析器的变种,具有较小的搜索空间和时间复杂度范围从$\mathcal O(n^6)$到$\mathcal O(n^3)$。立方时间变量覆盖了语言树库中观察到的98%的成分,同时具有与连续选区解析器相同的复杂性。我们评估我们的方法对德国和英国树银行(Negra,老虎和不连续PTB)和报告国家的最先进的结果,在完全监督的设置。我们还对预训练的词嵌入和基于\bert{}的神经网络进行了实验。
2020-03-30 cs.CL
UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了我们对EvaLatin共享任务的贡献,这是第一个专门评估拉丁语NLP工具的评估活动。我们提交了一个基于UDPipe 2.0的系统,该系统是CoNLL 2018共享任务,2018外部解析器评估共享任务和SIGMORPHON 2019共享任务的获奖者之一。我们的系统首先在开放模式中的词形化和POS标记中获得了很大的优势,其中允许额外的监督数据,在这种情况下,我们利用所有通用依赖拉丁树库。在封闭的方式,其中只有EvaLatin训练数据是允许的,我们的系统实现了最好的性能,在词形化和经典的子任务的POS标记,而达到第二位的跨体裁和跨时间设置。在消融实验中,我们还评估了BERT和XLM-RoBERTa上下文嵌入的影响,以及不同风格的拉丁树库的树库编码。
2020-06-05 cs.CL
Cross-lingual Parsing with Polyglot Training and Multi-treebank Learning: A Faroese Case Study
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学)
跨语言依存句法分析涉及到将句法知识从一种语言转换到另一种语言。它是在没有语言的训练数据的低资源场景中引入依赖解析器的关键组件。使用法罗语作为目标语言,我们比较了两种使用注释投影的方法:第一,从多个单语源模型投影;第二,从一个多语种模型投影,该模型是在所有源语言的组合上训练的。此外,我们再现了多源投影(Tyers等人,2018),其中组合了多个源的依赖关系树。最后,我们将多树库建模应用于投影树库,除了或替代源端的多语言建模。我们发现,多语言训练的源语言产生了更好的结果在目标语言的整体趋势,但单一的最佳结果为目标语言是通过投影从单语源解析模型,然后训练多树库的POS标记和解析模型的目标侧。
2019-10-17 cs.CL
LyS_ACoruña at SemEval-2022 Task 10: Repurposing Off-the-Shelf Tools for Sentiment Analysis as Semantic Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC
本文解决了结构化的情感分析的问题,使用双仿射语义依赖分析器,大型预训练的语言模型,和公开可用的翻译模型。对于单语设置,我们考虑:(i)在单个树库上进行训练,以及(ii)通过在来自不同语言的树库上进行训练来放松设置,这些树库可以通过跨语言语言模型进行充分处理。对于zero-shot设置和给定的目标树库,我们依赖于:(i)对其他语言的可用树库进行单词级翻译,以获得嘈杂的,不太可能语法的,但带注释的数据(我们在许可证允许的情况下发布尽可能多的数据),以及(ii)合并这些翻译的树库以获得训练数据。在后评估阶段,我们还训练了跨语言模型,这些模型简单地合并了所有英语树库,而没有使用单词级翻译,但获得了更好的结果。根据官方结果,我们在单语和跨语言设置中排名第8和第9。
2022-04-27 cs.CL
Parsing with Traces: An $O(n^4)$ Algorithm and a Structural Representation
University of California, Berkeley(加州大学伯克利分校)
一般的树库分析是图形结构的,但是出于效率和建模的原因,解析器通常限于树结构。我们提出了一种新的表示和算法的一类图结构,是足够灵活,几乎所有的树库结构,同时仍然承认有效的学习和推理。特别是,我们认为有向的,无环的,单端点交叉图结构,其中包括最长距离的错位,共享论证,和类似的树违反语言现象。我们描述了如何转换短语结构解析,包括痕迹,我们的新表示在一个可逆的方式。我们的动态程序独特地分解结构,是健全和完整的,并涵盖了97.3%的宾夕法尼亚州英语树库。我们还实现了一个概念验证解析器,它可以恢复一系列空元素和跟踪类型。
2017-07-13 cs.CL cs.DM
Revisiting Tri-training of Dependency Parsers
School of Computing(计算学院);Dublin City University(都柏林城市大学)
在依存句法分析任务中比较了tri-training与预训练词嵌入在低资源场景下的效果,发现预训练词嵌入能更有效利用无标签数据,且两者可成功结合。
2021-09-16 cs.CL
Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学)
我们提出了一个新的,高效的框架语义分析器,标签语义参数的框架谓词。使用强调召回的分段RNN的扩展构建,我们的基本系统实现了有竞争力的性能,而无需调用任何语法解析器。然后,我们介绍了一种方法,只在训练过程中使用来自Penn Treebank的短语句法注释,通过多任务目标;在训练或测试时不需要解析。这种“语法脚手架”提供了一种比传统的语法流水线更便宜的替代方案,并实现了最先进的性能。
2017-06-29 cs.CL
Improved POS tagging for spontaneous, clinical speech using data augmentation
Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟);Penn Frontotemporal Degeneration Center, University of Pennsylvania(宾夕法尼亚大学宾夕法尼亚额颞叶变性中心)
本文针对临床自发性言语转写文本的POS标注问题,提出在领域外新闻树库上结合数据增强训练句法分析器,并在神经退行性疾病患者言语上验证性能。
2023-07-11 cs.CL
Training Dependency Parsers with Partial Annotation
Soochow University(苏州大学)
最近,研究如何获得部分注释数据以进行模型监督的研究激增。然而,如何训练具有部分标注(PA)的统计模型还缺乏系统的研究。本文以依存句法分析为例,描述并比较了三种主流依赖解析器的两种直接方法。第一种方法是以前提出的直接训练一个对数线性图为基础的分析器(LLGPar)与PA基于森林的目标。这项工作首次提出了第二种方法,直接训练线性图为基础的解析器(LGPar)和线性转换为基础的解析器(LTPar)与PA基于约束解码的想法。我们在Penn Treebank上进行了广泛的实验,在三种不同的设置下模拟PA,即,随机依赖关系、最不确定依赖关系以及具有来自三个解析器的不同输出的依赖关系。结果表明,LLGPar是最有效的学习PA和LTPar落后于基于图形的同行大幅度。此外,LGPar和LTPar可以通过使用LLGPar将PA完成为完整注释(FA)来实现最佳性能。
2016-09-29 cs.CL cs.LG
Transition-based Parsing with Lighter Feed-Forward Networks
Universidade da Coruña(拉科鲁尼亚大学)
我们探讨是否有可能建立更轻的解析器,这是统计上相当于其相应的标准版本,为广泛的语言显示不同的结构和形态。作为测试平台,我们使用了在前馈网络上训练的通用依赖关系和基于转换的依赖关系解析器。对于这些,大多数现有的研究假设事实标准嵌入式功能,并依赖于预先计算技巧,以获得加速。我们将探讨如何减少这些特征及其大小,以及这是否会转化为对准确性影响可以忽略不计的速度提升。实验表明,孙子的功能,可以删除大多数树库没有显着的(负或正)LAS差异。他们还展示了嵌入的大小如何显着减少。
2018-10-21 cs.CL
Levi Graph AMR Parser using Heterogeneous Attention
Emory University(埃默里大学)
与biaffine解码器相结合,Transformers已经有效地适应了文本到图形的转换,并在AMR解析上实现了最先进的性能。然而,许多先前的工作依赖于双仿射解码器用于弧和标签预测中的任一个或两者,尽管解码器使用的大多数特征可能已经被Transformer学习。本文提出了一种新的AMR解析方法,通过将异构数据(令牌,概念,标签)作为一个输入到Transformer学习注意力,并仅使用注意力矩阵从Transformer预测AMR图中的所有元素(概念,弧,标签)。尽管我们的模型使用的参数比之前最先进的图解析器少得多,但它们在AMR 2.0和3.0上显示出类似或更好的准确性。
2021-07-09 cs.AI cs.CL
Co-training an Unsupervised Constituency Parser with Weak Supervision
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们介绍了一种无监督的解析方法,依赖于引导分类器来确定一个节点是否占主导地位的一个句子中的特定跨度。有两种类型的分类器,一种是作用于跨度的内部分类器,另一种是作用于给定跨度之外的所有内容的外部分类器。通过两个分类器的自我训练和联合训练,我们表明它们之间的相互作用有助于提高两者的准确性,从而有效地解析。种子自举技术准备数据来训练这些分类器。我们的分析进一步验证了这种方法结合弱监督使用已知语言的先验分支知识(左/右分支)和最小的语法分析注入强归纳偏见的分析器,实现63.1 F $_1$的英语(PTB)测试集。此外,我们通过对中文树库(CTB)和日文树库(KTB)的评估,展示了我们的架构的有效性,并取得了新的最先进的结果。我们的代码和预培训模型可在https://github.com/Nickil21/weakly-supervised-parsing上获得。
2022-03-18 cs.AI cs.CL cs.LG
Correction as Annotation: Bootstrapping a Dependency Parser for Documentary Medieval Latin
Harvard University(哈佛大学)
针对中世纪拉丁语文献缺乏可用解析工具的问题,提出以专家修正模型预标注作为训练数据的方法,显著提升解析性能并减少数据需求。
2026-09-09 cs.CL cs.DL
Lexicalized Constituency Parsing for Middle Dutch: Low-resource Training and Cross-Domain Generalization
Universiteit Gent, Université Paris Cité \& Laboratoire de linguistique formelle
本文提出基于变压器的神经解析器用于中古荷兰语成分句法解析,通过联合训练高资源语言提升F1分数,并探索特征分离技术以增强跨领域泛化能力。
2026-01-11 cs.CL