Biaffine Discourse Dependency Parsing
我们提供了一个研究,使用双仿射模型的神经话语依存句法分析,并取得显着的性能改善相比,基线分析器。在任务中我们比较了Reynner算法和Chu-Liu-Edmonds算法,发现Chu-Liu-Edmonds算法生成的树更深,性能更好。我们还用平均最大路径长度和平均叶节点比例来评价解析器的输出结构,发现解析器生成的依赖树接近于黄金树。由于语料库允许非投射结构,我们分析了语料库非投射性的复杂性,发现该语料库中的依赖结构的间隙度和边缘度最多为1。
2022-01-12 cs.CL
Exploring Neural Methods for Parsing Discourse Representation Structures
Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心)
神经方法最近在语义解析方面取得了一些成功,尽管它们还没有面对基于形式语义产生意义表示的挑战。我们提出了一个序列到序列的神经语义解析器,能够产生高精度的英语句子的话语表示结构(DRS),优于传统的DRS解析器。为了便于学习的输出,我们表示DRS作为一个序列的扁平条款,并介绍了一种方法来验证所产生的DRS是格式良好,可解释的。我们比较了使用字符和单词作为输入的模型,发现(有点令人惊讶)前者比后者表现得更好。我们表明,消除变量名从输出使用德Bruijn指数提高解析器的性能。添加银级训练数据可进一步提高性能。
2018-10-30 cs.CL
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia(不列颠哥伦比亚大学)
RST风格的语篇分析在许多NLP任务中起着至关重要的作用,揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性,在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题,最近提出了来自情感分析和摘要等任务的远程监督方法。在这里,我们通过利用主题分割的远程监督来扩展这条研究路线,这可以为高级话语结构提供强大的,通常是互补的信号。在两个人类注释的话语树库上的实验证实,我们的建议在句子和段落级别上生成准确的树结构,在句子到文档任务上始终优于以前的远程监督模型,并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
Unsupervised Learning of Discourse Structures using a Tree Autoencoder
University of British Columbia(英属哥伦比亚大学)
话语信息,如流行的话语理论所假设的那样,如DSPG和PDTB,已被证明可以改善越来越多的下游NLP任务,显示出话语与重要现实世界应用的积极影响和协同作用。虽然用于并入话语的方法变得越来越复杂,但当前的话语解析器还没有充分满足对鲁棒和通用话语结构的日益增长的需求,这些话语解析器通常在严格有限数量的域中的小规模数据集上进行训练。这使得对任意任务的预测变得嘈杂和不可靠。由此导致的高质量、高数量的话语树的总体缺乏严重限制了进一步的进展。为了缓解这一缺点,我们提出了一种新的策略来生成树结构的任务不可知的,无监督的方式通过扩展潜在的树归纳框架与自动编码的目标。该方法适用于任何树型结构的目标,如句法分析、篇章分析等。然而,由于特别困难的注释过程中产生的话语树,我们最初开发了一种方法来生成更大,更多样化的话语树库。在本文中,我们推断一般的树结构的自然文本在多个领域,显示出可喜的成果,对一组不同的任务。
2020-12-17 cs.AI cs.CL
Unsupervised Inference of Data-Driven Discourse Structures using a Tree Auto-Encoder
University of British Columbia(不列颠哥伦比亚大学)
随着在许多下游任务和现实世界的应用中对健壮和通用的话语结构的需求不断增长,目前缺乏高质量,高数量的话语树构成了严重的缺点。为了缓解这一限制,我们提出了一种新的策略来生成树结构在一个任务不可知的,无监督的方式通过扩展一个潜在的树感应框架与自动编码的目标。该方法适用于任何树型结构的目标,如句法分析、篇章分析等。然而,由于特别困难的注释过程中产生的话语树,我们最初开发这样的方法,以补充特定任务的模型,在产生更大,更多样化的话语树库。
2022-10-18 cs.CL
Scope-enhanced Compositional Semantic Parsing for DRT
Georgetown University(乔治城大学);University of Amsterdam(阿姆斯特丹大学);Saarland University(萨尔大学);University of Groningen(格罗宁根大学)
针对现有seq2seq模型在DRT解析中准确率随句子复杂度下降、难生成合规表征的问题,提出基于新型量词辖域预测机制的组合式神经符号AMS解析器,可稳定输出合规结果,复杂句子解析表现更优。
2024-10-09 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近,基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模,用非常简单的模型实现了具有竞争力的准确性。然而,Stern et al(2017 a)的最小跨度解析器保持了当前最先进的准确性,它是一个以立方时间运行的图表解析器,$O(n^3)$,对于较长的句子和超出句子边界的应用程序(如端到端话语解析和联合句子边界检测和解析)来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索,它运行在时间$O(n b^2)$,其中$b$是波束的大小。通过集成立方体修剪,我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比,这种线性时间解析器在Penn Treebank上的长句解析速度要快得多,在话语解析上要快几个数量级,并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
Large Discourse Treebanks from Scalable Distant Supervision
University of British Columbia(不列颠哥伦比亚大学)
语篇分析是自然语言处理中的一项重要的上游任务,对许多现实世界的应用具有重要意义。尽管其广泛认可的作用,最新的话语分析器(因此下游任务)仍然依赖于小规模的人类注释的话语树库,试图从非常有限的数据在几个狭窄的领域推断通用的话语结构。为了克服这种可怕的情况,并允许话语解析器在更大,更多样化和独立于领域的数据集上进行训练,我们提出了一个框架,从情感分析辅助任务的远程监督中生成“银标准”话语树。
2022-10-18 cs.CL
Dependency Parsing for Spoken Dialog Systems
University of California, Davis(加州大学戴维斯分校)
会话输入的依存句法分析通过识别从用户话语中提取的实体之间的关系,可以在对话系统的语言理解中发挥重要作用。此外,有效的依存句法分析可以阐明人-人与人-机对话的语篇分析在语言结构和用法上的差异。然而,在基于新闻文章和网络数据的数据集上训练的模型在口语人机对话上表现不佳,并且目前可用的注释方案不能很好地适应对话数据。因此,我们提出了扩展通用重复性(UD)的口语会话通用重复性(SCUD)注释方案(Nivre等人,2016年,《人机对话》出版。我们还提供了ConvBank,一个人类之间的对话数据集和一个带有SCUD注释的开放域对话系统。最后,为了演示数据集的实用性,我们在ConvBank数据集上训练了一个依赖解析器。我们证明,通过在一组较大的公共数据集上预训练依赖解析器并对ConvBank数据进行微调,我们获得了最佳结果,85.05%的未标记和77.82%的标记附件准确率。
2019-09-07 cs.AI cs.CL cs.LG
Bi-directional Attention with Agreement for Dependency Parsing
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们开发了一个新的双向注意模型的依存句法分析,学习一致的中心词预测从向前和向后的分析方向。每个方向的解析过程被制定为顺序查询存储连续中心词嵌入的内存组件。建议的解析器使用{ \it soft}中心词嵌入,允许该模型隐式地捕获高阶解析历史,而不会显着增加计算复杂性。我们进行了实验,英语,中文,和其他12种语言的CoNLL 2006共享任务,表明该模型实现了国家的最先进的无标签附件分数6种语言。
2016-09-22 cs.AI cs.CL cs.LG
DisSent: Sentence Representation Learning from Explicit Discourse Relations
Stanford University(斯坦福大学)
学习句子的有效表示是自然语言理解的核心任务之一。现有的模型要么在大量文本上进行训练,要么需要昂贵的手动策划的句子关系数据集。我们发现,与依存句法分析和基于规则的规则,我们可以策划一个高质量的句子关系的任务,利用明确的话语关系。我们表明,我们策划的数据集为学习句子含义的向量表示提供了一个很好的信号,表示只有当两个句子的含义结合起来时才能确定的关系。我们证明了自动策划的语料库允许双向LSTM句子编码器产生高质量的句子嵌入,并且可以作为BERT等大型模型的监督微调数据集。我们的固定句子嵌入在各种迁移任务上实现了高性能,包括SentEval,并且我们在Penn Discourse Treebank的隐式关系预测任务上实现了最先进的结果。
2019-06-04 cs.AI cs.CL
ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们对CoNLL 2019共享任务跨框架意义表示解析(MRP 2019)的贡献进行了系统描述。建议的架构是我们第一次尝试对语义解析扩展的UDPipe 2.0,一个词形化,词性标注和依存句法分析管道。对于MRP 2019,它具有五种形式和语言上不同的意义表示方法(DM,PSD,EDS,UCCA和AMR),我们提出了一种统一的,语言和框架不可知的图到图神经网络架构。在没有任何关于图结构的知识的情况下,特别是在没有任何语言或框架动机的特征的情况下,我们的系统隐式地对意义表示图进行建模。在修复了人为错误(我们使用了早期提供的测试集分析的错误版本)之后,我们的提交将在竞争评估中获得第三名。我们的系统的源代码可以在https://github.com/ufal/mrpipe-conll2019上获得。
2019-10-24 cs.CL
Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文件简要介绍了为SPMRL 2013共享任务准备的韩国数据。共有27,363个句子和350,090个标记用于共享任务。所有组成树都是从KAIST树库中收集的,并转化为Penn树库风格。所有的依赖树转换从转换的成分树使用专门为KAIST树库设计的分类和标记规则。除了KAIST Treebank提供的黄金标准形态分析外,还为共享任务提供了两套自动形态分析,一套由HanNanum形态分析仪生成,另一套由Sejong形态分析仪生成。
2013-09-10 cs.CL
Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT
University of Groningen(格罗宁根大学)
我们结合字符级和上下文语言模型表示,以提高性能的话语表示结构分析。字符表示可以很容易地添加到一个编码器或作为一个完全独立的编码器的序列到序列模型中,并对不同的语言模型、语言和数据集进行了鲁棒性改进。对于英语来说,这些改进比添加语言信息的单个来源或添加非上下文嵌入要大。一种基于语义标签的新分析方法表明,字符级表示提高了所选语义现象子集的性能。
2020-11-09 cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University(哈佛大学);Raytheon BBN Technologies(雷神BBN技术公司)
提取事件和时间表达式之间的时间关系具有许多应用,例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题,它需要句子或话语级别的句法和语义信息,这些信息可以由诸如BERT(Devlin等人,2019年)。在本文中,我们开发了几种基于BERT的时态依赖解析器的变体,并证明了BERT显着改进了时态依存句法分析(Zhang和Xue,2018 a)。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
DRTS Parsing with Structure-Aware Encoding and Decoding
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);University of Edinburgh(爱丁堡大学);Tianjin University(天津大学)
语篇表征树结构句法分析是近年来备受关注的一种新型语义解析任务。最先进的性能可以通过神经序列到序列模型来实现,将树的构建视为增量序列生成问题。该模型忽略了输入语法和部分输出的中间骨架等结构信息,这对DRTS分析有潜在的帮助。在这项工作中,我们提出了一个结构感知的模型在编码器和解码器阶段整合的结构信息,其中图注意力网络(GAT)被用来有效地建模。在基准数据集上的实验结果表明,我们提出的模型是有效的,可以获得最好的性能在文献中。
2020-05-14 cs.CL
Concurrent Parsing of Constituency and Dependency
Shanghai Jiao Tong University(上海交通大学)
句法结构的成分表示和依存表示具有很多语言和计算上的共同特点,本文首次尝试引入一种新的模型,该模型能够同时解析成分和依存,从而使任何一个解析器都能相互增强。特别是,我们评估了不同的共享网络组件的效果和经验验证,依存句法分析可能是更有益的成分分析结构。建议的解析器实现了新的国家的最先进的性能分析任务,成分和依赖PTB和CTB基准。
2019-09-25 cs.CL cs.LG
Advancing Topic Segmentation and Outline Generation in Chinese Texts: The Paragraph-level Topic Representation, Corpus, and Benchmark
University of Science and Technology of China(中国科学技术大学);Soochow University(苏州大学)
本文构建了中文段落级主题表示、语料库与基准,提出三层层次化结构表示,采用两阶段人机协同标注构建最大规模CPTS语料库,并基于ChatGPT等基线验证了其在主题分割、大纲生成及话语解析任务上的有效性。
2024-03-26 cs.AI cs.CL
End-to-End Argument Mining over Varying Rhetorical Structures
FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学与控制)
针对修辞结构差异导致的论证解析不一致问题,提出利用RST修辞树和释义结构增强的深层依存解析模型,实现端到端论证挖掘,并在双语Microtexts语料库上验证有效。
2024-01-20 cs.CL
Greedy, Joint Syntactic-Semantic Parsing with Stack LSTMs
Carnegie Mellon University(卡内基梅隆大学);Universitat Pompeu Fabra(庞培法布拉大学);Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学)
我们提出了一个过渡为基础的分析器,共同产生语法和语义的依赖关系。它使用堆栈长短期记忆学习整个算法状态的表示。我们的贪婪推理算法具有线性时间,包括特征提取。在CoNLL 2008--9英语共享任务上,我们在联合学习语法和语义的模型中获得了最好的解析性能。
2018-07-05 cs.AI cs.CL
ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN
Charles University(查尔斯大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了PERIN,一种新的置换不变的方法来实现图到图的语义解析。PERIN是一个通用的,跨框架和语言独立的体系结构的语义结构的通用建模。我们的系统参与了CoNLL 2020共享任务,跨框架意义表示解析(MRP 2020),在四种语言的五种不同框架(AMR,DRG,EDS,PTG和UCCA)上进行了评估。佩林是这项共同任务的获胜者之一。源代码和预训练模型可在https://github.com/ufal/perin上获得。
2020-11-02 cs.CL
A Joint Multitask Model for Morpho-Syntactic Parsing
University of Melbourne(墨尔本大学)
针对UniDive 2025形态句法分析任务,提出基于共享XLM-RoBERTa编码器与三个专用解码器的联合多任务模型,在九种语言上取得排行榜最佳整体性能,平均MSLAS达78.7%。
2025-08-19 cs.CL
Conversational Semantic Parsing using Dynamic Context Graphs
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
针对大规模知识图上的会话语义解析,提出用动态生成、节点数随话语变化的上下文子图并以图神经网络编码,从而将用户话语映射为 Sparql 等可执行逻辑形式;实验表明其在简单与复杂问题、省略/共指处理及长交互中均优于静态方法。
2023-12-07 cs.AI cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
由于缺乏标记数据,语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位(EDU)两个层面构建汉英映射,然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据,就能自动进行汉语篇章分析。
2019-11-27 cs.CL
RST Parsing from Scratch
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(赛富时亚洲研究院);Institute for Infocomm Research, A-STAR(新加坡科技研究局资讯通信研究院)
我们在修辞结构理论(RST)框架中引入了一种新颖的自上而下的端到端文档级语篇解析公式。在这个公式中,我们认为话语分析作为一个序列的分裂决策在令牌的边界,并使用seq2seq网络模型的分裂决策。我们的框架有利于话语分析从零开始,而不需要话语分割为先决条件,相反,它产生分割的一部分,分析过程。我们的统一解析模型采用了一个束搜索解码的最佳树结构通过搜索通过一个空间的高分树。通过对标准英语语料库的大量实验,我们证明了我们的解析器在端到端解析和黄金分割解析方面都优于现有方法。更重要的是,它不使用任何手工制作的功能,使其更快,更容易适应新的语言和领域。
2021-05-23 cs.AI cs.CL
Efficient Constituency Parsing by Pointing
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院);Institute for Infocomm Research, A-STAR(A*STAR资讯通信研究院)
我们提出了一种新的选区解析模型,将解析问题转化为一系列的指向任务。具体来说,我们的模型估计的可能性跨度是一个合法的树成分通过指向分数对应的边界词的跨度。我们的解析模型支持高效的自上而下的解码,我们的学习目标是能够执行结构一致性,而不诉诸昂贵的CKY推理。在标准的英语Penn Treebank句法分析任务上的实验表明,该方法在不使用预训练模型的情况下达到了92.78 F1,高于现有的具有相似时间复杂度的方法。使用预训练的BERT,我们的模型达到了95.48 F1,这与最先进的竞争力,同时更快。我们的方法还建立了新的国家的最先进的巴斯克语和瑞典语的SPMRL共享任务的多语言选区解析。
2020-06-24 cs.CL cs.LG
SyntaxNet Models for the CoNLL 2017 Shared Task
Carnegie Mellon University(卡内基梅隆大学);Google Inc(谷歌公司)
我们描述了一个用于CoNLL 2017共享任务的基线依存句法分析系统。这个系统,我们称之为“ParseySaurus”,使用DRAGNN框架[Kong et al,2017]将基于transition的循环解析和标记与基于字符的单词表示相结合。在v1.3 Universal Advertisements Treebanks上,新系统在52个树库中以3.47%的绝对标签准确度得分(LAS)超过了公开可用的最先进的“Parsey's Advertising”模型。
2017-03-15 cs.CL
A Unified Linear-Time Framework for Sentence-Level Discourse Parsing
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
本文根据修辞结构理论,提出了一个有效的语篇分析神经网络框架。我们的框架包括一个话语切分器,以确定基本的话语单位(EDU)在一个文本中,和一个话语分析器,构建一个自上而下的方式话语树。分割器和解析器都是基于指针网络的,并且在线性时间内运行。我们的分割器产生的$F_1$得分为95.4,我们的解析器在聚合标记(关系)度量上获得了81.7的$F_1$得分,超过了以前的方法,并且在两个任务上都接近人类协议(98.3和83.0 $F_1$)。
2019-06-12 cs.AI cs.CL
Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification
Soochow University(苏州大学)
本文提出话语感知澄清模块和贡献感知偏好优化,解决对话话语解析中的歧义问题,在STAC和Molweni数据集上显著优于现有最先进方法。
2025-06-18 cs.AI cs.CL
Enhanced Universal Dependency Parsing with Automated Concatenation of Embeddings
ShanghaiTech University(上海科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文描述了上海特科团队向IWPT 2021共享任务提交的系统。我们的系统是一个基于图形的分析器与嵌入的自动连接(ACE)的技术。由于最近的工作发现,更好的词表示可以通过连接不同类型的嵌入,我们使用ACE自动找到更好的连接嵌入增强通用依赖的任务。根据17种语言的平均官方结果,我们的系统在9支球队中排名第二。
2021-07-06 cs.CL cs.LG
Towards Domain-Independent Supervised Discourse Parsing Through Gradient Boosting
University of British Columbia(不列颠哥伦比亚大学)
语篇分析和语篇句法分析对自然语言处理领域的许多重要问题产生了重要影响。鉴于话语标注对模型性能和可解释性的直接影响,从任意文档中鲁棒地提取话语结构是进一步改进自然语言处理中计算模型的关键任务。为此,我们提出了一个新的,监督的范式直接处理的领域自适应问题的话语分析。具体来说,我们介绍了第一个完全监督的话语分析器,旨在通过引入梯度提升框架,通过弱分类器的分阶段模型来减轻域依赖。
2022-10-18 cs.CL
A Pilot Study on Dialogue-Level Dependency Parsing for Chinese
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对汉语对话级依存分析资源与方法不足,本文构建含850段对话、199,803条依存的人工标注语料库,并提出零样本/少样本下基于信号转换与多视图数据选择的基线方法。
2023-06-01 cs.CL
A Deep Sequential Model for Discourse Parsing on Multi-Party Dialogues
Tsinghua University(清华大学);Institute for Artificial Intelligence, Tsinghua University (THUAI)(清华大学人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
语篇结构对于对话理解、问答、情感分析等自然语言处理任务都有重要意义,本文提出了一种用于分析多方对话语篇依存结构的深层序列模型。该模型的目标是通过预测依存关系和联合交替构建篇章结构来构建篇章依存树。它对对话中的基本语篇单位进行了顺序扫描。对于每个EDU,模型决定当前EDU应该链接到哪个先前EDU以及对应的关系类型是什么。预测的链接和关系类型,然后使用一个结构化编码器逐步建立话语结构。在链接预测和关系分类过程中,该模型不仅利用了表示相关EDU的局部信息,还利用了编码EDU序列的全局信息和当前步骤已经建立的话语结构。实验表明,该模型优于所有国家的最先进的基线。
2018-12-01 cs.AI cs.CL
Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Bilingual Conversational Language Beyond Standard UD Assumptions
Arizona State University(亚利桑那州立大学)
针对口语双语会话中的不流利和话语驱动结构,提出SpokeBench基准、Flex-UD评估指标和DECAP解析框架,显著提升依赖解析性能。
2026-06-08 cs.CL
Universal Dependency Parsing from Scratch
Stanford University(斯坦福大学)
本文描述了斯坦福大学在CoNLL 2018 UD共享任务上的系统。我们介绍了一个完整的神经管道系统,以原始文本作为输入,并执行共享任务所需的所有任务,从标记和句子分割,到POS标记和依存句法分析。我们提交的单个系统在大型树库上实现了非常有竞争力的性能。此外,在修复了一个不幸的错误后,我们更正后的系统将在官方评估指标LAS,MLAS和BLEX上排名第二,第一和第三,并且在所有指标的低资源树库类别上都将大大优于所有提交系统。我们通过广泛的消融研究进一步证明了不同模型组件的有效性。
2019-01-29 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Light Coreference Resolution for Russian with Hierarchical Discourse Features
FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学研究所)
本文提出一种将层级话语中的修辞距离特征融入基于LUKE的轻量级俄语共指消解模型,在RuCoCo-23任务上取得开发集第一、测试集第二的成绩。
2023-06-02 cs.CL
Semi-supervised Autoencoding Projective Dependency Parsing
Purdue University(普渡大学)
我们描述了两个端到端的自动编码模型的半监督图为基础的投影依存句法分析。第一个模型是局部自动编码解析器(Locally Autoencoding Parser,简称GAP),它使用连续的隐变量以顺序的方式对输入进行编码;第二个模型是全局自动编码解析器(Globally Autoencoding Parser,简称GAP),它将输入作为隐变量编码到依赖树中,并进行精确推理。这两个模型都由两部分组成:一个由深度神经网络(DNN)增强的编码器,它可以利用上下文信息将输入编码为潜在变量,以及一个解码器,它是一个能够重建输入的生成模型。两种方法都采用了统一的结构,对有标记和无标记的数据使用不同的损失函数,并共享参数。我们在WSJ和UD依存句法分析数据集上进行了实验,结果表明,在有限的标记数据下,我们的模型可以利用未标记数据提高性能,并且优于之前提出的半监督模型.
2020-11-02 cs.CL cs.LG
GCDT: A Chinese RST Treebank for Multigenre and Multilingual Discourse Parsing
Georgetown University(乔治城大学)
由于缺乏大规模人工标注数据,汉语层次语篇分析受到了限制。本文在修辞结构理论的框架下,提出了最大的汉语层次语篇树库GCDT。GCDT涵盖了五种类型的免费文本中超过6万个标记,使用与当代英语树库相同的关系库存。我们还报告了这个数据集的解析实验,包括最先进的(SOTA)得分为中文的GUM数据集和中文的GUM数据集,使用跨语言的训练,在中文和英文的多语言嵌入。
2022-10-19 cs.CL
RST-style Discourse Parsing Guided by Document-level Content Structures
Texas A&M University(得克萨斯农工大学)
针对现有RST解析流水线因缺乏文档级内容结构知识导致预测大型文本跨度篇章关系性能较低的问题,提出一种结合源自News Discourse Profiling任务的结构感知句子表示的新流水线,仅加入少量额外层即在多项RST解析指标上取得优异性能。
2023-09-08 cs.CL
DMRST: A Joint Framework for Document-Level Multilingual RST Discourse Segmentation and Parsing
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
文本语篇分析对于理解自然语言中的信息流和论证结构具有重要意义,有利于后续任务的完成。虽然以前的工作显着提高了文本话语解析的性能,但它们并不容易应用于实际用例:(1)EDU分割没有集成到大多数现有的树解析框架中,因此在新出现的数据上应用这些模型并不简单。(2)大多数解析器不能用于多语言场景,因为它们只使用英语开发。(3)从单域树库训练的解析器不能很好地泛化域外输入。在这项工作中,我们提出了一个文档级的多语言的文本分析框架,进行EDU分割和话语树分析联合。此外,我们提出了一个跨翻译增强策略,使框架,以支持多语言解析,提高其领域的通用性。实验结果表明,我们的模型实现了最先进的性能在所有子任务的文档级的多语言文本分析。
2021-10-09 cs.CL
Cross-lingual RST Discourse Parsing
University of Copenhagen(哥本哈根大学);CNRS(法国国家科学研究中心);Univ Paris Diderot(巴黎狄德罗大学)
语篇分析是理解文档中的信息流和论证结构的一个组成部分。以往的研究主要集中在对英语语篇树库中的模式进行归纳和评价。然而,其他语言的话语树库也存在,包括西班牙语、德语、巴斯克语、荷兰语和巴西葡萄牙语。树库共享相同的基本语言学理论,但在文档注释的方式上略有不同。在本文中,我们提出了(a)一个新的话语分析器,这是更简单的,但有竞争力的(显着更好的2/3的指标),以最先进的英语,(b)跨语言的话语树库的协调,使我们能够提出(c)什么是我们所知道的最好的是跨语言话语分析的第一个实验。
2017-01-11 cs.CL
An Annotation Scheme of A Large-scale Multi-party Dialogues Dataset for Discourse Parsing and Machine Comprehension
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们提出了大规模的多方聊天对话的话语分析和机器理解的注释方案。这个项目的主要目标是帮助理解多方对话。我们的数据集基于Ubuntu Chat语料库。对于每一个多方对话,我们注释了对话的话语结构和问答对。我们知道,这是第一个大规模的多方对话语篇分析语料库,我们首次提出了多方对话机器阅读理解的任务。
2019-11-08 cs.CL
Fast Rhetorical Structure Theory Discourse Parsing
Educational Testing Service(教育考试服务中心);University of Southern California(南加州大学)
近年来,人们对语篇分析进行了各种各样的研究,尤其是对非正式语篇分析的研究。最近的大多数工作都集中在实现新类型的功能或学习算法,以提高准确性,相对较少关注的效率,鲁棒性,或实际使用。此外,大多数实现并不广泛可用。在这里,我们描述了一个自适应的模型和功能集从各种以前的工作,如下所述的视频分割和解析系统。它的准确性接近最先进的水平,并且它被开发为快速,稳健和实用。例如,它可以在不到一秒钟的时间内处理新闻文章或散文等简短文档。
2015-05-10 cs.CL
Multilingual Neural RST Discourse Parsing
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究所)
语篇分析在理解自然语言中的信息流和论证结构方面起着重要的作用。以往的修辞结构理论研究主要集中在从英语树库中归纳和评价模式。然而,由于注释数据的短缺,其他语言(如德语,荷兰语和葡萄牙语)的解析任务仍然具有挑战性。在这项工作中,我们研究了两种方法来建立一个神经,跨语言的话语解析器通过:(1)利用多语言向量表示;(2)采用段级翻译的源内容。实验结果表明,这两种方法在训练数据有限的情况下也能有效地进行文本级的跨语言句法分析。
2020-12-03 cs.CL
PMB5: Gaining More Insight into Neural Semantic Parsing with Challenging Benchmarks
Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心)
针对PMB上神经语义模型性能被高估的问题,提出系统数据划分方法及长文本、组合泛化两个挑战集,评测发现5种神经模型在挑战集上性能显著下降,暴露其局限性。
2024-09-16 cs.CL
A Top-Down Neural Architecture towards Text-Level Parsing of Discourse Rhetorical Structure
Soochow University(苏州大学)
语篇修辞结构的文本级句法分析在自然语言的深层理解和各种下游应用中具有重要意义,近年来受到越来越多的关注。然而,以往的文本级语篇分析研究都是采用自底向上的方法,这使得DRS的确定仅限于局部信息,不能充分利用语篇整体信息。在本文中,我们证明从计算和感知的角度来看,自顶向下的架构更适合于文本级DRS解析。在此基础上,我们提出了一个自顶向下的神经网络结构的文本级DRS解析。特别是,我们铸造的话语分析作为一个递归的分裂点排名任务,其中一个分裂点被分类到不同的水平,根据其排名和与之相关的基本话语单位(EDU)相应地安排。以这种方式,我们可以通过具有内部堆栈的编码器-解码器将完整的DRS确定为分层树结构。在英文RST-DT语料库和中文CDTB语料库上的实验结果表明,本文提出的自顶向下方法对文本级DRS句法分析是有效的。
2021-05-19 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen(格罗宁根大学)
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记,与基线字符级模型相比,我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型,但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成,在性能上会有很小的提高。
2017-04-19 cs.CL
Top-down Discourse Parsing via Sequence Labelling
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
我们引入了一种自上而下的话语分析方法,这种方法在概念上比它的前辈更简单(Kobayashi等人,2020; Zhang等人,2020年)。通过框架的任务作为一个序列标签的问题,其目标是迭代分割成单独的话语单位的文件,我们能够消除解码器,并减少分裂点的搜索空间。我们探讨了传统的循环模型和现代的预训练的Transformer模型的任务,并引入了一种新的自顶向下的解析动态预言。基于Full度量,我们提出的LSTM模型为XML解析提供了一种新的最先进的技术。
2021-04-05 cs.CL
Parsing as Reduction
Universidade de Vigo(维戈大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Priberam Labs(Priberam实验室)
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示,“头有序依赖树”,表现出同构的组成树。通过编码顺序信息的依赖标签,我们表明,任何现成的,可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候,我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单,但实验表明,所得到的解析器与强大的基线相当,例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国,我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
Universal Dependency Parsing with a General Transition-Based DAG Parser
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文介绍了我们将TUPA应用于CoNLL 2018 UD共享任务的实验。TUPA是一个通用的神经转换为基础的DAG解析器,我们使用它来恢复增强的依赖关系作为一般解析任务的一部分,目前的第一个实验。TUPA是为分析UCCA而设计的,UCCA是一种跨语言的语义标注方案,具有可重入性,不连续性和非终结节点。通过将UD树和图转换为类似于UCCA的DAG格式,我们训练TUPA几乎不需要对UD解析任务进行修改。我们的方法的通用性质自然适合于多任务学习。我们的代码可在https://github.com/CoNLL-UD-2018/HUJI上获得
2018-08-28 cs.CL
Structure-Preserving Document-Level Data Augmentation via Discourse Parsing
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学)
该研究针对现有数据增强忽略语篇结构的问题,提出基于LLMs和语篇解析的结构保留型文档级数据增强框架,在文本摘要和问答任务中提升了混合数据训练效果。
2026-10-15 cs.AI cs.CL
Shallow Discourse Parsing Using Distributed Argument Representations and Bayesian Optimization
Georgia Institute of Technology(佐治亚理工学院)
本文描述了佐治亚理工学院团队对CoNLL-2016补充评估的方法。我们使用长短期记忆(LSTM)来归纳每个参数的分布式表示,然后将这些表示与神经网络中的表面特征相结合。神经网络的结构由贝叶斯超参数搜索确定。
2016-06-14 cs.CL
Enhanced Universal Dependency Parsing with Second-Order Inference and Mixture of Training Data
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程研究中心);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文介绍了我们提交给\textit{IWPT 2020 Shared Task}的系统。我们的系统是一个基于图的解析器与二阶推理。对于资源较少的泰米尔语语料,我们特别将泰米尔语的训练数据与其他语言混合,显著提高了泰米尔语的性能。由于我们对提交要求的误解,我们提交了没有连接的图表,这使得我们的系统只能将\textbf{6th}排在10个团队以上。然而,在我们解决了这个问题后,我们的系统比在官方结果中排名\textbf{1st}的团队高出0.6 ELAS。
2021-06-02 cs.CL cs.LG