Strictly Breadth-First AMR Parsing
University of Rochester(罗切斯特大学)
AMR解析是将句子自动映射到AMR语义图的任务。我们专注于这个任务的宽度优先策略,这是最近提出的,并取得了更好的性能比其他策略。然而,目前的模型在这种策略下只有\emph{encourage}模型产生的AMR图的宽度优先顺序,但\emph{cannot guarantee}这。为了解决这个问题,我们提出了一个新的架构,\emph{guarantees},解析将严格遵循广度优先顺序。在每个解析步骤中,我们引入一个\textbf{focused parent}顶点,并使用这个顶点来指导生成。在这种新架构以及句子和图形编码器的一些其他改进的帮助下,我们的模型在AMR 1.0和2.0数据集上都获得了更好的性能。
2022-11-08 cs.CL
AMR Parsing using Stack-LSTMs
IBM T.J Watson Research Center(IBM T.J. Watson 研究中心)
我们提出了一个基于转换的AMR解析器,直接生成AMR分析纯文本。我们使用Stack-LSTM来表示我们的解析器状态,并做出绿色的决策。在我们的实验中,我们表明,我们的解析器实现了非常有竞争力的成绩,英语只使用AMR训练数据。添加其他信息,如POS标记和依赖关系树,可以进一步改进结果。
2017-08-02 cs.CL
Pushing the Limits of AMR Parsing with Self-Learning
IBM Research(IBM研究院)
由于迁移学习的影响和AMR特有的新架构的发展,抽象意义表示(AMR)解析在过去两年中的性能有了显著的增长。与此同时,自学习技术也有助于推动其他自然语言处理应用程序的性能边界,例如机器翻译或问答。在本文中,我们探索了训练模型可以应用于提高AMR解析性能的不同方法,包括合成文本和AMR注释的生成以及动作oracle的细化。我们表明,在没有任何额外的人工注释的情况下,这些技术提高了已经很高性能的解析器,并在AMR 1.0和AMR 2.0上实现了最先进的结果。
2020-10-20 cs.CL
Graph Pre-training for AMR Parsing and Generation
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
抽象意义表示(AMR)以图的形式突出文本的核心语义信息。最近,预训练的语言模型(PLM)分别具有AMR解析和AMR到文本生成的高级任务。然而,PLM通常是在文本数据上进行预训练的,因此对于建模结构知识来说是次优的。为此,我们研究了图自监督训练,以提高AMR图上PLM的结构意识。特别是,我们介绍了两个图形自动编码策略,用于图形到图形的预训练和四个任务,以在预训练期间整合文本和图形信息。我们进一步设计了一个统一的框架,以弥合预训练和微调任务之间的差距。AMR解析和AMR文本生成实验表明了该模型的优越性。据我们所知,我们是第一个考虑对语义图进行预训练的人。
2022-05-04 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen(格罗宁根大学)
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记,与基线字符级模型相比,我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型,但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成,在性能上会有很小的提高。
2017-04-19 cs.CL
Neural AMR: Sequence-to-Sequence Models for Parsing and Generation
Paul G. Allen School of Computer Science & Engineering, Univ. of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
序列到序列模型在广泛的应用中表现出强大的性能。然而,他们的应用程序解析和生成文本usingAbstract Meaning Representation(AMR)一直是有限的,由于标记的数据量相对有限,AMR图的非顺序性。我们提出了一种新的训练过程,可以使用数百万个未标记的句子和AMR图的仔细预处理来解除这一限制。对于AMR解析,我们的模型达到了62.1SMATCH的竞争结果,这是目前在没有大量使用外部语义资源的情况下报告的最好成绩。对于AMR一代,我们的模型建立了BLEU 33.8的最新性能。我们提出了广泛的消融和定性分析,包括强有力的证据表明,基于序列的AMR模型是强大的排序变化的图形到序列的转换。
2017-08-18 cs.CL
SemBleu: A Robust Metric for AMR Parsing Evaluation
University of Rochester(罗切斯特大学)
评估AMR解析准确性涉及比较AMR图对。主要评估指标SMATCH(Cai and Knight,2013)使用贪婪爬山算法搜索两个AMR的节点之间的一对一映射,这会导致搜索错误。我们提出了SEMBLEU,一种扩展BLEU的鲁棒度量(Papineni等人,2002年)。它不受搜索错误的影响,并且除了本地对应之外还考虑非本地对应。SEMBLEU是完全内容驱动的,并惩罚系统的输出不保留输入中的大部分信息的情况。在句子和语料两个层面上的初步实验表明,SEMBLEU与人类判断的一致性略高于SMATCH。我们的代码可在http://github.com/freesunshine0316/sembleu上获得。
2019-05-30 cs.CL
Online Back-Parsing for AMR-to-Text Generation
Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
AMR到文本生成旨在恢复包含与输入AMR图相同含义的文本。目前的研究开发了越来越强大的图形编码器,以更好地表示AMR图形,并使用基于标准语言建模的解码器来生成输出。我们提出了一个解码器,在文本生成过程中预测预测AMR图的目标句子。因此,我们的输出可以更好地保留输入的意义比标准的解码器。两个AMR基准测试的实验表明,我们的模型优于以前的国家的最先进的系统的基础上图Transformer。
2020-10-09 cs.CL
Hierarchical Curriculum Learning for AMR Parsing
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微)
摘要意义表示(AMR)解析旨在将句子转换为具有层次结构的语义表示,最近通过预训练的序列到序列模型进行了授权。然而,他们的扁平化培训目标(即,平等对待所有输出令牌)和分层AMR结构,这限制了模型的泛化。为了弥补这一差距,我们提出了一个分层的课程学习(HCL)的框架,结构级(SC)和实例级课程(IC)。在训练过程中,SC逐渐从核心AMR语义元素切换到细节AMR语义元素,而IC从结构简单的AMR实例过渡到复杂的AMR实例。通过这两个预热过程,HCL降低了学习复杂结构的难度,从而使平面模型更好地适应AMR层次结构。在AMR2.0、AMR3.0、结构复杂和分布外的情况下进行了大量的实验,验证了HCL的有效性。
2022-04-26 cs.CL
A Transition-based Algorithm for Unrestricted AMR Parsing
Universidade da Coruña(拉科鲁尼亚大学);FASTPARSE Lab, LyS Group(FASTPARSE实验室,LyS小组)
非投射解析可以用于处理AMR图中的循环和重入。我们探索这个想法,并介绍了一个贪婪的左到右的非投射转换为基础的分析器。在每个解析配置中,oracle决定是否创建一个概念或是否连接一对现有概念。该算法处理可重入性和任意循环本机,即在过渡系统本身。在LDC2015E86语料库上对该模型进行了评估,获得了接近最新技术水平的结果,包括64%的Smatch,并在重入边缘上表现出良好的行为。
2018-05-23 cs.CL
AMR Parsing as Graph Prediction with Latent Alignment
ILCC, School of Informatics, University of Edinburgh(爱丁堡大学信息学院ILCC);ILLC, University of Amsterdam(阿姆斯特丹大学ILLC)
抽象意义表示(AMR)是一种覆盖面很广的层次语义表示。AMR将句子表示为带根标记的有向无环图。AMR解析具有挑战性,部分原因是图中的节点与相应句子中的单词之间缺乏注释对齐。我们引入了一个神经解析器,它将对齐视为概念,关系和对齐的联合概率模型内的潜在变量。由于精确推理需要边缘化对齐,是不可行的,我们使用变分自动编码框架和连续松弛的离散对齐。我们表明,联合建模是最好的使用管道对齐和解析。该解析器在标准基准测试中获得了最好的报告结果(在LDC 2016E25上为74.4%)。
2018-05-14 cs.CL
Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing
Harvard University(哈佛大学);IBM Research(IBM研究院)
使用预训练的序列到序列Transformer模型预测线性化的抽象意义表示(AMR)图最近导致AMR解析基准的大幅改进。这些解析器很简单,避免了显式的结构建模,但缺乏理想的属性,如图形格式良好的保证或内置的图形句子对齐。在这项工作中,我们探讨了一般的预训练序列到序列的语言模型和结构感知的过渡为基础的方法的集成。我们从基于指针的转换系统出发,提出了一个简化的转换集,旨在更好地利用预先训练的语言模型进行结构化微调。我们还探索了在预训练的编码器-解码器架构内对解析器状态进行建模,以及出于相同目的的不同词汇策略。我们提供了一个详细的比较与AMR解析的最新进展,并表明,建议的解析器保留了以前的过渡为基础的方法所需的属性,同时更简单,达到新的解析状态的AMR 2.0,而不需要图重新分类。
2021-10-29 cs.CL
AMR Dependency Parsing with a Typed Semantic Algebra
Saarland University(萨尔兰大学);Macquarie University(麦考瑞大学)
我们提出了一个语义解析器的抽象意义表示学习解析字符串到树表示的AMR图的组成结构。这使我们能够使用标准的神经技术进行超标记和依赖树解析,并受到语言原则类型系统的约束。我们提出了两种近似解码算法,实现了最先进的精度和优于强基线。
2018-05-29 cs.CL
AMR Parsing with Causal Hierarchical Attention and Pointers
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
针对基于翻译的AMR解析器忽略结构局部性及引入不必要共指token的问题,提出配备因果分层注意力和指针机制的CHAP模型,将结构整合进Transformer解码器,在五个基准中的四个上优于基线模型。
2023-10-18 cs.CL
Rewarding Smatch: Transition-Based AMR Parsing with Reinforcement Learning
IBM Research(IBM研究院);IBM Watson(IBM沃森)
我们的工作涉及通过使用策略学习增强训练并奖励采样图的Smatch分数来丰富基于Stack-LSTM转换的AMR解析器(Ballesteros和Al-Onaizan,2017)。此外,我们还将几种AMR到文本对齐与注意力机制结合起来,并通过预处理的概念识别、命名实体和上下文化嵌入来补充解析器。我们实现了极具竞争力的性能,可与最佳公布结果相媲美。我们展示了对解析器的每个新组件的深入研究
2019-05-31 cs.CL
RIGA at SemEval-2016 Task 8: Impact of Smatch Extensions and Character-Level Neural Translation on AMR Parsing Accuracy
University of Latvia, IMCS and LETA(拉脱维亚大学数学与计算机科学研究所及LETA)
AMR smatch评分脚本的两个扩展。第一个扩展将smatch评分脚本与C6.0基于规则的分类器相结合,以生成关于评分AMR图中观察到的错误模式频率的人类可读报告。第一个扩展通过向CAMR基线解析器添加一个手工制作的包装器来修复已识别的CAMR解析器错误,从而比最先进的CAMR基线解析器提高了4%。第二个扩展结合了每句smatch与en-encryption方法,用于在同一句的AMR图集合中选择最佳AMR图。第二个修改自动产生进一步0.4%的增益时,ap-plied两个非确定性AMR解析器的输出:一个CAMR+包装器解析器和一个新的字符级神经翻译AMR解析器。对于AMR解析任务,字符级神经翻译比精心优化的单词级神经翻译获得了令人惊讶的7%的增益。总体而言,我们在SemEval-2016官方评分集上实现了smatch F1=62%,在LDC 2015 E86测试集上实现了F1=67%。
2016-04-05 cs.CL
ATP: AMRize Then Parse! Enhancing AMR Parsing with PseudoAMRs
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微)
由于抽象意义表征(AMR)隐含地涉及复合语义标注,我们假设语义或形式相关的辅助任务可以更好地增强AMR解析。我们发现,1)语义角色标注(SRL)和依存句法分析(DP),将带来更多的性能增益比其他任务,如MT和摘要在文本到AMR的过渡,即使有更少的数据。2)为了更好地适应AMR,来自辅助任务的数据应该在训练之前被适当地“AMR化”为伪AMR。通过结构转换,可以更好地将浅层句法分析任务中的知识转移到AMR句法分析中。3)与多任务学习相比,中间任务学习是将辅助任务引入AMR句法分析的一种更好的范式。从实证的角度来看,我们提出了一个原则性的方法,涉及辅助任务,以提高AMR解析。大量的实验表明,我们的方法实现了新的国家的最先进的性能在不同的基准,特别是在拓扑相关的分数。
2022-04-20 cs.AI cs.CL
Automatic Accuracy Prediction for AMR Parsing
Research Training Group AIPHES(AIPHES研究培训小组);Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”(莱布尼茨科学园区“实证语言学与计算语言建模”);Department for Computational Linguistics(计算语言学系)
抽象意义表示(AMR)将句子表示为有向图、无环图和有根图,旨在以机器可读的格式捕获它们的意义。AMR解析将自然语言句子转换成这样的图。然而,通过与手动创建的AMR图进行比较来评估新数据的解析器是非常昂贵的。此外,我们希望能够检测质量有问题的解析,或者通过选择我们可以评估质量良好的系统来选择替代系统的结果。我们提出AMR准确性预测的任务,预测几个指标的正确性自动生成的AMR解析-在没有相应的黄金解析。我们开发了一个神经端到端多输出回归模型,并进行了三个案例研究:首先,我们评估了模型预测AMR解析准确率的能力,并测试了它是否可以可靠地为黄金解析分配高分。其次,我们执行解析选择的基础上预测的解析精度的候选解析从替代系统,以提高整体结果的目的。最后,我们预测系统排名提交两个AMR共享任务的基础上,他们预测的解析精度平均值。所有的实验都在两个不同的领域进行,并表明我们的方法是有效的。
2019-04-17 cs.CL
Guiding AMR Parsing with Reverse Graph Linearization
Peking University(北京大学)
针对AMR解析中序列到序列方法解码时结构丢失累积的问题,提出反向图线性化(RGL)框架,通过两遍自蒸馏机制整合反向线性化,显著提升解析性能,在AMR 2.0和3.0数据集上分别提升0.8和0.5 Smatch分数。
2023-10-13 cs.CL
Robust Subgraph Generation Improves Abstract Meaning Representation Parsing
Stanford University(斯坦福大学)
抽象意义表示(AMR)是一种开放域丰富语义的表示,在事件提取和机器翻译等领域具有潜在的用途。节点生成通常使用简单的字典查找完成,目前是AMR解析中的一个重要限制因素。我们提出了一个小的动作集,通过对文本跨度的转换来获得AMR子图,这使得这个阶段的学习更加强大。我们的构造动作集比以前的方法更好地泛化,并且可以通过简单的分类器学习。我们改进了AMR解析的先前最先进的结果,在LDC 2013 E117和LDC 2014 T12数据集上将端到端性能提高了3 F $_1$。
2015-06-10 cs.CL
Inducing and Using Alignments for Transition-based AMR Parsing
Harvard University(哈佛大学);IBM Research(IBM研究院)
抽象意义表示(AMR)的基于转换的解析器依赖于节点到单词的对齐。这些对齐是从解析器训练中单独学习的,需要一个复杂的基于规则的组件、预处理和后处理的管道来满足特定于域的约束。解析器还对对齐管道的点估计进行训练,忽略由于对齐的固有模糊性而导致的不确定性。在这项工作中,我们探索两种途径来克服这些限制。首先,我们提出了一种用于AMR的神经对齐器,它可以在不依赖复杂管道的情况下学习节点到单词的对齐。随后,我们探讨了一个更紧密的整合对齐器和解析器的训练,考虑分配在Oracle动作序列所产生的对齐器的不确定性。实验结果表明,这种方法可以更准确地对齐和泛化更好地从AMR2.0到AMR3.0语料库。我们实现了仅限黄金训练模型的最新技术水平,匹配银训练性能,而无需AMR 3.0上的束搜索。
2022-05-03 cs.CL
Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
抽象语义表示(AMR)是一种表示自然语言语义的带根、带标号的无环图。正如以前的工作表明,虽然AMR最初是为英语设计的,但它也可以表示其他语言的语义。然而,他们发现他们预测的AMR图中的概念不太具体。我们认为,概念的错误预测是由于英语标记和AMR概念之间的高度相关性。在这项工作中,我们引入双语输入,即翻译文本以及非英语文本,以使模型能够预测更准确的概念。此外,我们还引入了一个辅助任务,要求解码器同时预测英语序列。辅助任务可以帮助解码器理解对应的英语标记到底是什么。我们提出的跨语言AMR解析器在Smatch F1得分上超过了以前最先进的解析器10.6分。消融研究也证明了我们提出的模块的有效性。
2021-06-09 cs.CL
AMR Parsing with Action-Pointer Transformer
Harvard University(哈佛大学);IBM Research(IBM研究(部))
摘要语义表示分析是一个语义到图形的预测任务,目标节点没有显式地与句子标记对齐。然而,由于图节点在语义上基于一个或多个句子标记,因此可以导出隐式对齐。基于转换的解析器从左到右对句子进行操作,以有限的表达能力为代价通过对齐来捕获这种归纳偏差。在这项工作中,我们提出了一个过渡为基础的系统,结合了硬注意的句子与目标端的动作指针机制,从节点表示和地址对齐解耦源令牌。我们在一个单一的Transformer架构中通过简单的修改对转换和指针机制进行建模。解析器状态和图结构信息使用注意头有效地编码。我们表明,我们的动作指针的方法导致增加的表现力,并取得了很大的收益(+1.6点)对最好的基于transition的AMR解析器在非常相似的条件。在不使用图重新分类的情况下,我们的单一模型在AMR 2.0上产生了第二好的Smatch得分(81.8),使用银数据和集成解码进一步提高到83.4。
2021-05-18 cs.CL
Neural Semantic Parsing by Character-based Translation: Experiments with Abstract Meaning Representations
Center for Language and Cognition Groningen (CLCG), University of Groningen(格罗宁根大学语言与认知中心)
我们评估的字符级翻译方法的神经语义解析的大型语料库的句子注释与抽象意义表示(AMR)。使用序列到序列模型,以及AMR的一些琐碎的预处理和后处理,我们获得了53.1的基线准确度(AMR三元组的F分数)。我们研究了五种不同的方法来改善这个基线结果:(i)重新排序AMR分支以匹配输入句子的词序,将性能提高到58.3;(ii)添加词性标记(自动生成)的输入也显示出改进(57.2);(iii)超级字符的引入也是如此(将频繁字符序列合并为单个字符),达到57.4;(iv)通过使用预训练和平均一组模型来优化训练过程,将性能提高到58.7;(v)添加由现成的解析器获得的银标准训练数据产生最大的改进,导致64.0的F分数。结合所有五种技术,在保持数据上的F分数为71.0,这在AMR解析中是最先进的。这是值得注意的,因为该方法相对简单。
2017-10-09 cs.CL
HuAMR: A Hungarian AMR Parser and Dataset
HUN-REN Institute for Computer Science and Control(HUN-REN计算机科学与控制研究所);Eötvös Loránd University(厄特沃什·罗兰大学)
本文提出首个匈牙利语AMR数据集HuAMR及基于大语言模型的解析器,通过自动生成与人工精炼标注,评估不同模型和微调策略,证实其在新闻领域提升解析准确率。
2025-02-27 cs.CL
How Reliable are AMR Parser Outputs? Uncertainty Estimation for AMR Parsing
Indian Institute of Technology Jammu(贾姆穆印度理工学院);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);The University of Tokyo(东京大学)
本研究针对AMR解析器输出的可靠性问题,首次在黑盒场景下利用top-k束搜索候选进行不确定性估计,通过多方面分析识别出性能与可靠性平衡最佳的解析器,证实不确定性估计是评估AMR解析器的有效补充维度。
2026-10-27 cs.AI cs.CL
Translate, then Parse! A strong baseline for Cross-Lingual AMR Parsing
Heidelberg University(海德堡大学)
在跨语言抽象意义表示(AMR)解析中,研究人员开发了将各种语言的句子投影到AMR上以捕获其基本语义结构的模型:给定任何语言的句子,我们的目标是通过由多种类型的语义关系连接的概念来捕获其核心语义内容。方法通常利用大型银训练数据来学习能够将非英语句子投射到AMR的单个模型。然而,我们发现,一个简单的基线往往被忽视:翻译的句子,英语和投射他们的AMR与单语AMR解析器(翻译+解析,T+P)。在本文中,我们重新审视了这个简单的两步基线,并通过强大的NMT系统和强大的AMR解析器对其进行了增强。我们的实验表明,T+P在所有测试语言中的表现都优于最近最先进的系统:德语,意大利语,西班牙语和普通话,S匹配点分别为+14.6,+12.6,+14.3和+16.0。
2021-06-08 cs.AI cs.CL
Slide, Constrain, Parse, Repeat: Synchronous SlidingWindows for Document AMR Parsing
IBM Research AI(IBM研究院AI部门)
本文提出一种基于同步滑动窗口和转移解析的文档级AMR解析方法,通过约束解码保证跨窗口一致性,在AMR 3.0上以可控内存达到与最先进流水线方法相当的性能。
2023-05-26 cs.AI cs.CL
AMR Parsing with Instruction Fine-tuned Pre-trained Language Models
IBM Research AI(IBM研究院人工智能部门)
本文将指令微调预训练模型 FLAN-T5 应用于 AMR 解析,并结合全量微调与 LoRA,在 AMR2.0、AMR3.0 和 BioAMR 上取得新的 Smatch 最优成绩。
2023-04-24 cs.AI cs.CL
Incorporating Graph Information in Transformer-based AMR Parsing
Sapienza University of Rome(罗马大学);Babelscape(Babelscape公司)
本文提出LeakDistill模型,通过结构适配器将图信息融入Transformer编码器,结合词到节点对齐与自知识蒸馏,在不使用额外数据的情况下提升了AMR解析性能。
2023-06-23 cs.AI cs.CL
AMRs Assemble! Learning to Ensemble with Autoregressive Models for AMR Parsing
Babelscape(巴贝尔斯凯普);Sapienza University of Rome(罗马第一大学)
本文针对 AMR 解析中集成策略违反结构约束的问题,提出两种基于 Transformer 的集成方法,提高鲁棒性并降低计算成本,为解析器与指标改进提供新思路。
2023-06-19 cs.AI cs.CL
Broad-Coverage Semantic Parsing as Transduction
Johns Hopkins University(约翰斯·霍普金斯大学)
我们统一了不同的广泛覆盖的语义解析任务下的转导范式,并提出了一个基于注意力的神经框架,逐步建立一个意义表示通过一系列的语义关系。通过利用多个注意力机制,可以有效地训练换能器而不依赖于预先训练的对准器。在三个独立的广泛覆盖的语义解析任务- AMR,SDP和UCCA -上进行的实验表明,我们的基于注意力的神经传感器提高了AMR和UCCA的最新技术水平,并且与SDP的最新技术水平相竞争。
2019-11-04 cs.CL
A Two-Stage Method for Chinese AMR Parsing
Peking University(北京大学)
在本文中,我们提供了我们的系统在CAMRP-2022评估的详细描述。本文首先提出了一种两阶段的方法来进行带有对齐生成的中文AMR解析,包括概念预测和语义预测两个阶段。我们的模型在CAMR 2.0测试集和CAMRP-2022的盲测集上分别获得了0.7756和0.7074的Align-Smatch F1分数。分析了现有方法的结果和局限性,如错误传播和类不平衡问题。代码和经过训练的模型在https://github.com/PKUnlp-icler/Two-Stage-CAMRP上发布以供复制。
2022-09-29 cs.AI cs.CL
Multilingual AMR Parsing with Noisy Knowledge Distillation
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文从知识蒸馏的角度研究多语言AMR句法分析,目的是以现有的英语句法分析器为教师,学习和改进多语言AMR句法分析器。我们将我们的探索限制在严格的多语言环境中:只有一个模型可以解析所有不同的语言,包括英语。我们确定,嘈杂的输入和精确的输出是成功蒸馏的关键。再加上广泛的预训练,我们得到了一个AMR解析器,其性能超过了所有以前发表的结果,四种不同的外语,包括德语,西班牙语,意大利语和中文,由大利润率(高达18.8 \textsc{Smatch}点,中文和平均11.3 \textsc{Smatch}点)。我们的解析器在英语上也达到了与最新的最先进的纯英语解析器相当的性能。
2021-10-14 cs.AI cs.CL
Reassessing Graph Linearization for Sequence-to-sequence AMR Parsing: On the Advantages and Limitations of Triple-Based Encoding
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG(格拉诺布尔大学、CNRS、格拉诺布尔INP、LIG);Emvista(Emvista公司)
针对序列到序列 AMR 解析中图线性化问题,本文比较三元组编码与 Penman 编码,指出三元组虽适合图表示,但在嵌套结构表达上仍需改进。
2025-05-13 cs.CL
Core Semantic First: A Top-down Approach for AMR Parsing
The Chinese University of Hong Kong(香港中文大学)
我们介绍了一种新的方案,用于解析一段文本到其抽象意义表示(AMR):基于图生成的解析(GSP)。GSP的一个新特性是它以自顶向下的方式递增地构造解析图。从根节点开始,在每一步中,新节点及其与现有节点的连接将被联合预测。输出图按照到根的距离跨越节点,遵循首先抓住主要思想然后挖掘更多细节的直觉。\textit{core semantic first}原则强调捕捉句子的主要思想,这是非常有趣的。我们评估我们的模型在最新的AMR sembank,并实现了国家的最先进的性能,在这个意义上,没有启发式图重新分类。更重要的是,实验表明,我们的解析器是特别好的获得核心语义。
2019-09-12 cs.AI cs.CL
Maximum Bayes Smatch Ensemble Distillation for AMR Parsing
IBM Research AI(IBM研究院人工智能部门);IBM Research - Ireland(IBM研究院爱尔兰分院)
AMR解析在过去三年中经历了前所未有的性能增长,这是由于包括架构改进和迁移学习在内的多种影响。自学技巧也在推动业绩方面发挥了作用。然而,对于大多数最近的高性能解析器,自学习和银数据增强的效果似乎正在消失。在本文中,我们建议克服这种收益递减银数据相结合的Smatch集成技术与合奏蒸馏。在一个广泛的实验设置中,我们将单一模型英语解析器的性能推到了最先进的水平,85.9(AMR2.0)和84.3(AMR3.0),并从银数据增强中恢复到了实质性的收益。我们还实现了针对中文、德语、意大利语和西班牙语的跨语言AMR解析的最新技术水平。最后,我们探讨了所提出的技术对领域自适应的影响,并表明它可以产生与QALD-9的人类注释数据相媲美的收益,并实现了BioAMR的新的最先进水平。
2022-05-02 cs.AI cs.CL
AMR Parsing via Graph-Sequence Iterative Inference
The Chinese University of Hong Kong(香港中文大学)
我们提出了一个新的端到端的模型,把AMR解析作为一系列的双重决定的输入序列和增量构造的图。在每个时间步,我们的模型执行多轮注意、推理和组合,旨在回答两个关键问题:(1)提取输入\textit{sequence}的哪一部分;(2)在输出\textit{graph}的哪里构建新概念。我们表明,这两个问题的答案是相互因果关系。我们设计了一个基于迭代推理的模型,有助于在两个方面都获得更好的答案,从而大大提高了解析精度。我们的实验结果显著优于所有以前报道的\textsc{Smatch}分数的大幅度。值得注意的是,在没有任何大规模预训练的语言模型的帮助下(例如,BERT),我们的模型已经超越了以前的国家的最先进的使用BERT。在BERT的帮助下,我们可以将最先进的结果在LDC 2017 T10(AMR 2.0)上推到80.2%,在LDC 2014 T12(AMR 1.0)上推到75.4%。
2020-04-29 cs.CL cs.LG
An Improved Approach for Semantic Graph Composition with CCG
Georgetown University(乔治城大学)
本文建立在以前的工作,使用组合范畴语法(CCG),推导出一个透明的语法语义接口的抽象意义表示(AMR)解析。我们定义了新的语义的CCG组合子,更适合于导出AMR图。特别是,我们为应用程序和组合组合子定义了关系式替代方案:这些要求组合的两个成分在一个AMR关系中重叠。我们还提供了一个新的语义类型提升,这是必要的某些建设。使用这些机制,我们建议分析事件性名词,这对AMR图的推导提出了挑战。我们的理论分析将促进未来的工作,强大的和透明的AMR解析使用CCG。
2019-04-10 cs.CL
A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
摘要意义表示是一种广泛的语义形式主义,它将句子意义表示为一个有向无环图。为了训练大多数AMR解析器,需要将图分割成子图,并将每个子图与句子中的单词对齐;这通常在预处理时完成,依赖于手工制定的规则。相比之下,我们将对齐和分割视为模型中的潜在变量,并将其作为端到端训练的一部分。由于结构化隐变量的边缘化是不可行的,我们使用变分自编码框架。为了确保端到端的可微优化,我们引入了可微松弛的分割和对齐问题。我们观察到,诱导分割产生了很大的收益使用“贪婪”分割启发式。我们的方法的性能也接近依赖于\citet{lyu-titov-2018-amr}的分割规则的模型的性能,该分割规则是手工制作的以处理单个AMR构造。
2022-10-24 cs.CL cs.LG
Robust Incremental Neural Semantic Graph Parsing
University of Oxford(牛津大学);DeepMind
将句子解析为具有语言表达性的语义表示是自然语言处理的一个关键目标。然而,统计分析几乎完全集中在双语依赖或特定领域的逻辑形式。我们提出了一个神经编码器-解码器转换为基础的解析器,这是第一个全覆盖的最小递归语义(MRS)的语义图解析器。该模型架构使用基于堆栈的嵌入功能,预测图与unexicalized谓词及其令牌对齐。我们的解析器比MRS上基于注意力的基线更准确,并且在附加的抽象意义表示(AMR)基准上,GPU批处理使其比基于语法的高精度解析器快一个数量级。此外,我们的MRS解析器的86.69%Smatch分数高于AMR解析的上限,使MRS成为一个有吸引力的选择作为语义表示。
2017-07-27 cs.CL
DocAMR: Multi-Sentence AMR Representation and Evaluation
IBM Research AI(IBM研究院人工智能部门);U.S. Army Research Laboratory(美国陆军研究实验室);Thorn;University of California, Santa Cruz(加州大学圣克鲁兹分校);Georgetown University(乔治城大学)
尽管对将英语句子解析成抽象意义表示(AMR)图进行了广泛的研究,并通过Smatch度量将其与黄金图进行了比较,但将完整文档解析成统一的图表示缺乏定义良好的表示和评估。利用从以前的工作中的超参考注释水平,我们引入了一个简单的算法,用于导出一个统一的图形表示,避免了信息丢失的陷阱过度合并和缺乏一致性的合并。接下来,我们描述了对Smatch度量的改进,使其易于比较文档级图,并使用它来重新评估最佳发布的文档级AMR解析器。我们还提出了一种结合顶级性能的AMR解析器和共指消解系统的管道方法,为未来的研究提供了强有力的基线。
2022-05-06 cs.CL
Evaluation of Finetuned LLMs in AMR Parsing
本文评估了四种仅解码器LLM在AMR解析上的微调效果,发现直接微调即可达到SOTA水平,其中LLaMA 3.2语义性能最佳,SMATCH F1达0.804。
2025-08-18 cs.AI cs.CL
Ensembling Graph Predictions for AMR Parsing
IBM Research(IBM研究院);IBM Research, Thomas J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心)
在许多机器学习任务中,模型被训练来预测结构数据,例如图。例如,在自然语言处理中,将文本解析成依赖树或抽象含义表示(AMR)图是非常常见的。另一方面,集成方法将来自多个模型的预测组合在一起,以创建一个比单个预测更鲁棒和准确的新模型。在文献中,有许多集成技术提出的分类或回归问题,然而,集成图预测还没有得到深入研究。在这项工作中,我们将这个问题形式化为挖掘最大的图,这是最支持的一组图预测。由于该问题是NP-Hard问题,我们提出了一个有效的启发式算法来逼近最优解。为了验证我们的方法,我们在AMR解析问题进行了实验。实验结果表明,所提出的方法可以结合最先进的AMR解析器的优势,创建新的预测,比任何单独的模型在五个标准的基准数据集更准确。
2022-01-24 cs.AI cs.CL
Parsing Indonesian Sentence into Abstract Meaning Representation using Machine Learning Approach
School Of Electrical and Informatics Engineering(电气与信息工程学院);Institut Teknologi Bandung(万隆理工学院)
摘要语义表征(AMR)在一个表征中提供了句子的语义关系、共指、命名实体关系等信息。然而,对印尼语句子AMR分析的研究相当有限。在本文中,我们开发了一个系统,旨在使用机器学习的方法来解析一个印尼句子。基于Zhang等人的工作,我们的系统包括三个步骤:对预测,标签预测和图构造。配对预测使用依存句法分析组件来获得AMR的单词之间的边缘。配对预测的结果被传递到标签预测过程,该过程使用监督学习算法来预测AMR的边缘之间的标签。我们使用从文章和新闻文章句子中收集的简单句子数据集。我们的模型实现了简单句子测试数据的SMATCH得分为0.820。
2021-03-05 cs.AI cs.CL
Better Smatch = Better Parser? AMR evaluation is not so simple anymore
Heidelberg University(海德堡大学)
最近,在AMR解析中已经观察到了惊人的进步,如通过结构Smatch度量所测量的。事实上,今天的系统达到的性能水平似乎超过了人类注释者间协议(IAA)的估计。因此,目前还不清楚Spatch(仍然)与解析质量的人类估计有多相关,因为在这种情况下,类似权重的潜在细粒度错误可能会在不同程度上影响AMR的含义。我们对两个流行且强大的AMR解析器进行了分析,根据Smatch的说法,这两个解析器达到了与人类IAA相当的质量水平,并评估了人类质量评级与Smatch和其他AMR指标的关系。我们的主要发现是:i)虽然高Smatch分数表明并非如此,但我们发现AMR解析远未得到解决:我们经常发现结构上很小但语义上不可接受的错误,这些错误严重扭曲了句子的含义。ii)考虑到高性能的解析器,更好的Smatch分数可能不一定表示更好的解析质量。为了对parse(r)的质量差异进行有意义的全面评估,我们建议使用宏观统计数据,使用其他指标和更多的人工分析来增强评估。
2022-10-12 cs.AI cs.CL
Levi Graph AMR Parser using Heterogeneous Attention
Emory University(埃默里大学)
与biaffine解码器相结合,Transformers已经有效地适应了文本到图形的转换,并在AMR解析上实现了最先进的性能。然而,许多先前的工作依赖于双仿射解码器用于弧和标签预测中的任一个或两者,尽管解码器使用的大多数特征可能已经被Transformer学习。本文提出了一种新的AMR解析方法,通过将异构数据(令牌,概念,标签)作为一个输入到Transformer学习注意力,并仅使用注意力矩阵从Transformer预测AMR图中的所有元素(概念,弧,标签)。尽管我们的模型使用的参数比之前最先进的图解析器少得多,但它们在AMR 2.0和3.0上显示出类似或更好的准确性。
2021-07-09 cs.AI cs.CL
Adapting Abstract Meaning Representation Parsing to the Clinical Narrative -- the SPRING THYME parser
University of Colorado Boulder(科罗拉多大学博尔德分校);Boston Children’s Hospital and Harvard Medical School(波士顿儿童医院和哈佛医学院)
本研究设计了首个面向临床病历的AMR解析器SPRING THYME,基于THYME结肠癌数据集通过持续训练和数据增强实现88%的F1分数,并明确了临床领域AMR解析的适配数据需求。
2024-05-15 cs.CL cs.LG
Supervised Syntax-based Alignment between English Sentences and Abstract Meaning Representation Graphs
Japan Science and Technology Agency(日本科学技术振兴机构);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
由于英语句子和AMR标注中的AMR图之间没有对齐链接,自动对齐对于训练AMR解析器是必不可少的。以前的研究将其形式化为一个字符串到字符串的问题,并解决它在一个无监督的方式,这遭受数据稀疏,由于小尺寸的训练数据英语AMR对齐。在本文中,我们将其形式化为基于语法的对齐问题,并基于语法树以有监督的方式解决它,通过将英语AMR标记推广到语法标记来解决数据稀疏问题。实验结果表明,该方法不仅对英语AMR对齐有效,而且对AMR句法分析也有效。
2017-02-18 cs.CL
Multitask Parsing Across Semantic Representations
The Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨夫拉脑科学中心);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
整合不同类型信息的能力是智力的核心,在允许学习一项任务时,可以从为其他任务学习的概括中受益,这具有巨大的实用价值。在本文中,我们解决了具有挑战性的任务,以提高语义解析的性能,UCCA解析作为测试用例,AMR,SDP和通用语法(UD)解析作为辅助任务。我们在三种语言上进行实验,使用统一的基于转换的系统和学习架构来完成所有解析任务。尽管显着的概念,形式和域的差异,我们表明,多任务学习显着提高UCCA解析域内和域外的设置。
2018-05-01 cs.CL
Visual Semantic Parsing: From Images to Abstract Meaning Representation
Samsung AI Centre - Toronto(三星人工智能中心——多伦多);Queen’s University(女王大学);Rutgers University(罗格斯大学)
用于视觉场景理解的场景图的成功已经引起了对抽象视觉输入(例如,图像)转换为结构化表示,其中实体(人和对象)是通过指定它们的关系的边连接的节点。然而,构建这些表示需要昂贵的手动注释,其形式为图像与其场景图或帧配对。这些形式主义仍然局限于它们所能捕捉的实体和关系的性质。在本文中,我们建议利用广泛使用的意义表示领域的自然语言处理,抽象意义表示(AMR),以解决这些缺点。与场景图相比,它在很大程度上强调空间关系,我们的视觉AMR图更语言上知情,重点是从视觉输入推断出的更高层次的语义概念。此外,它们允许我们生成元AMR图,以统一在一个表示下的多个图像描述中包含的信息。通过大量的实验和分析,我们证明,我们可以重新利用现有的文本到AMR解析器解析图像到AMR。我们的研究结果指出了未来重要的研究方向,以提高场景理解。
2022-10-27 cs.CL cs.CV cs.LG
The Role of CNL and AMR in Scalable Abstractive Summarization for Multilingual Media Monitoring
University of Latvia, IMCS(拉脱维亚大学数学与计算机科学研究所);LETA(拉脱维亚通讯社)
在大数据和深度学习时代,人们普遍认为机器学习方法是应对鲁棒和可扩展的信息抽取和摘要的唯一方法。最近有人提出,CNL方法可以扩大规模,建立在嵌入式CNL的概念上,从而允许从例如规范或医学文本中基于CNL的信息抽取,这些文本相当受自然控制,但仍然侵犯CNL的边界。虽然可以利用CNL来实现对媒体监控等用例的强大的广泛覆盖语义解析,但它的潜力在相反的方向上变得更加明显:从总结的AMR图中生成故事亮点,这是本立场文件的重点。
2016-06-20 cs.CL
Semantic Representation for Dialogue Modeling
Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
虽然神经模型在对话系统中取得了有竞争力的成果,但它们在表示核心语义方面表现出有限的能力,例如忽略重要实体。为此,我们利用抽象意义表示(AMR),以帮助对话建模。与文本输入相比,AMR显式地提供了核心语义知识,降低了数据稀疏性。我们开发了一个算法来构建对话级AMR图从会话级AMR,并探讨了两种方法,将AMR到对话系统。对话理解和响应生成任务的实验结果表明,我们的模型的优越性。据我们所知,我们是第一个将正式的语义表示用于神经对话建模的人。
2021-06-01 cs.CL
Structural Automata for Neural Semantic Parsing
University of Groningen(格罗宁根大学)
该研究在DRS和AMR语义解析中引入接受路径解码(APD)等结构自动机方法,提升了严格长度限制下的Smatch++指标,为神经语义解析的解码、事后处理及训练提供了改进方案。
2026-10-12 cs.CL