Improving AMR Parsing with Sequence-to-Sequence Pre-training
Soochow University（苏州大学）；Tencent News（腾讯新闻）
在文献中，对抽象意义表示（AMR）解析的研究受到人工组织的数据集的大小的限制，这对于构建具有良好性能的AMR解析器至关重要。为了缓解这种数据大小的限制，预训练模型在AMR解析中受到越来越多的关注。然而，以前的预训练模型，如BERT，是为了通用目的而实现的，可能无法像AMR解析的特定任务所期望的那样工作。在本文中，我们专注于序列到序列（seq2seq）AMR解析，并提出了一种seq2seq预训练方法，以单一和联合方式构建三个相关任务的预训练模型，即，机器翻译、句法分析和AMR解析本身。此外，我们将香草微调方法扩展为多任务学习微调方法，该方法优化AMR解析的性能，同时努力保留预训练模型的响应。在两个英语基准数据集上的大量实验结果表明，单个和联合预训练模型都显着提高了性能（例如，从AMR 2.0上的71.5到80.2），这达到了最先进的水平。结果非常令人鼓舞，因为我们使用seq2seq模型而不是复杂模型实现了这一点。我们在https://github.com/xdqkid/S2S-AMR-Parser上提供我们的代码和模型。
2020-10-05 cs.CL
Robust Subgraph Generation Improves Abstract Meaning Representation Parsing
Stanford University（斯坦福大学）
抽象意义表示（AMR）是一种开放域丰富语义的表示，在事件提取和机器翻译等领域具有潜在的用途。节点生成通常使用简单的字典查找完成，目前是AMR解析中的一个重要限制因素。我们提出了一个小的动作集，通过对文本跨度的转换来获得AMR子图，这使得这个阶段的学习更加强大。我们的构造动作集比以前的方法更好地泛化，并且可以通过简单的分类器学习。我们改进了AMR解析的先前最先进的结果，在LDC 2013 E117和LDC 2014 T12数据集上将端到端性能提高了3 F $_1$。
2015-06-10 cs.CL
Graph Transformer for Graph-to-Sequence Learning
The Chinese University of Hong Kong（香港中文大学）
主要的图-序列转换模型采用图神经网络进行图表示学习，其中结构信息由神经元的感受野反映。与图神经网络，限制直接邻居之间的信息交换，我们提出了一个新的模型，称为图Transformer，使用显式关系编码，并允许两个遥远的节点之间的直接通信。为全局图结构建模提供了一种更有效的方法。在基于抽象意义表示的文本生成和基于句法的神经机器翻译中的应用实验表明了该模型的优越性。具体来说，我们的模型在LDC 2015 E86上实现了27.4 BLEU，在LDC 2017 T10上实现了29.7 BLEU，用于AMR到文本生成，比最先进的结果高出2.2个点。在基于语法的翻译任务中，我们的模型建立了新的单模型最先进的BLEU分数，英语到德语为21.3，英语到捷克语为14.1，比现有的最佳结果（包括合奏）提高了1个BLEU以上。
2019-11-30 cs.AI cs.CL
Evaluation of Machine Translation Based on Semantic Dependencies and Keywords
University of Science and Technology Beijing（北京科技大学）；Beijing University of Science and Technology（北京科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种结合语义依存和关键词信息的机器翻译评估方法，利用哈工大语言技术平台提取语义依存图和关键词权重，构建语义关联对，实验证明该方法提升了评估准确率。
2024-04-20 cs.AI cs.CL
The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning
Monash University（莫纳什大学）
提出一种结合人工与机器翻译的主动学习方法，通过聚合获取标准迭代选择话语进行人工翻译，显著降低翻译误差与偏差，提升多语言语义解析器准确率。
2023-05-22 cs.AI cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
非自回归模型通过并行解码提高了神经机器翻译的效率，但与自回归模型相比，非自回归模型的效率较低。在本文中，我们认为，自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的，可以进一步提高性能。然而，这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发，我们建议将语言的显式语法和语义结构纳入非自回归Transformer中，用于神经机器翻译的任务。此外，我们还考虑了目标句子内的中间潜在对齐，以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果（即，WMT 14 En-De和WMT 16 En-Ro）表明，与几种最先进的非自回归模型相比，我们的模型实现了更快的速度，并保持了翻译质量。
2021-01-22 cs.AI cs.CL
RIGA at SemEval-2016 Task 8: Impact of Smatch Extensions and Character-Level Neural Translation on AMR Parsing Accuracy
University of Latvia, IMCS and LETA（拉脱维亚大学数学与计算机科学研究所及LETA）
AMR smatch评分脚本的两个扩展。第一个扩展将smatch评分脚本与C6.0基于规则的分类器相结合，以生成关于评分AMR图中观察到的错误模式频率的人类可读报告。第一个扩展通过向CAMR基线解析器添加一个手工制作的包装器来修复已识别的CAMR解析器错误，从而比最先进的CAMR基线解析器提高了4%。第二个扩展结合了每句smatch与en-encryption方法，用于在同一句的AMR图集合中选择最佳AMR图。第二个修改自动产生进一步0.4%的增益时，ap-plied两个非确定性AMR解析器的输出：一个CAMR+包装器解析器和一个新的字符级神经翻译AMR解析器。对于AMR解析任务，字符级神经翻译比精心优化的单词级神经翻译获得了令人惊讶的7%的增益。总体而言，我们在SemEval-2016官方评分集上实现了smatch F1=62%，在LDC 2015 E86测试集上实现了F1=67%。
2016-04-05 cs.CL
ATP: AMRize Then Parse! Enhancing AMR Parsing with PseudoAMRs
Peking University（北京大学）；Tencent Cloud Xiaowei（腾讯云小微）
由于抽象意义表征（AMR）隐含地涉及复合语义标注，我们假设语义或形式相关的辅助任务可以更好地增强AMR解析。我们发现，1）语义角色标注（SRL）和依存句法分析（DP），将带来更多的性能增益比其他任务，如MT和摘要在文本到AMR的过渡，即使有更少的数据。2)为了更好地适应AMR，来自辅助任务的数据应该在训练之前被适当地“AMR化”为伪AMR。通过结构转换，可以更好地将浅层句法分析任务中的知识转移到AMR句法分析中。3)与多任务学习相比，中间任务学习是将辅助任务引入AMR句法分析的一种更好的范式。从实证的角度来看，我们提出了一个原则性的方法，涉及辅助任务，以提高AMR解析。大量的实验表明，我们的方法实现了新的国家的最先进的性能在不同的基准，特别是在拓扑相关的分数。
2022-04-20 cs.AI cs.CL
Semantic Relatedness for All (Languages): A Comparative Analysis of Multilingual Semantic Relatedness Using Machine Translation
University of Passau（帕绍大学）；National University of Ireland, Galway（爱尔兰国立高威大学）
本文提供了一个比较分析的性能的四个国家的最先进的分布式语义模型（DSM）超过11种语言，对比使用机器翻译在英语为基础的DSM的本地语言特定的模型。实验结果表明，通过使用最先进的机器翻译方法，有一个显着的改善（斯皮尔曼相关性的平均16.7%）。研究结果还表明，使用信息量最大的语料库的好处超过了机器翻译可能引入的错误。对于所有语言，Word2Vec英语分布模型上的机器翻译组合始终提供最佳结果（平均斯皮尔曼相关系数为0.68）。
2018-05-16 cs.CL
Core Semantic First: A Top-down Approach for AMR Parsing
The Chinese University of Hong Kong（香港中文大学）
我们介绍了一种新的方案，用于解析一段文本到其抽象意义表示（AMR）：基于图生成的解析（GSP）。GSP的一个新特性是它以自顶向下的方式递增地构造解析图。从根节点开始，在每一步中，新节点及其与现有节点的连接将被联合预测。输出图按照到根的距离跨越节点，遵循首先抓住主要思想然后挖掘更多细节的直觉。\textit{core semantic first}原则强调捕捉句子的主要思想，这是非常有趣的。我们评估我们的模型在最新的AMR sembank，并实现了国家的最先进的性能，在这个意义上，没有启发式图重新分类。更重要的是，实验表明，我们的解析器是特别好的获得核心语义。
2019-09-12 cs.AI cs.CL
Learning Semantic Representations for the Phrase Translation Model
Microsoft Research（微软研究院）
本文提出了一种新的基于语义的短语翻译模型。将一对源短语和目标短语投影到低维潜在语义空间中的连续值向量表示中，在该低维潜在语义空间中，通过该对短语之间的距离来计算它们的翻译得分。投影是由一个多层神经网络，其权重是学习并行训练数据。该学习旨在直接优化端到端机器翻译结果的质量。实验评估已进行两个Europarl翻译任务，英语-法语和德语-英语。实验结果表明，新的基于语义的短语翻译模型显著提高了基于短语的统计机器翻译系统的性能，获得了0.7-1.0的BLEU积分。
2013-11-28 cs.CL
Semantic Web for Machine Translation: Challenges and Directions
University of Paderborn（帕德博恩大学）
最近已经开发了大量的机器翻译方法来促进跨语言的内容的流畅迁移。然而，文献表明，许多障碍仍然必须处理，以实现更好的自动翻译。这些障碍之一是词汇和句法歧义。解决这个问题的一个有希望的方法是使用语义Web技术。这篇文章是我们对机器翻译方法的系统综述的扩展摘要，这些方法依赖于语义网技术来改善文本的翻译。总体而言，我们提出的挑战和机遇，在使用语义Web技术的机器翻译。此外，我们的研究表明，虽然语义Web技术可以提高各种问题的机器翻译输出的质量，两者的结合仍处于起步阶段。
2019-07-23 cs.CL
Exploiting Semantics in Neural Machine Translation with Graph Convolutional Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
长期以来，语义表示一直被认为是潜在的有用的强制意义保存和提高泛化性能的机器翻译方法。在这项工作中，我们是第一个将源句子的谓词-论元结构（即语义-角色表征）的信息纳入神经机器翻译。我们使用图卷积网络（GCN），以注入一个语义偏见的句子编码器，并实现在BLEU分数的改进，在英语-德语语言对的语言不可知和语法感知的版本。
2020-06-20 cs.CL
Machine Translation using Semantic Web Technologies: A Survey
University of Leipzig（莱比锡大学）；University of Paderborn（帕德博恩大学）
最近已经开发了大量的机器翻译方法来促进跨语言的内容的流畅迁移。然而，文献表明，许多障碍仍然必须处理，以实现更好的自动翻译。这些障碍之一是词汇和句法歧义。解决这个问题的一个有希望的方法是使用语义Web技术。本文介绍了一个系统的审查结果的机器翻译方法，依赖于语义网技术翻译文本。总体而言，我们的调查表明，虽然语义Web技术可以提高各种问题的机器翻译输出的质量，但两者的结合仍处于起步阶段。
2018-07-17 cs.CL
Towards an Arabic-English Machine-Translation Based on Semantic Web
通信工具使世界像一个小村庄，因此人们可以与来自不同社会或讲不同语言的人联系。如果没有机器翻译，这种沟通就无法有效地进行，因为它们可以随时随地找到。有一些研究已经开发了英语的机器翻译，除了阿拉伯语之外，还有许多其他语言尚未考虑。因此，我们的目标是强调我们提出的翻译机的路线图，以提供基于语义的增强的阿拉伯语英语翻译。
2017-09-14 cs.CL
Incorporate Semantic Structures into Machine Translation Evaluation via UCCA
Yuanpei College, Peking University（北京大学元培学院）；Key Laboratory of Computational Linguistics, School of EECS, Peking University（北京大学电子信息工程学院计算语言学重点实验室）
在神经释义网络和其他文本生成任务中，通常使用一种隐式机制，即在输出序列中保留输入序列中的一些重要单词。同样，在机器翻译中，我们注意到在一个源文本的所有好的翻译中出现了某些词或短语，并且这些词倾向于传达重要的语义信息。因此，本文将句子中具有重要语义意义的词定义为语义核心词。此外，我们提出了一个MT评估方法命名为语义加权句子相似度（SWSS）。它利用UCCA的功能来识别语义核心词，然后计算语义核心词重叠的句子相似度得分。实验结果表明，SWSS可以持续改善流行的机器翻译评价指标，这是基于词汇相似性的性能。
2020-10-22 cs.CL
The Impact of Syntactic and Semantic Proximity on Machine Translation with Back-Translation
Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；University of Washington（华盛顿大学）
本文通过人工语言受控实验探究回译在无监督机器翻译中有效的原因，发现词汇、句法相似性不足以解释其成功，而跨语言平行的语义依赖关系才是关键。
2024-03-26 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
通常，神经机器翻译模型以从左到右（L2R）的方式生成目标词，并且无法利用任何未来（右）语义信息，这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左（R2L）解码器来缓解这个问题。在本文中，我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象（\textbf{DIM}），动态地利用目标语义从R2L翻译，以提高L2R翻译质量。与其他双向解码方法不同的是，DIM首先通过寻址和读取操作提取有用的目标信息，然后更新目标语义以跟踪交互历史。此外，我们还在训练目标中引入了一个\textbf{agreement regularization}术语，以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明，该系统在基线系统上取得了显著的改进，与最先进的Transformer模型相比，其参数少得多，达到了相当的效果。
2019-11-05 cs.CL
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
将句法结构整合到Transformer机器翻译中已经取得了积极的成果，但据我们所知，还没有工作试图这样做语义结构。在这项工作中，我们提出了两种新的无参数的方法注入语义信息到Transformers，都依赖于语义感知掩蔽（一些）的注意头。一种这样的方法通过场景感知自注意（SASA）头在编码器上操作。另一个在解码器上，通过场景感知交叉注意（SACrA）头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明，在一些语言对使用语义和句法结构时，额外的收益。
2022-05-24 cs.CL
Phrase database Approach to structural and semantic disambiguation in English-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
在机器翻译中，机器可读词典和标准的句法分析规则不足以保证英语短语到韩语的句法分析和翻译的准确性是一种普遍现象，这表现在由于结构和语义歧义而导致的误导性翻译结果。本文旨在通过将双语短语库应用于英朝机器翻译（EKMT）中，解决英语中常用短语因习语性和非语法性而产生的结构和语义歧义。本文首先从英语短语的定义出发，阐明了EKMT中的短语单元是什么，然后阐明了什么样的语言单元可以作为EKMT短语库的对象，最后通过举例说明短语库的格式，提出了一种建立短语库的方法，最后简要讨论了将该双语短语库应用于EKMT中进行结构和语义消歧的方法。
2015-03-19 cs.CL
Semantic Prosody in Machine Translation: the English-Chinese Case of Passive Structures
Centre de Llenguatge i Computacio (CLiC), Universitat de Barcelona（巴塞罗那大学语言与计算中心）；Institut de Recerca en Sistemes Complesos (UBICS), Universitat de Barcelona（巴塞罗那大学复杂系统研究所）
针对机器翻译忽视语义韵律的问题，本文构建英汉“被”字句数据集并微调多个模型，使其在翻译中正确使用被动结构，且知识可跨语言迁移。
2025-10-16 cs.CL
On the Evaluation of Semantic Phenomena in Neural Machine Translation Using Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个过程，调查在何种程度上产生的神经机器翻译（NMT）系统的句子表示编码不同的语义现象。我们使用这些表示作为特征来训练一个基于现有语义注释的数据集重铸的自然语言推理（NLI）分类器。在应用这个过程中的一个代表性的NMT系统，我们发现它的编码器似乎最适合支持推理的语法语义接口，相比，回指解析需要世界知识。最后，我们讨论的优点和潜在的不足，现有的过程中，以及如何可以改进和扩展为一个更广泛的框架，用于评估语义覆盖。
2018-05-06 cs.CL
Uncertainty-Aware Semantic Augmentation for Neural Machine Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
神经机器翻译（NMT）作为一种序列到序列生成任务，自然包含内在的不确定性，其中一种语言中的单个句子在另一种语言中具有多个有效的对应物。然而，NMT的主流方法仅从平行语料库中观察其中一个用于模型训练，而在推理时必须处理相同意义下的足够变化。这导致训练和推理阶段之间的数据分布的差异。为了解决这个问题，我们提出了不确定性感知的语义增强，它明确地捕捉多个语义等价的源句子之间的通用语义信息，并增强隐藏的表示与此信息更好的翻译。对各种翻译任务的大量实验表明，我们的方法显着优于强基线和现有的方法。
2020-10-09 cs.CL
Measuring Fine-Grained Semantic Equivalence with Abstract Meaning Representation
Georgetown University（乔治城大学）
识别语义等价的句子对于许多跨语言和单语言NLP任务都很重要。目前的语义等价方法对“等价”采取了一种松散的、中间层次的方法，尽管以前的证据表明细粒度的差异和隐含的内容对人类的理解（Roth和Anthonio，2021）和系统性能（Briakou和Carpuat，2021）有影响。在这项工作中，我们引入了一种新的，更敏感的方法，利用抽象意义表示图结构的特征语义等价。我们开发了一种方法，它可以用于黄金或自动AMR注释，并证明我们的解决方案实际上是细粒度比现有的语料库过滤方法和更准确地预测严格等价的句子比现有的语义相似性度量。我们建议，我们的更细粒度的语义等价性的措施可以限制在人类编辑后的机器翻译的任务，并在人类评价句子相似性的工作量。
2022-10-06 cs.CL
Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation
University of Maryland（马里兰大学）
虽然已经表明神经机器翻译（NMT）对有噪声的并行训练样本高度敏感，但先前的工作将源和目标之间的所有类型的不匹配视为噪声。因此，目前尚不清楚大多数情况下等价但包含少量语义上不同的标记的样本如何影响NMT训练。为了缩小这一差距，我们分析了不同类型的细粒度语义分歧对Transformer模型的影响。我们发现，在合成分歧上训练的模型更频繁地输出退化的文本，并且对它们的预测不太有信心。基于这些发现，我们引入了一个发散感知的NMT框架，该框架使用因子来帮助NMT从自然发生的发散引起的退化中恢复，从而提高EN-FR任务的翻译质量和模型校准。
2021-05-31 cs.CL
Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
虽然大多数神经机器翻译（NMT）系统仍然使用最大似然估计进行训练，但最近的工作表明，优化系统以直接改善BLEU等评估指标可以大大提高最终的翻译准确性。然而，使用BLEU进行训练有一些局限性：它不分配部分信用，它的输出值范围有限，并且如果它们在词汇上与参考不同，它可能会惩罚语义正确的假设。在本文中，我们介绍了一种替代的奖励函数优化NMT系统，是基于最近的工作，语义相似性。我们对翻译成英语的四种不同语言进行了评估，发现使用我们提出的指标进行训练可以获得更好的翻译，如BLEU，语义相似性和人类评估，并且优化过程收敛得更快。分析表明，这是因为所提出的指标更有利于优化，分配部分信用，并提供更多的分数比BLEU的多样性。
2019-09-14 cs.CL
Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出在编码器端解耦语义与语言特征以促进跨语言知识迁移，在解码器端引入语言编码器辅助目标语言生成，从而显著提升多语言神经机器翻译的零样本性能。
2024-08-02 cs.CL
SemEval 2019 Shared Task: Cross-lingual Semantic Parsing with UCCA - Call for Participation
我们宣布了一项关于UCCA英语、德语和法语解析的共享任务，并呼吁参与者提交他们的系统。UCCA是一个跨语言适用的语义表示框架，它建立在广泛的类型学工作基础上，支持快速注释。UCCA对现有的解析技术提出了挑战，因为它表现出可重入性（导致DAG结构），不连续结构和非终结节点对应于复杂的语义单元。鉴于最近的语义解析共享任务（SDP和AMR）的成功，我们希望该任务对UCCA解析的进步有重大贡献，特别是一般的语义解析。此外，现有的基于UCCA的语义评估应用程序将大大受益于更好的自动UCCA解析方法。比赛网址为https://competitions.codalab.org/competitions/19160
2021-02-03 cs.CL
HUME: Human UCCA-Based Evaluation of Machine Translation
University of Edinburgh（爱丁堡大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Charles University in Prague（布拉格查理大学）
人类对机器翻译的评估通常使用翻译水平的衡量标准，如相对排名或适当性量表。然而，这些并没有提供对可能的错误的洞察力，并且不能很好地与句子长度相匹配。我们主张一个基于语义的评估，它捕捉什么意思组件保留在MT输出，从而提供了一个更细粒度的分析翻译质量，并使建设和调整基于语义的MT。我们提出了一种新的人类语义评估措施，人类UCCA基于MT评估（HUME），建立在UCCA语义表示方案。HUME比以前的方法覆盖了更广泛的语义现象，并且不依赖于对可能混淆的MT输出的语义注释。我们用四种语言对进行了实验，证明了HUME的广泛适用性，并报告了良好的注释者间一致率和与人类充分性分数的相关性。
2016-09-27 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Neural Machine Translation with Latent Semantic of Image and Text
The University of Tokyo（东京大学）
虽然基于注意力的神经机器翻译取得了巨大的成功，但注意力机制并不能捕捉到源句的全部意义，因为注意力机制生成的目标词严重依赖于源句的相关部分。早期的研究报告引入了一个潜在变量来捕捉句子的全部含义，并对基于注意力的神经机器翻译进行了改进。我们遵循这种方法，我们认为，捕获的句子的意义受益于图像信息，因为人类理解的语言的意义不仅从文本信息，而且从感性信息，如从视觉获得的。如本文所述，我们提出了一种神经机器翻译模型，该模型引入了包含从文本和图像中提取的底层语义的连续潜在变量。我们的模型可以端到端训练，只在训练时需要图像信息。英语-德语翻译任务进行的实验表明，我们的模型优于基线。
2016-11-25 cs.CL
Enhancing Neural Machine Translation with Semantic Units
Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出SU4MT方法，通过词对编码识别语义单元边界，并用注意力语义融合层整合子词表示，以增强神经机器翻译，实验证明其优于强基线。
2023-10-17 cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao（网易有道）
本文介绍了一种新的神经机器翻译的数据增强方法，可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型（CMLM），这是双向的，可以是条件的左右上下文，以及标签。我们证明了CMLM是一个很好的技术，用于生成上下文相关的词分布。特别是，我们表明，CMLM是能够强制执行语义一致性的条件源和目标在替代。此外，为了提高多样性，我们将软字替换的想法，数据增强，取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明，该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比，并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
A Concept Specification and Abstraction-based Semantic Representation: Addressing the Barriers to Rule-based Machine Translation
基于规则的机器翻译比基于大数据的机器翻译方法更有效，适用于双语语料资源较少的语言-即，少数民族语言。然而，基于规则的方法相对于其大数据表兄弟的受欢迎程度有所下降，主要是因为定义语言规则需要大量的培训和劳动力。为了解决这个问题，我们提出了一种语义表示，1）将所有意义视为单独的概念，2）修改或进一步指定彼此，以建立一个网络，将空间和时间中的实体联系起来。此外，表示可以封装命题，从而根据其他概念定义概念，支持对底层语言和本体细节的抽象。这些功能提供了一个准确的，但直观的语义表示，旨在处理语言的巨大变化，减少劳动和培训时间。所提出的自然语言生成、解析和翻译策略也适用于概率建模，从而从示例数据中学习必要的规则。
2019-04-26 cs.CL
Categorizing Semantic Representations for Neural Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tencent Inc（腾讯公司）；Westlake Institute for Advanced Study（西湖高等研究院）
现代神经机器翻译（NMT）模型在标准基准测试中取得了有竞争力的性能。然而，它们最近被证明在成分概括方面受到限制，未能有效地学习原子的平移（例如，词）及其语义组成（例如，修饰）从所见的化合物（例如，短语），并且因此在推理期间遭受对看不见的复合物的显著减弱的翻译性能。我们解决这个问题，通过引入分类的源上下文表示。其主要思想是通过减少稀疏性和过拟合来增强泛化能力，这是通过在训练集上找到令牌表示的原型并将其嵌入到源编码中来实现的。在专用MT数据集上的实验（即，CoGnition）表明，我们的方法减少了24%的错误减少的组合泛化误差率。此外，我们概念上简单的方法在一系列一般MT数据集上给出了比Transformer基线更好的结果。
2022-10-13 cs.CL
Synonymy = Translational Equivalence
University of Alberta（阿尔伯塔大学）
同义关系和翻译对等是指语言内部和语言之间的意义相同的关系。作为词网和多词网中的主要关系，它们对计算词汇语义学至关重要，但该领域缺乏一个共同的形式化框架来定义它们的属性和关系。本文提出了一种统一处理这两种关系的方法，并在现有资源上进行了实验验证。在我们看来，同义和翻译对等只是语义同一性的不同类型。这一理论为重新评价跨语言语义学的研究成果奠定了坚实的基础，也为词汇资源的创建、验证和改进提供了便利。
2020-12-11 cs.CL
SEMA: an Extended Semantic Evaluation Metric for AMR
University of São Paulo（圣保罗大学）
抽象意义表示（AMR）是一种最近设计的语义表示语言，旨在捕获句子的含义，其可以被表示为具有标记的节点和边的单根有向无环图。这种结构的自动评估在开发更好的系统以及语义注释方面起着重要作用。尽管有一个可用的度量标准，smatch，它有一些缺点。例如，smatch在图的根上创建自关系，具有不同错误类型的权重，并且不考虑AMR结构中元素的依赖性。由于这些缺点，smatch掩盖了AMR解析器的几个问题，并扭曲了AMR的评估。鉴于此，本文引入了一种扩展的度量来评估AMR解析器，它解决了smatch度量的缺点。最后，我们比较这两个指标，使用四个著名的AMR解析器，我们认为，我们的指标是更精致，更强大，更公平，更快比smatch。
2019-05-28 cs.CL
SemMT: A Semantic-based Testing Approach for Machine Translation Systems
The Hong Kong University of Science and Technology（香港科技大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
机器翻译在日常生活中有着广泛的应用。在翻译官方文件等关键任务应用中，错误的翻译可能会带来令人不快甚至有时是灾难性的后果。这激发了最近对机器翻译系统测试方法的研究。现有的方法主要依赖于在文本级设计的变形关系（例如，Levenshtein距离）或句法级别（例如，语法结构之间的距离）来确定翻译结果的正确性。但是，这些变形关系并没有考虑原文和译文是否具有相同的含义（即，语义相似性）。因此，在本文中，我们提出了SemMT，自动测试方法的机器翻译系统的语义相似性检查的基础上。SemMT应用往返翻译并测量原始句子和翻译句子之间的语义相似度。我们的见解是，在句子中的逻辑和数字约束所表达的语义可以使用正则表达式（或确定性有限自动机），有效的等价性/相似性检查算法是可用的。利用洞察力，我们提出了三个语义相似性度量，并在SemMT中实现它们。实验结果表明，SemMT可以实现更高的效率相比，国家的最先进的作品，实现了21%和23%的准确率和F-Score，分别增加。我们还探讨了当采用适当的指标组合时可以实现的潜在改进。最后，我们讨论了一种在往返翻译中定位可疑行程的解决方案，为进一步的探索提供了参考。
2021-10-09 cs.CL cs.SE
Evaluation of Finetuned LLMs in AMR Parsing
本文评估了四种仅解码器LLM在AMR解析上的微调效果，发现直接微调即可达到SOTA水平，其中LLaMA 3.2语义性能最佳，SMATCH F1达0.804。
2025-08-18 cs.AI cs.CL
The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
University of Groningen（格罗宁根大学）；École Normale Supérieure de Cachan（卡尚高等师范学院）；University of Trento（特伦托大学）
平行意义库是一个翻译语料库，注释了共享的正式意义表示，包括超过1100万个单词，分为四种语言（英语，德语，意大利语和荷兰语）。我们的方法是基于跨语言的投影：自动生成（和手动校正）的语义注释的英语句子映射到他们的词对齐的翻译，假设翻译是保持意义。语义标注包括五个主要步骤：（i）句子和词项的文本分割;（ii）组合范畴语法的句法分析;（iii）通用语义标注;（iv）符号化;（v）基于话语表征理论的成分语义分析。这些步骤使用以半监督方式训练的统计模型来执行。所采用的注释模型都是语言中立的。我们的初步结果很有希望。
2017-02-13 cs.CL
An Improved Approach for Semantic Graph Composition with CCG
Georgetown University（乔治城大学）
本文建立在以前的工作，使用组合范畴语法（CCG），推导出一个透明的语法语义接口的抽象意义表示（AMR）解析。我们定义了新的语义的CCG组合子，更适合于导出AMR图。特别是，我们为应用程序和组合组合子定义了关系式替代方案：这些要求组合的两个成分在一个AMR关系中重叠。我们还提供了一个新的语义类型提升，这是必要的某些建设。使用这些机制，我们建议分析事件性名词，这对AMR图的推导提出了挑战。我们的理论分析将促进未来的工作，强大的和透明的AMR解析使用CCG。
2019-04-10 cs.CL
Semantically-Informed Syntactic Machine Translation: A Tree-Grafting Approach
U.S. Dept. of Defense（美国国防部）；JHU HLTCOE（约翰斯·霍普金斯大学人类语言技术卓越中心）；University of Maryland（马里兰大学）；CMU（卡内基梅隆大学）；BBN（BBN公司）；JHU/APL（约翰斯·霍普金斯大学应用物理实验室）
我们描述了一个统一的和连贯的语法框架，支持语义知情的句法方法统计机器翻译。语义丰富的句法标签分配给目标语言的培训文本提高翻译质量。由此产生的系统显着优于语言幼稚的基线模型（Hiero），并达到了NIST 2009年乌尔都语-英语翻译任务的最高分数。这一发现支持了MT社区的许多研究人员提出的假设，例如，在DARPA GALE中），句法和语义信息对于提高翻译质量至关重要-并进一步表明，对于词序与英语不同的低资源语言，可以获得很大的收益。
2014-09-24 cs.CL cs.LG stat.ML
AMR Dependency Parsing with a Typed Semantic Algebra
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
我们提出了一个语义解析器的抽象意义表示学习解析字符串到树表示的AMR图的组成结构。这使我们能够使用标准的神经技术进行超标记和依赖树解析，并受到语言原则类型系统的约束。我们提出了两种近似解码算法，实现了最先进的精度和优于强基线。
2018-05-29 cs.CL
Widely Interpretable Semantic Representation: Frameless Meaning Representation for Broader Applicability
Emory University（埃默里大学）
本文提出新颖语义表示WISeR，通过将AMR编号参数转换为无框架主题角色解决其跨语言领域适用性差问题，实验证明WISeR标注一致性更高且解析准确率全面优于AMR。
2023-09-12 cs.CL
Semantic Representation for Dialogue Modeling
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
虽然神经模型在对话系统中取得了有竞争力的成果，但它们在表示核心语义方面表现出有限的能力，例如忽略重要实体。为此，我们利用抽象意义表示（AMR），以帮助对话建模。与文本输入相比，AMR显式地提供了核心语义知识，降低了数据稀疏性。我们开发了一个算法来构建对话级AMR图从会话级AMR，并探讨了两种方法，将AMR到对话系统。对话理解和响应生成任务的实验结果表明，我们的模型的优越性。据我们所知，我们是第一个将正式的语义表示用于神经对话建模的人。
2021-06-01 cs.CL
Incorporating Graph Information in Transformer-based AMR Parsing
Sapienza University of Rome（罗马大学）；Babelscape（Babelscape公司）
本文提出LeakDistill模型，通过结构适配器将图信息融入Transformer编码器，结合词到节点对齐与自知识蒸馏，在不使用额外数据的情况下提升了AMR解析性能。
2023-06-23 cs.AI cs.CL
Neural Semantic Parsing by Character-based Translation: Experiments with Abstract Meaning Representations
Center for Language and Cognition Groningen (CLCG), University of Groningen（格罗宁根大学语言与认知中心）
我们评估的字符级翻译方法的神经语义解析的大型语料库的句子注释与抽象意义表示（AMR）。使用序列到序列模型，以及AMR的一些琐碎的预处理和后处理，我们获得了53.1的基线准确度（AMR三元组的F分数）。我们研究了五种不同的方法来改善这个基线结果：（i）重新排序AMR分支以匹配输入句子的词序，将性能提高到58.3;（ii）添加词性标记（自动生成）的输入也显示出改进（57.2）;（iii）超级字符的引入也是如此（将频繁字符序列合并为单个字符），达到57.4;（iv）通过使用预训练和平均一组模型来优化训练过程，将性能提高到58.7;（v）添加由现成的解析器获得的银标准训练数据产生最大的改进，导致64.0的F分数。结合所有五种技术，在保持数据上的F分数为71.0，这在AMR解析中是最先进的。这是值得注意的，因为该方法相对简单。
2017-10-09 cs.CL
I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning
Korea University（高丽大学）
常识问答是一项任务，其中正确的答案是预测通过常识推理与预定义的知识。大多数以前的作品的目的是提高分布式表示的性能，而不考虑从问题的语义表示预测答案的过程。为了阐明问题的语义解释，我们提出了一个AMR-概念网-修剪（ACP）图。ACP图是从包含从输入问题生成的抽象意义表示（AMR）图和外部常识知识图谱ConceptNet（CN）的完全集成图中修剪出来的。然后利用ACP图来解释推理路径并预测CommonsenseQA任务的正确答案。本文提出的方式，其中常识推理过程可以解释的关系和概念提供的ACP图。此外，ACP为基础的模型被证明优于基线。
2020-11-06 cs.AI cs.CL
Analyzing the Role of Semantic Representations in the Era of Large Language Models
University of Michigan（密歇根大学）
本文通过提出AMRCoT提示方法并在五个NLP任务上实验，发现AMR语义表征在大语言模型时代整体弊大于利，并定位了主要错误来源，为未来研究指明了方向。
2024-05-02 cs.AI cs.CL cs.LG
Retrofitting Multilingual Sentence Embeddings with Abstract Meaning Representation
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出了一种新的基于抽象意义表示的多语言句子嵌入方法。与原始文本输入相比，AMR是一种结构化的语义表示，它明确无误地表示了句子中的核心概念和关系。它还有助于减少不同表达和语言之间的表面变化。与大多数先前的工作，只评估语义相似性的测量能力，我们提出了一个彻底的评估现有的多语言句子嵌入和我们的改进版本，其中包括一个集合的五个传输任务，在不同的下游应用程序。实验结果表明，利用AMR改进多语言句子嵌入，在语义文本相似度和迁移任务上都有更好的表现。我们的代码库和评估脚本可以在\url{https://github.com/jcyk/MSE-AMR}上找到。
2022-10-18 cs.AI cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University（乔治城大学）；Amherst College（阿默斯特学院）
本研究探究在自然语言推理中引入抽象意义表示（AMR）的影响，发现微调时AMR阻碍泛化，提示时虽有小幅提升但源于表面差异放大，可能误导模型误判非蕴含。
2025-09-24 cs.CL
Toward Abstractive Summarization Using Semantic Representations
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的抽象摘要框架，借鉴了最近发展的树库的抽象意义表示（AMR）。在这个框架中，源文本被解析成一组AMR图，这些图被转换成摘要图，然后从摘要图生成文本。我们专注于图到图的转换，减少了源语义图到一个摘要图，利用现有的AMR解析器，并假设最终可用的AMR到文本生成器。该框架是数据驱动的，可训练的，而不是专门为特定领域设计的。在金标准AMR注释和系统解析上的实验显示了良好的结果。代码可在：https://github.com/summarization
2018-05-25 cs.CL
Learning to Transpile AMR into SPARQL
IBM Research AI（IBM研究院人工智能部门）
我们提出了一个基于转换的系统，翻译抽象意义表示（AMR）到SPARQL的知识库问答（KBQA）。这允许我们将部分语义表示委托给一个经过严格预训练的语义解析器，同时学习使用少量配对数据的翻译。我们离开最近的工作有关AMR和SPARQL结构，但不是应用一组规则，我们教一个BART模型选择性地使用这些关系。此外，我们避免显式编码AMR，而是在BART的注意力机制中编码解析器状态，遵循最近的语义解析工作。由此产生的模型很简单，为其决策提供了支持文本，并且在两个知识库中优于KBQA中的最新方法：DBPedia（LC-QuAD 1.0，QALD-9）和Wikidata（WebQSP，SWQ-WD）。
2022-12-09 cs.CL
DEAM: Dialogue Coherence Evaluation using AMR-based Semantic Manipulations
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
自动评估指标是必不可少的开放领域的对话系统的快速发展，因为它们有助于超参数调整和模型之间的比较。尽管最近提出的可训练会话级度量已经显示出令人鼓舞的结果，但是度量的质量强烈地依赖于训练数据的质量。先前的作品主要采取启发式文本级操作（例如，话语洗牌）引导不连贯的对话（负面的例子）从连贯的对话（正面的例子）。这种方法不足以适当反映高级对话模式与人类互动中出现的不一致性。为了解决这个问题，我们提出了DEAM，对话一致性评估指标，依赖于抽象意义表示（AMR）应用语义级操作不连贯（负）的数据生成。AMR自然地促进在语义水平上注入各种类型的不连贯源，例如共指不一致、不相关、矛盾和减少参与，从而导致更自然的不连贯样本。我们的实验表明，DEAM实现了更高的相关性与人类的判断相比，基线方法在几个对话数据集的显着利润率。我们还表明，DEAM可以区分基线操作产生的连贯和不连贯的对话，而这些基线模型不能检测到DEAM产生的不连贯的例子。我们的研究结果表明，AMR为基础的语义操作自然的负面例子生成的潜力。
2022-03-18 cs.CL
