Promoting the Knowledge of Source Syntax in Transformer NMT Is Not Needed
Charles University（查理大学）
神经机器翻译中语言注释的效用似乎在过去的论文中已经建立。然而，这些实验仅限于经常性的序列到序列架构和相对较小的数据设置。我们专注于最先进的Transformer模型，并使用更大的语料库。具体来说，我们试图通过简单的数据操作技术或通过一个专用的模型组件，使用多任务学习来促进源端语法的知识。特别地，我们训练其中一个Transformer attention head来生成源端依赖树。总的来说，我们的研究结果对多任务设置与语言信息的效用提出了一些质疑。在以前的作品中推荐的数据操作技术，在大数据设置中证明是无效的。将自我注意视为依存关系似乎更有前途：它有助于翻译，并揭示了Transformer模型可以很容易地掌握句法结构。然而，一个重要但奇怪的结果是，相同的收益是通过使用平凡的“线性树”，而不是真正的依赖关系。因此，增益的原因可能不是来自增加的语言知识，而是来自我们在自注意矩阵上诱导的一些更简单的正则化效应。
2019-10-24 cs.CL
Syntax-Aware Complex-Valued Neural Machine Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出一种语法感知的复值编码器-解码器NMT方法，联合学习词级与语法级注意力，且可嵌入任意Seq2Seq框架，在两个数据集上显著提升BLEU，尤其适用于语法差异大的语言对。
2024-06-17 cs.CL
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们检查了三种源语言的Transformer NMT编码器中的多头自注意，寻找可能具有语法解释的模式。在许多注意中心语中，我们经常发现关注同一位置的连续状态序列，这类似于句法短语。我们提出了一个透明的确定性的方法，量化的句法信息量存在于自我注意力，基于自动构建和评估短语结构树的短语序列。我们将得到的树与现有的选区树库进行比较，手动和计算精度和召回。
2019-06-05 cs.CL cs.LG
Recurrent Graph Syntax Encoder for Neural Machine Translation
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；University of Sydney（悉尼大学）
结合句法的机器翻译模型在提高模型的推理能力和语义保持能力方面已被证明是成功的。在本文中，我们提出了一个简单而有效的图形结构的编码器，递归图编码器，被称为\textbf{RGSE}，它提高了捕捉有用的语法信息的能力。RGSE是在标准编码器（循环或自注意编码器）上完成的，将循环网络单元视为图节点，并将语法依赖性注入为边，使得RGSE同时对语法依赖性和顺序信息（\textit{i.e.}，词序）进行建模。我们的方法在英语$\Rightarrow$德语和英语$\Rightarrow$捷克语翻译任务中实现了几个语法感知NMT模型的相当大的改进。在WMT 14 En-De任务中，配备RGSE的大模型取得了与现有模型相当的成绩。大量的分析进一步验证了RGSE可以有利于长句建模，并产生更好的翻译。
2019-08-19 cs.CL cs.LG
Better Neural Machine Translation by Extracting Linguistic Information from BERT
Simon Fraser University（西蒙弗雷泽大学）
向神经机器翻译（NMT）添加语言信息（语法或语义）主要集中在使用来自预训练模型的点估计。直接使用大量预先训练的上下文词嵌入模型的能力，例如BERT（Devlin et al.，2019）在NMT中的作用不大，因为在不使训练变得脆弱和不可靠的情况下，很难为NMT获得有效的微调。我们通过从BERT中提取密集微调的基于向量的语言信息来增强NMT，而不是使用点估计。实验结果表明，我们的方法，将语言信息有助于NMT更好地概括在各种训练环境中，并不比传统的基于transformer的NMT更难训练。
2021-04-07 cs.CL
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）模型能够从连续的词汇信息中部分地学习句法信息。然而，一些复杂的句法现象，如介词短语附加，模型很差。本文的工作旨在回答两个问题：1）显式地对目标语言语法建模是否有助于NMT？2)单词和语法的紧密结合比多任务训练更好吗？我们在解码器中以CCG超标签的形式引入句法信息，通过将目标超标签与单词序列交织。我们的研究结果表明，明确建模目标语法提高机器翻译质量德语->英语，高资源对，罗马尼亚语->英语，低资源对，也有几个句法现象，包括介词短语附件。此外，单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合，我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder
Nanjing University（南京大学）；University of Notre Dame（圣母大学）
大多数神经机器翻译（NMT）模型基于顺序编码器-解码器框架，该框架不使用语法信息。在本文中，我们改进了这个模型，明确纳入源端语法树。更具体地说，我们提出了（1）一个双向树编码器，学习顺序和树结构表示;（2）一个树覆盖模型，让注意力取决于源端语法。汉英翻译实验表明，我们提出的模型优于顺序注意模型，以及一个更强的基线与自底向上的树编码器和单词覆盖率。
2017-07-18 cs.CL
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Latent Part-of-Speech Sequences for Neural Machine Translation
Stony Brook University（石溪大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
学习目标侧句法结构已被证明可以改进神经机器翻译（NMT）。然而，通过潜在变量合并语法在推理中引入了额外的复杂性，因为模型需要边缘化潜在的语法结构。为了避免这种情况，模型通常采用贪婪搜索，这只允许它们探索潜在空间的有限部分。在这项工作中，我们引入了一个新的潜在变量模型，LaSyn，捕捉语法和语义之间的相互依赖，同时允许有效和高效的推理的潜在空间。LaSyn消除了连续潜在变量之间的直接依赖关系，这使得其解码器能够穷尽地搜索潜在的语法选择，同时保持解码速度与潜在变量词汇的大小成比例。我们通过修改基于变换的NMT系统来实现LaSyn，并设计了一个神经期望最大化算法，我们将词性信息作为潜在序列进行正则化。对四个不同的MT任务的评估表明，将目标方语法与LaSyn结合在一起既提高了翻译质量，又提供了提高多样性的机会。
2019-08-30 cs.AI cs.CL
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation
Chang Gung University（长庚大学）；National Chung Hsing University（国立中兴大学）
本文提出基于n-gram语言模型的多头卷积编码器（MHC编码器），结合卷积层与多头注意力改进SPARQL查询翻译，在QALD-9和LC-QuAD-1.0数据集上取得领先性能。
2024-08-24 cs.CL
An Empirical Analysis of NMT-Derived Interlingual Embeddings and their Use in Parallel Sentence Identification
DFKI（德国人工智能研究中心）；University of Saarland（萨尔大学）
端到端神经机器翻译在某些语言对的翻译质量方面已经超过了统计机器翻译，特别是那些具有大量并行数据的语言对。除了这种明显的改进，神经网络还提供了几个新的特性。一个系统可以被训练成在多种语言之间进行翻译，除了训练时间之外几乎没有额外的成本。此外，网络学习的内部表征作为单词或句子的新语义表征，与标准的词嵌入不同，它是在基本上双语甚至多语言的背景下学习的。鉴于这些属性，本工作的贡献是双重的。首先，我们系统地研究了NMT上下文向量，即编码器的输出，以及它们作为句子的中间语言表示的能力。我们通过测量翻译之间的相似性，以及语义相关和语义不相关的句子对来评估它们的质量和有效性。其次，作为第一点的外在评价，我们在可比语料库中识别出平行句子，当仅使用NMT上下文向量时，从共享任务的数据中获得F1=98.2%。使用上下文向量与相似性度量F1联合达到98.9%。
2017-11-15 cs.CL
Non-Parametric Adaptation for Neural Machine Translation
Google AI（谷歌人工智能）
已知用梯度下降训练的神经网络容易受到在训练过程中由参数偏移引起的灾难性遗忘的影响。在神经机器翻译（NMT）的背景下，这导致异构数据集和子任务（如罕见短语翻译）的性能较差。另一方面，非参数方法对遗忘免疫，完美地补充了NMT的泛化能力。然而，尝试将非参数或基于检索的方法与NMT相结合，只在狭窄的领域取得了成功，这可能是由于过度依赖句子级检索。我们提出了一种新的n-gram级别的检索方法，依赖于本地短语级别的相似性，使我们能够检索邻居，即使在整体句子相似性低，是有用的翻译。我们用一个表达性的神经网络来补充这一点，使我们的模型能够从嘈杂的检索上下文中提取信息。我们评估了我们的半参数NMT方法的异构数据集组成的WMT，IWITAL，JRC-Accounts和OpenSubtitles，并证明所有4个评估集的收益。我们的方法的半参数性质打开了非参数领域自适应的大门，展示了强大的推理时间适应性能的新领域，而不需要任何参数更新。
2019-06-18 cs.CL cs.LG stat.ML
On the Evaluation of Semantic Phenomena in Neural Machine Translation Using Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个过程，调查在何种程度上产生的神经机器翻译（NMT）系统的句子表示编码不同的语义现象。我们使用这些表示作为特征来训练一个基于现有语义注释的数据集重铸的自然语言推理（NLI）分类器。在应用这个过程中的一个代表性的NMT系统，我们发现它的编码器似乎最适合支持推理的语法语义接口，相比，回指解析需要世界知识。最后，我们讨论的优点和潜在的不足，现有的过程中，以及如何可以改进和扩展为一个更广泛的框架，用于评估语义覆盖。
2018-05-06 cs.CL
Transfer Learning for Low-Resource Neural Machine Translation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Koç University（科奇大学）
神经机器翻译（NMT）的编码器-解码器框架在大数据场景中已经被证明是有效的，但对于低资源语言则不太有效。我们提出了一种迁移学习方法，该方法可以显着提高一系列低资源语言的Bleu分数。我们的核心思想是首先训练一个高资源的语言对（父模型），然后将一些学习到的参数转移到低资源对（子模型）来初始化和约束训练。使用我们的迁移学习方法，我们在四个低资源语言对上将基线NMT模型平均提高了5.6 Bleu。集成和未知词替换增加了另一个2 Bleu，这使得NMT在低资源机器翻译上的性能接近于基于强语法的机器翻译（SBMT）系统，超过了它在一个语言对上的性能。此外，使用迁移学习模型进行重新评分，我们可以将SBMT系统平均提高1.3 Bleu，提高低资源机器翻译的最新水平。
2016-04-08 cs.CL
Neural Machine Translation System of Indic Languages -- An Attention based Approach
Uka Tarsadia University（乌卡·塔萨迪亚大学）
神经机器翻译（NMT）是一种新的、有效的翻译技术，与传统的机器翻译技术相比，NMT有了显著的改进。建议的神经机器翻译模型开发的古吉拉特语包含编码器-解码器与注意力机制。在印度，几乎所有的语言都起源于他们的祖先语言--梵语。它们具有不可避免的相似性，包括词汇和命名实体的相似性。翻译成印度语一直是一项具有挑战性的任务。在本文中，我们介绍了神经机器翻译系统（NMT），它可以有效地翻译印地语和古吉拉特语等印度语言，这些语言总共覆盖了该国58.49%以上的使用者。我们已经比较了我们的NMT模型的性能与自动评估矩阵，如BLEU，困惑和TER矩阵。我们的网络与谷歌翻译的比较也被提出，它在英语-古吉拉特语翻译上以6 BLEU分数的优势胜出。
2020-02-02 cs.CL cs.LG stat.ML
Guiding Neural Machine Translation with Retrieved Translation Pieces
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）的难点之一是低频词或短语的召回和适当的翻译。在本文中，我们提出了一种简单，快速，有效的方法来回忆以前见过的翻译例子，并将它们纳入NMT解码过程。具体来说，对于一个输入句子，我们使用搜索引擎检索的句子对，其源端与输入句子相似，然后收集$n$ -gram，这都是在检索到的目标句子，并与源句子中匹配的单词对齐，我们称之为“翻译件”。我们根据输入句子和检索到的源句子之间的相似性计算每个检索到的句子的伪概率，并使用这些来加权检索到的翻译片段。最后，使用现有的NMT模型来翻译输入句子，并为包含收集的翻译片段的输出提供额外的奖励。我们表明，我们的方法将NMT翻译结果提高了6个BLEU点，在三个窄域翻译任务中，目标句子的重复性特别突出。它也几乎不会增加翻译时间，并与另一种基于检索的方法相比，在准确性，速度和实现简单性方面毫不逊色。
2018-04-07 cs.CL
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences/Peking Union Medical College（中国医学科学院/北京协和医学院）
目的：当今的神经机器翻译（NMT）可以达到接近人类水平的翻译质量，并极大地促进了国际交流，但缺乏平行语料库是开发高度专业化领域（如生物医学）翻译系统的关键问题。这项工作提出了一个无监督的算法，通过使用句子对齐从文档级翻译中获得并行语料库，并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法：通过混合文档级翻译来训练双语词嵌入（BWEs）以评估跨语言词相似度，并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文，利用该算法构建了一个汉英生物医学平行语料库，并将其用于NMT的训练和评估。结果如下：在两个手动对齐的翻译数据集上，该算法在1对1的情况下实现了准确的句子对齐，在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量（zh-en：+17.72 BLEU; en-zh：+17.02 BLEU）。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论：该算法放松了句子对齐的假设，有效地生成准确的翻译对，有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
Top-down string-to-dependency Neural Machine Translation
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Nara Women’s University（奈良女子大学）
本文提出一种自顶向下生成目标语言依存树的解码器，提升了长输入翻译性能，优于传统序列到序列解码。
2026-03-30 cs.CL
Neural Machine Translation with Source-Side Latent Graph Parsing
The University of Tokyo（东京大学）
本文提出了一种新的神经机器翻译模型，该模型联合学习句子的翻译和源端潜图表示。与现有的使用句法解析器的流水线方法不同，我们的端到端模型学习潜在图解析器作为基于注意力的神经机器翻译模型的编码器的一部分，从而根据翻译目标优化解析器。在实验中，我们首先表明，我们的模型相媲美的最先进的顺序和流水线的语法为基础的NMT模型。我们还表明，我们的模型的性能可以通过使用少量的树库注释进行预训练来进一步提高。我们最终的集成模型在标准英日翻译数据集上的表现明显优于之前的最佳模型。
2017-07-24 cs.CL
Learning Language Representations for Typology Prediction
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
神经NLP的一个核心谜团是神经模型对它们的主题“知道”什么。当神经机器翻译系统学习从一种语言翻译成另一种语言时，它是否学习了语言的语法或语义？这些知识能否从系统中提取出来，填补人类科学知识的漏洞？现有的类型学数据库只包含几百种语言的相对完整的特征规范。利用一千多种语言中存在的并行文本，我们构建了一个从1017种语言到英语的大规模多对一神经机器翻译（NMT）系统，并使用它来预测类型数据库中缺失的信息。实验表明，所提出的方法不仅能够推断句法，而且语音和语音库存功能，并提高了基线，可以访问有关语言的地理和系统发育邻居的信息。
2017-07-29 cs.CL
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））；Silo AI
针对印度语间低资源机器翻译性能不佳的问题，提出利用基于拉丁字母的通用编码（WX notation）结合BPE，将相似语言投影至相同的正字-语音字符空间以利用其语言相似性，实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Neural Machine Translating from Natural Language to SPARQL
TU Dresden（德累斯顿工业大学）；University of Vienna（维也纳大学）
SPARQL是一种非常强大的查询语言，适用于数量不断增长的关联数据资源和知识图谱。使用它需要对要查询的领域中的实体有一定的熟悉度，以及语言语法和语义方面的专业知识，而这些都不是一般的人类网络用户所具备的。为了克服这一限制，自动翻译自然语言的问题SPARQL查询一直是一个充满活力的研究领域。然而，迄今为止，深度学习方法的巨大成功尚未完全传播到这个研究问题。本文有助于填补这一空白，评估利用八种不同的神经机器翻译（NMT）模型的任务，从自然语言的结构化查询语言SPARQL的翻译。在强调高数量和高质量数据集的重要性的同时，结果显示了基于CNN的架构的主导地位，BLEU得分高达98，准确率高达94%。
2019-06-21 cs.CL
A Tulu Resource for Machine Translation
University of Zurich（苏黎世大学）
本文构建首个英语-图鲁语平行数据集，并利用南达罗毗荼语系相关语言资源通过迁移学习训练英-图鲁语机器翻译系统，在不使用平行数据的情况下超越Google Translate 19个BLEU分数。
2024-03-28 cs.CL
Structure-Invariant Testing for Machine Translation
ETH Zurich（苏黎世联邦理工学院）
近年来，机器翻译软件越来越多地融入我们的日常生活。人们通常将机器翻译用于各种应用，例如向外国医生描述症状和阅读外语政治新闻。然而，支持现代机器翻译的神经机器翻译（NMT）模型的复杂性和棘手性使得这些系统的鲁棒性甚至难以评估，更不用说保证了。机器翻译系统可能返回劣质结果，导致误解、医疗误诊、人身安全威胁或政治冲突。尽管其明显的重要性，验证机器翻译系统的鲁棒性是非常困难的，因此，被大大低估了。为了应对这一挑战，我们引入了结构不变测试（SIT），一种新的变形测试方法来验证机器翻译软件。我们的主要观点是，“相似”的源语句的翻译结果通常应该表现出相似的句子结构。具体来说，SIT（1）通过用语义相似、句法等价的词替换给定句子中的一个词来生成相似的源句子;（2）通过句法分析树（通过选区或依存句法分析获得）来表示句子结构;（3）报告结构差异超过某个阈值的句子对。为了评估SIT，我们使用它来测试Google翻译和Bing Microsoft翻译，输入200个源句子，导致64个和70个错误问题，准确率分别为69.5%和70%。翻译错误是多种多样的，包括翻译不足，过度翻译，不正确的修改，单词/短语误译，和逻辑不清。
2020-07-14 cs.CL cs.SE
Learning cross-lingual phonological and orthagraphic adaptations: a case study in improving neural machine translation between low-resource languages
MNNIT Allahabad（莫蒂拉尔·尼赫鲁国家理工学院阿拉哈巴德分校）；IIT (BHU)（印度理工学院（贝纳拉斯印度教大学））
词汇表外（OOV）单词可能对机器翻译（MT）任务构成严重挑战，特别是对低资源语言（LRL）对，即，很少或没有平行语料库存在的语言对。我们的工作适应seq 2seq模型的变体来执行从印地语到Bhojpuri（LRL实例）的这些单词的转导，从印地语-Bhojpuri单词的双语词典中构建的一组同源对中学习。我们证明，我们的模型可以有效地用于语言对有限的平行语料库，我们的模型工作在字符水平上把握语音和正字法的相似性，跨多种类型的词适应，无论是共时或历时，借词或同源词。我们描述了几个字符级别的NMT系统，我们适应这项任务的培训方面，并描述其典型的错误。我们的方法在Hindi到Bhojpuri翻译任务上将BLEU分数提高了6.3。此外，我们表明，这种转换可以推广到其他语言成功地将其应用到印地语-孟加拉语同源对。我们的工作可以被看作是一个重要的步骤，在这个过程中：（i）解决机器翻译任务中出现的OOV单词问题，（ii）为资源受限的语言创建有效的并行语料库，以及（iii）利用增强的语义知识捕获的单词级嵌入执行字符级任务。
2019-07-22 cs.CL
Improving Statistical Machine Translation for a Resource-Poor Language Using Related Resource-Rich Languages
Qatar Computing Research Institute（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
我们提出了一种新的语言独立的方法，通过利用资源丰富的语言的相似性，提高资源贫乏的语言的机器翻译。更准确地说，我们改进了从资源贫乏的源语言X_1到资源丰富的语言Y的翻译，给定了包含有限数量的X_1-Y的平行句子的双文本和包含与X_1密切相关的资源丰富的语言X_2的X_2-Y的较大双文本。这是通过利用语言X_1和X_2在拼写、词序和语法方面的词汇重叠和相似性来实现的：（1）我们为资源贫乏的语言改进了单词对齐，（2）我们通过额外的翻译选项进一步增强了它，以及（3）我们通过适当的音译来照顾潜在的拼写差异。印度尼西亚语- >英语使用马来语和西班牙语->英语使用葡萄牙语和假装西班牙语是资源贫乏的评估分别显示了高达1.35和3.37 BLEU点的绝对增益，这是最好的竞争方法的改进，同时使用更少的额外数据。总的来说，我们的方法将必要的“真实训练数据”的数量减少了2- 5倍。
2014-01-23 cs.CL
Unfragmenting Nawatl NMT: Single-Variant Specialization for Masewalkopa
University of Colorado Boulder（科罗拉多大学博尔德分校）
针对纳瓦特尔语的变体碎片化问题，研究将mT5-large专门化到马塞瓦科帕变体，结合定制分析器与LoRA、CTranslate2量化技术，提升翻译性能并降低部署延迟。
2026-10-16 cs.CL
From Phonology to Syntax: Unsupervised Linguistic Typology at Different Levels with Language Embeddings
Department of Computer Science（计算机科学系）；University of Copenhagen（哥本哈根大学）；Denmark（丹麦）
语言类型学的一个核心部分是根据语言特性对语言进行分类，例如世界语言结构地图集（WALS）中详细描述的语言。手动完成这项工作非常耗时，这在一定程度上可以从以下事实中得到证明：世界上使用的7，000多种语言中只有100种完全覆盖在WALS中。我们学习分布式语言表示，它可用于在大规模多语言规模上预测类型学属性。此外，对这些语言嵌入的定量和定性分析可以告诉我们语言相似性如何在不同类型水平的任务的NLP模型中编码。这些表征是以无监督的方式与三个类型学层面的任务一起学习的：音位学（字素到音素的预测和音素重建），形态学（形态变化）和句法（词性标记）。我们考虑了800多种语言，并根据目标任务的不同，发现编码的语言表示存在显著差异。例如，虽然挪威博克莫尔语和丹麦语在类型上彼此接近，但它们在语音上是遥远的，这反映在它们的语言嵌入在语音任务中变得相对遥远。我们还能够以高精度预测WALS中的类型学特征，即使是看不见的语言家族。
2018-02-23 cs.CL
Generalizing Natural Language Analysis through Span-relation Representations
Carnegie Mellon University（卡内基梅隆大学）；Ohio State University（俄亥俄州立大学）；Bosch Research North America（博世北美研究院）
自然语言处理涵盖预测语法、语义和信息内容的各种任务，并且通常每种类型的输出都是通过专门设计的架构生成的。在本文中，我们提供了一个简单的见解，各种各样的任务可以表示在一个单一的统一格式，包括标签跨度和跨度之间的关系，从而一个单一的任务独立的模型可以用于不同的任务。我们进行了广泛的实验，以测试这种洞察力的10个不同的任务，跨越依存句法分析（语法），语义角色标注（语义），关系抽取（信息内容），基于方面的情感分析（情感），以及许多其他，实现性能媲美国家的最先进的专业模型。我们进一步展示了多任务学习的好处，并且还表明，所提出的方法可以很容易地分析模型处理不同任务的差异和相似之处。最后，我们将这些数据集转换成一个统一的格式，以建立一个基准，它提供了一个整体的测试平台，用于评估未来的模型，广义自然语言分析。
2020-05-03 cs.CL
Discovering linguistic (ir)regularities in word embeddings through max-margin separating hyperplanes
The Royal Veterinary College（皇家兽医学院）
我们尝试了新的方法来学习相关的词如何在词嵌入空间中相对于彼此定位。以前的方法学习了常量向量偏移：从源标记指向目标标记的向量，假设这些偏移彼此平行。我们发现，相关令牌之间的偏移量更接近正交比平行，并且它们具有低余弦相似性。我们继续做一个不同的假设;目标标记与源标记和未标记是线性可分的。我们发现，一个最大的利润率超平面可以分离目标令牌和向量正交于这个超平面表示源和目标之间的关系。我们发现，这种关系的表示获得了最好的结果，在发现语言的重复。我们用各种算法（Word 2 vec：CBOW/skip-gram，fastText或GloVe）训练的向量空间模型进行实验，以及各种单词上下文选择，如线性词序，语法依赖语法，以及是否知道单词位置。这些实验表明，我们的模型，SVMCos，是强大的一系列的实验选择时，训练词嵌入。
2020-03-07 cs.CL
Encoding syntactic objects and Merge operations in function spaces
Department of Mathematics（数学系）；Department of Computing（计算系）；Mathematical Sciences, California Institute of Technology, CA 91125, USA（数学科学，加州理工学院）；Institute for Data Systems（数据系统研究所）；Society, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（社会研究所，麻省理工学院）
该研究在函数空间中通过构造半环结构和霍普夫代数马尔可夫链，实现了语法对象和Merge操作的神经计算实现。
2026-02-06 cs.CL math.RA q-bio.NC
