Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.（百度公司）
本文提出跨语言一致性正则化CrossConST，通过弥合语言表示差距提升零样本多语言神经机器翻译性能，并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
Improving Visual Sensitivity of LLMs on Multimodal Machine Translation with Metric-based Loss Weighting
Maastricht University（马斯特里赫特大学）；Warsaw University of Technology（华沙理工大学）；IDEAS Research Institute（IDEAS研究所）
提出基于度量的损失加权方法，利用PCXMI指标识别受益于图像的令牌并提高其损失，增强多模态翻译的视觉敏感性，在CoMMuTE数据集上准确率提升超7个百分点。
2026-09-28 cs.AI cs.CL
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个实质性的一步，更好地理解SOTA序列到序列（Seq 2Seq）神经机器翻译~（NMT）的预训练。我们专注于研究联合预训练解码器的影响，这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验，我们发现Seq 2Seq预训练是一把双刃剑：一方面，它有助于NMT模型产生更多样化的翻译，减少与充分性相关的翻译错误。另一方面，Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量（即，域差异）并引起过估计问题（即，客观差异）。基于这些观察，我们进一步提出了简单有效的策略，命名为域内预训练和输入自适应，以弥补域和目标的差异，分别。在几个语言对上的实验结果表明，我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
Improving Word Sense Disambiguation in Neural Machine Translation with Salient Document Context
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对机器翻译中的词汇歧义问题，提出一种利用伪文档显著词作为源句前缀的可扩展方法，无需词义标注或修改模型架构，在降低训练成本的同时有效提升了歧义词翻译质量。
2023-11-27 cs.AI cs.CL
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London（帝国理工学院）
神经机器翻译（NMT）模型在翻译干净的文本时已被证明是强大的，但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对，但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个：第一，我们提出了新的数据增强方法来扩展有限的噪声数据，并进一步提高NMT对噪声的鲁棒性，同时保持模型小。其次，我们探讨了以语音转录的形式利用外部数据中的噪声的效果，并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
准确的术语翻译对于确保神经机器翻译（NMT）系统的实用性和可靠性至关重要。为了解决这个问题，词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而，在许多情况下，这些方法是在一般领域语料库中研究的，其中术语大多是uni-gram和bi-gram（>98%）。在本文中，我们解决了一个更具挑战性的设置，由特定领域的语料库组成，具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发，我们提出了一种简单有效的训练策略，该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Improving Zero-shot Multilingual Neural Machine Translation for Low-Resource Languages
Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）
多语言神经机器翻译（NMT）扩展了Google的多语言NMT，具有zero-shot翻译能力，迭代自学习算法可以提高zero-shot翻译的质量，但它面临两个问题：多语言NMT模型在实现zero-shot翻译时容易产生错误的目标语言;使用束搜索来生成合成并行数据的自学习算法破坏了所生成的源语言的多样性，并且在迭代学习过程期间放大了相同噪声的影响。本文针对这两个问题，提出了标记多语言NMT模型，并改进了自学习算法。首先，我们扩展了Google的多语言NMT模型，为目标语言添加目标标记，将开始标记与目标语言相关联，以确保源语言可以翻译为所需的目标语言。其次，改进了自学习算法，用随机样本代替束搜索，增加了生成数据的多样性，使其能适当覆盖真实数据分布。在IWITOS上的实验结果表明，在2010年和2017年的罗马尼亚-意大利语测试集上，调整后的标记多语言NMT分别获得了9.41和7.85的BLEU分数。同样，它在意大利语-罗马尼亚语zero-shot翻译上获得了9.08和7.99的BLEU分数。此外，改进后的自学习算法在zero-shot翻译方面也显示出其优于传统自学习算法的优势。
2021-10-02 cs.AI cs.CL
An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究表明，神经机器翻译（NMT）的性能在低资源条件下会急剧下降，通常需要大量辅助数据才能获得有竞争力的结果。生成辅助数据的一种有效方法是对目标语言句子进行回译。在这项工作中，我们提出了一个Tigrinya的案例研究，我们调查了几个回译方法来生成合成源句子。我们发现，在低资源的条件下，回译通过旋转通过一个较高的资源语言相关的目标语言证明是最有效的，从而大大提高了基线。
2021-04-04 cs.CL
TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement
Zhejiang University（浙江大学）；Tencent（腾讯）；Angelalign Technology Inc.（时代天使科技有限公司）
针对大语言模型机器翻译仍存错误的问题，提出名为TEaR的翻译-评估-反思系统性自我修正框架，可提升多场景翻译质量，兼具强系统性与可解释性，并探究了通用LLM翻译与评估能力的关联。
2024-06-21 cs.AI cs.CL
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
Cummins College of Engineering for Women（卡明斯女子工程学院）；Banasthali University（班纳斯塔利大学）
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
2013-07-12 cs.CL
Improving Simultaneous Translation by Incorporating Pseudo-References with Fewer Reorderings
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Columbia University（哥伦比亚大学）
同声翻译与整句翻译有很大的不同，因为它在源句结束之前就开始翻译，只有几个字的延迟。然而，由于缺乏大规模，高质量的同声翻译数据集，大多数这样的系统仍然是在传统的整句双文本上训练的。这对于同时发生的场景来说是非常不理想的，因为在这些双文本中存在大量不必要的长距离重新排序。我们提出了一种新的方法，改写现有的整句语料库的目标方到错误风格的翻译。在Zh->En和Ja->En同声翻译上的实验表明，添加这些生成的伪引用后，翻译效果有了很大的改善（最高可达+2.7 BLEU）。
2021-09-23 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting
Alibaba Group（阿里巴巴集团）
本文提出统一的多知识提示框架，将句子、术语/短语和翻译模板作为编码器与解码器的前缀提示，在不改变架构、不重新训练的情况下提升领域翻译性能。
2023-12-08 cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University（巴纳斯塔利大学）
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中，名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验，它们是：专有名称，位置名称，组织名称和杂项。为了音节化的目的，已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Improving Neural Machine Translation with Pre-trained Representation
单语数据已被证明有助于提高神经机器翻译（NMT）的翻译质量。现有的方法多停留在词级知识的利用上，如生成合成并行数据或从词嵌入中提取信息。相比之下，在自然语言生成过程中起着重要作用的、更为复杂多样的文本级上下文知识的力量却没有得到充分的利用。在本文中，我们提出了一种新的结构，它可以利用单语数据来获取会话级上下文表示。然后，我们设计了一个框架，将源语言和目标语言的语义级表示集成到NMT模型中，以提高翻译质量。在汉英、德英机器翻译任务上的实验结果表明，我们提出的模型在强Transformer基线上取得了较好的效果，而在英语-土耳其语上的实验进一步证明了我们的方法在低资源场景下的有效性。
2019-08-21 cs.CL
Improving Language Model Integration for Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
本文将自动语音识别中中和隐式语言模型的思想迁移到机器翻译，以增强外部语言模型融合，并与回译方法进行比较。
2023-06-08 cs.AI cs.CL cs.LG
Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation
Saarland University（萨尔大学）；DFKI（德国人工智能研究中心）；University of Wolverhampton（伍尔弗汉普顿大学）；Jadavpur University（贾达普大学）
本文介绍了策略，以改善现有的基于网络的计算机辅助翻译（CAT）工具，名为CATaLog在线。CATaLog Online提供了一个具有简单而有用的项目管理工具的后期编辑环境。它提供来自翻译记忆库（TM）、机器翻译（MT）和自动后期编辑（APE）的翻译建议，并记录后期编辑活动的详细日志。为了测试本文提出的新方法，我们进行了用户研究的英语-德语翻译任务使用CATaLog在线。用户反馈显示，在某些方面，用户更喜欢使用CATaLog Online而不是现有的CAT工具，特别是通过选择MT系统的输出和利用TM建议的配色方案。
2019-08-16 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
University of Potsdam（波茨坦大学）
本研究探讨极低资源下多语言神经机器翻译的跨语言知识迁移，通过顺序迁移学习提升性能，并利用 TX-Ray 分析剪枝对鲁棒性与泛化的影响。
2024-12-18 cs.AI cs.CL
Improving Gender Translation Accuracy with Filtered Self-Training
Texas A&M University（德克萨斯A&M大学）；Amazon AI（亚马逊AI）
有针对性的评价发现，机器翻译系统经常输出不正确的性别，即使性别在上下文中很清楚。此外，这些不正确的性别翻译有可能反映或放大社会偏见。我们提出了一种性别过滤的自我训练技术，以提高性别翻译准确性的明确性别的输入。该方法使用源单语语料库和初始模型来生成特定性别的伪平行语料库，然后将其添加到训练数据中。我们在源端和目标端对性别特定语料进行过滤，以确保句子对包含并正确翻译指定的性别。我们评估了我们将英语翻译成五种语言的方法，发现我们的模型提高了性别翻译的准确性，而不会对通用翻译质量造成任何损失。此外，我们展示了我们的方法在几种设置上的可行性，包括从头开始重新训练，微调，控制训练数据的平衡，向前翻译和向后翻译。
2021-04-15 cs.CL
Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯 AI 实验室）
本文探索将质量估计模型用作奖励模型以利用人类反馈改进机器翻译，针对过度优化问题提出启发式惩罚方法，实验显示该方法显著提升翻译质量且数据效率高。
2024-03-18 cs.AI cs.CL
Improving Retrieval Augmented Neural Machine Translation by Controlling Source and Fuzzy-Match Interactions
AWS AI Labs（亚马逊云科技人工智能实验室）
我们探讨zero-shot适应，其中一般的领域模型可以访问客户或领域特定的并行数据在推理时间，但不是在训练。我们建立在检索增强翻译（RAT）的思想上，其中为源句子找到了top-k域内模糊匹配，并且在推理时将这些模糊匹配句子的目标语言翻译提供给翻译模型。我们提出了一种新的架构来控制源句子和前k个模糊目标语言匹配之间的交互，并将其与以前工作的架构进行比较。我们在两个语言对（En-De和En-Fr）中进行实验，在WMT数据上训练模型，并分别用五个和七个多域数据集进行测试。我们的方法始终优于其他架构，提高BLEU跨语言对，域和模糊匹配的数量k。
2022-10-10 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft（微软）
针对同声语音翻译中部分结果闪烁的稳定性问题，提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法，可大幅减少甚至消除闪烁，在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Improving Lexical Choice in Neural Machine Translation
University of Notre Dame（圣母大学）
我们探讨了神经机器翻译中生僻词误译问题的两种解决方案。首先，我们认为标准输出层，它计算一个向量的内积表示上下文与所有可能的输出词嵌入，奖励频繁的话不成比例，我们建议固定两个向量的范数为一个常数。其次，我们集成了一个简单的词汇模块，它与模型的其余部分联合训练。我们在8种语言对上评估了我们的方法，数据大小从10万到800万个单词，并实现了高达+4.3 BLEU的改进，几乎在所有设置中都超过了基于短语的翻译。
2018-04-17 cs.CL
Chasing COMET: Leveraging Minimum Bayes Risk Decoding for Self-Improving Machine Translation
Laniqo（拉尼克公司）；Faculty of Mathematics and Computer Science, Adam Mickiewicz University（亚当·密茨凯维奇大学数学与计算机科学学院）
本文提出用 COMET 作为 MBR 解码效用指标，并基于模型自身正向翻译微调，实现机器翻译在领域适配和低资源场景下的迭代自我改进。
2024-05-20 cs.AI cs.CL cs.LG
Improving Robustness of Retrieval Augmented Translation via Shuffling of Suggestions
AWS AI Labs（亚马逊云科技人工智能实验室）
最近的几项研究报告称，通过在推理时使用从翻译记忆（TM）检索的模糊匹配来增强翻译，神经机器翻译（NMT）的性能得到了显着提高。然而，这些研究都是在假设测试时可用的TM与测试集高度相关的前提下进行的。我们证明，对于现有的检索增强翻译方法，使用TM与域不匹配的测试集可以导致大幅下降的性能相比，根本不使用TM。我们提出了一种简单的方法，在训练过程中暴露模糊匹配NMT系统，并表明它会导致一个系统，这是更宽容（恢复高达5.8 BLEU）与域不匹配的TM推理。此外，当从相关TM获得建议时，该模型仍然与基线具有竞争力。
2022-10-11 cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在多模态神经机器翻译（MNMT）中，神经模型生成描述图像的翻译句子，给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络（CNN）处理图像以提取可由翻译模型利用的视觉特征。到目前为止，所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设，更丰富的架构，如密集的字幕模型，可能更适合MNMT，并可能导致改进的翻译。我们将这种直觉扩展到词嵌入，在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置，
2017-12-16 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University（马斯特里赫特大学）；Facebook AI（脸书人工智能研究院）
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力，即zero-shot翻译。尽管在概念上很有吸引力，但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明，模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素，导致特定语言的表示是位置对应的输入令牌。我们表明，这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改，我们在zero-shot翻译上获得了高达18.5个BLEU点，同时保持了监督方向的质量。这些改进在相关语言之间尤为突出，我们提出的模型优于基于XML的翻译。此外，我们的方法允许轻松集成新语言，这大大扩展了翻译范围。通过对隐藏层输出的彻底检查，我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages
Korea University of Science and Technology (UST)（韩国科学技术大学（UST））；Electronics and Telecommunication Research Institute (ETRI)（电子通信研究院（ETRI））
在机器翻译中，我们经常尝试收集资源以提高性能。然而，大多数语言对，如朝鲜语-阿拉伯语和朝鲜语-越南语，没有足够的资源来训练机器翻译系统。在本文中，我们提出了使用合成方法来扩展低资源语料库，并将其应用于多源神经机器翻译模型。我们展示了通过使用综合方法进行语料扩展来提高机器翻译性能。我们特别关注如何创建源句子，使目标句子更好，包括使用合成方法。我们发现，语料库扩展也可以提高多源神经机器翻译的性能。我们证明了语料库扩展和多源模型是低资源语言对的有效方法。此外，当这两种方法一起使用时，我们发现更好的机器翻译性能。
2018-02-14 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University（萨维特里拜·普纳大学）
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练，并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调，一直显示出示范性的结果。在这项工作中，我们提出了一个多任务微调方法，它结合了双语机器翻译任务与辅助因果语言建模任务，以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究，马拉地语-印地语，马拉地语-英语和印地语-英语，在那里我们将多任务微调方法与标准微调方法进行了比较，为此我们使用了mBART 50模型。我们的研究表明，多任务微调方法可能是一种比标准微调更好的技术，可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation
University of Amsterdam（阿姆斯特丹大学）
本研究通过大规模实验，解耦了多语言机器翻译中目标端语言相似性和语料库规模对知识迁移的影响，并发现远距离语言可通过正则化作用提升翻译性能。
2024-02-01 cs.AI cs.CL cs.LG
Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多对多多语言神经机器翻译可以在训练期间看不到的语言对之间进行翻译，即，zero-shot翻译改进zero-shot翻译需要模型学习通用表示和交叉映射关系，以将在监督方向上学习的知识转移到zero-shot方向。在这项工作中，我们提出了基于最优理论的状态移动器距离来对编码器输出的表示的差异进行建模。然后，我们通过最小化建议的距离来学习通用表示，从而在令牌级别上弥合不同语言的语义等价表示之间的差距。此外，我们提出了一个基于协议的训练方案，它可以帮助模型做出一致的预测的基础上语义等价的句子学习通用的交叉映射关系的所有翻译方向。在多种多语言数据集上的实验结果表明，与基线系统和其他对比方法相比，该方法可以提高一致性。分析表明，该方法能更好地对齐语义空间，提高预测一致性。
2022-10-28 cs.CL
Improving Machine Translation with Phrase Pair Injection and Corpus Filtering
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在本文中，我们表明，短语对注入和语料库过滤相结合，提高神经机器翻译（NMT）系统的性能。我们从伪平行语料库中提取平行短语和句子，并将其与平行语料库一起进行训练NMT模型。与所提出的方法，我们观察到的改进机器翻译（MT）系统的3个低资源的语言对，印地语-马拉地语，英语-马拉地语，英语-普什图语，和6个翻译方向高达2.7 BLEU点，在FLORES测试数据。这些BLEU分数的提高是在使用整个伪并行语料库训练的模型上，该整个伪并行语料库是用并行语料库增强的。
2023-01-19 cs.CL cs.LG
Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection
Independent Researcher（独立研究者）
本文提出反思性翻译框架，通过结构化自我反思提升低资源语言的机器翻译质量，实验表明其在BLEU和COMET评分上均有显著提升。
2026-01-27 cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Improving the Efficiency of a Generation Algorithm for Shake and Bake Machine Translation Using Head-Driven Phrase Structure Grammar
在Whitelock提出的统一范畴文法机器翻译算法的基础上，提出了中心语驱动短语结构文法的Shake and Bake机器翻译算法。翻译过程中，然后分析，以确定潜在的低效率的来源，并介绍了一些建议，大大提高了效率的生成算法。初步的实证结果，涉及一个小的语法测试，并提供了更大的改进算法的建议。
1995-05-09 cmp-lg cs.CL
Triangular Transfer: Freezing the Pivot for Triangular Machine Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
三角机器翻译是低资源机器翻译的一种特殊情况，其中感兴趣的语言对具有有限的并行数据，但两种语言都具有丰富的并行数据与枢轴语言。自然，三角形机器翻译的关键是成功地利用这种辅助数据。在这项工作中，我们提出了一种基于迁移学习的方法，利用所有类型的辅助数据。当我们训练辅助源-枢轴和辅助目标-目标翻译模型时，我们使用预训练的语言模型初始化枢轴侧的一些参数，并冻结它们以鼓励两个翻译模型在相同的枢轴语言空间中工作，以便它们可以平滑地转换到源-目标翻译模型。实验表明，我们的方法可以优于以前的。
2022-03-17 cs.CL
Improving Neural Machine Translation by Bidirectional Training
The University of Sydney（悉尼大学）；Peking University（北京大学）；JD Explore Academy, JD.com（京东探索学院，京东集团（注：根据机构含义，JD.com 是京东集团，此处按要求提取到公司级别，学院名称保留英文））
我们提出了一种简单有效的预训练策略--神经机器翻译的双向训练（BiT）。具体来说，我们在早期阶段双向更新模型参数，然后正常调整模型。为了实现双向更新，我们简单地将训练样本从“src $\rightarrow$ tgt”重建为“src+tgt $\rightarrow$ tgt+src”，而不需要任何复杂的模型修改。值得注意的是，我们的方法不增加任何参数或训练步骤，只需要并行数据。实验结果表明，BiT显著提高了SOTA神经机器翻译在8种语言对（数据大小从160 K到38 M）上的15个翻译任务的性能。令人鼓舞的是，我们提出的模型可以补充现有的数据操作策略，即回译，数据蒸馏和数据多样化。大量的分析表明，我们的方法功能作为一种新的双语码转换器，获得更好的双语对齐。
2021-09-16 cs.CL
Progressive Translation: Improving Domain Robustness of Neural Machine Translation with Intermediate Sequences
The Chinese University of Hong Kong（香港中文大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
本文提出利用“类源”到“类目标”的中间序列作为监督信号，结合全排列多任务学习和最小贝叶斯风险解码，有效提升了神经机器翻译的领域鲁棒性，减少了领域外翻译的幻觉，在低资源场景下尤为有效。
2023-05-16 cs.CL
Evaluating and Improving the Coreference Capabilities of Machine Translation Models
The Hebrew University of Jerusalem（希伯来大学）；Bar Ilan University（巴伊兰大学）
机器翻译（MT）需要广泛的语言能力，当前的端到端模型期望通过观察双语语料库中对齐的句子来隐式地学习这些语言能力。在这项工作中，我们要求：\emph{How well do MT models learn coreference resolution from implicit signal?}为了回答这个问题，我们开发了一种评估方法，从MT输出中获得共指聚类，并在不需要目标语言注释的情况下对其进行评估。我们进一步评估了几个著名的开源和商业MT系统，从英语翻译到六种目标语言，并将它们与三个具有挑战性的基准测试中最先进的共指消解器进行比较。我们的研究结果表明，单语解析器大大优于MT模型。受此结果的启发，我们实验了不同的方法，将共指消解模型的输出纳入MT中，显示出对强基线的改进。
2023-02-16 cs.AI cs.CL cs.LG
Improving Robustness of Machine Translation with Synthetic Noise
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
现代机器翻译（MT）系统在干净的域内文本上表现一贯良好。然而，大多数人类生成的文本，特别是在社交媒体领域，充满了错别字，俚语，方言，习语和其他噪音，这可能对输出翻译的准确性产生灾难性的影响。在本文中，我们利用机器翻译的噪声文本（MTNT）数据集，以提高机器翻译系统的鲁棒性，通过模仿自然发生的噪音，否则干净的数据。以这种方式合成噪声，我们最终能够使普通MT系统对自然发生的噪声有弹性，并部分减轻由此导致的准确性损失。
2019-04-10 cs.CL cs.LG
Inferring Shallow-Transfer Machine Translation Rules from Small Parallel Corpora
本文描述了一种从小型平行语料库中自动推理结构迁移规则的方法，该方法可用于浅迁移机器翻译（MT）系统。结构转移规则基于比对模板，如在统计MT中使用的那些。对齐模板是从对齐的平行语料库中提取的，并扩展了一组限制，这些限制来自于MT系统的双语词典，并控制它们的应用程序作为传输规则。在免费/开源MT平台Atrium中使用三种不同的语言对进行的实验表明，与逐字翻译相比（当不使用转换规则时），翻译质量得到了提高，并且最终的翻译质量接近使用手工编码的转换规则获得的翻译质量。我们提出的方法是完全无监督的，并受益于MT系统的其余模块中的信息，其中应用推断的规则。
2014-01-15 cs.CL
Improving Vietnamese-English Medical Machine Translation
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；VinAI Research（VinAI研究院）；University of Technology Sydney（悉尼科技大学）
本文构建了约36万句对的越南语-英语医学平行数据集MedEV，并通过多模型对比实验证明微调vinai-translate在两个翻译方向上均取得最佳效果。
2024-03-28 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Inc（腾讯公司）
通常，神经机器翻译模型以从左到右（L2R）的方式生成目标词，并且无法利用任何未来（右）语义信息，这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左（R2L）解码器来缓解这个问题。在本文中，我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象（\textbf{DIM}），动态地利用目标语义从R2L翻译，以提高L2R翻译质量。与其他双向解码方法不同的是，DIM首先通过寻址和读取操作提取有用的目标信息，然后更新目标语义以跟踪交互历史。此外，我们还在训练目标中引入了一个\textbf{agreement regularization}术语，以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明，该系统在基线系统上取得了显著的改进，与最先进的Transformer模型相比，其参数少得多，达到了相当的效果。
2019-11-05 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Improving Indigenous Language Machine Translation with Synthetic Data and Language-Specific Preprocessing
University of Florida（佛罗里达大学）
本研究通过合成数据生成和语言特定预处理方法，改进低资源原住民语言的神经机器翻译效果，实验显示合成数据增强对翻译质量有积极影响，但通用预处理在高度屈折语言中存在局限。
2026-01-10 cs.CL
Improving Robustness in Real-World Neural Machine Translation Engines
Iconic Translation Machines Ltd.（Iconic翻译机器有限公司）
作为机器翻译的商业提供商，我们不断为各种用途、语言和内容类型培训引擎。在每种情况下，可能存在许多变量，例如可用的训练数据的量以及最终用户的质量要求。这些变量可能会影响神经MT引擎的鲁棒性。总的来说，神经机器翻译治愈了其他机器翻译范式的许多弊病，但同时，它也带来了一系列新的挑战。在本文中，我们描述了实用NMT的一些具体问题以及我们在现实场景中提高模型鲁棒性所采取的方法。
2019-07-02 cs.CL
Improving Neural Machine Translation through Phrase-based Forced Decoding
National Institute of Information and Communications Technology（国立信息通信技术研究所）；Graduate School of Information Science, Nara Institute of Science and Technology（奈良先端科学技术大学院大学信息科学研究科）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
与传统的统计机器翻译（SMT）相比，神经机器翻译（NMT）往往为了流畅性而牺牲充分性。我们提出了一种方法，结合传统的SMT和NMT的优点，利用现有的基于短语的SMT模型来计算基于短语的解码成本的NMT输出，然后使用此成本重新排名的n-最好的NMT输出。实现这种方法的主要挑战是NMT输出可能不在标准的基于短语的解码算法的搜索空间中，因为基于短语的SMT的搜索空间受到基于短语的翻译规则表的限制。我们提出了一个软强制译码算法，它总是可以成功地找到任何NMT输出的解码路径。我们表明，使用强制解码成本重新排名的NMT输出可以成功地提高翻译质量的四个不同的语言对。
2017-11-01 cs.CL
Improving Neural Machine Translation by Denoising Training
The University of Sydney（悉尼大学）；Beihang University（北京航空航天大学）；JD Explore Academy, JD.com（京东探索研究院）
本文提出了一种简单有效的预训练策略{D}，使{T}训练DoT，用于神经机器翻译。具体来说，我们在早期阶段使用源端和目标端去噪任务更新模型参数，然后正常调整模型。值得注意的是，我们的方法不增加任何参数或训练步骤，只需要并行数据。实验表明，DoT在12种双语和16种多语言方向（数据大小从80 K到20 M）上持续提高神经机器翻译性能。此外，我们表明，DoT可以补充现有的数据操作策略，即课程学习，知识蒸馏，数据多样化，双向培训和回译。令人鼓舞的是，我们发现DoT在高资源环境中的性能优于昂贵的预训练模型mBART。分析表明，DoT是一种新的领域内跨语言预训练策略，可以提供进一步的改进与任务相关的自我监督。
2022-01-20 cs.CL
Improving Rare Word Translation With Dictionaries and Attention Masking
University of Notre Dame（圣母大学）
本文针对机器翻译中的稀有词问题，提出将双语词典释义附加到源句并结合注意力掩码的方法，在低资源和领域外场景下最高提升1.0 BLEU和1.6 MacroF1。
2024-09-03 cs.CL cs.LG
Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
Google Inc.（谷歌公司）
子词单元是解决神经机器翻译中开放词汇问题的有效方法。虽然句子通常被转换成唯一的子词序列，但子词切分可能是模糊的，并且即使使用相同的词汇表也可能进行多个切分。在本文中解决的问题是，是否有可能利用分割模糊作为噪声，以提高NMT的鲁棒性。我们提出了一种简单的正则化方法，即子词正则化，它使用在训练期间概率采样的多个子词切分来训练模型。此外，为了更好地子词采样，我们提出了一种新的子词切分算法的基础上一元语言模型。我们实验多个语料库和报告一致的改进，特别是在低资源和域外设置。
2018-04-29 cs.CL
Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
针对低资源神经机器翻译泛化能力不足的问题，提出Joint Dropout方法，通过用变量替换短语增强组合性，在低资源语言对上显著提升翻译质量，并增强跨领域鲁棒性与适应性。
2023-07-24 cs.CL
Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
为了提高神经机器翻译（NMT）在低资源语言（LRL）上的性能，一个有效的策略是利用相关高资源语言（HRL）的并行数据。然而，已经发现多语言数据对于从LRL翻译成目标语言的NMT模型比翻译成LRL的NMT模型更有益。在本文中，我们的目标是提高多语言传输的NMT模型，翻译\emph{into}的LRL的有效性，通过设计一个更好的解码器词嵌入。扩展的通用多语言编码方法软解耦编码~ \citep{SDE}，我们提出Decompression，一个高效的字符n-gram为基础的嵌入专门设计的NMT解码器。我们的实验表明，Deconstruct在从英语翻译到四种不同语言时，可以获得高达1.8 BLEU的一致收益。
2020-10-04 cs.CL
