A Template-based Method for Constrained Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；International Innovation Center of Tsinghua University, Shanghai（清华大学上海国际创新中心）；Quan Cheng Laboratory（之江实验室）；Zhongguancun Laboratory（中关村实验室）；Tencent AI Lab（腾讯人工智能实验室）
期望机器翻译系统在许多实际场景中应对各种类型的约束。虽然神经机器翻译（NMT）在无约束的情况下取得了很好的性能，但在NMT模型的翻译过程中施加预先指定的约束是不平凡的。虽然已经提出了许多方法来解决这个问题，但大多数现有方法不能同时满足以下三个要求：（1）高翻译质量，（2）高匹配准确率，（3）低延迟。在这项工作中，我们提出了一种基于模板的方法，可以产生高翻译质量和匹配精度的结果，我们的方法的推理速度与无约束NMT模型相当。我们的基本思想是通过一个模板重新安排约束和非约束令牌的生成。我们的方法不需要在模型架构和解码算法的任何变化。实验结果表明，基于模板的方法可以优于几个代表性的基线在词汇和结构约束的翻译任务。
2022-10-21 cs.CL
Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation
Amazon Research（亚马逊研究院）
神经机器翻译（NMT）的端到端特性消除了许多在旧范式中可用的手动引导翻译过程的方法。然而，最近的工作引入了一种新的能力：词汇约束或引导解码，这是对束搜索的修改，强制在输出中包含预先指定的单词和短语。然而，虽然理论上是合理的，但现有方法的计算复杂性要么是线性的（Hokamp和Liu，2017），要么是指数的（Anderson等人，2017年，在数量上受到限制。我们提出了一个算法的词法约束译码的复杂度为O（1）的限制的数量。我们展示了算法的显着能力，正确地放置这些约束，并使用它来探索模型和BLEU分数之间的不稳定的关系。我们的实现作为Sockeye的一部分提供。
2018-11-09 cs.CL
ParaBank: Monolingual Bitext Generation and Sentential Paraphrasing via Lexically-constrained Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了ParaBank，一个大规模的英语释义数据集，在数量和质量上都超过了以前的工作。按照ParaNMT的方法，我们训练捷克-英语神经机器翻译（NMT）系统，以产生新的英语参考句子的释义。然而，通过在NMT解码过程中添加词汇约束，我们能够为每个源句子生成多个高质量的原始释义，从而生成具有超过40亿个生成标记的英语释义资源，并表现出更大的词汇多样性。使用人类的判断，我们还表明，ParaBank的释义提高了ParaNMT的语义相似性和流畅性。最后，我们使用ParaBank来训练单语NMT模型，该模型同样支持句子重写任务的词汇约束解码。
2019-01-11 cs.CL
Lexically Constrained Neural Machine Translation with Levenshtein Transformer
Rakuten Institute of Technology Singapore（新加坡乐天技术研究所）；Rakuten, Inc.（乐天株式会社）
提出了一种简单有效的神经机器翻译词汇约束融合算法。以前的工作要么需要重新训练现有的模型与词汇的约束，或将它们合并在束搜索解码与显着更高的计算开销。利用最近提出的Levenshtein Transformer模型的灵活性和速度（Gu等人，2019），我们的方法在推理时注入术语约束，而不会对解码速度产生任何影响。我们的方法不需要对训练过程进行任何修改，并且可以在运行时使用自定义字典轻松应用。在英语-德语WMT数据集上的实验表明，我们的方法改进了无约束的基线和以前的方法。
2020-04-27 cs.CL
Scalable Machine Translation in Memory Constrained Environments
University of Oxford（牛津大学）
机器翻译是一门关于开发自动化工具的学科，用于将一种人类语言翻译成另一种人类语言。统计机器翻译（SMT）是这一领域的主流范式。在SMT中，翻译是通过统计模型生成的，其参数是从双语数据中学习的。可伸缩性是SMT中的一个关键问题，因为人们希望利用尽可能多的数据来训练更好的翻译系统。近年来，具有足够计算能力的移动设备已经变得广泛可用。尽管非常成功，但依赖于NLP系统的移动应用程序继续遵循客户端-服务器架构，这是有限的使用，因为访问互联网通常是有限的和昂贵的。本论文的目标是展示如何构建一个可扩展的机器翻译系统，可以在移动终端上使用有限的资源。在移动设备上移植翻译系统的主要挑战是内存使用。移动终端上可用的内存量远小于客户端-服务器应用程序的服务器端上通常可用的内存量。在这篇论文中，我们研究了这两个组件的替代方案，这两个组件阻止标准翻译系统在移动设备上工作，由于高内存使用。我们表明，一旦这些标准组件被替换为我们提出的替代品，我们获得了一个可扩展的翻译系统，可以在内存有限的设备上工作。
2016-10-06 cs.CL
Disambiguated Lexically Constrained Neural Machine Translation
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文针对词汇约束神经机器翻译中源词对应多个目标约束的歧义问题，提出两阶段框架D-LCNMT，先基于上下文消歧再集成约束，实验证明其优于现有基线方法。
2023-05-27 cs.CL
CUNI Systems for the WMT22 Czech-Ukrainian Translation Task
Charles University（查理大学）
我们目前查尔斯大学提交给WMT 22通用翻译共享任务捷克-乌克兰和乌克兰-捷克机器翻译。我们提出了两个限制提交的基础上块回翻译和标记回翻译和实验与基于规则的罗马化乌克兰语。我们的研究结果表明，罗马化对翻译质量的影响很小。此外，我们还介绍了Charles Translator，这是一个于2022年3月开发的系统，用于应对从乌克兰到捷克共和国的移民。与我们的受限系统相比，它没有使用罗马化，而是使用了一些专有数据源。
2022-12-01 cs.CL
Learning Efficient Lexically-Constrained Neural Machine Translation with External Memory
iFLYTECK Research（科大讯飞研究院）
近年来，神经机器翻译取得了巨大的进展，然而，人工指导翻译过程的方法仍有待于更好地探索。先前的工作提出通过在解码阶段中的词汇约束的束搜索来处理这样的问题。不幸的是，这些受词汇约束的波束搜索方法具有两个致命的缺点：高计算复杂性和硬束搜索，其产生意外的翻译。在本文中，我们提出了学习的词汇限制翻译的能力与外部记忆，它可以克服上述缺点。在训练过程中，自动提取的短语对是从对齐和句子分析中提取的，然后进一步编码到外部存储器中。然后，该存储器用于通过存储器-注意力机制提供用于训练的词汇约束信息。本文对WMT中译英和英译德任务进行了多项实验。所有的结果都证明了我们的方法的有效性。
2019-01-31 cs.AI cs.CL
LIUM-CVC Submissions for WMT18 Multimodal Translation Task
Le Mans University（勒芒大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文描述了由LIUM和CVC为WMT 18多模态翻译共享任务开发的多模态神经机器翻译系统。今年，我们对之前的多模态注意力架构提出了几项修改，以便更好地整合卷积特征，并使用编码器端信息对其进行优化。根据自动评估指标METEOR，我们最终的约束提交在约束提交中排名第一的英语-法语和第二的英语-德语对。
2018-09-01 cs.CL
Neural Machine Translation Decoding with Terminology Constraints
SDL Research（SDL研究院）；Department of Engineering, University of Cambridge（剑桥大学工程系）
尽管神经机器翻译（NMT）系统产生了令人印象深刻的质量改进，但控制其翻译输出以遵守用户提供的术语约束仍然是一个悬而未决的问题。我们描述了我们的方法来约束神经解码的基础上，有限状态机和多栈解码，支持目标侧的约束，以及与相应的对齐输入文本跨度的约束。我们展示了我们的框架在多个翻译任务的性能，并激励需要约束解码与注意力作为一种手段，减少错位和重复时，翻译用户的限制。
2018-05-09 cs.CL
A Bayesian approach to translators' reliability assessment
Sapienza University of Rome（罗马第一大学）；Istituto dei Sistemi Complessi - CNR（意大利国家研究委员会复杂系统研究所）；University of California, Berkeley（加州大学伯克利分校）；Translated（Translated公司）；Joint Research Centre（联合研究中心）；Centro Ricerche Enrico Fermi（恩里科·费米研究中心）；Translated SRL（Translated SRL公司）
翻译质量评估（TQA）是由人工翻译人员进行的一个过程，被广泛用于评估（越来越多地使用）机器翻译的性能，以及寻找翻译提供商与其客户之间的协议。虽然翻译学者们都意识到有一个可靠的方法来进行TQA过程的重要性，但似乎有有限的文献，以定量的方法来处理可靠性问题。在这项工作中，我们认为TQA作为一个复杂的过程，从物理的角度来看，复杂系统和方法的可靠性问题，从贝叶斯范式。使用完全由专业翻译服务提供商Translated SRL制作的翻译质量评估数据集（以错误注释的形式），我们比较了两个贝叶斯模型，这些模型参数化了TQA过程中涉及的以下特征：翻译难度，参与制作翻译的译员的特征，以及评估其质量的人-审稿人。我们在无监督的环境中验证了模型，并表明即使每个翻译只有一个评论，也可以对翻译人员进行有意义的见解;随后，我们提取了翻译人员的技能和评论员的严格程度等信息，以及他们在各自角色中的一致性。使用这一点，我们表明，即使在专家翻译的情况下，审稿人的可靠性不能被视为理所当然：一个翻译的专业知识可以引起认知偏见时，审查由另一个翻译。然而，最专业的翻译人员的特点是在翻译和评估翻译质量方面具有最高水平的一致性。
2022-04-12 cs.CL physics.soc-ph
Easy Guided Decoding in Providing Suggestions for Interactive Machine Translation
Alibaba Group Inc.（阿里巴巴集团）
针对交互式机器翻译的翻译建议任务，本文提出无需额外训练的约束解码算法PSGD，在翻译质量、解码效率及监督系统对比中均取得显著优势。
2023-06-02 cs.CL
On Temperature-Constrained Non-Deterministic Machine Translation: Potential and Evaluation
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文研究了非确定性机器翻译在多模态问题中的潜力，提出ExpectoSample策略以改进系统评估。
2026-04-21 cs.CL
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
准确的术语翻译对于确保神经机器翻译（NMT）系统的实用性和可靠性至关重要。为了解决这个问题，词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而，在许多情况下，这些方法是在一般领域语料库中研究的，其中术语大多是uni-gram和bi-gram（>98%）。在本文中，我们解决了一个更具挑战性的设置，由特定领域的语料库组成，具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发，我们提出了一种简单有效的训练策略，该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay（印度理工学院孟买分校）
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序，例如词汇约束翻译，其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术，是真正的在线执行和优越的对齐出错率相比，现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式，可以无缝集成在现有的约束波束搜索解码算法。在五个语言对，包括两个遥远的语言对，我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务，我们实现了显着的改进，特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
UMONS Submission for WMT18 Multimodal Translation Task
University of Mons（蒙斯大学）
本文介绍了在第三届机器翻译会议（WMT 18）上提出的多模态机器翻译任务的UMONS解决方案。我们探索一种新的架构，称为deepGRU，基于神经图像描述（NIC）的相关任务的最新发现。以下章节中介绍的模型可以为受约束的（英语，图像）->德语和（英语，图像）->法语子任务获得最佳METEOR翻译分数。
2018-10-15 cs.CL
Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）
我们提出了网格束搜索（GBS），一种算法，它扩展了束搜索，允许列入预先指定的词汇约束。该算法可以与通过最大化$ p(\mathbf{y} | \mathbf{x}) = \prod\limits_{t}p(y_{t} | \mathbf{x}; \{y_{0} \ldots y_{t-1}\}) $来生成序列$ \mathbf{\hat{y}} = \{y_{0}\ldots y_{T}\} $的任何模型一起使用。词汇约束采用必须出现在输出序列中的短语或单词的形式。这是一种非常通用的方法，可以将额外的知识合并到模型的输出中，而不需要对模型参数或训练数据进行任何修改。我们通过对神经交互预测翻译和神经机器翻译的领域自适应进行实验，证明了词汇约束解码的可行性和灵活性。实验表明，GBS可以在交互式场景中提供翻译质量的大幅度提高，并且即使没有任何用户输入，GBS也可以用于在领域自适应场景中实现显著的性能增益。
2017-05-02 cs.CL
Domain Adaptive Inference for Neural Machine Translation
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
我们研究了神经机器翻译的自适应集成加权，解决了在不牺牲原始域性能的情况下提高新的和潜在未知域性能的情况。我们依次适应两个西班牙语-英语和三个英语-德语任务，比较非正规化微调，L2和弹性权重巩固。然后，我们报告了一种新的方案，通过扩展贝叶斯插值与源信息的自适应NMT集成解码，并显示出强大的改进跨测试域没有访问域标签。
2019-06-02 cs.CL
When FastText Pays Attention: Efficient Estimation of Word Representations using Constrained Positional Weighting
Masaryk University（马萨里克大学）；Achievers University（阿奇弗斯大学）；RARE Technologies Ltd.（RARE技术有限公司）
2018年，Mikolov等人引入了位置语言模型，该模型具有基于注意力的神经机器翻译模型的特征，并在内在单词类比任务上实现了最先进的性能。然而，位置模型实际上并不快，它从来没有被评估的定性标准或外在的任务。我们提出了一个受约束的位置模型，它采用了神经机器翻译的稀疏注意力机制，以提高位置模型的速度。我们评估三个新的定性标准和语言建模的位置和约束的位置模型。我们发现，位置和约束位置模型包含可解释的信息的语法属性的话，并优于其他浅模型的语言建模。我们还表明，我们的约束模型在语言建模方面优于位置模型，并且训练速度是位置模型的两倍。
2022-02-28 cs.CL
Generating Diverse Translation from Model Distribution with Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经机器翻译（NMT）虽然提高了翻译质量，但在生成过程中往往缺乏多样性。在本文中，我们建议通过贝叶斯建模和抽样模型从他们的推理推导出大量的可能的模型，以产生不同的翻译。通过对NMT模型应用具体的dropout来获得可能的模型，并且每个可能的模型对于其预测具有特定的置信度，其对应于贝叶斯建模原理中特定训练数据下的后验模型分布。通过变分推理，后验模型分布可以用变分分布近似，从中采样用于推理的最终模型。实验结果表明，该方法在翻译的多样性和准确性之间取得了较好的平衡。
2020-10-16 cs.AI cs.CL
WeChat Neural Machine Translation Systems for WMT21
Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）
本文介绍了微信AI参与WMT 2021共享新闻翻译任务，内容为英语->中文，英语->日语，日语->英语和英语->德语。我们的系统基于Transformer（Vaswani等人，2017）与几个新的和有效的变种。在我们的实验中，我们采用数据过滤、大规模合成数据生成（即，反向翻译、知识蒸馏、正向翻译、迭代的领域内知识转移）、高级微调方法以及增强的基于Self-BLEU的模型集成。我们的约束系统分别在英语->中文，英语->日语，日语->英语和英语->德语上实现了36.9，46.9，27.8和31.3的大小写敏感BLEU分数。英语->中文、英语->日语和日语->英语的BLEU得分在所有提交中最高，英语->德语的BLEU得分在所有受约束的提交中最高。
2021-09-13 cs.AI cs.CL
Training Neural Machine Translation To Apply Terminology Constraints
Amazon AI（亚马逊人工智能）
提出了一种在运行时间将自定义术语注入神经机器翻译的新方法。以前的工作主要提出修改的解码算法，以约束输出，包括运行时提供的目标条款。虽然是有效的，这些约束解码方法添加，但是，显着的计算开销的推理步骤，并且，正如我们在本文中所示，在现实条件下测试时，可以是脆弱的。在本文中，我们通过训练神经MT系统来学习如何在提供输入时使用自定义术语来解决这个问题。对比实验表明，我们的方法不仅是更有效的约束解码的国家的最先进的实现，但也一样快的约束自由解码。
2019-06-24 cs.AI cs.CL cs.LG
Back-translation for Large-Scale Multilingual Machine Translation
eBay Inc.（易趣公司）
本文阐述了我们在第六届机器翻译会议（WMT-21）上对大规模多语种机器翻译共同任务的研究方法。这项工作的目的是建立一个单一的多语言翻译系统的假设，一个通用的跨语言表示导致更好的多语言翻译性能。我们将不同回译方法的探索从双语翻译扩展到多语言翻译。约束抽样方法得到了更好的性能，这是不同的双语翻译的发现。此外，本研究亦探讨词汇量与合成数据量之影响。令人惊讶的是，较小的词汇量表现更好，广泛的单语英语数据提供了适度的改善。我们两个小任务都提交了，取得了第二名的成绩。
2021-09-17 cs.AI cs.CL cs.LG
Terminology-Aware Translation with Constrained Decoding and Large Language Model Prompting
University of Edinburgh（爱丁堡大学）
针对机器翻译的术语正确性问题，提出结合伪术语标注训练术语感知模型、搭配约束解码重译或LLM提示优化的先翻译后优化方案，在WMT2023术语任务中有效提升术语召回率。
2023-10-09 cs.CL
Event Temporal Relation Extraction with Bayesian Translational Model
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
现有的模型来提取事件之间的时间关系缺乏一个原则性的方法，将外部知识。在这项研究中，我们介绍了贝叶斯-transs，贝叶斯学习为基础的方法，建模的时间关系表示为潜在变量，并推断其值通过贝叶斯推理和翻译功能。与传统的神经方法相比，该模型不进行点估计来寻找最佳参数集，而是直接推断参数的后验分布，增强了模型编码和表达预测不确定性的能力。实验结果表明，Bayesian-Trans算法在事件时态关系抽取中的性能优于现有的方法。我们还提出了详细的分析不确定性量化，比较先验，消融研究，说明所提出的方法的好处。
2023-02-10 cs.CL cs.LG
Neighbors Are Not Strangers: Improving Non-Autoregressive Translation under Low-Frequency Lexical Constraints
Fudan University（复旦大学）；Huawei Translation Services Center（华为翻译中心）
然而，当前的自回归方法遭受高延迟。在本文中，我们专注于非自回归转换（NAT）的效率优势，这个问题。我们确定，目前的约束NAT模型，这是基于迭代编辑，不能很好地处理低频约束。为此，我们提出了一个插件算法，这条线的工作，即，对齐约束训练（ACT），它通过使模型熟悉约束的源端上下文来解决这个问题。在一般数据集和领域数据集上的实验表明，该模型在约束保持和翻译质量方面都优于骨干网约束NAT模型，尤其是对稀有约束。
2022-04-28 cs.CL
Active Learning for Massively Parallel Translation of Constrained Text into Low Resource Languages
Carnegie Mellon University（卡内基梅隆大学）
我们将事先已知并有多种语言版本的封闭文本翻译成一种新的、资源极其匮乏的语言。大多数人工翻译工作采用基于部分的方法来按顺序翻译连续的页面/章节，这可能不适合机器翻译。我们比较了基于部分的方法，优化本地的文本的连贯性与随机抽样的方法，增加了全球范围内的文本覆盖。我们的研究结果表明，随机抽样方法表现得更好。当在圣经中约1，000行的种子语料库上进行训练并在圣经的其余部分（约30，000行）上进行测试时，随机抽样使用英语作为模拟低资源语言时的性能增益为+11.0 BLEU，使用玛雅语言Eastern Pokomchi时的性能增益为+4.9 BLEU。此外，我们比较了三种更新机器翻译模型的方法，通过迭代增加人工编辑后的数据量。我们发现，在没有自我监督的情况下，在词汇更新后将新编辑的数据添加到训练中表现最好。我们提出了一种算法，让人类和机器无缝地协同工作，将封闭的文本翻译成资源非常少的语言。
2021-10-27 cs.CL
Translate-and-Revise: Boosting Large Language Models for Constrained Translation
Northeastern University（东北大学）；NiuTrans Research（NiuTrans研究院）；JP Morgan（摩根大通）
提出翻译与修订方法，通过提示未满足的约束让大语言模型纠正输出，在受限翻译任务上提升15%准确率，优于现有NMT方法。
2024-07-18 cs.AI cs.CL
HOMURA: Taming the Sand-Glass for Time-Constrained LLM Translation via Reinforcement Learning
Bilibili Inc.（哔哩哔哩公司）
HOMURA通过强化学习框架优化语义保持与时间合规性平衡，实现精确的翻译长度控制。
2026-09-04 cs.AI cs.CL
Ensembling of Distilled Models from Multi-task Teachers for Constrained Resource Language Pairs
Microsoft Egypt Development Center（微软埃及开发中心）；Microsoft Corporation（微软公司）
本文介绍了我们提交的WMT21共享新闻翻译任务的约束跟踪。我们专注于三个相对较低的资源语言对孟加拉语和印地语，英语和豪萨语，科萨语和祖鲁语。为了克服相对较低的并行数据的限制，我们训练多语言模型使用多任务目标采用并行和单语数据。此外，我们使用反向翻译来增强数据。我们还训练了一个双语模型，结合回翻译和知识蒸馏，然后结合这两个模型使用序列到序列映射。我们看到，与双语基线相比，英语与豪萨语之间的BLEU点相对增益约为70%，孟加拉语与印地语之间的BLEU点相对增益约为25%，科萨语与祖鲁语之间的BLEU点相对增益约为25%。
2021-11-26 cs.CL
Auto prompt sql: a resource-efficient architecture for text-to-sql translation in constrained environments
针对资源受限环境下Text-to-SQL方法依赖高资源模型的难题，提出AP-SQL架构，结合小型开源模型与闭源大模型能力，通过任务分解、模型微调及CoT、GoT提示工程提升SQL生成准确率，在Spider基准上验证了有效性。
2025-08-31 cs.AI cs.CL
Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；NTT, Inc.（日本电信电话株式会社）
本文提出基于共识约束的概率最小贝叶斯风险解码方法，通过知识蒸馏模型提升矩阵补全效果，从而在保持翻译质量的同时降低计算成本。
2025-12-01 cs.AI cs.CL cs.LG
