Neural Machine Translation for South Africa's Official Languages
EXPLORE Data Science Academy（EXPLORE数据科学学院）
神经机器翻译（NMT）的最新进展为许多基于欧洲的翻译任务带来了最先进的结果。然而，尽管取得了这些进展，但很少有人关注将这些方法应用于非洲语言。在本文中，我们试图通过在英语和南非其余10种官方语言之间创建NMT基准BLEU分数来解决这一差距。
2020-05-08 cs.CL cs.LG
Granularity is crucial when applying differential privacy to text: An investigation for neural machine translation
Technical University of Darmstadt（达姆施塔特工业大学）；University Alliance Ruhr（鲁尔大学联盟）；Ruhr University Bochum（波鸿鲁尔大学）
本文研究了在神经机器翻译中应用差分隐私时，句子级与文档级粒度对隐私保护效用的不同影响，发现文档级NMT系统在抵御成员推理攻击和防止个人信息泄露方面表现更优，强调了选择正确隐私粒度的重要性。
2024-09-26 cs.CL
Sockeye: A Toolkit for Neural Machine Translation
Amazon（亚马逊）
我们描述了Sockeye（版本1.12），一个用于神经机器翻译（NMT）的开源序列到序列工具包。Sockeye是一个用于训练和应用模型的生产就绪框架，也是研究人员的实验平台。该工具包以Python编写并构建在MXNet上，为三种最突出的编码器-解码器架构提供可扩展的训练和推理：注意力递归神经网络，自注意力Transformers和全卷积网络。Sockeye还支持广泛的优化器，规范化和正则化技术，以及当前NMT文献的推理改进。用户可以轻松地运行标准训练配方，探索不同的模型设置，并融入新的想法。在本文中，我们强调了Sockeye的功能，并将其与2017年机器翻译会议（WMT）的两种语言弧上的其他NMT工具包进行了基准测试：英语-德语和拉脱维亚语-英语。我们报告了所有三种架构的竞争性BLEU分数，包括Sockeye的Transformer实现的总体最佳分数。为了便于进一步比较，我们发布了实验中使用的所有系统输出和训练脚本。Sockeye工具包是在Apache 2.0许可下发布的自由软件。
2018-06-01 cs.CL cs.LG stat.ML
Using Machine Translation to Localize Task Oriented NLG Output
Google, Inc.（谷歌公司）
面向任务的自然语言应用程序（如Google Assistant，Siri或Alexa）的挑战之一是将输出本地化为多种语言。本文通过将机器翻译应用到英语输出中来探索这一点。使用机器翻译是非常可扩展的，因为它可以与任何英语输出，并可以处理动态文本，但除此之外的问题是一个穷人的适合。所需的质量棒接近完美，句子的范围极窄，而且句子往往与机器翻译训练数据中的句子有很大不同。这种需求的组合在机器翻译的领域自适应领域中是新颖的。我们能够通过建立现有的想法并添加新的想法来达到所需的质量标准：对域内翻译进行微调，添加来自Web的句子，添加语义注释以及使用自动错误检测。本文分享了我们的方法和结果，以及一个蒸馏模型，以服务于大规模的翻译模型。
2021-07-09 cs.CL cs.LG
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University（俄勒冈州立大学）
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题，本文提出基于注意力掩码的SimulMask微调新范式，在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland（马里兰大学）
最近的研究表明，通过应用跨语言语言模型预训练（Lample和Conneau，2019），特别是翻译语言模型（TLM），神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求，在这项工作中，我们将词典中的翻译信息纳入预训练过程，并提出了一种新的基于双语词典的语言模型（BDLM）。我们评估我们的BDLM中文，英语和罗马尼亚语。对于中文-英文，我们在WMT-News 19（Tiedemann，2012）上获得了55.0 BLEU，在WMT 20新闻评论上获得了24.3 BLEU，优于Vanilla Transformer（Vaswani et al.，2017年）分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果，BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Masked Adversarial Generation for Neural Machine Translation
Centrale Supelec（中央高等电力学院）；Naver Labs Europe
攻击神经机器翻译模型是离散序列上固有的组合任务，可以用近似算法解决。大多数方法使用梯度来独立地攻击每个样本上的模型。我们是否可以学习产生有意义的对抗攻击，而不是机械地应用梯度？与现有方法相比，我们通过训练基于语言模型的对抗生成器来学习攻击模型。我们提出了Masked Adversarial Generation（MAG）模型，该模型在整个训练过程中学习扰动翻译模型。实验表明，该方法提高了机器翻译模型的鲁棒性，同时比竞争方法更快。
2021-09-01 cs.AI cs.CL
Revisiting Checkpoint Averaging for Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
检查点平均是一种简单而有效的方法来提高收敛神经机器翻译模型的性能。计算成本低，翻译改进几乎是免费的，这使得它在神经机器翻译研究中得到广泛采用。尽管受欢迎，该方法本身只是从几个检查点中取模型参数的平均值，其选择主要基于经验配方，没有太多理由。在这项工作中，我们重新审视检查点平均的概念，并考虑几个扩展。具体来说，我们尝试了一些想法，例如使用不同的检查点选择策略，计算加权平均值而不是简单的平均值，利用梯度信息和微调开发数据的插值权重。我们的研究结果证实了应用检查点平均以获得最佳性能的必要性，但也表明收敛检查点之间的景观是相当平坦的，与简单的平均相比，没有太多的进一步改善。
2022-10-21 cs.AI cs.CL cs.LG
Towards Neural Machine Translation with Latent Tree Attention
Salesforce（赛富时）
在没有先验注释的情况下利用语言的层次结构来构建模型是自然语言处理的长期目标。我们为机器翻译任务引入了这样一个模型，将递归神经网络语法编码器与新型注意力RNNG解码器配对，并应用策略梯度强化学习来诱导源和目标上的无监督树结构。当在没有显式分割或解析注释的字符级数据集上训练时，模型学习合理的分割和浅层解析，获得接近注意力基线的性能。
2017-09-06 cs.AI cs.CL
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Facebook AI Research（脸书人工智能研究院）
大多数机器翻译系统从左到右自回归地生成文本。相反，我们使用掩蔽语言建模目标来训练模型以预测目标词的任何子集，条件是输入文本和部分掩蔽的目标翻译。这种方法允许有效的迭代解码，其中我们首先非自回归地预测所有目标词，然后重复屏蔽并重新生成模型最不自信的词子集。通过将这种策略应用于恒定的迭代次数，我们的模型将非自回归和并行解码翻译模型的最先进性能水平平均提高了4 BLEU以上。它还能够达到典型的从左到右Transformer模型的大约1个BLEU点，同时解码速度明显更快。
2019-09-04 cs.AI cs.CL cs.LG
Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task
Microsoft Corporation（微软公司）
本报告介绍了微软的机器翻译系统，用于WMT 21大规模多语言机器翻译共享任务。我们参加了所有三个评估轨道，包括大轨道和两个小轨道，其中前一个是不受约束的，后两个是完全受约束的。我们向共享任务提交的模型使用DeltaLM \footnote{\url{https://aka.ms/deltalm}}初始化，这是一种通用的预训练多语言编码器-解码器模型，并根据跟踪设置使用大量收集的并行数据和允许的数据源进行相应的微调，同时应用渐进学习和迭代反向翻译方法来进一步提高性能。我们最终提交的作品在自动评估指标方面在三个轨道上排名第一。
2021-11-03 cs.CL
Dynamic Data Selection for Neural Machine Translation
训练数据的智能选择已被证明是一种成功的技术，可以同时提高基于短语的机器翻译（PBMT）的训练效率和翻译性能。随着最近神经机器翻译（NMT）的普及，我们在本文中探讨了NMT在多大程度上以及如何从数据选择中受益。虽然现有技术的数据选择（Axelrod等人，2011）一贯表现良好的PBMT，我们表明，收益大大低于NMT。接下来，我们将介绍NMT的动态数据选择，在这种方法中，我们在不同的训练时期之间改变所选择的训练数据子集。我们的实验表明，当应用我们称之为渐进微调的技术时，可以获得最佳结果，与原始数据选择方法相比，其BLEU提高了+2.6，与一般基线相比，其BLEU提高了+3.1。
2017-08-02 cs.CL
Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
在评估机器翻译系统时，神经指标与人类判断的相关性令人印象深刻，但在我们能够安全地优化这些指标之前，我们应该意识到（并理想地消除）对获得高分的不良翻译的偏见。我们的实验表明，基于样本的最小贝叶斯风险解码可以用来探索和量化这些弱点。当将此策略应用于COMET的en-de和de-en时，我们发现COMET模型对数字和命名实体的差异不够敏感。我们进一步表明，这些偏差很难通过简单地对额外的合成数据进行训练来完全消除，并发布我们的代码和数据以促进进一步的实验。
2022-09-26 cs.CL
From Scarcity to Efficiency: Investigating the Effects of Data Augmentation on African Machine Translation
ML Collective（ML集体）
针对低资源非洲语言机器翻译，本文评估结合回译的句子拼接与 switch-out 两种数据增强方法，在六种语言上使 BLEU 至少提升 25%。
2025-10-18 cs.CL
How Much Does Tokenization Affect Neural Machine Translation?
Universitat Politècnica de València（瓦伦西亚理工大学）；Pangeanic / B.I Europa
标记化或分割是一个广泛的概念，它涵盖了简单的过程，如将标点符号从单词中分离出来，或更复杂的过程，如应用形态学知识。神经机器翻译（NMT）需要有限大小的词汇表来计算成本，并需要足够的示例来估计词嵌入。将标点符号分离并将标记拆分为单词或子单词已被证明有助于减少词汇量并增加每个单词的示例数量，从而提高翻译质量。当处理单词之间没有分隔符的语言时，标记化更具挑战性。为了评估标记化对NMT最终翻译质量的影响，我们对十种语言对的五个标记化器进行了实验。我们得出的结论是，分词显着影响最终的翻译质量，最好的分词器不同的语言对。
2019-06-11 cs.CL
Code Translation with Compiler Representations
Meta AI
针对神经代码翻译难以区分相似代码语义的问题，提出引入LLVM IR增强无监督翻译，在多语言任务上显著提升正确率并扩展测试集。
2023-04-24 cs.CL cs.LG cs.PL
First the worst: Finding better gender translations during beam search
University of Cambridge（剑桥大学）；RWS Language Weaver（RWS语言韦弗公司）
像束搜索这样的神经机器翻译推理过程在模型下生成最可能的输出。这可能会加剧模型显示的任何人口统计学偏见。我们专注于语法性别翻译中的系统性错误所导致的性别偏见，这可能会导致人类所指被歪曲或性别错误。解决这个问题的大多数方法都是调整训练数据或模型。相比之下，我们尝试简单地调整推理程序。我们尝试使用从源句子自动获得的性别特征对nbest列表进行重新排序，并在解码时应用性别约束来提高nbest列表的性别多样性。我们发现，这些技术的组合允许在WinoMT的准确性大幅提高，而不需要额外的双语数据或额外的NMT模型。
2022-03-17 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT；Amazon（亚马逊）
本文提出DQO方法，用预训练翻译质量估计模型替代人类偏好，并将DPO式对齐用于NMT，仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
A Discourse-based Approach in Text-based Machine Translation
Inha University（仁荷大学）；University of Peshawar（白沙瓦大学）
本文提出了一种基于理论研究的机器翻译中的省略消解方法。为了解决椭圆问题，采用了话语公式。通过将其应用于现实世界的文本，即，报纸碎片源文本被转换为单一的话语，复杂的话语需要进一步分解，要么直接分解为原始话语，要么先分解为复合话语，然后再分解为原始话语。解剖方法有待进一步改进，发现尽可能多的原始话语形式。试图调查新的原始话语或模式，从给定的文本。
2010-07-28 cs.CL
Mitigating the Language Mismatch and Repetition Issues in LLM-based Machine Translation via Model Editing
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对大语言模型机器翻译中常见的语言不匹配与重复错误，提出通过取不同语言设置下定位结果交集优化模型编辑组件的方法，在降低两类错误率的同时多数情况下可提升或保持通用翻译质量。
2024-10-09 cs.CL cs.LG
Generating Diverse Translation from Model Distribution with Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经机器翻译（NMT）虽然提高了翻译质量，但在生成过程中往往缺乏多样性。在本文中，我们建议通过贝叶斯建模和抽样模型从他们的推理推导出大量的可能的模型，以产生不同的翻译。通过对NMT模型应用具体的dropout来获得可能的模型，并且每个可能的模型对于其预测具有特定的置信度，其对应于贝叶斯建模原理中特定训练数据下的后验模型分布。通过变分推理，后验模型分布可以用变分分布近似，从中采样用于推理的最终模型。实验结果表明，该方法在翻译的多样性和准确性之间取得了较好的平衡。
2020-10-16 cs.AI cs.CL
Phrase database Approach to structural and semantic disambiguation in English-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
在机器翻译中，机器可读词典和标准的句法分析规则不足以保证英语短语到韩语的句法分析和翻译的准确性是一种普遍现象，这表现在由于结构和语义歧义而导致的误导性翻译结果。本文旨在通过将双语短语库应用于英朝机器翻译（EKMT）中，解决英语中常用短语因习语性和非语法性而产生的结构和语义歧义。本文首先从英语短语的定义出发，阐明了EKMT中的短语单元是什么，然后阐明了什么样的语言单元可以作为EKMT短语库的对象，最后通过举例说明短语库的格式，提出了一种建立短语库的方法，最后简要讨论了将该双语短语库应用于EKMT中进行结构和语义消歧的方法。
2015-03-19 cs.CL
On the Evaluation of Semantic Phenomena in Neural Machine Translation Using Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个过程，调查在何种程度上产生的神经机器翻译（NMT）系统的句子表示编码不同的语义现象。我们使用这些表示作为特征来训练一个基于现有语义注释的数据集重铸的自然语言推理（NLI）分类器。在应用这个过程中的一个代表性的NMT系统，我们发现它的编码器似乎最适合支持推理的语法语义接口，相比，回指解析需要世界知识。最后，我们讨论的优点和潜在的不足，现有的过程中，以及如何可以改进和扩展为一个更广泛的框架，用于评估语义覆盖。
2018-05-06 cs.CL
Controllable Dual Skew Divergence Loss for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
在神经机器翻译等序列预测任务中，交叉熵损失的训练通常会导致模型过度泛化并陷入局部最优。在本文中，我们提出了一个扩展的损失函数称为\emph{dual skew divergence}（DSD），集成了两个对称项的KL分歧与平衡的重量。我们根据经验发现，这种平衡的权重在将拟议的DSD损失应用到深度模型中时发挥着至关重要的作用。因此，我们最终开发了一个可控的DSD损失的通用场景。我们的实验表明，在ML训练收敛后切换到DSD损失可以帮助模型摆脱局部最优，并刺激稳定的性能改善。我们对WMT 2014英语-德语和英语-法语翻译任务的评估表明，与强大的基线相比，作为NMT培训的一般和方便手段，拟议的损失确实带来了性能改善。
2021-04-17 cs.CL
Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation
Peking University（北京大学）
标签平滑和词汇共享是神经机器翻译模型中广泛使用的两种技术。然而，我们认为，简单地应用这两种技术可能是冲突的，甚至导致次优性能。在分配平滑概率时，原始标签平滑会将源端词中不可能出现在目标语言中的词与目标语言中的词等同对待，这会使翻译模型产生偏差。为了解决这个问题，我们提出了屏蔽标签平滑（MLS），一个新的机制，掩盖了软标签的源端字的概率为零。简单而有效，MLS设法更好地集成标签平滑与词汇共享。我们广泛的实验表明，MLS在不同的数据集上，包括双语和多语种翻译，无论是翻译质量还是模型的校准，都比原始标签平滑得到了持续的改进。我们的代码发布于https://github.com/PKUnlp-icler/MLS
2022-03-11 cs.AI cs.CL
Fill in the Blanks: Imputing Missing Sentences for Larger-Context Neural Machine Translation
Google AI（谷歌人工智能）；NYU（纽约大学）
大多数神经机器翻译系统仍然孤立地翻译句子。为了取得进一步的进展，一个有前途的研究路线还考虑了周围的背景，以提供模型可能丢失的源端信息，以及保持一致的输出。训练这种较大上下文（即，文档级）机器翻译系统的一个困难是，许多并行示例中可能缺少上下文。为了解决这个问题，最近有人提出了两阶段的方法，即在上下文中对摘要级翻译进行后编辑。在本文中，我们考虑的是填充缺失上下文的可行性。特别是，我们考虑三种不同的方法来生成缺失的上下文：使用随机上下文，应用复制启发式或生成一个语言模型。特别是，复制启发式显着有助于词汇连贯性，而使用完全随机的上下文会损害许多长距离语言现象的表现。我们还验证了标记回译的有用性。除了像预期的那样提高BLEU分数外，使用回译数据还有助于更大上下文的机器翻译系统更好地捕捉长距离现象。
2019-10-30 cs.CL
Is 42 the Answer to Everything in Subtitling-oriented Speech Translation?
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
由于每天都有大量视听内容，字幕对传播信息越来越重要。虽然神经机器翻译（NMT）可以加快翻译视听内容的过程，但是仍然需要大量的手动工作来转录源语言，以及将文本定位和分割成适当的字幕。在时间和分段方面创建适当的字幕在很大程度上取决于音频中存在的信息（话语持续时间，自然停顿）。在这项工作中，我们探讨了两种方法应用语音翻译（ST）的字幕：a）直接端到端和b）一个经典的级联方法。我们讨论的好处，有机会获得的源语言的语音，以提高所生成的字幕的空间和时间的字幕限制的一致性，并表明，长度是不是一切的情况下，面向字幕ST的答案。
2020-06-01 cs.CL
Reinforcement Learning with Large Action Spaces for Neural Machine Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在最大似然估计（MLE）预训练之后应用强化学习（RL）是用于增强神经机器翻译（NMT）性能的通用方法。然而，最近的研究认为，RL为NMT带来的收益主要是由于提升了在预训练中已经获得相当高概率的令牌。我们假设大的动作空间是RL在机器翻译中有效性的主要障碍，并进行了两组实验来支持我们的假设。首先，我们发现减少词汇量可以提高RL的有效性。其次，我们发现，有效地减少行动空间的维度，而不改变词汇也产生了显着的改善，由BLEU，语义相似性，和人类的评价。事实上，通过初始化网络的最终全连接层（将网络的内部维度映射到词汇维度），并使用一个对类似动作进行泛化的层，我们获得了RL性能的实质性改善：平均1.5个BLEU点。
2022-10-06 cs.AI cs.CL cs.LG
Imitation Attacks and Defenses for Black-box Machine Translation Systems
UC Berkeley（加州大学伯克利分校）
攻击者可能会试图窃取或攻击黑盒NLP系统，以获取经济利益或利用模型错误。一个特别感兴趣的设置是机器翻译（MT），其中模型具有很高的商业价值，错误可能是昂贵的。我们调查可能利用的黑盒MT系统，并探讨对这种威胁的初步防御。我们首先表明，MT系统可以通过使用单语句子和训练模型来模仿它们的输出来查询它们。使用模拟实验，我们证明了MT模型窃取是可能的，即使模仿模型有不同的输入数据或架构比他们的目标模型。应用这些思想，我们训练模仿模型，达到0.6 BLEU的三个生产机器翻译系统的高资源和低资源的语言对。然后，我们利用模仿模型的相似性将对抗性示例转移到生产系统。我们使用基于梯度的攻击，暴露输入，导致语义不正确的翻译，丢弃的内容和粗俗的模型输出。为了减轻这些漏洞，我们提出了一种防御，修改翻译输出，以误导模仿模型的优化。这种防御降低了对手的BLEU分数和攻击成功率，但以防御者的BLEU和推理速度为代价。
2021-01-03 cs.CL cs.CR cs.LG
ReflectMT: Internalizing Reflection for Efficient and High-Quality Machine Translation
School of Informatics, Xiamen University, China（厦门大学信息学院）；WeChat AI, Tencent Inc, China（腾讯公司微信AI部门）
ReflectMT通过强化学习提升机器翻译的反思与精炼能力，实现无需显式推理的高效高质量翻译，实验显示其在自动指标和GPT评估中优于多步推理模型。
2026-11-03 cs.CL
Extending Automatic Machine Translation Evaluation to Book-Length Documents
National Yang Ming Chiao Tung University（国家阳明交通大学）；NVIDIA
本文提出SEGALE评估方案，通过句子分割与对齐将自动指标扩展到长文档翻译，显著优于现有方案，并发现许多开放权重LLMs在最大上下文长度下无法有效翻译书籍级文档。
2025-09-21 cs.CL
Towards General Error Diagnosis via Behavioral Testing in Machine Translation
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出了一种基于双语翻译对生成的行为测试（BTPGBT）框架，通过自动化构建高质量测试用例及伪参考，解决了机器翻译系统行为测试中依赖人工参考的问题，实现了对通用错误的全面准确诊断。
2023-10-20 cs.AI cs.CL cs.LG
The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation
Brandeis University（布兰迪斯大学）
该研究针对低资源神经机器翻译场景，对比BPE与LMVR、MORSEL等基于形态学的子词分词方法在英-尼、英-僧、英-哈翻译任务中的表现，发现不同分词方法无一致可靠的性能差异，最优方法随任务变化且统计上常无显著区别。
2021-03-20 cs.AI cs.CL
Decoding Multilingual Topic Dynamics and Trend Identification through ARIMA Time Series Analysis on Social Networks: A Novel Data Translation Framework Enhanced by LDA/HDP Models
Research Laboratory in Algebra Numbers theory and Intelligent Systems（代数数论与智能系统研究实验室）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立高等工程技术学院）；LaBRI（波尔多计算机科学实验室）；Laboratory LIG（LIG实验室）
本研究提出一种新型多语言数据翻译框架，结合LDA/HDP模型与ARIMA时间序列分析，解码危机期间社交网络的主题动态与趋势，在突尼斯多语言数据集上表现优于标准方法。
2024-03-18 cs.AI cs.CL cs.LG
Findings of the Covid-19 MLIA Machine Translation Task
Universitat Politècnica de València（瓦伦西亚理工大学）；Court of Justice of the EU（欧盟法院）；Evaluations and Language resources Distribution Agency（评估与语言资源分发署）；Athena Research Center（雅典娜研究中心）；Pangeanic S. L.（潘加尼克有限公司）；European Commission（欧盟委员会）
这项工作展示了Covid-19 MLIA @ Eval倡议的机器翻译（MT）任务的结果，该倡议是一项社区努力，旨在改善MT系统的生成，重点关注当前的Covid-19危机。共有九支队伍参加了这项比赛，比赛分为两轮，涉及七种不同的语言对。考虑了两种不同的设想：一种是只允许提供数据，另一种是允许使用外部资源。总的来说，最好的方法是基于多语言模型和迁移学习，强调对训练数据应用清洗过程的重要性。
2022-11-14 cs.CL
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
Transformer从其多头自注意网络（SAN）的关键设计中受益匪浅，该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而，其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此，在本文中，我们提出了胶囊变压器，它扩展了线性变换到一个更一般的胶囊路由算法，通过将SAN作为一个特殊的情况下胶囊网络。因此，所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列，通过不同的头部和单词之间的信息聚合。具体来说，我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法，它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明，我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
QCRI Machine Translation Systems for IWSLT 16
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）
本文介绍了QCRI的机器翻译系统的IWITH 2016评估活动。我们参加了阿拉伯语->英语和英语->阿拉伯语轨道。我们建立了基于短语和神经机器翻译模型，以探讨新出现的NMT框架是否优于传统的基于短语的系统在阿拉伯语-英语语言对。我们训练了一个非常强大的基于短语的系统，包括一个大的语言模型，操作序列模型，神经网络联合模型和基于类的模型，以及不同的领域自适应技术，如MML过滤，混合建模和使用微调NNJM模型。然而，通过微调堆叠来自不同流派的数据并应用8个模型的集成来训练的神经MT系统，在阿拉伯语->英语方向上以显着的2 BLEU点优势击败了我们非常强大的基于短语的系统。我们在另一个方向上没有获得类似的收益，但仍然能够胜过基于短语的系统。我们还将系统组合应用于基于短语的输出和NMT输出。
2017-01-14 cs.CL
Constructing Multilingual Code Search Dataset Using Neural Machine Translation
The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）
本研究使用神经机器翻译模型构建了包含四种自然语言和四种编程语言的多语言代码搜索数据集，实验表明数据规模比翻译质量对模型性能的影响更大。
2023-06-27 cs.CL cs.SE
Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。
2026-08-04 cs.CL
Enhancing Large Language Models'Machine Translation via Dynamic Focus Anchoring
针对大型语言模型在机器翻译中处理上下文敏感单元的挑战，提出动态焦点锚定方法，通过结构化融入翻译挑战和语义焦点提升翻译准确性，无需额外训练且在多语言对上表现优异。
2025-05-29 cs.CL
Simul-LLM: A Framework for Exploring High-Quality Simultaneous Translation with Large Language Models
Oregon State University（俄勒冈州立大学）
本文提出Simul-LLM框架，研究将大语言模型应用于同声传译任务，验证经典SimulMT方法并实现开源微调与评估流水线。
2024-07-04 cs.AI cs.CL
An Overview on Machine Translation Evaluation
ADAPT Research Centre, Dublin City University（都柏林城市大学ADAPT研究中心）
自20世纪50年代以来，机器翻译（MT）成为AI和发展的重要任务之一，并经历了几个不同的时期和发展阶段，包括基于规则的方法、统计方法，以及最近提出的基于神经网络的学习方法。伴随这些阶段性飞跃的是机器翻译的评价研究和发展，特别是评价方法在统计翻译和神经翻译研究中的重要作用。MT的评测任务不仅是对机器翻译的质量进行评测，更重要的是及时反馈给机器翻译研究者关于机器翻译本身存在的问题，如何改进，如何优化。在一些实际应用领域，如在没有参考译文的情况下，机器翻译的质量评价作为一个指标，对揭示自动翻译的目标语言的可信度起着重要的作用。本报告主要包括以下内容：机器翻译评估（MTE）的发展简史，MTE研究方法的分类，以及最新进展，包括人工评估、自动评估和评估方法的评估（元评估）。人工评测和自动评测包括基于参考翻译和参考翻译独立参与;自动评测方法包括传统的n-gram字符串匹配、应用语法和语义的模型以及深度学习模型;评估方法的评估包括评估人的评估的可信度，自动评估的可靠性，测试集的可靠性，尖端评估方法的进展包括基于任务的评估，使用基于大数据的预训练语言模型，以及使用蒸馏技术的轻量级优化模型。
2022-02-22 cs.AI cs.CL
ExPosST: Explicit Positioning with Adaptive Masking for LLM-Based Simultaneous Machine Translation
School of Informatics, Xiamen University（厦门大学信息学院）；MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队）；The University of Hong Kong（香港大学）
ExPosST通过显式位置分配解决LLM在同时机器翻译中的位置不匹配问题，实现高效解码与位置一致性，支持多种策略下的同时翻译。
2026-03-29 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
最近，通用神经机器翻译（NMT）与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同，联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示，每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点，特别是当共享词汇表和模型参数的大小受到限制时。然而，在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中，我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意，我们探索最大限度地提高表示的普遍性，实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码（DAE）目标，以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明，我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外，我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力，这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Beam Search Strategies for Neural Machine Translation
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
神经机器翻译（NMT）的基本概念是训练一个大型的神经网络，使其在给定的并行语料库上的翻译性能最大化。然后，NMT使用一个简单的从左到右波束搜索解码器来生成新的翻译，近似地最大化训练的条件概率。当前的束搜索策略从左到右逐词生成目标句子，同时在每个时间步长保持固定数量的活动候选。首先，这种简单的搜索适应性较差，因为它还扩展了分数比当前最佳分数差得多的候选人。其次，如果假设不在最佳得分候选项之内，即使它们的得分接近最佳得分，它也不会扩展假设。后者可以通过增加波束尺寸来避免，直到没有观察到性能改善。虽然你可以达到更好的性能，这有一个较慢的解码速度的缺点.在本文中，我们专注于加速解码器，通过应用一个更灵活的束搜索策略，其候选大小可能会有所不同，在每个时间步取决于候选分数。对于两种语言对德英和中英，我们将原始解码器的速度提高了43%，而不会损失任何翻译质量。
2017-06-14 cs.CL
Textual Augmentation Techniques Applied to Low Resource Machine Translation: Case of Swahili
African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Pretoria（比勒陀利亚大学）
本研究针对低资源机器翻译平行语料不足的问题，以英斯语对为例，对比三种文本增强技术与基线NMT的性能，发现上下文数据增强在两个翻译方向均有提升，验证了该类方法的应用潜力。
2023-06-12 cs.CL
Decoder-only Streaming Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出首个仅解码器同声机器翻译模型DST，通过分别编码源与目标前缀位置并设计流式自注意力机制，在三个翻译任务上达到最优性能。
2024-06-06 cs.CL
Word-based Domain Adaptation for Neural Machine Translation
eBay Inc.（易趣公司）
在本文中，我们实证研究了应用单词级权重来使神经机器翻译适应电子商务领域，其中小型电子商务数据集和大型域外数据集可用。为了在领域外数据集中挖掘领域内相似的词，我们通过使用特定领域和非特定领域的语言模型，然后进行平滑和二进制量化来计算词的权重。基线模型在域内和域外混合数据集上进行训练。在英汉电子商务领域翻译中的实验结果表明，与不使用词权重的持续训练相比，该方法将机器翻译质量提高了2.11%的BLEU绝对值和1.59%的TER。我们还使用对域内数据的微调来训练模型。使用单词权重预训练模型可以分别将微调提高到1.24% BLEU绝对值和1.64% TER。
2019-06-07 cs.AI cs.CL
Investigating Neural Machine Translation for Low-Resource Languages: Using Bavarian as a Case Study
University of Regensburg（雷根斯堡大学）；Information Science（信息科学学院）
本研究以巴伐利亚语为案例，针对低资源语言数据稀缺等问题，采用回译、迁移学习及文本预处理等方法构建德-巴伐利亚语翻译系统，经多指标评估验证回译可显著提升性能，并分析了系统错误与局限。
2024-04-12 cs.CL
Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种将GANs应用于NMT的方法。我们建立了一个条件序列生成对抗网，它包括两个对抗子模型，一个生成器和一个生成器。该生成器旨在生成难以与人类翻译的句子区分的句子（即，金靶句），并努力区分机器生成的句子从人类翻译的。两个子模型进行最小最大博弈，当它们达到一个纳什均衡时达到双赢。此外，静态双电平BLEU被用作生成器的增强目标，其使生成偏向于高BLEU点。在训练过程中，使用动态目标和静态BLEU目标来评估生成的句子，并反馈评估结果以指导生成器的学习。实验结果表明，该模型在英-德和中-英翻译任务上的性能始终优于传统的RNNSearch和最新出现的最先进的Transformer。
2018-04-08 cs.CL
Softmax Tempering for Training Neural Machine Translation Models
National Institute of Information and Communications Technology（国立信息通信技术研究所）
神经机器翻译（NMT）模型通常使用softmax交叉熵损失进行训练，其中softmax分布与平滑的黄金标签进行比较。在低资源场景中，NMT模型往往会过度拟合，因为softmax分布很快接近黄金标签分布。为了解决这个问题，我们建议在训练期间应用softmax之前将logit除以温度系数。在我们对亚洲语言树库数据集和WMT 2019英语到德语翻译任务中的11种语言对进行的实验中，我们观察到翻译质量显著提高了3.9个BLEU点。此外，softmax回火使得贪婪搜索在翻译质量方面与束搜索解码一样好，能够实现1.5至3.5倍的加速。我们还研究了softmax回火对多语言NMT和递归堆叠NMT的影响，这两种方法的目的都是通过参数共享来减小NMT模型的大小，从而验证温度在开发紧凑型NMT模型中的实用性。最后，对softmax熵和梯度的分析揭示了我们的方法对NMT模型内部行为的影响。
2020-09-20 cs.AI cs.CL
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Riken（理化学研究所）；Tohoku University（东北大学）
本文提出固定范围分块（FRC）方法，通过动态规划将文档划分为长度一致的块，减少训练与推理长度不匹配，并配合双边界匹配算法和多种训练策略，显著提升7B大语言模型的文档级翻译质量，在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
Does Machine Translation Retain Media Bias?
University of Alicante（阿利坎特大学）；Center for Responsible Artificial Intelligence (CRAI)（负责任人工智能中心）；Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）
本研究以英-德为源语言、保加利亚语为目标语言，评估四种先进机器翻译方法，发现其无法完全保留输入文本的新闻偏见，还可能添加额外偏见，是首个相关实验研究。
2026-10-15 cs.AI cs.CL
Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures
Research Center for Cognitive Science and Artificial Intelligence（认知科学与人工智能研究中心）；Tilburg School of Humanities and Digital Sciences（蒂尔堡人文与数字科学学院）；Tilburg University（蒂尔堡大学）
本文针对机器翻译中性别偏见问题，提出新的评估框架，揭示解码器-only模型在性别特定指标上的表现及后训练对偏见的缓解作用。
2026-03-18 cs.CL
