Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术，由于其离线训练和在线服务的高效性而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性，与使用每个语言对的单独模型的对应物相比。在本文中，我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言，首先训练个体模型并将其视为教师，然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是，我们证明了一个模型足以处理多种语言（在我们的实验中多达44种语言），其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi（爱奇艺）
神经机器翻译（NMT）模型通常通过单向解码器进行训练，这对应于优化一步预测。然而，这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题，我们提出了一种新的方法，自知识蒸馏与双向解码器的神经机器翻译（SBD-NMT）。我们部署了一个后向解码器，它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息，提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明，在多个机器翻译数据集上，我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Ensemble Distillation for Neural Machine Translation
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
知识蒸馏描述了一种通过从更强的教师网络学习来训练学生网络以表现更好的方法。使用神经机器翻译（NMT）引擎翻译句子是耗时的，而使用更小的模型可以加快这一过程。我们演示了如何将集合和Oracle BLEU教师网络的翻译质量转移到单个NMT系统中。此外，我们提出了从教师网络，具有相同的架构和尺寸的学生网络的翻译改进。由于学生模型的训练仍然很昂贵，我们引入了一种基于教师模型知识的数据过滤方法，不仅加快了训练速度，而且提高了翻译质量。我们的技术不需要改变代码，可以很容易地复制与任何NMT架构，以加快解码过程。
2017-08-08 cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
Understanding Knowledge Distillation in Non-autoregressive Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究）
非自回归机器翻译（NAT）系统并行地预测输出令牌的序列，与自回归模型相比在生成速度上实现了实质性的改进。现有的NAT模型通常依赖于知识蒸馏技术，该技术从预训练的自回归模型创建训练数据以获得更好的性能。知识蒸馏在经验上是有用的，导致NAT模型的准确性大幅提高，但这种成功的原因至今尚不清楚。在本文中，我们首先设计了系统的实验来研究为什么知识蒸馏是至关重要的NAT训练。我们发现，知识蒸馏可以降低数据集的复杂性，并帮助NAT模型的变化，输出数据。此外，NAT模型的容量与提取数据的最佳复杂性之间存在很强的相关性，以获得最佳翻译质量。基于这些发现，我们进一步提出了几种方法，可以改变数据集的复杂性，以提高NAT模型的性能。我们实现了基于NAT的模型的最先进的性能，并在WMT 14 En-De基准上缩小了与自回归基线的差距。
2021-02-22 cs.CL
Fully Synthetic Data Improves Neural Machine Translation with Knowledge Distillation
University of Edinburgh（爱丁堡大学）
本文探讨了神经机器翻译中知识蒸馏的单语数据扩充。源语言单语文本可以作为正向翻译合并。有趣的是，我们发现最好的方法，以纳入目标语言单语文本是将其翻译到源语言和往返翻译回目标语言，从而在一个完全合成的语料库。我们发现，结合单语数据从源和目标语言产生更好的性能比语料库的两倍大，只有一种语言。此外，实验表明，改进依赖于测试集的出处。如果测试集最初使用的是源语言（目标端由翻译人员编写），则向前翻译源单语数据很重要。如果测试集最初是用目标语言编写的（源代码由翻译人员编写），那么合并目标单语数据就很重要。
2021-09-15 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）存在多模态问题：源句子可能有多个正确翻译，但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，在蒸馏数据集中的多模态问题仍然是不可忽视的。此外，从特定老师学习限制了模型能力的上限，限制了NAT模型的潜力。在本文中，我们认为，一个参考是不够的，并提出了不同的蒸馏与参考选择（DDRS）的NAT。具体来说，我们首先提出了一种方法，称为SeedDiv不同的机器翻译，这使我们能够生成一个数据集，每个源语句包含多个高质量的参考翻译。在训练过程中，我们将NAT输出与所有参考进行比较，并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性，在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU，将NAT的最新性能提高了1 BLEU以上。源代码：https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
Continual Knowledge Distillation for Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对平行语料难获取的问题，提出面向神经机器翻译的持续知识蒸馏方法，通过依次迁移现有训练模型的知识改进目标模型，在多数据集上均有显著提升且对恶意模型鲁棒。
2023-06-12 cs.CL
Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（现代软件技术与产业化协同创新中心）
本文提出一种选择性知识蒸馏方法，通过引入NAT评估器选择高质量且易学的目标，并结合渐进式蒸馏，有效缓解教师错误传播问题，在多个NAT模型上实现翻译质量与数据复杂度的灵活权衡。
2023-08-04 cs.CL
Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
序列级知识蒸馏（SLKD）是一种模型压缩技术，它利用大型、准确的教师模型来训练较小的、参数化不足的学生模型。为什么使用SLKD预处理MT数据有助于我们训练更小的模型？我们测试的共同假设，SLKD解决能力不足的学生通过“简化”嘈杂的数据点，并发现它不太可能在我们的情况下。在原始数据集和“简化”数据集的连接上训练的模型与基线SLKD一样通用。然后，我们提出了一个替代假设的镜头下的数据增强和正则化。我们尝试了各种增强策略，并观察到dropout正则化可能变得不必要。我们的方法在TED演讲中实现了0.7-1.2的BLEU增益。
2019-12-06 cs.CL
Multi-Teacher Knowledge Distillation For Text Image Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Samsung Research China - Beijing（三星中国研究院（北京））；Zhongke Fanyu Technology Co., Ltd（中科凡语科技有限公司）
本文提出多教师知识蒸馏（MTKD）方法，通过三个教师将流水线模型知识转移至端到端文本图像机器翻译模型，结合令牌级和句子级蒸馏，以更少参数和解码时间提升翻译性能。
2023-05-10 cs.CL
Selective Knowledge Distillation for Neural Machine Translation
Peking University（北京大学）；Tencent Inc（腾讯公司）
神经机器翻译（NMT）模型在许多翻译基准测试中达到了最先进的性能。知识蒸馏是网络数学模型中一个活跃的研究领域，它通过在每个训练样本上转移教师模型的知识来提高模型的性能。然而，以往的工作很少讨论这些样本之间的不同影响和联系，这些样本作为教师知识转移的媒介。在本文中，我们设计了一个新的协议，可以有效地分析不同的样本的影响，通过比较不同的样本的分区。在此基础上，我们进行了大量的实验，发现教师的知识并不是越多越好。对特定样本的知识甚至可能损害知识蒸馏的整体性能。最后，为了解决这些问题，我们提出了两个简单而有效的策略，即，批量级和全局级选择，以挑选合适的样品进行蒸馏。我们在两个大规模的机器翻译任务上评估了我们的方法，WMT'14英语->德语和WMT'19中文->英语。实验结果表明，我们的方法产生高达+1.28和+0.89 BLEU点的改进，分别超过Transformer基线。
2021-05-27 cs.AI cs.CL
Nearest Neighbor Knowledge Distillation for Neural Machine Translation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
由Khandelwal等人（2021）提出的k-最近邻机器翻译（NN-MT）在机器翻译任务中取得了许多最先进的成果。虽然NN-MT是有效的，但在推理过程中，每个解码步骤都需要通过大规模的搜索来进行NN搜索，这极大地增加了解码成本，从而导致难以在实际应用中部署。在本文中，我们建议将耗时的NN搜索前移到预处理阶段，然后引入最近邻知识蒸馏（NN-KD），训练基本NMT模型直接学习NN的知识。提取NN检索到的知识可以鼓励NMT模型考虑更合理的目标标记，从而解决过校正问题。大量的实验结果表明，该方法实现了包括NN-MT在内的最先进基线的一致改进，同时保持了与标准NMT模型相同的训练和解码速度。
2022-05-01 cs.CL
Self-Evolution Knowledge Distillation for LLM-based Machine Translation
Nanjing University（南京大学）；The University of Sydney（悉尼大学）；China University of Petroleum (East China)（中国石油大学（华东））
针对大模型知识蒸馏忽略token迁移难度差异的问题，提出Self-Evolution KD策略，动态整合教师与真实标签分布作为先验知识，在WMT22四个翻译方向平均提升约1.4个SacreBLEU点。
2024-12-19 cs.CL
Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation
Heidelberg University（海德堡大学）；Amazon AI Translate（亚马逊人工智能翻译部门）
客户反馈可以成为改进商业机器翻译系统的重要信号。修复特定翻译错误的一种解决方案是移除相关的错误训练实例，然后重新训练机器翻译系统，我们将其称为实例特定数据过滤。影响函数（IF）已被证明是有效的分类任务，如图像分类，有毒语音检测和蕴涵任务，找到这样的相关训练样本。给定一个探测实例，IF通过在梯度空间中测量探测实例与一组训练样本的相似性来找到有影响力的训练样本。在这项工作中，我们研究了神经机器翻译（NMT）的影响函数的使用。我们提出了两个有效的扩展，最先进的影响功能，并证明复制的训练样本的子问题，IF可以更广泛地应用于手工制作的正则表达式。
2022-10-24 cs.CL
Evolving Knowledge Distillation for Lightweight Neural Machine Translation
Department of Content Generation（内容生成系）；Li Auto；Beijing, China（中国北京）
本文提出进化知识蒸馏方法，通过逐步增加教师模型容量，解决教师-学生模型容量差距问题，实验显示在多个数据集上提升了翻译性能。
2026-05-11 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland（马里兰大学）；Microsoft Research Asia（微软亚洲研究院）
虽然非自回归（NAR）模型在机器翻译中显示出巨大的前景，但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题，我们试图了解为什么蒸馏如此有效。先前的工作表明，提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验，本文表明不同类型的复杂性具有不同的影响：虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐，从而提高翻译质量，但词汇多样性是蒸馏增加模型置信度的主要原因，这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
PMMT: Preference Alignment in Multilingual Machine Translation via LLM Distillation
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）
本文提出 PMMT 方法，利用 LLM 生成特定偏好语料并蒸馏至小模型，在偏好对齐翻译任务中大幅领先，且在 WMT 等基准上具竞争力。
2024-10-15 cs.AI cs.CL
Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
Institute of Science Tokyo（东京科学研究所）；National Institute of Information and Communications Technology（信息与通信技术国家研究所）
提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架，利用现成大语言模型生成伪标签，无需人工标注即可在错误跨度检测任务上超越监督基线。
2026-09-02 cs.AI cs.CL
Distill the Image to Nowhere: Inversion Knowledge Distillation for Multimodal Machine Translation
Tencent WeChat（腾讯微信）；Zhejiang University（浙江大学）
针对多模态机器翻译推理时依赖对齐图像的问题，提出 IKD-MMT，通过反转知识蒸馏从源文本生成多模态特征，在 Multi30k 上达到甚至超越图像必需框架的性能。
2023-04-21 cs.CL
An Empirical Study of Leveraging Knowledge Distillation for Compressing Multilingual Neural Machine Translation Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Microsoft（微软）；AI4Bharat；National Institute of Information Communications Technology（国家信息通信技术研究所）
本文实证研究用知识蒸馏压缩多语言神经机器翻译模型，以印度语到英语翻译为例，分析模型缩小4-5倍时最高3.5 BLEU的性能损失，并评估深度、参数共享、多阶段训练和适配器等改进设计。
2023-04-19 cs.AI cs.CL
Memorization Inheritance in Sequence-Level Knowledge Distillation for Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Microsoft（微软公司）
本文研究神经机器翻译序列级知识蒸馏中的记忆继承问题，发现学生模型比基线记忆更多且幻觉率更高，并提出Adaptive-SeqKD方法来减少记忆与幻觉。
2025-07-16 cs.CL
Distill, Adapt, Distill: Training Small, In-Domain Models for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们探索了在领域自适应环境中训练具有序列级知识蒸馏的小型内存高效机器翻译模型的最佳实践。虽然领域自适应和知识蒸馏都被广泛使用，但它们之间的相互作用仍然知之甚少。我们在机器翻译中的大规模实证结果（在三种语言对上，每种语言对有三个领域）建议进行两次提取以获得最佳性能：一次使用通用领域数据，另一次使用适应教师的领域内数据。
2020-06-23 cs.CL
CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
Nilekani Centre at AI4Bharat（AI4Bharat的Nilekani中心）；Indian Institute of Technology（印度理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Engineering Science and Technology Shibpur（Shibpur的印度工程科学与技术学院）
提出CycleDistill方法，利用LLM和少样本翻译从单语语料库迭代生成合成平行语料库并微调模型，无需大量平行语料即可显著提升低资源语言的机器翻译质量。
2025-08-09 cs.AI cs.CL
High-Quality Data Augmentation for Low-Resource NMT: Combining a Translation Memory, a GAN Generator, and Filtering
Waseda University（早稻田大学）
本文提出一种结合GAN、翻译记忆和过滤流程的新方法，在源端利用单语语料进行高质量数据增强，有效提升了低资源神经机器翻译的性能。
2024-08-22 cs.AI cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Align-to-Distill: Trainable Attention Alignment for Knowledge Distillation in Neural Machine Translation
NC Research, AI Tech Center（NC Research AI技术中心）；NCsoft
本文提出Align-to-Distill (A2D) 策略，通过在训练中自适应对齐学生与教师模型的注意力头，将启发式映射转化为学习问题，有效提升了神经机器翻译中知识蒸馏的性能。
2024-03-25 cs.AI cs.CL
NICT's Corpus Filtering Systems for the WMT18 Parallel Corpus Filtering Task
本文介绍了NICT参与WMT18共享并行语料库过滤任务。作为Paracrawl项目的一部分，组织者提供了从网络上抓取的10亿字的德英语料库。该语料库噪声太大，无法构建可接受的神经机器翻译（NMT）系统。使用WMT18共享新闻翻译任务的干净数据，我们设计了几个特征并训练了一个分类器来对噪声数据中的每个句子对进行评分。最后，我们对1亿和1000万个词进行了抽样，并建立了相应的NMT系统。实验结果表明，我们的NMT系统训练的采样数据取得了良好的性能。
2018-10-12 cs.CL
KD4MT: A Survey of Knowledge Distillation for Machine Translation
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）
本文综述了机器翻译中知识蒸馏的应用，分析了其方法论贡献和实际应用，指出了研究空白和评估问题，并提供了实用指南和风险提示。
2026-01-22 cs.CL
A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；L3Cube Labs（L3Cube实验室）
本文针对英语-马拉地语低资源机器翻译中数据噪声问题，提出基于IndicSBERT跨语言句子表示的数据过滤方法，通过语义等价性评估筛选训练数据，显著提升了翻译质量，并为其他低资源语言翻译任务提供了可借鉴的框架。
2024-09-04 cs.CL cs.LG
Self-Distillation Mixup Training for Non-autoregressive Neural Machine Translation
Huawei Translation Services Center（华为翻译服务中心）；The University of Melbourne（墨尔本大学）
最近，非自回归（NAT）模型并行预测输出，与自回归（AT）模型相比，在生成速度上实现了大幅提高。虽然在原始数据上表现较差，但大多数NAT模型都是在AT教师模型生成的蒸馏数据上训练学生模型的，这被称为序列级知识蒸馏。自蒸馏混合（SDM）训练是提高AT模型性能的一种有效的训练策略，它在原始数据上预训练模型，通过预训练模型本身生成蒸馏数据，最后在原始数据和蒸馏数据的组合上重新训练模型。在这项工作中，我们的目标是查看SDM的NAT模型，但发现直接采用SDM NAT模型获得的翻译质量方面没有改善。通过仔细分析，我们发现AT教师模型和NAT学生模型的失效与模型多样性和确认偏差有关。在此基础上，我们提出了一种改进的策略SDMRT，在传统的SDM基础上增加了两个阶段：一个是对自提炼数据的预重排序，另一个是对过滤后的教师提炼数据的微调。我们的结果在多个NAT模型上比基线高出0.6到1.2 BLEU。作为另一个好处，对于迭代优化NAT模型，我们的方法可以在一半迭代次数内超过基线，这意味着2倍的加速。
2021-12-22 cs.AI cs.CL
There's no Data Like Better Data: Using QE Metrics for MT Data Filtering
Google（谷歌）
本研究探讨利用质量估计（QE）指标过滤神经机器翻译训练数据中的低质量句对，证实筛选高质量句对可在训练数据减半的同时提升翻译质量，并对比了该方法与传统语料过滤方法的差异。
2023-11-09 cs.CL
"A Little is Enough": Few-Shot Quality Estimation based Corpus Filtering improves Machine Translation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出基于QE的伪平行语料过滤方法，并通过少样本迁移学习以500条实例训练QE，显著提升多语言机器翻译性能。
2023-06-06 cs.CL
Pre-trained Summarization Distillation
Hugging Face；Cornell University（康奈尔大学）
最近的最先进的摘要方法利用大型预训练的Transformer模型。将这些模型提炼成更小的学生模型对于实际应用来说已经变得至关重要;然而，NLP文献提出了许多不同的提炼方法。最近的工作蒸馏BERT的分类和回归任务显示出强大的性能，使用直接知识蒸馏。或者，机器翻译从业者使用伪标记进行提取，其中小模型在较大模型的翻译上进行训练。第三种更简单的方法是“收缩和微调”（SFT），它通过将参数复制到较小的学生模型然后进行微调来避免任何显式蒸馏。我们比较了这三种方法对Pegasus和BART的蒸馏，当前和以前的最新技术水平，预训练的摘要模型，并发现SFT在CNN/DailyMail数据集上优于知识蒸馏和伪标记，但在更抽象的XSUM数据集上表现不佳。PyTorch代码和不同大小的检查点可以通过Hugging Face Transformers获得，网址为http://tiny.cc/4iy0tz。
2020-10-28 cs.AI cs.CL
Investigating Model Compression for Neural Machine Translation in the Biomedical Domain
South East Technological University（东南理工大学）；IRISA（IRISA研究所）
本研究针对生物医学领域法语到英语翻译，联合应用知识蒸馏与量化压缩模型，实现体积减少69%、推理速度提升98.21%、碳排放减少98.46%且不损失翻译质量。
2026-10-07 cs.AI cs.CL cs.LG
Improving Non-autoregressive Neural Machine Translation with Monolingual Data
Harvard University（哈佛大学）；Amazon Inc.（亚马逊公司）
非自回归（NAR）神经机器翻译通常是通过自回归（AR）模型的知识蒸馏来完成的。在此框架下，我们利用大型单语语料库来提高NAR模型的性能，目标是在防止过拟合的同时转移AR模型的泛化能力。在强大的NAR基线之上，我们在WMT 14 En-De和WMT 16 En-Ro新闻翻译任务上的实验结果证实，单语数据增强始终提高NAR模型的性能，以接近教师AR模型的性能，产生与文献中最好的非迭代NAR方法相当或更好的结果，并有助于减少训练过程中的过拟合。
2020-11-29 cs.CL cs.LG
The University of Helsinki submissions to the WMT19 news translation task
University of Helsinki（赫尔辛基大学）；Basement AI（Basement人工智能公司）
在本文中，我们介绍了赫尔辛基大学提交给WMT 2019年新闻翻译的三种语言对的共享任务：英语-德语，英语-芬兰语和芬兰语-英语。今年，我们首先关注使用多种数据过滤方法清理和过滤训练数据，从而得到更小、更干净的训练集。对于英语-德语，我们训练了两个文档级Transformer模型，并比较了不同的文档级翻译方法。对于芬兰语-英语和英语-芬兰语，我们专注于不同的分割方法，我们还为英语-芬兰语提供了一个基于规则的系统。
2019-06-10 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages
Center For Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；IESEG School of Management（IESEG管理学院）；KU Leuven（鲁汶大学）；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）
针对大语言模型低资源语言NLU能力不足的问题，研究通过样本高效自蒸馏将MT编码器集成到LLM骨干中，得到的MT-LLM兼具多语言对齐与丰富知识优势，在127种低资源语言的3项NLU任务上显著优于translate-test方法。
2024-06-18 cs.CL
The Importance of Being Parameters: An Intra-Distillation Method for Serious Gains
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的模型修剪方法已经证明了在不牺牲模型性能的情况下去除冗余参数的能力。常用的方法是根据参数灵敏度去除冗余参数，这是一种基于梯度的度量，反映了参数的贡献。然而，在本文中，我们认为可以训练冗余参数以做出有益的贡献。我们首先强调了高灵敏度和低灵敏度参数之间的灵敏度（贡献）差距，并表明在平衡所有参数的贡献后，模型的泛化性能可以显着提高。我们的目标是平衡所有参数的敏感性，并鼓励所有参数做出同等贡献。我们提出了一种通用的任务不可知的方法，即内部蒸馏，附加到常规的训练损失，以平衡参数的敏感性。此外，我们还设计了一种新的自适应学习方法来控制蒸馏内损失的强度，以加快收敛速度。我们的实验表明，我们的方法在机器翻译，自然语言理解和跨多达48种语言的zero-shot跨语言迁移方面具有很强的有效性，例如，从IWITOS的14个翻译数据集中，8个语言对的平均增益为3.54 BLEU。
2022-10-22 cs.CL
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
虽然教师强迫已经成为神经机器翻译的主要训练范式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练期间将另一个解码器（称为seer解码器）引入到编码器-解码器框架中，该框架涉及目标预测中的未来信息。同时，我们通过知识蒸馏迫使传统的解码器模拟seer解码器的行为。在汉英、英德、英罗翻译任务上的实验结果表明，该方法在较大的数据集上能显著地优于竞争基准，并取得了较大的改进。此外，实验还证明了知识蒸馏是将知识从seer解码器转移到传统解码器的最佳方式，与对抗学习和L2正则化相比。
2021-06-12 cs.CL
Summer: WeChat Neural Machine Translation Systems for the WMT22 Biomedical Translation Task
Tencent Inc（腾讯公司）
本文介绍了微信参与WMT 2022共享的生物医学翻译任务中到英。我们的系统是基于Transformer，并使用几种不同的Transformer结构，以提高翻译质量。在我们的实验中，我们采用数据过滤，数据生成，几个变种的Transformer，微调和模型集成。我们的中文$\to$英文系统Summer在所有提交的作品中获得了最高的BLEU分数。
2022-11-28 cs.CL
Multilingual Neural Machine Translation:Can Linguistic Hierarchies Help?
Monash University（莫纳什大学）
多语言神经机器翻译（MNMT）训练支持多种语言之间翻译的单个NMT模型，而不是为不同语言训练单独的模型。学习单个模型可以通过利用来自多种语言的数据来增强低资源翻译。然而，MNMT模型的性能高度依赖于训练中使用的语言类型，因为从不同的语言集合转移知识会由于负迁移而降低翻译性能。在本文中，我们提出了一个层次知识蒸馏（HKD）的MNMT方法，它利用根据语言的类型学特征和同源性产生的语言群体，以克服负迁移的问题。HKD通过基于语言组的选择性知识蒸馏机制生成一组多语言教师助理模型，然后以自适应的方式从这些助理中提取最终的多语言模型。来自53种语言的TED数据集的实验结果证明了我们的方法在避免MNMT中的负迁移效应方面的有效性，与强基线相比，提高了翻译性能（平均约1个BLEU分数）。
2021-10-15 cs.AI cs.CL
Language-Aware Multilingual Machine Translation with Self-Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
多语言机器翻译（MMT）得益于跨语言迁移，但它是一个具有挑战性的多任务优化问题。部分原因是没有系统学习语言特定参数的明确框架。自监督学习（SSL）方法，利用大量的单语数据（并行数据是不可用的），通过提高翻译性能的补充任务的MMT任务的承诺。然而，联合优化SSL和MMT任务更具挑战性。在这项工作中，我们首先研究如何利用内部蒸馏来学习更多的语言特定的参数，然后显示这些语言特定的参数的重要性。接下来，我们提出了一个新颖但简单的SSL任务，并发去噪，它通过在编码器和解码器上同时对单语数据进行去噪来与MMT任务进行协同训练。最后，我们将内部蒸馏应用于这种联合训练方法。将这两种方法结合起来，可以显著提高MMT的性能，大大优于三种最先进的SSL方法，例如，与MASS相比，在8种语言和15种语言的基准测试中分别提高了11.3%和3.7%
2023-02-10 cs.CL
Letz Translate: Low-Resource Machine Translation for Luxembourgish
University of Luxembourg（卢森堡大学）；Banque BGL BNP Paribas（法国巴黎银行卢森堡BGL银行）
低资源语言（LRL）的自然语言处理经常受到缺乏数据的挑战。因此，在低资源环境中实现精确的机器翻译（MT）是一个需要实际解决方案的现实问题。对多语言模型的研究表明，一些LRL可以用这样的模型来处理。然而，它们的大尺寸和计算需求使得它们在受限环境中使用（例如，移动/物联网设备或有限/旧服务器）不切实际。在本文中，我们解决这个问题，利用大型多语言MT模型的力量，使用知识蒸馏。知识蒸馏可以将知识从大型复杂的教师模型转移到更简单更小的学生模型，而不会在性能上损失太多。我们还使用与目标LRL相关或共享相同语言根的高资源语言。对于我们的评估，我们认为Bullourgish是与德语共享一些根和属性的LRL。我们建立了多个资源高效的模型，基于德语，知识蒸馏从多语言没有语言留下（NLLB）模型，和伪翻译。我们发现，我们的高效模型比大型最先进的NLLB模型快30%以上，仅低4%。
2023-03-02 cs.CL cs.SE
Weight Distillation: Transferring the Knowledge in Neural Network Parameters
Northeastern University（东北大学）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
知识蒸馏已被证明是有效的模型加速和压缩。它允许一个小网络学习以与一个大网络相同的方式进行泛化。最近在预训练方面的成功表明了传递模型参数的有效性。受此启发，我们在另一条研究线上研究模型加速和压缩的方法。我们提出了权重蒸馏，通过参数生成器传递大网络参数中的知识。我们在WMT 16 En-Ro、NIST 12 Zh-En和WMT 14 En-De机器翻译任务上的实验表明，权重蒸馏可以训练一个小网络，其速度是大网络的1.88~ 2.94倍，但具有竞争力的性能。在小网络规模相同的情况下，权重蒸馏法比知识蒸馏法的BLEU值高出0.51~1.82点。
2021-07-19 cs.CL
Reinforcement Learning based Curriculum Optimization for Neural Machine Translation
CLSP, Johns Hopkins（约翰霍普金斯大学CLSP）；Google AI（谷歌人工智能研究团队）
本文研究了神经机器翻译（NMT）中如何有效利用异构训练数据的问题。具体来说，给定一个具有噪声等统计级别特征的训练数据集，我们会寻求一个最佳课程，或者在训练过程中向系统呈现示例的顺序。我们的课程框架允许示例出现任意次数，从而概括了数据加权、过滤和微调方案。我们不是依靠先验知识来设计课程，而是使用强化学习来自动学习一个课程，与NMT系统一起，在一个单一的训练运行过程中。我们表明，这种方法可以在Paracrawl和WMT英语到法语数据集上击败统一和过滤基线，最高可达+3.4 BLEU，并与手工设计的最先进课程的性能相匹配。
2019-02-28 cs.CL
WeChat Neural Machine Translation Systems for WMT20
WeChat AI, Tencent（腾讯微信人工智能）
我们参与了WMT 2020中译英新闻分享翻译任务。我们的系统基于Transformer（Vaswani等人，2017 a）与有效的变体和DTMT（孟和张，2019）架构。在我们的实验中，我们采用数据选择、几种合成数据生成方法（即，反向翻译、知识蒸馏和迭代域内知识转移）、高级微调方法和基于自蓝的模型集成。我们的约束中文到英文系统达到36.9区分大小写的BLEU分数，这是所有提交的最高。
2020-10-05 cs.AI cs.CL cs.LG
Towards Understanding and Improving Knowledge Distillation for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）
本文揭示神经机器翻译中知识蒸馏的知识源于教师top-1预测，提出TIE-KD方法，通过层次排序损失和迭代蒸馏提升学生模型性能，在多个翻译任务上显著优于基线。
2024-07-17 cs.AI cs.CL
Recovering document annotations for sentence-level bitext
Johns Hopkins University（约翰斯·霍普金斯大学）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Center of Language and Speech Processing（语言与言语处理中心）；Microsoft（微软公司）
本文为三个大规模多语言数据集重建文档级信息，提出文档级过滤技术以筛选上下文一致的译文，并训练模型在保证句子级翻译质量的同时提升文档级翻译效果。
2024-06-06 cs.CL
The Curious Case of Hallucinations in Neural Machine Translation
Microsoft（微软）
在这项工作中，我们研究了神经机器翻译（NMT）中的幻觉，它位于NMT病理学的极端。首先，我们将源扰动下的幻觉现象与Feldman（2020）的长尾理论联系起来，并提出了一个经验验证的假说来解释源扰动下的幻觉。其次，我们考虑在语料库级噪声（没有任何源扰动）下的幻觉，并证明了两种突出类型的自然幻觉（分离和振荡输出）可以通过特定的语料库级噪声模式产生和解释。最后，我们阐明了流行的数据生成过程，如回译和序列级知识蒸馏的幻觉放大现象。
2021-04-14 cs.AI cs.CL cs.LG
The NiuTrans Machine Translation Systems for WMT21
Northeastern University（东北大学）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；NLP Lab, School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院自然语言处理实验室）
本文介绍了NiuTrans神经机器翻译系统的WMT 2021新闻翻译任务。我们提交了9个语言方向，包括英语$\leftrightarrow$ $\{$中文，日语，俄语，冰岛语$\}$和英语$\rightarrow$豪萨语任务。我们的主要系统是建立在Transformer的几个有效变体上的，例如，变压器-DLCL，ODE-变压器。我们还利用回译，知识蒸馏，后集成，和迭代微调技术，以进一步提高模型的性能。
2021-09-22 cs.CL
Neural Machine Translation from Simplified Translations
SYSTRAN
语篇简化的目的是在保持语篇意义不变的前提下，减少语篇在词汇、语法和结构上的复杂性。在机器翻译的背景下，我们引入了简化翻译的想法，以提高深度神经翻译模型的学习能力。我们进行初步的实验表明，翻译的复杂性实际上是减少了在翻译的源双文本相比，目标参考的双文本，而使用神经机器翻译（NMT）系统上学习完全相同的双文本。基于知识蒸馏的思想，我们使用简化的双文本训练了一个NMT系统，并证明了它优于在参考数据集上构建的初始系统。当使用参考和自动翻译来学习网络时，性能进一步提高。我们进行了初步分析的翻译语料库和报告的准确性结果的建议的方法对英语到法语和英语到德语的翻译任务。
2016-12-19 cs.CL
Integrating Translation Memories into Non-Autoregressive Machine Translation
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家科学研究中心跨学科数字科学实验室）；SYSTRAN（赛迪翻译）
非自回归机器翻译（NAT）近年来取得了很大的进展。然而，迄今为止，大多数工作都集中在标准的翻译任务，即使一些基于编辑的NAT模型，如Levenshtein Transformer（LevT），似乎很适合翻译记忆库（TM）的翻译。这就是这里考虑的情况。我们首先分析了香草LevT模型，并解释了为什么它在这种情况下做得不好。然后，我们提出了一个新的变种，TM-LevT，并展示了如何有效地训练这个模型。通过修改数据表示和引入额外的删除操作，我们获得了与自回归方法相当的性能，同时降低了解码负载。我们还表明，将TM在培训期间免除使用知识蒸馏，一个众所周知的技巧，用于减轻多模态问题。
2023-02-18 cs.CL
