Efficient Technical Term Translation: A Knowledge Distillation Approach for Parenthetical Terminology Translation
PrompTart LAB（PrompTart实验室）；MODULABS（MODULABS公司）
本文提出括号术语翻译任务，通过知识蒸馏微调NMT和小规模大语言模型，并设计新评估指标，发现微调优于少样本提示，推动术语翻译可靠性提升。
2024-10-01 cs.AI cs.CL
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出知识净化方法，通过整合多个教师模型的推理以减少冲突并提升效率，实验表明其在知识蒸馏中提升性能并促进轻量模型部署。
2026-04-11 cs.CL
AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression
Sun Yat-sen University（中山大学）；Meta AI；Vipshop (China) Co., Ltd.（唯品会（中国）有限公司）
本文提出AD-KD方法，通过Integrated Gradients提取教师模型的token级归因知识并探索多视角归因蒸馏，解决了传统知识蒸馏忽略推理和数据知识的问题，在GLUE上表现优于现有方法。
2023-05-17 cs.CL
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已被应用于各种NLP任务，具有相当大的性能增益。然而，大的模型大小，加上较长的推理时间，限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏，将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域，忽略了其他领域的可转移知识。我们注意到，训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力，以帮助知识蒸馏。因此，我们提出了一个Meta-知识蒸馏（Meta-KD）框架，建立一个元教师模型，捕获跨领域的可转移知识，并将这些知识传递给学生。具体来说，我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识，然后提出一种元蒸馏算法，在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外，我们还证明了元KD的能力，在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
Don't Throw Away Data: Better Sequence Knowledge Distillation
University of Melbourne（墨尔本大学）；Google（谷歌）
本研究针对序列知识蒸馏中教师与学生耦合的问题，提出将多个高分MBR翻译结果而非单序列用于蒸馏训练，在英德、英日翻译任务及不同模型规模下均取得一致提升，并分析了MBR-n的数据效率与容量特性。
2024-07-15 cs.CL
Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
Shenyang Institute of Computing Technology, Chinese Academy of Sciences（中国科学院沈阳计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
本研究通过改变模型大小、文本复杂度等系统分析句子级与词元级知识蒸馏的适用场景，并提出基于门控机制的混合方法，显著提升了蒸馏性能。
2024-04-23 cs.CL
Knowledge Distillation from Internal Representations
University of Houston（休斯顿大学）；Amazon（亚马逊）
知识蒸馏通常通过训练一个小模型（学生）来模仿一个大而笨重的模型（教师）来进行。这个想法是通过使用其输出概率作为软标签来优化学生来压缩来自教师的知识。然而，当教师的规模相当大时，教师的内部知识不能保证会转移到学生身上;即使学生与软标签非常匹配，其内部表征也可能有很大的不同。这种内在的不匹配可能会破坏原本打算从教师转移到学生身上的概括能力。在本文中，我们提出了一个大的模型，如BERT的内部表示提取到一个简化的版本。我们制定了两种方法来提取这样的表示和各种算法进行蒸馏。我们对来自GLUE基准测试的数据集进行了实验，并一致表明，从内部表示中添加知识蒸馏是一种比仅使用软标签蒸馏更强大的方法。
2020-01-16 cs.CL
CILDA: Contrastive Data Augmentation using Intermediate Layer Knowledge Distillation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Université de Montréal（蒙特利尔大学）；University of Waterloo（滑铁卢大学）
知识蒸馏（KD）是一种用于压缩大规模预训练语言模型的有效框架。近年来，通过利用对比学习、中间层蒸馏、数据增强和对抗训练来提高KD的研究激增。在这项工作中，我们提出了一个学习为基础的数据增强技术量身定制的知识蒸馏，称为CILDA。据我们所知，这是第一次使用主任务的中间层表示来提高增强样本的质量。更确切地说，我们引入了一种基于中间层匹配的KD增强技术，使用对比度损失来改善掩蔽的对抗性数据增强。CILDA在GLUE基准测试和域外评估中的表现优于现有的最先进的KD方法。
2022-04-15 cs.CL
Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation
Kyoto University（京都大学）；Johns Hopkins University（约翰霍普金斯大学）
提高端到端语音翻译（E2 E-ST）模型的性能的常规方法是经由预训练和与自动语音识别（ASR）和神经机器翻译（NMT）任务的联合训练来利用源转录。然而，由于输入方式不同，很难成功地利用源语言文本。在这项工作中，我们专注于序列级知识蒸馏（SeqKD）从外部基于文本的NMT模型。为了充分利用源语言信息的全部潜力，我们提出了后向SeqKD，SeqKD来自目标到源的后向NMT模型。为此，我们训练一个双语E2 E-ST模型，以预测释义transmittance作为一个辅助任务与单个解码器。通过回译从双文本中的译文生成释义。我们进一步提出了双向SeqKD，其中组合了来自前向和后向NMT模型的SeqKD。在自回归和非自回归模型上的实验评估表明，SeqKD在每个方向上都一致地提高了翻译性能，并且无论模型容量如何，其有效性都是互补的。
2021-04-13 cs.CL cs.SD eess.AS
Decouple Non-parametric Knowledge Distillation For End-to-end Speech Translation
University of Information Engineering（信息工程大学）；Tsinghua University（清华大学）
针对无转写文本场景下的端到端语音翻译数据效率问题，提出 DNKD，利用 kNN 非参数数据存储替代 MT 教师，并解耦蒸馏损失以利用暗知识，在 MuST-C 上持续超越强基线。
2023-04-20 cs.CL cs.SD eess.AS
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍了FBK参与IWITH 2020离线语音翻译（ST）任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本：一个包含已经用自动工具分割的数据，另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点，它基于：i）迁移学习（ASR预训练和知识蒸馏），ii）数据增强（SpecAugment，时间拉伸和合成数据），iii）将合成和真实数据标记为不同的域，iv）使用CTC损失的多任务学习。最后，在单词级知识蒸馏的训练完成后，我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU，与最近的论文相比，这是一个很好的结果，并且在使用VAD分割的相同数据上获得了23.7 BLEU，这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而，教师模型通常是在相同的标记数据上学习的，它们的预测与groundtruth标签具有高度相关性。因此，他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中，我们提出了一个统一的和有效的集成知识蒸馏方法，蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性，因此在标记数据上，我们根据不同教师的正确性对他们的预测进行加权。此外，我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上，没有基础事实来评估预测的正确性。幸运的是，教师之间的分歧是样本硬度的指示，因此我们基于教师的分歧来加权蒸馏损失，以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Decoder-based Sense Knowledge Distillation
Rensselaer Polytechnic Institute（拉特格斯理工学院）；IBM Research（IBM研究院）
本文提出DSKD框架，通过整合词汇资源提升解码器式LLM的知识蒸馏性能，使生成模型能继承结构化语义并保持高效训练。
2026-02-25 cs.AI cs.CL
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.（ASAPP公司）
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而，这些收益是以阻碍推理速度为代价的，使得最先进的模型在现实世界中部署起来很麻烦，时间敏感的设置。我们开发了一种压缩技术的自回归模型，是由模仿学习的角度来看，知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务，如翻译和摘要，我们的方法始终优于其他蒸馏算法，如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点，同时与教师模型相比，推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Leave No Knowledge Behind During Knowledge Distillation: Towards Practical and Effective Knowledge Distillation for Code-Switching ASR Using Realistic Data
National Taiwan University（台湾大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；NVIDIA（英伟达）
针对语码切换语音识别场景下大模型计算资源不足的问题，提出K$^2$D知识蒸馏框架，结合教师模型与小型辅助模型知识，用无标注真实数据得到更小更快且性能更优的模型并开源。
2024-07-15 cs.CL cs.SD eess.AS
Sequence-Level Knowledge Distillation
Harvard University（哈佛大学）
神经机器翻译（NMT）提供了一种新的替代翻译公式，可能比统计方法更简单。然而，为了达到有竞争力的性能，NMT模型需要非常大。在本文中，我们考虑应用知识蒸馏方法（Bucila等人，2006; Hinton等人，2015年），已被证明成功地减少了NMT问题在其他领域的神经模型的大小。我们证明了应用于单词级预测的标准知识蒸馏对NMT是有效的，并且还介绍了两种新的序列级版本的知识蒸馏，它们进一步提高了性能，并且有点令人惊讶的是，似乎消除了对束搜索的需要（即使应用于原始教师模型）。我们最好的学生模型运行速度比其最先进的老师快10倍，性能几乎没有损失。它也明显优于在没有知识蒸馏的情况下训练的基线模型：通过具有贪心解码/束搜索的4.2/1.7 BLEU。在知识蒸馏的基础上应用权重修剪，学生模型的参数比原始教师模型少13倍，减少了0.4 BLEU。
2016-09-22 cs.CL cs.LG cs.NE
Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework
Tianjin University（天津大学）；ByteDance Lark AI（字节跳动飞书人工智能）
知识蒸馏（KD）被广泛用于模型压缩和知识转移。通常情况下，在足够的数据上训练的大型教师模型将知识转移到小型学生模型。然而，尽管KD取得了成功，但很少有人研究KD是否泄漏了教师模型的训练数据。在本文中，我们实验表明，KD遭受隐私泄漏的风险。为了缓解这个问题，我们提出了一种新的知识蒸馏方法-摆动蒸馏，它可以有效地保护教师模型的私有信息不流向学生模型。在我们的框架中，温度系数是动态的，自适应地调整，而不是一个预定义的常数超参数，根据数据中包含的私人信息的程度。它根据位置中的令牌包含隐私信息的可能性为令牌分配不同的温度。此外，我们将噪声注入到提供给学生模型的软目标中，以避免未屏蔽的知识转移。在多个数据集和任务上的实验表明，与KD相比，所提出的摆动蒸馏可以显着降低隐私泄露的风险（在金丝雀暴露方面超过80%），具有竞争力或更好的性能。此外，摆动蒸馏对不断增加的隐私预算具有鲁棒性。
2022-12-16 cs.AI cs.CL cs.CR
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google（谷歌）
本文研究了知识蒸馏（KD）问题，并针对递归神经网络转换器（RNN-T）模型提出了知识蒸馏的约束条件。在硬蒸馏中，教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法，它提取教师模型的输出logits。由于RNN-T比对的性质，在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外，高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师，这还没有被研究之前，我们的知识。我们证明了序列级KD，全和蒸馏，优于RNN-T模型的其他蒸馏方法，特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏，蒸馏的顺序判别知识的老师，导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Dual Knowledge Distillation for Efficient Sound Event Detection
Fortemedia（富迪科技）
针对设备端声音事件检测计算资源受限的问题，提出双知识蒸馏框架，结合时间平均知识蒸馏与嵌入增强特征蒸馏，以三分之一的参数量在DCASE 2023任务4A上取得更优性能。
2024-02-05 cs.AI cs.CL cs.LG
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏，这些模型还可以受益于由语言模型编码的知识，这些语言模型是在丰富的文本源上预先训练的。然而，由于文本和语音嵌入空间之间的模态差异，蒸馏过程具有挑战性。本文研究了基于度量的提取方法，在不改变模型结构的情况下，利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距，这损害了蒸馏，我们提出了先验信息自适应知识蒸馏（PAD），自适应地利用可变粒度和先验分布的文本/语音单元，以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估，结果表明，PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
Language Graph Distillation for Low-Resource Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于缺乏双语句子对，低资源语言上的神经机器翻译具有挑战性。以前的作品通常解决低资源的翻译问题，在多语言环境中的知识转移。本文提出了语言图的概念，并进一步设计了一种新的图蒸馏算法，该算法通过前向和后向知识蒸馏来提高图中低资源翻译的准确性。在TED演讲多语种数据集上的初步实验证明了该方法的有效性。具体来说，我们在BLEU得分方面将低资源翻译对提高了3.13分以上。
2019-08-17 cs.CL
Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Fanyu AI Research, Beijing Fanyu Technology Ltd.（北京凡语科技有限公司凡语人工智能研究院）
多语言神经机器翻译（MNMT）的一个常见场景是每个翻译任务以顺序的方式到达，并且先前任务的训练数据不可用。在这种情况下，目前的方法严重遭受灾难性遗忘（CF）。为了缓解CF，我们研究了基于知识蒸馏的终身学习方法。具体而言，在一个tomany场景中，我们提出了一种多语言蒸馏方法，使新模型（学生）共同学习旧模型（教师）和新任务的多语言输出。在多对一的情况下，我们发现直接蒸馏面临极端的部分蒸馏问题，我们提出了两种不同的方法来解决它：伪输入蒸馏和反向教师蒸馏。在12个翻译任务上的实验结果表明，该方法能更好地巩固已有知识，并能显著地降低错误率。
2022-12-06 cs.CL
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）；Peking University（北京大学）
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术，由于其离线训练和在线服务的高效性而备受关注。然而，由于语言多样性和模型容量的限制，传统的多语言翻译通常会产生较低的准确性，与使用每个语言对的单独模型的对应物相比。在本文中，我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言，首先训练个体模型并将其视为教师，然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是，我们证明了一个模型足以处理多种语言（在我们的实验中多达44种语言），其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation
Qiyi（爱奇艺）
神经机器翻译（NMT）模型通常通过单向解码器进行训练，这对应于优化一步预测。然而，这种单向解码框架可能倾向于关注局部结构而不是全局连贯性。为了解决这个问题，我们提出了一种新的方法，自知识蒸馏与双向解码器的神经机器翻译（SBD-NMT）。我们部署了一个后向解码器，它可以作为一个有效的正则化方法的前向解码器。通过利用后向解码器关于长期未来的信息，提取在后向解码器中学习的知识可以鼓励自回归NMT模型提前计划。实验表明，在多个机器翻译数据集上，我们的方法明显优于强Transformer基线。
2022-03-11 cs.CL
Ensemble Distillation for Neural Machine Translation
IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
知识蒸馏描述了一种通过从更强的教师网络学习来训练学生网络以表现更好的方法。使用神经机器翻译（NMT）引擎翻译句子是耗时的，而使用更小的模型可以加快这一过程。我们演示了如何将集合和Oracle BLEU教师网络的翻译质量转移到单个NMT系统中。此外，我们提出了从教师网络，具有相同的架构和尺寸的学生网络的翻译改进。由于学生模型的训练仍然很昂贵，我们引入了一种基于教师模型知识的数据过滤方法，不仅加快了训练速度，而且提高了翻译质量。我们的技术不需要改变代码，可以很容易地复制与任何NMT架构，以加快解码过程。
2017-08-08 cs.CL
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
Understanding Knowledge Distillation in Non-autoregressive Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究）
非自回归机器翻译（NAT）系统并行地预测输出令牌的序列，与自回归模型相比在生成速度上实现了实质性的改进。现有的NAT模型通常依赖于知识蒸馏技术，该技术从预训练的自回归模型创建训练数据以获得更好的性能。知识蒸馏在经验上是有用的，导致NAT模型的准确性大幅提高，但这种成功的原因至今尚不清楚。在本文中，我们首先设计了系统的实验来研究为什么知识蒸馏是至关重要的NAT训练。我们发现，知识蒸馏可以降低数据集的复杂性，并帮助NAT模型的变化，输出数据。此外，NAT模型的容量与提取数据的最佳复杂性之间存在很强的相关性，以获得最佳翻译质量。基于这些发现，我们进一步提出了几种方法，可以改变数据集的复杂性，以提高NAT模型的性能。我们实现了基于NAT的模型的最先进的性能，并在WMT 14 En-De基准上缩小了与自回归基线的差距。
2021-02-22 cs.CL
Fully Synthetic Data Improves Neural Machine Translation with Knowledge Distillation
University of Edinburgh（爱丁堡大学）
本文探讨了神经机器翻译中知识蒸馏的单语数据扩充。源语言单语文本可以作为正向翻译合并。有趣的是，我们发现最好的方法，以纳入目标语言单语文本是将其翻译到源语言和往返翻译回目标语言，从而在一个完全合成的语料库。我们发现，结合单语数据从源和目标语言产生更好的性能比语料库的两倍大，只有一种语言。此外，实验表明，改进依赖于测试集的出处。如果测试集最初使用的是源语言（目标端由翻译人员编写），则向前翻译源单语数据很重要。如果测试集最初是用目标语言编写的（源代码由翻译人员编写），那么合并目标单语数据就很重要。
2021-09-15 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）存在多模态问题：源句子可能有多个正确翻译，但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，在蒸馏数据集中的多模态问题仍然是不可忽视的。此外，从特定老师学习限制了模型能力的上限，限制了NAT模型的潜力。在本文中，我们认为，一个参考是不够的，并提出了不同的蒸馏与参考选择（DDRS）的NAT。具体来说，我们首先提出了一种方法，称为SeedDiv不同的机器翻译，这使我们能够生成一个数据集，每个源语句包含多个高质量的参考翻译。在训练过程中，我们将NAT输出与所有参考进行比较，并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性，在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU，将NAT的最新性能提高了1 BLEU以上。源代码：https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation
ByteDance Research（字节跳动研究院）；Nanjing University（南京大学）
本文提出MT-Patcher框架，通过选择性纠正学生翻译错误并利用LLM合成多样化上下文和潜在错误，以约10%样本微调即可达到传统知识蒸馏效果，并提升模型在未见上下文和词语上的泛化能力。
2024-04-01 cs.CL
Continual Knowledge Distillation for Neural Machine Translation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对平行语料难获取的问题，提出面向神经机器翻译的持续知识蒸馏方法，通过依次迁移现有训练模型的知识改进目标模型，在多数据集上均有显著提升且对恶意模型鲁棒。
2023-06-12 cs.CL
Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（现代软件技术与产业化协同创新中心）
本文提出一种选择性知识蒸馏方法，通过引入NAT评估器选择高质量且易学的目标，并结合渐进式蒸馏，有效缓解教师错误传播问题，在多个NAT模型上实现翻译质量与数据复杂度的灵活权衡。
2023-08-04 cs.CL
Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
序列级知识蒸馏（SLKD）是一种模型压缩技术，它利用大型、准确的教师模型来训练较小的、参数化不足的学生模型。为什么使用SLKD预处理MT数据有助于我们训练更小的模型？我们测试的共同假设，SLKD解决能力不足的学生通过“简化”嘈杂的数据点，并发现它不太可能在我们的情况下。在原始数据集和“简化”数据集的连接上训练的模型与基线SLKD一样通用。然后，我们提出了一个替代假设的镜头下的数据增强和正则化。我们尝试了各种增强策略，并观察到dropout正则化可能变得不必要。我们的方法在TED演讲中实现了0.7-1.2的BLEU增益。
2019-12-06 cs.CL
Multi-Teacher Knowledge Distillation For Text Image Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Samsung Research China - Beijing（三星中国研究院（北京））；Zhongke Fanyu Technology Co., Ltd（中科凡语科技有限公司）
本文提出多教师知识蒸馏（MTKD）方法，通过三个教师将流水线模型知识转移至端到端文本图像机器翻译模型，结合令牌级和句子级蒸馏，以更少参数和解码时间提升翻译性能。
2023-05-10 cs.CL
Qwen-MT-Lumen at WMT2026: Instruction-Specialized Translation via Quality-Aware Training and On-Policy Distillation
Alibaba Token Hub（阿里 Token Hub）
该研究针对WMT2026通用机器翻译任务提交Qwen-MT-Lumen模型，通过四阶段流程优化指令专用翻译，在23个翻译方向上总体平均得分达4.60，性能可媲美领先专有系统。
2026-10-15 cs.CL
Boosting LLM Translation Skills without General Ability Loss via Rationale Distillation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Computer Science, University of Illinois at Chicago（芝加哥大学计算机科学系）
本文提出RaDis（理由蒸馏）方法，通过让LLM为训练数据生成并重放封装通用知识与安全原则的理由，在微调翻译能力时防止灾难性遗忘，从而在不损失通用能力和安全性的前提下提升机器翻译性能。
2024-10-17 cs.CL
Nearest Neighbor Knowledge Distillation for Neural Machine Translation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
由Khandelwal等人（2021）提出的k-最近邻机器翻译（NN-MT）在机器翻译任务中取得了许多最先进的成果。虽然NN-MT是有效的，但在推理过程中，每个解码步骤都需要通过大规模的搜索来进行NN搜索，这极大地增加了解码成本，从而导致难以在实际应用中部署。在本文中，我们建议将耗时的NN搜索前移到预处理阶段，然后引入最近邻知识蒸馏（NN-KD），训练基本NMT模型直接学习NN的知识。提取NN检索到的知识可以鼓励NMT模型考虑更合理的目标标记，从而解决过校正问题。大量的实验结果表明，该方法实现了包括NN-MT在内的最先进基线的一致改进，同时保持了与标准NMT模型相同的训练和解码速度。
2022-05-01 cs.CL
Self-Evolution Knowledge Distillation for LLM-based Machine Translation
Nanjing University（南京大学）；The University of Sydney（悉尼大学）；China University of Petroleum (East China)（中国石油大学（华东））
针对大模型知识蒸馏忽略token迁移难度差异的问题，提出Self-Evolution KD策略，动态整合教师与真实标签分布作为先验知识，在WMT22四个翻译方向平均提升约1.4个SacreBLEU点。
2024-12-19 cs.CL
Evolving Knowledge Distillation for Lightweight Neural Machine Translation
Department of Content Generation（内容生成系）；Li Auto；Beijing, China（中国北京）
本文提出进化知识蒸馏方法，通过逐步增加教师模型容量，解决教师-学生模型容量差距问题，实验显示在多个数据集上提升了翻译性能。
2026-05-11 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland（马里兰大学）；Microsoft Research Asia（微软亚洲研究院）
虽然非自回归（NAR）模型在机器翻译中显示出巨大的前景，但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题，我们试图了解为什么蒸馏如此有效。先前的工作表明，提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验，本文表明不同类型的复杂性具有不同的影响：虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐，从而提高翻译质量，但词汇多样性是蒸馏增加模型置信度的主要原因，这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Distill the Image to Nowhere: Inversion Knowledge Distillation for Multimodal Machine Translation
Tencent WeChat（腾讯微信）；Zhejiang University（浙江大学）
针对多模态机器翻译推理时依赖对齐图像的问题，提出 IKD-MMT，通过反转知识蒸馏从源文本生成多模态特征，在 Multi30k 上达到甚至超越图像必需框架的性能。
2023-04-21 cs.CL
Adapting Offline Speech Translation Models for Streaming with Future-Aware Distillation and Inference
Xiamen University（厦门大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出FAST方法，通过未来感知推理和蒸馏将离线语音翻译模型适配于流式场景，在MuST-C多语种基准上实现了翻译质量与延迟的更好权衡。
2023-10-26 cs.CL
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC
National Taiwan University（台湾大学）
本文提出通过CTC损失微调PMLMs、采用MASK插入上采样及嵌入蒸馏技术提升非自回归翻译质量，在多数据集上超越自回归基线，并实现16.35倍推理加速。
2024-10-14 cs.CL
Memorization Inheritance in Sequence-Level Knowledge Distillation for Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Microsoft（微软公司）
本文研究神经机器翻译序列级知识蒸馏中的记忆继承问题，发现学生模型比基线记忆更多且幻觉率更高，并提出Adaptive-SeqKD方法来减少记忆与幻觉。
2025-07-16 cs.CL
Distill, Adapt, Distill: Training Small, In-Domain Models for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们探索了在领域自适应环境中训练具有序列级知识蒸馏的小型内存高效机器翻译模型的最佳实践。虽然领域自适应和知识蒸馏都被广泛使用，但它们之间的相互作用仍然知之甚少。我们在机器翻译中的大规模实证结果（在三种语言对上，每种语言对有三个领域）建议进行两次提取以获得最佳性能：一次使用通用领域数据，另一次使用适应教师的领域内数据。
2020-06-23 cs.CL
Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）
知识蒸馏解决了将知识从教师模型转移到学生模型的问题。在这个过程中，我们通常会从教师模型中提取多种类型的知识。问题是要充分利用他们来训练学生模范。我们的初步研究表明：（1）并不是所有的知识都是学习一个好的学生模型所必需的，（2）知识蒸馏可以受益于不同训练步骤中的某些知识。针对这些问题，我们提出了一个行动者-批评者的方法来选择适当的知识转移过程中的知识蒸馏。此外，我们提供了一个改进的训练算法，以减轻计算负担。在GLUE数据集上的实验结果表明，该方法的性能明显优于几种强知识蒸馏基线。
2023-02-01 cs.CL
Sampling and Filtering of Neural Machine Translation Distillation Data
Institute of Formal and Applied Linguistics, Charles University（查尔斯大学形式与应用语言学研究所）
在大多数神经机器翻译提取或窃取场景中，目标是保留目标模型（教师）的性能。教师模型的最高分假设通常用于训练新模型（学生）。如果参考翻译也可用，则可以对更好的假设（相对于参考）进行上采样，并且去除或欠采样差的假设。本文探讨了重要性采样方法景观（修剪，假设上采样和欠采样，重复数据删除及其组合）与英语到捷克语和英语到德国的MT模型使用标准的MT评估指标。我们表明，与仅在原始数据或合成数据或其直接组合上进行训练相比，仔细的上采样和与原始数据的组合会带来更好的性能。
2021-04-01 cs.CL cs.LG
Selective Knowledge Distillation for Neural Machine Translation
Peking University（北京大学）；Tencent Inc（腾讯公司）
神经机器翻译（NMT）模型在许多翻译基准测试中达到了最先进的性能。知识蒸馏是网络数学模型中一个活跃的研究领域，它通过在每个训练样本上转移教师模型的知识来提高模型的性能。然而，以往的工作很少讨论这些样本之间的不同影响和联系，这些样本作为教师知识转移的媒介。在本文中，我们设计了一个新的协议，可以有效地分析不同的样本的影响，通过比较不同的样本的分区。在此基础上，我们进行了大量的实验，发现教师的知识并不是越多越好。对特定样本的知识甚至可能损害知识蒸馏的整体性能。最后，为了解决这些问题，我们提出了两个简单而有效的策略，即，批量级和全局级选择，以挑选合适的样品进行蒸馏。我们在两个大规模的机器翻译任务上评估了我们的方法，WMT'14英语->德语和WMT'19中文->英语。实验结果表明，我们的方法产生高达+1.28和+0.89 BLEU点的改进，分别超过Transformer基线。
2021-05-27 cs.AI cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Cross-model Back-translated Distillation for Unsupervised Machine Translation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
最近的无监督机器翻译（UMT）系统通常采用三个主要原则：初始化，语言建模和迭代回译，虽然他们可能会不同地应用它们。至关重要的是，用于语言建模的迭代反向翻译和去噪自动编码为训练UMT系统提供了数据多样性。然而，这些多样化进程的收益似乎趋于稳定。我们在标准UMT框架中引入了一个名为跨模型反向翻译蒸馏（CBD）的新颖组件，其目的是引入现有原则所缺乏的另一个水平的数据多样化。CBD适用于所有以前的UMT方法。在我们的实验中，CBD在WMT'14英语-法语，WMT'16英语-德语和英语-罗马尼亚语双语无监督翻译任务中达到了最先进的水平，BLEU分别为38.2，30.1和36.3。它还产生1.5-3.3的BLEU改进在IWEML英语-法语和英语-德语任务。通过大量的实验分析，我们表明，CBD是有效的，因为它包含数据的多样性，而其他类似的变种没有。
2021-05-24 cs.CL cs.LG
Weight Distillation: Transferring the Knowledge in Neural Network Parameters
Northeastern University（东北大学）；The Chinese University of Hong Kong（香港中文大学）；NiuTrans Research（小牛翻译研究院）
知识蒸馏已被证明是有效的模型加速和压缩。它允许一个小网络学习以与一个大网络相同的方式进行泛化。最近在预训练方面的成功表明了传递模型参数的有效性。受此启发，我们在另一条研究线上研究模型加速和压缩的方法。我们提出了权重蒸馏，通过参数生成器传递大网络参数中的知识。我们在WMT 16 En-Ro、NIST 12 Zh-En和WMT 14 En-De机器翻译任务上的实验表明，权重蒸馏可以训练一个小网络，其速度是大网络的1.88~ 2.94倍，但具有竞争力的性能。在小网络规模相同的情况下，权重蒸馏法比知识蒸馏法的BLEU值高出0.51~1.82点。
2021-07-19 cs.CL
KD4MT: A Survey of Knowledge Distillation for Machine Translation
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）
本文综述了机器翻译中知识蒸馏的应用，分析了其方法论贡献和实际应用，指出了研究空白和评估问题，并提供了实用指南和风险提示。
2026-01-22 cs.CL
