Dynamic Self-Distillation via Previous Mini-batches for Fine-tuning Small Language Models
Case Western Reserve University(凯斯西储大学)
针对传统知识蒸馏依赖教师模型、现有自蒸馏需架构修改的问题,提出模型与任务无关的DynSDPB方法,通过先前小批量logits蒸馏并动态调整参数,在多类语言模型及NLU/NLG任务上验证了优越性能。
2024-11-25 cs.CL
Knowledge distillation from language model to acoustic model: a hierarchical multi-task learning approach
Hanyang University(汉阳大学)
使用自监督学习的预训练语言模型(LM)的显著性能导致了自然语言处理研究的重大范式转变。与这些变化相一致,利用具有大规模基于深度学习的LM的语音识别系统的性能是语音识别研究的主要课题。在将LM应用于语音识别系统的各种方法中,在本文中,我们专注于跨模态知识蒸馏方法,该方法在具有不同模态的两种类型的深度神经网络之间传输知识。我们提出了一个声学模型结构与多个辅助输出层的跨模态蒸馏和证明,所提出的方法有效地弥补了现有的标签插值蒸馏方法的缺点。此外,我们将所提出的方法扩展到分层蒸馏方法,使用在不同单位(句音,单音和子词)训练的LM,并通过消融研究揭示了分层蒸馏方法的有效性。
2021-10-20 cs.CL cs.LG cs.SD
Tailoring Self-Rationalizers with Multi-Reward Distillation
University of Southern California(南加州大学);University of Washington(华盛顿大学);University of California Los Angeles(加州大学洛杉矶分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出多奖励蒸馏方法MaRio,使小规模语言模型生成更合理、一致且多样的自我合理化,提升问答性能,优于监督微调基线。
2024-05-22 cs.CL
Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings
在过去的一年里,大规模语言模型(LM)迁移学习的出现,在广泛的自然语言理解任务中带来了巨大的性能提升。然而,这些大型LM的大小和内存占用使得它们难以在许多场景中部署(例如在移动电话上)。最近的研究指出,知识蒸馏作为一个潜在的解决方案,表明当训练数据为一个给定的任务是丰富的,它是可能的提取一个大的(教师)LM到一个小的任务特定的(学生)网络的性能损失最小。然而,当这些数据稀缺时,大型预训练LM和较小的特定任务模型之间仍然存在显着的性能差距,即使通过蒸馏进行训练。在本文中,我们用一种新的训练方法弥合了这一差距,称为生成蒸馏,该方法以两种方式利用大型微调LM:(1)生成新的(未标记的)训练样本,以及(2)使用这些样本将其知识提取到一个小型网络中。在三个低资源的文本分类数据集,我们实现了相当的性能BERT,而使用少300倍的参数,我们优于以前的方法蒸馏文本分类,而使用少3倍的参数。
2020-01-25 cs.AI cs.CL cs.LG
Revisiting Knowledge Distillation for Autoregressive Language Models
Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学);The University of Sydney(悉尼大学)
本文针对自回归语言模型知识蒸馏中“大教师反而教出差学生”的问题,提出自适应教学方法 ATKD,使多种基线蒸馏方法在 8 项任务上稳定提升并增强泛化。
2024-06-17 cs.CL
SCOTT: Self-Consistent Chain-of-Thought Distillation
University of Southern California(南加州大学);Amazon.com Inc(亚马逊公司)
提出SCOTT方法,通过对比解码和反事实推理目标,从大型教师模型蒸馏出小型自一致思维链模型,生成更忠实的推理并提升决策性能。
2023-08-30 cs.CL
A Cohesive Distillation Architecture for Neural Language Models
Bergische Universität Wuppertal(伍珀塔尔大学)
自然语言处理中的最近趋势是语言模型(LM)大小的指数增长,这阻止了没有必要的硬件基础设施的研究组参与开发过程。本研究探讨知识蒸馏(KD)的方法,以提供有效的替代大规模的模型。在这种情况下,KD意味着提取有关神经网络和词汇知识数据库中编码的语言的信息。我们开发了两种方法来验证我们的假设,即高效的架构可以从LM中获取知识,并从词汇源中提取有价值的信息。首先,我们提出了一种通过多个教师网络的预测加权来学习掩蔽语言建模的置信概率分布的技术。其次,我们提出了一种方法,词义消歧(WSD)和词汇KD是一般的,足以适应许多LM。我们的研究结果表明,KD与多个教师导致改进的训练收敛。当使用我们的词汇预训练方法时,LM特征不会丢失,从而提高了自然语言理解(NLU)任务的性能,同时不添加任何参数。此外,改进的语义理解,我们的模型提高了任务的性能超出了WSD和NLU在一个真正的问题场景(剽窃检测)。这项研究表明,复杂的训练方法和网络架构可能优于缩放可训练参数。在此基础上,我们建议该研究领域应鼓励开发和使用有效的模型和率的影响,导致日益增长的LM大小同样对任务性能。
2023-01-29 cs.CL
Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for Summarization and Paraphrasing
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
提出“不可能蒸馏”框架,从低质量教师模型(如GPT2)中提取高质量数据集和模型,用于释义和摘要,7.7亿参数模型性能超越ChatGPT蒸馏模型。
2024-08-19 cs.AI cs.CL cs.LG
Performance-Efficiency Trade-Offs in Adapting Language Models to Text Classification Tasks
Amazon(亚马逊)
预训练的语言模型(LM)在适应文本分类任务时获得最先进的性能。然而,当在现实世界的应用程序中使用这样的模型时,效率的考虑是至关重要的。在本文中,我们研究如何不同的训练程序,适应LM文本分类执行,因为我们不同的模型和训练集的大小。更具体地说,我们比较了标准微调,提示,和知识蒸馏(KD)时,教师接受培训的微调或提示。我们的研究结果表明,即使微调和提示工作以及训练大型LM上的大型训练集,有更有效的替代方案,可以降低计算或数据成本。有趣的是,我们发现提示与KD相结合可以同时降低计算和数据成本。
2022-10-21 cs.CL
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks
KRAFTON(魁匠团);KAIST(韩国科学技术院);National University of Singapore(新加坡国立大学)
本文提出知识增强推理蒸馏方法KARD,通过外部知识检索与神经重排序增强小型语言模型的推理能力,使其在多个知识密集型推理基准上超越参数量大12倍的模型。
2023-10-30 cs.AI cs.CL cs.LG
MiniALBERT: Model Distillation via Parameter-Efficient Recursive Transformers
University of Oxford(牛津大学);University of Surrey(萨里大学);Oxford-Suzhou Centre for Advanced Research(牛津-苏州高级研究中心);NLPie Research(NLPie研究院)
针对预训练语言模型过参数化问题,结合模型蒸馏与跨层参数共享提出MiniALBERT,引入瓶颈适配器优化,在通用及生物医学NLP任务上验证了紧凑模型的有效性。
2023-04-30 cs.CL cs.LG
Growing Through Experience: Scaling Episodic Grounding in Language Models
Department of Computer Science, Dartmouth College(达特茅斯学院计算机科学系);School of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机科学学院)
本文提出弱到强情景学习框架,结合蒙特卡洛树搜索与蒸馏方法,将情景记忆从7B模型迁移至更大模型,在规划与问答任务上超越最先进专有模型3.45%,并提升深层任务对齐与泛化能力。
2025-06-02 cs.CL
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Xi’an Jiaotong University(西安交通大学)
本文提出新方法测量预训练语言模型中的政治偏见及其对下游仇恨言论和错误信息检测任务公平性的影响,发现预训练数据中的政治偏见会通过语言模型传播到下游任务,强化极化并导致不公平的NLP模型。
2023-07-06 cs.CL
Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
University of Toronto(多伦多大学);Meta AI
本研究提出跨分词器似然评分算法,通过BPE递归结构解决词汇不匹配问题,提升蒸馏效率和性能。
2025-12-16 cs.CL cs.LG
Black-Box On-Policy Distillation of Large Language Models
Microsoft Research(微软研究院)
本研究提出生成对抗蒸馏(GAD),通过在线和黑盒方式实现大规模语言模型的蒸馏,使学生模型在自动评估中与教师模型性能相当。
2026-01-08 cs.AI cs.CL
On Teacher Hacking in Language Model Distillation
Google DeepMind(谷歌DeepMind)
本文提出并研究语言模型蒸馏中的教师黑客现象,通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测,而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning
Tencent AI Lab(腾讯人工智能实验室);University of Notre Dame(圣母大学)
本文提出 MinT 多视图微调方法,将不同数学解答标注格式作为视图并通过追加指令训练小模型,减少对 LLM 蒸馏的依赖,提升跨数据集泛化与噪声学习能力。
2023-07-16 cs.AI cs.CL
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation
Google Research(谷歌研究院);Google(谷歌)
大语言模型(LLM)在各种文本理解任务上显示出令人印象深刻的结果。然而,搜索查询却构成了一个独特的挑战,因为它们的长度很短,缺乏细微差别或上下文。复杂的特征工程工作并不总是导致下游的改进,因为它们的性能优势可能会被知识蒸馏的复杂性增加所抵消。因此,在本文中,我们做出了以下贡献:(1)我们证明了检索增强查询提供LLM有价值的额外的上下文,从而提高理解。虽然检索增强通常会增加LM的延迟(从而损害蒸馏效率),(2)我们提供了一种实用且有效的蒸馏检索增强LLM的方法。具体来说,我们使用了一种新的两阶段蒸馏方法,使我们能够进行检索增强的收益,而不会遭受通常与之相关的计算增加。(3)我们证明了所提出的方法(QUILL)的好处在十亿规模,现实世界的查询理解系统,从而产生巨大的收益。通过广泛的实验,包括公共基准测试,我们相信这项工作提供了一个实用的检索增强查询理解的配方。
2022-10-27 cs.CL cs.IR
Condensing Multilingual Knowledge with Lightweight Language-Specific Modules
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出语言特定矩阵合成(LMS)方法,通过生成低秩矩阵构建轻量级语言特定模块,并利用融合蒸馏技术压缩多语言知识,在减少参数的同时显著提升了多语言机器翻译性能。
2023-10-22 cs.CL
Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
Meta AI;University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
该研究发现训练中期的前向KD会减缓事实回忆但提升推理,提出Switch Distillation方法,在保留高推理和知识性能的同时维持大部分事实回忆,优于现有蒸馏目标。
2026-09-22 cs.CL
Towards the Law of Capacity Gap in Distilling Language Models
Beijing Institute of Technology(北京理工大学);University of Copenhagen(哥本哈根大学);The Open University(开放大学);Xiaohongshu(小红书)
本研究针对语言模型蒸馏中的容量间隙诅咒问题,归纳出最优教师规模与学生规模线性相关的容量间隙定律,拓展至7B大模型蒸馏后得到性能更优的通用大语言模型,大幅降低了确定最优教师的计算成本。
2025-07-30 cs.AI cs.CL cs.LG
Can Language Models Understand Physical Concepts?
Peking University(北京大学);Shanghai AI Lab(上海人工智能实验室);The University of Hong Kong(香港大学)
本文设计了基准VEC评估语言模型对视觉和具身物理概念的理解,发现扩大规模对部分概念无效,而视觉增强模型表现更佳,并提出蒸馏方法将具身知识从VLMs转移到LMs,实现了等同于扩大参数134倍的性能提升。
2023-05-23 cs.CL cs.CV
Selective Knowledge Distillation for Non-Autoregressive Neural Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);ByteDance AI Lab(字节跳动人工智能实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(现代软件技术与产业化协同创新中心)
本文提出一种选择性知识蒸馏方法,通过引入NAT评估器选择高质量且易学的目标,并结合渐进式蒸馏,有效缓解教师错误传播问题,在多个NAT模型上实现翻译质量与数据复杂度的灵活权衡。
2023-08-04 cs.CL
MedVAL: Toward Expert-Level Medical Text Validation with Language Models
MedVAL通过自监督蒸馏方法,利用合成数据提升语言模型在医学文本验证中的性能,达到专家级别。
2026-02-06 cs.AI cs.CL cs.LG
An Empirical Study of Efficient ASR Rescoring with Transformers
Facebook AI(脸书人工智能研究院)
神经语言模型在语言建模中的表现明显优于经典的n-gram语言模型,因为它具有对文本中的长距离依赖关系建模和处理数据稀疏性问题的能力。最近,配置良好的深度Transformers在语言建模方面表现出了优于递归神经网络层的浅层堆栈的性能。然而,这些最先进的深度Transformer模型大多被设计为具有高模型容量的深度,这使得部署到大规模现实世界应用中的计算效率低下且具有挑战性。因此,重要的是开发具有相对小的模型尺寸的Transformer LM,同时仍然保持那些大得多的模型的良好性能。在本文中,我们的目的是进行实证研究的背景下,培训小参数大小的Transformers的ASR再评分。通过结合技术,包括子字单元,自适应softmax,大规模模型预训练,和知识蒸馏,我们表明,我们能够成功地训练小Transformer LM显着的相对字出错率减少(WERR)通过n-最好的重新评分。特别是,我们在视频语音识别数据集上的实验表明,我们能够实现从6.46%到7.17%的WERR,而著名的大GPT模型[1]的参数大小仅为5.5%到11.9%,其WERR在相同数据集上的重新评分为7.58%。
2019-10-24 cs.CL eess.AS
Legal-Tech Open Diaries: Lesson learned on how to develop and deploy light-weight models in the era of humongous Language Models
Athens University of Economics and Business(雅典经济与商业大学);University of Copenhagen(哥本哈根大学);Cognitiv+
在数十亿参数大小的语言模型(LM)时代,初创企业必须跟随趋势并相应地调整他们的技术。然而,由于大型模型的开发和部署需要大量的计算资源,并且具有经济后果,因此存在开放的挑战。在这项工作中,我们遵循了现代法律技术初创公司研发团队的步骤,并提出了关于模型开发和部署的重要见解。我们从零开始,预先训练多个特定领域的多语言LM,与可用的替代方案(XLM-R)相比,这些LM更适合合同和监管文本。我们在一个半公共半私人的法律基准测试中展示了这些模型的基准测试结果,该测试包括5个下游任务,显示了较大模型大小的影响。最后,我们研究了全尺寸管道对模型压缩的影响,其中包括:a)参数修剪,b)知识蒸馏和c)量化:所产生的模型在不牺牲性能的情况下效率更高。
2022-10-24 cs.CL
MAGDi: Structured Distillation of Multi-Agent Interaction Graphs Improves Reasoning in Smaller Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出 MAGDi 方法,将多智能体交互建模为图并对小型语言模型进行结构化蒸馏,在多个推理基准上超越单教师和多教师蒸馏方法,同时显著提升推理效率与泛化能力。
2024-06-07 cs.CL
Mentor-KD: Making Small Language Models Better Multi-step Reasoners
Korea University(高丽大学)
提出Mentor-KD框架,利用中间规模的导师模型增强CoT标注并提供软标签,有效解决LLM教师模型蒸馏集不足问题,将多步推理能力蒸馏至小型语言模型。
2024-10-11 cs.AI cs.CL
Knowledge Distillation vs. Pretraining from Scratch under a Fixed (Computation) Budget
Johannes Gutenberg University Mainz(美因茨约翰内斯古腾堡大学);Center For Artificial Intelligence and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文在固定计算预算下比较从零开始预训练与多种知识蒸馏策略,发现普通蒸馏与从零预训练相当,但TinyBERT和MiniLM等更复杂蒸馏策略显著更优,且数据重复时蒸馏优势更大。
2024-04-30 cs.CL
Speech to Text Adaptation: Towards an Efficient Cross-Modal Distillation
Seoul National University(首尔国立大学);Search Solution Inc.(搜索解决方案公司)
言语是最有效的交际手段之一,它所包含的信息有助于表达者思想的传递。然而,主要由于声学特征的繁琐处理,音素或词的后验概率经常被丢弃在理解自然语言。因此,一些最近的口语语言理解(SLU)模块已经利用了保存不确定性信息的端到端结构。这进一步减少了语音识别误差的传播并保证了计算效率。我们认为,在这个过程中,语音理解可以受益于大量的预训练语言模型(LM)的推理。我们将知识从一个具体的基于transformer的文本LM转移到一个SLU模块,该模块可能面临数据短缺,基于最近的跨模态蒸馏方法。我们证明了我们的建议的有效性上的表现流利的语音命令,英语SLU基准。因此,我们通过实验验证了我们的假设,即知识可以从LM的顶层共享到一个完全基于语音的模块,其中抽象的语音预计将满足语义表示。
2020-08-08 cs.CL cs.SD eess.AS
MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
MetaIE通过从大语言模型符号化蒸馏标签到片段匹配能力,训练小型元模型以学习信息抽取的通用元理解,在13个数据集上验证其作为少样本微调起点的优越性。
2024-03-30 cs.CL
Implicit Chain of Thought Reasoning via Knowledge Distillation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Microsoft(微软);Johns Hopkins University(约翰霍普金斯大学);Harvard University(哈佛大学)
本文提出利用知识蒸馏将教师模型的显式思维链转化为学生模型跨层隐藏状态中的隐式纵向推理,从而在保持无思维链速度的同时解决多位数乘法和小学数学难题。
2023-11-02 cs.AI cs.CL cs.LG
Lifting the Curse of Capacity Gap in Distilling Language Models
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理团队);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对语言模型蒸馏中因师生容量差距过大导致的性能缺陷问题,提出最小专家混合(MiniMoE)方法,通过引入稀疏激活机制在不增加推理计算的前提下扩大学生模型容量,有效消除了容量差距诅咒并实现了最先进的压缩性能。
2023-05-20 cs.CL cs.LG
Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries
University of Southern California(南加州大学)
本文揭示语言模型回答一对多事实查询时采用“先促进后抑制”机制,先回忆全部答案再抑制已生成项,并通过Token Lens和knockout方法验证了注意力与MLP的分工。
2025-09-23 cs.AI cs.CL cs.LG
DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination via Evidence and Graph-based Distillation
VILA Lab(VILA实验室);Mohamed bin Zayed University of AI(莫扎伊德·本·泽德人工智能大学);McGill University(麦吉尔大学);National University of Science and Technology(国家科学与技术大学)
本文提出DRAG框架,通过证据与知识图蒸馏将RAG能力从大语言模型迁移到小语言模型,在降低计算成本的同时缓解幻觉并提升事实准确性,实验显示性能最高超越MiniRAG达27.7%。
2025-06-02 cs.AI cs.CL cs.LG
Fast Streaming Transducer ASR Prototyping via Knowledge Distillation with Whisper
Idiap Research Institute(Idiap研究所);University of Zurich(苏黎世大学);EPFL(洛桑联邦理工学院);Brno University of Technology(布尔诺理工大学);Uniphore(Uniphore公司)
针对低/无监督数据的ASR训练难题,提出利用基础语音模型Whisper的伪标记,在消费级GPU上单阶段从零训练流式Transformer-Transducer模型,经多维度消融和6种语言验证有效,还提出了伪标记过滤方法。
2024-10-07 cs.CL cs.SD eess.AS
BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition
本文系统比较生物医学语言模型预训练策略,提出上下文化权重蒸馏并结合课程学习训练 BIOptimus,在多项生物医学 NER 任务上取得新最优结果。
2023-08-16 cs.CL
Towards Making the Most of BERT in Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室)
GPT-2和BERT证明了在各种自然语言处理任务中使用预训练语言模型(LM)的有效性。然而,LM微调经常遭受灾难性遗忘时,应用于资源丰富的任务。在这项工作中,我们引入了一个协调的训练框架(CTNMT),这是将预先训练的LM集成到神经机器翻译(NMT)的关键。我们提出的CTNMT由三种技术组成:a)渐近蒸馏,以确保NMT模型可以保留以前的预训练知识; b)动态切换门,以避免灾难性遗忘的预训练知识;和c)根据预定的策略调整学习速度的策略。我们在机器翻译中的实验表明,CTNMT在WMT 14英语-德语语言对上获得了高达3个BLEU分数,甚至超过了之前最先进的预训练辅助NMT 1.4个BLEU分数。而对于具有4000万个重复对的大型WMT 14英语-法语任务,我们的基础模型仍然比最先进的Transformer大模型显著提高了1个以上的BLEU分数。代码和模型可以从https://github.com/bytedance/neurst/ tree/master/examples/ctnmt下载。
2022-06-20 cs.CL cs.LG