X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
NVIDIA
本文提出X-Token，一种通过投影引导的跨分词器知识蒸馏方法，解决传统方法在处理不同分词器间知识迁移时的不足，通过两个互补的损失函数改进知识蒸馏效果。
2026-11-10 cs.CL cs.LG
Beyond Distillation: Task-level Mixture-of-Experts for Efficient Inference
Google Research（谷歌研究院）
稀疏混合专家模型（MoE）是一种成功的方法，可以将多语言翻译模型扩展到数十亿个参数，而无需按比例增加训练计算。然而，MoE模型过于庞大，从业人员经常采用蒸馏等方法来提供服务。在这项工作中，我们研究路由策略在不同的粒度（令牌，句子，任务）在MoE模型绕过蒸馏。在WMT和网络规模数据集上的实验表明，任务级路由（task-MoE）使我们能够从大型稀疏模型中提取更小的、可随时部署的子网络。在WMT上，我们的任务-MoE与32个专家（533 M参数）在30个语言对上的平均表现优于表现最好的令牌级MoE模型（令牌-MoE）+1.0 BLEU。当我们通过任务而不是令牌进行路由时，峰值推理吞吐量也提高了1.9倍。虽然将令牌MoE提取为较小的密集模型仅保留了32%的BLEU增益，但我们的子网络任务MoE通过设计保留了所有增益，其推理成本与提取的学生模型相同。最后，当扩展到200个语言对时，我们的128个专家任务MoE（13 B参数）与令牌级对应物相比具有竞争力，同时将峰值推理吞吐量提高了2.6倍。
2021-09-24 cs.CL cs.LG
Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
Shenyang Institute of Computing Technology, Chinese Academy of Sciences（中国科学院沈阳计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
本研究通过改变模型大小、文本复杂度等系统分析句子级与词元级知识蒸馏的适用场景，并提出基于门控机制的混合方法，显著提升了蒸馏性能。
2024-04-23 cs.CL
ACTD: Anchor-Based Cross-Tokenizer Distillation with Residual Regularization
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对跨分词器蒸馏的词汇与序列不对齐及对齐噪声问题，提出带残差正则化的ACTD方法，在五个推理基准上用三种教师模型评估取得SOTA，多教师扩展版性能优于基线。
2026-09-01 cs.CL
Look Before You Select: Rethinking Vocabulary Sparsification in On-Policy Distillation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Carnegie Mellon University（卡内基梅隆大学）；New Jersey Institute of Technology（新泽西理工学院）；Kuaishou（快手）
提出SparseOPD，通过全词汇教师纠正选择重要标记进行稀疏反向传播，在降低内存的同时保持甚至提升在线策略蒸馏性能。
2026-09-29 cs.CL cs.LG
LLM-Oriented Token-Adaptive Knowledge Distillation
Zhejiang University（浙江大学）；Tencent Youtu Lab（腾讯优图实验室）
本文提出AdaKD框架，通过统一token难度指标驱动的LATF模块动态调整蒸馏焦点和IDTS策略差异化调节温度，实现token自适应知识蒸馏，有效提升LLM压缩性能。
2025-10-13 cs.AI cs.CL
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）；Singapore Management University（新加坡管理大学）
针对跨分词器策略内蒸馏的信用对齐问题，提出 CAST 框架，通过块级信用分配与选择性 token 锚定解决相关问题，在六个数学、科学和代码基准测试中实现了显著的性能提升。
2026-10-12 cs.CL cs.LG
Reward-Aligned Distillation
UC San Diego（加州大学圣迭戈分校）；Purdue University（普渡大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；Amazon（亚马逊公司）
本文提出奖励对齐蒸馏（RAD）框架，通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权，在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation
Korea University（韩国大学）；SK Telecom（SK电信）
本文提出TSD-KD框架，通过令牌选择性双知识蒸馏提升学生模型的推理能力，结合间接和直接蒸馏方法，实验表明在10个挑战性推理基准上性能优于基线和亚军。
2026-02-25 cs.AI cs.CL cs.LG
Self-Distillation for Multi-Token Prediction
Large Language Model Department, Tencent（腾讯大语言模型部门）
本文提出MTP-D自蒸馏方法，提升多令牌预测头接受率并保持主头性能，通过循环扩展策略进一步提升推理效率。
2026-03-25 cs.AI cs.CL cs.LG
Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
University of Chinese Academy of Sciences（中国科学院大学）；KwaiKAT Team（快手KwaiKAT团队）；Zhejiang University（浙江大学）
研究如何通过策略内蒸馏整合不同家族语言模型，提出字节前缀边缘化方法，在共享字节空间重表达教师下一个令牌分布，在数学和编程基准测试中，该方法优于现有跨分词器方法，提升了平均准确率。
2026-07-27 cs.AI cs.CL cs.LG
TwT: Thinking without Tokens by Habitual Reasoning Distillation with Multi-Teachers' Guidance
Nankai University（南开大学）；BeijingJiaoTong University（北京交通大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对LLM推理输出Token过多导致计算成本高的问题，提出TwT方法，通过多教师引导的习惯性推理蒸馏和双标准拒绝采样技术，将显式推理内化为模型习惯性行为，在减少输出Token的同时保持高性能，实现高效部署。
2025-11-04 cs.CL
SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling
Zhejiang University（浙江大学）；Hunan University（湖南大学）；Tianjin University（天津大学）；Shanghai Jiao Tong University（上海交通大学）；Jilin University（吉林大学）
针对在线蒸馏中轨迹级对齐和教师偏好均匀可靠性假设的失效问题，提出SG-OPD方法，通过符号一致性门控和分阶段教师采样改进蒸馏效果，在竞赛级数学推理任务上平均提升1.98和7.50。
2026-06-08 cs.CL cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs（Meta 超智能实验室）
本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Not All Tokens Matter Equally: Dynamic In-context Vector Distillation with Decisive-Token Supervision for Long-form Medical Report Generation
UNSW Sydney（新南威尔士大学悉尼分校）；University of Technology Sydney（技术大学悉尼分校）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）
提出DIVE框架，通过关键标记监督和状态条件动态引导，解决长文本生成中标记级蒸馏忽略关键标记的问题，在医学报告生成任务上取得最佳性能。
2026-05-26 cs.CL cs.CV cs.LG
ToDi: Token-wise Distillation via Fine-Grained Divergence Control
Chung-Ang University（中央大学）；Dmtlabs
针对知识蒸馏在全词表上统一施加散度损失的问题，本文提出 ToDi，依据师生概率对数比逐 token 自适应融合 FKL 与 RKL，在指令遵循任务上持续优于现有基线。
2025-09-28 cs.CL
DWA-KD: Dual-Space Weighting and Time-Warped Alignment for Cross-Tokenizer Knowledge Distillation
Hanoi University of Science and Technology（河内科学技术大学）；University of Monash（莫纳什大学）
DWA-KD通过双空间加权和时间扭曲对齐提升跨分词器知识蒸馏效果，实现更精确的词级和序列级对齐。
2026-02-25 cs.CL
Compressed code: the hidden effects of quantization and distillation on programming tokens
National Sun Yat-Sen University（国立中山大学）；DataSpike；aglabx；Neapolis University（尼apolis大学）
本文研究了量化和知识蒸馏对编程令牌的影响，通过分析令牌表示揭示了代码生成质量的优化方法和关键因素。
2026-02-08 cs.CL cs.LG cs.PL
Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中科院自动化所）；School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院）；Fudan University（复旦大学）；Independent Researcher（独立研究者）
本文研究了在线策略蒸馏的失败模式，提出改进方法提升训练稳定性，实验显示改进方法在多个任务中提升性能19.8%。
2026-04-27 cs.AI cs.CL cs.LG
Robust Reasoning via Dynamic Token Selection for Distribution-Aligned Self-Distillation
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University（北京未来区块链与隐私计算先进创新中心，北京航空航天大学）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
针对自蒸馏中参考答案引入风格偏差导致模型模仿表面形式而非学习推理模式的问题，提出分布对齐自蒸馏（DASD），通过动态过滤高困惑度令牌来保留逻辑修正并抑制风格噪声，在数学、代码和常识推理任务上提升鲁棒性。
2026-05-30 cs.CL
Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
针对跨分词器在线策略蒸馏中教师词元部分生成后的监督缺失问题，提出事件集完成蒸馏（ESCD），通过聚合前缀相关教师事件并监督字节兼容一步完成的总体概率，无需额外采样或修改词表，在数学、代码和科学推理任务上取得一致提升。
2026-09-29 cs.AI cs.CL
SRA: Span Representation Alignment for Large Language Model Distillation
Hanoi University of Science and Technology（河内科学技术大学）；VNU University of Engineering and Technology（VNU工程大学）；Monash University（莫纳什大学）
提出SRA框架，通过将蒸馏对齐单元从token转为跨度的质心表示，并引入几何正则化和对齐跨度logit蒸馏，显著提升跨分词器知识蒸馏性能。
2026-06-02 cs.CL
DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
本研究针对LLM部署中的动态禁止规则合规问题，提出DUET双教师在线策略蒸馏方法，构建工业基准，在Qwen模型上实现高合规性与效用保留，性能优于基线。
2026-08-18 cs.CL cs.LG
Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；Tencent YouTu Lab（腾讯优图实验室）；Zhejiang University of Technology（浙江工业大学）
提出多层级最优传输（MultiLevelOT）方法，在词元和序列级别对齐教师与学生模型的logit分布，实现无需相同分词器的通用知识蒸馏，在多项任务上超越现有方法。
2025-01-18 cs.CL
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架，通过在线策略自蒸馏和预算课程，在极端视觉令牌缩减下恢复MLLM性能，平均保留性能从68.6%提升至82.3%，并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
Detecting Distillation Data from Reasoning Models
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Department of Computer Sciences, University of Wisconsin–Madison（计算机科学系，威斯康星大学麦迪逊分校）
本文提出基于输出token概率偏差的检测方法，用于识别推理模型蒸馏数据中的问题，通过量化生成token与高置信度参考概率的偏差，提升检测性能，实验表明在蒸馏数据集上AUC提升达31%。
2026-05-08 cs.AI cs.CL
SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation
University of Science and Technology of China（中国科学技术大学）；Large Language Model Department, Tencent（腾讯大语言模型部门）；Shanghai Innovation Institute（上海创新研究院）；Zhongguancun Academy（中关村学院）
本文提出SimCT，一种改进的在线策略蒸馏方法，通过扩展监督空间来恢复因分词差异而丢失的监督信号，从而在数学推理和代码生成任务中提升了性能。
2026-10-16 cs.CL
ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models
VJ Technologies（VJ科技）；AJ Technologies（AJ科技）；Vietnam National University（越南国家大学）；University of Information Technology（信息技术大学）
针对自回归语言模型基于Logit的预训练蒸馏忽略令牌相对偏好的问题，提出ALRA框架，结合学生提议与教师指导，在The Pile数据集的9个零样本基准上提升了蒸馏模型的准确率。
2026-09-04 cs.CL cs.LG stat.ML
AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
Key Laboratory of Big Data & Artificial Intelligence in Transportation, (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通运输联合实验室，（北京交通大学）教育部）；School of Computer Science and Technology, Beijing Jiaotong University, Beijing, China（计算机科学与技术学院，北京交通大学，北京，中国）；Tencent Inc, China（腾讯公司，中国）
本文提出 AlignDistil，将 RLHF 对齐目标转化为 token 级自适应策略蒸馏，并通过对比 DPO 奖励与 token 自适应 logit 外推提升效果和收敛速度。
2025-07-23 cs.AI cs.CL cs.LG
Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究多模态大语言模型知识蒸馏，挑战传统依赖，发现下游性能与响应视觉注意力相似度强相关。提出令牌级响应视觉注意力引导方法，通过自适应加权散度，有效引导学生模型，实验证明其性能优于基线。
2026-07-07 cs.CL cs.CV
CoT2Align: Cross-Chain of Thought Distillation via Optimal Transport Alignment for Language Models with Different Tokenizers
Hanoi University of Science and Technology（河内理工大学）；Oraichain Labs Inc.（Oraichain实验室公司）；ByteDance Inc（字节跳动公司）；VNU University of Engineering and Technology（越南国家大学工程技术大学）；Monash University（莫纳什大学）；University of Oregon（俄勒冈大学）
提出CoT2Align通用知识蒸馏框架，通过集成思维链增强与Cross-CoT Alignment，结合序列级和层级最优传输对齐，解决了不同分词器模型间的推理感知蒸馏问题，显著提升了推理能力与鲁棒性。
2025-03-01 cs.CL
Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation
Beihang University（北京航空航天大学）；Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
研究基于策略的自蒸馏在复杂推理任务中性能下降问题，发现思维崩溃陷阱。提出自适应双视角OPSD，通过动态调节自蒸馏目标缓解该问题，在多模型规模和数据集上实验验证其有效性，提升绝对平均准确率4.1%。
2026-07-14 cs.CL cs.LG
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）
针对知识蒸馏中无差别token监督放大噪声的问题，提出即插即用的SelecTKD框架，通过“提议-验证”流程选择性加权token损失，在多任务场景下提升小型模型性能，无需架构修改或额外参考模型。
2025-11-16 cs.AI cs.CL
Token-Scaled Logit Distillation for Ternary Weight Generative Language Models
Hanyang University（汉阳大学）；Seoul National University（首尔国立大学）
本文提出token缩放logit蒸馏方法，首次实现大规模生成语言模型三值权重量化感知训练，困惑度退化小于1.0，并在多项任务中提升精度。
2023-12-03 cs.CL
Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）；Case Western Reserve University（凯斯西储大学）；Arizona State University（亚利桑那州立大学）；VU Amsterdam（阿姆斯特丹自由大学）
本文研究在线策略蒸馏中持续高损失的“岩石令牌”，发现它们虽占据大量梯度但功能贡献微弱，提出绕过这些令牌可简化对齐过程。
2026-07-02 cs.AI cs.CL
Gumbel Distillation for Parallel Text Generation
Department of Computer Science（计算机科学系）
本文提出Gumbel Distillation技术，通过Gumbel-Max技巧使并行解码器有效学习token序列的联合分布，提升生成质量，在LM1B和OpenWebText数据集上取得显著改进。
2026-07-24 cs.CL cs.LG
Deep Neural Compression Via Concurrent Pruning and Self-Distillation
University of Liverpool（利物浦大学）；Huawei Ireland Research Center（华为爱尔兰研究中心）
修剪的目的是减少参数的数量，同时保持性能接近原始网络。这项工作提出了一种新的\emph{self-distillation}为基础的修剪策略，从而修剪和未修剪的版本相同的网络之间的代表相似性最大化。与以前单独处理蒸馏和修剪的方法不同，我们使用蒸馏来通知修剪标准，而不需要像知识蒸馏那样使用单独的学生网络。我们表明，所提出的{ \em互相关目标自蒸馏修剪}隐含地鼓励稀疏的解决方案，自然补充幅度为基础的修剪标准。在GLUE和XGLUE基准测试上的实验表明，自提炼剪枝提高了单语言和跨语言语言模型的性能。自蒸馏修剪模型也优于具有相同数量参数的较小Transformers，并且与（6倍）较大的蒸馏网络竞争。我们还观察到自蒸馏（1）最大化类可分性，（2）提高信噪比，（3）在修剪步骤后收敛得更快，为自蒸馏修剪改善泛化提供了进一步的见解。
2021-09-30 cs.CL cs.LG
RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation
Tsinghua University（清华大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Peking University（北京大学）
针对策略自蒸馏中特权诱导的风格漂移问题，提出RLCSD方法，通过对比正确与错误提示下的师生差距来抑制风格偏移，提升推理模型在数学和逻辑推理任务上的性能。
2026-09-15 cs.CL cs.LG
Token-Level Ensemble Distillation for Grapheme-to-Phoneme Conversion
Microsoft（微软）
字-音转换是自动语音识别和文-语转换系统中的一项重要任务。最近，G2 P转换被视为序列到序列的任务，并通过基于RNN或CNN的编码器-解码器框架来建模。然而，以前的工作没有考虑实际问题时，部署G2 P模型在生产系统中，如如何利用额外的未标记的数据，以提高准确性，以及减少模型的大小，在线部署。在这项工作中，我们提出了用于G2 P转换的令牌级集成蒸馏，它可以（1）通过从额外的未标记数据中提取知识来提高精度，（2）减少模型大小但保持高精度，这两者在在线生产系统中非常实用和有用。我们使用令牌级的知识蒸馏，这导致更好的准确性比序列级的对应。更重要的是，我们采用了Transformer而不是RNN或CNN模型，以进一步提高G2 P转换的准确性。在公开的CMUDict数据集和国内英语数据集上的实验证明了该方法的有效性。特别是，我们的方法在CMUDict数据集上实现了19.88%的WER，超过了以前的作品超过4.22%的WER，并设置了新的最先进的结果。
2019-08-12 cs.CL cs.LG cs.SD
OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
Meta AI
提出OmniOPD框架，通过基于蒙特卡洛展开的块级语义相似度替代token级logit匹配，结合峰值熵调度器和贝叶斯先验，解决在线策略蒸馏中logit不可获取和信号脆弱问题，在数学任务上超越标准OPD达28.64%。
2026-06-15 cs.CL cs.LG
AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
针对传统知识蒸馏目标与推测解码真实目标不匹配导致草稿模型性能受限的问题，提出AdaSPEC选择性蒸馏方法，通过过滤难拟合token提升对齐度，在多任务上显著优于现有方法，最高提升15%接受率。
2025-10-22 cs.AI cs.CL cs.LG
Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation
Yıldız Technical University（Yıldız技术大学）；Istanbul Bilgi University（伊斯坦布尔比尔格大学）
提出一种高效的三阶段适应流程，通过跨语言分词器优化、教师模型克隆和离线蒸馏，构建了土耳其语句子嵌入模型embeddingmagibu-200m，在STSbTR上超越教师模型，并在TR-MTEB上以更少参数达到竞争性能。
2026-05-28 cs.CL
Keypoint-based Progressive Chain-of-Thought Distillation for LLMs
Beijing Institute of Technology（北京理工大学）；Ant Group（蚂蚁集团）
提出KPOD框架，通过掩码学习加权关键点token和渐进式蒸馏策略，解决思维链蒸馏中关键点模仿不足和步骤学习顺序问题，在四个推理基准上显著超越现有方法。
2024-05-25 cs.CL
Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation
THU（清华大学）；HKUST（香港科技大学）；BIT（北京理工大学）；Meituan（美团）；ZJU（浙江大学）
针对在线策略蒸馏，提出FiRe-OPD方法，通过轨迹级过滤和令牌级软重加权实现细粒度优化，在多种设置下优于现有方法。
2026-06-04 cs.AI cs.CL cs.LG
Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation
Meituan（美团）
本研究针对智能体强化学习的混淆问题，提出OCSD方法，通过对比两类回放视图推导观测残差，在高不确定步骤调制GRPO更新，在三类任务和多模型规模上优于基线。
2026-08-06 cs.AI cs.CL cs.LG
Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
针对在线策略蒸馏中令牌级学习信号无法有效桥接推理轨迹的问题，提出基于近未来轨迹信息的轨迹感知在线策略蒸馏方法，显著提升大语言模型推理性能。
2026-06-29 cs.AI cs.CL
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Tsinghua University（清华大学）；ShanghaiTech University（上海交通大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Renmin University of China（中国人民大学）
本文系统研究了在线策略蒸馏的动态和机制，发现成功关键在于师生思维模式兼容及教师提供新能力，提出两种恢复失败蒸馏的策略，并指出密集奖励的表面优势背后存在代价。
2026-04-15 cs.AI cs.CL cs.LG
Unbiased Top-$k$ Estimation for On-Policy Distillation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对同策略蒸馏中Top-k估计的偏差问题，提出尾校正Top-k同策略蒸馏（TT-OPD），结合top-k token与采样token实现无偏梯度估计，显著提升性能。
2026-10-02 cs.CL cs.LG stat.ML
SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision
Capital One
提出SEAD方法，利用熵作为统一探针，在令牌、训练阶段和提示三个尺度上解决在策略蒸馏中教师监督质量依赖学生能力的问题，通过令牌分区、KL退火和能力门控课程实现，在OLMo-3上平均准确率提升4.8%。
2026-06-26 cs.CL
Efficient Knowledge Distillation: Empowering Small Language Models with Teacher Model Insights
Osnabrueck University（奥斯纳布吕克大学）；Institute of Cognitive Science（认知科学研究所）
提出一种高效知识蒸馏方法，利用约30亿参数的教师模型提取关键标记作为理由，指导学生模型提升性能，在四个数据集上优于标准微调和现有蒸馏方法，并发现68%情况下提取标记为真实答案。
2024-09-19 cs.CL
Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
Humboldt-Universität zu Berlin（柏林洪堡大学）；Bucharest University of Economic Studies（布加勒斯特经济研究大学）
本文提出一种利用零样本提示将LLM高效蒸馏为特定应用小模型的方法，通过多任务框架让学生模型模仿教师预测与自然语言理由，显著降低成本与人工干预。
2024-03-23 cs.AI cs.CL cs.LG
Distribution Matching Distillation for Continuous Diffusion Language Models
Inria, PSL Research University（法国国家信息与自动化研究所，巴黎文理研究大学）；Cohere（Cohere公司）；CMAP, Ecole Polytechnique（巴黎综合理工学院应用数学中心）
本研究提出两种分布匹配蒸馏方法（Simplex-DMD和Reinforce-DMD），通过利用学生概率输出减少连续扩散语言模型的网络评估次数，在OpenWebText上分别实现49%和20%的困惑度降低。
2026-10-01 cs.CL cs.LG stat.ML
Training-Trajectory-Aware Token Selection
Zhejiang University（浙江大学）；Hong Kong University of Science and Technology（香港科技大学）
本文提出T3S方法，通过在token层面重构训练目标，清除未学习token的优化路径，从而在连续蒸馏中提升性能，实验表明在AR和dLLM设置中均取得显著效果。
2026-05-21 cs.AI cs.CL cs.LG
Understanding the Effect of Data Augmentation on Knowledge Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了数据增强在知识蒸馏（KD）中的作用，发现与微调不同，KD偏好更多数据及更大语义偏移程度的增强数据，且最佳偏移程度随数据集规模增大而减小，为探索KD专属数据增强方法提供了新视角。
2023-05-21 cs.CL
