Measuring and Reducing Model Update Regression in Structured Prediction for NLP
The Chinese University of Hong Kong（香港中文大学）；Amazon AWS AI Labs（亚马逊AWS人工智能实验室）；University of Cambridge（剑桥大学）
深度学习的最新进展使得基于机器学习的NLP模型在广泛的应用中得到快速采用。尽管准确性不断提高，向后兼容性也是工业应用的一个重要方面，但它很少受到研究关注。向后兼容性要求新模型不会在其前身正确处理的情况下回归。本文研究了结构化预测任务中的模型更新回归。我们选择句法依存句法分析和会话语义解析作为NLP中结构化预测任务的典型例子。首先，我们测量和分析模型更新回归在不同的模型更新设置。接下来，我们探索和基准现有的技术，减少模型更新回归，包括模型集成和知识蒸馏。我们进一步提出了一个简单而有效的方法，向后一致重新排序（BCR），考虑到结构化预测的特点。实验结果表明，BCR比模型集成和知识蒸馏方法能更好地抑制模型更新回归。
2022-10-08 cs.AI cs.CL cs.LG
Distilling Tabular Foundation Models for Structured Health Data
Lexsi Labs（Lexsi实验室）
本文研究了如何通过知识蒸馏将表格基础模型的预测行为转移到轻量级表格模型中，通过分层出折教师标签解决上下文泄露问题，在19个医疗数据集上验证了蒸馏学生模型在保持高AUC的同时显著提升了推理速度，并展示了多教师平均法并不总能超越最佳单教师。
2026-05-18 cs.AI cs.LG
Hierarchical Knowledge Distillation for Dialogue Sequence Labeling
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种新的会话序列标注的知识蒸馏方法。对话序列标记是一个监督学习任务，它估计目标对话文档中每个话语的标签，并且对于诸如对话行为估计之类的许多应用都是有用的。准确的标签往往是实现了一个分层结构的大模型，包括话语级和对话级的网络，捕捉内的话语和话语之间的上下文，分别。然而，由于其大的模型大小，这样的模型不能被部署在资源受限的设备上。为了克服这一困难，我们专注于知识蒸馏，通过提取一个大的和高性能的教师模型的知识来训练一个小的模型。我们的核心思想是提取知识，同时保持教师模型捕获的复杂上下文。为此，所提出的方法，分层知识蒸馏，训练的小模型，不仅提取的概率分布的标签分类，但也训练的话语级和对话级上下文的知识，在教师模型，通过训练模型模仿教师模型的输出在每个级别。对话行为估计和通话场景分割实验验证了该方法的有效性。
2021-11-22 cs.CL cs.LG
Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
Beijing Institute of Technology（北京理工大学）；Baichuan Inc.（百川公司）
本文提出FSPAD方法，通过特征采样和部分对齐蒸馏两个组件，解决草稿模型特征对齐与logit置信度冲突，在多项任务和多种LLM上显著提升无损投机解码性能。
2024-08-28 cs.CL cs.LG
RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
RouteNLP通过闭环框架优化大语言模型在多样化NLP任务中的路由，减少成本并满足任务质量约束，通过级联和蒸馏协同优化实现显著成本降低。
2026-04-26 cs.CL cs.LG
SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning
Sony Europe B.V.（索尼欧洲有限公司）
SKILL提出基于层相似性层次聚类的跨层组知识蒸馏方法，用于压缩语音自监督模型，在30M参数级别多个SUPERB任务上超越DPHuBERT并达到最先进性能。
2024-02-26 cs.CL cs.LG cs.SD
Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Information Technology and Electrical Engineering, The University of Queensland（信息科技与电气工程学院，昆士兰大学）
为解决 HGNN 推理延迟高的问题，提出 HG2M 和 HG2M+ 知识蒸馏框架，将 HGNN 的异构语义知识蒸馏到 MLP 中，在保持高精度的同时实现 379.24 倍的推理加速。
2025-07-14 cs.LG
Effectiveness of Function Matching in Driving Scene Recognition
Denso IT Laboratory, Inc.（电装IT实验室有限公司）
知识蒸馏是训练自动驾驶所需的紧凑识别器的有效方法。最近对图像分类的研究表明，在广泛的数据点上匹配学生和教师对于提高蒸馏性能至关重要。这个概念（称为函数匹配）适用于驾驶场景识别，其中通常有几乎无限数量的未标记数据可用。在这项研究中，我们通过实验研究了使用如此大量的未标记数据进行蒸馏对自动驾驶结构化预测任务中学生模型性能的影响。通过大量的实验，我们证明了通过对大量未标记数据进行知识蒸馏，紧凑型学生模型的性能可以得到显著提高，甚至可以与大规模教师的性能相媲美。
2022-08-20 cs.CV cs.LG
SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation
The University of Liverpool（利物浦大学）；University of Macau（澳门大学）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Microsoft（微软）；Shanghai University of International Business and Economics（上海国际经贸管理大学）；Huizhou University（惠州市大学）
研究如何让小语言模型在文本到SQL任务中接近大语言模型性能。核心方法是通过知识蒸馏和合成数据生成，包含基于大语言模型的合成数据生成、参数高效微调和领域自适应微调三个关键组件。主要贡献是在WikiSQL数据集上执行准确率达86.9%，推理更快、内存使用更低。
2026-07-10 cs.CL cs.CV
On the effectiveness of multimodal privileged knowledge distillation in two vision transformer based diagnostic applications
Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫 Heinrich-Hertz 研究所）；Universität Osnabrück（奥斯纳布吕克大学）
本文提出多模态特权知识蒸馏（MMPKD）策略，利用仅在训练时可用的额外模态指导单模态视觉Transformer模型，在胸部X光和乳腺X光诊断中提升了零样本ROI定位能力，但该效果不跨领域泛化。
2025-08-06 cs.CV cs.LG
FedTransKD-IDS: Robust Federated Transfer Learning with Knowledge Distillation for Intrusion Detection in IoT
University of Isfahan（伊斯法罕大学）
本研究针对物联网入侵检测场景，提出FedTransKD-IDS框架，融合几何均值鲁棒聚合、联邦迁移学习与知识蒸馏，在异质数据集上实现99.18%准确率、99.99%召回率，提升了联邦学习的稳定性与效率。
2026-08-10 cs.LG cs.NI
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）；University of Oxford（牛津大学）
接受大量数据训练的文本表征学习者在下游任务中取得了显着的成功;有趣的是，他们在具有挑战性的句法能力测试中也表现出色。鉴于这一成功，像BERT这样的可扩展学习者是否可以仅仅凭借数据规模就完全精通自然语言的语法，或者他们是否仍然受益于更明确的语法偏见，这仍然是一个悬而未决的问题。为了回答这个问题，我们引入了一种知识蒸馏策略，通过蒸馏层次结构的语法信息预测-尽管更难扩展-语法语言模型，将语法偏见注入BERT预训练。由于BERT模型屏蔽词在双向上下文中，我们建议提取近似的边缘分布在上下文中的词从句法LM。我们的方法在一组不同的结构化预测任务上将相对误差降低了2-21%，尽管我们在GLUE基准测试中获得了混合的结果。我们的研究结果表明，句法偏见的好处，即使在代表性的学习者，利用大量的数据，并有助于更好地了解句法偏见是最有帮助的基准自然语言理解。
2020-05-27 cs.CL
DPHuBERT: Joint Distillation and Pruning of Self-Supervised Speech Models
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）
本文提出任务无关的语音自监督模型压缩方法 DPHuBERT，通过联合蒸馏与剪枝在 SUPERB 上超越纯蒸馏方法，训练开销低且适用于资源受限场景。
2023-05-28 cs.CL cs.SD eess.AS
Constrained Edge AI Deployment: Fine-Tuning vs Distillation for LLM Compression
Department of Computer Science, University of West Florida（计算机科学系，西佛罗里达大学）；Department of Mathematics and Statistics, University of West Florida（数学与统计学系，西佛罗里达大学）；Department of Intelligent Systems and Robotics, University of West Florida（智能系统与机器人系，西佛罗里达大学）；Institute of Human and Machine Cognition（人机认知研究所）；DEVCOM Army Research Laboratory（陆军研究实验室）
本研究比较了微调与自蒸馏在仅MLP剪枝的LLM压缩中的效果，发现KL散度蒸馏在相同剪枝计划下达到或超过交叉熵微调，表明损失函数选择对边缘部署中压缩模型恢复有重要影响。
2025-05-13 cs.LG
Teacher's pet: understanding and mitigating biases in distillation
Google Research（谷歌研究院）
知识蒸馏被广泛地用作使用来自复杂教师模型的预测来改进相对简单的学生模型的性能的手段。一些作品表明，蒸馏显着提高学生的整体表现，但是，这些收益均匀所有数据分组？在本文中，我们证明了蒸馏可以损害某些子群的性能，例如，类与一些相关的样本。我们将这种行为追溯到教师分布转移到学生模型并被学生模型放大所产生的错误。为了缓解这个问题，我们提出了技术，软化教师的影响，它是不太可靠的子群。在多个图像分类基准上的实验表明，这些改进的蒸馏保持了整体准确性的提高，同时还确保了子组性能的提高。
2021-07-08 cs.LG
CORSD: Class-Oriented Relational Self Distillation
Xi'an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）
针对现有知识蒸馏在关系建模与迁移上的不足，本文提出面向类别的关系自蒸馏框架CORSD，通过可训练关系网络与辅助分类器迁移深层关系知识，在多个数据集上实现了显著的准确率提升。
2023-04-28 cs.AI cs.CV cs.LG
Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
现代神经网络并不总是产生校准良好的预测，即使在使用适当的评分函数（如交叉熵）进行训练时也是如此。在分类设置中，简单的方法，如保序回归或温度标度可以与保留的数据集结合使用，以校准模型输出。然而，将这些方法扩展到结构化预测并不总是简单或有效的;此外，保持的校准集可能并不总是可用的。在本文中，我们研究合奏蒸馏作为一个通用的框架，产生良好的校准结构化的预测模型，同时避免了令人望而却步的推理时间成本的合奏。我们验证这个框架上的两个任务：命名实体识别和机器翻译。我们发现，在这两项任务中，合奏蒸馏产生的模型保留了大部分，偶尔提高，合奏的性能和校准的好处，而只需要一个单一的模型在测试时。
2021-03-25 cs.CL cs.LG stat.ML
On the Generalization vs Fidelity Paradox in Knowledge Distillation
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过大规模实证分析揭示知识蒸馏中泛化性与保真度的悖论：较小模型获益显著而较大模型收益甚微，且性能提升与推理保真度存在错位。
2025-08-04 cs.CL
Towards Understanding Distilled Reasoning Models: A Representational Approach
本研究通过crosscoder分析Qwen系列模型及其蒸馏变体，揭示蒸馏影响推理特征发展，发现独特推理方向可引导模型思维模式，且较大蒸馏模型表征更结构化，性能更优。
2025-03-25 cs.LG
Investigating the Robustness of Subtask Distillation under Spurious Correlation
1Machine Learning Group, Technische Universit\" a t Berlin (TU Berlin), 10587 Berlin, Germany 2Konrad Zuse School of Excellence in Learning；Intelligent Systems (ELIZA), 64289 Darmstadt, Germany 3BIFOLD\,--\,Berlin Institute for the Foundations of Learning；Data, 10587 Berlin, Germany 4Department of Artificial Intelligence, Korea University, Seoul 136-713, Korea 5Max Planck Institute for Informatics, 66123 Saarbr \"u cken, Germany 6Institute for AI in Medicine, Charit\'e\,--\,Universit\"atsmedizin Berlin, 10115 Berlin, Germany
本文研究了在存在虚假相关性的数据下，子任务蒸馏方法的鲁棒性，发现先进方法如SubDistill仍保持稳健，而基础方法性能显著下降。
2026-01-31 cs.LG
CANDLE: A Cross-Modal Agentic Knowledge Distillation Framework for Interpretable Sarcopenia Diagnosis
College of Information and Engineering, First Affiliated Hospital, Wenzhou Medical University（温州医科大学附属第一医院信息与工程学院）；Wenzhou Institute, University of Chinese Academy of Sciences（中国科学院大学温州研究院）；Department of Gastrointestinal Surgery, First Affiliated Hospital, Wenzhou Medical University（温州医科大学附属第一医院胃肠外科）
CANDLE 框架通过将 XGBoost 的 SHAP 解释与强化学习训练的 LLM 推理结合，实现可解释的肌少症诊断，缓解可解释性与性能的权衡，提高准确性并保持决策一致性。
2025-09-24 cs.AI cs.LG
Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation
网络修剪是降低深度神经网络沉重的推理成本的最主要方法之一。现有的方法通常迭代修剪网络，以获得高压缩比，而不会导致显着的性能损失。然而，我们认为，用于重新训练修剪网络的传统方法（即，使用小的、固定的学习率）是不够的，因为它们完全忽略了来自迭代修剪的快照的益处。在这项工作中，我们表明，强大的合奏可以构建从快照的迭代修剪，实现竞争力的性能和不同的网络结构。此外，我们提出了简单，通用和有效的流水线，产生强大的合奏网络在修剪与大学习率重新启动，并利用知识蒸馏与这些合奏，以提高预测能力的紧凑型模型。在标准的图像分类基准测试中，如CIFAR和Tiny-Imagenet，我们通过将简单的l1范数滤波器修剪集成到我们的流水线中，提高了结构化修剪的最先进的修剪率。具体来说，我们减少了75-80%的总参数和65-70%的ResNet架构变体的MAC，同时具有与原始网络相当或更好的性能。与本文相关的代码可在https://github.com/lehduong/kesi上公开获取。
2020-08-14 cs.CV cs.LG
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Waymo（Waymo公司）；Georgia Institute of Technology（佐治亚理工学院）
本文提出多教师渐进式知识蒸馏方法，通过教师序列将 Transformer 检测器知识迁移到卷积学生，显著提升轻量级 RetinaNet 和 Mask R-CNN 在 MS COCO 上的 AP。
2023-08-17 cs.CV cs.LG
Isotonic Data Augmentation for Knowledge Distillation
Shanghai University of Finance and Economics（上海财经大学）
知识蒸馏使用教师模型预测的真实硬标签和软标签作为监督。直觉上，我们希望软标签和硬标签与w.r.t.一致。概率的顺序。然而，我们发现在增强样本中硬标签和软标签之间存在严重的顺序违反。例如，对于增强样本$x=0.7*panda+0.3*cat$，我们期望有意义的软标签的顺序为$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$。但真正的软标签通常违反顺序，例如$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$。我们将此归因于教师的泛化能力不令人满意，这导致了增强样本的预测误差。从经验上看，我们发现违规行为是常见的，损害了知识转移。本文在知识蒸馏的数据增广中引入序限制，称之为保序数据增强（IDA）。我们使用保序回归（IR）-一个经典的技术，从统计-消除秩序的侵犯。我们表明，IDA可以建模为一个树结构的IR问题。因此，我们适应经典的IRT-BIN算法的最优解与$O(c \log c)$的时间复杂度，其中$c$是标签的数量。为了进一步降低时间复杂度，我们还提出了一个GPU友好的近似线性时间复杂度。我们已经验证了不同的数据集和数据增强技术，我们提出的IDA算法有效地提高了知识蒸馏的准确性，通过消除秩违规。
2021-07-06 cs.AI cs.LG
ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation
University of Pittsburgh（匹兹堡大学）；Google Cloud AI Research（谷歌云人工智能研究）
针对信息检索中传统重排序方法缺乏透明度和依赖专有模型的问题，提出开源的Reason-to-Rank方法，通过生成两种推理增强透明度，利用LLMs作为教师模型蒸馏知识到学生模型，在多个数据集上取得竞争性能，弥合有效性与透明度差距。
2025-04-14 cs.CL
Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation
SparseTech
SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。
2026-01-30 cs.AI cs.CL cs.LG
On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（教育部新一代人工智能技术及交叉应用重点实验室（东南大学））
本文提出位移知识蒸馏（DKD）和双蒸馏网络（DDNet），利用样本间位移信息增强少样本类增量学习中的知识蒸馏，在三个基准上取得最先进结果。
2024-12-17 cs.CV cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.（百度公司）
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用，通过分解问题进行“目标到能力”和“数据到目标”分析，引入诊断指标量化张力，探讨自适应目标路由，表明有效路由取决于信号质量，将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Structured Agent Distillation for Large Language Model
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；MIT（麻省理工学院）；Northeastern University（东北大学）；Adobe Research（Adobe研究）；National University of Singapore（新加坡国立大学）；University of Georgia（佐治亚大学）；Florida International University（佛罗里达国际大学）
提出结构化智能体蒸馏框架，通过分段对齐推理和动作跨度，将大型语言模型智能体压缩为小型学生模型，在保持决策性能的同时降低推理成本。
2026-05-27 cs.AI cs.CL cs.LG
SCAD: Structured Credit Assignment and Distillation for Long-Horizon Agents
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
SCAD通过结构化信用分配与局部蒸馏，结合终端奖励和教师指导，提升长时程智能体的规划与执行，在文本和多模态任务上分别提升4.48和4.19个百分点。
2026-10-07 cs.LG
SlimMoE: Structured Compression of Large MoE Models via Expert Slimming and Distillation
Georgia Tech（佐治亚理工学院）；Microsoft（微软公司）
SlimMoE通过专家瘦身与分阶段蒸馏，将大型MoE模型压缩为更小变体，仅用10%训练数据，性能优于同尺寸模型并接近更大模型，适用于资源受限环境。
2025-06-23 cs.CL cs.LG
Relational Database Distillation: From Structured Tables to Condensed Graph Data
The University of Queensland（昆士兰大学）；Shandong University（山东大学）
本研究提出关系数据库蒸馏方法，将大规模结构化数据库压缩为紧凑图数据，保留预测能力，通过异质图结构和核岭回归引导目标实现高效学习。
2026-01-20 cs.DB cs.LG
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University（阿alto大学）；Finnish Center for Artificial Intelligence (FCAI)（芬兰人工智能中心）；System 2 AI
本文提出用提示蒸馏（一种自蒸馏方法）从自由文档向LLM注入新知识，无需更大教师模型或结构化格式，实验表明其优于监督微调甚至RAG，并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
Structured Distillation of Web Agent Capabilities Enables Generalization
Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所）；McGill University（麦吉尔大学）
通过结构化轨迹生成框架，利用Gemini 3 Pro生成3000条轨迹并微调学生模型，实现WebArena 41.5%的性能，超越其他模型，且能力迁移至未见环境。
2026-04-09 cs.LG
Data-Free Adversarial Knowledge Distillation for Graph Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Sony AI（索尼人工智能）；Emory University（埃默里大学）；Lehigh University（利哈伊大学）
图神经网络（GNNs）由于其在广泛的实际应用中令人印象深刻的性能而被广泛用于图结构数据的建模。最近，GNN的知识蒸馏（KD）在图模型压缩和知识转移方面取得了显着进展。然而，大多数现有的KD方法需要大量的真实数据，这在实践中并不容易获得，并且可能排除它们在教师模型在稀有或难以获取的数据集上训练的场景中的适用性。为了解决这个问题，我们提出了第一个端到端的框架，用于图结构数据上的无数据对抗性知识蒸馏（DFAD-GNN）。具体来说，我们的DFAD-GNN采用了一个生成对抗网络，它主要由三个部分组成：一个预先训练好的教师模型和一个学生模型被视为两个鉴别器，一个生成器被用来导出训练图，从教师模型中提取知识到学生模型中。在各种基准模型和六个代表性数据集上的广泛实验表明，我们的DFAD-GNN在图分类任务中显着超过了最先进的无数据基线。
2022-06-16 cs.LG
Domain Specific Data Distillation and Multi-modal Embedding Generation
Amazon Web Services Inc.（亚马逊网络服务公司）
针对领域结构化数据稀缺、传统单模态嵌入效果受限的问题，本文提出在 HCF 框架中用结构化数据蒸馏非结构化数据并微调实体表示，实验显示其在云计算领域属性预测上显著优于 AutoEncoder。
2024-10-27 cs.LG cs.SI
SCOPE-OPSD: Fisher-Conditioned Privileged Subspaces for On-Policy Self-Distillation
Chongqing Ant Consumer Finance Co., Ltd.（重庆蚂蚁消费金融有限公司）；Alibaba Cloud Computing Co., Ltd.（阿里云计算有限公司）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
SCOPE-OPSD通过将特权教师-学生残差投影到Fisher条件秩64子空间，为在线策略自蒸馏增加第二监督通道，在Qwen3模型上多数检查点超越纯OPSD和随机对照，验证了数据相关方向的有效性。
2026-09-14 cs.AI cs.LG
Towards Distillation Guarantees under Algorithmic Alignment for Combinatorial Optimization
SEAS, Harvard University（哈佛大学SEAS学院）
本文研究了在算法对齐框架下，通过蒸馏将大规模模型的知识转移到更高效的模型以用于部署的问题，重点分析了当目标模型是图神经网络且其架构与动态规划算法对齐时，蒸馏成功的条件。
2026-05-19 cs.LG
Structural Rationale Distillation via Reasoning Space Compression
University of Calgary（卡尔加里大学）；University of Michigan（密歇根大学）
本文提出D-RPC方法，通过压缩推理空间约束教师模型生成一致且多样化的推理路径，提升学生模型在数学和常识推理任务中的表现，优于多种基线方法。
2026-11-05 cs.AI cs.CL cs.LG
Enhancing Knowledge Graph Completion with GNN Distillation and Probabilistic Interaction Modeling
Shandong Key Laboratory of Industrial Network Security（山东工业网络安全重点实验室）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
针对知识图谱补全中GNN过平滑、嵌入模型难捕捉抽象关系特征的问题，提出融合GNN蒸馏与抽象概率交互建模的统一框架，在WN18RR和FB15K-237数据集上实现显著性能提升。
2025-05-18 cs.AI cs.LG
Reasoning Distillation for Lightweight Automated Program Repair
Purdue University（普渡大学）
本文提出通过符号推理蒸馏提升轻量级自动程序修复模型的可解释性和鲁棒性。
2026-01-16 cs.LG
Knowledge Distillation via Route Constrained Optimization
SenseTime Research（商汤科技研究院）；National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
基于蒸馏的学习提高了小型化神经网络的性能，其假设是教师模型的表示可以用作结构化和相对较弱的监督，因此可以很容易地通过小型化模型来学习。然而，我们发现收敛的重模型的表示仍然是训练小学生模型的强约束，这导致了高的同余损失下界。本文受课程学习的启发，从课程学习的路径化角度来思考知识蒸馏。我们不是用收敛的教师模型来监督学生模型，而是用从教师模型经过的参数空间中的路线中选择的一些锚点来监督它，我们称之为路线约束优化（RCO）。实验证明，这种简单的操作大大降低了知识蒸馏，提示和模仿学习的一致性损失的下限。在CIFAR100和ImageNet等闭集分类任务上，RCO分别将知识蒸馏提高了2.14%和1.5%。为了评估泛化能力，我们还在开集人脸识别任务MegaFace上测试了RCO。
2019-04-19 cs.CV cs.LG
ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation
ByteDance（字节跳动）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
研究结构化剪枝在语言模型自由形式生成任务中存在的问题，提出ShortOPD方法，通过短到长的策略蒸馏，检测重复后缀，合理分配展开预算，有效提升压缩模型分数，减少训练时间和展开令牌，推动结构化剪枝接近可部署的生成质量。
2026-08-17 cs.AI cs.CL cs.LG
One-Step Offline Distillation of Diffusion-based Models via Koopman Modeling
Ben-Gurion University of the Negev（贝加尔-贡利亚大学）；University of Cambridge（剑桥大学）
本文提出Koopman蒸馏模型（KDM），利用Koopman理论将扩散模型的非线性动力学线性化，实现单步生成并保持语义保真度，在离线蒸馏基准上取得竞争力性能。
2025-10-23 cs.AI cs.LG
HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation
East China Normal University（华东师范大学）
联邦学习（FL）已被公认为是一种隐私保护的分布式机器学习范例，其通过集中式全局模型聚合来实现各种异构人工智能（AIoT）设备之间的知识共享。由于所涉及的AIoT设备的模型异构性，FL遭受模型不准确和收敛缓慢的困扰。尽管现有的各种方法试图解决模型异构性问题的瓶颈，但大多数都是以粗粒度的方式提高异构模型的准确性，这使得部署大规模AIoT设备仍然是一个很大的挑战。为了减轻这个问题的负面影响，并充分利用每个异构模型的多样性，我们提出了一个高效的框架，名为HierarchyFL，它使用了少量的公共数据的高效和可扩展的知识在各种不同的结构模型。通过使用自蒸馏和我们提出的集成库，每个层次模型可以在云服务器上智能地相互学习。在各种知名数据集上的实验结果表明，HierarchyFL不仅可以最大限度地实现大规模AIoT系统中各种异构模型之间的知识共享，还可以大大提高每个涉及的异构AIoT设备的模型性能。
2022-12-05 cs.LG
Efficient Traffic Prediction Through Spatio-Temporal Distillation
The University of Hong Kong（香港大学）；The University of Queensland（昆士兰大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
本文提出LightST时空知识蒸馏框架，将高容量教师GNN的时空知识迁移到轻量级学生MLP，在保持预测精度的同时将交通流预测速度提升5至40倍，并缓解过度平滑问题。
2025-03-11 cs.CE cs.LG
Rethinking Black-Box On-Policy Distillation: A Rubric-based Analysis
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Tencent（腾讯）
本文提出ROPD框架，利用教师生成的响应而非教师日志进行在线蒸馏，实现更灵活的黑盒兼容方案，实验显示在多数场景下性能优于基于日志的蒸馏方法，样本效率提升达10倍。
2026-11-11 cs.AI cs.LG
Graph Representation Learning via Multi-task Knowledge Distillation
School of Information（信息学院）；University of Michigan（密歇根大学）
基于图结构数据的机器学习由于其在现实世界数据中的普遍性而引起了广泛的研究兴趣。然而，如何有效地表示图形数据在一般的方式仍然是一个悬而未决的问题。传统的方法采用手工绘制的表格形式的图形特征，但存在对领域知识要求高和信息丢失的缺陷。图表示学习通过从图结构中自动学习连续表示来克服这些缺陷，但它们需要大量的训练标签，这对于图级预测问题来说通常很难实现。在这项工作中，我们证明，如果可用的话，用于设计手工图功能的领域专业知识可以提高训练标签稀缺时的图形级表示学习。具体而言，我们提出了一种多任务知识蒸馏方法。通过将基于网络理论的图度量作为辅助任务，我们在合成和真实数据集上表明，所提出的多任务学习方法可以提高原始学习任务的预测性能，特别是当训练数据大小很小时。
2019-11-11 cs.AI cs.LG stat.ML
Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
本研究提出迁移分层在线策略蒸馏（TS-OPD），通过按学生与教师联合成功筛选问题并路由至门控前向/反向KL，在数学推理中实现强化学习改进教师对学生模型的结构化迁移，提升宏平均正确率。
2026-10-06 cs.AI cs.LG
Multi-Rollout On-Policy Distillation via Peer Successes and Failures
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Purdue University（普渡大学）
提出多轨迹在线策略蒸馏（MOPD），利用学生模型的本地轨迹组构造更丰富的教师信号，通过同伴成功与失败条件化提升蒸馏效果。
2026-06-01 cs.AI cs.LG
Dataset distillation for memorized data: Soft labels can leak held-out teacher knowledge
Freya Behrens Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL), Switzerland（弗雷娅·贝亨斯 统计物理计算实验室，瑞士联邦理工学院（EPFL））；Lenka Zdeborová Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL), Switzerland（伦卡·兹德博罗娃 统计物理计算实验室，瑞士联邦理工学院（EPFL））
本研究通过软标签蒸馏揭示了学生模型能有效学习并准确预测未见过的记忆数据，其效果依赖于温度参数，且在不同网络和数据设置下均保持稳定。
2025-06-17 cs.LG
From Hazard Functions to Language Space: Cox-Supervised Distillation of Survival Risk into a Large Language Model
Centre for Big Data Research in Health, the University of New South Wales（新南威尔士大学健康大数据研究中心）
提出将Cox比例风险模型的时间事件风险信息迁移到大语言模型中的方法，通过文本提示微调Qwen模型，在三个数据集上取得有竞争力的区分度和校准性，并发现隐藏状态呈现连续风险梯度。
2026-06-08 cs.LG
Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
深度图神经网络（GNN）已被证明是表达建模图结构的数据。然而，深度图模型的过度堆叠架构使得难以在移动或嵌入式系统上部署和快速测试。为了压缩过度堆叠的GNN，通过教师-学生架构进行知识蒸馏被证明是一种有效的技术，其中关键步骤是使用预定义的距离函数来测量教师和学生网络之间的差异。然而，对于不同结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定。为了解决这些问题，我们提出了一种新的对抗性知识蒸馏框架的图形模型命名为GraphAKD，它对抗训练一个学习器和一个生成器，以自适应地检测和减少差异。具体来说，注意到良好捕获的节点间和类间相关性有利于深度GNN的成功，我们建议使用可训练的鉴别器从节点级和类级视图批评继承的知识。学习者区分教师知识和学生继承的知识，而学生GNN则作为一个生成器，旨在欺骗学习者。据我们所知，GraphAKD是第一个将对抗训练引入图域中的知识蒸馏的公司。在节点级和图级分类基准上的实验表明，GraphAKD大幅提高了学生的性能。结果表明，GraphAKD可以精确地将知识从复杂的教师GNN转移到紧凑的学生GNN。
2022-05-24 cs.AI cs.LG
