JDCNet Uses Confidence Gated Privileged Modality Distillation for Cost Preserving X Ray Inference
Auckland University of Technology（奥克兰技术大学）；Guilin University of Electronic Technology（桂林电子科技大学）；Hikvision Technology Co., Ltd（海康威视技术有限公司）；Hebei University of Technology（河北工业大学）
JDCNet通过置信度门控的CT到X射线蒸馏框架，在保持固定成本的单模态部署路径下，利用特权模态进行训练。在510名患者配对的BIMCV队列中，两种配置在固定转移门下优于ResNet-18基线，证明置信度门控辅助目标比均匀软化的CT日志更可转移。
2026-11-04 cs.CV
Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
知识蒸馏的目的是通过从一个大得多的映射函数中学习映射函数来获得一个紧凑而有效的模型。由于学生的能力有限，学生将不适合老师。因此，学生的表现会出乎意料地下降时，从一个超大的教师，称为能力差距问题。我们通过对教师与学生之间的信任差距的研究来探讨这一问题。我们发现，自信的大小不是知识蒸馏的必要条件，如果学生被迫学习自信，可能会损害学生的表现。我们提出了球形知识蒸馏来消除这个差距明确，这缓解了欠拟合问题。我们发现，这种新的知识表示可以改善紧凑的模型与更大的教师，是强大的温度。我们在CIFAR100和ImageNet上进行了实验，并取得了显著的改善。具体来说，我们训练ResNet 18达到73.0的准确度，这比以前的SOTA有了很大的改进，与resnet34相当，几乎是学生人数的两倍。该实现已在https://github.com/forjiuzhou/Spherical-Knowledge-Distillation上共享。
2021-01-12 cs.CV cs.LG
HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation
HKUST（香港科技大学）；Ant Group（蚂蚁集团）；City University of Hong Kong（香港城市大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
提出 HeadArtist，利用关键点引导 ControlNet 与自分数蒸馏优化参数化 3D 头部模型，实现高质量文本到 3D 头部生成及几何、外观编辑。
2024-05-08 cs.CV
Dropout Distillation for Efficiently Estimating Model Confidence
Oxford Robotics Institute（牛津机器人研究所）
我们提出了一种有效的方法来输出更好的校准不确定性分数从神经网络。Distilled Dropout Network（DDN）通过添加新的训练损失使标准（非贝叶斯）神经网络更加内省，从而防止它们过于自信。我们的方法比贝叶斯神经网络或模型集成更有效，尽管提供了更可靠的不确定性分数，但训练更麻烦，测试更慢。我们评估DDN上的CIFAR-10数据集上的图像分类的任务，并表明，我们的校准结果是有竞争力的，即使相比，100蒙特卡罗样本从辍学网络，同时他们也提高了分类精度。我们还建议在最先进的Faster R-CNN目标检测框架内进行更好的校准，并使用COCO数据集显示DDN有助于训练更好的校准对象检测器。
2018-09-27 cs.CV
Sketch2Colab: Sketch-Conditioned Multi-Human Animation via Controllable Flow Distillation
IDEAS Lab, Department of Computer Science, Purdue University（普渡大学计算机科学系IDEAS实验室）
Sketch2Colab通过可控流蒸馏将故事板风格的2D草图转化为连贯的3D多人体运动，实现对代理、关节、时序和接触的精细控制，实验显示其在约束遵循和感知质量上优于基线方法。
2026-03-29 cs.AI cs.CV cs.GR
Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
针对未知协变量偏移下知识蒸馏效果受限的问题，提出置信度引导的扩散数据增强策略，经实验验证可提升多数据集上的相关准确率与虚假特征得分。
2026-09-17 cs.CV
CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction
Tianjin University（天津大学）；Shanghai Jiao Tong University（上海交通大学）；StepX（思必得科技（StepX））；University of Science and Technology of China（中国科学技术大学）
针对自回归视觉语言模型的复合误差问题，提出CA-OPD框架，通过教师置信度实现自适应监督，在GUI定位等六基准上大幅提升Qwen3.5-0.8B性能。
2026-10-15 cs.CV
Generalized Knowledge Distillation via Relationship Matching
Nanjing University（南京大学）
经过良好训练的深度神经网络（也称为“教师”）对于学习类似的任务是有价值的。知识蒸馏从教师那里提取知识，并将其与目标模型（即“学生”），这扩大了学生的知识，提高了学习效率。我们不是强迫老师和学生做同样的任务，而是从一个从一般标签空间训练出来的老师那里借用知识--在这个“广义知识蒸馏（GKD）"中，老师和学生的类可能是相同的，完全不同的，或者部分重叠的。我们声称，实例之间的比较能力作为一个必要的因素线程的知识跨任务，并提出了关系Facilitated本地classifiEr蒸馏（REFILLED）的方法，它简化了GKD流程的嵌入和顶层分类器。特别是，与协调模型之间的实例标签置信度不同，REFILLED要求教师重新加权学生推送的硬元组，然后匹配实例之间的相似性比较水平。基于教师模型的嵌入诱导分类器监督学生的分类信心，并自适应地强调教师最相关的监督。REFILLED在教师的类从相同到完全不重叠的集合w.r.t.那个学生它还在标准知识蒸馏、一步增量学习和少样本学习任务上实现了最先进的性能。
2022-05-04 cs.CV cs.LG
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK（诺丁汉大学计算机视觉实验室）；Samsung AI Center, Cambridge, UK（三星人工智能中心剑桥）；Queen Mary University of London, London, UK（伦敦玛丽女王大学）
本文通过知识蒸馏来解决模型压缩问题。为此，我们提出了一种新的知识蒸馏方法的基础上转移的特征统计，特别是通道明智的均值和方差，从教师到学生。我们的方法超越了标准的方式，通过$L_2$损失，我们发现它是有限的有效性，强制学生的均值和方差与教师的均值和方差相似。具体来说，我们提出了一个新的损失的基础上自适应实例规范化，有效地转移的特征统计。其主要思想是通过自适应实例规范化（以学生为条件）将学习到的统计数据传输回教师，并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明，我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置，包括不同的（a）网络架构，（b）师生能力，（c）数据集，和（d）域。
2020-03-09 cs.CV cs.LG
Knowledge Distillation $\approx$ Label Smoothing: Fact or Fallacy?
IBM Research AI（IBM研究院人工智能）
本文通过比较模型预测置信度，重新审视知识蒸馏与标签平滑的等价性，实验表明两者在多数设置下对模型置信度影响相反，且KD中学生模型同时继承教师的知识与置信度，验证了经典的知识转移观点。
2023-10-25 cs.CL cs.LG
Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation
Nanyang Technological University（南洋理工大学）
针对连续视频域自适应中无监督学习与灾难性遗忘的挑战，提出置信注意力与泛化增强蒸馏方法，通过精炼伪标签和一致性正则化缓解错误累积，显著提升性能。
2023-08-29 cs.CV
Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation
Tsinghua University（清华大学）
提出Vision-OPD框架，通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略，提升多模态大语言模型对细粒度视觉理解的准确性。
2026-06-02 cs.AI cs.CL cs.CV
Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出渐进式数据集蒸馏（PDD），通过生成多个条件合成子集并累积训练，解决单一蒸馏子集性能不佳的问题，提升现有方法性能达4.3%，并首次支持大规模合成数据集生成。
2023-10-10 cs.CV cs.LG
Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学跨学科安全、可靠性与信任中心（SnT））
本研究提出基于置信度的动态加权知识蒸馏框架，以EfficientViT、MobileViT为教师模型训练轻量学生模型，使ResNet8在性能超90%的同时大幅降低资源消耗，适配星载地球观测图像分类的资源受限场景。
2024-10-31 cs.CV cs.LG eess.SP
Segmentation with mixed supervision: Confidence maximization helps knowledge distillation
ÉTS Montréal（蒙特利尔高等技术学院）；Centre de recherche du Centre hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学医院研究中心（CRCHUM））
尽管在广泛的医学图像分割任务中取得了有希望的结果，但深度神经网络需要具有像素级注释的大型训练数据集。获取这些精选数据集是一个繁琐的过程，限制了场景的适用性。混合监管是缓解这一障碍的一个有吸引力的选择。在这项工作中，我们提出了一个双分支架构，其中上层分支（教师）接收强大的注释，而底部的（学生）是由有限的监督和指导的上层分支。结合标记像素上的标准交叉熵损失，我们的新公式集成了两个重要项：（i）在较少监督的图像上定义的香农熵损失，这鼓励底部分支中的自信学生预测;以及（ii）KL发散项，它将知识（即，预测）的强监督分支到少监督分支，并指导熵（学生信心）项，以避免平凡的解决方案。我们表明，熵和KL发散之间的协同作用产生了显着的性能改善。我们还讨论了香农熵最小化和标准伪掩模生成之间的一个有趣的联系，并认为前者应该优先于后者利用未标记像素的信息。我们通过一系列的定量和定性实验，使用两个公开的数据集评估所提出的配方的有效性。结果表明，我们的方法显着优于其他策略的语义分割的混合监督框架内，以及最近的半监督方法。我们的代码是公开的：https://github.com/by-liu/ConfKD。
2022-11-24 cs.CV cs.LG eess.IV
Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
Department of Electrical Engineering Indian Institute of Technology Bombay 21D070002（电子工程系 印度理工学院班加罗尔 21D070002）；Department of Electrical Engineering Indian Institute of Technology Bombay 210010010（电子工程系 印度理工学院班加罗尔 210010010）；Department of Electrical Engineering Indian Institute of Technology Bombay 210020023（电子工程系 印度理工学院班加罗尔 210020023）
本文提出一种考虑教师预测不确定性的双学生知识蒸馏方法，通过异构学生架构协作学习提升图像分类性能。
2025-11-24 cs.CV cs.LG
Semantically-Conditioned Negative Samples for Efficient Contrastive Learning
University of Liverpool（利物浦大学）
负采样是w.r.t.的一个限制因素。度量学习神经网络的推广。我们发现，均匀负采样提供的类边界的信息很少，因此提出了三种新的技术，有效的负采样：绘制负样本（1）顶部- $k$最语义相似的类，（2）顶部- $k$最语义相似的样本和（3）之间的对比潜在的表示，以创建伪否定。我们在CIFAR-10，CIFAR-100和Tiny-ImageNet-200上的实验表明，我们提出的\textit{Semantically Conditioned Negative Sampling}和潜在混合导致一致的性能改进。在标准的监督学习设置中，我们在各种网络架构上将CIFAR-10的测试准确率平均提高了1.52个百分点。在知识蒸馏设置中，（1）与没有教师训练的学生网络相比，学生网络的性能在Tiny-ImageNet-200上增加了4.56个百分点，在CIFAR-100上增加了3.29个百分点，（2）与\textit{hard-to-beat}基线相比，分别增加了1.23个百分点和1.72个百分点（Hinton等人，2015）。
2021-02-12 cs.CV cs.LG
PLD: A Choice-Theoretic List-Wise Knowledge Distillation
School of Computer Science, Peking University（北京大学计算机科学学院）
本文提出PLD，一种基于Plackett-Luce模型的列表级知识蒸馏方法，通过将教师logits视为'价值'评分，直接优化教师最优排名，实现凸且平移不变的替代目标，涵盖加权交叉熵。
2025-10-23 cs.AI cs.CV cs.LG
Progressive-View On-Policy Distillation for Regional-to-Global Transfer in Multimodal LLMs
提出渐进视角在线蒸馏（PVD），通过填充裁剪逐步将学生视角从区域转向整图，利用区域优势加权迁移教师优势，在多项基准上平均准确率达77.51，显著超越基线。
2026-09-29 cs.AI cs.CV
DisWOT: Student Architecture Search for Distillation WithOut Training
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
知识蒸馏（KD）是在繁琐的教师指导下改进轻量级学生模型的有效培训策略。然而，跨师生对的大的架构差异限制了蒸馏增益。与以前的自适应蒸馏方法，以减少师生差距，我们探索了一种新的培训免费的框架，以寻找最好的学生架构为给定的老师。我们的工作首先经验性地表明，在香草训练下的最优模型不能在蒸馏中获胜。其次，我们发现随机初始化师生网络之间的特征语义相似性和样本关系相似性与最终的蒸馏性能有很好的相关性。因此，我们有效地测量相似性矩阵的语义激活地图的条件下，选择最佳的学生通过进化算法，而无需任何训练。通过这种方式，我们对无训练蒸馏（DisWOT）的学生架构搜索通过至少180个$\times$训练加速显着提高了蒸馏阶段模型的性能。此外，我们扩展了相似性度量在DisWOT作为新的蒸馏器和基于KD的零代理。我们在CIFAR、ImageNet和NAS-Bench-201上的实验表明，我们的技术在不同的搜索空间上都取得了最先进的结果。我们的项目和代码可以在https://lilujunai.github.io/DisWOT-CVPR2023/上找到。
2023-03-28 cs.AI cs.CV cs.LG
Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding
Beihang University（北京航空航天大学）；University of the Chinese Academy of Sciences（中国科学院大学）
针对细粒度视觉理解，提出证据对齐的多模态在线自蒸馏（EAD），通过构建证据参考加权教师修正，仅用6%监督质量超越现有方法。
2026-09-29 cs.AI cs.CV
Label-Consistent Dataset Distillation with Detector-Guided Refinement
University of Toyama（东浓大学）；Hokkaido University（北海道大学）；Niigata University（新潟大学）；Toyohashi University of Technology（toyohashi技术大学）
本文提出一种检测器引导的数据集蒸馏方法，通过利用预训练检测器识别并精修异常合成样本，提升数据集的标签一致性和图像质量，实现更优的下游性能。
2026-02-18 cs.CV
DeepKD: A Deeply Decoupled and Denoised Knowledge Distillation Trainer
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）；Xi’an Jiaotong University（西安交通大学）
针对现有知识蒸馏方法未处理目标与非目标类别知识流冲突、非目标类暗知识含噪的问题，提出融合双层解耦与动态top-k掩码去噪的DeepKD框架，在多个数据集上验证了有效性。
2025-05-21 cs.AI cs.CV cs.LG
Knowledge Distillation for Visual Autoregressive Models
Qualcomm AI Research（高通人工智能研究）；University of Technology Nuremberg（纽伦堡技术大学）
针对视觉自回归模型计算开销大的问题，提出VarKD蒸馏框架，通过选择性教师监督和减少令牌级歧义，在ImageNet上多个AR骨干网络中优于现有蒸馏方法。
2026-06-04 cs.CV
Faithful Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
本文针对知识蒸馏中学生与教师置信度相对校准问题，提出忠实模仿框架和忠实蒸馏方法，以可验证地对齐学生与教师的置信度校准，并在多个数据集上验证其优于现有对抗蒸馏方法。
2023-08-11 cs.LG
MeSD: Multi-Evidence Self-Distillation for VideoLLM
UCAS（中国科学院大学）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（星辰AGI实验室，中国电信人工智能科技（北京）有限公司）；BJTU（北京交通大学）；BUAA（北京航空航天大学）；ZJU（浙江大学）
MeSD提出多证据自蒸馏框架，通过三个共享参数的证据条件教师和验证引导优化，为VideoLLM提供密集token级监督，在多个视频基准上超越强化学习和自蒸馏基线。
2026-10-06 cs.AI cs.CV
UAD: Unsupervised Affordance Distillation for Generalization in Robotic Manipulation
Stanford University（斯坦福大学）
针对机器人操作中现有视觉可用性预测依赖人工标注或预定义任务的问题，提出无监督可用性蒸馏方法UAD，利用基础模型自动生成标注数据训练模型，提升对野外场景、未知物体及指令的泛化能力。
2025-08-25 cs.AI cs.CV cs.RO
MOPDA: Mixed-Trajectory On-Policy Distillation for Language-Guided Industrial Anomaly Detection
Tsinghua University（清华大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）
研究如何利用大型视觉语言模型进行工业异常检测，提出OPD-IAD框架，通过策略内自蒸馏和语言引导视觉锚定，将语言判断转化为像素级异常图，在相关方法中取得最佳性能。
2026-11-03 cs.AI cs.CV
DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging
Institute of Science Tokyo（东京科学研究院）；Kyoto University（京都大学）；ZOZO Research（ZOZO研究）；Mila；Université de Montréal（蒙特利尔大学）
DisTaC通过知识蒸馏预处理任务向量，提升模型融合的鲁棒性与性能。
2026-03-02 cs.LG
Hierarchical mutual distillation for multi-view fusion: Learning from all possible view combinations
Hanyang University（翰阳大学）；Hankuk University of Foreign Studies（韩国民法大学）
本文提出一种新颖的多视角不确定性加权互蒸馏方法，通过分层互蒸馏提升预测一致性，有效利用各视角信息并缓解不确定预测的影响。
2026-06-19 cs.CV
Know Thyself, Teach Thyself: Internal Information Flow for Selective Self-Distillation
Peking University（北京大学）；University of Oxford（牛津大学）；The University of Hong Kong（香港大学）
针对无外部教师的自蒸馏中信息传递未被度量的问题，提出检索引导的在线策略自蒸馏框架InFlow，通过度量信念偏移选择样本，在多个模型和知识域上取得最优平均性能。
2026-10-06 cs.LG
Progressive Class-level Distillation
School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学）
针对logit蒸馏中高置信度类别主导导致知识转移不充分的问题，提出Progressive Class-level Distillation（PCD）方法，通过基于师生logits差异排序的分阶段双向蒸馏，实现由细到粗和由粗到细的渐进式知识转移，在分类和检测任务上优于现有方法。
2025-05-30 cs.CV
LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation
University of South Carolina（南卡罗来纳大学）
该研究提出LG-GER框架，通过MLLM生成结构化证据并蒸馏至VLM骨干，无需检测器等即可实现高效群体情绪识别，在GroupEmoW和GAF 3.0数据集上取得了有竞争力或更优的结果。
2026-08-26 cs.CV
Online Knowledge Distillation with Reward Guidance
SI-TECH Information Technology（SI-TECH信息技术）
本研究提出一种奖励引导的模仿学习框架，通过最小-最大优化和偏好数据构建，实现大型语言模型的在线知识蒸馏，有效缩小学生与教师策略的性能差距。
2025-05-25 cs.LG
BD-KD: Balancing the Divergences for Online Knowledge Distillation
McGill University（麦吉尔大学）
BD-KD通过平衡前向与反向KL散度的样本级加权，在在线知识蒸馏中同时提升紧凑模型的精度与校准，无需事后重校准，实验验证其优于现有方法。
2024-12-14 cs.CV
VISTA: Internalizing Collective Visual Experience via On-Policy Distillation for Active Multimodal Agents
Tsinghua University（清华大学）
VISTA通过同策略蒸馏将同一输入的多轨迹视觉观察转化为共享监督，内化集体经验，提升主动多模态智能体的感知与推理性能。
2026-09-30 cs.CV
Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation
Korea University（韩国大学）；SK Telecom（SK电信）
本文提出TSD-KD框架，通过令牌选择性双知识蒸馏提升学生模型的推理能力，结合间接和直接蒸馏方法，实验表明在10个挑战性推理基准上性能优于基线和亚军。
2026-02-25 cs.AI cs.CL cs.LG
Maximizing Discrimination Capability of Knowledge Distillation with Energy Function
KAIST（韩国科学技术院）
本文提出基于能量函数的知识蒸馏方法（Energy KD），按能量分数对样本分类并自适应调整温度，以提升蒸馏判别能力，并引入高能量数据增强（HE-DA），在CIFAR-100-LT和ImageNet等数据集上显著优于现有方法。
2025-05-22 cs.CV
Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
NVIDIA（英伟达）；University of Surrey（萨里大学）
本文提出上下文匹配蒸馏（CMD）框架，解决现有视频蒸馏中教师监督与学生因果信息集不一致的问题，实现了自回归视频生成的最先进性能及对相机控制的更好依从性。
2026-08-14 cs.CV
Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment
本文提出一种数据高效的流式主动蒸馏方法，通过高置信度流策略与多样性方法，在低传输成本下提升边缘设备模型质量。
2025-09-24 cs.CV
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park（马里兰大学帕克分校）
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和（subj，obj）对（语义和空间）之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系，但是由于视觉关系的语义空间巨大并且训练数据有限，特别是对于具有很少实例的长尾关系，因此使学习复杂化。为了克服这个问题，我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释（内部知识）和公开文本中挖掘来获得语言知识，例如，Wikipedia（外部知识），计算给定（subj，obj）对的谓词的条件概率分布。然后，我们将知识提取到深层模型中，以实现更好的泛化。我们在视觉关系检测（VRD）和视觉基因组数据集上的实验结果表明，通过这种语言知识蒸馏，我们的模型显著优于最先进的方法，特别是在预测看不见的关系（例如，在VRD zero-shot测试集上，召回率从8.45%提高到19.17%）。
2017-08-03 cs.CV
KVE-KD: Key Visual Evidence-Guided Knowledge Distillation for Vision-Language Models
City University of Macau（澳门城市大学）；Tongji University（同济大学）；Zhejiang University（浙江大学）
KVE-KD提出动态聚焦任务相关视觉标记的知识蒸馏框架，通过语义锚点和归一化熵选择关键视觉证据，在六个基准上超越现有方法且无推理开销。
2026-10-06 cs.LG
Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shanghai Jiao Tong University（上海交通大学）；Pengcheng Laboratory（鹏城实验室）
提出利用扩散先验进行补丁选择而非生成的新框架，通过噪声预测和损失差异识别图像中独特区域，结合类内聚类和排序实现单步蒸馏，在多种指标和设置下优于现有方法。
2026-06-26 cs.CV
Self-Supervised Visual On-Policy Distillation
University of Maryland, College Park（马里兰大学帕克分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Oxford（牛津大学）；UC San Diego（加利福尼亚大学圣迭戈分校）
该研究提出S²VOPD方法，通过从学生模型减信息而非给教师加特权信息，实现无特权信息的视觉在线策略蒸馏，在6个细粒度感知基准上显著提升Qwen3.5-4B性能，表现优于多数模型。
2026-08-17 cs.AI cs.CV
Adaptive Explicit Knowledge Transfer for Knowledge Distillation
Yonsei University（延世大学）
本文提出自适应显式知识迁移方法，通过新损失函数自适应结合教师显式置信度与隐式知识，并分离分类与蒸馏任务，在CIFAR-100和ImageNet上优于现有知识蒸馏方法。
2024-09-05 cs.AI cs.CV
Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究多模态大语言模型知识蒸馏，挑战传统依赖，发现下游性能与响应视觉注意力相似度强相关。提出令牌级响应视觉注意力引导方法，通过自适应加权散度，有效引导学生模型，实验证明其性能优于基线。
2026-07-07 cs.CL cs.CV
RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
研究针对知识注入中拟合权威答案致行为偏差问题，提出RoCo-ACE方法，通过同展开无参考/基于参考条件的似然对比及参考侧锚定校正，在多知识注入设置等下，实现最佳注入知识准确性且保持保留率接近基础模型。
2026-07-29 cs.AI cs.LG
Activation-Conditioned Self-Distillation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
提出激活条件自蒸馏（ACSD），通过对比正确与其余轨迹的激活提取引导向量，在不需参考文本下提升多模型数学推理准确率，最高达71.9%。
2026-10-01 cs.LG
Goal-Conditioned Q-Learning as Knowledge Distillation
University of Maryland（马里兰大学）
强化学习的许多应用可以形式化为目标条件环境，其中，在每个情节中，存在影响在该情节期间获得的奖励但不影响动态的“目标”。已经提出了各种技术来提高目标条件环境中的性能，例如自动课程生成和目标重新标记。在这项工作中，我们探讨了目标条件设置和知识蒸馏政策外强化学习之间的联系。特别是：当前Q值函数和目标Q值估计都是目标的函数，并且我们想要训练Q-价值函数以匹配其针对所有目标的目标。因此，我们将基于注意力转移（Zagoruyko和Komodakis 2017），一种知识蒸馏技术应用于Q函数更新。我们的经验表明，这可以提高性能的目标条件下关闭政策强化学习的目标空间是高维的。我们还表明，这种技术可以适应，以允许有效的学习的情况下，多个同时稀疏的目标，其中代理可以通过实现任何一个大的一组目标，在测试时指定的奖励。最后，为了提供理论支持，我们给出了几类环境的例子，在这些环境中（在某些假设下），标准的非策略算法（如DDPG）至少需要O（d^2）的重放缓冲区转换来学习最优策略，而我们提出的技术只需要O（d）的转换，其中d是目标和状态空间的维数。代码可在https://github.com/alevine0/ReenGAGE上获得。
2023-03-08 cs.LG
HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation
HoRD通过历史条件强化学习和在线蒸馏，使单个策略能零样本适应未知领域，提升人形机器人在动态变化和外部扰动下的鲁棒性和迁移能力。
2026-03-15 cs.LG cs.RO
Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning
Department of Electrical and Computer Engineering, George Washington University（乔治华盛顿大学电气与计算机工程系）
提出Hindsight Self-Distillation (HSD)方法，通过将教师模型条件于当前训练组中的成功同伴轨迹，在失败与成功轨迹的分歧处提供密集信用信号，提升LLM在数学和代码推理任务上的性能。
2026-06-16 cs.AI cs.LG
CPFD: Confidence-aware Privileged Feature Distillation for Short Video Classification
ByteDance（字节跳动）
针对短视频分类中特权稠密特征在线推理成本高、端到端多模态模型易丢失其信息的问题，提出置信度感知特权特征蒸馏方法CPFD，利用教师模型置信度自适应蒸馏，显著缩小师生模型性能差距，已在工业生产部署。
2024-10-07 cs.CV cs.LG
Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
Alibaba Group（阿里巴巴集团）
提出CC-OPD反事实约束条件化在线蒸馏方法，通过消融教师条件中的每个约束构建令牌级塑形奖励，提升多约束指令遵循性能，在多个基准上取得最优平均结果，1.5B学生超越7B教师。
2026-09-24 cs.LG stat.ML
Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities
Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Renmin University of China（中国人民大学）；Monash University（墨尔本大学）
本文针对多模态情感分析中模态缺失问题，提出置信度感知自蒸馏（CASD）策略，利用 Student's t 分布混合建模多模态概率嵌入，并通过重参数化采样与一致性蒸馏降低不确定性，在三个基准数据集上取得最先进性能。
2025-06-02 cs.LG
