MGD$^3$: Mode-Guided Dataset Distillation using Diffusion Models
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；Cisco Research（思科研究院）
提出MGD$^3$，一种无需微调扩散模型的三阶段模式引导蒸馏方法，在多个数据集上显著提升准确率并降低计算成本。
2025-05-25 cs.CV
Gradient-Guided Knowledge Distillation for Object Detectors
Bowling Green State University（博林格林州立大学）
深度学习模型在目标检测方面取得了显著的成功，但它们的复杂性和计算强度对将它们部署到现实世界的应用中构成了障碍（例如，自动驾驶感知）。知识蒸馏（KD）是获取高效模型的有效途径。然而，只有少数KD方法解决了目标检测。此外，他们中的大多数人专注于模仿教师模型的普通特征，但很少考虑这些特征对最终检测的贡献。在本文中，我们提出了一种新的方法，知识蒸馏目标检测，命名为知识引导知识蒸馏（GKD）。我们的GKD使用梯度信息来识别并为显著影响检测丢失的特征分配更多权重，从而使学生能够从教师那里学习最相关的特征。此外，我们提出了边界盒感知的多粒度特征模仿（BMFI），以进一步提高KD性能。在KITTI和COCO-Traffic数据集上的实验证明了该方法在目标检测的知识蒸馏中的有效性。在一级和两级检测器上，我们的GKD-BMFI分别导致平均5.1%和3.8%的mAP改善，击败了各种最先进的KD方法。
2023-03-07 cs.CV
Diffusion-Guided Knowledge Distillation for Weakly-Supervised Low-Light Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Nanjing Forestry University（南京林业大学）
针对低光下弱监督语义分割受图像退化与弱标注约束导致伪标签不可靠的问题，提出DGKD-WLSS框架，融合扩散知识蒸馏与深度先验，实现最先进性能。
2025-07-23 cs.CV
Channel Attention-Guided Cross-Modal Knowledge Distillation for Referring Image Segmentation
School of Information Science and Technology, TaiShan University, Taian, China（信息科学与技术学院，泰山大学，泰安，中国）
本文提出通道注意力引导的跨模态知识蒸馏方法，用于指代图像分割，通过迁移教师网络学习的视觉语言高阶细粒度相关性和通道语义相关性，提升学生网络性能，减少计算资源消耗。
2026-04-18 cs.CV
Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）；Harbin Institute of Technology (ShenZhen)（哈尔滨工业大学（深圳））；Beijing University of Posts and Telecommunications（北京邮电大学）
该研究针对视频生成模型RL方法计算开销大、易致模型崩溃的问题，提出基于分布匹配的DM-Align单阶段框架，协同蒸馏与偏好引导梯度，提升生成质量与偏好对齐效果。
2026-09-07 cs.CV
Multimodal Dataset Distillation Made Simple by Prototype-Guided Data Synthesis
Department of Industrial and Management Engineering（工业与管理工程系）
通过原型引导的数据合成实现多模态数据集蒸馏，无需大规模训练和优化，提升跨架构泛化能力。
2026-02-27 cs.CV
Open Vocabulary 3D Scene Understanding via Geometry Guided Self-Distillation
The Hong Kong Polytechnic University（香港理工大学）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港智能研究院人工智能与机器人中心）；State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
针对3D-文本数据稀缺问题，提出几何引导自蒸馏（GGSD）方法，利用3D几何先验增强从2D模型蒸馏的知识，并通过自蒸馏提升3D表示，显著超越现有方法。
2024-07-18 cs.CV
Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps
Yandex Research（Yandex研究院）；HSE University（俄罗斯国立高等经济大学）
本文提出可逆一致性蒸馏框架iCD，结合动态引导，在3到4步内实现高质量生成、真实图像准确编码及零样本文本引导图像编辑。
2024-12-02 cs.CV
Learnability-Guided Diffusion for Dataset Distillation
本文提出基于可学习性的数据集蒸馏方法，通过逐步构建合成数据集，减少冗余信号，提升模型性能，在ImageNet-1K等数据集上取得最佳结果。
2026-04-01 cs.CV
PAD-Net: Multi-Tasks Guided Prediction-and-Distillation Network for Simultaneous Depth Estimation and Scene Parsing
The University of Trento（特伦托大学）；The University of Sydney（悉尼大学）；The Chinese University of Hong Kong（香港中文大学）
深度估计和场景解析是视觉场景理解中两个特别重要的任务。在本文中，我们解决了联合CNN中同时进行深度估计和场景解析的问题。该任务通常可以被视为深度多任务学习问题[42]。与以往直接在给定输入训练数据的情况下对多个任务进行优化的方法不同，提出了一种新的多任务引导预测-蒸馏网络（PAD-Net），该网络首先预测一组从低级到高级的中间辅助任务，然后，通过我们提出的多模态输入，将来自这些中间辅助任务的预测用作多模态输入，最终任务的模态蒸馏模块。在联合学习过程中，中间任务不仅充当学习更鲁棒的深度表示的监督，而且还为改进最终任务提供丰富的多模态信息。在两个具有挑战性的数据集（即NYUD-v2和Cityscapes）上对深度估计和场景解析任务进行了大量的实验，证明了所提出方法的有效性。
2018-05-11 cs.CV
Class Incremental Medical Image Segmentation via Prototype-Guided Calibration and Dual-Aligned Distillation
本文提出PGCD和DAPD方法，通过原型引导校准和双对齐蒸馏提升类增量医学图像分割的性能与鲁棒性。
2025-12-29 cs.CV
Distillation Guided Residual Learning for Binary Convolutional Neural Networks
Microsoft（微软）
弥合二进制CNN（BCNN）和浮点CNN（FCNN）之间的性能差距具有挑战性。我们观察到，这种性能差距导致BCNN和FCNN的中间特征图之间存在大量残差。为了最小化性能差距，我们强制BCNN产生与FCNN类似的中间特征图。这种训练方法，即利用从FCNN导出的逐块蒸馏损失来优化每个二进制卷积块，导致对BCNN的更有效的优化。这也促使我们更新二进制卷积块架构，以促进逐块蒸馏损失的优化。具体地，将轻量级快捷分支插入到每个二进制卷积块中以补充每个块处的残差。得益于其挤压和相互作用（SI）结构，这个快捷分支引入了一小部分参数，例如，10\%的间接费用，但有效地补充了残差。在ImageNet上的大量实验证明了我们的方法在分类效率和准确性方面的优越性能，例如，使用我们的方法训练的BCNN在ImageNet上达到了60.45%的准确率。
2020-07-27 cs.CV
GPD: Guided Progressive Distillation for Fast and High-Quality Video Generation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
GPD通过引导渐进蒸馏方法，减少视频生成的采样步骤，同时保持高质量输出。
2026-02-02 cs.CV
Teacher-Guided Student Self-Knowledge Distillation Using Diffusion Model
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
教师引导的学生自知识蒸馏使用扩散模型，通过轻量级扩散模型和局部敏感哈希方法提升学生模型对教师知识的学习效果。
2026-02-02 cs.CV
OsteoFlow: Lyapunov-Guided Flow Distillation for Predicting Bone Remodeling after Mandibular Reconstruction
Department of Electrical and Computer Engineering, University of British Columbia, Canada（电气与计算机工程系，不列颠哥伦比亚大学，加拿大）；Department of Mechanical Engineering, University of British Columbia, Canada（机械工程系，不列颠哥伦比亚大学，加拿大）；Department of Surgery, University of British Columbia, Canada（外科系，不列颠哥伦比亚大学，加拿大）；Sunnybrook Research Institute, University of Toronto, Canada（阳光医院研究学院，多伦多大学，加拿大）
OsteoFlow通过Lyapunov引导的轨迹蒸馏方法，从术后第5天的CT扫描预测第1年的骨重塑，显著提升了预测精度，减少了手术切除区的平均绝对误差。
2026-08-05 cs.CV
Label-Consistent Dataset Distillation with Detector-Guided Refinement
University of Toyama（东浓大学）；Hokkaido University（北海道大学）；Niigata University（新潟大学）；Toyohashi University of Technology（toyohashi技术大学）
本文提出一种检测器引导的数据集蒸馏方法，通过利用预训练检测器识别并精修异常合成样本，提升数据集的标签一致性和图像质量，实现更优的下游性能。
2026-02-18 cs.CV
G$^{2}$D: Boosting Multimodal Learning with Gradient-Guided Distillation
Oklahoma State University（俄克拉荷马州立大学）
针对多模态学习中的模态不平衡问题，提出G$^{2}$D知识蒸馏框架，通过融合单模态与多模态目标及动态SMP提升弱模态作用，并在分类和回归任务上取得优于现有方法的性能。
2025-10-17 cs.CV
Physics-Guided Spectral Distillation for Underwater Image Enhancement on Resource-Constrained Devices
Fudan University（复旦大学）；China Telecom（中国电信）；Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））
提出物理引导的光谱蒸馏方法，在资源受限设备上实现高效水下图像增强，保持高性能并提升下游感知任务效果。
2026-09-29 cs.CV
G-DetKD: Towards General Distillation Framework for Object Detectors via Contrastive and Semantic-guided Feature Imitation
Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们研究了知识蒸馏（KD）策略的目标检测，并提出了一个有效的框架，适用于同质和异质的学生-教师对。传统的特征模仿范例引入模仿掩模来关注信息丰富的前景区域，同时排除背景噪声。然而，我们发现，这些方法未能充分利用语义信息的所有特征金字塔的水平，这导致效率低下的知识蒸馏基于FPN的检测器之间。为此，我们提出了一种新的语义引导的特征模仿技术，它自动执行所有金字塔级别的特征对之间的软匹配，为学生提供最佳的指导。为了进一步推动包络，我们引入对比蒸馏来有效地捕获编码在不同特征区域之间的关系中的信息。最后，我们提出了一个广义的检测KD管道，它能够提取同质和异构检测器对。我们的方法始终优于现有的检测KD技术，并且当（1）框架中的组件单独和联合使用时有效;（2）对于同质和异质的学生-教师对和（3）多个检测基准。使用强大的X101-FasterRCNN-Instaboost检测器作为老师，R50-FasterRCNN达到44.0% AP，R50-RetinaNet达到43.3% AP，R50-FCOS达到43.1% AP。
2021-10-12 cs.CV
MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Institute of North Electronic Equipment（北方电子设备研究所）
零样本学习（zero-shot learning，ZNL）的关键挑战是如何推断可见类的视觉特征和属性特征之间的潜在语义知识，从而实现对不可见类的知识转移。现有的工作要么简单地将图像的全局特征与其相关联的类别语义向量对齐，要么利用单向注意来学习有限的潜在语义表示，这不能有效地发现内在语义知识，例如，属性语义）之间的视觉和属性的功能。为了解决上述困境，我们提出了一个相互语义蒸馏网络（MSDN），它逐步提炼的视觉和属性特征之间的内在语义表示为语义学习。MSDN合并了学习基于属性的视觉特征的属性$\rightarrow$视觉注意力子网和学习基于视觉的属性特征的视觉$\rightarrow$属性注意力子网。通过进一步引入语义蒸馏损失，两个相互注意子网能够在整个训练过程中协作学习并相互教学。拟议的MSDN在强大的基线基础上取得了显着的改进，在三个流行的具有挑战性的基准上实现了新的最先进的性能，即，CUB、SUN和AWA 2。我们的代码可在以下网址获得：\url{https://github.com/shiming-chen/MSDN}。
2022-04-22 cs.CV
ResKD: Residual-Guided Knowledge Distillation
Zhejiang University（浙江大学）
知识蒸馏旨在将知识从繁重的教师网络转移到轻量级的学生网络，已经成为压缩神经网络的一种有前途的技术。然而，由于重师与轻生之间的能力差距，他们之间仍然存在着显着的绩效差距。在本文中，我们看到了知识蒸馏在一个新的光，利用知识差距，或剩余，教师和学生之间的指导，训练一个更轻量级的学生，称为res-student。我们把学生和res-student结合成一个新的学生，res-student纠正前一个学生的错误。这样的残差引导过程可以重复，直到用户在精度和成本之间取得平衡。在推理时，我们提出了一个样本自适应策略，以决定哪些res-student是不必要的每个样本，这可以节省计算成本。实验结果表明，在CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet数据集上，教师的计算成本分别为18.04 $\%$、23.14 $\%$、53.59 $\%$和56.86 $\%$。最后，对该方法进行了深入的理论和实证分析。
2021-03-09 cs.CV
Prototype-guided Cross-task Knowledge Distillation for Large-scale Models
Tianjin University（天津大学）；Xidian University（西安电子科技大学）；Huawei Technologies（华为技术有限公司）
最近，大规模预训练模型在许多任务中显示出其优势。然而，由于巨大的计算复杂性和存储需求，这是具有挑战性的大规模模型应用到真实场景。一种常见的解决方案是知识蒸馏，将大规模模型视为教师模型，并帮助训练小规模学生模型以获得具有竞争力的性能。跨任务知识蒸馏扩展了大规模预训练模型的应用场景。现有的知识蒸馏工作集中于直接模仿教师模型的最终预测或中间层，这些层代表全局级特征并且是特定于任务的。为了缓解不同标签空间的约束，捕获不变的固有局部对象特征（如牛和马的腿和尾巴的形状特征）起着关键作用。考虑到真实场景任务的复杂性和多变性，提出了一种原型引导的跨任务知识蒸馏（ProC-KD）方法，将大规模教师网络中固有的局部对象知识转移到不同的任务场景中.首先，为了在跨任务场景中更好地传递教师模型中的广义知识，我们提出了一个原型学习模块来学习教师模型中对象的基本特征表示。其次，针对不同的下游任务，提出了一种任务自适应的特征增强模块，利用学习到的泛化原型特征增强学生模型的特征，指导学生模型的训练，提高其泛化能力。在不同视觉任务上的实验结果证明了该方法在大规模跨任务知识蒸馏场景中的有效性。
2022-12-26 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST（法国原子能与替代能源委员会 信息与技术系统实验室）；CERMICS, Ecole des Ponts（巴黎路桥学院 数学与科学计算中心）
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时，捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此，我们提出了一个框架，该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法，我们观察到所有类别的视觉基因组，一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关，并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
LGD: Label-guided Self-distillation for Object Detection
MEGVII Technology（旷视科技）；Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了第一个自蒸馏框架一般目标检测，称为LGD（标签引导自蒸馏）。以前的研究依赖于一个强大的预先培训的教师提供指导性的知识，可能无法在现实世界的情况下。相反，我们只根据学生的表示和常规标签生成一个有指导意义的知识。我们的框架包括稀疏标签外观编码器，对象间关系适配器和对象内知识映射器，共同形成一个隐式教师在训练阶段，动态依赖于标签和不断发展的学生表示。它们通过检测器进行端到端的训练，并在推理中被丢弃。实验上，LGD在各种检测器、数据集和诸如实例分割等广泛任务上获得了不错的结果。例如，在MS-COCO数据集中，LGD使用ResNet-50在2x单尺度训练下将RetinaNet从36.2%提高到39.0% mAP（+ 2.8%）。它在2倍多尺度训练下将ResNeXt-101 DCN v2的FCOS等更强大的检测器从46.1%提升到47.9%（+ 1.8%）。与经典的基于教师的方法FGFI相比，LGD不仅在不需要预先培训的教师的情况下表现更好，而且在固有的学生学习之外还减少了51%的培训成本。代码可在https://github.com/megvii-research/LGD上获得。
2022-04-24 cs.CV
Densely Guided Knowledge Distillation using Multiple Teacher Assistants
Ajou University（亚洲大学）
随着深度神经网络的成功，引导小型学生网络从大型教师网络学习的知识蒸馏正在被积极研究，用于模型压缩和迁移学习。然而，很少有研究已经进行，以解决学生网络的学习效果差的问题时，学生和教师模型的大小显着不同。在本文中，我们提出了一个密集的指导知识蒸馏使用多个教师助理，逐渐减少模型的大小，有效地弥合教师和学生网络之间的巨大差距。为了刺激学生网络的更有效学习，我们迭代地将每个教师助理引导到每个其他较小的教师助理。具体而言，当在下一步骤中教导较小的教师助理时，使用来自前一步骤的现有较大的教师助理以及教师网络。此外，我们设计随机教学，对于每个小批量，教师或教师助理随机下降。这作为一个正规化，以提高学生网络的教学效率。因此，学生总是可以从多个来源学习突出的提炼知识。我们使用CIFAR-10、CIFAR-100和ImageNet验证了所提出的方法对分类任务的有效性。我们还通过ResNet、WideResNet和VGG等各种骨干架构实现了显著的性能提升。
2021-08-09 cs.CV
TGDD: Trajectory Guided Dataset Distillation with Balanced Distribution
Fengli Ran 1,2（Ran Fengli 1,2）；Xiao Pu 1（Pu Xiao 1）；Bo Liu 1（Liu Bo 1）；Xiuli Bi 1（Bi Xiuli 1）；Bin Xiao 1,3（Xiao Bin 1,3）
TGDD通过轨迹引导的动态对齐和分布约束正则化，在保持语义多样性和代表性的同时提升下游任务性能。
2025-12-02 cs.CV
Seeing the Whole Picture: Distribution-Guided Data-Free Distillation for Semantic Segmentation
National University of Defense Technology（国防科技大学）
本文提出DFSS框架，通过利用教师模型的BN统计信息引导近似分布采样，提升语义分割任务的性能，减少对辅助数据的依赖。
2025-12-15 cs.CV
Sparse Depth-Guided Attention for Accurate Depth Completion: A Stereo-Assisted Monitored Distillation Approach
Huawei Cloud Computing Technology Co., Ltd.（华为云计算技术有限公司）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）；Institute of Robotics and Intelligent Manufacturing, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）机器人与智能制造研究院）
本文提出一种立体辅助的监督蒸馏深度补全方法，通过引入立体教师模型和注意力稀疏到稠密模块，利用多视角一致性自监督信号，显著提升深度图精度。
2023-09-03 cs.CV
COIN: Confidence Score-Guided Distillation for Annotation-Free Cell Segmentation
SNU（首尔国立大学）
针对无监督细胞实例分割无法准确捕捉边界的问题，提出置信度分数引导的实例蒸馏框架COIN，通过最优传输语义分割、实例级置信度评分和递归自蒸馏，在六个数据集上超越现有方法，甚至优于半监督和弱监督方法。
2025-08-08 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited（旷视科技有限公司）；Beihang University（北京航空航天大学）
针对FCNs难以捕捉车道标记长距离上下文的问题，提出标签引导注意力蒸馏（LGAD）方法，利用教师网络提取标签结构注意力图监督学生网络，显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
On mitigating stability-plasticity dilemma in CLIP-guided image morphing via geodesic distillation loss
Seoul National University（首尔大学）；Yonsei University（延世大学）
本文提出测地余弦相似度损失与潜在正则化损失，以直接替换方式改进CLIP引导的图像变形，缓解误导问题，在图像和视频基准上取得更优效果。
2024-01-19 cs.CV
AnimatableDreamer: Text-Guided Non-rigid 3D Model Generation and Reconstruction with Canonical Score Distillation
Tongji University（同济大学）；Tsinghua University（清华大学）；ShengShu（商汤科技（注：此处为机构音译，原文为ShengShu））；Xi’an Research Institute of High-Tech（西安高技术研究所）；Fudan University（复旦大学）；Zhejiang University（浙江大学）；Didi（滴滴出行）
本文提出AnimatableDreamer文本到4D生成框架，通过规范得分蒸馏（CSD）从单目视频骨架生成非刚性可动画3D模型，并提升单目非刚性重建保真度。
2024-03-28 cs.CV
SemLT3D: Semantic-Guided Expert Distillation for Camera-only Long-Tailed 3D Object Detection
AICV Lab, University of Arkansas, USA（AICV实验室，阿肯色大学，美国）；University of Utah, USA（犹他大学，美国）；University of Houston, USA（休斯顿大学，美国）；University of Liverpool, UK（利物浦大学，英国）
针对仅相机3D目标检测中长尾不平衡问题，提出SemLT3D框架，通过语义先验增强稀有类别表示，结合语言引导的专家混合模块和语义投影蒸馏流程，提升模型对长尾分布和复杂场景的识别能力。
2026-04-20 cs.CV
Acc3D: Accelerating Single Image to 3D Diffusion Models via Edge Consistency Guided Score Distillation
City University of Hong Kong（香港城市大学）；Saint Francis University（圣弗朗西斯大学）
针对单图像3D生成扩散模型加速难题，提出Acc3D方法，通过边缘一致性引导分数蒸馏增强预训练模型，结合对抗提升生成质量，实现20倍以上效率提升且质量更优。
2025-03-20 cs.CV
Distill and De-bias: Mitigating Bias in Face Verification using Knowledge Distillation
Johns Hopkins University（约翰斯·霍普金斯大学）；Univ. of Maryland, College Park（马里兰大学帕克分校）；NIST（美国国家标准与技术研究院）
人脸识别网络通常表现出对敏感属性（如性别，肤色等）的偏见。对于性别和肤色，我们观察到网络关注的人脸区域因属性类别而异。这可能会导致偏见。基于这种直觉，我们提出了一种新的基于蒸馏的方法，称为蒸馏和去偏（D&D），以强制网络关注相似的人脸区域，而不管属性类别如何。在D&D中，我们训练一个教师网络，该网络使用来自一个属性类别的图像;例如，浅色肤色。然后从老师那里提取信息，我们在剩余类别的图像上训练学生网络;例如，深色皮肤特征级蒸馏损失限制学生网络生成类似教师的表示。这允许学生网络关注所有属性类别的相似面部区域，并使其能够减少偏差。我们还提出了在D&D之上的第二个蒸馏步骤，称为D&D++。在这里，我们将D&D网络的“无偏性”提取到一个新的学生网络D&D++网络中，同时在所有属性类别上训练这个新网络;例如，浅色和深色的肤色。这有助于我们训练一个对属性偏差较小的网络，同时获得比D&D更高的人脸验证性能。我们表明，D&D++在减少IJB-C数据集上的性别和肤色偏见方面优于现有基线，同时获得比现有对抗性去偏见方法更高的人脸验证性能。我们评估了我们提出的方法在两个最先进的人脸识别网络：ArcFace和Crystalface上的有效性。
2022-04-16 cs.CV
Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
针对未知协变量偏移下知识蒸馏效果受限的问题，提出置信度引导的扩散数据增强策略，经实验验证可提升多数据集上的相关准确率与虚假特征得分。
2026-09-17 cs.CV
Lightweight Model Pre-training via Language Guided Knowledge Distillation
School of Information Science and Technology, Fudan University（复旦大学信息科学与技术学院）；Tencent GY-Laboratory（腾讯GY实验室）；Academy for Engineering and Technology, Fudan University（复旦大学工程技术研究院）
针对小模型预训练难以迁移类别判别知识的问题，本文提出 LGD，借助类别名称构建 TSB 与 VSB 并引导师生相似度分布对齐，在分类、检测和分割任务上达到最先进性能。
2024-06-17 cs.CV
VSD-MOT: End-to-End Multi-Object Tracking in Low-Quality Video Scenes Guided by Visual Semantic Distillation
本文提出VSD-MOT框架，通过视觉语义蒸馏提升低质量视频中多目标跟踪性能，设计双约束语义蒸馏和动态语义权重调节模块，实验证明其在低质量场景和常规场景中的有效性。
2026-03-21 cs.CV
Domain-Incremental Remote Sensing Change Detection via Difference-Guided Adaptation and Frequency-Decoupled Distillation
School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology（南京信息工程大学遥感与测绘工程学院）
研究针对遥感变化检测模型域增量学习易灾难性遗忘问题，提出DG-FDD框架，集成差异引导自适应和频率解耦蒸馏，有效减轻遗忘，实验表明其在跨域变化检测中能平衡历史知识保留与新域适应，性能优于单任务模型。
2026-07-15 cs.CV
FOLK: Fast Open-Vocabulary 3D Instance Segmentation via Label-guided Knowledge Distillation
提出FOLK方法，通过教师模型蒸馏开放词汇知识至3D学生模型，实现快速开放词汇3D实例分割，在ScanNet200上达SOTA（AP50 35.7），速度提升6-152倍。
2025-10-09 cs.CV
FocusOPD: Structure-Guided On-Policy Distillation for Diffusion Models
University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
FocusOPD针对扩散模型在线策略蒸馏的特征不匹配问题，提出限制在深层和早期去噪步骤的令牌级方向特征对齐，在多项生成任务基准上提升了性能。
2026-10-16 cs.CV
Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation
Nanjing University of Science and Technology（南京理工大学）；Sensetime Research（商汤科技研究院）
知识蒸馏（KD）是一种广泛应用的技术，它将教师模型中的信息继承到学生模型中，从而实现模型压缩和加速。与图像分类相比，目标检测是一项更加复杂的任务，并且为目标检测设计特定的KD方法是不平凡的。在这项工作中，我们仔细研究了教师和学生检测模型之间的行为差异，并获得了两个有趣的观察结果：首先，教师和学生对检测到的候选框的排名完全不同，这导致了他们的精度差异。其次，教师和学生之间的特征响应差异和预测差异之间存在相当大的差距，这表明平等地模仿教师的所有特征图是提高学生准确度的次优选择。基于这两个观察，我们提出了秩模仿（RM）和预测引导的特征模仿（PFI）提取一级检测器，分别。RM将教师提供的候选框排序作为一种新的知识形式进行提取，其性能始终优于传统的软标签提取。PFI试图将特征差异与预测差异联系起来，使特征模仿直接有助于提高学生的准确性。在MS COCO和PASCAL VOC基准上，对具有不同骨架的各种检测器进行了广泛的实验，以验证我们的方法的有效性。具体来说，RetinaNet与ResNet50在MS COCO中实现了40.4%的mAP，比其基线高3.5%，并且也优于以前的KD方法。
2021-12-09 cs.CV
DGS-Net: Distillation-Guided Gradient Surgery for CLIP Fine-Tuning in AI-Generated Image Detection
School of Computer Science, Nanjing University of Information Science（南京信息工程大学计算机学院）；University of Macau（澳门大学）
本文提出DGS-Net，通过梯度空间分解分离有害和有益的下降方向，提升CLIP在AI生成图像检测中的微调效果，实验表明其在检测性能和泛化能力上优于现有方法。
2026-05-15 cs.CV
Coarse Attribute Prediction with Task Agnostic Distillation for Real World Clothes Changing ReID
University of Central Florida（中央佛罗里达大学）
提出RLQ框架，通过CAP引入外部属性和TAD弥合高低质量特征差距，提升真实世界换衣ReID在低质量图像上的鲁棒性。
2025-11-03 cs.CV
Hydra-MDP++: Advancing End-to-End Driving via Expert-Guided Hydra-Distillation
East China Normal University（华东师范大学）；Fudan University（复旦大学）；NVIDIA（英伟达公司）
本文提出 Hydra-MDP++ 师生蒸馏框架，利用人类演示与规则专家、多头解码器及扩展安全指标，在 NAVSIM 上以 V2-99 编码器取得 91.0% 驾驶分数。
2025-03-17 cs.CV
Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models
SF Technology（SF科技）
本文针对视频-语言模型的在线策略蒸馏方法，提出时间响应引导技术，在多个视频语言基准数据集上使4B学生模型宏观准确率较基线提升2.86个百分点。
2026-10-12 cs.CV
Deep Image Harmonization with Globally Guided Feature Transformation and Relation Distillation
Shanghai Jiao Tong University（上海交通大学）；INTSIG（合合信息）
本文提出一种利用全局信息引导前景特征变换并结合关系蒸馏的深度图像和谐化方法，同时构建了模拟自然光照变化的ccHarmony数据集，显著提升了合成图像前景与背景光照一致性的调整效果。
2023-08-01 cs.CV
Denoising-Enhanced Coarse-to-Fine Infrared Small Target Detection with Attention Prior-Guided Knowledge Distillation
Xidian University（西安电子科技大学）；Huazhong University of Science and Technology（华中科技大学）
提出一种粗到细的红外小目标检测框架ECFNet，通过粗阶段的区域二分类网络和去噪辅助训练抑制背景，细阶段的轻量检测器与注意力先验知识蒸馏提升精度，在三个数据集上优于现有方法。
2026-09-29 cs.CV
LoRA-Enhanced Distillation on Guided Diffusion Models
Microsoft（微软公司）
针对无分类器引导扩散模型推理慢、传统蒸馏会额外增加内存开销的问题，提出将LoRA与模型蒸馏结合的压缩方法，可缩短推理时间、降低50%内存消耗且不损失图像质量。
2023-12-12 cs.CV cs.LG
CanKD: Cross-Attention-based Non-local operation for Feature-based Knowledge Distillation
Tokyo Denki University（东京Denki大学）
CanKD通过引入交叉注意力机制，实现更高效的非局部知识转移，提升特征表示学习，优于现有知识蒸馏方法。
2025-11-26 cs.CV
MedPCFM-TED: One-Step Point Cloud Flow Matching for Implant Generation via Teacher-Guided Endpoint Distillation
AGH University of Krakow（克拉科夫AGH科技大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）
针对颅骨植入物生成中推理耗时的问题，提出教师引导端点蒸馏（TED）的一步式流匹配框架，在SkullBreak和SkullFix基准上实现高质量快速生成，每样本仅需0.04秒。
2026-09-16 cs.CV cs.LG
Learning from Noisy Prompts: Saliency-Guided Prompt Distillation for Robust Segmentation with SAM
Imperial College London（伦敦帝国学院）；Beihang University（北航）；National Health Service（国家卫生服务）；University of Nottingham（诺丁汉大学）
本文提出SPD框架，通过数据驱动的解剖先验知识和上下文提示蒸馏，提升在噪声提示下的分割鲁棒性，实验表明其在MRI和CT基准上优于现有方法。
2026-04-25 cs.CV
Localization Guided Learning for Pedestrian Attribute Recognition
City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
行人属性识别在监控视频的场景理解和人物分析中有着广泛的应用，因此受到了人们的广泛关注。现有方法尝试使用额外的姿势、零件或视角信息来补充属性分类的全局特征表示。然而，这些方法在定位对应于不同属性的区域时面临困难。为了解决这个问题，我们提出了一种新的本地化引导网络，它分配属性特定的权重的基础上的建议预提取的建议和属性位置之间的亲和力的本地功能。我们的模型的优点是，我们的本地功能自动学习每个属性，并强调与全球功能的相互作用。我们证明了我们的本地化引导网络的有效性两个行人属性基准（PA-100 K和RAP）。我们的结果在两个数据集的所有五个指标上都超过了以前的最先进水平。
2018-08-28 cs.CV
Attention-guided Feature Distillation for Semantic Segmentation
Sharif University of Technology（谢里夫理工大学）
针对深度学习语义分割模型参数量大、难以实时部署的问题，本文提出基于CBAM的注意力引导特征蒸馏方法AttnFD，通过细化特征图迁移注意力，在多个公开数据集上实现了学生网络mIoU提升的SOTA效果。
2025-03-24 cs.CV
