Anomaly Detection via Reverse Distillation from One-Class Embedding
University of Alberta(阿尔伯塔大学)
知识蒸馏(KD)在无监督异常检测(AD)这一具有挑战性的问题上取得了可喜的成果,教师-学生(T-S)模型中异常的表征差异为AD提供了重要证据。然而,在以往的研究中,使用相似或相同的架构来建立教师和学生模型阻碍了异常表征的多样性。为了解决这个问题,我们提出了一种新的T-S模型,包括教师编码器和学生解码器,并相应地介绍了一个简单而有效的“反蒸馏”范式。学生网络不是直接接收原始图像,而是将教师模型的一类嵌入作为输入和目标,以恢复教师的多尺度表示。本研究的知识蒸馏本质上是从抽象的、高层次的表达开始,到低层次的特征。此外,我们在T-S模型中引入了一个可训练的一类瓶颈嵌入(OCBE)模块。所得到的紧嵌入有效地保留了正常模式的基本信息,但放弃了异常扰动。AD和一类新奇检测基准上的大量实验表明,我们的方法优于SOTA性能,证明了我们提出的方法的有效性和通用性。
2022-03-23 cs.CV
InDistill: Information flow-preserving knowledge distillation for model compression
Information Technologies Institute, CERTH(CERTH信息技术研究所);VRG, FEE, Czech Technical University in Prague(布拉格捷克技术大学电气工程学院视觉研究组)
InDistill通过课程学习预热阶段转移关键信息流路径,并采用剪枝匹配层宽,在多个数据集上提升知识蒸馏性能。
2025-01-22 cs.CV
Cosine Similarity Knowledge Distillation for Individual Class Information Transfer
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出一种基于余弦相似度和批次预测的知识蒸馏方法,结合余弦相似度加权温度(CSWT)动态调节温度缩放,优化教师到学生的信息转移,实现与教师模型相当或更优的性能。
2023-11-24 cs.CV
Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation
Nanjing University of Science and Technology(南京理工大学);Sensetime Research(商汤科技研究院)
知识蒸馏(KD)是一种广泛应用的技术,它将教师模型中的信息继承到学生模型中,从而实现模型压缩和加速。与图像分类相比,目标检测是一项更加复杂的任务,并且为目标检测设计特定的KD方法是不平凡的。在这项工作中,我们仔细研究了教师和学生检测模型之间的行为差异,并获得了两个有趣的观察结果:首先,教师和学生对检测到的候选框的排名完全不同,这导致了他们的精度差异。其次,教师和学生之间的特征响应差异和预测差异之间存在相当大的差距,这表明平等地模仿教师的所有特征图是提高学生准确度的次优选择。基于这两个观察,我们提出了秩模仿(RM)和预测引导的特征模仿(PFI)提取一级检测器,分别。RM将教师提供的候选框排序作为一种新的知识形式进行提取,其性能始终优于传统的软标签提取。PFI试图将特征差异与预测差异联系起来,使特征模仿直接有助于提高学生的准确性。在MS COCO和PASCAL VOC基准上,对具有不同骨架的各种检测器进行了广泛的实验,以验证我们的方法的有效性。具体来说,RetinaNet与ResNet50在MS COCO中实现了40.4%的mAP,比其基线高3.5%,并且也优于以前的KD方法。
2021-12-09 cs.CV
Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment
Department of Statistics and Data Science, Tsinghua University(统计与数据科学系,清华大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);Bytedance Inc(字节跳动公司)
针对扩散模型加速生成中轨迹匹配导致学生模型边缘分布不确定的问题,提出边缘对齐正则化,通过跟踪ODE对数密度变化并利用冻结教师模型评分计算,无需额外网络,有效提升少步生成质量。
2026-06-28 cs.CV cs.LG
Knowledge Distillation for End-to-End Person Search
OSRAM(欧司朗)
我们介绍了知识蒸馏的端到端的人的搜索。端到端的方法是目前最先进的个人搜索,解决了检测和重新识别联合。这些联合优化的方法由于次优检测器而显示出其性能的最大下降。我们提出了两种不同的方法,额外的监督端到端的人搜索方法,在师生设置。第一种是采用最先进的知识蒸馏在目标检测。我们使用专门的检测器在各个级别上监督我们的人员搜索模型的检测器。第二种方法是新的,简单的,但更有效。这通过预先计算的ID特征查找表从教师重新识别技术中提取知识。它放松了识别特征的学习,并允许学生专注于检测任务。该过程不仅有助于固定联合优化中的次优检测器训练,同时改善人员搜索,而且在这种情况下,还缩小了教师和学生之间对于模型压缩的性能差距。总的来说,我们证明了显着的改进,最近的两个国家的最先进的方法,使用我们提出的知识蒸馏方法对两个基准数据集。此外,在模型压缩任务上,我们的方法使较小模型的性能与较大模型不相上下。
2019-09-05 cs.CV
Knowledge Distillation from A Stronger Teacher
SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
与现有的知识蒸馏方法侧重于基线设置,教师模型和培训策略不是那么强大,竞争的最先进的方法,本文提出了一种方法称为DIST更好地从一个更强大的教师蒸馏。我们的经验发现,学生和一个更强大的老师之间的预测差异可能会相当明显。因此,KL散度中预测的精确匹配会干扰训练,并使现有方法性能不佳。在本文中,我们表明,简单地保持教师和学生的预测之间的关系就足够了,并提出了一个基于相关性的损失,以捕捉教师明确的内在类间关系。此外,考虑到不同的实例对每个类具有不同的语义相似性,我们还将这种关系匹配扩展到类内级别。我们的方法是简单而实用的,广泛的实验表明,它很好地适应各种架构,模型大小和训练策略,并可以实现国家的最先进的性能一致的图像分类,目标检测,和语义分割任务。代码可从以下网址获得:https://github.com/hunto/DIST_KD。
2022-12-28 cs.AI cs.CV cs.LG
Semantically Compatible Knowledge Distillation for Cross-Domain Object Detection with Vision Foundation Models
National Supercomputing Center in Changsha, Hunan University(湖南大学长沙国家超级计算中心)
该研究针对跨域目标检测中VFM的语义不兼容问题,提出SLE-T框架,通过适配DINOv2实现高效知识迁移,在DAOD基准上达到SOTA性能,且训练成本更低。
2026-08-24 cs.CV
A Discrepancy Aware Framework for Robust Anomaly Detection
Huazhong University of Science and Technology(华中科技大学);Huazhong Agriculture University(华中农业大学)
提出差异感知框架(DAF),利用师生网络生成外观无关的差异图引导解码器,在简单合成策略下实现鲁棒且领先的异常检测与定位性能。
2023-10-11 cs.CV
Rethinking Knowledge in Distillation: An In-context Sample Retrieval Perspective
The Hong Kong University of Science and Technology (HKUST)(香港科技大学);Southeast University(东南大学);Nanyang Technological University(南洋理工大学)
该研究从上下文内样本检索视角重新定义蒸馏知识,提出IC-KD框架,通过正负样本上下文内蒸馏优化学生训练,在多KD范式及CIFAR-100、ImageNet上达SOTA。
2025-01-13 cs.CV
Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection
University of Southern California(南加州大学);Sichuan University(四川大学)
针对无监督异常检测中普通师生网络稳定性不足的问题,提出双学生知识蒸馏架构,采用双规模相同结构相反的学生网络结合金字塔匹配与特征嵌入交互策略,在小模型上实现了更优的异常检测性能。
2024-02-01 cs.AI cs.CV
Logit Standardization in Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Cyber Science and Technology, Sun Yat-sen University, Shenzhen Campus(中山大学深圳校区网络空间安全学院)
针对知识蒸馏中共享温度迫使师生 logit 幅度匹配的问题,本文提出即插即用的 Z-score logit 标准化预处理,在 CIFAR-100 和 ImageNet 上显著提升多种蒸馏方法。
2024-03-03 cs.CV
Rethinking Centered Kernel Alignment in Knowledge Distillation
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Youtu Lab, Tencent(腾讯优图实验室);Hunan University(湖南大学)
本文从理论上将CKA解耦为MMD上界与常数项,提出RCKA框架,以更低计算成本在图像分类和目标检测上取得最先进性能。
2024-04-30 cs.CV
Dual Discriminator Adversarial Distillation for Data-free Model Compression
Ocean University of China(中国海洋大学);Technical University of Munich(慕尼黑工业大学);Virginia Commonwealth University(弗吉尼亚联邦大学);University of Leicester(莱斯特大学);University of Portsmouth(朴茨茅斯大学)
知识蒸馏已被广泛用于产生可移植的、高效的神经网络,这些神经网络可以很好地应用于边缘设备上,用于计算机视觉任务。然而,几乎所有性能最好的知识蒸馏方法都需要访问原始训练数据,这些数据通常具有巨大的规模并且通常不可用。为了解决这个问题,我们提出了一种新的无数据的方法,命名为双鉴别器对抗蒸馏(DDAD)提取神经网络没有任何训练数据或元数据。具体地说,我们使用一个生成器来通过双重对抗蒸馏来创建样本,这模仿了原始的训练数据。该生成器不仅在现有的批量归一化层中使用预先训练的教师的内在统计数据,而且还从学生模型中获得最大差异。然后在教师的监督下,使用生成的样本来训练紧凑的学生网络。所提出的方法获得了一个有效的学生网络,非常接近其教师网络,尽管没有使用原始的训练数据。在CIFAR-10、CIFAR-100和Caltech 101数据集上进行了大量的实验,以证明所提出的方法在分类任务中的有效性。此外,我们将我们的方法扩展到几个公共数据集,如CamVid和NYUv 2上的语义分割任务。所有实验表明,我们的方法优于所有基线的无数据知识蒸馏。
2021-10-05 cs.CV
AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Huawei Cloud(华为云)
针对无数据知识蒸馏中教师域与学生域差异导致的性能下降,提出AuG-KD方法,利用锚点对齐和混合学习平衡域外知识蒸馏,实验验证其稳定性与优越性。
2024-03-18 cs.CV cs.LG
Knowledge distillation: A good teacher is patient and consistent
Google Research(谷歌研究院)
在计算机视觉中,实现最先进性能的大规模模型和在实际应用中负担得起的模型之间的差异越来越大。在本文中,我们解决这个问题,并显着弥合这两种类型的模型之间的差距。在我们的实证研究中,我们的目标并不一定是提出一种新的方法,而是努力确定一个强大而有效的配方,使最先进的大规模模型在实践中负担得起。我们证明,正确执行时,知识蒸馏可以是一个强大的工具,减少大型模型的大小,而不影响其性能。特别是,我们发现,有一些隐含的设计选择,这可能会大大影响蒸馏的有效性。我们的主要贡献是明确识别这些设计选择,这是以前没有在文献中阐述。我们通过一项全面的实证研究来支持我们的研究结果,在广泛的视觉数据集上展示了令人信服的结果,特别是为ImageNet获得了最先进的ResNet-50模型,该模型达到了82.8%的top-1准确率。
2022-06-21 cs.AI cs.CV cs.LG
Fixing the train-test resolution discrepancy: FixEfficientNet
Facebook AI Research(脸书人工智能研究院)
本文提供了一个广泛的分析的EfficientNet图像分类器的性能与最近的几个训练程序,特别是一个纠正训练和测试图像之间的差异。由此产生的网络称为FixEfficientNet,在相同数量的参数下,其性能明显优于初始架构。例如,我们在没有额外训练数据的情况下训练的FixEfficientNet-B 0在ImageNet上使用5.3M参数实现了79.3%的top-1准确率。这比使用3亿未标记图像训练的Noisy student EfficientNet-B 0有+0.5%的绝对改进。EfficientNet-L2在3亿未标记图像上进行弱监督预训练,并使用FixRes进行进一步优化,达到了88.5%的top-1准确率(top-5:98.7%),这为ImageNet建立了新的技术水平。这些改进使用比通常用于Imagenet的协议更干净的协议进行了彻底的评估,特别是我们表明我们的改进仍然存在于Imagenet-v2的实验设置中,这是不太容易过拟合的,并且使用Imagenet Real Labels。在这两种情况下,我们也建立了新的艺术状态。
2020-11-18 cs.CV cs.LG
Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation
School of Computer Science and Engineering, Tianjin University of Technology(天津理工大学计算机科学与工程学院);School of Artificial Intelligence, Tianjin University(天津大学人工智能学院)
本文提出DDSR框架,通过自适应预测融合策略和子网络正则化机制,解决黑盒领域适应中任务特定知识与语言对齐语义先验的不一致问题,提升领域适应性能。
2026-10-21 cs.CV cs.LG
Fixing the train-test resolution discrepancy
Facebook AI Research(Facebook人工智能研究院)
数据扩充是训练图像分类神经网络的关键。本文首先表明,现有的增强诱导的典型大小的分类器在训练和测试时间看到的对象之间的显着差异。我们通过实验验证,对于目标测试分辨率,使用较低的训练分辨率可以在测试时提供更好的分类。然后,我们提出了一个简单而有效的和高效的策略,以优化分类器的性能时,训练和测试分辨率不同。它只涉及在测试分辨率下对网络进行计算上廉价的微调。这使得能够使用小的训练图像来训练强分类器。例如,我们在ImageNet上获得了77.1%的top-1准确率,其中ResNet-50在128 x128图像上训练,而在224 x224图像上训练的准确率为79.8%。此外,如果我们使用额外的训练数据,使用224 x224图像的ResNet-50训练可以获得82.5%的正确率。相反,当在9.4亿张分辨率为224 x224的公共图像上训练以弱监督方式预训练的ResNeXt-101 32 x48 d并进一步优化测试分辨率320 x320时,我们获得了86.4%的测试top-1准确率(top-5:98.0%)(单次裁剪)。据我们所知,这是ImageNet迄今为止最高的单作物,前1和前5的准确性。
2022-01-20 cs.CV cs.LG
OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学);Stevens Institute of Technology(史蒂文斯理工学院)
针对多模态在线策略蒸馏中师生共同幻觉问题,提出OPD-Aha方法,从教师视觉偏好重建目标,抑制错误延续并促使学生反思,显著提升细粒度感知与复杂推理性能。
2026-09-16 cs.AI cs.CV cs.LG
Channel-wise Knowledge Distillation for Dense Prediction
Shanghai Em-Data Technology Co.(上海翼眸科技有限公司);The University of Adelaide(阿德莱德大学);Monash University(莫纳什大学);Baidu Inc.(百度公司)
知识蒸馏(KD)已被证明是一个简单而有效的工具,训练紧凑的模型。几乎所有用于密集预测任务的KD变体都在空间域中对齐学生和教师网络的特征图,通常通过最小化逐点和/或逐对差异。观察到在语义分割中,每个通道的一些层的特征激活倾向于编码场景类别的显着性(模拟到类激活映射),我们建议在学生和教师网络之间按通道对齐特征。为此,我们首先使用softmax归一化将每个通道的特征图转换为概率图,然后最小化两个网络的相应通道的Kullback-Leibler(KL)发散。通过这样做,我们的方法专注于模仿网络之间的信道的软分布。特别地,KL发散使得学习能够更多地关注通道方向图的最显著区域,大概对应于用于语义分割的最有用的信号。实验表明,我们的通道式蒸馏优于几乎所有现有的空间蒸馏方法的语义分割显着,并需要更少的计算成本在训练过程中。我们始终在三个基准测试中以各种网络结构实现卓越的性能。代码可在:https://git.io/Distiller
2021-08-27 cs.CV
Towards Corruption-Agnostic Robust Domain Adaptation
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Youtu Lab, Tencent Inc.(腾讯优图实验室);CASIA-LLvision Joint Lab(中国科学院自动化研究所与联影智能联合实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
几十年来,领域自适应研究取得了很大进展。现有的工作都是基于一个理想的假设,即测试目标域是独立同分布的。训练目标域。然而,由于不可预测的腐败(例如,噪声和模糊),越来越多地要求领域自适应方法在目标域上是破坏鲁棒的。在本文中,我们研究了一个新的任务,腐败不可知的鲁棒领域自适应(CRDA):是准确的原始数据和鲁棒的目标域上的不可用的训练腐败。由于大的域差异和无监督的目标域,这个任务是不平凡的。我们观察到,流行的领域自适应和腐败鲁棒性的方法的简单组合具有次优的CRDA结果。我们提出了一种新的方法,基于对CRDA的两个技术见解:1)一个易于插入的模块,称为域离散生成器(DDG),生成的样本,扩大域的差异,以模仿不可预测的腐败; 2)一个简单但有效的教师-学生计划与对比损失,以增强对目标域的约束。实验证明,DDG保持甚至提高了对原始数据的性能,并实现了更好的腐败鲁棒性基线。
2021-04-21 cs.CV cs.LG
Spatial-wise Dynamic Distillation for MLP-like Efficient Visual Fault Detection of Freight Trains
Hubei University of Technology(湖北工业大学);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
提出基于类MLP的空间动态蒸馏框架,结合轴向移位和无预训练动态教师,在六个货运列车故障数据集上以更低计算成本实现实时且最高精度的检测。
2023-12-10 cs.CV eess.IV
Resolution Switchable Networks for Runtime Efficient Image Recognition
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心(BNRist));Intel Labs China(英特尔中国研究院)
我们提出了一个通用的方法来训练一个单一的卷积神经网络,这是能够切换图像分辨率的推理。因此,可以选择运行速度以满足各种计算资源限制。用该方法训练的网络被称为分辨率切换网络(RS-网)。基本训练框架共享用于处理分辨率不同的图像的网络参数,但保持单独的批量归一化层。虽然它是参数有效的设计,它导致不一致的精度变化在不同的分辨率,我们提供了一个详细的分析,从训练-测试识别差异的方面。进一步设计了多分辨率集成蒸馏,其中教师在飞行中学习作为分辨率上的加权集成。由于集成和知识蒸馏,与单独训练的模型相比,RS-Nets在各种分辨率下都能提高精度。在ImageNet数据集上进行了大量的实验,我们还考虑了量化问题。代码和模型可在https://github.com/yikaiw/RS-Nets上获得。
2020-11-09 cs.CV
XKD: Cross-modal Knowledge Distillation with Domain Alignment for Video Representation Learning
Vector Institute(矢量研究所)
XKD是一种自监督跨模态知识蒸馏框架,通过域对齐和模态无关设计,从无标签视频中学习表征,显著提升动作分类和声音分类性能。
2023-12-24 cs.CV
Dual-Curriculum Teacher for Domain-Inconsistent Object Detection in Autonomous Driving
Peking University(北京大学);National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自动驾驶汽车的目标检测近年来受到了越来越多的关注,其中标记数据通常是昂贵的,而未标记数据可以很容易地收集,因此需要对该领域的半监督学习进行研究。现有的半监督目标检测(SSOD)方法通常假设标记数据和未标记数据来自相同的数据分布。然而,在自动驾驶中,数据通常是从不同的场景中收集的,例如不同的天气条件或一天中的不同时间。受此启发,我们研究了一个新的,但具有挑战性的域不一致的SSOD问题。它涉及到两种不同领域之间的分布偏移,包括(1)数据分布差异和(2)类别分布偏移,使得现有的SSOD方法存在伪标签不准确的问题,影响了模型的性能。为了解决这个问题,我们提出了一种新的方法,即双课程教师(DucTeacher)。具体来说,DucTeacher由两个模块组成,即,(1)领域演化课程寻求通过估计领域之间的相似性来逐步地从数据中学习以处理数据分布差异,以及(2)分布匹配课程寻求估计每个未标记领域的类分布以处理类分布偏移。通过这种方式,DucTeacher可以校准有偏见的伪标签,并有效地处理域不一致的SSOD问题。DucTeacher在最大的公共半监督自动驾驶数据集SODA10M和广泛使用的SSOD基准测试COCO上展示了其优势。实验表明,DucTeacher在SODA 10M上实现了2.2 mAP的改进,在COCO上实现了0.8 mAP的改进。
2022-10-17 cs.CV
Heterogeneous Generative Knowledge Distillation with Masked Image Modeling
Beihang University(北京航空航天大学)
本文提出首个基于掩码图像建模的异构生成式知识蒸馏方法H-GKD,通过稀疏卷积UNet学生网络桥接Transformer教师与CNN学生,在图像分类、检测和分割任务中取得最先进性能。
2024-01-11 cs.AI cs.CV
Online Knowledge Distillation for Efficient Pose Estimation
Hangzhou Normal University(杭州师范大学);Zhejiang University(浙江大学)
现有的最先进的人体姿态估计方法需要大量的计算资源来进行准确的预测。一个有前途的技术,以获得一个准确而轻量级的姿态估计是知识蒸馏,从一个强大的教师模型提取的姿态知识,以较少参数化的学生模型。然而,现有的姿态蒸馏工作依赖于一个沉重的预先训练的估计来执行知识转移,并需要一个复杂的两阶段学习过程。在这项工作中,我们研究了一种新的在线知识蒸馏框架,通过一个阶段的方式提取人体姿势结构知识,以保证蒸馏效率,称为OKDHP。具体来说,OKDHP训练单个多分支网络,并从每个网络获取预测的热图,然后由特征聚合单元(FAU)将其组装为目标热图,以反向教导每个分支。FAU不是简单地平均热图,而是由具有不同感受野的多个并行变换组成,利用多尺度信息,从而获得更高质量的目标热图。具体来说,利用像素级Kullback-Leibler(KL)发散来最小化目标热图与预测热图之间的差异,这使得学生网络能够学习隐式关键点关系。此外,一个不平衡的OKDHP方案被引入到定制的学生网络与不同的压缩率。我们的方法的有效性证明了广泛的实验上两个常见的基准数据集,MPII和COCO。
2022-02-18 cs.CV
SDCL: Students Discrepancy-Informed Correction Learning for Semi-supervised Medical Image Segmentation
School of Computer Science and Technology, Southwest University of Science and Technology(西南科技大学计算机科学与技术学院)
针对半监督医学图像分割中伪标签偏差问题,提出SDCL框架,利用双学生分割差异引导自校正学习,并在多个数据集上超越现有SOTA方法。
2024-10-04 cs.CV eess.IV
Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher
Tsinghua University(清华大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出Self-OPD,一种无需教师模型的流匹配模型在线策略蒸馏框架,通过分支SDE候选与奖励比较优化速度场,在基准测试中优于现有无教师的RL和OPD方法。
2026-09-01 cs.CV
Mosaicking to Distill: Knowledge Distillation from Out-of-Domain Data
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);National University of Singapore(新加坡国立大学);Central South University(中南大学)
知识蒸馏~(KD)的目的是制作一个紧凑的学生模型,模仿一个预先培训的教师在目标领域的行为。先前的KD方法,尽管它们的令人满意的结果,在很大程度上依赖于\emph{in-domain}数据可用于执行知识转移的前提。不幸的是,这种假设在许多情况下违反了实际设置,因为由于隐私或版权原因,原始训练数据甚至数据域通常是不可访问的。在本文中,我们试图解决一个雄心勃勃的任务,被称为\emph{out-of-domain}知识蒸馏~(OOD-KD),它允许我们进行KD只使用OOD数据,可以很容易地获得在一个非常低的成本。不可否认,由于不可知的领域差距,OOD-KD本质上是一项极具挑战性的任务。为此,我们介绍了一种方便但令人惊讶的有效方法,称为~ \textit{MosaicKD}。MosaicKD背后的关键洞察力在于,来自不同领域的样本共享共同的局部模式,即使它们的全局语义可能会有很大的不同;这些共享的局部模式反过来可以类似于马赛克拼接进行重新组装,以近似域内数据并进一步缓解域差异。在MosaicKD中,这是通过一个四人的最小-最大游戏来实现的,在这个游戏中,一个生成器、一个学习者、一个学生网络以对抗的方式进行集体训练,部分是在一个预先训练过的老师的指导下进行的。我们在各种基准测试中验证了MosaicKD在{分类和语义分割任务}上的有效性,并证明它产生的结果远远优于OOD数据上最先进的同行。我们的…
2021-10-27 cs.AI cs.CV cs.LG
Context Forcing: Consistent Autoregressive Video Generation with Long Context
Department of EECS, University of California, Merced, USA(加州大学梅尔塞德斯分校电子工程与计算机科学系);University of Waterloo, Canada(滑铁卢大学)
Context Forcing通过长上下文教师训练学生,解决长视频生成中的学生-教师不匹配问题,实现更长的上下文长度和更一致的生成质量。
2026-02-05 cs.CV
Mind the Gap in Distilling StyleGANs
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学)
StyleGAN家族是最受欢迎的生成对抗网络(GANs)之一,用于无条件生成。尽管其性能令人印象深刻,但其对存储和计算的高需求阻碍了其在资源受限设备上的部署。本文提供了一个全面的研究,从流行的StyleGAN-like架构的提取。我们的关键见解是,StyleGAN蒸馏的主要挑战在于输出差异问题,即教师和学生模型在相同的输入潜在代码下产生不同的输出。标准的知识蒸馏损失通常在这种非均质蒸馏场景下失败。我们对这种差异问题的原因和影响进行了深入的分析,并确定映射网络在确定生成图像的语义信息方面起着至关重要的作用。基于这一发现,我们提出了一种新的初始化策略的学生模型,可以确保输出的一致性,在最大程度上。为了进一步提高教师和学生模型之间的语义一致性,我们提出了一个潜在的方向为基础的蒸馏损失,保持潜在空间中的语义关系。大量的实验证明了我们的方法在提取StyleGAN 2和StyleGAN 3方面的有效性,大大优于现有的GAN提取方法。
2022-08-18 cs.CV
TAKT: Target-Aware Knowledge Transfer for Whole Slide Image Classification
The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science and Technology (HKUST)(香港科技大学);Tencent YouTu Lab(腾讯优图实验室);Nanyang Technological University(南洋理工大学)
针对全切片图像分类标注样本少、域偏移与任务差异阻碍知识迁移的问题,提出TAKT师生范式框架,结合目标感知特征对齐模块实现有效知识迁移,在多个数据集上达到SOTA性能。
2024-07-11 cs.AI cs.CV
Memoryless Multimodal Anomaly Detection via Student-Teacher Network and Signed Distance Learning
Mine Digitization Engineering Research Center of the Ministry of Education(教育部矿山数字化工程研究中心);School of Computer Science and Technology, China University of Mining and Technology(中国矿业大学计算机科学与技术学院);Sun Yueqi Honors College, China University of Mining and Technology(中国矿业大学孙越崎学院)
针对RGB-3D多模态异常检测的记忆开销问题,提出无记忆MDSS,融合轻量师生网络与符号距离学习,性能可比SOTA且更稳定。
2024-09-09 cs.CV
On-Policy Adversarial Flow Distillation for Autoregressive Video Generation
LIGHTSPEED;University College London(伦敦大学学院)
提出策略对抗流蒸馏(AFD)框架,通过策略内对抗性反馈和正向过程流匹配,实现从异构黑盒教师模型向自回归学生模型的高效蒸馏。
2026-05-25 cs.CV
CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation
Yunnan University(云南大学);Yunnan Normal University(云南师范大学)
本研究提出闭环框架CARD,通过将蒸馏学生模型的反馈用于优化教师模型并回传增益,突破单向鲁棒性迁移范式,在多数据集上提升对抗鲁棒性且保持干净准确率。
2026-10-14 cs.CV cs.LG
Distilling Object Detectors With Global Knowledge
Hikvision Research Institute(海康威视研究院);Shanghai Jiao Tong University(上海交通大学)
知识蒸馏学习一个轻量级的学生模型,模仿一个笨重的老师。现有的方法将知识视为每个实例的特征或它们之间的关系,这是仅来自教师模型的实例级知识,即,当地知识。然而,实验研究表明,局部知识是非常嘈杂的目标检测任务,特别是对模糊,闭塞,或小的实例。因此,一种更内在的方法是测量实例的表示w.r.t.教师和学生检测器的两个特征空间中的一组公共基向量,即,全球知识。然后,提取算法可以应用于空间对齐。为此,提出了一种新的原型生成模块(PGM),以找到共同的基向量,被称为原型,在两个特征空间。然后,鲁棒提取模块(RDM)被应用到构建基于原型的全局知识和过滤噪声的全局和局部知识,通过测量在两个特征空间中的表示的差异。Faster-RCNN和RetinaNet在PASCAL和COCO数据集上的实验表明,我们的方法在提取具有各种骨干的对象检测器时达到了最佳性能,甚至超过了教师模型的性能。我们还表明,现有的方法可以很容易地结合全局知识,并获得进一步的改进。代码可用:https://github.com/hikvision-research/DAVAR-Lab-ML。
2022-10-17 cs.CV
DFMSD: Dual Feature Masking Stage-wise Knowledge Distillation for Object Detection
Nanjing Normal University(南京师范大学);East China Normal University(华东师范大学);Jiangsu University(江苏大学)
提出DFMSD双特征掩蔽异构知识蒸馏框架,通过分阶段自适应学习、掩蔽增强和FPN层语义对齐,提升目标检测中学生模型的重建特征质量,超越现有异构与同构蒸馏方法。
2024-07-18 cs.CV
Distilling Object Detectors with Fine-grained Feature Imitation
National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最先进的基于CNN的识别模型通常在计算上禁止部署在低端设备上。一个很有前途的解决这一问题的高级方法是知识蒸馏,它让小学生模型模仿繁琐的教师模型的输出,以提高泛化能力。然而,相关的方法主要集中在简单的分类任务,而没有考虑复杂的任务,如目标检测。我们表明,将香草知识蒸馏应用于检测模型得到的收益很小。为了解决检测模型中知识提取的难题,提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是,探测器更关心局部近目标区域。因此,特征响应的差异附近的对象锚位置揭示了教师模型如何倾向于推广的重要信息。我们设计了一种新的机制来估计这些位置,并让学生模型模仿他们的老师,以获得增强的性能。我们首先在一个开发的轻量级玩具检测器上验证了这个想法,该检测器在具有挑战性的KITTI数据集上携带了当前最先进的基于锚的检测模型的最简单概念,与非模仿的对应物相比,我们的方法为学生模型生成了高达15%的mAP提升。然后,我们在各种场景下使用Faster R-CNN模型对该方法进行了广泛的评估,并使用Pascal VOC和COCO的常见目标检测基准,与教师相比,模拟学生模型的性能下降高达74%。代码发布于https://github.com/twangnh/Distilling-Object-Detectors
2019-06-09 cs.AI cs.CV cs.LG
Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
Xiangtan University(湘潭大学);Fudan University(复旦大学);Hunan Normal University(湖南师范大学)
本文首次提出异构架构语义分割知识蒸馏方法HeteroAKD,通过将师生中间特征投影到对齐logits空间,并引入知识混合与评估机制,在多个基准上超越了现有知识蒸馏方法。
2025-04-10 cs.CV cs.LG
RPL-UIE: Reference-Guided Prior Learning for Content-Preserving Underwater Image Enhancement
College of Future Information Technology, Fudan University(复旦大学未来信息技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));Faculty of Robot Science and Engineering, Northeastern University(东北大学机器人科学与工程学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University(西北工业大学人工智能与光学电子学院(iOPEN))
针对水下图像增强的语义漂移问题,提出RPL-UIE两阶段教师-学生框架,结合RPRD与FPRD缩小师生模型先验学习差异,在基准测试、下游视觉任务及真实ROV数据上表现良好。
2026-11-06 cs.CV eess.IV
Data-Free Adversarial Distillation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Department of Computer Science, Stevens Institute of Technology(斯蒂文斯理工学院计算机科学系);Alibaba Group(阿里巴巴集团)
知识蒸馏(KD)在过去的几年里取得了显著的进展,并成为模型压缩和知识转移的流行范式。然而,几乎所有现有的KD算法都是数据驱动的,即,依赖于大量的原始训练数据或替代数据,这在现实世界的场景中通常是不可用的。在本文中,我们致力于解决这个具有挑战性的问题,并提出了一种新的对抗蒸馏机制,在没有任何真实数据的情况下制作一个紧凑的学生模型。我们引入了一个模型差异来定量衡量学生和教师模型之间的差异,并构造了一个可优化的上限。在我们的工作中,学生和教师共同扮演的角色,以减少这种差异,当一个发电机adversarially产生一些“硬样本”,以扩大它。大量的实验表明,所提出的无数据的方法产生可比的性能现有的数据驱动的方法。更引人注目的是,我们的方法可以直接扩展到比分类更复杂的语义分割,我们的方法达到了最先进的结果。代码和预训练模型可在https://github.com/VainF/Data-Free-Adversarial-Distillation上获取。
2020-03-02 cs.CV cs.LG stat.ML
CV-OPD: Contrastive Vision On-policy Distillation
Xiamen University(厦门大学);Moxin Technology(墨芯科技)
针对在线策略蒸馏(OPD)导致视觉语言模型(VLM)依赖捷径的问题,提出CV-OPD方法,通过对比散度损失与差异感知门缓解捷径,提升VLM视觉推理能力。
2026-10-12 cs.CV cs.LG cs.MM
Intrapartum Ultrasound Image Segmentation of Pubic Symphysis and Fetal Head Using Dual Student-Teacher Framework with CNN-ViT Collaborative Learning
College of Information Science and Technology, Jinan University(暨南大学信息科学技术学院);Guangdong Provincial Key Laboratory of Traditional Chinese Medicine Information Technology, Jinan University(暨南大学广东省中医信息技术重点实验室);Auckland Bioengineering Institute, University of Auckland(奥克兰大学生物工程研究所);Universitat de Barcelona(巴塞罗那大学);Institució Catalana de Recerca i Estudis Avançats (ICREA)(加泰罗尼亚研究与高级研究学院(ICREA))
针对医学图像标注不足及现有半监督方法在PSFH超声分割中特征捕捉与长距离依赖建模的缺陷,提出融合CNN与ViT的双师生半监督框架DSTCT,在MICCAI 2023挑战赛基准上优于10种主流方法。
2024-09-11 cs.AI cs.CV
SlimDiffSR: Toward Lightweight and Efficient Remote Sensing Image Super-Resolution via Diffusion Model Distillation
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感与信息工程学院)
本文提出SlimDiffSR,一种轻量高效的基于扩散模型的遥感图像超分辨率框架,通过引入不确定性引导的时间步分配策略和结构化剪枝策略,提升模型效率和重建质量。
2026-05-17 cs.CV
Anomaly Discovery in Semantic Segmentation via Distillation Comparison Networks
Huazhong University of Science and Technology(华中科技大学);Wuhan Jingce Electronic Group Co.,Ltd.(武汉精测电子集团股份有限公司)
本文旨在解决语义分割中的异常发现问题。我们的主要观察是,语义分类在现有的方法中起着至关重要的作用,而不正确的分类像素很容易被视为异常。这种现象经常出现,但很少讨论,这大大降低了异常发现的性能。为此,我们提出了一种新的蒸馏比较网络(DiCNet)。它包括教师分支和学生分支,教师分支是去除语义分类头的语义分割网络,学生分支是通过分布蒸馏从教师分支中提取的。我们发现,蒸馏保证了两个分支的语义特征保持一致的已知类,而反映不一致的未知类。因此,我们利用两个分支之间的语义特征差异来发现异常。DiCNet在推理过程中放弃了语义分类头,从而显著地消除了由不正确的语义分类引起的问题。在StreetHazards数据集和BDD-Anomaly数据集上进行了大量的实验结果,以验证DiCNet的优越性能。具体而言,DiCNet在StreetHazards数据集上的AUPR和FPR 95分别提高了6.3%和5.2%,在BDD-Anomaly数据集上的AUPR和FPR 95分别提高了4.2%和6.8%。代码可在https://github.com/zhouhuan-hust/DiCNet上获得。
2021-12-18 cs.CV
Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation
University of Michigan(密歇根大学);NVIDIA(英伟达);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对分布匹配蒸馏(DMD)在少步视频生成中出现的模式坍塌和过饱和问题,提出数据强制蒸馏(DFD)框架,通过教师评分差异引导学生接近真实数据分布,仅需一行代码修改即可恢复多样性和保真度。
2026-06-24 cs.CV
Like What You Like: Knowledge Distill via Neuron Selectivity Transfer
TuSimple(图森未来)
尽管深度神经网络在各种应用中表现出非凡的能力,但其卓越的性能是以高存储和计算成本为代价的。因此,神经网络的加速和压缩技术近年来引起了广泛的关注。知识转移(KT)旨在通过从较大的教师模型中转移知识来训练较小的学生网络,是流行的解决方案之一。在本文中,我们提出了一种新的知识转移方法,将其视为一个分布匹配问题。特别是,我们匹配教师和学生网络之间的神经元选择性模式的分布。为了实现这一目标,我们设计了一个新的KT损失函数,通过最小化这些分布之间的最大均值离散(MMD)度量。结合原有的损失函数,我们的方法可以显著提高学生网络的性能。我们在多个数据集上验证了我们的方法的有效性,并进一步将其与其他KT方法相结合,以探索可能的最佳结果。最后但并非最不重要的是,我们对模型进行了微调,以适应其他任务,例如目标检测。结果也是令人鼓舞的,这证实了学习功能的可转移性。
2017-12-18 cs.CV cs.LG cs.NE
From Scores to Samples: Elastic Forcing for Autoregressive Video Generation
College of AI, Tsinghua University(清华大学人工智能学院);IAIR, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);Xianghui Academy, Fudan University(复旦大学相辉学院);Peking University(北京大学);BAAI(北京智源人工智能研究院)
本文提出弹性强制方法,直接从参考视频学习自回归生成分布,消除蒸馏中的分数模型,提升VBench总分并支持更大规模训练。
2026-10-01 cs.AI cs.CV
Uncertainty-Aware Consistency Distillation for Few-Step Video Generation
Hefei University of Technology(合肥工业大学);University of Macau(澳门大学)
针对少步视频生成中教师目标不可靠的问题,提出不确定性感知一致性蒸馏,用无参数不确定性估计重加权监督,结合特征对抗训练,在VBench 2.0上实现最先进的4步生成。
2026-10-01 cs.CV cs.MM
DI-V2X: Learning Domain-Invariant Representation for Vehicle-Infrastructure Collaborative 3D Object Detection
Beijing Institute of Technology(北京理工大学);Inceptio(嬴彻);University of Macau(澳门大学)
本文提出DI-V2X,通过域混合实例增强、渐进式蒸馏和域自适应融合学习域不变表示,解决车路协同3D检测中传感器域差异问题,在DAIR-V2X和V2XSet上超越现有模型。
2023-12-25 cs.AI cs.CV