Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation
Nanjing University of Science and Technology(南京理工大学);Sensetime Research(商汤科技研究院)
知识蒸馏(KD)是一种广泛应用的技术,它将教师模型中的信息继承到学生模型中,从而实现模型压缩和加速。与图像分类相比,目标检测是一项更加复杂的任务,并且为目标检测设计特定的KD方法是不平凡的。在这项工作中,我们仔细研究了教师和学生检测模型之间的行为差异,并获得了两个有趣的观察结果:首先,教师和学生对检测到的候选框的排名完全不同,这导致了他们的精度差异。其次,教师和学生之间的特征响应差异和预测差异之间存在相当大的差距,这表明平等地模仿教师的所有特征图是提高学生准确度的次优选择。基于这两个观察,我们提出了秩模仿(RM)和预测引导的特征模仿(PFI)提取一级检测器,分别。RM将教师提供的候选框排序作为一种新的知识形式进行提取,其性能始终优于传统的软标签提取。PFI试图将特征差异与预测差异联系起来,使特征模仿直接有助于提高学生的准确性。在MS COCO和PASCAL VOC基准上,对具有不同骨架的各种检测器进行了广泛的实验,以验证我们的方法的有效性。具体来说,RetinaNet与ResNet50在MS COCO中实现了40.4%的mAP,比其基线高3.5%,并且也优于以前的KD方法。
2021-12-09 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited(旷视科技有限公司);Beihang University(北京航空航天大学)
针对FCNs难以捕捉车道标记长距离上下文的问题,提出标签引导注意力蒸馏(LGAD)方法,利用教师网络提取标签结构注意力图监督学生网络,显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
ResKD: Residual-Guided Knowledge Distillation
Zhejiang University(浙江大学)
知识蒸馏旨在将知识从繁重的教师网络转移到轻量级的学生网络,已经成为压缩神经网络的一种有前途的技术。然而,由于重师与轻生之间的能力差距,他们之间仍然存在着显着的绩效差距。在本文中,我们看到了知识蒸馏在一个新的光,利用知识差距,或剩余,教师和学生之间的指导,训练一个更轻量级的学生,称为res-student。我们把学生和res-student结合成一个新的学生,res-student纠正前一个学生的错误。这样的残差引导过程可以重复,直到用户在精度和成本之间取得平衡。在推理时,我们提出了一个样本自适应策略,以决定哪些res-student是不必要的每个样本,这可以节省计算成本。实验结果表明,在CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet数据集上,教师的计算成本分别为18.04 $\%$、23.14 $\%$、53.59 $\%$和56.86 $\%$。最后,对该方法进行了深入的理论和实证分析。
2021-03-09 cs.CV
Prior Knowledge Guided Network for Video Anomaly Detection
Northeastern University(东北大学)
针对视频异常检测忽视自然图像先验知识的问题,提出先验知识引导网络PKG-Net,通过师生架构的代理任务与知识蒸馏提升泛化和多尺度检测能力,在三个基准上超越现有方法。
2023-09-04 cs.CV
Prototype-guided Cross-task Knowledge Distillation for Large-scale Models
Tianjin University(天津大学);Xidian University(西安电子科技大学);Huawei Technologies(华为技术有限公司)
最近,大规模预训练模型在许多任务中显示出其优势。然而,由于巨大的计算复杂性和存储需求,这是具有挑战性的大规模模型应用到真实场景。一种常见的解决方案是知识蒸馏,将大规模模型视为教师模型,并帮助训练小规模学生模型以获得具有竞争力的性能。跨任务知识蒸馏扩展了大规模预训练模型的应用场景。现有的知识蒸馏工作集中于直接模仿教师模型的最终预测或中间层,这些层代表全局级特征并且是特定于任务的。为了缓解不同标签空间的约束,捕获不变的固有局部对象特征(如牛和马的腿和尾巴的形状特征)起着关键作用。考虑到真实场景任务的复杂性和多变性,提出了一种原型引导的跨任务知识蒸馏(ProC-KD)方法,将大规模教师网络中固有的局部对象知识转移到不同的任务场景中.首先,为了在跨任务场景中更好地传递教师模型中的广义知识,我们提出了一个原型学习模块来学习教师模型中对象的基本特征表示。其次,针对不同的下游任务,提出了一种任务自适应的特征增强模块,利用学习到的泛化原型特征增强学生模型的特征,指导学生模型的训练,提高其泛化能力。在不同视觉任务上的实验结果证明了该方法在大规模跨任务知识蒸馏场景中的有效性。
2022-12-26 cs.CV
CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation
McGill University(麦吉尔大学)
知识蒸馏(KD)是压缩边缘设备深分类模型的有效工具。然而,KD的性能受到教师和学生网络之间的大容量差距的影响。最近的方法已经求助于KD的多教师助理(TA)设置,其顺序地减小教师模型的大小以相对地弥合这些模型之间的大小差距。本文提出了一种新的技术,称为课程专家选择知识蒸馏(CES-KD),有效地提高能力差距问题下的紧凑型学生的学习。这种技术是建立在这样的假设之上的,即学生网络应该使用分层教学课程来逐步引导,因为它从较低(较高)容量的教师网络中更好、更快地学习简单(硬)数据样本。具体来说,我们的方法是一个渐进的TA为基础的KD技术,选择一个单一的教师,每个输入图像的基础上,课程驱动的分类图像的难度。在这项工作中,我们根据经验验证了我们的假设,并对CIFAR-10、CIFAR-100、CINIC-10和ImageNet数据集进行了严格的实验,并在VGG类模型、ResNets和WideResNets架构上显示出更高的准确性。
2022-09-15 cs.CV cs.LG
Semantic Noise Reduction via Teacher-Guided Dual-Path Audio-Visual Representation Learning
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Objecteye Inc.(北京眼神科技有限公司)
本文提出TG-DP框架,通过分离重建与对齐路径,减少语义噪声,提升音频视频表示学习效果,实现零样本检索性能提升。
2026-04-09 cs.CV cs.SD
TVT: Training-Free Vision Transformer Search on Tiny Datasets
College of Computer, National University of Defense Technology(国防科技大学计算机学院);The Hong Kong University of Science and Technology(香港科技大学)
本文提出免训练 ViT 搜索框架 TVT,利用教师感知度量与学生能力度量,在微小数据集上为 ConvNet 教师蒸馏搜索最佳 ViT,显著优于现有免训练搜索方法。
2023-11-24 cs.CV
Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning
Zhejiang University(浙江大学);Zhejiang University - China Southern Power Grid Joint Research Centre on AI(浙江大学-中国南方电网人工智能联合研究中心);The University of Sydney(悉尼大学);Digital Grid Research Institute, China Southern Power Grid(中国南方电网数字电网研究院);ZJU-Bangsun Joint Research Center(浙江大学-邦盛联合研究中心);Zhejiang Lab(之江实验室)
本文提出Propheter预言式教师范式,利用外部先验知识学习潜在类别分布来指导长尾模型训练,在八个长尾基准上验证了其有效性。
2023-09-25 cs.CV
CoopDiff: A Diffusion-Guided Approach for Cooperation under Corruptions
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Cybersecurity, Tianjin University(天津大学网络安全学院);School of Future Technology, Tianjin University(天津大学未来技术学院)
CoopDiff是一种基于扩散的协作感知方法,通过教师-学生范式和去噪机制有效应对腐蚀,提升了鲁棒性和泛化能力。
2026-03-02 cs.CV
StatsMerging: Statistics-Guided Model Merging via Task-Specific Teacher Distillation
Department of Computer Science, Stony Brook University(计算机科学系,石英 Brook 大学)
本文提出 StatsMerging,一种利用 SVD 奇异值捕获任务权重分布、通过轻量级学习器和任务特定教师蒸馏实现无需真实标签的异构视觉模型合并方法,在八个任务上优于现有技术。
2025-06-05 cs.CV cs.LG
Matching Guided Distillation
Algorithm Research, Aibee Inc.(Aibee公司算法研究部)
特征提取是一种有效的方法,以提高性能的一个较小的学生模型,它具有较少的参数和较低的计算成本相比,较大的教师模型。然而,教师和学生的中间特征之间存在着一个共同的障碍--语义特征结构的鸿沟。经典的方案倾向于通过添加自适应模块来转换中间特征,例如朴素卷积,基于注意力或更复杂的模块。然而,这引入了两个问题:a)自适应模块将更多参数带入训练。b)具有随机初始化或特殊变换的自适应模块对于提取预先训练的学生不友好。在本文中,我们提出了匹配引导蒸馏(MGD)作为一种有效的和无参数的方式来解决这些问题。MGD的核心思想是将教师通道与学生通道的匹配问题作为一个分配问题。我们比较了三种解决方案的分配问题,以减少教师的功能与部分蒸馏损失的通道。整个训练过程在两个优化目标--任务更新和参数更新之间采用坐标下降的方法。由于MGD仅包含归一化或池化操作,计算成本可以忽略不计,因此可以灵活地使用其他蒸馏方法插入网络。
2020-10-13 cs.AI cs.CV
Teacher-Guided One-Shot Pruning via Context-Aware Knowledge Distillation
Apurba-NSU R&D Lab, Department of Electrical and Computer Engineering, North South University, Dhaka, Bangladesh(阿普尔巴-NSU研发实验室,电气与计算机工程系,北方南大学,达卡,孟加拉国);Apurba Technologies, Sunnyvale, CA 94085, USA(阿普尔巴技术公司,硅谷,加利福尼亚州94085,美国)
教师引导的一次性剪枝通过上下文感知的知识蒸馏,实现高效剪枝与性能保持,适用于资源受限环境。
2025-11-20 cs.AI cs.CV
Fine-Grained Image Recognition from Scratch with Teacher-Guided Data Augmentation
National Yang Ming Chiao Tung University, Taiwan;National Tsing Hua University, Taiwan;Cohere Labs Community, Nigeria
提出无需预训练的TGDA框架,通过教师模型引导的数据增强与弱监督,在低算力下训练细粒度图像识别模型,准确率超现有方法且参数与数据需求大幅降低。
2025-07-16 cs.CV
Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features
Kyungpook National University(庆北国立大学);AX/PI Center, Samsung Electronics(三星电子AX/PI中心);Chung-Ang University(中央大学);University of Seoul(首尔市立大学)
针对结构异构跨模态特征难以对齐的问题,提出基于向量量化码本的跨模态蒸馏框架,以概念级锚点传递教师知识,在分类和语义分割任务上验证有效性。
2026-10-02 cs.AI cs.CV
GeoDistill: Geometry-Guided Self-Distillation for Weakly Supervised Cross-View Localization
ShanghaiTech University(上海科技大学);École Polytechnique Fédérale de Lausanne(联邦理工学院洛桑分校)
提出GeoDistill,一种几何引导的弱监督自蒸馏框架,通过基于视场的师生学习增强局部特征学习,显著提升跨视图定位性能,并引入无需精确位置标注的朝向估计网络。
2025-07-15 cs.CV
Distilling the Undistillable: Learning from a Nasty Teacher
Adobe(奥多比公司);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
使用知识蒸馏(KD)的私人/敏感信息的无意窃取最近已经得到了极大的关注,并指导了随后的防御工作,考虑到其关键性质。最近的工作Nasty Teacher提出了开发不能被攻击它的模型提取或模仿的教师。然而,由一个讨厌的教师提供的保密性承诺没有得到很好的研究,作为加强对这种漏洞的进一步措施,我们试图绕过它的防御并成功地窃取(或提取)信息。具体来说,我们从两个不同的方向分析了Nasty Teacher,然后仔细利用它们来开发简单而有效的方法,命名为HTC和SCM,在标准数据集上将从Nasty Teacher的学习提高了68.63%。此外,我们还探索了一种基于我们对盗窃的见解的即兴防御方法。我们在不同模型/设置上的详细实验和消融集证明了我们方法的有效性。
2022-10-21 cs.CV
Gradient-Guided Knowledge Distillation for Object Detectors
Bowling Green State University(博林格林州立大学)
深度学习模型在目标检测方面取得了显著的成功,但它们的复杂性和计算强度对将它们部署到现实世界的应用中构成了障碍(例如,自动驾驶感知)。知识蒸馏(KD)是获取高效模型的有效途径。然而,只有少数KD方法解决了目标检测。此外,他们中的大多数人专注于模仿教师模型的普通特征,但很少考虑这些特征对最终检测的贡献。在本文中,我们提出了一种新的方法,知识蒸馏目标检测,命名为知识引导知识蒸馏(GKD)。我们的GKD使用梯度信息来识别并为显著影响检测丢失的特征分配更多权重,从而使学生能够从教师那里学习最相关的特征。此外,我们提出了边界盒感知的多粒度特征模仿(BMFI),以进一步提高KD性能。在KITTI和COCO-Traffic数据集上的实验证明了该方法在目标检测的知识蒸馏中的有效性。在一级和两级检测器上,我们的GKD-BMFI分别导致平均5.1%和3.8%的mAP改善,击败了各种最先进的KD方法。
2023-03-07 cs.CV
Channel Attention-Guided Cross-Modal Knowledge Distillation for Referring Image Segmentation
School of Information Science and Technology, TaiShan University, Taian, China(信息科学与技术学院,泰山大学,泰安,中国)
本文提出通道注意力引导的跨模态知识蒸馏方法,用于指代图像分割,通过迁移教师网络学习的视觉语言高阶细粒度相关性和通道语义相关性,提升学生网络性能,减少计算资源消耗。
2026-04-18 cs.CV
Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中,尽管教师和学生的类型不同,但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而,我们发现,具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道)。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题,将使学生向教师学习更加困难。针对这一问题,本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏,该方法使教师的知识与学生的知识更加一致,并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集(CIFAR 100,ImageNet,COCO)和任务(图像分类,目标检测)上的实验揭示了教师和学生之间普遍存在的知识差异问题,证明了该方法的有效性。我们的方法非常灵活,可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
UNIC: Universal Classification Models via Multi-teacher Distillation
NAVER LABS Europe(NAVER欧洲实验室)
本文提出UNIC,通过分析并改进多教师蒸馏,利用可扩展投影器阶梯和teacher dropping训练单一通用分类编码器,使其在容量不变的情况下保持或超越各任务最佳教师。
2024-08-09 cs.CV
Hybrid Data-Free Knowledge Distillation
Nanjing University of Science and Technology(南京理工大学);RIKEN(理化学研究所);Shanghai Jiao Tong University(上海交通大学)
提出混合无数据蒸馏方法HiDFD,结合少量真实数据与GAN生成合成数据,通过教师引导生成和学生蒸馏两模块,在减少120倍收集数据量下实现SOTA性能。
2024-12-18 cs.CV
Differentiable Feature Aggregation Search for Knowledge Distillation
Peking University(北京大学);Megvii (Face++) Technology Inc(旷视科技(Face++));National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用技术国家工程实验室);DiDi AI Labs(滴滴人工智能实验室)
在模型压缩中,知识蒸馏变得越来越重要。它通过监督来自复杂教师网络的输出分布和特征图来提高小型化学生网络的性能。最近的一些作品介绍了多教师蒸馏,以提供更多的监督,以学生网络。然而,多教师蒸馏方法的有效性伴随着昂贵的计算资源。为了解决知识蒸馏的效率和效果,我们引入特征聚合来模拟多教师蒸馏的单教师蒸馏框架,通过从多个教师特征图中提取信息监督。具体来说,我们引入DFA,一个两阶段的可区分的特征聚合搜索方法的DARTS在神经结构搜索的动机,有效地找到聚合。在第一阶段中,DFA将搜索问题制定为双层优化,并利用由学生到教师路径和教师到学生路径组成的新型桥损失来找到合适的特征聚合。这两条路径充当相互对抗的两个参与者,试图将统一的架构参数优化到相反的方向,同时保证特征聚合的表达性和可学习性。在第二阶段,DFA执行知识蒸馏与派生的特征聚合。实验结果表明,DFA优于现有的方法在CIFAR-100和CINIC-10数据集上的各种师生设置,验证了设计的有效性和鲁棒性。
2020-08-02 cs.CV cs.LG
Efficient Video Dataset Distillation via Cluster-Guided Prototype Blending
针对现有视频数据集蒸馏方法迭代优化成本高的问题,提出ProtoBlend框架,通过选择-分配-混合的方式实现高效视频数据集蒸馏,在四个动作识别基准上取得了有竞争力的准确率-效率权衡。
2026-08-05 cs.AI cs.CV
RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
Arizona State University(亚利桑那州立大学)
本文提出 RNAS-CL,利用跨层知识蒸馏让 NAS 自动匹配教师层监督学生层,从而搜索出小型且对对抗攻击鲁棒的神经架构。
2023-01-19 cs.CV cs.LG
Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
National Engineering Laboratory for Big Data Analytics (NEL-BDA)(大数据分析国家工程实验室)
针对3D-CNN动作识别中特征蒸馏忽视时间维度的问题,提出标签引导知识蒸馏(LGKD),通过样本级与类别级蒸馏学习教师特征,在UCF101和HMDB51上取得竞争力结果。
2026-09-14 cs.AI cs.CV
Search to Distill: Pearls are Everywhere but not the Eyes
Google AI(谷歌人工智能);Google Brain(谷歌大脑);Multimedia Laboratory, The Chinese University of Hong Kong(香港中文大学多媒体实验室)
标准的知识蒸馏(KD)方法将繁琐的教师模型中的知识蒸馏成具有预定义架构的学生模型的参数。然而,神经网络的知识,这是由网络的输出分布条件下,其输入表示,不仅取决于它的参数,但也取决于它的架构。因此,KD的一种更普遍的方法是将教师的知识提炼成学生的参数和架构。为了实现这一点,我们提出了一个新的架构感知知识蒸馏(AKD)的方法,发现学生模型(珍珠的教师),最好的蒸馏给定的教师模型。特别是,我们利用神经架构搜索(NAS),配备了我们的KD指导奖励,为给定的老师搜索最好的学生架构。实验结果表明,我们提出的AKD始终优于传统的NAS加KD方法,并在各种延迟设置下实现了ImageNet分类任务的最新结果。此外,ImageNet分类任务的最佳AKD学生架构也可以很好地转移到其他任务,如百万级人脸识别和集成学习。
2020-03-17 cs.CV cs.LG
Search for Better Students to Learn Distilled Knowledge
The University of Munich(慕尼黑大学);Siemens AG, Corporate Technology(西门子股份公司企业技术部)
知识蒸馏作为一种模型压缩技术,受到了广泛的关注。一个表现良好的教师的知识被提炼到一个学生的小架构。小学生的架构通常选择与他们的老师的架构相似,具有更少的层或更少的通道,或两者兼而有之。然而,即使具有相同数量的FLOP或参数,具有不同体系结构的学生可以实现不同的泛化能力。学生架构的配置需要密集的网络架构工程。在这项工作中,而不是设计一个好的学生建筑手动,我们建议自动搜索最佳的学生。基于L1-范数优化,从教师网络拓扑图中选择一个子图作为学生,目标是最小化学生和教师输出之间的KL-分歧。我们验证了CIFAR 10和CIFAR 100数据集的建议。实验结果表明,学习的学生体系结构比手动指定的体系结构具有更好的性能。我们还可视化并理解找到的学生的架构。
2020-01-30 cs.CV cs.LG
DisWOT: Student Architecture Search for Distillation WithOut Training
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
知识蒸馏(KD)是在繁琐的教师指导下改进轻量级学生模型的有效培训策略。然而,跨师生对的大的架构差异限制了蒸馏增益。与以前的自适应蒸馏方法,以减少师生差距,我们探索了一种新的培训免费的框架,以寻找最好的学生架构为给定的老师。我们的工作首先经验性地表明,在香草训练下的最优模型不能在蒸馏中获胜。其次,我们发现随机初始化师生网络之间的特征语义相似性和样本关系相似性与最终的蒸馏性能有很好的相关性。因此,我们有效地测量相似性矩阵的语义激活地图的条件下,选择最佳的学生通过进化算法,而无需任何训练。通过这种方式,我们对无训练蒸馏(DisWOT)的学生架构搜索通过至少180个$\times$训练加速显着提高了蒸馏阶段模型的性能。此外,我们扩展了相似性度量在DisWOT作为新的蒸馏器和基于KD的零代理。我们在CIFAR、ImageNet和NAS-Bench-201上的实验表明,我们的技术在不同的搜索空间上都取得了最先进的结果。我们的项目和代码可以在https://lilujunai.github.io/DisWOT-CVPR2023/上找到。
2023-03-28 cs.AI cs.CV cs.LG
Lipschitz Continuity Guided Knowledge Distillation
Illinois Institute of Technology(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Shandong University(山东大学)
知识蒸馏通过将知识从较大的教师网络蒸馏到较小的学生网络,已经成为最重要的模型压缩技术之一。尽管通过精心设计各种类型的知识,先前的蒸馏方法已经取得了巨大的成功,但它们忽略了神经网络的功能特性,这使得将这些技术应用于新任务的过程不可靠且不平凡。为了缓解这一问题,本文首先利用Lipschitz连续性来更好地表示神经网络的功能特性,并指导知识蒸馏过程。特别是,我们提出了一种新的Lipschitz连续性引导的知识蒸馏框架,通过最小化两个神经网络的Lipschitz常数之间的距离来忠实地提取知识,这使得教师网络能够更好地正则化学生网络并提高相应的性能。我们通过明确的理论推导出一种可解释的近似算法,以解决计算Lipschitz常数的NP难题。实验结果表明,我们的方法优于其他基准超过几个知识蒸馏任务(例如,分类、分割和目标检测)。
2021-08-29 cs.AI cs.CV cs.LG
Seeing Heat with Color -- RGB-Only Wildfire Temperature Inference from SAM-Guided Multimodal Distillation using Radiometric Ground Truth
Dept. of Electrical and Computer Engineering, Clemson University(电子与计算机工程系,克莱姆森大学)
本文提出SAM-TIFF教师-学生蒸馏框架,首次实现仅用RGB无人机影像进行像素级野火温度回归与分割,并在FLAME 3数据集上验证了泛化性能,为低成本无热传感器野火监测奠定基础。
2025-05-03 cs.AI cs.CV eess.IV
Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis
本文提出SMARTFormer,通过语义注意力增强Swin Transformer并结合噪声动量教师引导掩码图像建模,在肺结节分类、肺癌治疗反应预测等医学图像分析任务中取得高准确率。
2024-07-03 cs.CV
3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
Purdue University(普渡大学);XPeng Motors(小鹏汽车)
我们解决了在一对图像之间找到密集的视觉对应的基本任务。这是一个具有挑战性的问题,由于各种因素,如不良的纹理,重复的模式,照明变化,和运动模糊的实际情况。与使用密集对应地面实况作为局部特征匹配训练的直接监督的方法相比,我们训练3DG-STFM:多模态匹配模型(教师),以在3D密集对应监督下加强深度一致性,并将知识转移到2D单峰匹配模型(学生)。教师和学生模型都由两个基于变换器的匹配模块组成,它们以从粗到细的方式获得密集的对应关系。教师模型引导学生模型学习RGB诱导的深度信息,用于粗分支和细分支上的匹配目的。我们还评估了3DG-STFM的模型压缩任务。据我们所知,3DG-STFM是第一个用于局部特征匹配任务的学生-教师学习方法。实验表明,我们的方法优于国家的最先进的方法在室内和室外摄像机的姿态估计,单应性估计问题。代码可在:https://github.com/Ryan-prime/3DG-STFM.
2022-07-19 cs.CV
Uncertainty-Guided Cross Attention Ensemble Mean Teacher for Semi-supervised Medical Image Segmentation
Northwestern University(西北大学);Bennett University(班尼特大学)
本文提出UG-CEMT框架,结合交叉注意力集成均值教师、不确定性引导一致性正则化与锐度感知最小化,通过增强子网络差异提升半监督医学图像分割性能,仅用10%标注数据即逼近全监督效果。
2024-12-19 cs.CV
Teacher-Guided Routing for Sparse Vision Mixture-of-Experts
Institute of Science Tokyo(东京科学研究院);DENSO IT Laboratory(DENSO IT实验室);National Institute of Informatics Tokyo, Japan(东京大学情报学研究所)
本文提出TGR-MoE,通过预训练密集教师模型的监督稳定路由学习,提升稀疏视觉混合专家的准确性和路由一致性。
2026-04-23 cs.CV
DTG-Net: Differentiated Teachers Guided Self-Supervised Video Action Recognition
Beijing Institute of Technology(北京理工大学);Swinburne University of Technology(斯威本科技大学)
具有复杂网络架构的最先进的视频动作识别模型已经取得了显着的改进,但这些模型严重依赖于大规模标记良好的数据集。为了减少这种依赖,我们提出了一个自我监督的师生架构,即,差异化教师指导的自我监督网络(DTG-Net)。在DTG-Net中,除了通过自监督学习(SSL)减少标记数据依赖性外,预训练的动作相关模型被用作教师指导,提供先验知识,以减轻SSL中对大量未标记视频的需求。具体而言,利用多年来在与行动有关的任务中的努力,例如,图像分类,基于图像的动作识别,DTG-Net在各种教师指导下学习自监督视频表示,即,那些训练有素的与行动相关的任务模型。同时,采用对比自监督学习的方法对DTG网络进行优化。当两个图像序列分别从同一视频或不同视频中随机采样作为正对或负对时,它们然后被发送到教师和学生网络进行特征嵌入。然后定义每对特征嵌入之间的对比特征一致性,即,正对一致,负对不一致。同时,为了反映不同教师任务的不同导向,我们还探索了不同的教师任务导向权重。最后,DTG-Net以两种方式进行评估:(i)自监督DTG-Net仅用未标记的视频预训练监督动作识别模型;(ii)监督DTG-Net以端到端的方式与监督动作网络联合训练。它的性能优于大多数预训练方法,但与监督动作识别方法相比也具有出色的竞争力。
2020-06-13 cs.CV
Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher
AIRC, Midea Group(美的集团人工智能研究中心)
提出Teach-to-Reason框架,通过自我改进的教师和竞争引导的推理器,在胸部X光视觉问答中优化链式思维推理,解决奖励信号退化问题,实验表明优于强基线。
2026-06-25 cs.CV
DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection
Tsinghua University(清华大学);Apple(苹果公司)
视觉异常检测是计算机视觉中的一个重要问题,通常被表述为一类分类和分割任务。学生-教师(S-T)框架已被证明是解决这一挑战的有效方法。然而,以前的工作的基础上S-T只经验性地施加正常数据和融合的多层次信息的约束。在这项研究中,我们提出了一种名为DeSTSeg的改进模型,它将预训练的教师网络,去噪学生编码器-解码器和分割网络集成到一个框架中。首先,为了加强对异常数据的约束,我们引入了一个去噪过程,允许学生网络学习更鲁棒的表示。从合成损坏的正常图像,我们训练学生网络匹配教师网络的相同的图像没有损坏的功能。其次,为了自适应地融合多层次的S-T特征,我们训练一个分割网络,从合成的异常掩模丰富的监督,实现了实质性的性能改善。在工业检测基准数据集上的实验表明,我们的方法达到了最先进的性能,图像级AUC为98.6%,像素级平均精度为75.8%,实例级平均精度为76.4%。
2023-03-21 cs.CV
Co-distilled attention guided masked image modeling with noisy teacher for self-supervised learning on medical images
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特林癌症中心)
本文提出DAGMaN框架,通过引导注意力的掩码机制和噪声教师提升医学图像自监督学习的效果,减少信息泄露并增强预训练难度,应用于肺结节分类、免疫治疗预测等任务。
2026-04-16 cs.CV
STDG: Semi-Teacher-Student Training Paradigram for Depth-guided One-stage Scene Graph Generation
Renmin University of China(中国人民大学);Nanjing University of Science and Technology(南京理工大学);Tsinghua University(清华大学);Psyche AI Inc(Psyche AI公司)
提出 STDG 方法,通过三个协同模块利用深度信息,在不增加推理计算负担的情况下显著提升了一阶段场景图生成的性能。
2023-09-15 cs.CV
Sentinel-Guided Zero-Shot Learning: A Collaborative Paradigm without Real Data Exposure
Durham University(杜伦大学);School of Electronic and Information Engineering, Xi’an Jiaotong University(西安交通大学电子与信息工程学院)
本文提出哨兵引导的零样本学习(SG-ZSL)范式,通过教师模型替代真实数据指导学生学习,实现无需数据暴露的协作,并在ZSL/GZSL任务中表现优异。
2024-03-14 cs.CV
LGD: Label-guided Self-distillation for Object Detection
MEGVII Technology(旷视科技);Xi’an Jiaotong University(西安交通大学)
在本文中,我们提出了第一个自蒸馏框架一般目标检测,称为LGD(标签引导自蒸馏)。以前的研究依赖于一个强大的预先培训的教师提供指导性的知识,可能无法在现实世界的情况下。相反,我们只根据学生的表示和常规标签生成一个有指导意义的知识。我们的框架包括稀疏标签外观编码器,对象间关系适配器和对象内知识映射器,共同形成一个隐式教师在训练阶段,动态依赖于标签和不断发展的学生表示。它们通过检测器进行端到端的训练,并在推理中被丢弃。实验上,LGD在各种检测器、数据集和诸如实例分割等广泛任务上获得了不错的结果。例如,在MS-COCO数据集中,LGD使用ResNet-50在2x单尺度训练下将RetinaNet从36.2%提高到39.0% mAP(+ 2.8%)。它在2倍多尺度训练下将ResNeXt-101 DCN v2的FCOS等更强大的检测器从46.1%提升到47.9%(+ 1.8%)。与经典的基于教师的方法FGFI相比,LGD不仅在不需要预先培训的教师的情况下表现更好,而且在固有的学生学习之外还减少了51%的培训成本。代码可在https://github.com/megvii-research/LGD上获得。
2022-04-24 cs.CV
MedPCFM-TED: One-Step Point Cloud Flow Matching for Implant Generation via Teacher-Guided Endpoint Distillation
AGH University of Krakow(克拉科夫AGH科技大学);Sano Centre for Computational Medicine(萨诺计算医学中心)
针对颅骨植入物生成中推理耗时的问题,提出教师引导端点蒸馏(TED)的一步式流匹配框架,在SkullBreak和SkullFix基准上实现高质量快速生成,每样本仅需0.04秒。
2026-09-16 cs.CV cs.LG
Diffusion Domain Teacher: Diffusion Guided Domain Adaptive Object Detector
Xiamen University Institute of Artifcial Intelligence(厦门大学人工智能研究院)
本文提出扩散域教师(DDT)方法,利用冻结权重的扩散模型作为教师生成目标域伪标签,指导目标域学生模型训练,在不降低推理速度的情况下显著提升跨域目标检测性能,并在多个基准上超越现有SOTA方法。
2025-06-04 cs.CV
Teacher-Guided Causal Interventions for Image Denoising: Orthogonal Content-Noise Disentanglement in Vision Transformers
China University of Mining and Technology(中国矿业大学);Shandong Normal University(山东师范大学);Qilu University of Technology(青岛科技大学)
教师引导的因果解构网络通过正交解构提升图像去噪的鲁棒性和效率。
2026-07-17 cs.CV
Proxy-Embedding as an Adversarial Teacher: An Embedding-Guided Bidirectional Attack for Referring Expression Segmentation Models
National Pilot School of Software, Yunnan University(云南大学软件试点学校);School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
本文提出PEAT,一种嵌入引导的双向对抗攻击方法,用于揭示指代表达分割模型在多模态结构和跨文本输入下的脆弱性,并在多个架构与基准上验证其优于现有基线。
2025-09-22 cs.CV
Efficient INT8 Single-Image Super-Resolution via Deployment-Aware Quantization and Teacher-Guided Training
University of Information Technology(信息技术大学);Ho Chi Minh City University of Technology(胡志明市技术大学);Vietnam National University, Ho Chi Minh City(胡志明市国家大学)
本文提出一种部署导向的量化单图像超分辨率框架,通过三阶段训练提升质量与效率,在INT8部署下实现29.79dB PSNR和0.8634 SSIM。
2026-04-22 cs.CV
WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation
College of Engineering, Ocean University of China(中国海洋大学工程学院);College of Computer Science and Technology, Qingdao University(青岛大学计算机科学与技术学院)
针对水下自监督单目深度估计受动态目标、图像退化、拍摄角度多变影响的问题,提出WaterMono框架,结合教师引导异常掩码、图像增强与旋转蒸馏策略,有效提升深度估计与图像增强效果。
2024-06-19 cs.CV
Teacher Encoder-Student Decoder Denoising Guided Segmentation Network for Anomaly Detection
School of Computer Science, Chengdu University of Information Science and Technology(成都信息科技大学计算机科学学院);Purdue University(普渡大学);University at Albany(阿尔巴尼大学)
PFADSeg通过教师编码器-学生解码器去噪机制和自适应特征融合,提升异常检测性能,实现高精度分割与检测。
2025-11-24 cs.AI cs.CV
Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
针对弱监督音视频解析缺乏片段级监督与跨模态对齐的问题,提出EMA引导的伪监督框架与类感知CMA损失,在LLP和UnAV-100数据集上达到SOTA。
2025-09-17 cs.CV cs.MM
Uncertainty guided semi-supervised segmentation of retinal layers in OCT images
IBM Research - Australia(IBM澳大利亚研究院);NYU Langone Eye Center(纽约大学兰贡眼科中心);NYU School of Medicine(纽约大学医学院)
深度卷积神经网络在医学图像分割任务中表现出出色的性能。训练监督式深度学习方法时的常见问题是缺乏标记数据,这是耗时且成本高昂的。在本文中,我们提出了一种新的不确定性指导的半监督学习的基础上的学生-教师的方法训练的分割网络使用有限的标记样本和大量的未标记的图像。首先,使用贝叶斯深度学习从标记样本训练教师分割模型。训练后的模型用于为未标记的集合生成软分割标签和不确定性图。然后,使用软分割样本和使用新设计的损失函数从教师模型的不确定性估计的分割质量的相应逐像素置信度来更新学生模型。视网膜层分割任务的实验结果表明,该方法提高了分割性能相比,完全监督的方法,并与专家注释。所提出的半监督分割框架是一个关键的贡献,适用于各种成像方式的生物医学图像分割,其中访问带注释的医学图像是具有挑战性的
2021-03-02 cs.CV
A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision
UC Berkeley(伯克利大学);Technion(技术学院);NVIDIA(英伟达)
本文提出教师引导的 3D 扩散框架,通过解耦 3D 含噪样本与 2D 监督信号,仅用稀疏视图监督实现高保真 3DGS 生成。
2025-07-26 cs.CV
LabelDistill: Label-guided Cross-modal Knowledge Distillation for Camera-based 3D Object Detection
Korea Advanced Institute of Science and Technology(韩国科学技术院);dot Inc.(42dot公司)
针对现有跨模态知识蒸馏会将LiDAR固有缺陷迁移给图像检测器的问题,提出LabelDistill方法,通过标签特征嵌入与特征划分提升基于相机的三维目标检测性能,mAP和NDS较基线分别提升5.1和4.9个点。
2024-07-14 cs.CV
Prediction-Guided Distillation for Dense Object Detection
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
真实世界的目标检测模型应该是廉价和准确的。知识蒸馏(KD)可以通过利用来自较大教师模型的有用信息来提高小型廉价检测模型的准确性。然而,一个关键的挑战是识别教师产生的最具信息性的特征以进行提炼。在这项工作中,我们表明,只有一个非常小的一部分功能内的地面实况限界框负责教师的高检测性能。在此基础上,我们提出了预测引导蒸馏(PGD),它将蒸馏集中在教师的这些关键预测区域上,并在许多现有KD基线上获得相当大的性能增益。此外,我们提出了一个自适应加权方案的关键区域,以平滑它们的影响,并实现更好的性能。我们提出的方法在各种先进的一级检测架构上优于当前最先进的KD基线。具体来说,在COCO数据集上,我们的方法分别使用ResNet-101和ResNet-50作为教师和学生骨干,实现了+3.1%到+4.6%的AP改进。在CrowdHuman数据集上,我们在MR和AP上实现了+3.2%和+2.0%的改进,也使用了这些骨干。我们的代码可在https://github.com/ChenhongyiYang/PGD上获得。
2022-07-18 cs.CV cs.LG