Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
针对多模态3D检测中的模态异构、错位及大BEV特征融合效率问题，提出ICD实例级对比蒸馏与CLFM交叉线性注意力融合，在KITTI和nuScenes上以更高效率超越SOTA。
2025-03-17 cs.CV
Boosting 3D Object Detection by Simulating Multimodality on Point Clouds
CUHK（香港中文大学）；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学信兴高等工程研究所）；Max Planck Institute（马克斯·普朗克研究所）
本文提出了一种新的方法来提高单模态（LiDAR）3D对象检测器，通过教它模拟多模态（LiDAR图像）检测器的特征和响应。该方法仅在训练单模态检测器时需要LiDAR图像数据，并且一旦训练好，它只需要LiDAR数据进行推理。我们设计了一个新的框架来实现这种方法：响应蒸馏专注于关键响应样本，避免背景样本;稀疏体素蒸馏从估计的关键体素中学习体素语义和关系;细粒度体素到点蒸馏以更好地关注小而远的对象的特征;实例蒸馏以进一步增强深层特征的一致性。在nuScenes数据集上的实验结果表明，我们的方法优于所有SOTA LiDAR 3D检测器，甚至在关键NDS指标上超过了基线LiDAR图像检测器，填补了单模态和多模态检测器之间72%的mAP差距。
2022-06-30 cs.CV
Socialized Detector Learning: Trajectory-Guided and Reciprocal Distillation for Heterogeneous Object Detectors
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；School of Artificial Intelligence, Tianjin University（天津大学人工智能学院）；School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）；School of Sports Training, Tianjin University of Sport（天津体育学院运动训练学院）；Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；School of Electronic Science, National University of Defense Technology（国防科技大学电子科学学院）；School of Automation, Southeast University（东南大学自动化学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
该研究针对异构互补的目标检测器，提出SDL框架与TGRD方法，通过轨迹引导的定向互蒸馏，实现知识高效整合与跨类别传递，在MS COCO上取得显著性能提升。
2026-08-27 cs.CV
Distilling Object Detectors via Decoupled Features
School of Computer Science Faculty of Engineering University of Sydney（悉尼大学工程学院计算机科学学院）
知识蒸馏是一种广泛使用的范式，用于将复杂的教师网络中的信息继承到紧凑的学生网络中，并保持强大的性能。与图像分类不同，对象检测器更加复杂，具有多个损失函数，其中语义信息所依赖的特征是纠缠在一起的。在本文中，我们指出，来自区域不包括对象的特征的信息也是必不可少的提取学生检测器，这通常是在现有的方法中被忽略。此外，我们阐明，从不同地区的功能应分配不同的重要性在蒸馏过程中。为此，我们提出了一种新的蒸馏算法通过解耦功能（DeFeat）学习一个更好的学生检测器。具体而言，将处理两个级别的解耦特征以将有用信息嵌入到学生中，即，从颈部分离特征，从分类头部分离建议。在具有不同主干的各种检测器上进行的大量实验表明，所提出的DeFeat能够超越用于目标检测的最先进的蒸馏方法。例如，DeFeat将基于ResNet 50的Faster R-CNN从37.4%提高到40.9% mAP，并将基于ResNet 50的RetinaNet从36.5%提高到39.7% mAP。我们的实现可以在https://github.com/ggjy/DeFeat.pytorch上获得。
2021-03-26 cs.CV
Distilling Object Detectors with Task Adaptive Regularization
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
目前最先进的目标检测器以高计算成本为代价，并且难以部署到低端设备。知识蒸馏，其目的是训练一个更小的学生网络，从一个较大的教师模型转移知识，是一个有前途的解决方案模型小型化。在本文中，我们深入研究了一个典型的检测器的每个模块，并提出了一个通用的蒸馏框架，自适应地转移知识从教师到学生根据任务特定的先验。直觉是，简单地从教师到学生提取所有信息是不可取的，相反，我们应该只从学生表现不好的教师模型中借用先验。为了实现这一目标，我们提出了一个区域建议共享机制，交流区域之间的教师和学生模型的反应。在此基础上，我们自适应地转移知识的三个层次，\emph{i.e.}，特征骨干，分类头，和限界框回归头，根据模型的性能更合理。此外，考虑到同时最小化蒸馏损失和检测损失会引入优化困境，我们提出了一种蒸馏衰减策略，通过逐步减少蒸馏损失来提高模型的泛化能力。广泛使用的检测基准上的实验证明了我们的方法的有效性。特别是，使用FPN作为实例的Faster R-CNN，我们在COCO数据集上使用Resnet-50实现了$39.0\%$的准确性，超过了基线$36.3\%$的$2.7\%$点，甚至比使用$38.5\%$ mAP的教师模型更好。
2020-06-23 cs.CV
SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation
The University of Queensland（昆士兰大学）
增量学习需要一个模型来从流数据中不断学习新任务。然而，传统的对训练良好的深度神经网络在新任务上的微调会大大降低旧任务的性能--这一问题被称为灾难性遗忘。在本文中，我们在无锚点目标检测的背景下解决了这个问题，这是计算机视觉的新趋势，因为它简单、快速且灵活。简单地调整当前的增量学习策略，由于缺乏对它们特定模型结构的考虑，在这些无锚检测器上失败。为了应对无锚对象检测器增量学习的挑战，我们提出了一种新的增量学习范式，称为选择性和相互关联蒸馏（SID）。此外，提出了一种新的评价指标，以更好地评估增量学习条件下的检测器的性能。通过在适当的位置进行选择性提取，并进一步转移额外的实例关系知识，我们的方法在基准数据集PASCAL VOC和COCO上表现出显着的优势。
2020-12-31 cs.CV
Faster ILOD: Incremental Learning for Object Detectors based on Faster RCNN
School of ITEE, The University of Queensland（昆士兰大学ITEE学院）
人类的视觉和感知系统本质上是渐进的，随着时间的推移，新的知识不断学习，而现有的知识被保留。另一方面，深度学习网络不适合增量学习。当一个经过良好训练的网络适应新的类别时，它在旧类别上的性能将急剧下降。为了解决这个问题，已经探索了保留深度学习模型的旧知识的增量学习方法。然而，最先进的增量对象检测器采用外部固定区域提议方法，与基于区域提议网络（RPN）的对象检测器（例如Faster RCNN）相比，该方法增加了总计算时间并降低了准确性。本文的目的是利用知识蒸馏设计一个高效的端到端增量式目标检测器。我们首先评估和分析基于RPN的检测器的性能与经典的蒸馏增量检测任务。然后，我们引入了多网络自适应蒸馏，当针对新任务微调模型时，可以适当地保留旧类别的知识。在基准数据集PASCAL VOC和COCO上的实验表明，基于Faster RCNN的增量检测器更准确，比基线检测器快13倍。
2020-10-07 cs.CV
Distilling Image Classifiers in Object Detectors
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
知识蒸馏是一种简单而有效的方法，通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而，知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里，我们调查的问题，不仅跨架构，而且跨任务的知识转移。为此，我们研究了目标检测的情况下，而不是按照标准的检测器到检测器蒸馏方法，引入一个分类器到检测器的知识转移框架。特别是，我们提出的策略，利用分类教师，以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性，使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient
Shanghai AI Laboratory（上海人工智能实验室）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏（KD）是目标检测中一种广泛使用的训练紧凑模型的技术。然而，对于如何在异构检测器之间进行提取，目前还缺乏研究。在本文中，我们的经验发现，更好的FPN功能，从异构教师检测器可以帮助学生，虽然他们的检测头和标签分配是不同的。然而，直接对准特征图以提取检测器遭受两个问题。首先，教师和学生之间的特征幅度差异可能会对学生施加过于严格的约束。第二，教师模型中具有大特征量的FPN级和通道可以主导蒸馏损失的梯度，这将压倒KD中其他特征的影响并引入大量噪声。为了解决上述问题，我们提出了模仿特征与皮尔逊相关系数，专注于从教师的关系信息和放松对特征的大小的限制。我们的方法始终优于现有的检测KD方法，适用于同质和异质的学生-教师对。此外，它收敛得更快。在强大的MaskRCNN-Swin检测器作为教师的情况下，基于ResNet-50的RetinaNet和FCOS在COCO 2017上实现了41.5%和43.9%的mAP，分别比基线高出4.1%和4.8%。
2022-11-30 cs.AI cs.CV
LGD: Label-guided Self-distillation for Object Detection
MEGVII Technology（旷视科技）；Xi’an Jiaotong University（西安交通大学）
在本文中，我们提出了第一个自蒸馏框架一般目标检测，称为LGD（标签引导自蒸馏）。以前的研究依赖于一个强大的预先培训的教师提供指导性的知识，可能无法在现实世界的情况下。相反，我们只根据学生的表示和常规标签生成一个有指导意义的知识。我们的框架包括稀疏标签外观编码器，对象间关系适配器和对象内知识映射器，共同形成一个隐式教师在训练阶段，动态依赖于标签和不断发展的学生表示。它们通过检测器进行端到端的训练，并在推理中被丢弃。实验上，LGD在各种检测器、数据集和诸如实例分割等广泛任务上获得了不错的结果。例如，在MS-COCO数据集中，LGD使用ResNet-50在2x单尺度训练下将RetinaNet从36.2%提高到39.0% mAP（+ 2.8%）。它在2倍多尺度训练下将ResNeXt-101 DCN v2的FCOS等更强大的检测器从46.1%提升到47.9%（+ 1.8%）。与经典的基于教师的方法FGFI相比，LGD不仅在不需要预先培训的教师的情况下表现更好，而且在固有的学生学习之外还减少了51%的培训成本。代码可在https://github.com/megvii-research/LGD上获得。
2022-04-24 cs.CV
Overcoming Catastrophic Forgetting in Incremental Object Detection via Elastic Response Distillation
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
传统的对象检测器不适合增量学习。然而，直接在一个只包含新数据的经过良好训练的检测模型上进行微调将导致灾难性遗忘。知识蒸馏是缓解灾难性遗忘的一种灵活方法。在增量式目标检测（IOD）中，以往的工作主要集中在提取特征和响应的组合。然而，他们对答案中包含的信息探索不足。在本文中，我们提出了一种基于响应的增量蒸馏方法，称为弹性响应蒸馏（ERD），其重点是弹性学习分类头和回归头的响应。首先，我们的方法转移类别知识，同时为学生检测器提供在增量学习过程中保留定位信息的能力。此外，我们进一步评估所有位置的质量，并通过弹性响应选择（ERS）策略提供有价值的响应。最后，我们阐明了在增量蒸馏过程中，来自不同响应的知识应该被赋予不同的重要性。在MS COCO上进行的大量实验表明，我们的方法达到了最先进的结果，大大缩小了与完全训练的性能差距。
2022-04-05 cs.CV
Bridging Cross-task Protocol Inconsistency for Distillation in Dense Object Detection
College of Computer Science & Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Polytechnic Institute, Zhejiang University（浙江大学理工学院）；Hikvision Research Institute（海康威视研究院）；ZJU – UIUC Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校研究院）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）
针对密集目标检测中知识蒸馏与分类任务的协议不一致问题，提出基于二分类图的分类蒸馏与IoU-based定位蒸馏损失的跨任务一致蒸馏方法，性能优于现有方法。
2024-03-12 cs.CV
Object-Aware Distillation Pyramid for Open-Vocabulary Object Detection
Beihang University（北京航空航天大学）；Alibaba Group（阿里巴巴集团）
开放词汇表目标检测的目标是提供对象检测器训练的一组固定的对象类别的泛化能力，以检测任意文本查询描述的对象。以前的方法采用知识蒸馏从预训练的视觉和语言模型（PVLM）中提取知识并将其传递给检测器。然而，由于非自适应的建议裁剪和单级特征模仿过程中，他们遭受信息破坏的知识提取和低效的知识转移。为了弥补这些局限性，我们提出了一个对象感知蒸馏金字塔（OADP）框架，包括一个对象感知知识提取（OAKE）模块和蒸馏金字塔（DP）机制。在从PVLM中提取对象知识时，前者自适应地转换对象建议，并采用对象感知的掩码注意，以获得精确和完整的对象知识。后者引入了全局和分块的知识提取，以实现更全面的知识转移，弥补对象提取中缺失的关系信息。大量的实验表明，我们的方法实现了显着的改善相比，目前的方法。特别是在MS-COCO数据集上，我们的OADP框架达到了$35.6$ mAP $^{\text{N}}_{50}$，超过了目前最先进的方法$3.3$ mAP $^{\text{N}}_{50}$。代码发布于www.example.com。
2023-03-10 cs.CV
Smooth and Stepwise Self-Distillation for Object Detection
Baidu Research（百度研究院）
提出面向目标检测的平滑逐步自蒸馏 SSSD，利用隐式教师、Jensen-Shannon 距离和自适应蒸馏系数，在 COCO 上多数设置中提升平均精度。
2024-01-19 cs.CV
TiGDistill-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning Distillation
University of Macau（澳门大学）；Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）；Beijing Jiaotong University（北京交通大学）
本文提出 TiGDistill-BEV，通过目标内部深度监督和内部特征 BEV 蒸馏，将 LiDAR 知识迁移到相机检测器，在 nuScenes 上以 62.8% NDS 达到领先水平。
2024-12-30 cs.CV
Hands-on Guidance for Distilling Object Detectors
Huazhong University of Science and Technology（华中科技大学）
知识蒸馏可以导致部署友好的网络对困扰的计算复杂性的问题，但以前的方法忽略了检测器中的特征层次。基于此，我们提出了一个检测蒸馏的一般框架。我们的方法，称为动手指导蒸馏，蒸馏的所有阶段特征的潜在知识，以施加更全面的监督，并集中在本质的同时，促进更强烈的知识吸收。具体而言，从微观和宏观两个角度，设计了一系列新颖的机制，包括一致性对应关系的建立、模拟损失度量和重新加权优化。我们在VOC和COCO数据集上使用不同的蒸馏配置进行了广泛的评估，这些数据集在准确性和速度权衡方面表现出更好的性能。同时，不同结构网络的可行性实验进一步证明了我们的HGD的鲁棒性。
2021-05-12 cs.AI cs.CV
Cross-Modality Knowledge Distillation Network for Monocular 3D Object Detection
Zhejiang University（浙江大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
利用基于LiDAR的检测器或真实LiDAR点数据来指导单目3D检测已经带来了显著的改进，例如，伪激光雷达方法。然而，现有的方法通常采用非端到端的训练策略，没有充分利用LiDAR信息，LiDAR数据的丰富潜力没有得到很好的开发。在本文中，我们提出了跨模态知识蒸馏（CMKD）网络的单目3D检测，有效地和直接地转移知识从激光雷达模态图像模态的功能和响应。此外，我们通过从大规模未标记数据中提取知识，进一步扩展CMKD作为半监督训练框架，并显着提高性能。在提交之前，CMKD将$1^{st}$列为单眼3D探测器中的一种，与之前的最先进方法相比，KITTI $test$集和Waymo $val$集都有显著的性能提升。
2022-11-14 cs.CV
Localization Distillation for Dense Object Detection
Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；Nankai University（南开大学）
知识蒸馏（KD）在目标检测中具有学习紧凑模型的强大能力。以往用于目标检测的KD方法大多集中在模仿区域内的深层特征，而不是模仿分类logit，这是由于其在提取定位信息方面的效率低下和微不足道的改进。本文通过对本地化知识蒸馏过程的重新表述，提出了一种新的本地化蒸馏方法，该方法可以有效地将本地化知识从教师转移到学生。此外，我们还详细介绍了有价值的本地化区域的概念，可以帮助有选择地提取的语义和本地化知识的某一区域。结合这两个新的组件，第一次，我们表明，logit模仿可以优于特征模仿和本地化知识蒸馏是更重要和更有效的比语义知识提取对象检测器。我们的蒸馏方案是简单有效的，可以很容易地应用到不同的密集目标探测器。实验表明，我们的LD可以提高GFocal-ResNet-50的AP分数，在COCO基准测试中，单尺度1x训练时间表从40.1提高到42.1，而不会牺牲推理速度。我们的源代码和训练模型可在https://github.com/HikariTJU/LD上公开获取
2022-03-31 cs.CV
Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Waymo（Waymo公司）；Georgia Institute of Technology（佐治亚理工学院）
本文提出多教师渐进式知识蒸馏方法，通过教师序列将 Transformer 检测器知识迁移到卷积学生，显著提升轻量级 RetinaNet 和 Mask R-CNN 在 MS COCO 上的 AP。
2023-08-17 cs.CV cs.LG
LabelDistill: Label-guided Cross-modal Knowledge Distillation for Camera-based 3D Object Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）；dot Inc.（42dot公司）
针对现有跨模态知识蒸馏会将LiDAR固有缺陷迁移给图像检测器的问题，提出LabelDistill方法，通过标签特征嵌入与特征划分提升基于相机的三维目标检测性能，mAP和NDS较基线分别提升5.1和4.9个点。
2024-07-14 cs.CV
A Hierarchical Semantic Distillation Framework for Open-Vocabulary Object Detection
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Guangdong Key Laboratory of Information Security Technology, Sun Yat-sen University（中山大学广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Sun Yat-sen University, Ministry of Education（中山大学机器智能与先进计算教育部重点实验室）
针对开放词汇检测中直接对齐 CLIP 难以有效迁移语义的问题，本文提出 HD-OVD 三层蒸馏框架，从实例、类别和图像层面吸收知识，并在 OV-COCO 上以 ResNet50 取得 46.4% 新类 AP。
2025-03-13 cs.CV
Object-centric Cross-modal Feature Distillation for Event-based Object Detection
Huawei ZRC, Switzerland（华为苏黎世研究中心）；ETH Zurich, Switzerland（苏黎世联邦理工学院）
针对基于事件的目标检测性能弱于RGB检测器的问题，提出以目标为中心的槽注意力跨模态特征蒸馏方法，聚焦蒸馏最优区域，在合成与真实数据集上验证可将与教师模型的性能差距缩小近一半。
2023-11-09 cs.CV cs.RO
Dual Relation Knowledge Distillation for Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Inc.（百度公司）
针对目标检测中前景背景特征不平衡及小目标表示不足的问题，本文提出DRKD双重关系知识蒸馏方法，通过像素级与实例级关系蒸馏提升一阶段和两阶段检测器性能。
2023-06-01 cs.CV
Few-Shot Object Detection by Knowledge Distillation Using Bag-of-Visual-Words Representations
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
虽然用于Few-Shot目标检测的基于微调的方法已经取得了显著的进展，但是尚未很好地解决的关键挑战是在基类上的潜在类特定过拟合和在新类上的样本特定过拟合。在这项工作中，我们设计了一个新的知识蒸馏框架来指导学习的对象检测器，从而抑制过拟合在两个预训练阶段的基础类和微调阶段的新类。具体来说，我们首先提出了一种新的位置感知视觉词袋模型，用于从有限大小的图像集合中学习代表性视觉词袋（BoVW），该模型用于基于学习的视觉词和图像之间的相似性对一般图像进行编码。然后，我们进行知识蒸馏的基础上，图像应该有一致的BoVW表示在两个不同的特征空间。为此，我们独立于目标检测预先学习特征空间，并在该空间中使用BoVW对图像进行编码。所获得的图像的BoVW表示可以被认为是用于指导对象检测器的学习的提取的知识：期望对象检测器针对同一图像提取的特征导出与提取的知识一致的BoVW表示。大量的实验验证了我们的方法的有效性，并展示了优于其他国家的最先进的方法。
2022-07-25 cs.CV
Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds
CUHK（香港中文大学）；Max Planck Institute（马克斯·普朗克研究所）；Zhejiang University（浙江大学）
为了提高单帧3D目标检测的检测器，我们提出了一种新的方法来训练它来模拟在多帧点云上训练的检测器的特征和响应。我们的方法只在训练单帧检测器时需要多帧点云，并且一旦训练好，它就可以在推理过程中仅用单帧点云作为输入来检测对象。我们设计了一个新的模拟多帧单阶段目标检测器（SMF-SSD）框架来实现该方法：多视图稠密目标融合以使地面真实目标稠密化以生成多帧点云;自注意体素蒸馏以促进从多帧体素到单帧体素的一对多知识传递;多尺度BEV特征蒸馏以传递低级别空间和高级别语义BEV特征中的知识;以及自适应响应蒸馏以激活高置信度和准确定位的单帧响应。Waymo测试集上的实验结果表明，我们的SMF-SSD在mAP和mAPH方面始终优于所有最先进的单帧3D对象检测器，适用于难度级别为1和2的所有对象类别。
2022-07-12 cs.CV
Object detection at 200 Frames Per Second
United Technologies Research Center-Ireland（联合技术研究中心-爱尔兰）
在本文中，我们提出了一种高效，快速的目标检测器，每秒可以处理数百帧。为了实现这一目标，我们调查的目标检测框架的三个主要方面：网络架构，损失函数和训练数据（标记和未标记）。为了获得紧凑的网络架构，我们在最近工作的基础上引入了各种改进，以开发一种计算量轻并实现合理性能的架构。为了进一步提高性能，同时保持相同的复杂度，我们利用蒸馏损失函数。使用蒸馏损失，我们将更精确的教师网络的知识转移到提出的轻量级学生网络。我们提出了各种创新，使蒸馏有效的建议一级检测器管道：对象缩放蒸馏损失，特征图非最大抑制和一个单一的统一蒸馏损失函数检测。最后，在蒸馏损失的基础上，我们探讨了利用未标记数据可以在多大程度上提高性能。我们使用教师网络的软标签，用未标记的数据训练我们的模型。我们最终的网络由比基于VGG的目标检测网络少10倍的参数组成，它实现了超过200 FPS的速度，并且提出的更改将Pascal数据集上的检测精度提高了14 mAP。
2018-05-16 cs.CV
Localization Distillation for Object Detection
Nankai University（南开大学）；Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）
现有的目标检测的知识蒸馏（KD）方法大多集中在特征模仿上，而不是模仿预测逻辑，这是由于其在提取定位信息方面的效率较低。在本文中，我们调查是否logit模仿总是落后于功能模仿。为此，我们首先提出了一种新的本地化蒸馏（LD）方法，可以有效地将本地化知识从教师转移到学生。其次，我们引入了有价值的本地化区域的概念，可以帮助有选择地提取的分类和本地化知识的某一区域。结合这两个新的组成部分，第一次，我们表明，logit模仿可以优于功能模仿和本地化蒸馏的缺乏是为什么logit模仿多年来表现不佳的一个关键原因。深入的研究表明，Logit模仿具有极大的潜力，可以显著缓解局部模糊，学习鲁棒的特征表示，并在早期阶段减轻训练难度。我们还提供了建议的LD和分类KD之间的理论联系，他们共享等效的优化效果。我们的蒸馏方案是简单有效的，可以很容易地应用到密集的水平目标检测器和旋转目标检测器。在MS COCO，PASCAL VOC和DOTA基准上的大量实验表明，我们的方法可以在不牺牲推理速度的情况下实现相当大的AP改进。我们的源代码和预训练模型可在https://github.com/HikariTJU/LD上公开获取。
2022-12-08 cs.CV
CrossKD: Cross-Head Knowledge Distillation for Object Detection
College of Computer Science, Nankai University（南开大学计算机学院）；NKIARI
针对现有目标检测知识蒸馏方法多基于特征模仿的局限，提出跨头知识蒸馏方案CrossKD，通过传递学生检测头中间特征给教师头并让跨头预测模仿教师预测，在MS COCO上显著提升检测精度，且适用于异构骨干网络的蒸馏。
2024-04-15 cs.CV
Representation Disparity-aware Distillation for 3D Object Detection
Beihang University（北京航空航天大学）；Tencent（腾讯）；Zhongguancun Laboratory（中关村实验室）；Nanchang Institute of Technology（南昌工程学院）
针对现有知识蒸馏在极致紧凑3D检测器中因点云稀疏性导致表示差异而效果不佳的问题，提出基于信息瓶颈的表示差异感知蒸馏方法，缩小师生模型性能差距，在nuScenes数据集上实现了超越教师的性能且计算量更低。
2023-08-20 cs.CV
Response-based Distillation for Incremental Object Detection
Alibaba Group（阿里巴巴集团）
传统的目标检测不适合增量学习。然而，直接在一个训练良好的检测模型上进行微调，只使用新数据将导致灾难性遗忘。知识蒸馏是减轻灾难性遗忘的一种直接方法。在增量式目标检测（IOD）中，以往的工作主要集中在特征级的知识蒸馏，而检测器的不同响应尚未得到充分的研究。在本文中，我们提出了一个完全基于响应的增量蒸馏方法，专注于学习响应检测边界框和分类预测。首先，我们的方法转移类别知识，同时为学生模型提供在增量学习过程中保留本地化知识的能力。此外，我们进一步评估所有位置的质量，并提供有价值的响应自适应伪标签选择（APS）策略。最后，我们阐明了知识从不同的反应，应分配不同的重要性，在增量蒸馏。在MS COCO上进行的大量实验证明了我们的方法的显着优势，这大大缩小了全面训练的性能差距。
2021-10-26 cs.CV
Multi-View Correlation Distillation for Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
在实际应用中，新的对象类经常出现在检测模型已经在具有固定类的准备好的数据集上训练之后。由于旧数据的存储负担和隐私性，有时用新旧数据从头开始训练模型是不切实际的。仅使用新数据对旧模型进行微调将导致众所周知的灾难性遗忘现象，这严重降低了现代目标检测器的性能。在本文中，我们提出了一种新的\textbf{M} ulti- \textbf{V} view \textbf{C} orrelation \textbf{D} istilation（MVCD）为基础的增量目标检测方法，探讨了两阶段目标检测器（Faster R-CNN）的特征空间中的相关性。为了更好地传递从旧类中学习到的知识并保持学习新类的能力，我们设计了通道、点和实例视图的相关蒸馏损失，以规范增量模型的学习。为了更好地评价增量式目标检测中旧类的稳定性和新类的可塑性，提出了一种新的度量标准Stability-Plasticity-mAP。在VOC 2007和COCO上进行的大量实验表明，MVCD可以有效地学习检测新类的对象，并减轻灾难性遗忘的问题。
2021-07-05 cs.CV
YOLO-IOD: Towards Real Time Incremental Object Detection
YOLO-IOD通过解决增量学习中的知识冲突问题，提出了一种基于预训练YOLO-World模型的实时增量物体检测框架，有效减少遗忘并提升检测性能。
2026-01-01 cs.CV
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）
弱监督目标检测（WSOD）已经成为一种有效的工具，训练对象检测器使用的图像级类别标签。然而，如果没有对象级别的标签，WSOD检测器很容易检测到显着的对象，聚类对象和歧视性的对象部分的边界框。此外，图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题，我们提出了一个全面的注意力自我蒸馏（CASD）训练方法的WSOD。为了平衡所有对象实例之间的特征学习，CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督，CASD在WSOD网络上进行自蒸馏，使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
BEVDistill: Cross-Modal BEV Distillation for Multi-View 3D Object Detection
University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）
从多个图像视图中进行3D目标检测是视觉场景理解的一项基本且具有挑战性的任务。多视角三维目标检测以其低成本、高效率的特点显示出良好的应用前景。然而，由于缺乏深度信息，通过透视图精确地检测对象是极其困难的。目前的方法倾向于采用沉重的骨干图像编码器，使他们不适用于现实世界的部署。与图像不同，LiDAR点在提供空间线索方面具有优势，从而实现高度精确的定位。在本文中，我们探讨了将基于激光雷达的检测器用于多视图3D目标检测。我们没有直接训练深度预测网络，而是将图像和LiDAR特征统一在鸟瞰图（BEV）空间中，并在师生范式中自适应地跨非同质表示传输知识。为此，我们提出了\textbf{BEVDistill}，跨模态BEV知识蒸馏（KD）框架的多视图三维目标检测。大量的实验表明，所提出的方法优于目前的KD方法在一个高度竞争的基线，BEVFormer，而不会引入任何额外的成本在推理阶段。值得注意的是，我们最好的模型在nuScenes测试排行榜上达到了59.4 NDS，与各种基于图像的探测器相比，达到了新的最先进水平。代码将在https://github.com/zehuichen123/BEVDistill上提供。
2022-11-17 cs.CV
SAMKD: Spatial-aware Adaptive Masking Knowledge Distillation for Object Detection
School of Computer and Electronic Information, Nanjing Normal University（南京师范大学计算机与电子信息学院）
针对现有注意力引导特征掩码蒸馏缺乏细粒度线索的问题，提出空间感知自适应掩码知识蒸馏框架SAMKD，结合空间分层特征掩码与掩码logit蒸馏，显著提升目标检测学生模型性能。
2025-03-24 cs.CV
Distilling Object Detectors with Feature Richness
University of Science and Technology of China（中国科学技术大学）；SKL of Computer Architecture, Institute of Computing Technology, CAS（中国科学院计算技术研究所计算机体系结构国家重点实验室）；Cambricon Technologies（寒武纪科技）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，大规模深度模型取得了巨大的成功，但巨大的计算复杂性和海量存储需求使其在资源有限的设备中部署面临巨大挑战。知识蒸馏作为一种模型压缩和加速方法，通过转移教师检测器中的暗知识，有效地提高了小模型的性能。然而，现有的基于提取的检测方法主要是模仿边界框附近的特征，这受到两个局限性。首先，它们忽略了边界框之外的有益特征。第二，这些方法模仿了一些被教师检测器误认为背景的特征。为了解决上述问题，我们提出了一种新的特征丰富度分数（FRS）的方法来选择重要的功能，提高广义检测能力在提取。所提出的方法有效地检索边界框外的重要功能，并删除边界框内的有害功能。大量的实验表明，我们的方法在基于锚和无锚检测器上都取得了优异的性能。例如，RetinaNet与ResNet-50在COCO 2017数据集上的mAP达到39.7%，甚至超过了基于ResNet-101的教师检测器38.9%的0.8%。我们的实现可以在https://github.com/duzhixing/FRS上获得。
2021-12-17 cs.CV
Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；State Key Laboratory of Information Security, Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所信息安全国家重点实验室）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）；School of Cyber Science and Technology, Sun Yat-Sen University（中山大学网络空间科学与技术学院）
本文提出不一致知识蒸馏（IKD），通过样本特定数据增强和对抗性特征增强提取教师模型反直觉的频率与非鲁棒特征感知，在多种目标检测器上超越现有KD方法。
2024-02-21 cs.CV
DSD-DA: Distillation-based Source Debiasing for Domain Adaptive Object Detection
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Zhongguancun Laboratory（中关村实验室）
针对域自适应目标检测中的源偏差及目标域分类定位一致性差的问题，提出基于蒸馏的源去偏框架、目标相关定位网络和域感知一致性增强策略，显著提升检测性能，优于现有对齐类方法。
2024-05-17 cs.CV
Task-Balanced Distillation for Object Detection
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
主流的目标检测器通常由两个子任务组成，包括分类和回归任务，由两个并行的头来实现。这种经典的设计范例不可避免地导致分类分数和本地化质量（IOU）之间的不一致的空间分布。因此，本文从知识蒸馏的角度对这种错位现象进行了解释。首先，我们观察到，大规模的教师实现了更高比例的和谐预测比轻量级的学生。基于这一有趣的观察，一种新的和谐分数（HS）的设计，以估计对齐的分类和回归质量。HS模型两个子任务之间的关系，并被视为先验知识，以促进和谐的预测，为学生。其次，这种空间错位会导致提取特征时区域选择不协调。为了缓解这个问题，一个新的任务解耦的特征提取（TFD），提出了灵活的平衡分类和回归任务的贡献。最终，HD和TFD构成了所提出的方法，命名为任务平衡蒸馏（TBD）。大量的实验表明，所提出的方法的相当大的潜力和推广。具体而言，当配备TBD时，RetinaNet与ResNet-50在COCO基准下达到41.0 mAP，优于最近的FGD和FRS。
2022-08-05 cs.CV
Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
现有的大多数用于Few-Shot目标检测的方法遵循微调范例，其潜在地假设可以通过这样的两阶段训练策略从具有丰富样本的基类隐式地学习和转移类不可知的可泛化知识到具有有限样本的新类。然而，这并不一定是真的，因为对象检测器很难区分类不可知的知识和类特定的知识自动没有明确的建模。在这项工作中，我们建议明确学习三种类型的基础类和新类之间的类不可知的共性：关联相关的语义共性，本地化相关的语义共性和分布共性。我们设计了一个基于存储体的统一蒸馏框架，它能够联合有效地对所有三种类型的共性进行蒸馏。大量的实验表明，我们的方法可以很容易地集成到大多数现有的微调为基础的方法，并不断提高性能的大幅度。
2022-11-04 cs.CV
Two-Level Residual Distillation based Triple Network for Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；TAL Education Group（好未来教育集团）
基于卷积神经网络的现代目标检测方法在学习新的类时，在没有原始数据的情况下，存在严重的灾难性遗忘。由于时间消耗、存储负担和旧数据的隐私性，当模型训练后出现新的对象类时，不建议使用新旧数据从头开始训练模型。在本文中，我们提出了一种基于Faster R-CNN的新型增量对象检测器，可以在不使用旧数据的情况下从新对象类中不断学习。它是一个三重网络，其中旧模型和剩余模型作为辅助，以帮助在新类上进行增量模型学习，而不会忘记以前学习的知识。为了更好地保持新旧类之间的特征区分，在增量学习过程中，残差模型在新类上进行联合训练。此外，设计了相应的蒸馏方案来指导训练过程，该方案由两级剩余蒸馏损失和联合分类蒸馏损失组成。在VOC 2007和COCO上进行了大量的实验，实验结果表明，该方法能够有效地学习增量式检测新类别的对象，并在此背景下缓解了灾难性遗忘问题.
2020-07-27 cs.CV
Automatic adaptation of object detectors to new domains using self-training
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
这项工作解决了现有的对象检测器到一个新的目标域的无监督适应。我们假设来自该域的大量未标记的视频是现成的。我们通过使用现有检测器的高置信度检测来自动获得目标数据上的标签，并通过使用跟踪器利用时间线索获得硬（错误分类）示例。然后，这些自动获得的标签用于重新训练原始模型。提出了一种改进的知识蒸馏损失，并研究了几种方法分配软标签的训练样本从目标领域。我们的方法在具有挑战性的人脸和行人检测任务上进行了经验评估：在WIDER-Face上训练的人脸检测器，由从网络上抓取的高质量图像组成，适用于大规模的监控数据集;在BDD-100 K驾驶数据集的清晰白天图像上训练的行人检测器适用于所有其他场景，如下雨，有雾，夜间。我们的研究结果表明，将从跟踪获得的硬例子的有用性，使用软标签通过蒸馏损失与硬标签的优势，并显示出有前途的性能作为一个简单的方法，无监督领域自适应的对象检测器，与超参数的依赖性最小。
2019-04-15 cs.CV cs.LG
TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning
Peking University（北京大学）；NIO（蔚来）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）
为了实现准确且低成本的3D目标检测，现有方法提出利用由LiDAR模态提供的空间线索来使基于相机的多视图检测器受益，例如，密集的深度监控和鸟瞰图（BEV）功能。然而，它们直接进行从LiDAR到相机的点对点模拟，这忽略了前景目标的内部几何形状，并且受到2D-3D特征之间的模态间隙的影响。在本文中，我们提出了从LiDAR模态到基于相机的BEV检测器的目标内部几何结构的学习方案，用于密集深度和BEV特征，称为TiG-BEV。首先，我们引入了一个内部深度监督模块来学习不同前景像素之间的低级相对深度关系。这使得基于相机的检测器能够更好地理解对象的空间结构。其次，我们设计了一个内部特征BEV提取模块来模仿前景目标中不同关键点的高级语义。为了进一步缓解两种模态之间的BEV特征差距，我们采用通道间和关键点间蒸馏进行特征相似性建模。通过我们的目标内部几何蒸馏，TiG-BEV可以有效地将BEVDepth提高+2.3% NDS和+2.4% mAP，同时BEVDet在nuScenes val set上提高+9.1% NDS和+10.3% mAP。代码将在https://github.com/ADLab3Ds/TiG-BEV上提供。
2022-12-28 cs.AI cs.CV
Focal and Global Knowledge Distillation for Detectors
ByteDance Inc（字节跳动公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；BeiHang University（北京航空航天大学）
将知识蒸馏成功地应用于图像分类。然而，目标检测是一个非常复杂的问题，大多数知识蒸馏方法都无法解决这一问题，本文指出在目标检测中，教师和学生的特征在不同的区域，特别是在前景和背景中存在很大的差异。如果我们平等地提取它们，特征图之间的不均匀差异将对提取产生负面影响。因此，我们提出了焦点和全局蒸馏（FGD）。焦点蒸馏分离前景和背景，迫使学生专注于教师的关键像素和通道。全局蒸馏重建不同像素之间的关系，并将其从教师转移到学生，补偿焦点蒸馏中丢失的全局信息。由于我们的方法只需要计算特征图上的损失，因此FGD可以应用于各种检测器。我们对具有不同主干的各种检测器进行了实验，结果表明学生检测器实现了出色的mAP改进。例如，基于ResNet-50的RetinaNet，Faster RCNN，RepPoints和Mask RCNN使用我们的蒸馏方法在COCO 2017上实现了40.7%，42.0%，42.0%和42.1%的mAP，分别比基线高3.3，3.6，3.4和2.9。我们的代码可在https://github.com/yzd-v/FGD上获得。
2022-03-09 cs.CV
Learning Lightweight Pedestrian Detector with Hierarchical Knowledge Distillation
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；Tsinghua University（清华大学）
构建一个适合于现实世界应用的行人检测系统仍然是非常具有挑战性的，这对准确性和速度都有要求。本文提出了一种新的分层知识蒸馏框架来学习轻量级行人检测器，该框架在保持高精度的同时显著降低了计算成本。按照“教师-学生”图，一个更强大，更深入的神经网络可以教一个轻量级的网络学习更好的表示，我们探索多个知识蒸馏架构，并重新构建这种方法作为一个统一的，分层蒸馏框架。特别是，所提出的蒸馏在多个层次，多个阶段，在现代检测器，这使学生检测器同时学习低层次的细节和高层次的抽象。实验结果表明，我们的框架训练的学生模型，在6倍压缩的参数数量，仍然取得了竞争力的性能作为教师模型上广泛使用的行人检测基准。
2019-09-20 cs.CV
Creating Lightweight Object Detectors with Model Compression for Deployment on Edge Devices
NetEase Ltd.（网易公司）
为了实现部署在边缘设备上的轻量级对象检测器，本文提出了一种有效的模型压缩流水线。压缩流水线由主干的自动通道修剪、分支层的固定通道删除和引导学习的知识蒸馏组成。因此，Resnet 50-v1 d在ImageNet上自动修剪和微调，以获得紧凑的基础模型作为对象检测器的支柱。然后，轻量级的对象检测器实现与建议的压缩流水线。例如，创建了模型大小=16.3MB、FLOPS=2.31G和mAP=71.2的SSD-300，显示出比SSD-300-MobileNet更好的结果。
2019-05-06 cs.CV eess.IV
Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection
研究增量目标检测问题，提出共生启发的知识蒸馏方法（SIKD），通过空间共生蒸馏和语义共生蒸馏在两个层面利用对象共生，有效解决现有方法不足，实验验证了该方法的有效性和优越性。
2026-07-16 cs.AI cs.CV
IDa-Det: An Information Discrepancy-aware Distillation for 1-bit Detectors
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
知识蒸馏（KD）已被证明是有用的训练紧凑的目标检测模型。然而，我们观察到KD往往是有效的，当教师模型和学生对应共享类似的建议信息。这解释了为什么现有的KD方法对于1位检测器不太有效，这是由实值教师和1位学生之间的显著信息差异引起的。本文提出了一种信息差异感知策略（IDa-Det）来提取1位检测器，该策略可以有效地消除信息差异，并显著减小1位检测器与其实值检测器之间的性能差距。我们制定的精馏过程作为一个双层优化配方。在内部层次，我们选择具有最大信息差异的代表性建议。然后，我们引入了一种新的熵蒸馏损失，以减少所选择的建议的基础上的差距。大量的实验表明，IDa-Det的优越性超过国家的最先进的1位检测器和KD方法的PASCAL VOC和COCO数据集。IDa-Det实现了具有ResNet-18主干的1位Faster-RCNN的76.9% mAP。我们的代码在https://github.com/SteveTsui/IDa-Det上开源。
2022-10-07 cs.CV
Open-Vocabulary One-Stage Detection with Hierarchical Visual-Language Knowledge Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Institute of Basic Medical Sciences（北京基础医学研究所）；Nanchang Hangkong University（南昌航空大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
开放词汇目标检测的目的是检测训练集之外的新对象类别。先进的开放词汇两阶段检测器采用实例级视觉到视觉知识蒸馏来将检测器的视觉空间与预训练视觉语言模型（PVLM）的语义空间对齐。然而，在更有效的一级检测器中，类不可知的对象建议的缺乏阻碍了对看不见的对象的知识蒸馏，导致严重的性能下降。本文提出了一种层次化的可视化语言知识蒸馏方法，HierKD，用于开放词汇单阶段检测。具体而言，一个全球级的知识蒸馏探索从PVLM的看不见的类别的知识转移到检测器。此外，我们结合所提出的全球层面的知识蒸馏和共同的实例层面的知识蒸馏学习的知识，同时看到和看不见的类别。在MS-COCO上进行的大量实验表明，我们的方法在零次检测（zero-shot detection）和广义零次检测（generalized zero-shot detection）设置下分别获得11.9%和6.7%的$AP_{50}$增益，显着超过了之前最好的一级检测器，并将$AP_{50}$性能差距从14%缩小到7.3%与最好的两级检测器相比。
2022-03-20 cs.CV
Label-Consistent Dataset Distillation with Detector-Guided Refinement
University of Toyama（东浓大学）；Hokkaido University（北海道大学）；Niigata University（新潟大学）；Toyohashi University of Technology（toyohashi技术大学）
本文提出一种检测器引导的数据集蒸馏方法，通过利用预训练检测器识别并精修异常合成样本，提升数据集的标签一致性和图像质量，实现更优的下游性能。
2026-02-18 cs.CV
Towards automatic smoke detector inspection: Recognition of the smoke detectors in industrial facilities and preparation for future drone integration
Brno University of Technology（布尔诺理工大学）；VSB - Technical University of Ostrava（俄斯特拉发技术大学）；University of Ostrava（俄斯特拉发大学）；Mendel University in Brno（布尔诺孟德尔大学）
本文提出自动检测系统中的烟雾探测器识别方法，通过比较不同检测器在真实与半合成数据上的表现，验证YOLOv11n在烟雾探测器检测中的优越性。
2026-03-25 cs.CV cs.LG cs.RO
Learnable Instance Attention Filtering for Adaptive Detector Distillation
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Bowling Green State University（博林格林州立大学）
本文提出LIAF-KD框架，通过可学习的实例选择器动态评估和重新加权实例重要性，提升检测器蒸馏效果，在KITTI和COCO数据集上实现2%的提升。
2026-03-27 cs.CV
Gradient-Guided Knowledge Distillation for Object Detectors
Bowling Green State University（博林格林州立大学）
深度学习模型在目标检测方面取得了显著的成功，但它们的复杂性和计算强度对将它们部署到现实世界的应用中构成了障碍（例如，自动驾驶感知）。知识蒸馏（KD）是获取高效模型的有效途径。然而，只有少数KD方法解决了目标检测。此外，他们中的大多数人专注于模仿教师模型的普通特征，但很少考虑这些特征对最终检测的贡献。在本文中，我们提出了一种新的方法，知识蒸馏目标检测，命名为知识引导知识蒸馏（GKD）。我们的GKD使用梯度信息来识别并为显著影响检测丢失的特征分配更多权重，从而使学生能够从教师那里学习最相关的特征。此外，我们提出了边界盒感知的多粒度特征模仿（BMFI），以进一步提高KD性能。在KITTI和COCO-Traffic数据集上的实验证明了该方法在目标检测的知识蒸馏中的有效性。在一级和两级检测器上，我们的GKD-BMFI分别导致平均5.1%和3.8%的mAP改善，击败了各种最先进的KD方法。
2023-03-07 cs.CV
Distilling Object Detectors with Fine-grained Feature Imitation
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最先进的基于CNN的识别模型通常在计算上禁止部署在低端设备上。一个很有前途的解决这一问题的高级方法是知识蒸馏，它让小学生模型模仿繁琐的教师模型的输出，以提高泛化能力。然而，相关的方法主要集中在简单的分类任务，而没有考虑复杂的任务，如目标检测。我们表明，将香草知识蒸馏应用于检测模型得到的收益很小。为了解决检测模型中知识提取的难题，提出了一种利用特征响应的交叉位置差异的细粒度特征模仿方法。我们的直觉是，探测器更关心局部近目标区域。因此，特征响应的差异附近的对象锚位置揭示了教师模型如何倾向于推广的重要信息。我们设计了一种新的机制来估计这些位置，并让学生模型模仿他们的老师，以获得增强的性能。我们首先在一个开发的轻量级玩具检测器上验证了这个想法，该检测器在具有挑战性的KITTI数据集上携带了当前最先进的基于锚的检测模型的最简单概念，与非模仿的对应物相比，我们的方法为学生模型生成了高达15%的mAP提升。然后，我们在各种场景下使用Faster R-CNN模型对该方法进行了广泛的评估，并使用Pascal VOC和COCO的常见目标检测基准，与教师相比，模拟学生模型的性能下降高达74%。代码发布于https://github.com/twangnh/Distilling-Object-Detectors
2019-06-09 cs.AI cs.CV cs.LG
