Revisit to Segment: Working Memory Distillation for Reasoning Segmentation
Xiaohongshu（小红书）；NTU（南洋理工大学）；PKU（北京大学）
提出工作记忆蒸馏框架SWiM，通过利用模型自生成的工作记忆并蒸馏其指导，增强多模态大语言模型的推理分割能力，在基准上达到最优性能。
2026-10-06 cs.CV
I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation
LabISEN, Vision-AD, ISEN Ouest（LabISEN视觉与人工智能研究所）
针对语义分割，提出I2CKD知识蒸馏方法，通过类别原型与三元组损失对齐师生模型的类内、类间特征分布，并在三个数据集上验证有效。
2025-02-21 cs.CV
VPBSD:Vessel-Pattern-Based Semi-Supervised Distillation for Efficient 3D Microscopic Cerebrovascular Segmentation
本文提出基于血管模式的半监督蒸馏流水线VpbSD，通过构建血管模式码本并融合知识蒸馏与半监督学习，有效解决了3D显微脑血管分割中高分辨率、标注难和数据量大的挑战。
2024-11-14 cs.CV
Cross-Image Relational Knowledge Distillation for Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；Wuhan University（武汉大学）
当前用于语义分割的知识蒸馏（KD）方法通常引导学生模仿教师从个体数据样本生成的结构化信息。然而，它们忽略了对KD有价值的各种图像中像素之间的全局语义关系。本文提出了一种新的跨图像关系KD（CIRKD），它的重点是在整个图像之间传输结构化的像素到像素和像素到区域的关系。动机是一个好的教师网络可以根据全局像素依赖性构建一个结构良好的特征空间。CIRKD使学生模仿教师更好的结构化语义关系，从而提高分割性能。在Cityscapes、CamVid和Pascal VOC数据集上的实验结果证明了我们所提出的方法对最先进的蒸馏方法的有效性。该代码可在https://github.com/winycg/CIRKD上获得。
2022-05-10 cs.CV
Boosting Text-Driven Video Segmentation via Geometry-Aware Distillation
Beijing Institute of Technology（北京理工大学）
提出GeoLaV两阶段框架，通过单目几何预训练和几何感知蒸馏，将3D几何知识从图像迁移到视频，提升文本驱动视频分割的时空一致性和语言定位能力，在多个基准上达到最优。
2026-06-24 cs.CV
Knowledge Distillation by On-the-Fly Native Ensemble
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd（视觉语义有限公司）
知识蒸馏是一种有效的训练小而通用的网络模型，以满足低内存和快速运行的要求。现有的离线蒸馏方法依赖于一个强大的预先培训的教师，这使得有利的知识发现和转移，但需要一个复杂的两阶段培训程序。在线同行以缺乏高能力教师为代价解决了这一限制。在这项工作中，我们提出了一个在飞本地Encriminator（ONE）的一级在线蒸馏策略。具体来说，ONE只训练一个多分支网络，同时在运行中建立一个强大的老师来增强目标网络的学习。广泛的评估表明，ONE在CIFAR 10、CIFAR 100、SVHN和ImageNet四个图像分类数据集上比其他方法更显著地提高了各种深度神经网络的泛化性能，同时具有计算效率优势。
2018-09-08 cs.CV
Offline-to-Online Knowledge Distillation for Video Instance Segmentation
DGIST（大邱庆北科学技术院）
在本文中，我们提出了离线到在线的知识蒸馏（OOKD）的视频实例分割（VIS），它将丰富的视频知识从离线模型转移到在线模型进行一致性预测。与以往的方法，采用在线或离线模型，我们的单一在线模型通过提取离线知识，利用这两个模型。为了正确地传递知识，我们提出了查询过滤和关联（QFA），它将不相关的查询过滤到确切的实例。我们的KD与QFA增加了鲁棒性的特征匹配编码对象为中心的功能，从一个单一的帧补充的长期全球信息。我们还提出了一个简单的数据增强计划，知识蒸馏在VIS任务，公平地转移到在线模型的所有类的知识。大量的实验表明，我们的方法显着提高了视频实例分割的性能，特别是对于具有挑战性的数据集，包括长，动态序列。我们的方法在YTVIS-21、YTVIS-22和OVIS数据集上也达到了最先进的性能，mAP得分分别为46.1%、43.6%和31.1%。
2023-02-15 cs.CV
Channel Attention-Guided Cross-Modal Knowledge Distillation for Referring Image Segmentation
School of Information Science and Technology, TaiShan University, Taian, China（信息科学与技术学院，泰山大学，泰安，中国）
本文提出通道注意力引导的跨模态知识蒸馏方法，用于指代图像分割，通过迁移教师网络学习的视觉语言高阶细粒度相关性和通道语义相关性，提升学生网络性能，减少计算资源消耗。
2026-04-18 cs.CV
Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation
基于线性集成的策略，即，已经提出了平均集成，以提高无监督领域自适应任务中的性能。然而，一个典型的UDA任务通常是挑战动态变化的因素，如可变的天气，视图和背景中的未标记的目标域。大多数以前的集成策略忽略了UDA的动态和不可控的挑战，面临有限的特征表示和性能瓶颈。为了增强模型的域间适应性和降低集成模型部署时的计算成本，提出了一种新的框架，即实例感知的模型集成与蒸馏，IMED，它根据不同的实例自适应地融合多个UDA组件模型，并将这些组件蒸馏成一个小模型。IMED的核心思想是一种动态的实例感知集成策略，对于每个实例，学习一个非线性融合子网络，融合多个组件模型的提取特征和预测标签。非线性融合方法可以帮助集成模型处理动态变化的因素。在学习了一个对不同变化因素具有良好适应性的大容量集成模型后，我们利用集成教师模型通过知识蒸馏来指导一个紧凑的学生模型的学习。此外，我们提供了理论分析的有效性IMED的UDA。在各种UDA基准数据集上进行了广泛的实验，例如，Office 31，Office Home和VisDA 2017显示了基于IMED的模型在可比计算成本下优于最先进的方法。
2022-11-15 cs.CV
Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation
Alibaba Group（阿里巴巴集团）；The University of Adelaide（阿德莱德大学）
提出一种结合数据与特征增强的相互知识蒸馏框架，通过两个平均教师模型生成伪标签监督学生网络，在多种半监督设置下超越现有最先进方法。
2023-08-30 cs.CV
Label-guided Attention Distillation for Lane Segmentation
Megvii Technology Limited（旷视科技有限公司）；Beihang University（北京航空航天大学）
针对FCNs难以捕捉车道标记长距离上下文的问题，提出标签引导注意力蒸馏（LGAD）方法，利用教师网络提取标签结构注意力图监督学生网络，显著提升分割性能且不增加推理时间。
2023-04-04 cs.CV
Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation
Sorbonne Université（索邦大学）；Heuritech（赫瑞科技）
无监督领域自适应（UDA）是一种迁移学习任务，旨在通过利用标记的源域在未标记的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范围之外，现实世界的感知系统面临着各种各样的场景，从不同的照明条件到世界各地的许多城市。在这种情况下，具有多个域的UDA由于在不同靶域内增加了分布偏移而增加了挑战。这项工作的重点是一个新的框架，学习UDA，连续UDA，其中模型操作顺序发现的多个目标域，没有访问以前的目标域。我们提出了MuHDi，多头蒸馏，一种方法，解决了灾难性遗忘问题，固有的持续学习任务。MuHDi从以前的模型以及辅助目标专家分割头中进行多层次的蒸馏。我们报告了具有挑战性的多目标UDA语义分割基准的广泛消融和实验，以验证所提出的学习方案和架构。
2022-04-25 cs.CV
CrossMatch: Enhance Semi-Supervised Medical Image Segmentation with Perturbation Strategies and Knowledge Distillation
Guilin University of Electronic Technology（桂林电子科技大学）
针对半监督医学图像分割中无标注数据利用不足的问题，提出结合图像级与特征级双重扰动及自知识蒸馏的CrossMatch框架，在不增加计算成本的前提下显著提升分割精度与泛化性，性能优于现有最优方法。
2024-08-07 cs.CV
BPKD: Boundary Privileged Knowledge Distillation For Semantic Segmentation
The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61部门）
本文提出边界特权知识蒸馏（BPKD），通过分别蒸馏教师模型的边缘与躯干知识，采用边缘损失和躯干损失，在三个基准数据集上实现语义分割的最先进蒸馏性能，并适用于多种轻量级结构。
2023-09-01 cs.CV
TTT-KD: Test-Time Training for 3D Semantic Segmentation through Knowledge Distillation from Foundation Models
TU Wien（维也纳工业大学）；TU Graz（格拉茨工业大学）；CDL-EML；Ulm University（乌尔姆大学）；Yildiz Technical University（伊兹密尔技术大学）
本文提出首个3D语义分割测试时训练方法TTT-KD，利用基础模型知识蒸馏作为自监督目标，在测试时适应分布偏移，在室内外基准上显著提升分布内和分布外性能。
2024-03-18 cs.CV
CEKD:Cross Ensemble Knowledge Distillation for Augmented Fine-grained Data
Hangzhou Dianzi University（杭州电子科技大学）；University of Sydney（悉尼大学）；UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；Australian Centre for Field Robotics（澳大利亚现场机器人研究中心）
数据增强已被证明在训练深度模型方面是有效的。现有的数据增强方法通过混合图像对并根据混合像素的统计信息融合相应的标签来解决细粒度问题，这会产生额外的噪声，对网络的性能有害。基于此，我们提出了一个简单而有效的交叉集成知识蒸馏（CEKD）模型的细粒度特征学习。我们创新性地提出了一个交叉蒸馏模块，以提供额外的监督，以减轻噪音问题，并提出了一个协作集成模块，以克服目标冲突问题。所提出的模型可以以端到端的方式进行训练，并且只需要图像级标签监督。广泛使用的细粒度基准测试的大量实验证明了我们提出的模型的有效性。具体来说，在ResNet-101的基础上，CEKD在三个数据集上的准确率分别为89.59%、95.96%和94.56%，比最先进的API-Net高出0.99%、1.06%和1.16%。
2022-03-13 cs.CV
Robust feature knowledge distillation for enhanced performance of lightweight crack segmentation models
The University of Sydney（悉尼大学）；Hohai University（河海大学）
针对知识蒸馏轻量化裂缝分割模型抗噪性不足的问题，提出RFKD框架，融合教师模型logit与中间特征并使用干净/噪声混合图像训练0.5 M参数的PCT学生模型，噪声图像mDS较SOTA KD提升62%。
2024-04-09 cs.CV
MEGA: Multimodal Alignment Aggregation and Distillation For Cinematic Video Segmentation
Amazon Prime Video（亚马逊Prime视频）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对电影长视频分割中多模态对齐融合缺失的问题，提出MEGA方法，通过对齐位置编码、增强型瓶颈融合层和新型对比损失实现跨模态标签传递，在两个数据集上性能优于现有最优方法。
2023-08-22 cs.CV
Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Nanyang Technological University（南洋理工大学）
本文解决了将知识从大型教师模型提取到用于LiDAR语义分割的小型学生网络的问题。直接采用先前的蒸馏方法由于点云的固有挑战而产生较差的结果，即，稀疏性、随机性和密度变化。为了解决上述问题，我们提出了点到体素知识蒸馏（PVD），它转移隐藏的知识，从点的水平和体素水平。具体来说，我们首先利用逐点和逐体素输出蒸馏来补充稀疏监督信号。然后，为了更好地利用结构信息，我们将整个点云划分为几个超体素，并设计了一个困难感知的采样策略，以更频繁地采样包含不太频繁的类和遥远的对象的超体素。在这些超体素上，我们提出了点间和体素间的亲和性蒸馏，其中点和体素之间的相似性信息可以帮助学生模型更好地捕获周围环境的结构信息。我们对两个流行的LiDAR分割基准进行了广泛的实验，即，nuScenes和SemanticKITTI。在这两个基准测试中，我们的PVD在三个代表性主干上的表现始终优于以前的蒸馏方法，即，Pudder3D、SPVNAS和MinkowskiNet。值得注意的是，在具有挑战性的nuScenes和SemanticKITTI数据集上，我们的方法可以在竞争性的Bullder3D模型上实现大约75%的MAC减少和2倍的加速，并在所有已发布的算法中在SemanticKITTI排行榜上排名第一。我们的代码可在https://github.com/cardwing/Codes-for-PVKD上获得。
2022-06-05 cs.CV
Bridging the Gap in Missing Modalities: Leveraging Knowledge Distillation and Style Matching for Brain Tumor Segmentation
Hangzhou Dianzi University（杭州电子科技大学）；Tsinghua University（清华大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对医学图像中模态缺失导致的脑肿瘤分割精度不足问题，提出融合多尺度Transformer知识蒸馏、双模式Logit蒸馏与全局风格匹配的MST-KDNet，在BraTS和FeTS 2024数据集上性能优于现有方法，具备临床应用潜力。
2025-07-30 cs.CV
Inter-Region Affinity Distillation for Road Marking Segmentation
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）；Nanyang Technological University（南洋理工大学）
我们研究了将知识从大型深度教师网络提取到更小的学生网络以完成道路标记分割任务的问题。在这项工作中，我们探索了一种新的知识蒸馏（KD）的方法，可以转移“知识”的场景结构更有效地从教师到学生模型。我们的方法被称为区域间亲和力KD（IntRA-KD）。它将给定的道路场景图像分解成不同的区域，并将每个区域表示为图中的节点。然后，通过基于节点在特征分布中的相似性在节点之间建立成对关系来形成区域间亲和图。为了从教师网络中学习结构知识，学生需要匹配教师生成的图。该方法在三个大规模道路标记分割基准上显示出有希望的结果，即，ApolloScape、CULane和LLAMAS，以各种轻量级模型为学生，以ResNet-101为老师。与以前的蒸馏方法相比，IntRA-KD在所有轻量级型号上始终带来更高的性能增益。我们的代码可在https://github.com/cardwing/Codes-for-IntRA-KD上获得。
2020-04-11 cs.CV
DiDA: Video Object Segmentation with Distillation Learning of Deformable Attention
Hong Kong University of Science and Technology（香港科技大学）；Deakin University（迪肯大学）；Trinity College Dublin（都柏林三一学院）
提出DiDA方法，利用可变形注意力蒸馏学习实现轻量级视频对象分割，在DAVIS和YouTube-VOS基准上达到最先进性能并优化内存使用。
2026-10-01 cs.CV
Multi-Dataset Cross-Domain Knowledge Distillation for Unified Medical Image Segmentation, Classification, and Detection
Faculty of Mathematics and Computer Science, University of Bucharest（布加勒斯特大学数学与计算机科学学院）；Gheorghe Mihoc-Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院格奥尔基·米霍茨-凯奥斯·伊阿科夫学院数学统计与应用数学研究所）
本文提出了一种统一的跨领域迁移学习框架，通过多个异构医学影像数据集的知识提升分割、分类和目标检测性能，采用教师-学生范式，通过多级知识蒸馏训练任务特定的学生模型，扩展支持图像分类和目标检测，实现医学图像分析的多任务统一。
2026-05-02 cs.CV
Displacement Preserving Relational Distillation for Robust Medical Segmentation
Bowling Green State University（鲍灵格林州立大学）；The University of Findlay（芬德利大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；University of Toronto（多伦多大学）；University of Houston - Clear Lake（休斯顿大学清水湖分校）；UTHealth Houston（德克萨斯大学健康科学中心休斯顿分校）
针对准确3D医学分割受解剖变异性和高计算成本限制的问题，提出位移保持关系蒸馏方法，通过基于向量对齐蒸馏潜在解剖轨迹，集成到nnU-Net后在基准测试中表现优异。
2026-07-07 cs.CV
ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly Detection
针对KDAD中学生易复制教师表征且教师特征利用不足的问题，提出ADPS非对称蒸馏与WMB/PSM后分割框架，在MVTec AD和KolektorSDD2上AP分别提升9%和20%。
2023-07-24 cs.CV
No Modality Left Behind: Adapting to Missing Modalities via Knowledge Distillation for Brain Tumor Segmentation
Medical Image Analysis（医学影像分析）
提出AdaMM框架，利用知识蒸馏和三个协同模块处理多模态MRI中模态缺失问题，在多个数据集上显著提升分割精度和鲁棒性。
2026-06-06 cs.CV
Avatar Knowledge Distillation: Self-ensemble Teacher Paradigm with Uncertainty
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
本文提出Avatar知识蒸馏（AKD），通过扰动变换生成教师模型的推理集成体Avatars，并利用不确定性感知因子自适应调整其知识转移贡献，在不增加计算成本下显著提升了密集预测任务的性能。
2023-11-20 cs.CV
ReCo-KD: Region- and Context-Aware Knowledge Distillation for Efficient 3D Medical Image Segmentation
McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston (UTHealth Houston)（麦威廉生物医学信息学学院，德克萨斯大学健康科学中心休斯顿分校（UTHealth休斯顿））
ReCo-KD通过区域和上下文感知的知识蒸馏方法，在不需自定义学生设计的情况下，实现高效3D医学图像分割的轻量化模型，提升临床应用的实用性。
2026-01-13 cs.CV
Marine Saliency Segmenter: Object-Focused Conditional Diffusion with Region-Level Semantic Knowledge Distillation
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, The University of Sydney（悉尼大学计算机学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出基于扩散模型的海洋显著性分割器DiffMSS，通过区域级语义知识蒸馏和共识确定性采样，解决水下目标定位错误与边界不精确问题，并在实验中优于现有方法。
2025-06-01 cs.CV
Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation
School of Artificial Intelligence, Xidian University, China（西安电子科技大学人工智能学院）；Department of Information Engineering and Computer Science, University of Trento, Italy（特伦托大学信息工程与计算机科学系）；Department of Automation, Tsinghua University, China（清华大学自动化系）；School of Computer Science and Information Engineering, Hefei University of Technology, China（合肥工业大学计算机科学与信息工程学院）
本文提出GKD方法，通过多阶段框架提升视觉基础模型在语义分割中的领域外泛化能力，实验显示其在基础到基础和基础到局部蒸馏中均取得显著优势。
2026-03-03 cs.CV
Structural and Statistical Texture Knowledge Distillation and Learning for Segmentation
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文提出 SSTKD 框架，通过 CDM、TIEM/QDL 及 C-TIEM 挖掘并蒸馏结构化与统计纹理知识，并构建 STLNet++、U-SSNet，在三类分割任务和七个基准上取得最先进性能。
2025-03-16 cs.CV
Knowledge Distillation from Cross Teaching Teachers for Efficient Semi-Supervised Abdominal Organ Segmentation in CT
Armed Forces Yangju Hospital（杨州武装部队医院）；Seoul National University（首尔国立大学）
对于用于医学图像分割的深度学习模型的更多临床应用，必须解决对标记数据和计算资源的高要求。该研究提出了一个由粗到细的框架，其中包含两个教师模型和一个学生模型，该框架结合了知识蒸馏和交叉教学，基于伪标签的一致性正则化，用于有效的半监督学习。在MICCAI FLARE 2022挑战下，在CT图像中的腹部多器官分割任务上证明了所提出的方法，验证集和测试集中的平均Dice分数分别为0.8429和0.8520。
2022-11-11 cs.CV eess.IV
Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation
Tianjin University（天津大学）；Horizon Robotics（地平线机器人）
夜间语义分割的性能受到光照不足和缺乏像素级标注的限制，严重限制了其在自动驾驶中的应用。现有工程，例如，使用微光作为中间目标域来执行从白天到夜晚的适配可能无法处理由相机设备和城市风格引起的数据集之间的固有差异。面对这两种类型的域转移，即，针对数据集的光照和固有差异，提出了一种基于跨域相关蒸馏的领域自适应框架CCDistill。充分挖掘了两幅图像之间的光照不变性或内在差异，弥补了夜间图像标签的不足。具体地说，我们提取特征中包含的内容和风格知识，计算两幅图像之间的固有或光照差异程度。领域自适应是利用同类差分的不变性来实现的。在Dark Zurich和ACDC上的大量实验表明，CCDistill在夜间语义分割方面达到了最先进的性能。值得注意的是，我们的方法是一个单阶段的领域自适应网络，可以避免影响推理时间。我们的实现可以在www.example.com上获得。
2022-05-02 cs.CV
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation-Extended Abstract
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出分层解耦匹配网络HDMNet，利用transformer架构挖掘像素级支持相关性，结合自注意力模块和相关性蒸馏技术，解决了少样本分割中分割粒度粗糙和训练集过拟合的问题，在COCO数据集上取得了优异表现。
2023-06-27 cs.CV
Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach
University of the Bundeswehr Munich（慕尼黑联邦国防军大学）
提出一种知识蒸馏方法统一语义分割标签空间，通过教师模型生成约束伪标签训练学生模型，在城市和越野驾驶领域超越教师，构建最大自动驾驶复合数据集。
2025-02-26 cs.CV
Uni-Light: An Ultra-Lightweight Framework via Uncertainty-Aware Knowledge Distillation for Brain Tumour Segmentation
School of Computer Science, University of Nottingham（诺丁汉大学计算机学院）；Sharif University of Technology（谢里夫理工大学）；University of Pittsburgh（匹兹堡大学）
本文提出超轻量级框架Uni-Light，结合多尺度卷积与不确定性感知知识蒸馏及符号距离场边界损失，在BraTS2023-GLI和MSD-BTS上参数减少97.56%、FLOPs减少73.03%，Dice平均提升1.47%，实现高效高精度脑肿瘤分割。
2026-09-14 cs.CV
Make a Strong Teacher with Label Assistance: A Novel Knowledge Distillation Approach for Semantic Segmentation
Fudan University（复旦大学）；Bosch Corporate Research（博世企业研究中心）；Mogo.ai Information and Technology Co., Ltd（摩技人工智能信息技术有限公司）
提出一种无需复杂教师模型或额外传感器信息的标签辅助蒸馏方法，通过向标签添加噪声并融入输入训练轻量级教师，配合双路径一致性策略，在多个数据集和模型上验证了有效性和泛化性。
2024-07-18 cs.CV
Prototype Knowledge Distillation for Medical Segmentation with Missing Modality
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）；Southern University of Science and Technology（南方科技大学）
本文提出原型知识蒸馏方法ProtoKD，通过将多模态的像素级知识及类内类间特征变化迁移到单模态学生模型，解决医学分割中的缺失模态问题，并在BraTS上取得最优性能。
2023-04-17 cs.CV
Data-free Knowledge Distillation for Segmentation using Data-Enriching GAN
Indian Institute of Science（印度科学研究所）
从巨大的预训练网络中提取知识以提高微型网络的性能，有利于深度学习模型在许多实时和移动应用中的使用。在这一领域取得成功的几种方法利用了真实的训练数据集来提取相关知识。然而，在没有True数据集的情况下，从深度网络中提取知识仍然是一个挑战。最近的工作无数据知识蒸馏展示了这样的分类任务的技术。为此，我们探讨了无数据知识蒸馏的任务分割任务。首先，我们确定了细分所特有的几个挑战。我们利用DeGAN训练框架提出了一种新的损失函数，用于在少数类别代表性不足的情况下实施多样性。此外，我们探索了一个新的培训框架进行知识蒸馏在无数据的设置。与以前的方法相比，我们的平均IoU提高了6.93%。
2020-11-02 cs.CV eess.IV
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Tianjin University（天津大学）
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中，忽略了教师在培训过程中的知识，即教师的经验。然而，在现实的教育场景中，学习体验往往比学习结果更重要。在这项工作中，我们提出了一种新的知识蒸馏方法，通过整合教师的经验知识转移，命名为经验集成知识蒸馏（EEKD）。我们从教师模型的训练过程中统一保存了适量的中间模型，然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中，自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是，强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明，EEKD优于主流的知识蒸馏方法，达到了最新水平，特别是在节省训练成本的前提下，EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Multi-to-Single Knowledge Distillation for Point Cloud Semantic Segmentation
Fudan University（复旦大学）；Mogo Auto.（魔门塔汽车）
针对3D点云语义分割中困难类别性能不佳的问题，提出多对单知识蒸馏框架，通过多层级蒸馏及实例感知亲和力蒸馏，在SemanticKITTI数据集上实现了显著性能提升。
2023-04-28 cs.AI cs.CV
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta（阿尔伯塔大学）
针对弱监督组织病理学图像分割难题，提出基于MIL伪标签的迭代融合知识蒸馏框架，通过师生模型动态角色互换与加权损失优化，在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
Deep cross-modality (MR-CT) educed distillation learning for cone beam CT lung tumor segmentation
Memorial Sloan Kettering Cancer Center（纪念斯隆·凯特琳癌症中心）
尽管治疗室内锥形束计算机断层扫描（CBCT）成像广泛可用，但由于缺乏可靠的分割方法，CBCT仅用于肺部放射治疗中的总体设置校正。准确可靠的自动分割工具可以增强体积反应评估和几何引导的自适应放射治疗。因此，我们开发了一种新的深度学习CBCT肺部肿瘤分割方法。研究方法：我们的方法称为交叉模态导出蒸馏（CMEDL）的关键思想是使用磁共振成像（MRI）来指导CBCT分割网络训练，以在训练过程中提取更多信息特征。我们通过使用未配对的CBCT和MRI数据集训练由未配对域自适应（UDA）和跨域分割蒸馏网络（SDN）组成的端到端网络来实现这一点。特征提取使学生网络规则化以提取与由教师网络提取的MRI特征的统计分布相匹配的CBCT特征，并获得肿瘤与背景的更好区分。我们还比较了使用UDA与MR分割网络的替代框架，其中在合成的伪MRI表示上进行分割。所有网络均使用从不同患者队列中获得的216个每周CBCT和82个T2加权快速自旋回波MRI进行训练。对未用于培训的患者的20个每周CBCT进行了验证。对未用于培训或验证的患者的38个每周CBCT进行独立测试。分割精度使用表面Dice相似系数（SDSC）和Hausdroff距离在第95百分位数（HD95）度量。
2021-04-21 cs.CV eess.IV
Unpaired Multi-modal Segmentation via Knowledge Distillation
Imperial College London（伦敦帝国理工学院）；The Chinese University of Hong Kong（香港中文大学）
多模态学习通常使用包含模态特定层和共享层的网络架构来执行，利用不同模态的共配准图像。我们提出了一种新的学习方案，不成对的跨模态图像分割，具有高度紧凑的架构，实现卓越的分割精度。在我们的方法中，我们通过在CT和MRI上共享所有卷积核来大量重用网络参数，并且只使用计算相应统计数据的特定于模态的内部归一化层。为了有效地训练这样一个高度紧凑的模型，我们引入了一个新的损失项的启发知识蒸馏，明确限制KL发散我们推导出的预测分布之间的模态。我们已经在两个多类分割问题上广泛验证了我们的方法：i）心脏结构分割，以及ii）腹部器官分割。不同的网络设置，即，利用二维扩张网络和三维U-网来研究该方法的总体效果。这两个任务的实验结果表明，我们的新的多模态学习方案始终优于单模态训练和以前的多模态方法。
2020-01-06 cs.CV eess.IV
Shape-intensity knowledge distillation for robust medical image segmentation
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（武汉大学多媒体与网络通信工程湖北省重点实验室）；Medical Artificial Intelligence Research Institute of Renmin Hospital, Wuhan University（武汉大学人民医院医学人工智能研究院）
本文提出SIKD方法，通过知识蒸馏将形状-强度先验信息从教师网络转移到学生网络，提升医学图像分割的准确性和跨数据集泛化能力。
2024-09-26 cs.CV eess.IV
LightVessel: Exploring Lightweight Coronary Artery Vessel Segmentation via Similarity Knowledge Distillation
Henan University of Chinese Medicine（河南中医药大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，深度卷积神经网络（DCNN）在冠状动脉血管分割中取得了巨大的应用前景。然而，由于高性能方法具有过多的参数和高计算成本，因此难以在临床场景中部署复杂的模型。为了解决这个问题，我们提出了\textbf{LightVessel}，相似性知识蒸馏框架，轻量级冠状动脉血管分割。首先，我们提出了一个语义迁移建模的智能相似性蒸馏（FSD）模块。具体来说，我们计算来自编码器和解码器的对称层之间的特征相似性。然后将相似性作为知识从繁琐的教师网络转移到未经训练的轻量级学生网络。同时，为了鼓励学生模型学习更多的像素级语义信息，我们引入了对抗相似性蒸馏（ASD）模块。具体地说，ASD模块旨在分别从教师和学生模型中构建注释和预测之间的空间对抗相关性。通过ASD模块，学生模型获得了冠状动脉血管的细粒度精细边缘分割结果。在临床冠状动脉血管数据集上进行的大量实验表明，LightVessel优于各种知识蒸馏同行。
2023-02-25 cs.CV eess.IV
CCSD: Cross-Modal Compositional Self-Distillation for Robust Brain Tumor Segmentation with Missing Modalities
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；College of Biomedical Engineering, Fudan University（生物医学工程学院，复旦大学）；School of Medicine, Tongji University（医学院，同济大学）；College of Information Engineering, China Jiliang University（信息工程学院，中国嘉兴大学）
CCSD通过跨模态组合自蒸馏方法，提升在缺失模态下的脑肿瘤分割鲁棒性与泛化能力。
2026-03-05 cs.AI cs.CV
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
Few-Shot语义分割（FSS）旨在形成与类别无关的模型，该模型仅使用少量注释来分割不可见的类别。以前的方法局限于语义特征和原型表示，存在分割粒度粗和训练集过拟合的问题。本文基于Transformer架构设计了分层解耦匹配网络（HDMNet）挖掘像素级支持度相关。自注意模块用于辅助建立层次密集特征，作为完成查询和支持特征之间级联匹配的一种手段。此外，我们提出了一个匹配模块，以减少训练集过拟合，并引入相关性蒸馏，利用粗分辨率的语义对应来提高细粒度分割。我们的方法在实验中表现得很好。我们实现了$50.0\%$ mIoU上的\coco ~数据集一杆设置和$56.0\%$上的五杆分割，分别。
2023-03-26 cs.AI cs.CV
CoCo DistillNet: a Cross-layer Correlation Distillation Network for Pathological Gastric Cancer Segmentation
Beijing University of Posts and Telecommunications（北京邮电大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Shandong University of Science and Technology（山东科技大学）；Artificial Intelligence Research, CAS (CAS-AIR)（中国科学院人工智能研究院）
近年来，深度卷积神经网络在病理图像分割方面取得了重大进展。然而，病理图像分割遇到了一个困境，其中更高性能的网络通常需要更多的计算资源和存储。由于病理图像固有的高分辨率，这种现象限制了在真实场景中使用高精度网络。为了解决这个问题，我们提出了CoCo DistillNet，一种用于病理胃癌分割的新型跨层相关（CoCo）知识蒸馏网络。知识蒸馏是一种通用技术，旨在通过从复杂网络中转移知识来提高紧凑网络的性能。具体来说，我们的CoCo DistillNet对不同层之间通道混合空间相似性的相关性进行建模，然后将这些知识从预先训练的繁琐教师网络转移到未经训练的紧凑学生网络。此外，我们还利用对抗性学习策略来进一步促进提取过程，称为对抗性提取（AD）。此外，为了稳定我们的训练过程，我们使用无监督的释义模块（PM）来增强教师网络中的知识释义。因此，在胃癌分割数据集上进行的大量实验证明了CoCo DistillNet的突出能力，达到了最先进的性能。
2021-11-12 cs.CV eess.IV
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Rethinking Ensemble-Distillation for Semantic Segmentation Based Unsupervised Domain Adaptation
National Tsing Hua University（国立清华大学）
最近的无监督领域自适应（UDA）的研究表明，端到端集成学习框架作为一个令人信服的选择UDA任务。然而，这些端到端集成学习方法通常缺乏灵活性，因为对集成的任何修改都需要重新训练其框架。为了解决这个问题，我们提出了一个灵活的合奏蒸馏框架进行语义分割的UDA，允许任何任意组合的成员在合奏，同时仍然保持其优越的性能。为了实现这种灵活性，我们的框架被设计为对输出不一致和合奏内的成员的性能变化是强大的。为了检查我们的方法的有效性和鲁棒性，我们对GTA5到Cityscapes和SYNTHIA到Cityscapes基准进行了大量的实验，以定量检查我们的方法所实现的改进。我们进一步提供详细的分析，以验证我们的设计选择是实用和有益的。实验结果表明，该方法在基于语义分割的UDA任务中，相对于现有的基准方法，具有更好的性能、鲁棒性和灵活性。
2021-04-29 cs.CV cs.LG
CXR Segmentation by AdaIN-based Domain Adaptation and Knowledge Distillation
Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院金在哲人工智能研究生院）
由于分割标签是稀缺的，已经进行了广泛的研究，训练分割网络与域自适应，半监督或自监督学习技术，以利用丰富的未标记的数据集。然而，这些方法似乎彼此不同，因此不清楚如何将这些方法组合以获得更好的性能。受最近的多域图像翻译方法的启发，在这里，我们提出了一种新的分割框架，使用自适应实例归一化（AdaIN），使一个单一的生成器被训练来执行域自适应和半监督分割任务，通过知识蒸馏，通过简单地改变特定于任务的AdaIN代码。具体而言，我们的框架旨在处理胸部X射线照片（CXR）分割中的困难情况，其中标签仅适用于正常数据，但训练模型应适用于正常和异常数据。所提出的网络在域转移下表现出很大的泛化能力，并在异常CXR分割方面达到了最先进的性能。
2022-10-11 cs.CV cs.LG eess.IV
A Knowledge Distillation framework for Multi-Organ Segmentation of Medaka Fish in Tomographic Image
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨州凯泽斯劳滕-兰道应用技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Heidelberg University（海德堡大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
形态学图谱是生物体研究中的重要工具，现代高通量计算机断层扫描（CT）设备可以产生数百个生物体的全身高分辨率体积图像。然而，从这些体积创建图谱需要精确的器官分割。在过去的十年中，机器学习方法在图像分割任务中取得了令人难以置信的结果，但它们需要大量的注释数据进行训练。在本文中，我们提出了一个自我训练的框架，用于青鳉鱼断层图像中的多器官分割。我们利用来自预训练的教师模型的伪标记数据，并采用质量分类器来改进伪标记数据。然后，我们引入了一个逐像素的知识蒸馏方法，以防止过拟合的伪标记数据，提高分割性能。实验结果表明，我们的方法在完整数据集上将平均交集（IoU）提高了5.9%，并且在使用三倍标记的同时保持了质量。
2023-02-24 cs.CV cs.LG
EfficientSAM3: Progressive Hierarchical Distillation for Video Concept Segmentation from SAM1, 2, and 3
University of Bristol（布里斯托尔大学）
EfficientSAM3通过逐步层次蒸馏方法，从SAM3中高效迁移能力，实现轻量级视频概念分割与跟踪，兼顾性能与效率。
2025-11-19 cs.AI cs.CV
