Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models
Hokkaido University(北海道大学);University of Nevada, Reno(内华达大学拉斯维加斯分校)
本文提出CLP-DD方法,通过闭式解法和判别损失提升预训练视觉模型的数据集蒸馏效果,相比传统方法在计算效率和性能上均有显著提升。
2026-11-17 cs.AI cs.CV cs.LG
RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
Arizona State University(亚利桑那州立大学)
本文提出 RNAS-CL,利用跨层知识蒸馏让 NAS 自动匹配教师层监督学生层,从而搜索出小型且对对抗攻击鲁棒的神经架构。
2023-01-19 cs.CV cs.LG
Trust-Aware Diversion for Data-Effective Distillation
The University of Queensland(昆士兰大学);Auckland University of Technology(奥克兰理工大学);Jilin University(吉林大学)
本文提出信任感知分流(TAD)数据集蒸馏方法,通过迭代双环优化划分可信与不可信空间并重新校准错误标注样本,在多个错误标注场景下显著提升现有蒸馏方法性能。
2025-02-07 cs.CV
Contrastive Knowledge Distillation for Anomaly Detection in Multi-Illumination/Focus Display Images
KAIST(韩国科学技术院);Hanyang University(汉阳大学);Samsung Display(三星显示)
针对多光照/多聚焦显示图像异常检测,提出基于对比蒸馏(MCD)和混合模块的方法,在MMdAD数据集上显著超越现有方法。
2026-09-09 cs.CV cs.LG
Cross-Layer Distillation with Semantic Calibration
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学)
知识蒸馏是一种通过利用教师模型的输出来增强学生模型的泛化能力的技术。最近,基于特征图的变体探索了中间层中手动分配的师生对之间的知识转移,以进一步改进。然而,层语义可能在不同的神经网络和人工层关联的语义不匹配会导致性能退化,由于负正则化。为了解决这个问题,我们提出了语义校准跨层知识蒸馏(SemCKD),自动分配适当的目标层的教师模型为每个学生层的注意力机制。通过学习的注意力分布,每个学生层提取包含在多个教师层中的知识,而不是特定的中间层,以进行适当的跨层监督。我们进一步提供了理论分析的关联权重,并进行了广泛的实验,以证明我们的方法的有效性。代码可在\url{https://github.com/DefangChen/SemCKD}获得。
2021-08-29 cs.AI cs.CV cs.LG
TeSLA: Test-Time Self-Learning With Automatic Adversarial Augmentation
EPFL(洛桑联邦理工学院);CHUV(洛桑大学医院)
大多数最近的测试时自适应方法只关注分类任务,使用专门的网络架构,破坏模型校准或依赖于来自源域的轻量级信息。为了解决这些问题,本文提出了一种新的测试时自学习方法与自动对抗增强称为TeSLA的适应预训练的源模型的未标记的流测试数据。与传统的基于交叉熵的自学习方法不同,本文通过互信息和在线知识蒸馏的隐式紧密联系,引入了一种新的测试时间损失函数。此外,我们提出了一个可学习的高效对抗增强模块,通过模拟高熵增强图像进一步增强在线知识蒸馏。我们的方法实现了国家的最先进的分类和分割结果的几个基准和类型的域的变化,特别是在具有挑战性的测量位移的医学图像。与竞争方法相比,TeSLA还受益于几个理想的特性,包括校准、不确定性度量、对模型架构的不敏感性和源培训策略,所有这些都得到了广泛消融的支持。我们的代码和模型可以在GitHub上找到。
2023-03-17 cs.CV
IDa-Det: An Information Discrepancy-aware Distillation for 1-bit Detectors
Zhongguancun Laboratory(中关村实验室);Beihang University(北京航空航天大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
知识蒸馏(KD)已被证明是有用的训练紧凑的目标检测模型。然而,我们观察到KD往往是有效的,当教师模型和学生对应共享类似的建议信息。这解释了为什么现有的KD方法对于1位检测器不太有效,这是由实值教师和1位学生之间的显著信息差异引起的。本文提出了一种信息差异感知策略(IDa-Det)来提取1位检测器,该策略可以有效地消除信息差异,并显著减小1位检测器与其实值检测器之间的性能差距。我们制定的精馏过程作为一个双层优化配方。在内部层次,我们选择具有最大信息差异的代表性建议。然后,我们引入了一种新的熵蒸馏损失,以减少所选择的建议的基础上的差距。大量的实验表明,IDa-Det的优越性超过国家的最先进的1位检测器和KD方法的PASCAL VOC和COCO数据集。IDa-Det实现了具有ResNet-18主干的1位Faster-RCNN的76.9% mAP。我们的代码在https://github.com/SteveTsui/IDa-Det上开源。
2022-10-07 cs.CV
Importance-Aware Adaptive Dataset Distillation
Hokkaido University(北海道大学)
针对大规模数据集存储传输成本高、隐私版权风险及现有数据集蒸馏方法参数统一处理性能差的问题,提出IADD方法,通过自适应分配网络参数权重提升蒸馏效果,在多基准和医疗场景验证了有效性与跨架构泛化优势。
2024-01-29 cs.AI cs.CV cs.LG
A lightweight network for photovoltaic cell defect detection in electroluminescence images based on neural architecture search and knowledge distillation
Southeast University(东南大学);Southeast University Shenzhen Research Institute(东南大学深圳研究院)
随着光伏电站的快速发展,对光伏组件的现场可靠维护和故障诊断提出了越来越高的要求。由于卷积神经网络(CNN)的有效性,在现有的光伏电池缺陷自动检测中得到了广泛的应用。然而,这些基于CNN的模型的参数非常大,这需要严格的硬件资源,很难在实际的工业项目中应用。为了解决这些问题,提出了一种基于神经结构搜索和知识蒸馏的新型轻量级高性能光伏电池电致发光(EL)图像缺陷自动检测模型。为了自动设计一个有效的轻量级模型,我们首次将神经结构搜索引入光伏电池缺陷分类领域。由于缺陷可以是任意大小,我们设计了一个合适的网络搜索结构,以更好地利用多尺度特性。为了提高搜索到的轻量级模型的整体性能,我们基于知识蒸馏,进一步传递现有预训练大规模模型所学习到的知识。不同类型的知识被开发和转移,包括注意信息,特征信息,logit信息和面向任务的信息。实验结果表明,该模型在EL图像的公共光伏电池数据集上,在线数据增强后,准确率达到91.74%,参数为1.85 M,达到了最佳性能。所提出的轻量级高性能模型可以很容易地部署到实际工业项目的终端设备,并保持准确性。
2023-02-15 cs.CV
DistPro: Searching A Fast Knowledge Distillation Process via Meta Optimization
ByteDance Inc.(字节跳动公司);UC Merced(加州大学默塞德分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
最近的知识蒸馏(KD)研究表明,不同的手工设计的方案影响学习的结果显着。然而,在KD中,自动搜索最佳蒸馏方案尚未得到很好的探索。在本文中,我们提出了DistPro,一个新的框架,通过可微元学习搜索最佳KD过程。具体来说,给定一对学生和教师网络,DistPro首先建立了一组丰富的KD连接从教师的发送层到学生的接收层,同时,还提出了各种变换来比较沿其路径的特征图进行蒸馏。然后,连接和变换选择(路径)的每个组合与随机加权过程相关联,该过程指示其在蒸馏期间的每个步骤的重要性。在搜索阶段,过程可以有效地学习,通过我们提出的双层元优化策略。在蒸馏阶段,DistPro采用学习过程进行知识蒸馏,这显著提高了学生的准确性,特别是在需要更快的训练时。最后,我们发现学习过程可以在类似的任务和网络之间推广。在我们的实验中,DistPro在流行数据集(即CIFAR100和ImageNet)上不同数量的学习时期下产生了最先进的(SoTA)准确性,这证明了我们框架的有效性。
2022-04-12 cs.CV
Domain Adaptable Fine-Tune Distillation Framework For Advancing Farm Surveillance
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));Fujairah Research Center(富查伊拉研究中心)
本研究提出用于骆驼农场监控的自动化框架,结合统一自动标注与微调蒸馏技术,将大模型知识转移至轻量级YOLOv8,实现高效实时目标检测。
2024-02-10 cs.CV
ASR is all you need: cross-modal distillation for lip reading
University of Oxford(牛津大学);Naver Corporation(Naver公司)
这项工作的目标是训练强大的模型,视觉语音识别,而不需要人类注释地面实况数据。我们实现这一点,从一个自动语音识别(ASR)模型,已在一个大规模的音频语料库训练。我们使用一个跨模态蒸馏方法,结合了连接主义时间分类(CTC)与帧的交叉熵损失。我们的贡献有四个方面:(i)我们证明了地面真实transmittance对于训练唇读系统是不必要的;(ii)我们展示了如何利用任意数量的未标记视频数据来提高性能;(iii)我们证明了蒸馏显着加快了训练;(iv)我们在具有挑战性的LRS 2和LRS 3数据集上获得了最先进的结果,仅在公开数据上进行训练。
2020-03-31 cs.CV cs.SD eess.AS
Context-Aware Knowledge Distillation with Adaptive Weighting for Image Classification
School of Computing(计算学院)
提出自适应知识蒸馏框架,动态调整平衡因子并引入上下文感知模块,在CIFAR-10上以ResNet-50/18实现更高准确率和更稳定收敛。
2025-08-30 cs.CV
BPKD: Boundary Privileged Knowledge Distillation For Semantic Segmentation
The University of Adelaide(阿德莱德大学);The University of Queensland(昆士兰大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61部门)
本文提出边界特权知识蒸馏(BPKD),通过分别蒸馏教师模型的边缘与躯干知识,采用边缘损失和躯干损失,在三个基准数据集上实现语义分割的最先进蒸馏性能,并适用于多种轻量级结构。
2023-09-01 cs.CV
AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories
Nanyang Technological University(南洋理工大学)
本文提出AST框架,通过平滑高质量专家轨迹对齐、裁剪损失与梯度惩罚、代表性初始化及中间匹配损失等策略提升数据集蒸馏效果,实验证明其显著优于现有方法。
2023-11-27 cs.AI cs.CV cs.LG
Single image calibration using knowledge distillation approaches
DASIA;CLIRISGROUP
尽管最近的基于深度学习的校准方法可以从单个图像预测外部和内部相机参数,但它们的推广仍然受到训练数据样本的数量和分布的限制。巨大的计算和空间需求阻止了卷积神经网络(CNN)在资源受限的环境中实现。这一挑战促使我们逐渐学习CNN,通过训练新数据,同时保持先前学习数据的性能。我们的方法建立在CNN架构之上,使用不同的增量学习策略自动估计相机参数(焦距、俯仰和滚动),以便在更新网络以获得新的数据分布时保留知识。准确地说,我们通过修改四种常见的增量学习,即:LwF,iCaRL,LU CIR和BiC的损失函数来适应我们的回归问题。我们评估两个数据集,包含299008室内和室外图像。实验结果表明,该方法是一种较好的摄像机标定方法。
2022-12-05 cs.CV
Learning with Semantic Priors: Stabilizing Point-Supervised Infrared Small Target Detection via Hierarchical Knowledge Distillation
School of Software Technology, Dalian University of Technology(大连理工大学软件学院)
本文提出分层知识蒸馏框架,通过冻结视觉基础模型提升点监督红外小目标检测的准确性和稳定性,引入语义条件仿射调制和动态协同学习策略以增强鲁棒性。
2026-05-14 cs.CV
Ultrafast Video Attention Prediction with Coupled Knowledge Distillation
Beihang University(北京航空航天大学);iQIYI, Inc(爱奇艺公司);Peking University(北京大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
大型卷积神经网络模型最近在视频注意力预测方面表现出令人印象深刻的性能。通常,这些模型具有密集的计算和大内存。为了解决这些问题,我们设计了一个具有超快速度的轻量级网络,名为UVA-Net。该网络基于深度卷积构建,并将低分辨率图像作为输入。然而,这种直接的加速方法会显著降低性能。为此,我们提出了一个耦合的知识蒸馏策略,以增加和训练网络有效。通过这种策略,模型可以进一步自动发现和强调数据中包含的隐含有用线索。由高分辨率复杂教师网络学习的时空知识也可以被提取并转移到所提出的低分辨率轻量级时空网络中。实验结果表明,该模型在视频注意力预测方面的性能可与11种最先进的模型相媲美,而它仅占用0.68 MB内存,在GPU上运行约10,106 FPS,在CPU上运行约404 FPS,比以前的模型快206倍。
2020-01-02 cs.CV
Taught Well Learned Ill: Towards Distillation-conditional Backdoor Attack
State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院);Nanyang Technological University(南洋理工大学)
本文提出蒸馏条件后门攻击DCBA及SCAR方法,通过双层优化让教师模型携带难检测后门,并在知识蒸馏后激活于学生模型。
2025-09-28 cs.AI cs.CR cs.CV
Video Set Distillation: Information Diversification and Temporal Densification
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本文首次提出视频集蒸馏问题,并用IDTD通过特征池、选择器与时间融合器同时削减样本内和样本间冗余,取得视频数据集蒸馏最优结果。
2024-11-28 cs.CV
MDM: Advancing Multi-Domain Distribution Matching for Automatic Modulation Recognition Dataset Synthesis
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);Institute of China Electronics Technology Group Corporation 36th Research Institute(中国电子科技集团公司第三十六研究所);College of Information And Communication Engineering, Harbin Engineering University(哈尔滨工程大学信息与通信工程学院);National Key Laboratory of Electromagnetic Space Security(电磁空间安全全国重点实验室)
针对AMR训练数据规模过大的问题,本文提出多域分布匹配数据集蒸馏方法MDM,联合时域与频域分布匹配损失合成压缩数据集,并在三个AMR数据集及跨架构模型上验证了更优性能与泛化能力。
2024-08-05 cs.AI cs.LG
DistScene: Object-to-Scene Distillation for 3D Scene Generation
The Hong Kong University of Science and Technology(香港科技大学);TeleAI, China Telecom(中国电信TeleAI)
提出DistScene框架,通过显式建模环境组件、联合生成场景帧与对象、以对象为中心的细化及对象到场景蒸馏,实现单图像组合式3D场景生成,提升场景级空间一致性。
2026-10-07 cs.CV
The Emotions of the Crowd: Learning Image Sentiment from Tweets via Cross-modal Distillation
Università di Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);IIT-CNR(意大利国家研究委员会信息技术研究所)
针对社交媒体图像情感极性预测依赖人工标注训练集的问题,提出基于跨模态蒸馏的自动化方法,用文本教师模型指导视觉学生模型训练,构建约150万张的弱标注数据集,在五个基准上超越当前最优水平。
2023-04-28 cs.CV
Imagine with the Teacher: Complete Shape in a Multi-View Distillation Way
Computer College, Sichuan University(四川大学计算机学院)
提出VD-PCN网络,利用知识蒸馏的教师-学生策略,通过多视图蒸馏方式将2D图像处理优势引入3D点云补全,在多个数据集上验证了有效性。
2025-01-31 cs.CV
RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies
National University of Defense Technology(国防科技大学);Chinese Academy of Sciences(中国科学院)
神经网络结构搜索(NAS)在有效神经网络结构的自动设计方面取得了巨大的进展,但存在计算量大的问题。One-shot NAS通过权重共享显著减轻了负担,并提高了计算效率。Zero-shot NAS通过从初始状态预测网络的性能进一步降低了成本,该状态不进行任何训练。这两种方法都旨在区分“好”和“坏”架构,即,预测和真实性能的一致性。本文提出了一种提高排序一致性的排序蒸馏单次NAS(RD-NAS)算法,该算法利用零成本代理作为廉价教师,采用边际排序损失提取排序知识。具体来说,我们提出了一个边缘子网采样器提取排名知识从zero-shot NAS到one-shot NAS通过引入组距离作为保证金。我们对NAS-Bench-201和基于ResNet的搜索空间的评估表明,RD-NAS的排名能力分别提高了10.7%和9.65%。我们的代码可在https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution上获得
2023-01-24 cs.CV
Self Supervision to Distillation for Long-Tailed Visual Recognition
Nanjing University(南京大学)
深度学习在大规模平衡数据集上的视觉识别方面取得了显着进展,但在现实世界的长尾数据上仍然表现不佳。以往的方法通常采用类再平衡训练策略来有效缓解不平衡问题,但可能存在过拟合尾类的风险。最近的解耦方法通过使用多阶段训练方案克服了过拟合问题,然而,它仍然无法在特征学习阶段捕获尾类信息。在本文中,我们表明,软标签可以作为一个强大的解决方案,将标签相关到一个多阶段的训练计划长尾识别。软标签所体现的类之间的内在联系,有助于长尾识别,将知识从头部转移到尾部类。具体来说,我们提出了一个概念上简单但特别有效的多阶段训练计划,称为自监督蒸馏(SSD)。该方案由两部分组成。首先,我们介绍了一个自蒸馏框架的长尾识别,它可以自动挖掘标签关系。其次,提出了一种新的自监督引导的蒸馏标签生成模块。提取的标签集成了标签和数据域的信息,可以有效地建模长尾分布。我们进行了广泛的实验,我们的方法在三个长尾识别基准测试中取得了最先进的结果:ImageNet-LT,CIFAR 100-LT和iNaturalist 2018。我们的SSD在各种数据集上从$2.7\%$到$4.5\%$都优于强大的LWS基线。该代码可在https://github.com/MCG-NJU/SSD-LT上获得。
2021-09-09 cs.CV
TinyViT: Fast Pretraining Distillation for Small Vision Transformers
Microsoft Research(微软研究院);Microsoft Cloud+AI(微软云与人工智能部门)
视觉Transformer(Visiontransformer,ViT)由于其出色的建模能力,近年来在计算机视觉领域引起了广泛的关注。然而,大多数流行的ViT模型受到大量参数的影响,限制了它们在资源有限的设备上的适用性。为了缓解这个问题,我们提出了TinyViT,这是一个新的小型高效的小型视觉Transformer家族,它使用我们提出的快速蒸馏框架在大规模数据集上进行了预训练。其核心思想是将知识从大型预训练模型转移到小型模型,同时使小型模型能够获得大量预训练数据的红利。更具体地说,我们在知识转移的预培训期间应用蒸馏。大型教师模型的logit被稀疏化并预先存储在磁盘中,以节省内存开销和计算开销。微型学生Transformers是从具有计算和参数约束的大型预训练模型自动缩小的。综合实验证明了TinyViT的有效性。它在ImageNet-1 k上实现了84.8%的top-1准确率,只有21 M个参数,与在ImageNet-21 k上预训练的Swin-B相当,而使用的参数少了4.2倍。此外,提高图像分辨率,TinyViT可以达到86.5%的准确率,略优于Swin-L,而仅使用11%的参数。最后但并非最不重要的是,我们展示了TinyViT在各种下游任务上的良好传输能力。代码和模型可在https://github.com/microsoft/Cream/tree/main/TinyViT上获得…
2022-07-21 cs.CV
Decoupled Multimodal Distilling for Emotion Recognition
Nanjing University of Science and Technology(南京理工大学)
人类多模态情感识别(MER)的目标是通过语言,视觉和听觉模态感知人类的情感。尽管以前的MER方法的令人印象深刻的性能,固有的多模态异质性仍然困扰和不同的方式的贡献有很大差异。在这项工作中,我们提出了一个解耦的多模态蒸馏(DMD)的方法,有利于灵活和自适应的跨模态知识蒸馏,旨在提高每一个模态的判别功能,以减轻这个问题。特别地,每个模态的表示被解耦成两个部分,即,模态无关/排他性空间,以自回归的方式。DMD为每个解耦部分使用一个图蒸馏单元(GD单元),以便每个GD可以以更专业和更有效的方式执行。GD单元由动态图组成,其中每个顶点表示模态,每个边表示动态知识蒸馏。这种GD范式提供了一种灵活的知识转移方式,其中蒸馏权重可以自动学习,从而实现多样化的跨模态知识转移模式。实验结果表明,DMD始终获得优于国家的最先进的MER方法的性能。可视化结果表明,DMD中的图边缘表现出有意义的分布模式w.r.t.模态无关/排他性特征空间。代码在\url{https://github.com/mdswyz/DMD}发布。
2023-03-24 cs.CV
Designing an Improved Deep Learning-based Model for COVID-19 Recognition in Chest X-ray Images: A Knowledge Distillation Approach
College of Engineering, University of Tehran(德黑兰大学工程学院);Isfahan University of Technology(伊斯法罕理工大学)
本研究通过知识蒸馏将VGG19和ResNet50V2的知识转移给MobileNetV2,旨在降低计算成本并提升胸部X射线图像中COVID-19识别的性能,达到与最先进模型相当的水平。
2023-09-04 cs.CV eess.IV
Knowledge distillation with Segment Anything (SAM) model for Planetary Geological Mapping
University of Passau(帕绍大学)
本文提出利用知识蒸馏结合SAM模型,通过少量提示标注训练专用解码器,实现行星地质制图的快速语义分割,减少专家标注负担,加速地外发现。
2023-05-15 cs.CV cs.SY eess.SY
JEP-KD: Joint-Embedding Predictive Architecture Based Knowledge Distillation for Visual Speech Recognition
First Research Institute of the Ministry of Public Security of PRC(中华人民共和国公安部第一研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出JEP-KD方法,通过在嵌入层引入生成网络并利用预训练ASR音频特征进行知识蒸馏,配合多模态多阶段训练,有效缩小视觉语音识别与自动语音识别的性能差距,并验证了其跨平台通用性。
2024-03-04 cs.CL cs.CV cs.LG
Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation
Central South University(中南大学);Hangzhou Dianzi University(杭州电子科技大学);Communication University of Zhejiang(浙江传媒学院);Northeastern University(东北大学)
提出MuDuo框架,利用SAM-Med3D和SegAnyPET分别从CT和PET中蒸馏知识到轻量学生网络,实现半监督器官分割,仅用5个标注样本在AutoPET数据集上达到最优性能。
2026-06-16 cs.AI cs.CV
Seeing Heat with Color -- RGB-Only Wildfire Temperature Inference from SAM-Guided Multimodal Distillation using Radiometric Ground Truth
Dept. of Electrical and Computer Engineering, Clemson University(电子与计算机工程系,克莱姆森大学)
本文提出SAM-TIFF教师-学生蒸馏框架,首次实现仅用RGB无人机影像进行像素级野火温度回归与分割,并在FLAME 3数据集上验证了泛化性能,为低成本无热传感器野火监测奠定基础。
2025-05-03 cs.AI cs.CV eess.IV
MuDD: A Multimodal Deception Detection Dataset and GSR-Guided Progressive Distillation for Non-Contact Deception Detection
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院)
本文提出MuDD多模态欺骗检测数据集及GSR引导的渐进蒸馏方法,通过跨模态知识蒸馏提升非接触欺骗检测性能,实验表明其在欺骗检测和隐藏数字识别上达到最优。
2026-04-05 cs.AI cs.CV
Contrastive Learning-Based Spectral Knowledge Distillation for Multi-Modality and Missing Modality Scenarios in Semantic Segmentation
Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science(印度科学学院罗伯特·博世网络物理系统中心);Indian Institute of Science(印度科学学院)
本文提出CSK-Net,通过对比学习光谱知识蒸馏和混合特征交换机制,提升光学与红外图像语义分割性能,并在缺失模态推理下以无额外计算成本超越现有模型。
2023-12-04 cs.AI cs.CV
How many Observations are Enough? Knowledge Distillation for Trajectory Forecasting
University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学);University of Padova(帕多瓦大学)
准确预测未来人体位置是现代视频监控系统的一项重要任务。当前最先进的模型通常依赖于过去跟踪位置的“历史”(例如,3到5秒)来预测未来位置的合理序列(例如,直到下一个5秒)。我们认为这种常见的模式忽略了现实应用的关键特征:由于输入轨迹的集合涉及机器感知(即,检测和跟踪),不正确的检测和分段错误可能在拥挤的场景中积累,导致跟踪漂移。由于这个原因,该模型将被馈送有损坏和噪声的输入数据,从而致命地影响其预测性能。在这方面,我们专注于在只使用很少的输入观察时提供准确的预测,从而潜在地降低与自动感知相关的风险。为此,我们设想了一种新的蒸馏策略,允许从教师网络到学生网络的知识转移,后者用较少的观察(只有两个)。我们表明,一个适当定义的教师监督允许学生网络执行的最先进的方法,需要更多的观察。此外,对常见轨迹预测数据集的广泛实验表明,我们的学生网络更好地概括了看不见的场景。
2022-03-09 cs.AI cs.CV
UAD: Unsupervised Affordance Distillation for Generalization in Robotic Manipulation
Stanford University(斯坦福大学)
针对机器人操作中现有视觉可用性预测依赖人工标注或预定义任务的问题,提出无监督可用性蒸馏方法UAD,利用基础模型自动生成标注数据训练模型,提升对野外场景、未知物体及指令的泛化能力。
2025-08-25 cs.AI cs.CV cs.RO
TiGDistill-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning Distillation
University of Macau(澳门大学);Beijing Institute of Technology(北京理工大学);Peking University(北京大学);Beijing Jiaotong University(北京交通大学)
本文提出 TiGDistill-BEV,通过目标内部深度监督和内部特征 BEV 蒸馏,将 LiDAR 知识迁移到相机检测器,在 nuScenes 上以 62.8% NDS 达到领先水平。
2024-12-30 cs.CV
TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning
Peking University(北京大学);NIO(蔚来);The Chinese University of Hong Kong(香港中文大学);University of Chinese Academy of Sciences(中国科学院大学)
为了实现准确且低成本的3D目标检测,现有方法提出利用由LiDAR模态提供的空间线索来使基于相机的多视图检测器受益,例如,密集的深度监控和鸟瞰图(BEV)功能。然而,它们直接进行从LiDAR到相机的点对点模拟,这忽略了前景目标的内部几何形状,并且受到2D-3D特征之间的模态间隙的影响。在本文中,我们提出了从LiDAR模态到基于相机的BEV检测器的目标内部几何结构的学习方案,用于密集深度和BEV特征,称为TiG-BEV。首先,我们引入了一个内部深度监督模块来学习不同前景像素之间的低级相对深度关系。这使得基于相机的检测器能够更好地理解对象的空间结构。其次,我们设计了一个内部特征BEV提取模块来模仿前景目标中不同关键点的高级语义。为了进一步缓解两种模态之间的BEV特征差距,我们采用通道间和关键点间蒸馏进行特征相似性建模。通过我们的目标内部几何蒸馏,TiG-BEV可以有效地将BEVDepth提高+2.3% NDS和+2.4% mAP,同时BEVDet在nuScenes val set上提高+9.1% NDS和+10.3% mAP。代码将在https://github.com/ADLab3Ds/TiG-BEV上提供。
2022-12-28 cs.AI cs.CV
MMARD: Improving the Min-Max Optimization Process in Adversarial Robustness Distillation
Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院)
本文提出MMARD方法,通过引入教师鲁棒预测使训练样本逼近决策边界,并利用三角关系结构化建模增强多场景互信息理解,解决了对抗鲁棒性蒸馏中鲁棒信息缺失和鲁棒性饱和问题,在多个基准上达到最先进性能。
2025-03-09 cs.CV
Automatic adaptation of object detectors to new domains using self-training
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
这项工作解决了现有的对象检测器到一个新的目标域的无监督适应。我们假设来自该域的大量未标记的视频是现成的。我们通过使用现有检测器的高置信度检测来自动获得目标数据上的标签,并通过使用跟踪器利用时间线索获得硬(错误分类)示例。然后,这些自动获得的标签用于重新训练原始模型。提出了一种改进的知识蒸馏损失,并研究了几种方法分配软标签的训练样本从目标领域。我们的方法在具有挑战性的人脸和行人检测任务上进行了经验评估:在WIDER-Face上训练的人脸检测器,由从网络上抓取的高质量图像组成,适用于大规模的监控数据集;在BDD-100 K驾驶数据集的清晰白天图像上训练的行人检测器适用于所有其他场景,如下雨,有雾,夜间。我们的研究结果表明,将从跟踪获得的硬例子的有用性,使用软标签通过蒸馏损失与硬标签的优势,并显示出有前途的性能作为一个简单的方法,无监督领域自适应的对象检测器,与超参数的依赖性最小。
2019-04-15 cs.CV cs.LG
Data Distillation: Towards Omni-Supervised Learning
Facebook AI Research (FAIR)(Facebook 人工智能研究院)
我们研究了全监督学习,一种特殊的半监督学习机制,其中学习者利用所有可用的标记数据加上互联网规模的未标记数据源。全方位监督学习在现有标记数据集上的性能下限,提供了超越最先进的全监督方法的潜力。为了利用全监督设置,我们提出了数据蒸馏,这是一种使用单个模型集成来自未标记数据的多个变换的预测的方法,以自动生成新的训练注释。我们认为,视觉识别模型最近已经变得足够准确,现在可以将关于自我训练的经典思想应用于挑战现实世界的数据。我们的实验结果表明,在人体关键点检测和一般目标检测的情况下,使用数据蒸馏训练的最先进的模型超过了单独使用COCO数据集的标记数据的性能。
2017-12-12 cs.CV
OmniFaceRig: Fully Automatic Inner-Mouth-Aware Face Rigging Across Diverse 3D Character Topologies
Reality Labs, Meta(Meta现实实验室)
提出全自动端到端管道OmniFaceRig,将静态表面网格转换为含内口几何的FACS绑定,支持人类、人形及多种动物拓扑,无需手动标注或模板。
2026-11-06 cs.CV cs.GR
A System-driven Automatic Ground Truth Generation Method for DL Inner-City Driving Corridor Detectors
Robert Bosch GmbH(罗伯特·博世有限公司)
数据驱动的感知方法在自动驾驶系统中已经得到了很好的应用。在许多领域甚至达到了超人的性能。与预测和规划方法不同,感知域主要使用监督学习算法。因此,剩余的主要挑战是有效生成真值数据。由于感知模块位于传感器附近,因此它们通常在高带宽的原始传感器数据上运行。因此,真值标签的生成通常导致大量的人工工作,这导致标签本身和必要的质量控制的高成本。在这方面的贡献,我们提出了一个自动标记的方法,语义分割的驾驶自我走廊,减少了人工的努力的一个因素,150个以上。所提出的整体方法可以用于自动数据循环,允许不断改进依赖的感知模块。
2022-07-20 cs.AI cs.CV cs.RO
A semi-automatic computer-aided method for surgical template design
Shanghai Jiao Tong University(上海交通大学);Graz University of Technology(格拉茨技术大学)
本文提出了一个通用的集成框架的半自动手术模板设计。实现了网格分割、等距面生成、碰撞检测、直纹面生成等算法,并开发了专用软件TemDesigner。通过简单的用户界面,可以根据术前计划半自动设计定制模板。该方法首先利用顶点带符号标量的网格分割方法,根据指示点环从输入曲面网格中分割出内曲面;然后,通过对内表面距离场进行轮廓化处理,得到内表面的等距面,并对等距面进行分割,生成外表面。直纹面用于连接内表面和外表面。最后,通过碰撞检测和合并,根据术前规划生成钻管。它已被应用于各种手术的模板设计,包括口腔种植,颈椎椎弓根螺钉插入,髂骶螺钉插入和截骨术,证明了我们的方法的效率,功能和通用性。
2016-02-04 cs.CG cs.CV cs.GR
Automatic Pollen Grain and Exine Segmentation from Microscope Images
在这篇文章中,我们提出了一种自动分割的方法花粉粒显微图像,其次是自动分割其外壁。外壁分割的目的是将花粉粒分成两个感兴趣的区域:外壁和内部。由粗到细的方法确保了两种结构的平滑和准确分割。作为一个粗略的阶段,颗粒分割是由一个程序,涉及聚类和形态学操作,而外壁是近似的迭代程序,包括在连续裁剪步骤的花粉粒。执行基于snake的分割以细化两个结构的分割。结果表明,我们的分割方法是能够处理不同类型的花粉,以及与不同类型的外壁和内部的外观。所提出的分割方法旨在通用,并已被设计为自动花粉分类框架的核心步骤之一。
2015-03-19 cs.CV
K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings
Amazon Web Services(亚马逊云服务)
提出K-OPSD方法,利用可验证监督的在线自蒸馏和交叉熵损失微调Qwen3-VL,提升AEC图纸理解,在AECV-Bench上取得最高评判分数和综合准确率。
2026-09-29 cs.AI cs.CV