StairNet: Top-Down Semantic Aggregation for Accurate One Shot Detection
KAIST（韩国科学技术院）
像SSD或YOLO这样的单级物体探测器已经显示出了很好的精度，内存占用量小，速度快。然而，人们普遍认为，一级检测器在检测小物体时有困难，而在检测大物体时，它们与两级方法有竞争力。在本文中，我们研究如何从SSD框架开始缓解这个问题。由于它们的金字塔式设计，负责小对象的较低层缺乏强大的语义（例如上下文信息）。我们通过引入一个功能组合模块，以自上而下的方式展开强语义来解决这个问题。我们的最终模型StairNet检测器有效地统一了多尺度表示和语义分布。在PASCAL VOC 2007和PASCAL VOC 2012数据集上的实验表明，StairNet显著改善了SSD的弱点，并优于其他最先进的一级检测器。
2017-09-18 cs.CV
OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection
Anyvision（Anyvision公司）
最近，神经结构搜索（NAS）已被用来设计特征金字塔网络（FPN），并取得了可喜的成果，用于视觉目标检测。在此基础上，提出了一种新的单次路径聚合网络结构搜索算法（One-Shot Path Aggregation Network Architecture Search，OPANAS），显著提高了搜索效率和检测精度。具体来说，我们首先引入六种异构信息路径来构建我们的搜索空间，即自顶向下、自底向上、融合分裂、规模均衡、跳过连接和无。其次，我们提出了一种新的搜索空间的FPN，其中每个FPN候选人表示的密集连接的有向无环图（每个节点是一个特征金字塔，每条边是六个异构的信息路径之一）。第三，我们提出了一种有效的一次性搜索方法来找到最佳的路径聚合结构，即我们首先训练一个超网，然后找到最佳的候选人与进化算法。实验结果证明了所提出的OPANAS用于目标检测的有效性：（1）OPANAS比现有技术的方法（例如，NAS-FPN和Auto-FPN），以显著更小的搜索成本（例如，在MS-COCO上只有4个GPU天）;（2）OPANAS发现的最佳架构显著提高了主流检测器，包括RetinaNet，Faster R-CNN和Cascade R-CNN，与FPN同行相比提高了2.3- 3.2%mAP;（3）与同等技术相比，以更小的训练成本实现了最新的准确性-速度权衡（7.6 FPS时52.2%mAP）。代码将在htt…
2021-03-11 cs.CV
Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation
Technical University of Munich（慕尼黑工业大学）；University of Melbourne（墨尔本大学）；German Aerospace Center（德国航空航天中心）
用少量标注样本训练语义分割模型在各种实际应用中具有巨大的潜力。对于Few-Shot分割任务，主要的挑战是如何在有限的训练数据的情况下准确地测量支持样本和查询样本之间的语义对应。为了解决这个问题，我们建议聚合可学习的协方差矩阵与可变形的4D Transformer，以有效地预测分割图。具体来说，在这项工作中，我们首先设计了一种新的硬示例挖掘机制来学习高斯过程的协方差内核。与现有的基于余弦相似性的方法相比，学习的协方差核函数在对应性测量方面具有很大的优势。基于学习的协方差核，一个有效的双变形4D Transformer模块的设计，自适应聚合特征相似性映射到分割结果。通过结合这两种设计，所提出的方法不仅可以在公共基准上设置新的最先进的性能，而且比现有的方法收敛得更快。在三个公开数据集上的实验证明了该方法的有效性。
2022-07-30 cs.CV
TreeNet: A lightweight One-Shot Aggregation Convolutional Network
深度卷积网络（CNN）的架构已经发展了多年，变得更加准确和快速。然而，它仍然是具有挑战性的设计合理的网络结构，旨在获得最佳的精度在有限的计算预算。在本文中，我们提出了一个树块，命名的外观，它扩展了一次聚合（OSA）模块，同时更轻量级和灵活。具体地，树块将OSA中的每个$3\times3$ Conv层替换为浅残差块（SRB）和$1\times1$ Conv层的堆叠。$1\times1$ Conv层负责增加维数，SRB被送入下一步骤。通过这样做，当聚合相同数量的后续特征图时，树块具有更深的网络结构，同时具有更低的模型复杂度。此外，剩余连接和有效的信道注意（ECA）被添加到树块，以进一步提高网络的性能。在Tree模块的基础上，我们建立了高效的主干模型TreeNets。TreeNet具有与ResNet类似的网络架构，因此可以灵活地在各种计算机视觉框架中取代ResNet。我们在常用的基准测试中全面评估了TreeNet，包括用于分类的ImageNet-1 k，用于目标检测的MS COCO和实例分割。实验结果表明，TreeNet是更有效的，并表现出良好的对当前国家的最先进的骨干方法。
2021-09-29 cs.CV
White Aggregation and Restoration for Few-shot 3D Point Cloud Semantic Segmentation
Sungkyunkwan University（全州大学）
研究少样本3D点云语义分割，针对现有方法问题，提出基于注意力机制的白色聚合与恢复模块（WARM），解决分布差距，生成有效原型，在多个数据集上取得良好性能，证明其在确定性原型生成中的有效性。
2026-07-13 cs.CV
TinyVLM: Zero-Shot Object Detection on Microcontrollers via Vision-Language Distillation with Matryoshka Embeddings
Independent Researcher（独立研究者）
TinyVLM通过Matryoshka嵌入和视觉-语言蒸馏，在微控制器上实现低内存的零样本目标检测
2026-02-24 cs.AI cs.CV
Few-shot semantic segmentation via mask aggregation
Wuhan University（武汉大学）
Few-Shot语义分割的目标是识别只有很少的标记数据的新类。这个具有挑战性的任务需要挖掘查询图像和支持图像之间的相关关系。以前的作品通常将其视为像素分类问题。因此，已经设计了各种模型来探索查询图像和支持图像之间的像素的相关性。然而，它们只关注像素对应，而忽略了对象的整体相关性。在本文中，我们介绍了一种基于掩码的分类方法来解决这个问题。提出了一种简单的掩模分类模型--掩模聚合网络（MANET），用于同时生成固定数量的掩模及其成为目标的概率。然后，通过根据它们的位置聚合所有掩模来获得最终的分割结果。在PASCAL-5^i和COCO-20^i数据集上的实验表明，该方法的性能优于现有的基于像素的方法。这种有竞争力的性能证明了掩模分类作为Few-Shot语义分割中的替代基线方法的潜力。我们的源代码将在https://github.com/TinyAway/MANet上提供。
2022-02-15 cs.AI cs.CV
Differentiable Feature Aggregation Search for Knowledge Distillation
Peking University（北京大学）；Megvii (Face++) Technology Inc（旷视科技（Face++））；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用技术国家工程实验室）；DiDi AI Labs（滴滴人工智能实验室）
在模型压缩中，知识蒸馏变得越来越重要。它通过监督来自复杂教师网络的输出分布和特征图来提高小型化学生网络的性能。最近的一些作品介绍了多教师蒸馏，以提供更多的监督，以学生网络。然而，多教师蒸馏方法的有效性伴随着昂贵的计算资源。为了解决知识蒸馏的效率和效果，我们引入特征聚合来模拟多教师蒸馏的单教师蒸馏框架，通过从多个教师特征图中提取信息监督。具体来说，我们引入DFA，一个两阶段的可区分的特征聚合搜索方法的DARTS在神经结构搜索的动机，有效地找到聚合。在第一阶段中，DFA将搜索问题制定为双层优化，并利用由学生到教师路径和教师到学生路径组成的新型桥损失来找到合适的特征聚合。这两条路径充当相互对抗的两个参与者，试图将统一的架构参数优化到相反的方向，同时保证特征聚合的表达性和可学习性。在第二阶段，DFA执行知识蒸馏与派生的特征聚合。实验结果表明，DFA优于现有的方法在CIFAR-100和CINIC-10数据集上的各种师生设置，验证了设计的有效性和鲁棒性。
2020-08-02 cs.CV cs.LG
Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Electronic Science and Technology of China（电子科技大学）；Tsinghua University（清华大学）
少样本学习模型学习具有有限人类注释的表示，并且这样的学习范例展示了在各种任务中的实用性，例如，然而，Few-Shot目标检测方法存在固有的缺陷，即有限的训练数据使得模型不能充分挖掘语义信息。为了解决这个问题，我们引入知识蒸馏的Few-Shot目标检测学习范式。我们进一步运行了一个激励实验，这表明在知识蒸馏的过程中，教师模型的经验误差退化的Few-Shot目标检测模型作为学生的预测性能。为了理解这一现象背后的原因，我们从因果理论的角度重新审视了Few-Shot目标检测任务的知识蒸馏的学习范式，并相应地开发了一个结构因果模型。在理论指导下，我们针对Few-Shot目标检测任务提出了一种基于后门调整的知识蒸馏方法，即Disentangle和Remerge（D&R），以对相应的结构因果模型进行条件因果干预。实验结果表明，在Few-Shot目标检测中，D&R算法能够显著提高检测性能。代码可在https://github.com/ZYN-1101/DandR.git上获得。
2022-12-09 cs.CV
OVO: One-shot Vision Transformer Search with Online distillation
针对纯Transformer在中小型数据集上准确率不佳的问题，提出基于在线蒸馏的一次性视觉Transformer搜索框架OVO，通过为师生网络采样子网实现高效蒸馏，使超网中数千子网免微调即可充分训练，并在ImageNet和CIFAR-100上取得优异准确率。
2023-11-24 cs.CV
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University（北京航空航天大学）；Beijing University of Technology（北京工业大学）
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而，现有的方法仍然面临两个主要挑战。首先，支持图像和查询图像之间巨大的特征差异导致知识传递障碍，这损害了分割性能。其次，有限的支持原型不能充分表达支持对象的特征，难以指导高质量的查询分割。针对这两个问题，本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说，自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图，以提供足够的对象信息。大量的实验证明，我们的模型显着提高了性能相比，现有的方法。全面的消融实验和可视化研究也表明，我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上，我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation
本文提出IMS3方法，通过Inversion-Matching和Selective Subgroup Sampling提升数据集的判别性和泛化能力，解决扩散模型生成样本分布不均的问题。
2026-03-14 cs.CV
MEGA: Multimodal Alignment Aggregation and Distillation For Cinematic Video Segmentation
Amazon Prime Video（亚马逊Prime视频）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对电影长视频分割中多模态对齐融合缺失的问题，提出MEGA方法，通过对齐位置编码、增强型瓶颈融合层和新型对比损失实现跨模态标签传递，在两个数据集上性能优于现有最优方法。
2023-08-22 cs.CV
Image-to-Lidar Relational Distillation for Autonomous Driving Data
University of Toronto（多伦多大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文针对自动驾驶数据中2D到3D蒸馏存在的结构不匹配问题，提出关系蒸馏框架，通过模态内与跨模态约束使3D表示对齐2D结构，从而提升零样本和少样本3D语义分割性能。
2024-09-01 cs.CV
Bag of Instances Aggregation Boosts Self-supervised Distillation
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）；Huazhong University of Science & Technology（华中科技大学）
自监督学习的最新进展经历了显着的进步，特别是对于基于对比学习的方法，它将每个图像及其增强视为一个单独的类，并试图将它们与所有其他图像区分开来。然而，由于大量的样本，这种借口任务本质上遭受缓慢的收敛和难以优化。这对于小规模模型尤其如此，我们发现与监督模型相比，性能急剧下降。在本文中，我们提出了一个简单而有效的无监督学习的蒸馏策略。其亮点在于，相似样本之间的关系很重要，可以无缝地转移到学生身上，以提高成绩。我们的方法，被称为BINGO，是Bag of InstaNces aggregatiOn的缩写，旨在将教师学到的关系转移到学生身上。这里的实例包表示教师构建的一组相似样本，并分组在一个包中，蒸馏的目标是聚合学生关于包中实例的紧凑表示。值得注意的是，BINGO在小规模模型上实现了新的最先进性能，即，在ImageNet上分别使用ResNet-18和ResNet-34作为主干进行线性评估，获得了65.5%和68.9%的top-1准确率，显著超过了基线（52.5%和57.4%的top-1准确率）。该代码可在https://github.com/haohang96/bingo上获得。
2022-03-17 cs.CV
Self-supervised Knowledge Distillation for Few-shot Learning
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
现实世界包含了大量的对象类，一次性学习所有这些对象类是不可行的。少样本学习是一种很有前途的学习范式，因为它能够快速学习无序分布，只需很少的样本。最近的工作[7，41]表明，简单地学习一个好的特征嵌入可以优于更复杂的元学习和度量学习算法，用于少样本学习。在本文中，我们提出了一种简单的方法来提高深度神经网络对少样本学习任务的表示能力。我们遵循两个阶段的学习过程：首先，我们训练一个神经网络，以最大化特征嵌入的熵，从而使用自监督辅助损失创建最佳输出流形。在第二阶段，我们通过将自我监督的双胞胎放在一起来最小化特征嵌入的熵，同时用学生-教师蒸馏来约束流形。我们的实验表明，即使在第一阶段，自我监督可以优于当前最先进的方法，我们的第二阶段蒸馏过程实现了进一步的收益。我们的代码可在https://github.com/brjathu/SKD上获得。
2020-08-04 cs.CV
Few-shot Face Image Translation via GAN Prior Distillation
Xidian University（西安电子科技大学）；University of Science and Technology of China（中国科学技术大学）
人脸图像翻译近年来取得了显著的进展。然而，当在有限的数据上训练时，现有方法的性能显著下降。尽管一些研究试图解决这个问题，但它们要么未能达到Few-Shot设置（少于10），要么只能获得次优结果。在本文中，我们提出了GAN先验蒸馏（GPD），以实现有效的Few-Shot人脸图像翻译。GPD包含两个模型：一个是基于GAN Prior的教师网络，另一个是实现端到端翻译的学生网络。具体来说，我们将在源域中大规模数据上训练的教师网络适应目标域，只有很少的样本，它可以学习目标域的知识。然后，我们可以实现Few-Shot增强，同时产生源域和目标域图像具有相同的潜在代码。我们提出了一个基于锚点的知识蒸馏模块，该模块可以充分利用训练数据和增强数据之间的差异，将教师网络中的知识蒸馏到学生网络中。训练后的学生网络在吸收额外知识的同时，具有良好的泛化性能。定性和定量的实验表明，我们的方法实现了优越的结果比国家的最先进的方法在一个Few-Shot设置。
2023-01-28 cs.CV
Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），为Few-Shot分割。Transformers的使用可以通过全局感受野上的自我注意来有益于相关图聚合。然而，用于Transformer处理的相关图的令牌化可能是有害的，因为令牌边界处的不连续性减少了令牌边缘附近可用的局部上下文并减少了感应偏差。为了解决这个问题，我们提出了一个4D卷积Swin Transformer，其中高维Swin Transformer之前是一系列小内核卷积，这些卷积将局部上下文赋予所有像素并引入卷积感应偏置。此外，我们还通过在金字塔结构中应用Transformers来提高聚合性能，其中较粗级别的聚合指导较细级别的聚合。Transformer输出中的噪声随后在后续解码器中借助查询的外观嵌入进行过滤。通过该模型，为少镜头分割（Few-Shot segmentation）中的所有标准基准设置了新的最先进技术。结果表明，增值税达到国家的最先进的性能，以及语义对应，其中成本聚合也发挥了核心作用。
2022-07-22 cs.CV
Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning
Australian National University（澳大利亚国立大学）；Data61-CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；North South University Bangladesh（孟加拉国南北大学）；Monash University Australia（澳大利亚莫纳什大学）
Few-Shot类增量学习（FSCIL）描述了逐渐学习新概念的问题，其中每个概念只有几个示例可供学习者使用。由于用于训练的示例数量有限，为标准增量学习开发的技术不能逐字应用于FSCIL。在这项工作中，我们引入了一个蒸馏算法来解决FSCIL的问题，并建议在训练过程中利用语义信息。为此，我们利用词嵌入作为语义信息，这是廉价的获得，并促进蒸馏过程。此外，我们提出了一种基于视觉数据的多个并行嵌入的注意机制的方法，以对齐视觉和语义向量，从而减少了与灾难性遗忘相关的问题。通过在MiniImageNet、CUB200和CIFAR100数据集上的实验，我们通过优于现有方法建立了新的最先进的结果。
2021-03-31 cs.CV
Zero-Shot Distillation for Image Encoders: How to Make Effective Use of Synthetic Data
University of Tübingen（蒂宾根大学）；Bosch Center for Artificial Intelligence (BCAI), Robert Bosch GmbH（罗伯特·博世有限公司博世人工智能中心）
本文研究图像编码器的零样本蒸馏，发现合成数据在对比损失下泛化性差，改用基于图像特征的L2蒸馏损失，训练出在四个数据集上性能与ViT-B/32教师模型相当且参数减少92%的学生模型。
2024-04-25 cs.CV
RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies
National University of Defense Technology（国防科技大学）；Chinese Academy of Sciences（中国科学院）
神经网络结构搜索（NAS）在有效神经网络结构的自动设计方面取得了巨大的进展，但存在计算量大的问题。One-shot NAS通过权重共享显著减轻了负担，并提高了计算效率。Zero-shot NAS通过从初始状态预测网络的性能进一步降低了成本，该状态不进行任何训练。这两种方法都旨在区分“好”和“坏”架构，即，预测和真实性能的一致性。本文提出了一种提高排序一致性的排序蒸馏单次NAS（RD-NAS）算法，该算法利用零成本代理作为廉价教师，采用边际排序损失提取排序知识。具体来说，我们提出了一个边缘子网采样器提取排名知识从zero-shot NAS到one-shot NAS通过引入组距离作为保证金。我们对NAS-Bench-201和基于ResNet的搜索空间的评估表明，RD-NAS的排名能力分别提高了10.7%和9.65%。我们的代码可在https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution上获得
2023-01-24 cs.CV
Data-Efficient Language-Supervised Zero-Shot Learning with Self-Distillation
UC Berkeley（加州大学伯克利分校）；Facebook Reality Labs（Facebook现实实验室）
传统的计算机视觉模型被训练来预测一组固定的预定义类别。最近，自然语言已被证明是一个更广泛和更丰富的监督来源，提供更精细的描述视觉概念比监督的“黄金”标签。以前的作品，如CLIP，使用一个简单的预训练任务来预测图像和文本标题之间的配对。然而，CLIP是数据饥渴的，需要超过4亿个图像文本对进行训练。我们提出了一种数据高效的对比蒸馏方法，使用软标签从嘈杂的图像-文本对中学习。我们的模型从预训练的图像和句子编码器中传输知识，仅用3 M图像文本对就实现了强大的性能，比CLIP小133倍。相对于ResNet 50图像编码器和DeCLUTR文本编码器，我们的方法在ImageNet 21 k +1 k上的一般零样本学习的SoTA超过了73%。在Google Open Images的zero-shot评估中，我们也以10.5%的优势击败了CLIP（19，958类）。
2021-04-18 cs.CV
D$^{2}$-VPR: A Parameter-efficient Visual-foundation-model-based Visual Place Recognition Method via Knowledge Distillation and Deformable Aggregation
D$^{2}$-VPR通过知识蒸馏和变形聚合，实现视觉基础模型在视觉位置识别中的参数高效方法。
2026-10-14 cs.CV
Cost Aggregation Is All You Need for Few-Shot Segmentation
Korea University（高丽大学）；Yonsei University（延世大学）
我们引入了一种新的成本聚合网络，称为体积聚合与Transformers（增值税），以解决Few-Shot分割任务，通过使用卷积和变压器，有效地处理查询和支持之间的高维相关映射。具体来说，我们提出了我们的编码器，包括体积嵌入模块，不仅将相关映射转换为更易于处理的大小，而且还注入了一些卷积电感偏置和体积Transformer模块的成本聚合。我们的编码器有一个金字塔结构，让粗层次的聚合，以指导更精细的水平和强制学习互补的匹配分数。然后，我们将输出与投影的特征图一起馈送到我们的亲和力感知解码器中，以指导分割过程。结合这些组件，我们进行实验，以证明所提出的方法的有效性，我们的方法设置了一个新的国家的最先进的所有标准的基准在Few-Shot分割任务。此外，我们发现，所提出的方法达到国家的最先进的性能，即使在语义对应任务的标准基准，虽然不是专门为这项任务设计的。我们还提供了广泛的消融研究，以验证我们的架构选择。训练的权重和代码可在https://seokju-cho.github.io/VAT/上获得。
2021-12-22 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；MICC, University of Florence（佛罗伦萨大学MICC）；Huawei Kirin Solution（华为麒麟解决方案）
大多数元学习方法假设存在一个非常大的标记数据集，可用于基础知识的情景元学习。这与更现实的持续学习范式形成对比，在这种范式中，数据以包含不相交类的任务的形式递增地到达。在本文中，我们考虑这个问题的增量元学习（IML）中，类增量离散任务。我们提出了一种IML的方法，我们称之为情节重放蒸馏（ERD），它将当前任务中的类与以前任务中的类样本混合在一起进行元学习。然后，这些片段被用于知识蒸馏，以最小化灾难性遗忘。在四个数据集上的实验表明，ERD超越了最先进的水平。特别是，在更具挑战性的一次性长任务序列增量元学习场景中，我们将IML和联合训练上限之间的差距从当前最先进的3.5% / 10.1% / 13.4%缩小到2.6% / 2.9% / 5.0%，ImageNet / Mini-ImageNet / CIFAR100。
2021-11-11 cs.CV
Filtering, Distillation, and Hard Negatives for Vision-Language Pre-Training
Meta AI；CTU in Prague（布拉格捷克理工大学）
在大规模噪声数据上通过对比学习训练的视觉语言模型越来越受欢迎，用于zero-shot识别问题。本文从数据集噪声、模型初始化和训练目标三个方面对对比预训练流水线进行了改进。首先，我们提出了一个简单的过滤策略，名为复杂性，动作和文本发现（CAT），显着减少数据集的大小，同时实现跨zero-shot视觉语言任务的性能提高。接下来，我们提出了一种名为概念蒸馏的方法，利用强单峰表示进行对比训练，这种方法不会增加训练复杂性，同时优于先前的工作。最后，我们修改了传统的对比对齐目标，并提出了一种重要性采样方法来上采样硬否定的重要性，而不增加额外的复杂性。在29个任务的广泛zero-shot基准上，与基线相比，我们的蒸馏和硬负训练（DiHT）方法在20个任务上有所改进。此外，对于Few-Shot线性探测，我们提出了一种新的方法，弥合了zero-shot和Few-Shot性能之间的差距，大大提高了以前的工作。模型可在https://github.com/facebookresearch/diht上获得。
2023-03-29 cs.CV
End-to-End Zero-Shot HOI Detection via Vision and Language Knowledge Distillation
Tencent（腾讯）；Youtu Lab, Tencent（腾讯优图实验室）
现有的大多数人-物交互（HOI）检测方法严重依赖于具有预定义HOI类别的完整注释，这在多样性上是有限的，并且进一步扩展的成本很高。我们的目标是推进zero-shot HOI检测，以同时检测可见和不可见的HOI。根本的挑战是发现潜在的人-物体对并识别新的HOI类别。为了克服上述挑战，我们提出了一种新的端到端的zero-shot HOI检测（EoID）框架，通过视觉语言知识蒸馏。我们首先设计了一个交互评分模块，结合两阶段二分匹配算法，以动作不可知的方式实现人-物对的交互。然后，我们从预先训练的视觉语言教师的动作概率分布以及所看到的地面真相HOI模型，以实现zero-shot HOI分类。在HICO-Det数据集上的大量实验表明，我们的模型发现了潜在的交互对，并能够识别看不见的HOI。最后，我们的方法在UA设置下对看不见的mAP和整体mAP分别比之前的SOTA高出8.92%和10.18%，在UC设置下对看不见的mAP和整体mAP分别高出6.02%和9.1%。此外，我们的方法是推广到大规模的目标检测数据，以进一步扩大行动集。源代码将在https://github.com/mrwu-mac/EoID上提供。
2022-11-24 cs.CV
MADPromptS: Unlocking Zero-Shot Morphing Attack Detection with Multiple Prompt Aggregation
Fraunhofer IGD and Department of Computer Science, TU Darmstadt（弗劳恩霍夫研究所（IGD）和图宾根大学计算机科学系）
本研究提出 MADPromptS，一种基于 CLIP 的纯零样本人脸变形攻击检测方法，通过聚合每类多个文本提示的嵌入对齐模型表示，显著提升零样本检测性能，无需额外训练或微调。
2025-08-12 cs.CV
From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation
Department of Business Analytics（商业分析系）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。
2026-04-21 cs.AI cs.CV
Exploiting CLIP for Zero-shot HOI Detection Requires Knowledge Distillation at Multiple Levels
KU Leuven（鲁汶大学）
本文研究零样本人-物交互检测任务，提出利用大规模预训练模型 CLIP 在全局图像、局部联合区域和个体实例多层级进行知识蒸馏，设计多分支网络学习表示，在 HICO-DET 基准上取得媲美部分全监督和弱监督方法的性能。
2023-09-10 cs.CV
Stratified Multi-View Aggregation for Score Distillation
Department of Computer Science, University of Bucharest（布加勒斯特大学计算机科学系）；Adobe Research（Adobe研究院）
提出多视角聚合分数蒸馏（MV-SDI），通过在每个优化步骤聚合K个视角的梯度来降低方差，无需重新训练或使用多视角数据，在固定UNet预算下显著提升3D生成的一致性和对齐指标。
2026-10-09 cs.CV
Multi-view Distillation based on Multi-modal Fusion for Few-shot Action Recognition(CLIP-$\mathrm{M^2}$DF)
Xi’an Jiaotong University（西安交通大学）
针对少样本动作识别中类别重叠分布和离群点问题，提出基于多模态融合的多视图蒸馏方法CLIP-M2DF，通过概率提示选择、多视图融合和相互蒸馏提升模型鲁棒性。
2024-01-16 cs.CV
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation-Extended Abstract
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出分层解耦匹配网络HDMNet，利用transformer架构挖掘像素级支持相关性，结合自注意力模块和相关性蒸馏技术，解决了少样本分割中分割粒度粗糙和训练集过拟合的问题，在COCO数据集上取得了优异表现。
2023-06-27 cs.CV
Geometrically-driven Aggregation for Zero-shot 3D Point Cloud Understanding
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
针对现有零样本3D点云理解方法忽略点云几何结构的问题，提出首个无需训练的几何驱动聚合技术，通过迭代式点级几何语义推理实现局部到全局的聚合，在多个下游任务基准上取得最优结果。
2024-04-15 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
人体姿态是精细运动动作理解的一个有用特征。然而，姿态估计往往是不可靠的，当运行在体育视频由于域移位和因素，如运动模糊和遮挡。当下游任务（例如动作识别）依赖于姿势时，这导致准确性差。端到端学习绕过了pose，但需要更多的标签来泛化。我们介绍了视频姿态蒸馏（VPD），这是一种弱监督技术，用于学习新视频领域的特征，例如挑战姿态估计的个人运动。在VPD下，学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征，这样，只要姿势被认为是可靠的，这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分，利用原始视频帧中丰富的视觉模式，同时学习与运动员在目标视频域中的姿势和运动一致的特征，以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能，而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
少样本学习中的大多数现有工作依赖于在大的基础数据集上对网络进行元学习，该基础数据集通常来自与目标数据集相同的域。我们解决了跨域少样本学习的问题，其中在基础域和目标域之间存在较大的偏移。跨域Few-Shot识别与未标记的目标数据的问题在很大程度上是未解决的文献。STARTUP是第一个使用自我训练来解决这个问题的方法。然而，它使用在标记的基础数据集上预训练的固定教师来为未标记的目标样本创建软标签。由于基础数据集和未标记数据集来自不同的域，因此使用固定的预训练模型在基础数据集的类域中投影目标图像可能是次优的。我们提出了一个简单的动态蒸馏为基础的方法，以促进未标记的图像从新的/基础数据集。我们通过计算来自教师网络的未标记图像的弱增强版本的预测，并将其与来自学生网络的相同图像的强增强版本进行匹配，来实施一致性正则化。教师网络的参数更新为学生网络参数的指数移动平均。我们表明，所提出的网络学习的表示，可以很容易地适应目标域，即使它没有在预训练阶段与目标特定的类进行训练。在BSCD-FSL基准测试中，我们的模型在1次分类和5次分类方面分别比当前最先进的方法高出4.4%和3.6%，并且在传统的域内少样本学习任务上也表现出了竞争力。
2021-11-01 cs.CV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)（华中科技大学）；Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Institute of North Electronic Equipment（北方电子设备研究所）
零样本学习（zero-shot learning，ZNL）的关键挑战是如何推断可见类的视觉特征和属性特征之间的潜在语义知识，从而实现对不可见类的知识转移。现有的工作要么简单地将图像的全局特征与其相关联的类别语义向量对齐，要么利用单向注意来学习有限的潜在语义表示，这不能有效地发现内在语义知识，例如，属性语义）之间的视觉和属性的功能。为了解决上述困境，我们提出了一个相互语义蒸馏网络（MSDN），它逐步提炼的视觉和属性特征之间的内在语义表示为语义学习。MSDN合并了学习基于属性的视觉特征的属性$\rightarrow$视觉注意力子网和学习基于视觉的属性特征的视觉$\rightarrow$属性注意力子网。通过进一步引入语义蒸馏损失，两个相互注意子网能够在整个训练过程中协作学习并相互教学。拟议的MSDN在强大的基线基础上取得了显着的改进，在三个流行的具有挑战性的基准上实现了新的最先进的性能，即，CUB、SUN和AWA 2。我们的代码可在以下网址获得：\url{https://github.com/shiming-chen/MSDN}。
2022-04-22 cs.CV
Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification
Microsoft Research Asia（微软亚洲研究院）
目标重新识别（re-id）旨在跨时间或摄像机视图识别特定目标，其中人re-id和车辆re-id是研究最广泛的应用。由于视点、（人类）姿势和遮挡的变化，Re-id具有挑战性。同一物体的多个镜头可以覆盖不同的视点/姿态，从而提供更全面的信息。在本文中，我们提出利用同一身份的多个镜头来指导每个单独图像的特征学习。具体来说，我们设计了一个不确定性感知的多拍教师-学生（UMTS）网络。它由一个教师网络（T-net）和一个学生网络（S-net）组成，教师网络从同一对象的多个图像中学习综合特征，学生网络将单个图像作为输入。特别是，我们考虑到数据相关的异方差不确定性，有效地将知识从T-网转移到S-网。据我们所知，我们是第一个利用多个镜头的对象，在师生学习的方式，有效地提高了单一的图像为基础的re-id。我们验证了我们的方法的有效性流行的车辆re-id和人re-id数据集。在推理中，仅S-net的性能明显优于基线，并达到了最先进的性能。
2020-01-21 cs.CV
AnchorHOI: Zero-shot Generation of 4D Human-Object Interaction via Anchor-based Prior Distillation
AnchorHOI通过基于锚点的先验蒸馏策略，结合视频扩散模型提升4D人-物交互生成的多样性和泛化能力。
2025-12-16 cs.CV
LiteMVS: Efficient Multi-View Stereo with Foundation Distillation and Expert Aggregation
LiteMVS是集成平面扫描几何推理与单目先验的轻量多视图深度模型，通过MoE和基础模型蒸馏提升重建质量与效率，在ScanNetv2等数据集上表现优异。
2026-08-05 cs.CV
Hierarchical Spatial and Channel Aggregation for Cross-domain Few-shot Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery（先进工程机械智能制造国家重点实验室）
提出双分层聚合网络(DHANet)，通过分层空间聚合(HSA)和分层通道聚合(HCA)模块分别缓解语义过对齐和属性过对齐，并引入在线概率语义库(OPSB)增强支持信息，在四个目标域数据集上取得最优性能。
2026-06-24 cs.CV
Efficient Few-Shot Learning for Edge AI via Knowledge Distillation on MobileViT
Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所）；Graduate School of Engineering, Tohoku University（东北大学工学研究科）；IMT Atlantique, Lab-STICC, UMR CNRS 6285
本文提出一种针对边缘计算的MobileViT预训练方法，利用知识蒸馏提升模型效率，实现参数和计算复杂度显著降低，同时在少样本分类任务中取得更高准确率。
2026-03-27 cs.CV
LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces
Kocaeli University（科贾埃利大学）
提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。
2026-06-23 cs.CV
Focus-Consistent Multi-Level Aggregation for Compositional Zero-Shot Learning
Westlake University（西湖大学）；Alibaba Group（阿里巴巴集团）
本文提出焦点一致多层级聚合方法FOMA，通过多层级特征聚合模块和焦点一致约束解决组合零样本学习中分支一致性与多样性冲突及空间信息不共享问题，在三个基准数据集上超越现有最优方法。
2024-08-30 cs.CV
Dual Distillation for Few-Shot Anomaly Detection
Xidian University（西安电子科技大学）；MedAI Technology (Wuxi) Co. Ltd.（医影科技（无锡）有限公司）；Technical University of Munich（慕尼黑技术大学）
D$^2$4FAD通过双蒸馏框架实现少样本医学异常检测，利用预训练编码器和动态加权机制提升检测性能。
2026-03-02 cs.CV
Tree Structure-Aware Few-Shot Image Classification via Hierarchical Aggregation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanjing University（南京大学）；Westlake Institute for Advanced Study（西湖高等研究院）
在本文中，我们主要关注的问题是如何学习额外的特征表示Few-Shot图像分类通过借口任务（例如，旋转或颜色置换等）。这种由借口任务生成的额外知识可以进一步提高少样本学习（FSL）的性能，因为它不同于人类注释的监督（即，FSL任务的类标签）。针对这一问题，提出了一种插件式的层次树结构感知（HTS）方法，该方法不仅能够学习FSL与prefuse任务之间的关系，更重要的是能够自适应地选择和聚合prefuse任务生成的特征表示，以最大限度地提高FSL任务的性能.引入层次树构造组件和门选择聚集组件来构造树结构，并发现更丰富的可传递知识，可以快速适应具有少量标记图像的新类别。大量的实验表明，我们的HTS可以显着增强多个Few-Shot方法，以实现新的国家的最先进的性能在四个基准数据集。该代码可从以下网址获得：https://github.com/remiMZ/HTS-ECCV22。
2022-07-14 cs.CV
SCCL-DT: Semantic-Conflict-Aware Contrastive Learning with Dual-Rule Teacher Distillation for Zero-Shot Chest X-Ray Diagnosis
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州研究院）
针对零样本胸部X射线诊断中对比学习的语义冲突问题，提出SCCL-DT模型，通过双规则教师蒸馏优化，在五个公开胸部X射线基准上取得平均零样本AUC 0.850的性能，优于最强基线。
2026-10-16 cs.CV
Dynamic Prototype Adaptation with Distillation for Few-shot Point Cloud Segmentation
University of Amsterdam（阿姆斯特丹大学）；Carnegie Mellon University（卡内基梅隆大学）；The Netherlands Cancer Institute（荷兰癌症研究所）
针对少样本点云分割中支持原型与查询特征存在物体差异的问题，提出带原型蒸馏的动态原型自适应方法，通过原型校正、注意力机制和迭代蒸馏生成任务特定原型，在两个基准上显著超越SOTA。
2024-01-29 cs.CV
Tiny models from tiny data: Textual and null-text inversion for few-shot distillation
Chalmers University of Technology（查尔姆斯理工大学）
针对少样本蒸馏中无标注数据不足的问题，提出结合文本反转多样性与空文本反转特异性的扩散模型反转技术TINT，提升了小型学生模型准确率与速度，并通过理论分析降低评估计算量。
2025-03-20 cs.CV cs.LG
Data Efficient Language-supervised Zero-shot Recognition with Optimal Transport Distillation
Meta Reality Labs（Meta现实实验室）；UC Berkeley（加州大学伯克利分校）
针对 CLIP 依赖超 400M 噪声图文对的问题，本文提出 OTTER，利用在线熵正则化最优传输生成软匹配标签进行对比蒸馏，仅用 3M 图文对就在多个大规模零样本基准上显著优于基线。
2023-12-17 cs.CV
RealisticDreamer: Guidance Score Distillation for Few-shot Gaussian Splatting
University of Electronic Science and Technology of China（电子科技大学）；Nanyang Technological University（南洋理工大学）
针对少样本输入下3DGS易过拟合的问题，提出GSD框架提取预训练VDM的多视图先验，通过双引导修正优化方向，在多数据集上取得优于现有方法的效果。
2025-11-14 cs.CV
Few-shot Learning with Global Relatedness Decoupled-Distillation
尽管基于度量学习的方法在少样本学习中取得了成功，但最近的研究揭示了其情景训练模式的无效性。本文指出了造成这一问题的两个潜在原因：1）随机片段标签只能提供有限的监督信息，而查询和支持样本之间的相关性信息没有得到充分利用; 2）元学习者通常受到局部片段的有限上下文信息的约束。为了克服这些问题，我们提出了一个新的全球相关性解耦蒸馏（GRDD）方法，利用全球类别知识和相关性解耦蒸馏（RDD）策略。我们的GRDD通过模仿人类的习惯来快速学习新的视觉概念，即从老师那里提取的深层知识中学习。更具体地说，我们首先训练一个全球性的学习者在整个基础子集使用类别标签作为监督，以利用全球背景信息的类别。然后，使用经过良好训练的全局学习器来模拟全局依赖中的查询支持相关性。最后，提取的全局查询支持相关性显式地用于训练使用RDD策略的元学习器，与目标，使元学习器更有区分力。RDD策略旨在将密集查询支持相关性解耦为稀疏解耦相关性组。此外，在每个组中，只考虑单个支持样本与其他查询样本的相关性。通过逐组提取稀疏解耦的相关性，可以有效地将更清晰的相关性提取到元学习器，从而促进区分性元学习器的学习。我们在miniImagenet和CIFAR-FS数据集上进行了大量的实验，这些实验显示了我们的GRDD方法的最新性能。
2022-12-14 cs.CV
