Zero-Shot Out-of-Distribution Detection Based on the Pre-trained Model CLIP
Amazon（亚马逊）
在分布外（OOD）检测问题中，已知类别（也称为分布内类别）的样本用于训练特殊分类器。在测试中，分类器可以（1）将已知类别的测试样本分类到它们各自的类别，并且还（2）检测不属于任何已知类别的样本（即，它们属于某些未知或OOD类）。本文研究了zero-shot out-of-distribution（OOD）检测问题，该问题在测试中仍然执行相同的两个任务，但除了使用给定的已知类名之外没有任何训练。本文提出了一种新颖而简单的方法（称为ZOC）来解决这个问题。ZOC建立在通过多模态表示学习的zero-shot分类的最新进展之上。它首先通过在CLIP之上训练基于文本的图像描述生成器来扩展预先训练的语言视觉模型CLIP。在测试中，它使用扩展模型为每个测试样本生成候选未知类名，并基于已知类名和候选未知类名计算zero-shot OOD检测的置信度得分。在5个OOD检测基准数据集上的实验结果表明，ZOC的性能明显优于基线。
2022-03-22 cs.CV cs.LG
Attributes2Classname: A discriminative model for attribute-based unsupervised zero-shot learning
HAVELSAN Inc.（HAVELSAN 公司）；Bilkent University（比尔肯特大学）；Hacettepe University（哈杰特佩大学）
我们提出了一种新的方法，无监督的零样本学习（ZML）的类的基础上，他们的名字。大多数现有的无监督的CPDL方法旨在学习用于直接比较图像特征和类名的模型。然而，这被证明是一个困难的任务，由于非视觉语义的主导地位，在底层向量空间嵌入的类名。为了解决这个问题，我们有区别地学习一个单词表示，使得类和属性名称组合之间的相似性与视觉相似性一致。与传统的基于属性存在的零样本学习方法相反，我们的方法绕过了费力的属性-类关系注释。此外，我们提出的方法使纯文本训练成为可能，因此，可以在不需要收集额外图像数据的情况下增强训练。实验结果表明，我们的方法在三个基准数据集上获得了最先进的结果。
2017-08-05 cs.CV
Synthesizing the Unseen for Zero-shot Object Detection
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）；MBZ University of AI（穆罕默德·本·扎耶德人工智能大学）；North South University（南北大学）
现有的zero-shot检测方法将视觉特征投射到可见对象的语义域，希望在推理过程中将不可见对象映射到相应的语义。然而，由于在训练期间从未可视化看不见的对象，因此检测模型偏向于看到的内容，从而将看不见的标记为背景或看到的类。在这项工作中，我们建议为看不见的类合成视觉特征，以便模型学习视觉域中可见和不可见的对象。因此，主要的挑战是，如何准确地合成看不见的对象仅仅使用他们的类语义？为了实现这一雄心勃勃的目标，我们提出了一种新的生成模型，使用类语义不仅生成的功能，但也区分它们。此外，使用统一的模型，我们确保合成的特征具有高度的多样性，代表了检测到的边界框中的类内差异和可变的定位精度。我们测试我们的方法在三个目标检测基准，PASCAL VOC，MSCOCO和ILSVRC检测，在传统和广义的设置下，显示出令人印象深刻的收益超过国家的最先进的方法。我们的代码可在https://github.com/nasir6/zero_shot_detection上获得。
2020-10-19 cs.CV
Discriminative Region-based Multi-Label Zero-Shot Learning
Inception Institute of Artificial Intelligence（启智人工智能研究院）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
多标签零样本学习（ZSL）是标准单标签ZSL的更现实的对应部分，因为多个对象可以共存于自然图像中。然而，多个对象的出现使推理复杂化，并且需要对视觉特征进行特定区域的处理以保留其上下文线索。我们注意到，现有的最好的多标签CNOL方法采用了一种共享的方法，通过所有类的一组公共注意力图来关注区域特征。这样的共享地图导致分散的注意力，当类的数量很大时，它不会有区别地集中在相关的位置上。此外，映射空间汇集的视觉特征的类语义导致类间的特征纠缠，从而阻碍了分类。在这里，我们提出了一种替代方法对基于区域的区分度保持多标签zero-shot分类。我们的方法保持了空间分辨率，以保持区域级别的特性，并利用一个双层次的注意力模块（BiAM），以丰富的功能，将区域和场景上下文信息。然后将丰富的区域级特征映射到类语义，并且仅将它们的类预测在空间上合并以获得图像级预测，从而保持多类特征分离。我们的方法在两个大规模多标签zero-shot基准测试：NUS-WIDE和Open Images上设置了一个新的艺术状态。在NUS-WIDE上，我们的方法实现了6.9%mAP的绝对增益，与最好的公布结果相比。
2021-08-20 cs.CV
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Few-Shot Image Classification via Contrastive Self-Supervised Learning
School of Information；Communications Xi’an Jiaotong University Xi'an, P.R. China
大多数以前的少样本学习算法都是基于元训练，使用假的Few-Shot任务作为训练样本，其中需要大的标记基类。训练模型也受到任务类型的限制。在本文中，我们提出了一个新的无监督少样本学习的范例来修复的不足。我们分两个阶段解决了Few-Shot任务：通过对比自监督学习对可转移特征提取器进行元训练，并使用图聚合、自蒸馏和流形增强训练分类器。一旦经过元训练，该模型就可以用于任何类型的任务，并进行任务相关的分类器训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与可用的无监督少样本学习方法相比，提高了8- 28%。
2020-08-23 cs.AI cs.CV
Few-shot learning using pre-training and shots, enriched by pre-trained samples
我们使用EMNIST手写数字数据集来测试一种简单的少样本学习方法。完全连接的神经网络用10个数字的子集进行预训练，并用于用未训练的数字进行少样本学习。引入了两个基本思想：在少样本学习期间，第一层的学习被禁用，并且对于每个镜头，先前未知的数字与四个先前训练的数字一起用于梯度下降，直到满足预定义的阈值条件。这样，我们在10次射击后达到约90%的准确率。
2020-09-19 cs.CV cs.LG
Bayesian Exploration of Pre-trained Models for Low-shot Image Classification
Qing Yuan Research Institute, SEIEE, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院清源研究院）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
本文提出基于高斯过程的概率模型集成框架，以CLIP为均值函数、多种预训练模型深度核集成为核函数，通过标签回归实现解析推理与不确定性量化，在低样本图像分类中优于现有集成基线。
2024-03-30 cs.AI cs.CV
Prompt Tuning based Adapter for Vision-Language Model Adaption
University at Buffalo（布法罗大学）；Duke University（杜克大学）
大型预训练的视觉语言（VL）模型在适应各种下游任务方面表现出了巨大的潜力。然而，由于大量的模型参数，微调整个网络是具有挑战性的。为了解决这个问题，已经提出了诸如提示微调的有效自适应方法。我们探索了使用多任务预训练初始化的提示微调的想法，发现它可以显着提高模型性能。基于我们的研究结果，我们引入了一个新的模型，称为快速适配器，它结合了预先训练的快速调整与一个有效的适应网络。我们的方法在公共11个数据集上的Few-Shot图像分类中击败了最先进的方法，特别是在具有有限数据实例的设置中，例如1个镜头，2个镜头，4个镜头和8个镜头图像。我们提出的方法表明，结合提示微调和参数高效的网络有效的视觉语言模型适应的承诺。该代码可在https://github.com/Jingchensun/prompt_adapter上公开获取。
2023-03-24 cs.AI cs.CV
Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；IDEAS-NCBR
本文面向基于预训练 ViT 的 FSCIL 低可塑性问题，提出依据新类与基类的语义相似性校准协方差矩阵，并与现有方法结合以显著提升持续分类性能。
2024-04-09 cs.CV
SiamTrans: Zero-Shot Multi-Frame Image Restoration with Pre-Trained Siamese Transformers
University of Science and Technology of China（中国科学技术大学）
我们提出了一种新的zero-shot多帧图像复原方法，用于去除在连续帧中变化的不必要的障碍元素（如雨，雪和莫尔图案）。它有三个阶段：Transformer预训练，zero-shot恢复，和硬补丁细化。使用预先训练的Transformers，我们的模型能够分辨出真实图像信息和遮挡元素之间的运动差异。对于zero-shot图像复原，我们设计了一种新的模型，称为SiamTrans，它是由Siamese Transformers，编码器和解码器构成的。每个Transformer都有一个时间注意层和几个自注意层，以捕获多个帧的时间和空间信息。仅在去噪任务上进行预训练（自我监督），SiamTrans在三个不同的低级别视觉任务（去噪，去噪和去噪）上进行测试。与相关方法相比，我们的方法取得了最好的性能，甚至优于那些与监督学习。
2021-12-17 cs.CV
FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning
University of Science and Technology Beijing（北京科技大学）；Microsoft Research Asia（微软亚洲研究院）
针对少样本学习中微调预训练模型易过拟合和泛化性下降的问题，提出特征判别对齐（FD-Align）方法，通过保持虚假特征一致性增强泛化，实验验证其在ID和OOD任务上的有效性。
2023-11-17 cs.CV
Training of SSD(Single Shot Detector) for Facial Detection using Nvidia Jetson Nano
在这个项目中，我们使用了计算机视觉算法SSD（Single Shot detector）计算机视觉算法，并从由139张图片组成的数据集中训练了该算法。使用英特尔CVAT（计算机视觉注释工具）对图像进行标记。我们训练此模型以进行面部检测。我们已经在Nvidia Jetson Nano开发工具包中部署了经过训练的模型和软件。模型代码是在Pytorch的深度学习框架中编写的。使用的程序设计语言是Python。
2021-05-28 cs.AI cs.CV cs.DC
Collaboration of Pre-trained Models Makes Better Few-shot Learner
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Few-Shot分类需要深度神经网络仅从有限的训练图像中学习广义表示，这在低数据状态下具有挑战性但意义重大。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以缓解Few-Shot数据不足，并通过预先学习的知识辅助表示学习。在本文中，我们提出了CoMo，这是一种预训练模型的协作，它整合了来自各种预训练范例的多种先验知识，以实现更好的少样本学习。我们的CoMo包括：CLIP的语言对比知识，DINO的视觉对比知识和DALL-E的语言生成知识。具体而言，CoMo工作在两个方面：Few-Shot数据扩展和多样化的知识集成。首先，我们通过zero-shot DALL-E生成合成图像，以丰富Few-Shot训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-Adapter）来自适应地混合CLIP和DINO的预测。通过这种合作，CoMo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。我们在11个数据集上进行了广泛的实验，以证明我们的方法的优越性和泛化能力。
2022-11-07 cs.CV
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
大规模预训练语言模型通过展示作为Few-Shot学习者的卓越能力，为自然语言处理做出了重大贡献。然而，它们的有效性主要取决于模型参数的缩放和及时的设计，阻碍了它们在大多数实际应用中的实现。本文提出了一种新的可插入、可扩展、高效的方法DifferentiAble pRompT（DART），它可以将小的语言模型转换为更好的Few-Shot学习器，而无需任何提示工程。这种方法背后的主要原理涉及将潜在的自然语言处理任务重新表达为预先训练的语言模型的任务，并利用反向传播对提示模板和目标标签进行差异化优化。此外，所提出的方法可以：（i）插入任何预先训练的语言模型;（ii）扩展到广泛的分类任务。标准NLP任务的综合评估表明，该方法实现了更好的Few-Shot性能。代码可在https://github.com/zjunlp/DART上找到。
2022-05-04 cs.AI cs.CL cs.CV
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
Scaling Laws for the Few-Shot Adaptation of Pre-trained Image Classifiers
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔理工学院）
神经缩放定律的经验科学是一个快速发展的领域，对机器学习的未来具有重要意义，特别是考虑到GPT-3、CLIP和DALL-e等大规模预训练模型最近取得的突破。随着数据、计算和模型大小等资源的增加，准确预测神经网络性能可以在多个尺度上对不同方法进行更全面的评估，而不是传统的固定大小模型在固定大小基准上的逐点比较，最重要的是，可以专注于最佳缩放，因此在未来最有前途的方法。在这项工作中，我们考虑了图像分类中的少样本学习的一个具有挑战性的问题，特别是当Few-Shot阶段的目标数据分布与源，训练，数据分布不同时，在某种意义上，它包括在训练过程中没有遇到的新图像类。我们目前的主要目标是研究预训练数据量如何影响标准图像分类器的Few-Shot泛化性能。我们的主要观察结果是：（1）随着训练集大小的增加，这种性能改进很好地近似于幂律（线性对数-对数图），（2）这适用于目标数据来自相同或不同域的两种情况（即，新类）作为训练数据，以及（3）新类上的Few-Shot性能以比先前看到的类上的标准分类性能更快的速率收敛。我们的研究结果揭示了规模和泛化之间的关系。
2021-10-18 cs.AI cs.CV cs.LG
Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction
Department of Computer Science（计算机科学系）；Fordham University（福尔敦大学）
本文系统评估DINO增强的NeRF模型，发现所有DINO变体在少样本三维重建中性能均低于基线（PSNR约12.9-13.0 vs 14.71），表明预训练视觉特征可能引入有害偏差，简单几何一致性架构更有效。
2025-06-22 cs.CV
FILM: How can Few-Shot Image Classification Benefit from Pre-Trained Language Models?
Qing Yuan Research Institute（清源研究院）；Shanghai Jiao Tong University（上海交通大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Microsoft Research Asia（微软亚洲研究院）
本文提出FILM少样本学习框架，利用对比学习预训练语言模型，通过精心设计的文本分支和可适应度量模块解决视觉-文本对齐问题，并结合MAML双层优化提升跨任务迁移能力，在多个基准上验证了有效性。
2023-07-09 cs.AI cs.CL cs.CV
MAPL: Parameter-Efficient Adaptation of Unimodal Pre-Trained Models for Vision-Language Few-Shot Prompting
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；ServiceNow Research（ServiceNow研究院）；DeepMind（深度思维）；Samsung - SAIT AI Lab（三星-三星先进技术研究院人工智能实验室）
大型预训练模型已被证明是显着的零和（基于阈值的）Few-Shot学习者在单峰视觉和语言任务。我们提出了MAPL，这是一种简单且参数高效的方法，可以重用冻结的预训练单峰模型，并在多模态视觉语言（VL）设置中利用其强大的泛化能力。MAPL使用对齐的图像-文本数据学习单峰模型的表示空间之间的轻量级映射，并且可以从几个上下文示例中概括到看不见的VL任务。少量的可训练参数使MAPL在低数据和域内学习中有效。此外，MAPL的模块化可以轻松扩展到其他预训练模型。在几个视觉问答和图像描述基准上的大量实验表明，与类似方法相比，MAPL在训练数量级更少的参数时实现了更好的或有竞争力的性能。MAPL可以在几个小时内使用适度的计算资源和公共数据集进行训练。我们在https://github.com/mair-lab/mapl上发布了我们的代码和预训练的模型权重。
2023-03-15 cs.AI cs.CL cs.CV
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所）
本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder
University of Electronic Science and Technology of China（电子科技大学）；SeeKoo；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 Ada-Adapter 框架，结合现成扩散模型与预训练图像编码器，从少量参考图像学习紧凑风格表示，实现高效零样本/少样本风格化。
2024-07-08 cs.CV
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
Personalizing Pre-trained Models
MIT Media Lab（麻省理工学院媒体实验室）；Birla Institute of Technology（贝拉理工学院）
在大规模数据集上训练的自监督或弱监督模型已经显示出在Few-Shot设置中向不同数据集的样本有效转移。我们考虑如何利用上游预训练模型进行下游Few-Shot、多标签和持续学习任务。我们的模型CLIPPER（CLIP PERsonalized）使用CLIP中的图像表示，CLIP是一种使用弱自然语言监督训练的大规模图像表示学习模型。我们开发了一种称为多标签权重印记（MWI）的技术，用于多标签，连续和少样本学习，CLIPPER使用MWI与CLIP的图像表示。我们在10个单标签和5个多标签数据集上评估了CLIPPER。我们的模型显示出强大的和有竞争力的性能，我们为Few-Shot，多标签和持续学习设定了新的基准。我们的轻量级技术也是计算效率高的，并使隐私保护的应用程序，因为数据不发送到上游模型进行微调。
2021-06-02 cs.CV
Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Idiap Research Institute（Idiap研究所）；Australian National University（澳大利亚国立大学）；Amazon（亚马逊）
本文提出在测试时基于模型不确定的测试用例从网络检索数据并更新模型，以增强预训练模型的零样本性能，在Stanford Cars和Flowers数据集上准确率提升15个百分点。
2023-11-29 cs.CV
End-to-end Generative Zero-shot Learning via Few-shot Learning
National Technical University of Athens（雅典国立技术大学）；Behavioral Signal Technologies（行为信号技术公司）
当代最先进的零射击学习（Zero-Shot Learning，简称ZRL）方法训练生成网络，以根据所提供的元数据合成示例。此后，以监督的方式在这些合成数据上训练分类器。在这项工作中，我们介绍了Z2 FSL，一个端到端的生成式CPDL框架，使用这种方法作为骨干，并将其合成输出馈送到少样本学习（FSL）算法。这两个模块是联合培训的。Z2 FSL使用FSL算法解决了CNOL问题，实际上将CNOL简化为FSL。一个广泛的类的算法可以集成在我们的框架。我们的实验结果表明，在几个基线一致的改善。所提出的方法，跨标准基准评估，显示国家的最先进的或有竞争力的性能在CNOL和广义CNOL任务。
2021-02-08 cs.CV
Boosting Zero-Shot 3D Style Transfer with 2D Pre-trained Priors
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
提出Data-Sufficient StyleGaussian模型，通过集成大规模2D图像数据集预训练的解码器，结合特征高斯溅射与延迟风格化，在数据稀缺条件下实现零样本3D风格迁移的高质量多视图一致渲染。
2026-05-28 cs.CV
Modularized Zero-shot VQA with Pre-trained Models
Singapore Management University（新加坡管理大学）
针对零样本 VQA 的多步推理难题，提出将问题显式分解并分配合适 PTM 的模块化网络，在两个基准上提升了效果与可解释性。
2024-01-24 cs.CV cs.MM
Audio-Visual Generalized Zero-Shot Learning using Pre-Trained Large Multi-Modal Models
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Helmholtz Munich（慕尼黑亥姆霍兹中心）；Technical University of Munich（慕尼黑工业大学）；Localyzer GmbH（Localyzer有限公司）
本文利用 CLIP 和 CLAP 大型预训练模型提取音视频及文本特征，提出仅依赖前馈神经网络的简单模型，在三个广义零样本学习基准上取得最先进性能。
2024-04-09 cs.CV
Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment
Chiba University（千叶大学）；Hitachi, Ltd.（日立株式会社）
针对任务向量难以在不同预训练模型间迁移的问题，提出少样本正交对齐方法，在保留范数、秩及模块化特性的同时，达到接近少样本微调的性能。
2025-05-17 cs.CV
Few-Shot Few-Shot Learning and the role of Spatial Attention
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）；Safran（赛峰集团）
少样本学习的动机通常是人类从很少的例子中学习新任务的能力。然而，标准的Few-Shot分类基准假设表示是在有限数量的基类数据上学习的，忽略了人类在学习新任务之前可能已经积累的先验知识的量。同时，即使有一个强大的表示，也可能在某些领域中发生基类数据有限或不存在的情况。这促使我们研究一个问题，其中表示是从在不同领域的大规模数据集上预先训练的分类器中获得的，假设无法访问其训练过程，而基类数据仅限于每个类的几个示例，它们的作用是使表示适应手头的领域，而不是从头开始学习。我们适应的表示在两个阶段，即在几个基类的数据，如果可用的，甚至更少的数据的新任务。在这样做的过程中，我们从预先训练的分类器中获得了一个空间注意力图，它允许关注对象并抑制背景杂波。这在新问题中很重要，因为当基类数据很少时，网络无法学习隐式关注的位置。我们还表明，预先训练的网络可以很容易地适应新的类，而无需元学习。
2020-02-18 cs.CV
Mind the Gap: Domain Gap Control for Single Shot Domain Adaptation for Generative Adversarial Networks
KAUST（阿卜杜拉国王科技大学）；Miami University（迈阿密大学）
提出了一种新的单次领域自适应方法。我们方法的输入是经过训练的GAN，它可以产生域A中的图像和域B中的单个参考图像I_B。所提出的算法可以将训练好的GAN的任何输出从域A转换到域B。与现有技术相比，我们的方法有两个主要优点：首先，我们的解决方案实现了更高的视觉质量，例如通过显著减少过拟合。其次，我们的解决方案允许更多的自由度来控制域间隙，即图像I_B的哪些方面用于定义域B。从技术上讲，我们通过构建一个预训练的StyleGAN生成器作为GAN和一个预训练的CLIP模型来表示域间隙来实现新方法。我们提出了几个新的正则化器来控制域间隙，以优化预训练的StyleGAN生成器的权重，从而在域B而不是域A中输出图像。正则化器防止优化采用单个参考图像的太多属性。我们的研究结果表明，显着的视觉改善超过了最先进的，以及多个应用程序，突出改进的控制。
2021-11-28 cs.CV
Edit2Restore:Few-Shot Image Restoration via Parameter-Efficient Adaptation of Pre-trained Editing Models
Codeway AI；Koc University（科克大学）
Edit2Restore通过参数高效微调预训练编辑模型，在少样本条件下实现多种图像修复任务，提升感知质量并减少数据需求。
2026-08-17 cs.CV eess.IV
Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；School of Engineering Science, Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学工程科学学院）
本文提出首个基于预训练图像扩散模型的零样本视频修复与增强框架，通过引入短长程时序注意力层、时序一致性引导、时空噪声共享及早期停止采样策略，有效解决了直接应用图像模型导致的时序闪烁问题，且可作为即插即用模块提升现有方法性能。
2025-02-01 cs.CV cs.LG
Zero-Shot Video Semantic Segmentation based on Pre-Trained Diffusion Models
KAUST（阿卜杜拉国王科技大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
提出首个基于预训练扩散模型的零样本视频语义分割框架，通过自回归场景上下文模型和对应细化策略，无需训练即可超越现有零样本方法，媲美有监督方法。
2024-05-27 cs.CV
Zero-shot Nuclei Detection via Visual-Language Pre-trained Models
Beihang University（北京航空航天大学）；Xiaomi Corporation（小米公司）；Zhejiang University（浙江大学）；Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院）
针对H&E图像零样本细胞核检测中医学图像与预训练数据差距大的问题，本文利用GLIP模型并设计自动提示流程与自训练框架，通过伪标签迭代细化预测框，实现无标签高性能检测，验证了视觉-语言预训练模型在医学领域的迁移潜力。
2023-06-30 cs.CV
Masked Pre-training Enables Universal Zero-shot Denoiser
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出 MPI 零样本去噪范式，先通过掩码预训练学习自然图像分布，再利用预训练权重对单张含噪图像进行迭代填充重建，在多种噪声场景下以更少推理时间取得优于已有方法的去噪效果。
2024-11-17 cs.CV
Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis
UC Berkeley（加州大学伯克利分校）
我们提出了DietNeRF，一个从几个图像估计的3D神经场景表示。神经辐射场（NeRF）通过多视图一致性学习场景的连续体积表示，并且可以通过光线投射从新的视点渲染。虽然NeRF具有令人印象深刻的重建几何和精细细节的能力，但对于具有挑战性的360°场景，高达100个图像，当只有少数输入视图可用时，它通常会找到其图像重建目标的退化解决方案。为了提高Few-Shot质量，我们提出了DietNeRF。我们引入了一个辅助的语义一致性损失，鼓励逼真的渲染在小说构成。DietNeRF在各个场景上进行训练，以（1）正确渲染来自相同姿势的给定输入视图，以及（2）在不同的随机姿势中匹配高级语义属性。我们的语义损失允许我们从任意姿势监督DietNeRF。我们使用预先训练的视觉编码器（如CLIP）提取这些语义，CLIP是一种视觉Transformer，它在从网络上挖掘的数亿张不同的单视图2D照片上进行训练，并使用自然语言进行监督。在实验中，DietNeRF在从头开始学习时提高了Few-Shot视图合成的感知质量，当在多视图数据集上进行预训练时，可以使用少至一个观察到的图像渲染新视图，并生成完全未观察到的区域的合理完成。
2021-04-01 cs.AI cs.CV cs.GR
Zero-Shot Anomaly Detection with Pre-trained Segmentation Models
Imperial College London（帝国理工学院）；Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本研究针对零样本异常检测问题，在WINCLIP框架基础上集成零样本分割模型与前景实例分割，无需外部数据，在VAND 2023零样本赛道获第三，VisA数据集上样本/像素级平均F1-max达81.5/24.2。
2023-06-15 cs.CV cs.LG
AttriPrompter: Auto-Prompting with Attribute Semantics for Zero-shot Nuclei Detection via Visual-Language Pre-trained Models
Beihang University（北京航空航天大学）；ByteDance Inc.（字节跳动公司）；Zhejiang University（浙江大学）；Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（北京协和医学院中国医学科学院肿瘤医院）
本文提出AttriPrompter自动提示生成流程，结合属性生成、增强与相关性排序，利用GLIP实现零样本细胞核检测，并通过自训练知识蒸馏解决高密度漏检误检问题，性能优于现有无监督方法。
2024-10-22 cs.CV
FSSUWNet: Mitigating the Fragility of Pre-trained Models with Feature Enhancement for Few-Shot Semantic Segmentation in Underwater Images
School of Ocean Engineering and Technology, Sun Yat-Sen University（中山大学海洋工程学院）；Southern Marine Science and Engineering Guangdong Laboratory（广东海洋科学与工程实验室）
针对水下图像中预训练模型提取的FSS先验特征脆弱的问题，提出带特征增强的FSSUWNet框架，通过互补特征融合、辅助编码器及特征对齐模块适配水下场景，在公开数据集上取得SOTA性能。
2025-06-14 cs.CV
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders
LG AI Research（LG人工智能研究院）；KAIST（韩国科学技术院）
本文提出包含正对损失松弛和随机句子采样的新微调策略，解决了医学图像-报告对的多标签性质被忽略的问题，无需外部知识即可在多个数据集上显著提升零样本X光病理分类性能，并超越放射科医生。
2024-10-11 cs.CV cs.LG eess.IV
One-Shot Pruning for Fast-adapting Pre-trained Models on Devices
University of Technology Sydney（悉尼科技大学）
本文提出一种可扩展的一次性剪枝方法，利用相似任务的剪枝知识生成分数掩码，从预训练模型中提取可快速适应新任务的子网络，在CNNs和ViT上以更少的训练迭代实现了优于主流剪枝基线的准确率与效率。
2023-07-10 cs.CV cs.LG
Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models
Harvard University（哈佛大学）
针对低患病率胸部病变零样本检测问题，研究用CXR-BERT等领域预训练模型替换CLIP类模型的BERT权重，虽会降低常见病变检测性能，但能显著提升低患病率疾病检测效果，为构建集成模型提供依据。
2023-06-13 cs.CL cs.CV cs.LG
Image-free Classifier Injection for Zero-Shot Classification
University of Tübingen（图宾根大学）；Technical University of Denmark（丹麦技术大学）；University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）；Copenhagen University Hospital（哥本哈根大学医院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对零样本分类需从头训练且依赖图像数据的问题，提出无图像分类器注入方法ICIS，利用现有分类器权重与类别描述符，通过双编解码网络及正则化损失，为预训练模型注入零样本分类能力，在基准数据集上取得优异性能。
2023-08-21 cs.CV cs.LG
Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
当源（训练）数据和目标（测试）数据之间存在域转移时，深度网络容易出现性能下降。最近的测试时自适应方法使用流数据更新部署在新目标环境中的预训练源模型的批量归一化层，以减轻这种性能下降。虽然这些方法可以在不首先收集大型目标域数据集的情况下进行动态调整，但它们的性能取决于流条件，例如小批量大小和类分布，这在实践中可能是不可预测的。在这项工作中，我们提出了一个框架Few-Shot领域自适应，以解决实际的挑战，数据高效的适应。具体来说，我们提出了一个约束优化的特征归一化统计在预训练的源模型由一个小的支持集从目标域的监督。我们的方法很容易实现，并提高了源模型的性能，每个类只有一个样本的分类任务。在5个跨域分类和4个语义分割数据集上的实验表明，该方法比测试时自适应方法具有更高的准确性和可靠性，同时不受流媒体条件的限制。
2022-10-22 cs.CV cs.LG
Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）；Tongji University（同济大学）
本文提出FEWTRANS基准和HPE协议，揭示预训练模型选择对少样本迁移性能的主导作用，并分析全微调在避免过拟合方面的有效性。
2026-02-28 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Ranking Distance Calibration for Cross-Domain Few-Shot Learning
Queen Mary University of London（伦敦玛丽女王大学）；Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）
少样本学习的最新进展促进了更现实的跨域设置，其中源和目标数据集来自不同的域。由于源数据集和目标数据集之间的域间隙和不相交的标签空间，它们共享的知识非常有限。这鼓励我们在目标域中探索更多的信息，而不是像许多现有方法那样在源域上过于详细的训练策略。因此，我们开始从一个通用的表示预训练的交叉熵损失和传统的基于距离的分类器，以及图像检索视图，采用重新排序过程中，通过发现任务内的倒数k-最近邻校准目标距离矩阵。假设预训练的表示偏向源，我们构建了一个非线性子空间，以最小化其中与任务无关的特征，同时通过双曲正切变换保持更多可转移的判别信息。该目标感知非线性子空间中的校准距离与预训练表示中的校准距离互补。为了将这样的距离校准信息施加到预先训练的表示上，采用Kullback-Leibler发散损失来逐渐引导模型朝向校准的基于距离的分布。在八个目标域上的广泛评估表明，这种目标排序校准过程可以改善传统的基于距离的分类器在少样本学习。
2022-03-23 cs.CV cs.LG
LiT: Zero-Shot Transfer with Locked-image text Tuning
Google Research（谷歌研究院）
本文介绍了对比度调整，一种简单的方法，采用对比度训练对齐图像和文本模型，同时仍然利用他们的预训练。在我们的实证研究中，我们发现锁定的预训练图像模型与解锁的文本模型效果最好。我们将这种对比度调整的实例称为“锁定图像调整”（LiT），它只是教文本模型从预先训练的图像模型中读出良好的表示来执行新任务。LiT模型获得了zero-shot转移到新视觉任务的能力，例如图像分类或检索。所提出的LiT具有广泛的适用性;它可以使用多种预训练方法（监督和无监督）以及使用三种不同图像-文本数据集的不同架构（ResNet，视觉Transformer和MLP混合器）可靠地工作。使用基于transformer的预训练ViT-g/14模型，LiT模型在ImageNet测试集上实现了85.2%的zero-shot传输准确率，在具有挑战性的分布外ObjectNet测试集上实现了82.5%的准确率。
2022-06-22 cs.CL cs.CV cs.LG
Rotation, Translation, and Cropping for Zero-Shot Generalization
New York University（纽约大学）
深度强化学习（DRL）在具有视觉输入的领域中表现出令人印象深刻的性能，特别是各种游戏。然而，智能体通常在固定的环境中训练，例如固定数量的级别。越来越多的证据表明，这些训练过的模型无法泛化到即使是轻微的变化，他们被trainedon.This本文提出的假设，缺乏泛化的部分原因是由于输入表示，并探讨如何旋转，裁剪和平移可以增加的一般性。我们表明，裁剪，平移和旋转的观察可以得到更好的泛化看不见的水平的二维街机游戏从GVGAI框架。的代理人的一般性进行评估，在人类设计和程序生成的水平。
2020-06-12 cs.CV cs.LG stat.ML
FacEDiM: A Face Embedding Distribution Model for Few-Shot Biometric Authentication of Cattle
Fit-For-Purpose Technologies SRL（Fit-For-Purpose 技术有限公司）；Neotex SARL（Neotex 有限责任公司）
本研究提出 FacEDiM 模型，通过计算测试嵌入与预训练 CNN 获取的训练嵌入多变量高斯分布间的 Mahalanobis 距离解决牛的少样本生物特征认证，实验证明 ImageNet 预训练优于人脸预训练，VGG16 取得优异认证结果。
2023-07-26 cs.CV cs.LG cs.NE
