TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
Zhejiang University（浙江大学）；Tencent（腾讯）
本方法基于CLIP模型并添加线性层映射图像特征至联合嵌入空间，利用记忆库存储参考特征，在VAND 2023挑战赛中零样本赛道获第一名（分割F1提升0.0489），少样本赛道获第四名（分类F1为0.8687）。
2023-10-11 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
Zero-Shot Task Transfer
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
在这项工作中，我们提出了一种新的Meta学习算法，即TTNet，回归模型参数的新任务，没有地面真理是可用的（zero-shot任务）。为了适应新的zero-shot任务，我们的元学习器从已知任务的模型参数（具有地面真实值）和已知任务与zero-shot任务的相关性中学习。这种直觉在认知科学中找到了立足点，在认知科学中，主体（人类婴儿）可以通过将其与旧概念（手部运动或自我运动）相关联来适应新概念（深度理解），而无需接受明确的监督。我们在Taskonomy数据集上评估了我们的模型，其中有四个任务为zero-shot：表面法线，房间布局，深度和相机姿态估计。这些任务是基于数据采集复杂性和与使用深度网络的学习过程相关联的复杂性来选择的。我们提出的方法在我们的每个zero-shot任务上的表现优于最先进的模型（使用地面实况），显示了对zero-shot任务传输的承诺。我们还进行了大量的实验，研究我们的方法的各种选择，以及如何提出的方法也可以用于迁移学习。据我们所知，这是第一次在任务空间中进行零样本学习。
2019-03-04 cs.CV
Infrared Domain Adaptation with Zero-Shot Quantization
Graduate School of Informatics, Middle East Technical University（中东技术大学信息学研究生院）
本文提出一种针对红外域目标检测模型的零样本量化框架，利用批量归一化统计数据蒸馏校准数据，在无训练数据条件下有效实现模型量化。
2024-08-25 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science（印度科学研究院）
连续零样本学习（Continual zero-shot learning，CSCL）是一个新的领域，用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况，即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习（CL）遭受灾难性遗忘，并且由于在训练期间缺乏实际数据（或特征），零样本学习（ZNL）模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习（DVGR-CQML）模型，该模型随着每个任务的大小而增长，并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型（DVGR-CNOL）优于基线，并且在几个数据集上是有效的，即，CUB、AWA 1、AWA 2和aPY。我们表明，我们的方法是优越的任务顺序学习的零样本学习（Zero-Shot Learning）。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
Manifold Induced Biases for Zero-shot and Few-shot Detection of Generated Images
Fujitsu（富士通）
本文通过分析预训练扩散模型的概率流形偏差，提出了一种基于得分函数的零样本和少样本生成图像检测方法，并在20个生成模型上验证了其优越性。
2025-04-21 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia（意大利技术研究院）
零样本学习方法依赖于固定的视觉和语义嵌入，这些嵌入是从独立的视觉和语言模型中提取的，两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点，因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此，我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐，由属性提供，我们利用辅助标题来提供接地的语义信息。我们的方法，被称为联合嵌入zero-shot学习的几个基准数据集进行评估，提高现有的国家的最先进的方法在标准（$+1.6$ \%上aPY，$+2.6\%$ FLO）和广义（$+2.1\%$上AWA $2$，$+2.2\%$上CUB）zero-shot识别的性能。
2022-04-10 cs.CV
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例，零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中，我们提出了一种新的零样本学习模型，利用聚类结构的语义嵌入空间。其关键思想是施加结构约束，语义表示必须预测其相应的视觉样本的位置。为此，这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单，但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法，包括包含20，000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
Model Selection for Generalized Zero-shot Learning
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
在广义零样本学习问题中，来自未知类的数据点在训练过程中不可用。广义零样本学习的主要挑战是不平衡的数据分布，这使得分类器很难区分给定的测试样本是否来自可见或不可见的类。然而，使用生成对抗网络（GAN）来生成辅助数据点的语义嵌入看不见的类，解决了上述问题。目前的方法结合辅助数据点和原始训练数据来训练广义零样本学习模型，并获得最先进的结果。受这些模型的启发，我们建议通过模型选择机制来提供生成的数据。具体来说，我们利用两个来源的数据点（观察和辅助）训练一些分类器，以识别哪些测试数据点来自可见的，哪些来自不可见的类。通过这种方式，广义零样本学习可以被划分为两个不相交的分类任务，从而减少不平衡数据分布的负面影响。我们对四个公开可用的广义零样本学习数据集的评估表明，我们的模型获得了最先进的结果。
2018-11-08 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
Continual Learning Improves Zero-Shot Action Recognition
University of Nottingham（诺丁汉大学）；University of Bath（巴斯大学）；University of Edinburgh（爱丁堡大学）
本文提出基于持续学习的GIL方法，利用过去类别的合成特征记忆与新颖类别真实特征结合训练分类模型，提升了零样本动作识别在未见类别上的泛化能力，并在多个基准上达到新SOTA。
2024-10-14 cs.CV
FADE: Few-shot/zero-shot Anomaly Detection Engine using Large Vision-Language Model
Onfido；Entrust
本文提出FADE引擎，通过调整CLIP模型并结合多尺度图像块嵌入、自动文本提示集成及查询-参考图像视觉引导，在零样本和少样本工业异常检测中取得领先性能。
2024-08-31 cs.CV
CICA: Content-Injected Contrastive Alignment for Zero-Shot Document Image Classification
RPTU（莱茵兰-普法尔茨技术大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出 CICA 框架，通过内容注入和耦合对比损失对齐文档文本与 CLIP 多模态特征，并在 RVL-CDIP 的 ZSL/GZSL 基准上显著提升性能。
2024-05-06 cs.CV
Zero-Shot Visual Classification with Guided Cropping
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出GC-CLIP方法，通过在预处理中使用零样本目标检测模型进行引导裁剪，增强CLIP对目标物体的关注并减少无关区域干扰，有效提升了零样本分类性能，尤其针对小目标物体。
2023-09-12 cs.CV
FitCLIP: Refining Large-Scale Pretrained Image-Text Models for Zero-Shot Video Understanding Tasks
University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
大规模预训练的图像-文本模型在一些任务中表现出令人难以置信的zero-shot性能，包括动作识别和文本到视频检索等视频任务。然而，这些模型还没有被适配到视频，主要是因为它们没有考虑时间维度，而且还因为视频帧不同于典型图像（例如，包含运动模糊和较低的清晰度）。在本文中，我们提出了一种微调策略来细化这些大规模的预训练图像-文本模型，用于zero-shot视频理解任务。我们表明，通过仔细调整这些模型，我们获得了相当大的改进，两个zero-shot动作识别任务和三个zero-shot文本到视频检索任务。代码可在www.example.com上获得
2022-10-05 cs.CV
Review of Zero-Shot and Few-Shot AI Algorithms in The Medical Domain
该综述梳理了医学领域近三年零样本、少样本及常规目标检测技术，分类对比了相关方法与创新模型，指出领域正转向视觉-语言模型应用，并提出未来需深入探索局限性与领域适配问题。
2024-06-23 cs.CV
End-to-end Generative Zero-shot Learning via Few-shot Learning
National Technical University of Athens（雅典国立技术大学）；Behavioral Signal Technologies（行为信号技术公司）
当代最先进的零射击学习（Zero-Shot Learning，简称ZRL）方法训练生成网络，以根据所提供的元数据合成示例。此后，以监督的方式在这些合成数据上训练分类器。在这项工作中，我们介绍了Z2 FSL，一个端到端的生成式CPDL框架，使用这种方法作为骨干，并将其合成输出馈送到少样本学习（FSL）算法。这两个模块是联合培训的。Z2 FSL使用FSL算法解决了CNOL问题，实际上将CNOL简化为FSL。一个广泛的类的算法可以集成在我们的框架。我们的实验结果表明，在几个基线一致的改善。所提出的方法，跨标准基准评估，显示国家的最先进的或有竞争力的性能在CNOL和广义CNOL任务。
2021-02-08 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP（对比存储-图像预训练）在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而，它在跨模态生成任务，如zero-shot图像描述的性能仍然不令人满意。在这项工作中，我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态，在很大程度上忽略了视觉信息，我们称之为\emph{contextual language prior}。为了解决这个问题，我们提出了跨模态语言模型（CLM），以促进无监督的跨模态学习。我们进一步提出了锚增强，以指导生成模型的注意力，在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Preserving Semantic Relations for Zero-Shot Learning
National Institute of Technology - Karnataka（卡纳塔克邦国家理工学院）；Indian Institute of Science（印度科学研究所）
零样本学习由于其在不需要额外的训练数据的情况下缩放识别模型的潜力而受到欢迎。这通常通过将类别与其语义信息（如属性）相关联来实现。然而，我们认为，这一模式所提供的潜力尚未得到充分利用。在这项工作中，我们建议使用一组关系的属性跨越的空间的结构。我们设计的目标函数，以保持这些关系的嵌入空间，从而诱导语义的嵌入空间。通过对五个基准数据集的广泛实验评估，我们证明了将语义引入嵌入空间有利于零样本学习。所提出的方法优于国家的最先进的标准zero-shot设置以及更现实的广义zero-shot设置。我们还演示了如何所提出的方法可以是有用的近似语义推断属于一类的属性信息是不可用的图像。
2018-03-08 cs.CV
Zero-Shot Learning -- The Good, the Bad and the Ugly
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Amsterdam（阿姆斯特丹大学）
由于零样本学习的重要性，最近提出的方法的数量稳步增加。我们认为，现在是时候退后一步，分析该地区的现状。本文件有三个目的。首先，考虑到没有商定的零样本学习基准，我们首先通过统一评估协议和数据分割来定义一个新的基准。这是一个重要的贡献，因为公布的结果往往是不可比的，有时甚至是有缺陷的，例如，预训练的zero-shot测试类。其次，我们深入比较和分析了大量的最先进的方法，无论是在经典的zero-shot设置，而且在更现实的广义zero-shot设置。最后，我们讨论了该地区的现状，可以作为推进它的基础的局限性。
2020-09-23 cs.CV
Unified Generator-Classifier for Efficient Zero-Shot Learning
Indian Institute of Science（印度科学学院）
生成模型已经实现了零样本学习问题的最新性能，但每次遇到新的对象类别时，它们都需要重新训练分类器。传统的语义嵌入方法虽然非常优雅，但通常不能与生成方法相提并论。在这项工作中，我们提出了一个统一的框架，称为GenClass，它集成了高效的零样本学习的分类器的生成器，从而结合了代表性的权力的生成方法和优雅的嵌入方法。统一框架的端到端训练不仅消除了生成方法中对新对象类别的额外分类器的要求，而且还有助于生成更具区分性和有用的特征。在AWA、CUB和SUN三个标准zero-shot目标分类数据集上的实验结果表明了该方法的有效性。该方法在不做任何修改的情况下，对zero-shot动作的分类也具有很好的性能，从而显示了其在其他领域的推广性。
2019-05-11 cs.CV
Attributed Synthetic Data Generation for Zero-shot Domain-specific Image Classification
Southeast University（东南大学）；Waseda University（早稻田大学）；ZOZO Research（ZOZO研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出 AttrSyn 方法，利用大语言模型生成属性化提示以提升合成图像多样性，从而改善零样本特定领域图像分类性能。
2025-04-06 cs.CV
Towards Zero-shot Sign Language Recognition
Hacettepe University（哈塞特佩大学）；METU（中东技术大学）
本文解决了zero-shot手语识别（ZSSLR）的问题，其目标是利用在可见符号类上学习的模型来识别不可见符号类的实例。在这种情况下，容易获得的文本符号描述和从手语词典中收集的属性被用作知识转移的语义类表示。对于这个新的问题设置，我们引入了三个基准数据集及其附带的文本和属性描述，以详细分析问题。我们提出的方法建立身体和手的区域的时空模型。通过利用描述性的文本和属性嵌入以及这些视觉表示在一个零样本学习框架内，我们表明，基于文本和属性的类定义可以提供有效的知识识别以前看不见的标志类。我们还介绍了技术来分析正确和不正确的zero-shot预测的二进制属性的影响。我们预计，介绍的方法和相应的数据集将提供一个基础，进一步探索零样本学习在手语识别。
2022-01-15 cs.CV
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
Zero-shot Learning with Class Description Regularization
York University（约克大学）；Vector Institute（向量研究所）
生成式零样本学习（generative Zero-shot learning，简称ZRL）的目的是从已知的类中学习，传递学习到的知识，并从未知类的描述中创建未知类的样本。为了获得更好的CNOL精度，模型需要更好地理解看不见的类的描述。我们引入了一种新的正则化形式，鼓励生成式的CPDL模型更加关注每个类别的描述。我们的实证结果表明，当在基于文本的数据集（如CUB和NABIrds）和基于属性的数据集（如AWA 2，aPY和SUN）上进行训练时，在广义zero-shot识别和分类任务上，多个最先进的模型的性能有所改善。
2021-06-30 cs.CV
A Simple and Efficient Baseline for Zero-Shot Generative Classification
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Baidu（百度）
提出一种基于预训练文本到图像扩散模型和DINOv2的零样本高斯扩散分类器（GDC），在ImageNet上准确率提升超10个百分点且速度提升超30000倍，兼具准确率与效率。
2024-12-17 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Zero-Shot and Few-Shot Video Question Answering with Multi-Modal Prompts
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）；Institute of Advanced Research in Artificial Intelligence (IARAI)（高级人工智能研究所（IARAI））
针对预训练视觉-语言模型在有限数据适配中的过拟合、遗忘和跨模态鸿沟问题，提出冻结主干、结合多模态提示学习与 transformer 映射网络的参数高效方法，并在多个视频问答基准的零样本和少样本设置中验证其优势。
2023-09-27 cs.CV
Global Semantic Consistency for Zero-Shot Learning
Fudan University（复旦大学）；Tongji University（同济大学）
在图像识别中，有很多情况下，训练样本不能覆盖所有的目标类别。零样本学习（Zero-shot learning，ZRL）利用类语义信息来对训练集中不包含对应样本的未见过类别的样本进行分类。在本文中，我们提出了一个端到端的框架，称为全局语义一致性网络（GSC-Net），它充分利用了可见和不可见类的语义信息，以支持有效的零样本学习。我们还采用了软标签嵌入损失，以进一步利用类之间的语义关系。为了使GSC-Net适应更实际的设置，广义零样本学习（GSCNL），我们引入了一个参数化的新颖性检测机制。我们的方法在三个视觉属性数据集上实现了最先进的性能，这验证了所提出的框架的有效性和优势。
2018-06-22 cs.CV
CXR-LT 2026 Challenge: Projection-Aware Multi-Label and Zero-Shot Chest X-Ray Classification
KAIST（韩国科学技术院）；GIST（光州科学技术院）；Korea University（高丽大学）；KAIST Graduate School of AI (GSAI)（韩国科学技术院人工智能研究生院）
该挑战针对已知胸片病变的多标签分类和未知病变的零样本分类，通过整合投影特定模型的分类网络，提出双分支架构结合对比学习和LLM生成提示，提升零样本泛化能力。
2026-04-02 cs.CV
Selective Zero-Shot Classification with Augmented Attributes
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；University of Sydney（悉尼大学）
在本文中，我们介绍了一个选择性的zero-shot分类问题：分类器如何避免作出可疑的预测？现有的基于属性的zero-shot分类方法在选择性分类场景中表现不佳。我们认为，不完整的人类定义的属性词汇表的性能不佳。我们提出了一个选择性的zero-shot分类的基础上，人类定义和自动发现的残留属性。该分类器的构造首先学习的定义和残留的属性联合。然后在定义的属性的子空间内进行预测。最后，预测的信心是衡量定义和残差属性。在几个基准测试上进行的实验表明，我们的分类器在风险覆盖权衡度量下产生了优于其他方法的性能。
2018-07-19 cs.CV
Learning shape distributions from large databases of healthy organs: applications to zero-shot and few-shot abnormal pancreas detection
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Guerbet Research（加栢研究中心）；Hospital of Annecy-Genevois, Université de Paris（巴黎大学阿讷西-日内瓦医院）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
我们提出了一个可扩展的和数据驱动的方法来学习形状分布从大型数据库的健康器官。为此，将体积分割掩模嵌入到使用变分自动编码网络学习的公共概率形状空间中。利用得到的潜在形状表示来导出用于异常形状检测的零次和Few-Shot方法。所提出的分布学习方法是在1200个健康胰腺形状的大型数据库上进行说明的。下游定性和定量实验在来自具有混合病症的患者的224个胰腺的单独测试集上进行。异常胰腺检测AUC在zero-shot配置中达到65.41%，在Few-Shot配置中达到78.97%，只有15个异常样本，优于基于单一体积的基线方法。
2022-10-21 cs.CV
Few-shot Partial Multi-view Learning
Hefei University of Technology（合肥工业大学）；University of Rochester（罗切斯特大学）
针对数据稀缺与视图缺失共存问题，提出少样本部分多视图学习任务，并设计统一高斯密集锚定方法，通过将数据映射到统一密集表示空间缓解双重挑战，在多个数据集上验证了有效性。
2023-05-18 cs.CV cs.LG
Visually Analyzing and Steering Zero Shot Learning
Vanderbilt University（范德堡大学）
我们提出了一个可视化的分析系统，以帮助用户分析和引导零样本学习模型。零样本学习已经成为一种可行的方案，用于对不包含标记示例的数据进行分类，因此是一种有前途的方法，可以最大限度地减少人类的数据注释。然而，理解零样本学习在哪里失败、这种失败的原因以及用户如何修改模型以防止这种失败是具有挑战性的。我们的可视化系统旨在帮助用户诊断和理解此类模型中的错误预测，以便他们在应用于与训练期间未看到的类别相关的数据时可以深入了解模型的行为。通过使用场景，我们强调了我们的系统如何帮助用户提高零样本学习的性能。
2020-09-11 cs.CV cs.HC
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University（斯坦福大学）
图像地理定位是一项具有挑战性的任务，即预测给定照片的地理坐标。这是一个尚未解决的问题，依赖于将视觉线索与关于世界的一般知识相结合的能力，以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$，一个强大的，公开可用的基础模型，不仅在多个开放域图像地理定位基准上实现了最先进的性能，而且在zero-shot设置中也做到了这一点，优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP，在选择的域中接地CLIP，为广义零样本学习引入了元学习方法。我们表明，我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域，提高了域内广义zero-shot性能，而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
Zero Shot Recognition with Unreliable Attributes
UT Austin（德克萨斯大学奥斯汀分校）
原则上，零样本学习可以通过简单地指定类别的属性来训练识别模型。例如，使用\emph{striped}和\emph{four-legged}等通用属性的分类器，即使不提供斑马训练图像，也可以通过枚举斑马类别拥有的属性来构建斑马类别的分类器。然而，在实践中，标准的zero-shot范例受到影响，因为新图像中的属性预测很难正确。我们提出了一种新的随机森林方法来训练zero-shot模型，明确占属性预测的不可靠性。通过利用每个属性的错误趋势的统计数据，我们的方法获得了更强大的判别模型的看不见的类。我们进一步设计扩展来处理Few-Shot场景和不可靠的属性描述。在三个数据集上，我们展示了零或少量训练样本的视觉类别学习的好处，这是罕见类别或动态定义类别的关键领域。
2016-03-29 cs.CV stat.ML
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
Zero-Shot Anticipation for Instructional Activities
University of Bonn（波恩大学）；National University of Singapore（新加坡国立大学）
我们如何教机器人预测它从未见过的活动接下来会发生什么？我们解决这个问题的zero-shot预期提出了一个层次模型，概括了教学知识，从大规模的文本语料库和知识转移到视觉域。给定教学视频的一部分，我们的模型预测未来多个步骤的连贯和合理的行动，所有这些都是用丰富的自然语言。为了展示我们模型的预测能力，我们引入了Tasty Videos数据集，这是一个包含2511个用于零样本学习、识别和预测的配方的集合。
2019-10-20 cs.CV cs.LG
Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Massachusetts Institute of Technology（麻省理工学院）
使用对比损失（如CLIP）训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而，要用作zero-shot分类器，这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中，很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制，并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中，我们表明，我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性，我们提供了一个实证分析的因素，可能会影响其性能。
2022-10-27 cs.CV cs.LG
Using Fictitious Class Representations to Boost Discriminative Zero-Shot Learners
Technion – Israel Institute of Technology（以色列理工学院）
专注于判别式零样本学习，在这项工作中，我们引入了一种新的机制，在训练过程中动态增加看到的类的集合，以产生额外的虚构类。这些虚构的类减少了模型在训练过程中对出现在训练集中但不会出现在新暴露的类中的属性相关性的关注。该模型在零样本学习框架的两个公式内进行测试，即广义零样本学习（GSTOL）和经典零样本学习（CSTOL）。我们的模型提高了CUB数据集的最新性能，并在其他常见数据集AWA2和SUN上达到了类似的结果。我们研究了我们的方法的优点和缺点，包括训练端到端zero-shot模型时灾难性遗忘的影响。
2021-11-26 cs.AI cs.CV cs.LG
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
在本文中，我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如，动词“敬礼”有几个属性，如作为一个轻的运动，一个社会行为，并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射，以推理以前看不见的动作。与许多先前的工作，假设访问黄金标准属性的zero-shot类，并主要集中在对象属性，我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实，从语言推断的动作属性可以提供一个预测信号，以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
Performance Variability in Zero-Shot Classification
Universidad Nacional de Córdoba（科尔多瓦国立大学）；CONICET（阿根廷国家科学技术研究委员会）
Zero-shot Classification（ZSC）是学习训练过程中看不到的类的预测器的任务。虽然文献中的不同方法使用相同的类划分进行评估，但对它们在不同类划分下的稳定性知之甚少。在这项工作中，我们通过实验表明，ZSC性能在不断变化的训练设置下表现出很强的可变性。我们建议使用集成学习作为一种尝试，以减轻这种现象。
2021-03-01 cs.CV cs.LG
Few-Shot Adaptation for Multimedia Semantic Indexing
Tokyo Institute of Technology（东京工业大学）
我们提出了一个Few-Shot自适应框架，它桥接了零样本学习和有监督的多样本学习，用于图像和视频数据的语义索引。Few-Shot自适应算法通过同时优化零样本学习和监督多样本学习的参数，以较少的训练样本提供鲁棒的参数估计。该方法首先构造一个zero-shot检测器，然后利用少量的例子对检测器进行更新。我们的实验表明了所提出的框架在三个数据集上的有效性：TRECVID语义索引2010，2014和ImageNet。在ImageNET数据集上，我们证明了我们的方法优于最近的少样本学习方法。在TRECVID 2014数据集上，我们在zero-shot条件和监督条件下分别获得了15.19%和35.98%的平均精度。据我们所知，这些是该数据集上的最佳结果。
2018-07-19 cs.CV cs.MM
GRIG: Few-Shot Generative Residual Image Inpainting
Wenzhou University（温州大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；Zhejiang University（浙江大学）；University of Bath（巴斯大学）；University of Guelph（圭尔夫大学）；Nanjing University（南京大学）
针对图像修复依赖大规模训练数据的问题，本文提出GRIG少样本生成式残差方法，结合CNN、Transformer、双尺度判别器与伪造块对抗训练，实现高质量修复并在定量和定性上超越既有方法。
2023-04-24 cs.CV cs.MM
Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm AI Research（高通人工智能研究部）；Qualcomm Technologies, Inc.（高通技术公司）；Amazon（亚马逊）
本文全面综述对比了最先进的零样本（免训练）神经架构搜索方法，梳理主流代理指标及理论基础，通过实验验证其在硬件感知与无关场景的有效性，并提出未来优化方向。
2024-06-18 cs.CV cs.LG
Transductive Zero-Shot and Few-Shot CLIP
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（中央理工-高等电力学院）；ÉTS Montréal（蒙特利尔工程学院）
本文提出一种基于期望最大化和块状最小化-最大化算法的直推式推理方法，用于CLIP的零样本和少样本分类，在批量未标记样本上联合推理，显著提升ImageNet准确率。
2024-04-08 cs.AI cs.CV
Unifying Few- and Zero-Shot Egocentric Action Recognition
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Facebook Reality Labs（Facebook现实实验室）
虽然在自我中心动作识别方面已经有了大量的研究，但大多数方法和任务，包括史诗厨房，都假设了一组固定的动作类。固定集分类对于基准测试方法是有用的，但由于动作的组合性，在实际设置中通常是不现实的，导致功能无限基数标签集。在这项工作中，我们探索泛化与一个开放的类集统一两种流行的方法：少数和zero-shot泛化（后者，我们重新定义为跨模态Few-Shot泛化）。我们提出了一组新的分裂来自EPIC-KITCHENS数据集，允许开放集分类的评估，并使用这些分裂表明，增加一个度量学习损失的传统的直接对齐基线可以提高zero-shot分类多达10%，而不牺牲Few-Shot的性能。
2020-05-27 cs.CV cs.LG
