A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下，标准的评估协议是使用现有的动作识别数据集（例如UCF 101），并将类随机分为可见和不可见。然而，最近的工作建立在Kinetics数据集上预先训练的表示上，其中类与zero-shot评估数据集中的类在很大程度上重叠。因此，在监督预训练期间存在应该是不可见的类，从而使zero-shot设置的条件无效。几年前，对于基于图像的zero-shot识别，先前已经注意到类似的关注，但是尚未被zero-shot动作识别团体考虑。在本文中，我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆（TruZe）分裂UCF 101和HMDB 51，与zero-shot和广义zero-shot评价。在我们广泛的分析中，我们发现我们的TruZesplits比类似的随机分裂要难得多，因为没有任何东西从预训练中泄露出来，即看不见的性能一直较低，对于zero-shot动作识别高达8.9%。在另外的评估中，我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题，在这里我们看到高达17.1%的差异。我们发表了我们的分裂1，并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot Artistic Style Transfer
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）；Tencent AI Lab（腾讯人工智能实验室）
本文提出 Master 风格迁移 Transformer，通过跨层参数共享、内容特征可学习缩放及元学习微调，实现可控零样本与文本引导少样本艺术风格迁移。
2023-04-24 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
Few-Shot Learning with Intra-Class Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
我们考虑不平衡数据集的Few-Shot分类任务，其中一些类有足够的训练样本，而其他类只有有限的训练样本。最近的工作提出了解决这个问题，通过增加训练数据的Few-Shot类使用生成模型与Few-Shot训练样本作为种子。然而，由于有限数量的Few-Shot种子，生成的样本通常具有小的多样性，使得难以训练用于Few-Shot类的判别分类器。为了丰富所生成的样本的多样性，我们建议利用来自邻居多镜头类的类内知识，直觉上邻居类共享相似的统计信息。这种类内信息是通过两步机制获得的。首先，使用仅在多镜头类上训练的回归器来评估仅来自少数样本的Few-Shot类均值。其次，对超类进行聚类，并将每个超类的统计均值和特征方差作为子Few-Shot类继承的可传递知识。然后，生成器使用这些知识来增强稀疏训练数据，以帮助下游分类任务。大量的实验表明，我们的方法在不同的数据集和$n$拍摄设置上达到了最先进的水平。
2020-08-22 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
Exploring Effective Knowledge Transfer for Few-shot Object Detection
Beihang University（北京航空航天大学）
近年来，Few-Shot目标检测（FSOD）受到了社会各界的广泛关注，并从知识转移的角度提出了许多方法来解决这个问题。虽然已经取得了有希望的结果，但这些方法未能实现拍摄稳定：在低拍摄区域中表现出色的方法可能在高拍摄区域中挣扎，反之亦然。我们认为这是因为FSOD的主要挑战随着射击次数的变化而变化。在低投制度中，主要的挑战是缺乏类内变化。在高拍摄制度，作为方差接近真实的，性能的主要障碍来自学习和真实分布之间的不一致。然而，这两个不同的问题仍然没有解决，在大多数现有的FSOD方法。在本文中，我们建议通过利用模型学习到的丰富知识并将其有效地转移到新类来克服这些挑战。对于低拍摄区域，我们提出了一种分布校准方法来处理类内变化不足的问题。同时，提出了一种偏移补偿方法，以补偿微调过程中可能出现的分布偏移。对于高拍摄制度，我们建议使用从ImageNet学习的知识作为微调阶段特征学习的指导，这将隐式地对齐新类的分布。虽然针对不同的制度，这两种策略可以一起工作，以进一步提高FSOD的性能。在VOC和COCO基准测试上的实验表明，我们提出的方法可以显着优于基线方法，并在低拍摄设置（拍摄<5）和高拍摄设置（拍摄>=5）中产生有竞争力的结果。代码可在https://github.com/JulioZhao97/EffTrans_Fsdet.git上获得。
2022-10-05 cs.CV
APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
Zhejiang University（浙江大学）；Tencent（腾讯）
本方法基于CLIP模型并添加线性层映射图像特征至联合嵌入空间，利用记忆库存储参考特征，在VAND 2023挑战赛中零样本赛道获第一名（分割F1提升0.0489），少样本赛道获第四名（分类F1为0.8687）。
2023-10-11 cs.CV
PTN: A Poisson Transfer Network for Semi-supervised Few-shot Learning
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）；The University of Sydney（悉尼大学）
半监督少样本学习（SSFSL）的难点在于如何最大化额外的未标记数据的价值来提高Few-Shot学习器的学习效率。在本文中，我们提出了一个泊松转移网络（PTN）挖掘SSFSL的未标记信息从两个方面。首先，Poisson Merriman Bence Osher（MBO）模型为标记和未标记样本之间的通信搭建了一座桥梁。该模型在标签的消息传递过程中比传统的基于图的SSFSL方法更稳定，信息量更大。其次，利用额外的未标记样本，通过对比学习将知识从基类转移到新类。具体来说，我们迫使增广的正对靠近，而将负对推远。我们的对比转移方案隐式地学习新类嵌入，以减轻在少数标记数据上的过拟合问题。因此，我们可以减轻新类中嵌入通用性的退化。大量实验表明，PTN在miniImageNet和tieredImageNet基准数据集上的性能优于最先进的Few-Shot和SSFSL模型。
2021-04-01 cs.CV
From Visual Prompt Learning to Zero-Shot Transfer: Mapping Is All You Need
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
视觉提示学习作为一种新兴的技术，利用大规模预训练模型学习到的知识，并通过使用提示使其适应下游任务。虽然以前的研究集中在设计有效的提示，在这项工作中，我们认为，提示设计相比，一个好的映射策略更重要。从这个意义上说，我们提出了SeMap，这是一种更有效的映射，它使用预训练模型的知识和下游任务之间的语义对齐。我们的实验结果表明，SeMap可以大大提高视觉提示学习的性能。此外，我们的实验表明，SeMap能够实现竞争性的zero-shot传输，这表明它可以执行下游任务，而无需对相应的数据集进行任何微调。这证明了我们提出的方法可以用于更广泛的应用中，其中需要zero-shot传输。结果表明，我们提出的SeMap可以导致显着的进步，在视觉提示学习和zero-shot转移。我们希望通过SeMap，我们可以帮助社区更高效、更轻量级地利用大型视觉模型。
2023-03-09 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
How to Transfer? Zero-Shot Object Recognition via Hierarchical Transfer of Semantic Attributes
Institute for Anthropomatics and Robotics（拟人学与机器人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于属性的知识转移在视觉对象分析和学习以前看不见的类中已经被证明是非常成功的。然而，常见的方法学习和传输属性，而不考虑源集中类别之间的嵌入结构。这些信息提供了重要的线索属性内的变化。我们建议捕捉这些变化的分层模型，扩展了知识源与属性的额外抽象级别。我们还提供了一种新的传输方法，可以选择适当的属性与一个看不见的类共享。我们在三个公共数据集上评估了我们的方法：aPascal，具有属性的动物和CUB-200-2011鸟类。实验结果表明，我们的模型的有效性与国家的最先进的显着改善。
2016-04-01 cs.CV
ZeST: Zero-Shot Material Transfer from a Single Image
University of Oxford（牛津大学）；Stability AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出 ZeST，利用扩散适配器提取示例材质，并结合深度与明暗线索通过预训练修复扩散模型实现单图零样本材质迁移。
2024-04-09 cs.CV
Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Lab（香港中文大学-商汤科技联合实验室）
Zero-shot艺术风格转换是一个重要的图像合成问题，旨在将任意风格的图像转换为内容图像。然而，现有方法中的泛化和效率之间的权衡阻碍了高质量的实时zero-shot风格的传输。在本文中，我们解决了这个难题，并提出了一个高效而有效的Avatar-Net，使视觉上合理的多尺度传输任意风格。我们的方法的关键成分是一个风格装饰，使内容功能的语义对齐的风格特征从任意的风格图像，这不仅整体上匹配他们的特征分布，但也保留详细的风格模式的装饰功能。通过将该模块嵌入到融合多尺度风格抽象的图像重建网络中，Avatar-Net在一次前馈中为任何风格图像呈现多尺度风格化。通过多种风格融合、视频风格化等一系列应用，验证了该方法在生成高质量风格化图像方面的有效性和高效性。
2018-05-22 cs.CV
Infrared Domain Adaptation with Zero-Shot Quantization
Graduate School of Informatics, Middle East Technical University（中东技术大学信息学研究生院）
本文提出一种针对红外域目标检测模型的零样本量化框架，利用批量归一化统计数据蒸馏校准数据，在无训练数据条件下有效实现模型量化。
2024-08-25 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science（印度科学研究院）
连续零样本学习（Continual zero-shot learning，CSCL）是一个新的领域，用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况，即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习（CL）遭受灾难性遗忘，并且由于在训练期间缺乏实际数据（或特征），零样本学习（ZNL）模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习（DVGR-CQML）模型，该模型随着每个任务的大小而增长，并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型（DVGR-CNOL）优于基线，并且在几个数据集上是有效的，即，CUB、AWA 1、AWA 2和aPY。我们表明，我们的方法是优越的任务顺序学习的零样本学习（Zero-Shot Learning）。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
4DStyleGaussian: Zero-shot 4D Style Transfer with Gaussian Splatting
提出4DStyleGaussian框架，利用嵌入式4D Gaussian Splatting和可逆神经网络预测4D风格变换矩阵，实现高效、零样本且时空一致的动态场景风格迁移。
2024-10-14 cs.CV
Manifold Induced Biases for Zero-shot and Few-shot Detection of Generated Images
Fujitsu（富士通）
本文通过分析预训练扩散模型的概率流形偏差，提出了一种基于得分函数的零样本和少样本生成图像检测方法，并在20个生成模型上验证了其优越性。
2025-04-21 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Diversity Transfer Network for Few-Shot Learning
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics, Inc.（地平线机器人公司）；Vector Institute（向量研究所）；PMCC, UHN（玛格丽特公主癌症中心，大学健康网络）
少样本学习是一个具有挑战性的任务，其目的是训练一个分类器，用于看不见的类只有几个训练样本。少样本学习的主要困难在于训练样本不足，缺乏类内多样性。为了缓解这个问题，我们提出了一种新的生成框架，多样性转移网络（DTN），学习转移潜在的差异从已知的类别和复合支持功能，以生成不同的样本的新类别的特征空间。样本生成的学习问题（即，分集转移）是通过最小化单级网络中的有效元分类损失来解决的，而不是以前工作中的生成损失。此外，一个有组织的辅助任务协同训练的已知类别提出了稳定的DTN元训练过程。我们在三个数据集上进行了广泛的实验和消融研究，即，\emph{mini} ImageNet、CIFAR100和CUB。结果表明，DTN具有单阶段训练和较快的收敛速度，在基于特征生成的少样本学习方法中取得了较好的效果。代码和补充材料可从以下网址获得：\texttt{https://github.com/Yuxin-CV/DTN}
2019-12-31 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia（意大利技术研究院）
零样本学习方法依赖于固定的视觉和语义嵌入，这些嵌入是从独立的视觉和语言模型中提取的，两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点，因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此，我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐，由属性提供，我们利用辅助标题来提供接地的语义信息。我们的方法，被称为联合嵌入zero-shot学习的几个基准数据集进行评估，提高现有的国家的最先进的方法在标准（$+1.6$ \%上aPY，$+2.6\%$ FLO）和广义（$+2.1\%$上AWA $2$，$+2.2\%$上CUB）zero-shot识别的性能。
2022-04-10 cs.CV
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例，零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中，我们提出了一种新的零样本学习模型，利用聚类结构的语义嵌入空间。其关键思想是施加结构约束，语义表示必须预测其相应的视觉样本的位置。为此，这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单，但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法，包括包含20，000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
Model Selection for Generalized Zero-shot Learning
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
在广义零样本学习问题中，来自未知类的数据点在训练过程中不可用。广义零样本学习的主要挑战是不平衡的数据分布，这使得分类器很难区分给定的测试样本是否来自可见或不可见的类。然而，使用生成对抗网络（GAN）来生成辅助数据点的语义嵌入看不见的类，解决了上述问题。目前的方法结合辅助数据点和原始训练数据来训练广义零样本学习模型，并获得最先进的结果。受这些模型的启发，我们建议通过模型选择机制来提供生成的数据。具体来说，我们利用两个来源的数据点（观察和辅助）训练一些分类器，以识别哪些测试数据点来自可见的，哪些来自不可见的类。通过这种方式，广义零样本学习可以被划分为两个不相交的分类任务，从而减少不平衡数据分布的负面影响。我们对四个公开可用的广义零样本学习数据集的评估表明，我们的模型获得了最先进的结果。
2018-11-08 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中，我们进行了系统的研究，各种功能表示为Few-Shot分类，包括表示学习MAML，监督分类，和几个常见的自我监督的任务。我们发现，从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示，因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题，我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
D3T-GAN: Data-Dependent Domain Transfer GANs for Few-shot Image Generation
Zhejiang University（浙江大学）
Few-Shot图像生成是一个重要而又具有挑战性的问题，其目的是在给定少量样本的情况下，通过训练GAN模型来生成真实感强的图像。Few-Shot生成的典型解决方案是将经过良好训练的GAN模型从数据丰富的源域转移到数据匮乏的目标域。在本文中，我们提出了一种新的自监督传输方案，称为D3 T-GAN，解决了Few-Shot图像生成中的跨域GANs传输。具体来说，我们设计了两个单独的策略，分别在生成器和鉴别器之间转移知识。为了在生成器之间传递知识，我们进行了一个数据依赖的转换，该转换将目标样本投影并重建到源生成器空间中。然后，我们执行从转换后的样本到生成的样本的知识转移。为了在鉴别器之间传递知识，我们设计了一个多级鉴别知识蒸馏，从源鉴别器到目标鉴别器。大量的实验表明，我们的方法提高了生成的图像的质量，并实现了最先进的FID分数在常用的数据集。
2022-05-12 cs.CV eess.IV
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
On the low-shot transferability of [V]-Mamba
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Landskape AI（兰斯卡普人工智能公司）；AI4Bharat（印度AI4Bharat机构）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）
本研究比较[V]-Mamba与ViT在少样本迁移中的表现，发现LP下[V]-Mamba更优，VP下较弱，且性能差距与模型规模弱正相关。
2024-03-15 cs.CV cs.LG
Visually Analyzing and Steering Zero Shot Learning
Vanderbilt University（范德堡大学）
我们提出了一个可视化的分析系统，以帮助用户分析和引导零样本学习模型。零样本学习已经成为一种可行的方案，用于对不包含标记示例的数据进行分类，因此是一种有前途的方法，可以最大限度地减少人类的数据注释。然而，理解零样本学习在哪里失败、这种失败的原因以及用户如何修改模型以防止这种失败是具有挑战性的。我们的可视化系统旨在帮助用户诊断和理解此类模型中的错误预测，以便他们在应用于与训练期间未看到的类别相关的数据时可以深入了解模型的行为。通过使用场景，我们强调了我们的系统如何帮助用户提高零样本学习的性能。
2020-09-11 cs.CV cs.HC
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark
Google Research, Brain Team（谷歌研究院，大脑团队）
Meta和迁移学习是少样本学习的两种成功的方法。尽管目标高度相关，但每个家庭的最新进展在很大程度上是孤立地衡量的。由于评价规范各不相同，直接或彻底比较不同的方法是一项挑战。为了弥补这一差距，我们进行了跨家庭的研究，最好的迁移和Meta学习者的大规模元学习基准（元数据集，MD），和迁移学习基准（视觉任务适应基准，VTAB）。我们发现，平均而言，大规模转移方法（Big Transfer，BiT）在MD上的表现优于竞争方法，即使只在ImageNet上训练。相比之下，元学习方法在MD上训练和验证时很难在VTAB上竞争。然而，BiT并非没有限制，并且推动规模并不能提高高度分布MD任务的性能。在执行这项研究中，我们揭示了一些差异的评价规范和研究其中一些在光的性能差距。我们希望这项工作有助于分享来自每个社区的见解，并加快少样本学习的进展。
2021-04-06 cs.CV cs.LG
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管实现了最先进的zero-shot性能，现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习（MAML）是Few-Shot迁移学习的自然替代方案，但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型（如CLIP）上的使用。虽然许多文献一直致力于探索替代的优化策略，我们确定了有效的Few-Shot迁移学习，任务采样，这是以前只被视为数据预处理的一部分，在MAML的另一个重要方面。为了显示任务采样的影响，我们提出了一个简单的算法，模型无关的多任务微调（MAMF），它区分经典的微调只对均匀采样多个任务。尽管它的简单性，我们表明，MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明，MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作，并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
Generalized Zero and Few-Shot Transfer for Facial Forgery Detection
Technical University of Munich（慕尼黑工业大学）
我们提出了深度分布转移（DDT），这是一种新的迁移学习方法，用于解决面部伪造检测背景下的零和Few-Shot转移问题。我们研究了用一种伪造创建方法训练的模型（预）对以前看不见的操纵技术或不同数据集的泛化程度。为了促进这种转移，我们引入了一种新的基于混合模型的损失公式，该公式学习多模态分布，其模式对应于源伪造方法的基础数据的类别。我们的核心思想是首先预训练一个编码器神经网络，它将这种分布的每个模式映射到相应的类标签，即，通过最小化它们之间的Wasserstein距离来识别源域中的真实图像或伪图像。为了将该模型转移到一个新的域，我们将一些目标样本与先前训练的模式之一相关联。此外，我们提出了一个空间混合增强策略，进一步帮助跨域的泛化。我们发现，这种学习策略是令人惊讶的有效域转移相比，传统的分类，甚至国家的最先进的领域自适应/少样本学习方法。例如，与最佳基线相比，我们的方法将zero-shot的分类准确率提高了4.88%，将从FaceForensics++转移到Dessa数据集的Few-Shot案例的分类准确率提高了8.38%。
2020-06-21 cs.CV cs.LG eess.IV
One-Shot Transfer of Affordance Regions? AffCorrs!
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）；Department of Computer Science（计算机科学系）
在这项工作中，我们解决了一杆视觉搜索的对象部分。给定具有注释的示能区域的对象的单个参考图像，我们在目标场景内分割语义上对应的部分。我们提出了AffCorrs，这是一种无监督模型，它结合了预训练的DINO-ViT图像描述符和循环对应的属性。我们使用AffCorrs找到相应的启示内和类间的一次性部分分割。这项任务比监督的替代方案更困难，但可以通过模仿和辅助遥操作来学习未来的工作。
2022-09-16 cs.CV cs.RO
Learning Domain Agnostic Latent Embeddings of 3D Faces for Zero-shot Animal Expression Transfer
Stony Brook University（石英溪大学）；Futurewei Technologies（未来讯技术）
本文提出了一种零样本框架，通过学习领域无关的3D人脸潜在嵌入，实现人类表情到动物面部的跨物种表情迁移。
2026-01-10 cs.AI cs.CV
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University（斯坦福大学）
图像地理定位是一项具有挑战性的任务，即预测给定照片的地理坐标。这是一个尚未解决的问题，依赖于将视觉线索与关于世界的一般知识相结合的能力，以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$，一个强大的，公开可用的基础模型，不仅在多个开放域图像地理定位基准上实现了最先进的性能，而且在zero-shot设置中也做到了这一点，优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP，在选择的域中接地CLIP，为广义零样本学习引入了元学习方法。我们表明，我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域，提高了域内广义zero-shot性能，而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
Zero Shot Recognition with Unreliable Attributes
UT Austin（德克萨斯大学奥斯汀分校）
原则上，零样本学习可以通过简单地指定类别的属性来训练识别模型。例如，使用\emph{striped}和\emph{four-legged}等通用属性的分类器，即使不提供斑马训练图像，也可以通过枚举斑马类别拥有的属性来构建斑马类别的分类器。然而，在实践中，标准的zero-shot范例受到影响，因为新图像中的属性预测很难正确。我们提出了一种新的随机森林方法来训练zero-shot模型，明确占属性预测的不可靠性。通过利用每个属性的错误趋势的统计数据，我们的方法获得了更强大的判别模型的看不见的类。我们进一步设计扩展来处理Few-Shot场景和不可靠的属性描述。在三个数据集上，我们展示了零或少量训练样本的视觉类别学习的好处，这是罕见类别或动态定义类别的关键领域。
2016-03-29 cs.CV stat.ML
Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling
The Hong Kong University of Science and Technology（香港科技大学）；Huya Inc（虎牙公司）
我们提出了一种新的方法，Few-Shot人体运动转移，实现逼真的人体图像生成，只有少量的外观输入。尽管最近在单人运动转移方面取得了进展，但现有方法通常需要大量训练图像并且花费长的训练时间。其中一个很有前途的方向是进行Few-Shot人体运动的转移，它只需要几个源图像的外观转移。然而，获得令人满意的转移结果尤其具有挑战性。在本文中，我们解决这个问题，通过渲染一个人的纹理映射到一个表面的几何形状（表示为UV图），这是个性化的源人。我们的几何生成器结合了来自源图像的形状信息和来自2D关键点的姿态信息来合成个性化的UV地图。然后，纹理生成器生成以源图像的纹理为条件的纹理图，以填充不可见部分。此外，我们可以在测试时从几个源图像微调纹理生成器的流形上的纹理图，这提高了纹理图的质量，而没有过度拟合或伪影。大量的实验表明，所提出的方法优于国家的最先进的方法在定性和定量。我们的代码可在https://github.com/HuangZhiChao95/FewShotMotionTransfer上获得。
2021-03-26 cs.CV cs.GR
Unsupervised vs. transfer learning for multimodal one-shot matching of speech and images
Stellenbosch University（斯泰伦博斯大学）
我们考虑多模式一次性语音图像匹配的任务。代理人被展示一张图片以及描述图片中对象的口语单词，例如饼干，花椰菜和冰淇淋。在观察每个类的一个配对的语音图像的例子，它被显示了一组新的看不见的图片，并要求选择“冰淇淋”。以前的工作试图使用迁移学习来解决这个问题：监督模型在不包含任何一次性类的标记背景数据上进行训练。在这里，我们将迁移学习与在未标记的域内数据上训练的无监督模型进行了比较。在一个成对的孤立的口语和视觉数字的数据集上，我们专门比较了无监督的自动编码器模型与监督分类器和暹罗神经网络。在单峰和多峰Few-Shot匹配实验中，我们发现迁移学习优于无监督训练。我们还提出了将这两种方法相结合的实验，但发现迁移学习仍然表现最好（尽管理想化的实验显示了无监督学习的好处）。
2020-08-14 cs.CL cs.CV cs.SD
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
Using Fictitious Class Representations to Boost Discriminative Zero-Shot Learners
Technion – Israel Institute of Technology（以色列理工学院）
专注于判别式零样本学习，在这项工作中，我们引入了一种新的机制，在训练过程中动态增加看到的类的集合，以产生额外的虚构类。这些虚构的类减少了模型在训练过程中对出现在训练集中但不会出现在新暴露的类中的属性相关性的关注。该模型在零样本学习框架的两个公式内进行测试，即广义零样本学习（GSTOL）和经典零样本学习（CSTOL）。我们的模型提高了CUB数据集的最新性能，并在其他常见数据集AWA2和SUN上达到了类似的结果。我们研究了我们的方法的优点和缺点，包括训练端到端zero-shot模型时灾难性遗忘的影响。
2021-11-26 cs.AI cs.CV cs.LG
Self-training for Few-shot Transfer Across Extreme Task Differences
Cornell University（康奈尔大学）
大多数少样本学习技术都是在一个大的、标记的“基础数据集”上进行预训练的。在这样的大型标记数据集不可用于预训练的问题域中（例如，X射线，卫星图像），必须在不同的“源”问题域（例如，ImageNet），这可能与所需的目标任务非常不同。传统的Few-Shot和迁移学习技术在源任务和目标任务之间存在这种极端差异的情况下会失败。在本文中，我们提出了一个简单而有效的解决方案来解决这个极端的域差距：在目标域的未标记数据上自训练源域表示。我们表明，这将目标域上的一次性性能平均提高了2.9个点，这是由来自多个域的数据集组成的具有挑战性的BSCD-FSL基准测试。我们的代码可在https://github.com/cpphoo/STARTUP上获得。
2021-03-17 cs.AI cs.CV cs.LG
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题，学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法，在联合视觉和文本空间。本文的主要新颖之处在于，它表明，使用每图像语义监督导致zero-shot性能的实质性改善，而不是使用仅类监督。最重要的是，我们为度量重新缩放方法提供了概率证明，该方法解决了广义零样本学习设置中非常常见的问题，即，将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集：CUB和FLOWERS上评估了我们的方法。我们发现，在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Practical Aspects of Zero-Shot Learning
Warsaw University of Technology（华沙理工大学）；Systems Research Institute Polish Academy of Sciences（波兰科学院系统研究所）
零样本学习是机器学习研究的一个重要领域。当正确标记的训练数据集不可用时，应用该方法。许多zero-shot算法已经被提出并进行了实验。然而，他们似乎都不是“大赢家”。在这种情况下，有可能开发一个元分类器，它将结合各个分类器的“最佳方面”，并优于所有分类器。在这方面，这一贡献的目标是双重的。首先，针对标准基准数据集比较了多种最先进的零样本学习方法。其次，多个元分类器的建议和实验比较（对于相同的数据集）。
2022-03-29 cs.AI cs.CV cs.LG
VL-Taboo: An Analysis of Attribute-based Zero-shot Capabilities of Vision-Language Models
Goethe University Frankfurt（法兰克福歌德大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
视觉语言模型在大量随机收集的数据上进行训练，自出现以来在许多领域产生了重大影响。但是，尽管它们在图像-文本检索等各个领域都表现出了出色的性能，但它们的内部工作原理仍然没有得到充分的理解。目前的工作分析这些模型的真正zero-shot能力。我们从分析训练语料库开始，评估测试类在多大程度上（以及哪些）是真正的zero-shot，以及这与各个类的表现如何相关。我们随后分析了这些模型的基于属性的零样本学习能力，评估了这种经典的zero-shot概念在大规模网络监督中的表现。我们利用最近发布的LAION 400 M数据语料库以及CLIP、OpenCLIP和FLAVA的公开预训练模型，在CUB和AWA 2基准测试中评估基于属性的zero-shot能力。我们的分析表明：（i）流行的zero-shot基准测试中的大多数类在预训练期间被观察到（很多）;（ii）zero-shot性能主要来自于模型识别类标签的能力，无论它们何时出现在文本中，并且仅在不使用类标签时观察到基于属性的zero-shot学习的性能显著较低;（iii）所使用的属性的数量可以对性能具有显著影响，并且可以容易地导致显著的性能降低。
2022-09-12 cs.AI cs.CL cs.CV
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa，它最大限度地重用了预训练的图像-文本对比字幕（CoCa）模型，并使其适应视频-文本任务，只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型，但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入，从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外，我们还在VideoCoCa上探索了轻量级的微调，并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
LiT: Zero-Shot Transfer with Locked-image text Tuning
Google Research（谷歌研究院）
本文介绍了对比度调整，一种简单的方法，采用对比度训练对齐图像和文本模型，同时仍然利用他们的预训练。在我们的实证研究中，我们发现锁定的预训练图像模型与解锁的文本模型效果最好。我们将这种对比度调整的实例称为“锁定图像调整”（LiT），它只是教文本模型从预先训练的图像模型中读出良好的表示来执行新任务。LiT模型获得了zero-shot转移到新视觉任务的能力，例如图像分类或检索。所提出的LiT具有广泛的适用性;它可以使用多种预训练方法（监督和无监督）以及使用三种不同图像-文本数据集的不同架构（ResNet，视觉Transformer和MLP混合器）可靠地工作。使用基于transformer的预训练ViT-g/14模型，LiT模型在ImageNet测试集上实现了85.2%的zero-shot传输准确率，在具有挑战性的分布外ObjectNet测试集上实现了82.5%的准确率。
2022-06-22 cs.CL cs.CV cs.LG
Alternative Semantic Representations for Zero-Shot Human Action Recognition
The University of Manchester（曼彻斯特大学）
正确的语义表示是零样本学习成功的关键。在本文中，我们探讨了两种替代的语义表示，特别是zero-shot人类动作识别：人类动作的文本描述和从静态图像中提取的与人类动作相关的深度特征。这些辅助信息可以在Web上以很小的代价获取，为大规模zero-shot人体动作识别提供了一条新的辅助信息获取途径。我们研究不同的编码方法来生成语义表示人类的行动，从这样的边信息。基于我们的zero-shot视觉识别方法，我们对UCF 101和HMDB 51进行了实验，以评估两个提出的语义表示。结果表明，我们提出的基于文本和图像的语义表示优于传统的属性和词向量大大zero-shot人类动作识别。特别地，基于图像的语义表示产生有利的性能，即使表示是从每类的少量图像中提取的。
2017-06-28 cs.CV cs.IR cs.LG
Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出零样本对比损失方法，利用预训练扩散模型中的分块对比损失，在无需微调或辅助网络的情况下实现文本引导的图像风格迁移，并优于现有方法。
2023-04-12 cs.AI cs.CV cs.LG
