Polarity Loss for Zero-shot Object Detection
The Australian National University（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）
传统的目标检测模型需要大量的训练数据。相比之下，人类可以通过仅仅知道它们的语义描述来识别以前看不见的对象。为了模仿类似的行为，zero-shot目标检测旨在通过仅使用它们的语义信息来识别和定位“看不见的”对象实例。该模型首先被训练来学习可见对象的视觉和语义域之间的关系，然后将获得的知识转移到完全不可见的对象。这种设置产生了视觉和语义概念之间的正确对齐的需要，以便可以仅使用它们的语义属性来识别看不见的对象。在本文中，我们提出了一种新的损失函数称为“极性损失”，促进正确的视觉语义对齐的改进zero-shot目标检测。一方面，它通过对相关概念的“语义词汇表”的度量学习来细化有噪声的语义嵌入，以在视觉和语义域之间建立更好的协同作用。另一方面，它显式地最大化正面和负面预测之间的差距，以实现更好地区分可见，不可见和背景对象。我们的方法受到认知科学中的具体化理论的启发，该理论声称人类的语义理解基于过去的经验（看到的物体），相关的语言概念（单词词汇）和视觉感知（看到/看不到的物体图像）。我们对MS-COCO和Pascal VOC数据集进行了广泛的评估，显示出对最先进技术的显著改进。
2020-04-02 cs.CV
Robust Region Feature Synthesizer for Zero-Shot Object Detection
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
Zero-shot目标检测的目标是在给定的无约束测试图像中，结合类别语义向量，实现对可见和不可见类别的检测。在这项研究中，我们揭示了这一研究领域的核心挑战：如何合成鲁棒的区域特征（对于看不见的对象），这些特征与真实样本一样具有类内多样性和类间可分离性，以便可以在这些特征上训练强大的看不见的对象检测器。为了解决这些挑战，我们建立了一个新的zero-shot目标检测框架，其中包含一个类内语义发散组件和类间结构保持组件。前者用于实现一对多的映射，以获得不同的视觉特征，从每个类的语义向量，防止真正的看不见的对象作为图像背景的错误分类。后者用于避免合成特征过于分散，混淆类间关系和前景背景关系。为了证明所提出的方法的有效性，PASCAL VOC，COCO，和DIOR数据集上进行了全面的实验。值得注意的是，我们的方法实现了新的国家的最先进的PASCAL VOC和COCO的性能，这是第一个研究进行遥感图像中的zero-shot目标检测。
2022-01-01 cs.CV
Incrementally Zero-Shot Detection by an Extreme Value Analyzer
Academy for Engineering & Technology, Fudan University（复旦大学工程技术学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
人类不仅有能力识别新的看不见的类，而且还可以逐步将新的类纳入现有的知识保存。然而，零样本学习模型假设所有可见的类都应该事先知道，而增量学习模型不能识别未见过的类。本文介绍了一个新的和具有挑战性的任务增量零拍检测（IZSD），一个实用的策略，零样本学习和类增量学习在现实世界中的目标检测。提出了一种创新的端到端模型-- IZSD-EVer来解决这个需要增量检测新类和检测从未见过的类的任务。具体来说，我们提出了一种新的极值分析器，以检测对象从旧的，新的看到，和看不见的类，同时。此外，在技术上，我们提出了两个创新的损失，即，背景-前景均方误差损失减轻了图像的背景和前景的极端不平衡，而投影距离损失对准了旧的可见类的视觉空间和语义空间。实验证明了我们的模型在检测可见和不可见类中的对象方面的有效性，在Pascal VOC和MSCOCO数据集上优于替代模型。
2021-03-29 cs.CV
UnseenNet: Fast Training Detector for Any Unseen Concept
Insight Centre for the Data Analytics（洞察数据分析中心）；National University of Ireland Galway（爱尔兰国立高威大学）
使用较少的数据训练目标检测模型是当前计算机视觉中现有的N-shot学习模型的焦点。这种方法使用对象级标签，并花费数小时对看不见的类进行训练。在许多情况下，我们有大量的图像级标签可用于训练，但不能被Few Shot目标检测模型用于训练。需要一种机器学习框架，可以用于训练任何看不见的类，并且可以在实时情况下变得有用。在本文中，我们提出了一种“不可见类检测器”，可以在很短的时间内训练任何可能的不可见类，而无需具有竞争力的准确性的边界框。我们在“强”和“弱”基线检测器上构建我们的方法，我们分别在现有的目标检测和图像分类数据集上进行训练。不可见的概念在强基线检测器上仅使用图像级标签进行微调，并通过在基线之间转移分类器-检测器知识来进一步调整。我们使用语义和视觉相似性来识别源类（即绵羊），以进行微调和适应看不见的类（即山羊）。我们的模型（UnseenNet）在ImageNet分类数据集上训练，用于看不见的类，并在目标检测数据集（OpenImages）上进行测试。UnseenNet在不同的不可见类分割上将目标检测的平均精度（mAP）比现有基线（半监督和Few-Shot）提高了10%到30%。此外，我们的模型对于每个看不见的类的训练时间<10分钟。定性结果表明，UnseenNet不仅适用于Pascal VOC的少数类别，而且适用于任何数据集或Web的未见过类别。代码可在https://github…
2022-03-26 cs.CV
Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation
Monash University（莫纳什大学）
最近的掩码建议模型已经显著提高了zero-shot语义分割的性能。然而，在这些方法中，在训练期间使用“背景”嵌入是有问题的，因为所得到的模型往往会过度学习并将所有看不见的类分配为背景类，而不是它们的正确标签。此外，他们忽略了文本嵌入的语义关系，这可以说是高度信息化的zero-shot预测，因为看到的类可能与看不见的类有密切的关系。为此，本文提出了新的类增强损失，以绕过在训练过程中使用的背景嵌入，并同时利用文本嵌入和掩码建议之间的语义关系，通过排名的相似性得分。为了进一步捕捉可见类和不可见类之间的关系，我们提出了一个有效的伪标签生成管道，使用预训练的视觉语言模型。在多个基准数据集上的大量实验表明，我们的方法在zero-shot语义分割方面取得了最好的性能。我们的方法是灵活的，也可以应用到具有挑战性的开放词汇语义分割问题。
2023-01-18 cs.CV
Zero-Shot Object Detection: Learning to Simultaneously Recognize and Localize Novel Concepts
Australian National University（澳大利亚国立大学）；DATA61, CSIRO（澳大利亚联邦科学与工业研究组织 DATA61）
当前的零样本学习（Zero-Shot Learning，简称ZRL）方法仅限于识别测试图像中的单个主要的不可见对象类别。我们假设，这种设置是不适合现实世界中的应用程序，看不见的对象只出现作为一个复杂的场景的一部分，既不承认“识别”和“本地化”的一个看不见的类别。为了解决这个问题，我们引入了一个新的\emph{`Zero-Shot Detection'}（ZSD）的问题设置，其目的是同时识别和定位对象实例属于新的类别，没有任何训练样本。我们还提出了一个新的实验协议ZSD的基础上高度挑战性的ILSVRC数据集，坚持实际问题，例如，看不见的物体的稀有性。据我们所知，这是ZSD的第一个端到端深度网络，它联合建模了视觉和语义领域信息之间的相互作用。为了克服自动推导的语义描述中的噪音，我们利用元类的概念设计了一个原始的损失函数，实现了最大边缘类分离和语义空间聚类之间的协同作用。此外，我们提出了一个基线的方法，从识别扩展到检测设置。我们广泛的实验表明，显着的性能提高了基线上的迫切而困难的ZSD问题。
2018-03-16 cs.CV
Resolving Semantic Confusions for Improved Zero-Shot Detection
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
Zero-shot检测（ZSD）是一项具有挑战性的任务，我们的目标是同时识别和定位对象，即使我们的模型没有经过几个目标（“看不见”）类的视觉样本的训练。最近，采用生成模型（如GANs）的方法已经显示出一些最好的结果，其中未看到的类样本是由在已看到的类数据上训练的GAN基于其语义生成的，从而使香草对象检测器能够识别未看到的对象。然而，语义混乱的问题仍然存在，模型有时无法区分语义相似的类。在这项工作中，我们建议训练一个生成模型，将承认类之间的相异程度，并反映在生成的样本的三重损失。此外，还强制执行循环一致性损失，以确保类的生成的视觉样本高度对应于它们自己的语义。在两个基准ZSD数据集- MSCOCO和PASCAL-VOC -上进行的广泛实验表明，与当前的ZSD方法相比，该方法具有显着的优势，减少了语义混淆，提高了对不可见类的检测。
2022-12-12 cs.CV
Exploring the "Great Unseen" in Medieval Manuscripts: Instance-Level Labeling of Legacy Image Collections with Zero-Shot Models
Leipzig University（莱比锡大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡大数据人工智能中心）；Yale University（耶鲁大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出利用零样本模型对中世纪手稿整页进行实例级分割与描述，以构建更丰富的训练数据，服务于实例分割和中世纪视觉多模态模型。
2025-11-10 cs.CV cs.HC
AlignZeg: Mitigating Objective Misalignment for Zero-shot Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
针对零样本语义分割中的目标不一致问题，提出 AlignZeg 架构，通过改进提议提取、分类和校正流程，显著提升了未见类识别性能和整体分割效果。
2024-04-08 cs.CV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法，通过原始特征组装与特征解耦，实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，广义zero-shot语义分割（GST 3）预测像素的语义标签看到和看不见的类。大多数GST 3方法采用生成方法，该方法从相应的语义类（例如，word 2 vec）来训练用于可见类和不可见类的新颖分类器。虽然生成式方法表现出不错的性能，但它们有两个局限性：（1）视觉特征偏向于可见的类;（2）每当出现新的不可见类时，分类器都应该重新训练。我们提出了一个歧视性的方法来解决这些限制在一个统一的框架。为此，我们利用视觉和语义编码器来学习一个联合嵌入空间，其中语义编码器将语义特征转换为语义原型，作为相应类的视觉特征的中心。具体来说，我们引入边界感知回归（BAR）和语义一致性（SC）损失来学习判别特征。我们的方法，利用联合嵌入空间，连同BAR和SC条款，证明了看到的偏见问题。在测试时，我们避免了利用语义原型作为最近邻（NN）分类器的再训练过程。为了进一步减轻偏见的问题，我们还提出了一种推理技术，称为阿波罗纽斯校准（AC），调制的决策边界的NN分类阿波罗纽斯圆自适应。实验结果表明，我们的框架的有效性，实现了一个新的国家的艺术标准基准。
2021-08-14 cs.CV
Spectral Prompt Tuning:Unveiling Unseen Classes for Zero-Shot Semantic Segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出单阶段方法SPT-SEG，通过引入SPT频谱提示和SGD解码器增强CLIP对未见类别的像素级预测能力，在公开数据集上优于现有方法。
2024-06-03 cs.CL cs.CV
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里，我们提出了一个统一的方法为传统的zero-shot，广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向（CAPD）的概念，允许多个嵌入到一个语义空间的图像特征。给定一个图像，我们的方法为每个可见类生成一个主方向。然后，它学习如何组合这些方向以获得每个未见过类的主方向，使得测试图像的CAPD与真实类的语义嵌入对齐，并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外，我们提出了一个自动的过程中，选择最有用的看到的类为每个看不见的类，以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD，利用很少的看不见的图像在少样本学习的情况下工作。此外，我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD，这显著提高了广义零样本学习的性能。我们的广泛的评估表明，所提出的方法一贯取得优异的性能在zero-shot，广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Bias-Awareness for Zero-Shot Learning the Seen and Unseen
University of Amsterdam（阿姆斯特丹大学）
广义零样本学习识别来自可见和不可见类的输入。然而，现有的方法往往偏向于训练期间看到的类。在本文中，我们努力减轻这种偏见。我们提出了一个偏置感知学习器，将输入映射到语义嵌入空间，以实现广义零样本学习。在训练过程中，该模型学习回归到具有温度缩放的嵌入空间中的实值类原型，而基于边缘的双向熵项则正则化可见和不可见的概率。依赖于实值语义嵌入空间提供了一种通用的方法，因为该模型可以对可见和不可见类的不同类型的语义信息进行操作。实验进行了四个基准的广义零样本学习，并证明了所提出的偏置感知分类器的好处，无论是作为一个独立的方法或与生成的功能相结合。
2020-08-25 cs.CV
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例，零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中，我们提出了一种新的零样本学习模型，利用聚类结构的语义嵌入空间。其关键思想是施加结构约束，语义表示必须预测其相应的视觉样本的位置。为此，这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单，但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法，包括包含20，000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）；University of Electronic Science and Technology of China（电子科技大学）；Tsinghua University（清华大学）；Northumbria University（诺森比亚大学）
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而，在许多实际应用中，为不断增长的新类收集足够的图像是无法实现的。在本文中，我们提出了一个新的零样本学习（Zero-shot learning，简称ZRL）框架，它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成（UVDS）算法，语义属性被有效地利用作为一个中间线索，在训练阶段合成看不见的视觉特征。在此之后，将人脸识别转换为传统的监督问题，即合成的视觉特征可以直接馈送到典型的分类器，如SVM。在四个基准数据集上，我们展示了使用合成的看不见的数据的好处。大量的实验结果表明，我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
Domain segmentation and adjustment for generalized zero-shot learning
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）
在广义零样本学习中，用生成模型合成看不见的数据是解决可见类和看不见类之间训练数据不平衡的最流行的方法。然而，这种方法要求在训练阶段不可见的语义信息是可用的，并且训练生成模型并不简单。考虑到这些模型的生成器只能用可见的类进行训练，我们认为合成看不见的数据可能不是解决由训练数据的不平衡引起的域偏移的理想方法。在本文中，我们提出了实现广义zero-shot识别在不同的领域。因此，看不见的（看不见的）类可以避免看不见的（看不见的）类的影响。在实践中，我们提出了一个阈值和概率分布联合的方法来分割测试实例到可见，不可见和不确定的领域。此外，不确定域进一步调整，以减轻域移动。在5个基准数据集上的实验表明，与基于生成模型的方法相比，该方法具有较好的性能.
2020-02-01 cs.CV
MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets
Hyperconnect（Hyperconnect公司）
当目标身份和驾驶员身份之间存在不匹配时，面部再现的结果质量会严重下降，特别是在Few-Shot设置中。身份保留问题是最常见的失败模式，其中模型丢失了目标的详细信息，导致有缺陷的输出。这个问题有几个潜在的来源，例如由于身份不匹配导致的驾驶员身份泄露，或者处理看不见的大姿势。为了克服这些问题，我们引入了解决上述问题的组件：图像注意力块，目标特征对齐和地标Transformer。通过参加和扭曲的相关功能，拟议的架构，称为MarioNETte，产生高品质的重新表演看不见的身份在一个Few-Shot设置。此外，地标Transformer通过地标解纠缠隔离表达式几何，极大地简化了身份保存问题。进行了全面的实验，以验证所提出的框架可以生成高度逼真的面孔，优于所有其他基线，即使在目标和驱动程序之间的面部特征的显着不匹配。
2019-11-19 cs.CV
Few-shot Open-set Recognition by Transformation Consistency
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们攻击一个Few-Shot开集识别（FSOSR）问题，这是一个组合的少样本学习（FSL）和开集识别（OSR）。它的目标是快速适应一个模型，以一个给定的小集合的标记样本，同时拒绝看不见的类样本。由于OSR需要大量数据，而FSL考虑闭集分类，现有的OSR和FSL方法在解决FSOSR问题时表现出较差的性能。先前的FSOSR方法遵循基于伪未见过类样本的方法，该方法从其他数据集收集伪未见过样本或合成样本以对未见过类表示进行建模。然而，这种方法严重依赖于伪样本的组成。在本文中，我们提出了一种新的未知类样本检测器，命名为SnaTCHer，不需要伪看不见的样本。基于转换一致性，我们的方法测量转换后的原型和修改后的原型集之间的差异。通过替换查询特征及其预测类原型来组成修改集。SnaTCHer拒绝与转换后的原型存在较大差异的样本。我们的方法改变了看不见的类分布估计问题的相对特征变换问题，独立于伪看不见的类样本。我们研究了我们的SnaTCHer与各种原型变换方法，并观察到我们的方法不断提高看不见的类样本检测性能，而不减少闭集分类。
2021-04-15 cs.CV
A New Few-shot Segmentation Network Based on Class Representation
University of Electronic Science and Technology of China（电子科技大学）
本文研究了Few-Shot分割方法，即在已有的丰富标注集的辅助下，仅利用少量的标注来预测未知类的前景掩模。现有的方法主要针对“\textit{how to transfer segmentation cues from support images (labeled images) to query images (unlabeled images)}“，试图学习高效、通用的转换模块，并能方便地扩展到未知类。然而，它被证明是一个具有挑战性的任务，学习的转换模块，是通用的各种类。本文从“\textit{how to represent unseen classes by existing classes}“的新视角解决了Few-Shot分割问题，并将Few-Shot分割表述为用已有的类精确表示未知类（即形成前景先验）的表示过程。基于此思想，提出了一种新的基于类表示的Few-Shot分割框架，该框架首先根据已有类的知识生成未见过类的类激活图，然后将该图作为前景概率图，从查询图像中提取前景。提出了一种新的基于两分支的Few-Shot分割网络。此外，提出了一种新的CAM生成模块，它提取的CAM看不见的类，而不是经典的训练类。在Pascal VOC 2012数据集上验证了该方法的有效性，一次和五次的FB-IoU值分别达到69.2%和70.1%，优于现有方法.
2019-09-19 cs.CV
Few-Shot Classification in Unseen Domains by Episodic Meta-Learning Across Visual Domains
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
Few-Shot分类的目标是在对感兴趣的类别只给出少量标记样本的情况下进行分类。虽然已经提出了几种方法，但大多数现有的少样本学习（FSL）模型假设基类和新类来自同一数据域。当涉及到在一个看不见的领域中识别新的类数据时，这成为一个更具挑战性的领域广义Few-Shot分类任务。在本文中，我们提出了一个独特的学习框架域广义Few-Shot分类，其中基类是从同质的多个源域，而新的类被识别的目标域是在训练过程中没有看到。通过推进元学习策略，我们的学习框架利用跨多个源域的数据来捕获域不变特征，并通过跨支持和查询数据的基于度量学习的机制引入FSL能力。我们进行了大量的实验来验证我们提出的学习框架的有效性，并显示从小而同质的源数据学习能够更好地执行对大规模的学习。此外，我们提供了深入了解域广义Few-Shot分类的骨干模型的选择。
2021-12-27 cs.CV
A Generative Approach to Zero-Shot and Few-Shot Action Recognition
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了一个生成的框架zero-shot动作识别的一些可能的动作类不出现在训练数据。我们的方法是基于建模的每个动作类使用的概率分布，其参数是代表该动作类的属性向量的函数。特别是，我们假设在视觉空间中的任何动作类的分布参数可以表示为一组基向量的线性组合，其中组合权重由动作类的属性给出。这些基向量可以仅使用来自已知（即，先前看到的）动作类，然后可以用于预测未看到的动作类的概率分布的参数。我们考虑两种设置：（1）归纳设置，其中我们仅使用已看到的动作类的标记示例来预测未看到的动作类参数;以及（2）Transductive设置，进一步利用来自未看到的动作类的未标记数据。我们的框架也自然地扩展到Few-Shot动作识别，其中一些标记的例子，从看不见的类。我们在基准数据集（UCF 101，HMDB 51和Olympic）上的实验显示，与各种基线相比，在标准zero-shot（不相交的可见和不可见类）和广义零样本学习设置中，性能都有显着提高。
2018-01-27 cs.CV
Context-Conditional Adaptation for Recognizing Unseen Classes in Unseen Domains
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
最近的进展，设计模型，可以推广到看不见的领域（即领域泛化）或看不见的类（即零样本学习）已经开始对建立模型，可以同时处理域转移和语义转移（即zero-shot领域泛化）的兴趣。为了使模型泛化到看不见的领域中的看不见的类，学习保留类级别（域不变）以及特定于域的信息的特征表示是至关重要的。从生成zero-shot方法的成功的动机，我们提出了一个功能生成框架集成的COontext COnnumberAdaptive（COCOA）批量规范化无缝集成类级语义和特定领域的信息。生成的可视化特征更好地捕捉底层数据分布，使我们能够在测试时泛化到看不见的类和域。我们在已建立的大型基准测试- DomainNet上彻底评估和分析了我们的方法，并在基线和最先进的方法上展示了有前途的性能。
2021-07-15 cs.CV
Creativity Inspired Zero-Shot Learning
Facebook AI Research (FAIR)（脸书人工智能研究院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Central Florida（中佛罗里达大学）
零样本学习（Zero-shot learning，ZRL）的目标是在没有来自类级别描述的训练样本的情况下理解看不见的类别。为了提高零样本学习的辨别能力，我们从人类创造力产生新艺术的心理学中获得灵感，对看不见的类别的视觉学习过程进行建模。我们通过观察到零样本学习是关于识别看不见的，创造力是关于创造一个可爱的看不见的，从而将视觉学习与人类的创造力联系起来。我们引入了一个学习信号的灵感来自创造力的文学，探索看不见的空间与幻觉类描述，并鼓励他们的视觉特征代从看到的类的谨慎偏差，同时允许知识转移从看到看不见的类。从经验上讲，我们使用CUB和NABIrds数据集，从我们关注的嘈杂文本中，在最大的可用基准上，我们展示了几个候选人的最新技术水平的一致改进。我们还展示了我们的方法在三个额外的数据集（AwA 2，aPY和SUN）上基于属性的数据库上的优势。代码可用。
2019-12-03 cs.CV
Enabling Generalized Zero-shot Learning Towards Unseen Domains by Intrinsic Learning from Redundant LLM Semantics
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；University of Alberta（阿尔伯塔大学）
本文提出元域对齐语义精炼方法，通过类间相似性对齐和未见类元生成消除冗余大语言模型语义中的非内在信息，缓解跨域广义零样本学习中的信息不对称，并在两个数据集上验证有效性。
2025-03-10 cs.CV
Few-shot Image Generation Using Discrete Content Representation
Shanghai Jiao Tong University（上海交通大学）
Few-Shot图像生成和Few-Shot图像翻译是两个相关的任务，它们都旨在为只有少量图像的不可见类别生成新图像。在这项工作中，我们第一次尝试适应Few-Shot图像翻译方法的Few-Shot图像生成任务。Few-Shot图像翻译将图像分解为样式向量和内容映射。看不见的样式向量可以与不同的可见内容映射组合以产生不同的图像。然而，它需要存储看到的图像以提供内容映射，并且看不见的样式向量可能与看到的内容映射不兼容。为了适应Few-Shot图像生成任务，我们通过将连续内容映射量化为离散内容映射来学习本地内容向量的紧凑字典，而不是存储看到的图像。此外，我们建立了以风格向量为条件的离散内容映射的自回归分布模型，从而缓解了内容映射和风格向量之间的不兼容性。三个真实数据集上的定性和定量结果表明，我们的模型可以产生更高的多样性和保真度的图像看不见的类别比以前的方法。
2022-07-22 cs.CV
Unseen No More: Unlocking the Potential of CLIP for Generative Zero-shot HOI Detection
Dalian University of Technology（大连理工大学）
针对零样本 HOI 检测中可见-不可见混淆问题，提出基于 CLIP 的生成模型 HOIGen，通过特征生成、真假特征混合及双原型库提升两类性能。
2024-08-12 cs.CV
Zero-shot Learning with Class Description Regularization
York University（约克大学）；Vector Institute（向量研究所）
生成式零样本学习（generative Zero-shot learning，简称ZRL）的目的是从已知的类中学习，传递学习到的知识，并从未知类的描述中创建未知类的样本。为了获得更好的CNOL精度，模型需要更好地理解看不见的类的描述。我们引入了一种新的正则化形式，鼓励生成式的CPDL模型更加关注每个类别的描述。我们的实证结果表明，当在基于文本的数据集（如CUB和NABIrds）和基于属性的数据集（如AWA 2，aPY和SUN）上进行训练时，在广义zero-shot识别和分类任务上，多个最先进的模型的性能有所改善。
2021-06-30 cs.CV
Learning Unseen Emotions from Gestures via Semantically-Conditioned Zero-Shot Perception with Adversarial Autoencoders
University of Maryland（马里兰大学）
我们提出了一种新的广义的zero-shot算法来识别感知的情绪从手势。我们的任务是将手势映射到训练中没有遇到的新情感类别。我们引入了一个对抗性的，基于自动编码器的表示学习，它将3D运动捕获的手势序列与使用word 2 vec嵌入的自然语言感知情感术语的矢量化表示相关联。语言语义嵌入提供了一个情感标签空间的表示，我们利用这个潜在的分布映射的手势序列到适当的分类情感标签。我们训练我们的方法使用的手势注释与已知的情感条款和手势没有注释任何情绪的组合。我们评估我们的方法上的MPI情绪身体表情数据库（EBEDB），并获得$58.43\%$的准确性。这提高了当前最先进的算法的性能，通过$25$ - $27\%$在绝对值上的广义零样本学习。
2021-12-02 cs.CV
HOLa: Zero-Shot HOI Detection with Low-Rank Decomposed VLM Feature Adaptation
National University of Singapore（国立新加坡大学）；University of Mississippi（密苏里大学）；ASUS Intelligent Cloud Services (AICS)（ASUS智能云服务（AICS））
提出HOLa方法，通过低秩分解VLM特征并引入LLM动作正则化，在零样本HOI检测中同时提升未见类别泛化与动作区分，在HICO-DET上达到新SOTA。
2025-08-04 cs.CV
Universal Prototype Transport for Zero-Shot Action Recognition and Localization
Universiteit van Amsterdam（阿姆斯特丹大学）
本文提出通用原型传输方法，通过超球面最优传输重新定位未见动作的语义原型，解决了零样本动作识别中因映射偏差导致未见类别无法被推断的问题，提升了零样本分类和时空定位性能。
2023-08-01 cs.CV
Reference-Limited Compositional Zero-Shot Learning
Zhejiang University（浙江大学）；University of Cambridge（剑桥大学）；Westlake University（西湖大学）
针对真实场景中参考组合稀缺的问题，该文提出参考受限组合式零样本学习任务，设计MetaCGL方法从有限参考中学习组合性，并构建新基准验证其在未见组合识别上的SOTA性能。
2023-04-29 cs.CV
Learning Prototype via Placeholder for Zero-shot Recognition
Beihang University（北京航空航天大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
零样本学习（Zero-shot learning，ZRL）的目标是通过利用可见类和不可见类之间共享的语义描述来识别不可见类。目前的方法表明，通过将语义嵌入作为类原型投影到视觉空间中来学习视觉语义对齐是有效的。然而，这样的投影函数只涉及所看到的类。当应用于看不见的类时，由于域转移，原型经常表现得不太理想。在本文中，我们建议通过占位符学习原型，称为LPL，以消除可见和不可见类之间的域转移。具体来说，我们结合了看到的类幻觉新的类扮演的占位符的视觉和语义空间中看不见的类。放置在可见类之间，占位符鼓励可见类的原型高度分散。而更多的空间是留给插入分离良好的看不见的。从经验上讲，分离良好的原型有助于抵消由域转移引起的视觉语义不一致。此外，我们利用一种新的面向语义的微调，以保证占位符的语义可靠性。在五个基准数据集上进行的大量实验表明，LPL的性能优于最先进的方法。代码可在https://github.com/zaiquanyang/LPL上获得。
2022-07-29 cs.CV
Zero-Shot Learning via Category-Specific Visual-Semantic Mapping
Rice University（莱斯大学）；Nanyang Technological University（南洋理工大学）
零样本学习（Zero-Shot Learning，简称ZRL）的目标是基于来自可见类别的训练实例将测试实例从不可见类别中分类出来，其中可见类别和不可见类别之间的差距通常通过底层视觉特征空间和中间语义空间之间的视觉语义映射来弥合。然而，基于可见类别学习的视觉语义映射可能无法很好地推广到不可见类别，因为可见类别和不可见类别之间的数据分布是相当不同的，这被称为投影域移位问题。为了解决这个域转移问题，我们提出了一种名为自适应嵌入类（AEML）的方法来学习一个自适应的视觉语义映射为每个看不见的类别之间的相似性的基础上，每个看不见的类别和所有看到的类别。然后，我们进一步做了两个扩展的基础上，我们的AENOGL方法。首先，为了利用未标记的测试实例从看不见的类别，我们扩展了我们的AESTOL的半监督方法命名为AESTOL与标签细化（AESTOL_LR），其中一个渐进的方法来更新的视觉分类器和细化预测的测试标签交替基于测试实例之间的相似性和看不见的类别。其次，为了避免在大规模分类任务中为每个看不见的类别学习视觉语义映射，我们将我们的AESTOL扩展到一个名为Deep AESTOL（DAESTOL）的深度自适应嵌入模型，该模型共享类似的想法（即，视觉语义映射应该是特定于类别的，并且与语义空间相关），AESTML只需要训练一次，但可以应用于任意数量的不可见类别。大量的实验表明，我们提出的方法实现了国家的…
2017-12-13 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下，标准的评估协议是使用现有的动作识别数据集（例如UCF 101），并将类随机分为可见和不可见。然而，最近的工作建立在Kinetics数据集上预先训练的表示上，其中类与zero-shot评估数据集中的类在很大程度上重叠。因此，在监督预训练期间存在应该是不可见的类，从而使zero-shot设置的条件无效。几年前，对于基于图像的zero-shot识别，先前已经注意到类似的关注，但是尚未被zero-shot动作识别团体考虑。在本文中，我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆（TruZe）分裂UCF 101和HMDB 51，与zero-shot和广义zero-shot评价。在我们广泛的分析中，我们发现我们的TruZesplits比类似的随机分裂要难得多，因为没有任何东西从预训练中泄露出来，即看不见的性能一直较低，对于zero-shot动作识别高达8.9%。在另外的评估中，我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题，在这里我们看到高达17.1%的差异。我们发表了我们的分裂1，并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
Zero-shot动作识别是指在没有视觉实例的情况下，仅通过语义嵌入将看不见的动作类与可见的动作类联系起来，来识别动作类的任务。这个问题可以看作是学习一个函数，它可以很好地推广到看不见的类的实例，而不会丢失类之间的区分。神经网络可以模拟视觉类之间的复杂边界，这解释了它们作为监督模型的成功。然而，在零次学习中，这些高度专业化的类边界可能无法很好地从可见的类转移到不可见的类。在本文中，我们提出了一种基于质心的表示，聚类视觉和语义表示，考虑所有的训练样本一次，并以这种方式推广到来自不可见类的实例。我们使用强化学习来优化聚类，这对我们的方法的工作至关重要。我们称之为CLASTER，并观察到它在所有标准数据集上，包括UCF 101，HMDB 51和Olympic Sports;无论是在标准zero-shot评估还是广义zero-shot学习中，都始终表现出最先进的水平。此外，我们表明，我们的模型在图像域中也表现出竞争力，在许多设置中优于最先进的。
2022-07-24 cs.CV
Bidirectional Mapping Coupled GAN for Generalized Zero-Shot Learning
School of Engineering, Information Technology and Physical Sciences, Federation University（澳大利亚联邦大学工程、信息技术与物理科学学院）；Information Technology, Murdoch University（莫道克大学信息技术学院）
基于双向映射的广义零样本学习（GSHL）方法依赖于合成特征的质量来识别可见和不可见数据。因此，学习一个联合分布的seen-unseen域和保持域的区别是至关重要的这些方法。然而，现有的方法只学习底层的分布看到的数据，虽然看不见的类语义是可用的在GALML的问题设置。大多数方法忽略了保留域的区别，并使用学习的分布来识别可见和不可见数据。因此，它们的表现不佳。在这项工作中，我们利用现有的看不见的类语义和看到的类语义，并通过强大的视觉语义耦合学习联合分布。通过将耦合生成对抗网络扩展为双域学习双向映射模型，提出了一种双向映射耦合生成对抗网络（BMCoGAN）.我们进一步集成了Wasserstein生成对抗优化来监督联合分布学习。我们设计了一个损失优化保留域的独特信息的合成功能，并减少对看到类的偏见，这推动合成看到的功能，真正看到的功能和拉合成看不见的功能远离真正看到的功能。我们在基准数据集上评估了BMCoGAN，并证明了其与当代方法相比的优越性能。
2021-02-19 cs.CV
Domain Disentangled Generative Adversarial Network for Zero-Shot Sketch-Based 3D Shape Retrieval
Nanjing University of Science and Technology（南京理工大学）
基于草图的三维形状检索是一个具有挑战性的任务，由于草图和三维形状之间的大的领域差异。由于现有的方法是在相同的类别上训练和评估的，因此它们不能有效地识别在训练期间未使用的类别。在本文中，我们提出了一种新的域解纠缠生成对抗网络（DD-GAN）的zero-shot草图为基础的3D检索，它可以检索在训练过程中没有访问的不可见的类别。具体来说，我们首先通过分解草图和3D形状的学习特征来生成域不变特征和域特定特征，其中域不变特征用于与相应的词嵌入对齐。然后，我们开发了一个生成对抗网络，该网络将所见类别的特定领域特征与对齐的领域不变特征相结合来合成样本，其中未见类别的合成样本通过使用相应的词嵌入来生成。最后，我们使用合成的不可见类别的样本与真实的可见类别的样本相结合，训练网络进行检索，使不可见类别可以识别。为了减少域偏移问题，我们利用未标记的未见过的样本，以提高识别器的区分能力。通过将生成的样本与未标记的未见过样本区分开，生成器可以生成更真实的未见过样本。在SHREC'13和SHREC'14数据集上的大量实验表明，该方法显着提高了不可见类别的检索性能。
2022-06-30 cs.CV
Few-Shot Synthetic Image Attribution: Identifying Unseen Generators with Limited Samples
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peking University（北京大学）
提出少样本合成图像溯源新范式，构建含45个生成器、117万图像的OmniFake数据集，并设计OmniDFA基线，实现少样本下识别未见生成器，在AIGI检测中达到最优泛化性能。
2026-07-01 cs.CV
Learning without Seeing nor Knowing: Towards Open Zero-Shot Learning
Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Huawei Technologies Ltd., Ireland Research Center（华为技术有限公司爱尔兰研究中心）；University of Verona（维罗纳大学）
在广义零样本学习（GSTML）中，可以通过利用它们的类嵌入（例如，描述它们的属性列表）以及所见类的补充池（与可视数据和类嵌入配对）。尽管GARML可以说是具有挑战性的，我们认为提前知道类嵌入，特别是对于看不见的类别，是GARML对现实世界场景的适用性的实际限制。为了放宽这一假设，我们提出了开放式零样本学习（OWL），以扩展GWL向开放世界的设置。我们正式OCAMEL识别可见和不可见的类（如GCAMEL）的问题，同时也拒绝未知类别的实例，既不提供视觉数据，也不提供类嵌入。我们正式的ONORL问题引入评估协议，错误度量和基准数据集。我们还建议通过提出执行未知特征生成的想法来解决OCARL问题（而不是像GCARL那样只生成看不见的特征）。我们通过优化生成过程来实现这一点，以采样未知的类嵌入作为对可见和不可见的补充。我们打算将这些结果作为促进未来研究的基础，用新的开放世界对应物（OSTOL）扩展标准的封闭世界零样本学习（GSTOL）。
2021-09-14 cs.CV
Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning
University of Electronic Science and Technology of China（电子科技大学）；Ningbo University（宁波大学）；Southwest Jiaotong University（西南交通大学）；Tongji University（同济大学）
本文提出Structure-aware Prompt Adaptation方法，通过利用嵌入空间中语义相关属性和对象的局部结构一致性，提升开放词汇组合零样本学习的泛化能力。
2026-03-04 cs.CV
Leveraging Seen and Unseen Semantic Relationships for Generative Zero-Shot Learning
Arizona State University（亚利桑那州立大学）
零样本学习（Zero-shot learning，ZRL）通过利用语义信息将知识从可见类转移到不可见类来解决不可见类识别问题。生成模型综合了不可见的视觉特征，并将学习问题转化为经典的监督学习问题。这些生成模型使用可见的类进行训练，并期望将知识从可见的类隐式地转移到不可见的类。然而，它们的性能受到过拟合的阻碍，这导致了广义零样本学习（GSRL）的性能不合格。为了解决这一问题，我们提出了新的LsrGAN，一个生成模型，Leavening的可见和不可见的类别之间的语义关系，并明确执行知识转移，通过纳入一个新的语义正则化损失（SR损失）。SR损失引导LsrGAN生成反映可见类和不可见类之间的语义关系的视觉特征。在七个基准数据集上进行的实验，包括具有挑战性的基于维基百科文本的CUB和NABirds分裂，以及基于属性的AWA，CUB和SUN，证明了LsrGAN与以前的最先进方法相比的优越性。代码可以在https：// github上找到。com/ Maunil/ LsrGAN
2020-07-19 cs.CV cs.LG
Caption Generation on Scenes with Seen and Unseen Object Categories
Middle East Technical University（中东技术大学）；HAVELSAN Inc.（哈维尔桑公司）
图像字幕生成是视觉和语言领域中最具挑战性的问题之一。在这项工作中，我们提出了一个现实的字幕任务，输入场景可能会纳入视觉对象，没有相应的视觉或文本训练样本。对于这个问题，我们提出了一个检测驱动的方法，包括一个单阶段的广义zero-shot检测模型来识别和本地化的实例，看到和看不见的类，和基于模板的字幕模型，将检测到的句子。为了改善广义zero-shot检测模型，它提供了必要的信息，字幕，我们定义了有效的类表示类到类的语义相似性，并利用其特殊的结构，构建一个有效的看不见的/看到的类置信度评分校准机制。我们还提出了一种新的评价指标，通过分别测量生成的句子的视觉和非视觉内容，为字幕输出提供了额外的见解。我们的实验强调了在所提出的zero-shot设置中研究字幕的重要性，并验证了所提出的检测驱动的zero-shot字幕方法的有效性。
2022-07-01 cs.CV
ARC-NeRF: Area Ray Casting for Broader Unseen View Coverage in Few-shot Object Rendering
Seoul National University（首尔大学）；Xperty Corp.（Xperty公司）
提出ARC-NeRF，通过面光线投射策略和亮度一致性正则化，在少样本场景下覆盖更广未见视角并提升纹理准确性，渲染出清晰精细细节。
2025-04-07 cs.CV
Learning Graph Embeddings for Open World Compositional Zero-Shot Learning
University of Tübingen（蒂宾根大学）；ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute (MPI) for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
组合零镜头学习（Compositional Zero-Shot Learning，CNOML）旨在识别在训练过程中看到的状态和对象视觉基元的不可见组合。标准CNOML的一个问题是假设知道哪些看不见的成分在测试时可用。在这项工作中，我们克服了这个假设上的开放世界设置，其中没有限制施加在测试时间的成分空间，和搜索空间包含大量的看不见的成分。为了解决这个问题，我们提出了一种新的方法，组合余弦图嵌入（Co-CGE），基于两个原则。首先，Co-CGE通过图卷积神经网络对状态、对象及其组合之间的依赖关系进行建模。图将信息从可见的概念传播到不可见的概念，改善它们的表示。其次，由于并非所有看不见的组合都是同样可行的，并且不太可行的组合可能会损坏学习的表示，Co-CGE估计每个看不见的组合的可行性得分，使用得分作为基于余弦相似性的损失中的余量和作为图的邻接矩阵中的权重。实验表明，我们的方法实现了国家的最先进的性能，在标准的CNOML，同时优于以前的方法在开放世界的情况下。
2022-04-08 cs.CV
Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
与传统的零射击学习（Zero-Shot Learning，简称GSTL）相比，识别未见过的类是主要或唯一的目标，广义零射击学习（Generalized Zero-Shot Learning，简称GSTL）的目标是识别可见和未见过的类。大多数GALML方法通常学习从看不见的类的语义信息中合成可视化表示。然而，这些类型的模型容易过度拟合可见类，导致可见类和不可见类的生成特征之间的分布重叠。重叠区域充满了不确定性，因为模型很难确定重叠区域内的测试用例是可见的还是不可见的。此外，这些生成方法在具有稀疏训练样本的场景中受到影响。这些模型很难学习高维视觉特征的分布，因此无法捕获最具鉴别力的类间特征。为了解决这些问题，在本文中，我们提出了一种新的框架，利用双变分自编码器与三重损失学习歧视性的潜在特征，并应用基于熵的校准，以尽量减少在重叠区域的不确定性之间的可见和不可见的类。具体而言，具有三重损失的二元生成模型合成了可以从视觉或语义空间映射的类间区分性潜在特征。为了校准所见类别的不确定性，我们计算了来自通用分类器的softmax概率分布上的熵。通过这种方法，识别可见类内的可见样本相对简单，并且可见样本被错误分类为重叠区域中的不可见类的风险较小。在六个基准数据集上的大量实验表明，该方法优于最先进的方法。
2021-01-09 cs.CV
Generalised Zero-Shot Learning with Domain Classification in a Joint Semantic and Visual Space
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
广义零样本学习（Generalised zero-shot learning，简称GSRL）是一种分类问题，学习阶段依赖于一组可见的视觉类，推理阶段旨在识别可见的视觉类和一组新的不可见的视觉类。重要的是，学习和推理阶段都可以利用可用于可见和不可见类的语义表示。大多数最先进的GALML方法依赖于潜在视觉和语义空间之间的映射，而不考虑特定样本是否属于可见或不可见类的集合。在本文中，我们提出了一种新的GREML方法，学习一个联合的潜在表示，结合了视觉和语义信息。这减轻了学习两个空间之间的映射的需要。我们的方法还引入了一个域分类，估计样本是否属于可见或不可见的类。然后，我们的分类器将一个类的分类器与这个域的分类器相结合，目标是减少自然的偏见，GREML的方法对看到的类。实验表明，我们的方法实现了最先进的结果，在调和平均值，下的可见和不可见的曲线和不可见的分类精度在公共GALML基准数据集。我们的代码将在接受本文后提供。
2019-08-14 cs.CV
A Prototype-Based Generalized Zero-Shot Learning Framework for Hand Gesture Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
手势识别是人机交互中理解人类各种手势及其意图的重要手段。然而，大多数现有的工作只能识别有限的标记类的手势，并不能适应新的类别。手势识别的广义零样本学习（GSTML）的任务旨在通过利用语义表示和检测可见和不可见的类样本来解决上述问题。在本文中，我们提出了一个端到端的基于原型的手势识别框架，它由两个分支。第一个分支是基于原型的检测器，它学习手势表示并确定输入样本是否属于可见或不可见类别。第二个分支是一个zero-shot标签预测器，它将看不见的类的特征作为输入，并通过特征和语义空间之间的学习映射机制输出预测。我们进一步建立了一个手势数据集，专门针对这个GREML任务，并在这个数据集上进行了全面的实验，证明了我们提出的方法在识别可见和不可见手势方面的有效性。
2020-09-29 cs.CV
A Boundary Based Out-of-Distribution Classifier for Generalized Zero-Shot Learning
Tsinghua University（清华大学）
广义零样本学习（Generalized Zero-Shot Learning，GSRL）是一个具有挑战性的课题，在许多现实场景中具有广阔的应用前景。使用区分看不见的样本与可见样本的选通机制可以将GML问题分解为传统的零样本学习（Zero-Shot Learning，ZRL）问题和监督分类问题。然而，训练门通常是具有挑战性的，因为在看不见的领域缺乏数据。为了解决这个问题，在本文中，我们提出了一个基于边界的分布外（OOD）分类器，分类看不见的和看到的领域，只使用看到的样本进行训练。首先，我们在单位超球面上学习一个共享的潜在空间，其中视觉特征和语义属性的潜在分布按类对齐。然后我们找到每个类的流形的边界和中心。通过利用类中心和边界，可以将不可见的样本与可见的样本分离。然后，我们使用两个专家分别对可见和不可见样本进行分类。我们在AWA 1、AWA 2、CUB、FLO和SUN五个流行的基准数据集上广泛验证了我们的方法。实验结果表明，我们的方法比国家的最先进的方法的优势。
2022-01-03 cs.CV
Model Selection for Generalized Zero-shot Learning
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
在广义零样本学习问题中，来自未知类的数据点在训练过程中不可用。广义零样本学习的主要挑战是不平衡的数据分布，这使得分类器很难区分给定的测试样本是否来自可见或不可见的类。然而，使用生成对抗网络（GAN）来生成辅助数据点的语义嵌入看不见的类，解决了上述问题。目前的方法结合辅助数据点和原始训练数据来训练广义零样本学习模型，并获得最先进的结果。受这些模型的启发，我们建议通过模型选择机制来提供生成的数据。具体来说，我们利用两个来源的数据点（观察和辅助）训练一些分类器，以识别哪些测试数据点来自可见的，哪些来自不可见的类。通过这种方式，广义零样本学习可以被划分为两个不相交的分类任务，从而减少不平衡数据分布的负面影响。我们对四个公开可用的广义零样本学习数据集的评估表明，我们的模型获得了最先进的结果。
2018-11-08 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Florida State University（佛罗里达州立大学）
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念，其中模型在一组可见概念上训练，并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的，因为不仅看到和看不见的概念之间的差距，而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法，称为翻译概念嵌入，以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系，通过生成有条件地依赖于对象原型的平移属性功能。此外，我们设计了一个比率方差约束损失，以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能，并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
Zero Shot Hashing
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
本文提供了一个框架，散列图像包含未知对象类的实例。在许多对象识别问题中，我们可能会访问大量的数据。即使如此庞大的数据也可能不包括我们在日常生活中看到的属于类的对象。零样本学习利用辅助信息（也称为签名）来预测与未知类相对应的标签。在这项工作中，我们试图生成散列代码的图像属于看不见的类，信息只能通过文本语料库。我们将其公式化为无监督哈希公式，因为确切的标签不适用于不可见类的实例。我们表明，所提出的解决方案是能够生成哈希码，可以预测标签对应于看不见的类具有相当好的精度。
2016-10-09 cs.CV
Zero-shot Learning of 3D Point Cloud Objects
Australian National University（澳大利亚国立大学）；Data61-CSIRO（数据61-澳大利亚联邦科学与工业研究组织）
最近的深度学习架构可以很好地识别先前看到的类的3D点云对象的实例。同时，当前的3D深度相机技术允许从任意场景生成/分割大量的3D点云对象，对于任意场景，没有先前看到的训练数据。因此，3D点云识别系统的一个挑战是从新的、不可见的类别中对对象进行分类。这个问题可以通过对3D数据采用零样本学习（zero-shot learning，简称ZNL）方法来解决，类似于同一问题的2D图像版本。CAMEL试图通过比较可见和不可见类的语义信息（属性/词向量）来对不可见对象进行分类。在这里，我们适应了最近的几个3D点云识别系统，其架构的一些变化，以适应CNOL设置。据我们所知，这是第一次尝试分类看不见的3D点云对象在CNOL设置。一个标准的协议（包括数据集的选择和看到/看不到的分裂），以评估这样的系统也提出了。基线性能报告使用新的协议在调查模型。这项调查对3D点云识别社区提出了新的挑战，可能会引发许多未来的工作。
2019-02-27 cs.CV
