From Classical to Generalized Zero-Shot Learning: a Simple Adaptation Process
CEA LIST（法国原子能委员会列表实验室）；CEDRIC Lab – CNAM（法国国立工艺学院CEDRIC实验室）
零样本学习（Zero-shot learning，缩写为ZRL）是一种对以前未见过的类进行识别的学习方法。它依赖于附加的语义知识，可以通过所见类的训练样本来学习映射。传统的学习算法只考虑对未知类的识别性能，而广义零样本学习（GSTML）则旨在最大化对未知类和已知类的识别性能。在本文中，我们提出了一个新的过程，用于在GALML设置中进行训练和评估;该过程通过惩罚后者来解决来自不可见和可见类的样本之间的性能差距，并能够选择非常适合GALML任务的超参数。它可以应用于任何现有的GALML方法，并导致显着的性能提升：实验评估表明，GALML性能，平均超过八个国家的最先进的方法，从28.5提高到42.2 CUB和从28.2提高到57.1 AwA 2。
2018-09-26 cs.LG stat.ML
Augmentation-Interpolative AutoEncoders for Unsupervised Few-Shot Image Generation
Cornell University（康奈尔大学）
我们的目标是建立图像生成模型，从几个例子推广到新领域。为此，我们首先研究了经典图像生成器的泛化特性，并发现自动编码器可以很好地泛化到新的领域，即使在高度约束的数据上训练也是如此。我们利用这一见解，产生一个强大的，无监督的Few-Shot图像生成算法，并介绍了一种新的训练过程的基础上恢复图像的数据增强。我们的增强插值自动编码器仅从少数参考图像合成新颖物体的逼真图像，并且优于先前的插值模型和监督的Few-Shot图像生成器。我们的程序是简单和轻量级的，广泛的推广，并在培训过程中不需要类别标签或其他监督。
2020-11-25 cs.CV cs.LG
Generalized zero-shot audio-to-intent classification
AWS AI Labs（AWS人工智能实验室）
针对仅音频口语理解系统处理未见意图能力有限的问题，提出含多模态训练策略的通用零样本音频到意图分类框架，显著提升了分类准确率。
2023-11-04 cs.AI cs.LG cs.SD
Learn from Anywhere: Rethinking Generalized Zero-Shot Learning with Limited Supervision
IIT Hyderabad（印度理工学院海得拉巴分校）
大多数零样本学习和少样本学习方法的一个共同问题是它们遭受对所看到的类的偏见，从而导致次优性能。现有的努力旨在在训练期间利用来自看不见的类（即，转导zero-shot）的未标记图像来实现泛化。然而，这限制了它们在实际场景中的使用，从目标看不见的类的数据是不可用的或不可行的收集。在这项工作中，我们提出了一个实用的设置归纳零和少样本学习，其中未标记的图像从其他的数据类，不属于可见或不可见的类别，可以用来提高泛化在任何镜头学习。我们利用基于专家产品的配方，并引入了一个新的AUD模块，使我们能够使用来自数据外类别的未标记样本，这些样本通常很容易获得，实际上不需要注释成本。此外，我们还证明了我们的模型的适用性，以解决一个更实际和具有挑战性的，广义Zero-shot在有限的监督设置下，即使基地看到类没有足够的注释样本。
2021-07-14 cs.AI cs.CV cs.LG
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot Learning
Indian Institute of Technology（印度理工学院）
生成式zero-shot方法的性能主要取决于生成特征的质量以及模型如何促进视觉和语义域之间的知识传递。生成的特征的质量是模型捕获底层数据分布的几种模式的能力的直接结果。为了解决这些问题，我们提出了一个新的两级联合最大化思想，在训练过程中用推理网络来增强生成网络，这有助于我们的模型捕获数据的几种模式，并生成更好地代表底层数据分布的特征。这为视觉和语义领域之间的知识有效转移提供了强大的跨模态交互。此外，现有方法训练zero-shot分类器生成合成图像特征或通过利用表示学习产生的潜在嵌入。在这项工作中，我们将这些范例统一成一个单一的模型，除了合成图像特征，还利用推理网络的表示学习能力，为最终的zero-shot识别任务提供判别特征。我们评估我们的方法对四个基准数据集，即CUB，FLO，AWA1和AWA2对几个国家的最先进的方法，并显示其性能。我们还进行消融研究，以更仔细地分析和理解我们的方法，用于广义零样本学习任务。
2020-11-30 cs.CV cs.LG
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders
Bosch Center for AI（博世人工智能中心）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）；University of Amsterdam（阿姆斯特丹大学）
广义零样本学习中的许多方法依赖于图像特征空间和类嵌入空间之间的跨模态映射。由于标记的图像是昂贵的，一个方向是通过生成图像或图像特征来增强数据集。然而，前者错过了细粒度的细节，而后者需要学习与类嵌入相关的映射。在这项工作中，我们采取功能生成更进一步，并提出了一个模型，其中共享的图像特征和类嵌入的潜在空间是学习特定模态对齐变分自编码器。这为我们留下了关于图像和潜在特征中的类别的所需判别信息，我们在此基础上训练softmax分类器。我们的方法的关键是，我们对齐从图像和边信息中学习到的分布，以构建包含与不可见类相关的基本多模态信息的潜在特征。我们在几个基准数据集，即CUB，SUN，AWA1和AWA2上评估了我们学习到的潜在特征，并在广义zero-shot和少样本学习上建立了一个新的最新技术水平。此外，我们在ImageNet上使用各种zero-shot分裂的结果表明，我们的潜在特征在大规模设置中泛化良好。
2019-04-05 cs.AI cs.CV cs.LG
Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning
Duke University（杜克大学）
零样本学习（Zero-shot learning，简称ZRL）已被证明是一种很有前途的方法，可以通过利用类属性将模型推广到训练过程中看不到的类别，但挑战仍然存在。最近，使用生成模型来对抗训练期间出现的对类别的偏见的方法推动了ZSL的发展水平，但这些生成模型可能速度很慢，或者训练时计算成本很高。此外，虽然许多以前的CNOL方法假设一次性适应看不见的类，但实际上，世界总是在变化，需要不断调整部署的模型。没有准备好处理连续数据流的模型很可能会经历灾难性遗忘。我们提出了一个元连续零样本学习（MCSRL）的方法来解决这两个问题。特别是，通过将属性的自选通和缩放类归一化与基于元学习的训练配对，我们能够超越最先进的结果，同时能够比昂贵的基于生成的方法更快地训练我们的模型（$>100\times$）。我们证明了这一点，通过在五个标准的ARML数据集（CUB，aPY，AWA 1，AWA 2和SUN）在广义零样本学习和广义连续零样本学习设置进行实验。
2021-02-23 cs.AI cs.CV cs.LG
Semantic Borrowing for Generalized Zero-Shot Learning
Sun Yat-sen University（中山大学）
广义零样本学习（Generalized zero-shot learning，简称GSL）是一个最现实但最具挑战性的问题，因为它需要将分类器划分为有监督的类，特别是在类归纳实例归纳（class-inductive instance-inductive，简称CIII）训练环境下，测试数据不可用。实例借用方法和合成方法借助测试语义在一定程度上解决了这一问题，但这两种方法都不能在CIII下使用。此外，后者需要在生成示例之后进行分类器的训练过程。与此相反，本文提出了一种基于CIII的语义借用（Semantic Borrowing，SB）正则化方法，它不仅可以用于线性模型的训练，也可以用于人工神经网络等非线性模型的训练。损失函数中的这个正则化项借用了训练集中的相似语义，使得分类器在训练过程中可以更准确地对zero-shot和监督类的语义之间的关系进行建模。在GALML基准数据集上的大量实验表明，SB方法可以将分类器的训练时间减少到监督类，提高广义zero-shot分类的性能，优于归纳GALML方法。
2021-08-22 cs.AI cs.CV cs.LG
SDM-Net: A Simple and Effective Model for Generalized Zero-Shot Learning
Rice University（莱斯大学）
零样本学习（Zero-Shot Learning，缩写为ZRL）是一种分类任务，在这种任务中，我们甚至没有来自一组看不见的类的单个训练标记的示例。相反，我们只有关于可见和不可见类的先验信息（或描述），通常以物理可实现或描述性属性的形式。缺乏来自一组类的任何单个训练样本禁止使用标准分类技术和损失，包括流行的交叉熵损失。目前，最先进的方法将先前的类信息编码为密集向量，并优化输入向量的学习投影与相应的类向量之间的距离（统称为嵌入模型）。在本文中，我们提出了一种新的架构铸造零样本学习作为一个标准的神经网络的交叉熵损失。在训练过程中，我们的方法通过将所观察到的用于可见类的训练数据与来自我们没有训练数据或看不见类的属性的相似性信息相结合来执行软标记。据我们所知，这种基于相似性的软标记在深度学习领域中没有被探索。我们在零样本学习，AwA，aPY，SUN和CUB数据集的四个基准数据集上评估了所提出的模型，并表明我们的模型在所有这些数据集上的广义学习和学习设置中都取得了显着的改进。
2020-12-31 cs.CV cs.LG
Multimodal Generalized Zero Shot Learning for Gleason Grading using Self-Supervised Learning
Inception Institute of Artificial Intelligence（起源人工智能研究院）
组织病理学图像的Gleason分级对于准确的前列腺癌（PCa）诊断至关重要。由于这种图像是在侵入性组织切除术后获得的，因此在现有范例下快速诊断是具有挑战性的。我们提出了一种方法来预测格里森等级的磁共振（MR）图像，这是非介入性的，易于获取。我们在广义零样本学习（GSTML）设置中解决了这个问题，因为我们可能无法访问每个疾病等级的训练图像。合成MRI特征向量的不可见的等级（类），通过利用格里森等级的有序性质，通过条件变分自编码器（CVAE）结合自监督学习。使用循环GANs生成相应的组织病理学特征，并结合MR特征来预测测试图像的Gleason等级。实验结果表明，我们的方法优于竞争的特征生成方法的GALML，并接近完全监督的方法的性能。
2021-11-15 cs.CV cs.LG eess.IV
Evolutionary Generalized Zero-Shot Learning
School of Artificial Intelligence, Nanjing University of Science and Technology（南京理工大学人工智能学院）
针对现有零样本学习模型难以利用无标注数据持续进化的需求，提出进化式广义零样本学习任务及对应通用方法，解决三大挑战，在三个基准数据集上验证了模型可从测试数据流中学习的有效性。
2024-05-12 cs.CV cs.LG cs.NE
Learning the Compositional Spaces for Generalized Zero-shot Learning
Fudan University（复旦大学）；KAIST（韩国科学技术院）；University of British Columbia（不列颠哥伦比亚大学）
研究了广义零样本学习（G-Zero-shot Learning，G-Zero-shot L）问题，其目标是在测试时对既属于可见类又属于不可见类的样本进行分类。我们提出了一种新的空间分解方法来解决G-BRL。一些具有空间分解操作的先前模型仅校准源类别的置信预测（W-SVM [46]）或将目标类别实例作为离群值[49]。相比之下，我们建议直接估计和微调源和目标类之间的决策边界。具体来说，我们提出了一个框架，使学习组合空间的实例分为源，目标和不确定的空间，并在每个空间中执行识别，其中不确定的空间包含的标签不能自信地预测的实例。我们使用两个统计工具，即，自举和Kolmogorov-Smirnov（K-S）测试，学习G-EML的组成空间。我们广泛验证我们的方法在多个G-BNL基准，它达到了最先进的性能。
2021-08-30 cs.LG stat.ML
A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics
Samsung R&D Institute India- Bangalore（三星印度班加罗尔研发中心）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；TensorTour Inc.（TensorTour公司）
将深度卷积神经网络的浮点权重和激活量化为定点表示可以减少内存占用和推理时间。最近，人们正在努力实现不需要给定任务的原始未标记训练样本的zero-shot量化。这些最好的出版作品严重依赖于学习的批量归一化（BN）参数来推断量化的激活范围。特别是，这些方法建立在经验估计框架或数据蒸馏方法的基础上，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这种思路下，我们提出了一个广义zero-shot量化（GSQQ）框架，既不需要原始数据，也不依赖于BN层统计。我们利用数据蒸馏方法，仅利用模型的预训练权重来估计用于激活范围校准的丰富数据。据我们所知，这是第一个利用预训练权重的分布来辅助zero-shot量化过程的工作。所提出的方案明显优于现有的zero-shot作品，例如，MobileNetV2和其他几个无BN层的模型的分类准确性提高了约33%，适用于各种任务。我们还在多个开源量化框架中证明了所提出的工作的有效性。重要的是，我们的工作是对未来非规范化深度神经网络的训练后zero-shot量化的第一次尝试。
2021-12-11 cs.CV cs.LG
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model
National Taiwan University（台湾大学）
由于收集每种语言的训练数据是不可行的，因此人们对跨语言迁移学习越来越感兴趣。本文系统地研究了基于多语种语料库预训练语言表征模型的zero-shot跨语言迁移学习在阅读理解任务中的应用。实验结果表明，使用预先训练好的语言表示，零样本学习是可行的，不需要将源数据翻译成目标语言，甚至会降低性能。我们进一步探讨了模型在zero-shot设置中学习了什么。
2019-09-15 cs.CL cs.LG stat.ML
Interpretable Saliency Maps And Self-Supervised Learning For Generalized Zero Shot Medical Image Classification
Inception Institute of Artificial Intelligence（英赛普申人工智能研究院）
在许多现实世界的医学图像分类设置中，我们不能访问所有可能的疾病类别的样本，而一个强大的系统预计将在识别新的测试数据提供高性能。我们提出了一种广义的zero shot学习（GSTML）方法，该方法使用自监督学习（SSL）：1）选择不同疾病类别的锚向量; 2）训练特征生成器。我们的方法不需要类属性向量，可用于自然图像，但不用于医学图像。SSL确保锚向量代表每个类。SSL还用于生成不可见类的合成特征。使用一个更简单的架构，我们的方法匹配一个国家的最先进的SSL为基础的GALML方法的自然图像和优于所有的方法的医学图像。我们的方法是适应性强，足以容纳类属性向量时，他们可用于自然图像。
2022-08-29 cs.CV cs.LG eess.IV
Learning the Redundancy-free Features for Generalized Zero-Shot Object Recognition
Nanjing University of Science and Technology（南京理工大学）
零次目标识别或零样本学习的目的是在语义相关的类别之间转移目标识别能力，例如细粒度的动物或鸟类物种。然而，不同的细粒度对象的图像往往仅仅表现出外观上的细微差异，这将严重恶化zero-shot对象识别。为了减少细粒度对象中的冗余信息，本文提出了广义零样本学习的无冗余特征学习方法。我们通过将原始视觉特征投影到一个新的（无冗余）特征空间中，然后限制这两个特征空间之间的统计依赖性来实现我们的动机。此外，我们要求投影的功能，以保持，甚至加强在无冗余的特征空间的类别关系。这样，我们可以从视觉特征中去除冗余信息，而不会丢失区分信息。我们广泛评估了四个基准数据集的性能。实验结果表明，基于无冗余特征的广义零样本学习（RFF-GML）方法与现有方法相比，具有较好的效果。
2021-05-23 cs.CV cs.LG eess.IV
Generalized Zero and Few-Shot Transfer for Facial Forgery Detection
Technical University of Munich（慕尼黑工业大学）
我们提出了深度分布转移（DDT），这是一种新的迁移学习方法，用于解决面部伪造检测背景下的零和Few-Shot转移问题。我们研究了用一种伪造创建方法训练的模型（预）对以前看不见的操纵技术或不同数据集的泛化程度。为了促进这种转移，我们引入了一种新的基于混合模型的损失公式，该公式学习多模态分布，其模式对应于源伪造方法的基础数据的类别。我们的核心思想是首先预训练一个编码器神经网络，它将这种分布的每个模式映射到相应的类标签，即，通过最小化它们之间的Wasserstein距离来识别源域中的真实图像或伪图像。为了将该模型转移到一个新的域，我们将一些目标样本与先前训练的模式之一相关联。此外，我们提出了一个空间混合增强策略，进一步帮助跨域的泛化。我们发现，这种学习策略是令人惊讶的有效域转移相比，传统的分类，甚至国家的最先进的领域自适应/少样本学习方法。例如，与最佳基线相比，我们的方法将zero-shot的分类准确率提高了4.88%，将从FaceForensics++转移到Dessa数据集的Few-Shot案例的分类准确率提高了8.38%。
2020-06-21 cs.CV cs.LG eess.IV
Adaptive Posterior Learning: few-shot learning with a surprise-based memory module
Cogent Labs；DeepMind（DeepMind (谷歌旗下人工智能研究实验室)）
从少量观察中快速概括的能力对智能系统至关重要。在本文中，我们介绍APL，一种算法，近似概率分布记住最令人惊讶的观察，它遇到的。这些过去的观察结果从外部记忆模块中被调用，并由解码器网络处理，该解码器网络可以将来自不同记忆槽的信息结合起来，以超越直接回忆。我们表明，该算法可以执行以及最先进的基线上的Few-Shot分类基准与较小的内存占用。此外，它的内存压缩允许它扩展到数千个未知标签。最后，我们介绍了一个元学习推理任务，这是比直接分类更具挑战性。在这种情况下，APL能够通过演绎推理来推广每个类少于一个示例。
2019-02-07 cs.LG stat.ML
On the Transferability of Visual Features in Generalized Zero-Shot Learning
Rice University（莱斯大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Georgia Institute of Technology（佐治亚理工学院）；University of Virginia（弗吉尼亚大学）
广义零次学习（Generalized Zero-Shot Learning，GTL）旨在训练一个分类器，该分类器可以使用一组属性作为辅助信息，并从预先训练的卷积神经网络中提取视觉特征，从而推广到不可见的类别。虽然最近的GALML方法已经探索了各种技术来利用这些功能的能力，但表示学习技术的广泛增长仍然没有得到充分的探索。在这项工作中，我们研究了使用不同的特征提取器时不同的GSTML方法的效用，并研究了这些模型的预训练目标，数据集和架构设计如何影响它们的特征表示能力。我们的研究结果表明：1）使用生成组件的方法为GALML提供更多的优势时，使用最近的特征提取器; 2）使用自监督学习目标和知识蒸馏预训练的特征提取器提供更好的特征表示，提高了15%的性能时，使用最近的GALML技术; 3）使用较大数据集预训练的特定特征提取器不一定会提高GALML方法的性能。此外，我们还研究了GREML方法如何对抗CLIP，CLIP是一种具有强大zero-shot性能的最新多模态预训练模型。我们发现，基于生成的GSTML方法以及CLIP的互联网规模的预训练仍然有利于GSTML任务，以在细粒度数据集中实现最先进的性能。我们在这里发布了一个模块化框架，用于分析GML中的表示学习问题：https://github.com/uvavision/TV-GZSL
2022-11-22 cs.CV cs.LG
Active perception and disentangled representations allow continual, episodic zero and few-shot learning
Cerenaut AI
本文提出一种互补学习系统，通过主动感知与解耦表示实现持续、零样本和少样本学习，无需依赖泛化能力。
2026-02-22 cs.AI cs.LG
Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Tecent（腾讯）
广义零样本学习（GSRL）解决了学习分类涉及可见类和不可见类的实例的问题。关键问题是如何有效地将从可见类学习到的模型转移到不可见类。在GALML现有的作品通常假设，一些看不见的类的先验信息是可用的。然而，当新的看不见的类动态出现时，这样的假设是不现实的。为此，我们提出了一种新的异构图为基础的知识转移方法（HGKT）的GALML，不可知的类和实例，利用图神经网络。具体而言，结构化异构图被构造成具有所见类的高级代表节点，其通过Wasserstein重心被选择以同时捕获类间和类内关系。通过图神经网络学习聚集函数和嵌入函数，通过传递邻居类的知识来计算未知类的嵌入。在公共基准数据集上的大量实验表明，我们的方法达到了最先进的结果。
2019-11-20 cs.CV cs.LG stat.ML
`Eyes of a Hawk and Ears of a Fox': Part Prototype Network for Generalized Zero-Shot Learning
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
针对现有广义零样本学习方法仅用全局属性向量的局限，提出基于VINVL检测器的部件原型网络，通过区域属性注意力构建类别部件原型，在主流基准上表现更优。
2024-04-12 cs.CV cs.LG
Class Normalization for (Continual)? Generalized Zero-Shot Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
规范化技术已被证明是在传统的监督学习制度中成功训练的关键因素。然而，在零样本学习（zero-shot learning，简称ZRL）的世界里，这些想法只受到了边缘关注。本文从理论和实践两个方面研究了网络环境下的规范化问题。首先，我们对零样本学习中使用的两种流行技巧进行了理论解释：normalize+scale和attributes normalization，并表明它们通过在向前传递过程中保留方差来帮助训练。接下来，我们证明了它们不足以规范化一个深度的XML模型，并提出了类规范化（CN）：一个规范化方案，它在可证明性和实践中都证明了这个问题。第三，我们表明，与传统的分类器相比，EML模型通常有更多的不规则损失面，所提出的方法部分地解决了这个问题。然后，我们在4个标准的MLP数据集上测试了我们的方法，并通过一个简单的MLP优化，没有任何花哨的东西，并且训练速度快了50倍，胜过了复杂的现代SotA。最后，我们将CNOL推广到一个更广泛的问题--持续的CNOL，并为这个新设置引入一些原则性的度量标准和严格的基线。项目页面位于https://universome.github.io/class-norm。
2021-04-14 cs.CV cs.LG stat.ML
Domain Generalizer: A Few-shot Meta Learning Framework for Domain Generalization in Medical Imaging
University of Pennsylvania（宾夕法尼亚大学）
深度学习模型在目标（测试）数据域上测试时表现最佳，其分布与源（训练）域的集合相似。然而，当目标域和源域之间的基础统计数据存在显著差异时，模型泛化可能会受到阻碍。在这项工作中，我们适应一个领域泛化方法的基础上，模型不可知的元学习框架，生物医学成像。该方法学习一个领域不可知的特征表示，以提高模型的泛化到看不见的测试分布。该方法可用于任何成像任务，因为它不依赖于底层模型架构。我们通过三个数据集上的健康和病理病例的计算机断层扫描（CT）椎骨分割任务来验证该方法。接下来，我们采用少样本学习，即使用来自未知领域的非常少的示例来训练广义模型，以快速使模型适应新的未知数据分布。我们的研究结果表明，该方法可以帮助在不同的医疗中心，图像采集协议，解剖结构，给定扫描中的不同区域，不同成像模式的健康和患病人群中推广模型。
2020-08-18 cs.CV cs.LG eess.IV
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题，学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法，在联合视觉和文本空间。本文的主要新颖之处在于，它表明，使用每图像语义监督导致zero-shot性能的实质性改善，而不是使用仅类监督。最重要的是，我们为度量重新缩放方法提供了概率证明，该方法解决了广义零样本学习设置中非常常见的问题，即，将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集：CUB和FLOWERS上评估了我们的方法。我们发现，在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
A Gating Model for Bias Calibration in Generalized Zero-shot Learning
Georgia Institute of Technology（佐治亚理工学院）
广义零样本学习（GSRL）旨在训练一个模型，该模型可以通过仅使用辅助信息来推广到不可见的类数据。GSTML中的主要挑战之一是在训练期间仅对可用的可见类数据进行过拟合而导致的对可见类的偏倚模型预测。为了克服这个问题，我们提出了一个两个流的自动编码器为基础的门控模型的GALML。我们的门控模型预测查询数据是否来自可见的类或不可见的类，并利用单独的可见和不可见的专家来预测彼此独立的类。该框架避免了将可见类的有偏预测分数与未见类的预测分数进行比较。特别是，我们测量视觉和属性表示在潜在空间和交叉重建空间的自动编码器之间的距离。这些距离被用作互补特征，以在不同的数据抽象级别上表征看不见的类。此外，双流自动编码器作为门控模型和看不见的专家的统一框架，这使得所提出的方法在计算上是高效的。我们验证了我们提出的方法在四个基准图像识别数据集。在与其他国家的最先进的方法相比，我们实现了最好的谐波平均精度在SUN和AWA2，第二最好的CUB和AWA1。此外，我们的基础模型需要的模型参数数量比依赖于生成模型的最新方法少至少20%。
2022-03-08 cs.CV cs.LG
Audio-visual Generalized Zero-shot Learning the Easy Way
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出EZ-AVGZL框架，通过单一对比损失对齐音频-视觉与文本嵌入，并利用差分优化增强类别判别性，在三个基准上达到最先进性能。
2024-07-18 cs.CV cs.LG cs.MM
From Generalized zero-shot learning to long-tail with class descriptors
Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
现实世界的数据主要是不平衡的和长尾的，但深度模型很难在频繁类的情况下识别稀有类。通常，类可以附带文本描述等辅助信息，但如何使用它们来学习不平衡的长尾数据还不完全清楚。这种描述主要用于（广义）零次学习（Zero-shot learning，简称ZRL），这表明带有类描述的Zero-shot学习也可能对长尾分布有用。我们描述了DRAGON，一种用于长尾学习的后期融合架构，带有类描述符。它学习（1）在逐个样本的基础上纠正对头部类的偏见;（2）融合来自类描述的信息，以提高尾部类的准确性。我们还引入了新的基准CUB-LT，SUN-LT，AWA-LT，用于基于类描述的长尾学习，建立在现有的具有属性的学习数据集和具有类描述符的Imagenet-LT版本上。Dragon在新基准上的表现优于最先进的型号。它也是现有GFSL基准测试的新SoTA，具有类描述符（GFSL-d）和标准（仅限视觉）长尾学习ImageNet-LT，CIFAR-10，100和Places 365。
2020-11-04 cs.CV cs.LG stat.ML
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa，它最大限度地重用了预训练的图像-文本对比字幕（CoCa）模型，并使其适应视频-文本任务，只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型，但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入，从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外，我们还在VideoCoCa上探索了轻量级的微调，并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
Better Generalized Few-Shot Learning Even Without Base Data
Inha University（仁荷大学）
介绍并研究了零基广义少样本学习（零基GFSL）问题，它是少样本学习问题的一个极端而又实用的版本。受隐私或道德问题导致基础数据不可用的情况的启发，零基GFSL的目标是将新类的少数样本的知识重新纳入到没有任何基类样本的预训练模型中。根据我们的分析，我们发现的事实是，新的类的权重分布的均值和方差都没有适当地建立，相比的基础类。现有的GFSL方法试图使权重范数平衡，我们发现这只对方差部分有帮助，但丢弃了权重均值的重要性，特别是对于新的类，导致GFSL问题的性能有限，即使有基础数据。在本文中，我们克服了这一限制，提出了一个简单而有效的归一化方法，可以有效地控制新的类的权重分布的均值和方差，而不使用任何基础样本，从而实现了令人满意的性能上的新的和基础类。我们的实验结果有些令人惊讶地表明，所提出的零基GFSL方法，不利用任何基础样本，甚至优于现有的GFSL方法，使最好的基础数据的使用。我们的实现可以在https://github.com/bigdata-inha/Zero-Base-GFSL上获得。
2022-11-30 cs.AI cs.CV cs.LG
Visual and Semantic Prototypes-Jointly Guided CNN for Generalized Zero-shot Learning
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
在人类探索世界的过程中，好奇心不断驱使着人类去认知新事物。假设你是一个动物学家，对于一个呈现的动物图像，如果你知道它的类别，你可以立即识别它。否则，你更有可能试图通过利用边信息来认知它（例如，语义信息等）你积累了。受此启发，本文将广义零样本学习（G-shot learning，G-shot L）任务分解为开集识别（Open set recognition，OSR）任务和零样本学习（Z-shot learning，Z-shot L）任务，其中OSR识别可见类（如果我们见过（或已知）它们）并拒绝未见过类（如果我们以前从未见过（或已知）它们），而Z-shot L识别被前者拒绝的未见过类。同时，在不违反OSR的假设（只有已知类的知识是可用的训练），我们还首次尝试探索一个新的广义开集识别（G-OSR）通过引入累积的边信息从已知类的OSR。对于G-RNL，这样的分解有效地解决了类过拟合问题，容易将看不见的类误分类为可见的类。该问题在大多数现有的G-CPDL方法中是普遍存在的。另一方面，对于G-OSR，引入已知类别的语义信息不仅提高了识别性能，而且赋予OSR对未知类别的认知能力。具体而言，提出了一种视觉和语义原型联合引导的卷积神经网络（VSG-CNN），以在统一的端到端学习框架中完成这两个任务（G-OSR和G-ORL）。在基准数据集上的大量实验证明了我们的学习框架的优势。
2019-08-14 cs.CV cs.LG stat.ML
Zero Shot Domain Generalization
Indian Institute of Technology（印度理工学院）；Microsoft（微软公司）
标准监督学习设置假设训练数据和测试数据来自相同的分布（域）。领域泛化（DG）方法试图学习一个模型，当对来自多个领域的数据进行训练时，该模型将泛化到一个新的未知领域。我们将DG扩展到一个更具挑战性的设置，其中看不见的域的标签空间也可能发生变化。我们将这个问题称为Zero-Shot领域泛化（据我们所知，这是第一次这样做），其中模型在新领域以及这些领域中的新类中进行泛化。我们提出了一个简单的策略，有效地利用类的语义信息，以适应现有的DG方法，以满足Zero-Shot领域泛化的要求。我们在CIFAR-10、CIFAR-100、F-MNIST和PACS数据集上评估了所提出的方法，建立了一个强有力的基线，以培养人们对这一新研究方向的兴趣。
2020-08-17 cs.CV cs.LG
A Meta-Learning Framework for Generalized Zero-Shot Learning
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在测试时学习分类看不见的类样本通常被称为zero-shot learning（ZML）。如果测试样本可以来自训练（可见）以及不可见的类，则由于存在对可见类的强烈偏见，这是一个更具挑战性的问题。这个问题通常被称为\emph{generalized} zero-shot learning（GSTML）。由于生成模型（如VAE和GANs）的最新进展，基于样本合成的方法在解决这个问题方面获得了相当大的关注。这些方法能够通过合成看不见的类样本来处理类偏差的问题。然而，这些$(i)$/GATHABL模型由于以下关键限制而受到影响：$(i)$它们的训练阶段仅使用\emph{seen}类数据来学习类条件生成器，并且训练阶段不学习\emph{explicitly}以生成不可见的类样本; $(ii)$它们不学习可以容易地推广用于可见和不可见类生成的通用最优参数;和$(iii)$如果我们只能访问每个可见类的非常少的样本，这些模型往往表现不佳。在本文中，我们提出了一种基于元学习的生成模型，可以自然地处理这些限制。该模型是基于集成模型无关Meta学习与Wasserstein GAN（WGAN）处理$(i)$和$(iii)$，并使用一种新的任务分配来处理$(ii)$。我们提出的模型产生了显着的改进，以及更具有挑战性的GREML设置的标准GREML。在CUB，AWA 1，AWA 2和aPY数据集上，我们的模型分…
2019-09-10 cs.CV cs.LG stat.ML
GE2E-KWS: Generalized End-to-End Training and Evaluation for Zero-shot Keyword Spotting
GE2E-KWS提出了一种端到端训练和评估框架，通过优化矩阵运算提升收敛稳定性，其量化模型在AUC上显著优于现有方法，支持零样本关键词识别。
2024-10-22 cs.AI cs.LG eess.AS
CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context
Cornell University（康奈尔大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
许多机器人操作任务都需要学习物理世界的精确模型。然而，在操作过程中，机器人预计与未知的工件，使建立预测模型，可以概括了这些对象的数量是非常可取的。在本文中，我们研究了设计深度学习代理的问题，这些代理可以通过构建上下文感知的学习模型来概括其物理世界的模型。这些智能体的目的是基于为预测模型提供不同上下文的交互对象的某些特征，快速适应和/或概括其在现实世界中的交互物理概念。有了这个动机，我们提出了上下文感知的零样本学习（CASTOL，发音为休闲）模型，一种利用暹罗网络架构的方法，嵌入空间掩蔽和正则化的基础上的上下文变量，使我们能够学习一个模型，可以推广到不同的参数或功能的相互作用的对象。我们测试我们提出的学习算法上最近发布的Omnipush数据集，允许使用低维数据测试元学习能力。可在https://www.merl.com/research/license/CAZSL上获得CANOL代码。
2020-11-01 cs.LG cs.RO stat.ML
Meta-Learned Attribute Self-Interaction Network for Continual and Generalized Zero-Shot Learning
FAIR, Meta（元实境实验室（Meta））；IITG（印度理工学院瓜哈提分校）；KAUST（阿卜杜拉国王科技大学）；Duke University（杜克大学）
本文提出元学习属性自交互网络MAIN，结合属性自交互与逆正则化，在不使用未见类属性的情况下实现持续与广义零样本学习，训练速度比生成式方法快100倍以上，并在五个标准数据集上取得领先性能。
2023-12-02 cs.CV cs.LG stat.ML
Very Exciting: Zero-Shot Model Predictive Control of Buildings via Excitation-Based Generalized Transfer Learning Models
Technical University of Applied Sciences Rosenheim（罗森海姆应用技术大学）；Technical University of Munich（慕尼黑工业大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Alan Turing Institute（艾伦·图灵研究所）
针对数据驱动建筑模型预测控制需大量数据训练的问题，提出基于激励数据的广义迁移学习模型，实现零样本控制，性能优于在线线性模型和PI控制器。
2026-09-16 cs.LG cs.SY eess.SY
Towards One-Shot Learning for Text Classification using Inductive Logic Programming
University of Surrey（萨里大学）
本文提出利用归纳逻辑编程中的元解释学习框架，结合ConceptNet常识知识，实现从极少量样本进行文本分类的一次性学习，并发现示例复杂度越高准确率越高。
2023-08-30 cs.CL cs.LG cs.LO
Knowledge Graph-Based Explainable and Generalized Zero-Shot Semantic Communications
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；College of Science, Nanjing University of Posts and Telecommunications（南京邮电大学理学院）；College of Communication and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院）；National Mobile Communications Research Laboratory, Southeast University（东南大学移动通信研究中心）；College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学电子与信息工程学院）
本文提出知识图谱增强零样本语义通信网络KGZS-SC，利用KG-SKB对齐语义特征以降低通信开销，并在接收端结合零样本学习实现对未见类别的直接分类，在APY数据集上显著优于现有语义通信框架。
2025-07-03 cs.AI cs.IT cs.LG
