Compositional Embeddings for Multi-Label One-Shot Learning
Worcester Polytechnic Institute（伍斯特理工学院）；Google Brain（谷歌大脑）
我们提出了一个组合嵌入框架，在一次性学习的设置中，该框架不仅可以推断每个输入图像的单个类，而且可以推断一组类。具体来说，我们提出并评估了几种新的模型，包括（1）一个嵌入函数f与一个“组合”函数g联合训练，该函数计算两个嵌入向量中编码的类之间的集合并集运算;以及（2）嵌入f与一个“查询”函数h联合训练，该函数计算一个嵌入中编码的类是否继承了另一个嵌入中编码的类。与以前的工作相比，这些模型必须既感知与输入示例相关联的类，又对不同类标签集之间的关系进行编码，并且仅使用由训练样本之间的标签集关系组成的弱一次性监督来训练它们。在OmniGlot、Open Images和COCO数据集上的实验表明，本文提出的组合嵌入模型优于现有的嵌入方法。我们的组合嵌入模型应用于单次和监督学习的多标签对象识别。
2020-11-13 cs.LG stat.ML
Multi-Label Zero-Shot Learning via Concept Embedding
零样本学习（Zero Shot Learning，缩写为ZL）使学习模型能够在训练期间对未见过的类的实例进行分类。虽然大多数的研究都集中在单标签分类，很少有研究已经完成了多标签分类，其中一个实例是与一组标签同时，由于在建模复杂的语义传达了一组标签的困难。在本文中，我们提出了一种新的方法来多标签语义学习，通过概念嵌入学习的公共用户的多媒体注释的集合。由于概念嵌入，可以通过将实例输入特征有效地映射到概念嵌入空间上来完成多标签CNOML，其方式与单标签CNOML中使用的方式类似。此外，我们的语义学习模型能够通过从其共现标签中推断其含义来嵌入词汇外标签。因此，我们的方法允许在概念嵌入学习过程中使用可见和不可见的标签，以用于上述实例映射，这使得多标签CNOL更灵活，更适合于实际应用。图像和音乐曲目上的多标签语义学习的实验结果表明，我们的方法优于最先进的多标签语义学习模型，并且可以处理涉及词汇表外标签的场景，而无需重新训练语义学习模型。
2016-06-01 cs.LG
Optimization of Image Embeddings for Few Shot Learning
PES University（PES大学）
在本文中，我们改进的图像嵌入生成的图神经网络解决方案的少样本学习。我们为现有网络提出了替代架构，如Inception-Net，U-Net，Attention U-Net和Squeeze-Net，以生成嵌入并提高模型的准确性。我们以生成嵌入的时间为代价来提高嵌入的质量。所提出的实现优于Omniglot数据集上的1次和5次学习的现有最先进方法。实验涉及测试集和训练集，它们之间没有共同的类。5路和10路/20路测试的结果已制成表格。
2020-04-04 cs.CV cs.LG
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题，本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入，实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
One-Embedding-Fits-All: Efficient Zero-Shot Time Series Forecasting by a Model Zoo
School of Artificial Intelligence（人工智能学院）；National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
针对单一时间序列基础模型无法普遍最优的问题，提出ZooCast框架，通过“一嵌入通吃”范式构建统一表示空间，将多个TSFM组装成模型动物园，动态选择最优模型，在GIFT-Eval基准上实现高效零样本预测并保持单模型效率。
2025-09-25 cs.LG
Fantastic Embeddings and How to Align Them: Zero-Shot Inference in a Multi-Shop Scenario
Bocconi University（博科尼大学）；Coveo Labs（Coveo实验室）；Coveo（Coveo公司）
本文解决了利用多个嵌入空间进行多商店个性化的挑战，证明了zero-shot推理是可能的，通过将购物意图从一个网站转移到另一个网站，而无需人工干预。我们详细介绍了一个机器学习管道，首先在商店内进行训练和优化嵌入，并通过额外的定性见解来支持定量结果。然后，我们转向更困难的任务，即在商店之间使用学习到的嵌入：如果来自不同商店的产品位于同一个向量空间中，则用户意图-由该空间中的区域表示-可以以zero-shot方式在网站之间传输。我们提出了无监督和有监督的方法，并对它们进行了基准测试，以在嵌入空间之间“旅行”，每种方法都有自己的数据量和质量假设。我们表明，zero-shot个性化确实是可能的规模通过测试共享嵌入空间与两个下游任务，事件预测和类型提前建议。最后，我们策划了一个跨商店匿名嵌入数据集，以促进对这一重要业务场景的包容性讨论。
2020-07-20 cs.IR cs.LG
Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing
MIT（麻省理工学院）；Tel Aviv University（特拉维夫大学）
我们介绍了一种新的多语言传输方法，该方法利用深度上下文嵌入，以无监督的方式进行预训练。虽然上下文嵌入已被证明产生更丰富的表示意义相比，他们的静态同行，对齐他们提出了一个挑战，由于他们的动态性质。为此，我们构建了原始单语空间的上下文无关的变体，并利用它们的映射来导出上下文相关空间的对齐。这种映射很容易支持目标语言的处理，通过上下文感知的嵌入来改善传输。我们的实验结果表明，该方法的有效性zero-shot和少样本学习的依存句法分析。具体来说，我们的方法在6种测试语言上的表现始终优于以前的最先进技术，平均提高了6.8个LAS点。
2019-04-04 cs.CL cs.LG
A Simple Approach for Zero-Shot Learning based on Triplet Distribution Embeddings
KTH Royal Institute of Technology（瑞典皇家理工学院）；Sony Europe B.V.（索尼欧洲公司）
零样本学习（Zero-Shot Learning，简称ZRL）的目标是在没有标记训练数据的情况下，利用包含可见类和不可见类之间的知识的语义信息来识别不可见类。现有的语义空间嵌入方法主要使用向量来表示语义空间的嵌入。尽管流行，这样的向量表示限制了表现力方面的建模类内的变化，为每个类。我们通过利用分布嵌入来解决这个问题。更具体地说，图像嵌入和类嵌入都被建模为高斯分布，其中它们的相似性关系通过使用三元组约束来保持。指导我们方法的关键直觉是，对于每个图像，正确的类标签的嵌入应该比任何其他类标签的嵌入更接近。在多个基准数据集上进行的大量实验表明，该方法在传统的GML和更具挑战性的广义零样本学习（GML）设置下都取得了非常有竞争力的结果。
2021-03-29 cs.CV cs.LG
Don't Use English Dev: On the Zero-Shot Cross-Lingual Evaluation of Contextual Embeddings
Amazon（亚马逊公司）
多语言上下文嵌入在zero-shot跨语言迁移学习中表现出最先进的性能，其中多语言BERT在一种源语言上进行微调，并在不同的目标语言上进行评估。然而，在四篇论文中，mBERT zero-shot准确度的已发表结果在MLDoc分类任务上的差异高达17分。我们表明，在零射击设置中使用英语开发准确性进行模型选择的标准实践使得MLDoc和XNLI任务难以获得可重复的结果。zero-shot设置。英语开发准确性通常与目标语言准确性不相关（甚至是反相关），并且在同一微调运行中的不同点处以及在不同微调运行之间，zero-shot性能变化很大。这些可再现性问题也存在于具有不同预训练嵌入的其他任务（例如，MLQA与XLM-R）。我们建议在提供zero-shot结果的同时提供oracle分数：仍然使用英语数据进行微调，但选择具有目标开发集的检查点。报告这个上限可以避免任意错误的检查点，从而使结果更加一致。
2020-10-06 cs.CL cs.LG
Embedding Propagation: Smoother Manifold for Few-Shot Classification
Element AI；University of British Columbia（不列颠哥伦比亚大学）
Few-Shot分类具有挑战性，因为训练集的数据分布与测试集的数据分布可能大不相同，因为它们的类不相交。这种分布偏移通常导致较差的泛化。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形光滑性是半监督学习和直推式学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为一个无监督的非参数正则化流形平滑Few-Shot分类。嵌入传播利用基于相似性图的神经网络的提取特征之间的插值。我们的经验表明，嵌入传播产生一个更平滑的嵌入流形。我们还表明，应用嵌入传播的转导分类器实现了新的国家的最先进的结果在迷你Imagenet，分层Imagenet，Imagenet-FS和CUB。此外，我们表明，嵌入传播一致地提高了多个半监督学习场景中的模型的准确性高达16个点。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。我们在https://github.com/ElementAI/embedding-propagation上提供培训代码和使用示例。
2020-07-13 cs.CV cs.LG
HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization
LMU Munich（慕尼黑莱布尼茨大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对预训练语言模型在中低资源语言上表现不佳的问题，提出基于超网络的嵌入初始化方法HYPEROFA，通过训练超网络生成灵活的目标语言词元嵌入，在收敛速度和下游任务上均优于或持平OFA基线。
2025-07-11 cs.CL cs.LG
Expanding continual few-shot learning benchmarks to include recognition of specific instances
Cerenaut（塞雷诺特（Cerenaut））
本研究扩展持续小样本学习（CFSL）基准，将类别数量提升一个数量级并新增特定实例识别测试，实验发现带回放机制的模型变体可显著提升两类任务性能，尤其对实例测试效果突出。
2024-07-09 cs.LG cs.NE
Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Ontology-based n-ball Concept Embeddings Informing Few-shot Image Classification
The University of Manchester（曼彻斯特大学）
我们提出了一种新的框架ViOCE集成本体为基础的背景知识的形式$n$球概念嵌入到一个神经网络为基础的视觉架构。该方法由两个部分组成-通过学习捕获包容性和不相交性的n球嵌入将本体的符号知识转换为连续空间，并使用学习的嵌入指导视觉模型的训练和推理。我们使用Few-Shot图像分类任务评估ViOCE，其中它在两个标准基准测试中表现出卓越的性能。
2021-09-19 cs.AI cs.CV cs.LG
Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin
Carnegie Mellon University（卡内基梅隆大学）；Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）
本文研究少样本分类中双曲嵌入与欧氏嵌入的对比，发现双曲嵌入在共同半径下表现最佳，但固定半径的欧氏编码器可取得更优性能。
2023-09-18 cs.CV cs.LG
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation
Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
现有的持续关系学习（CRL）方法依赖于大量的标记训练数据来学习新的任务，这在实际场景中很难获得，因为获得大量具有代表性的标记数据通常是昂贵和耗时的。因此，该模型有必要学习新的关系模式与很少的标记数据，同时避免灾难性遗忘以前的任务知识。在本文中，我们制定了这个具有挑战性的，但实际的问题，连续Few-Shot关系学习（CFRL）。基于新出现的Few-Shot任务的学习通常会导致与先前任务的学习分布不兼容的特征分布的发现，我们提出了一种基于嵌入空间正则化和数据增强的新方法。我们的方法推广到新的Few-Shot任务，并通过对关系嵌入施加额外的约束和以自监督的方式添加额外的{相关}数据来避免对先前任务的灾难性遗忘。通过大量的实验，我们证明了我们的方法可以显着优于以前的国家的最先进的方法在CFRL任务设置。
2022-03-04 cs.CL cs.LG
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL，从而在无需大规模人工标注数据的情况下改进句子嵌入，并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
Expanding the Family of Grassmannian Kernels: An Embedding Perspective
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）
将视频和图像集建模为线性子空间已经证明对许多视觉识别任务是有益的。然而，它也带来了挑战，因为线性子空间不服从欧几里得几何，而是位于一种特殊类型的黎曼流形上，称为格拉斯曼流形。为了利用为具有子空间的欧几里德空间开发的技术（例如，支持向量机），最近的一些研究提出通过利用正定核将格拉斯曼嵌入到希尔伯特空间中。不幸的是，只有两个格拉斯曼核是已知的，其中没有一个-正如我们将要展示的-是通用的，这限制了它们任意逼近目标函数的能力。在这里，我们介绍了几个正定格拉斯曼内核，包括通用的，并证明他们的优越性，在各种任务，如分类，聚类，稀疏编码和散列比以前已知的内核。
2014-07-04 cs.CV cs.LG stat.ML
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）
虽然Few-Shot分类已被广泛探索与基于相似性的方法，Few-Shot序列标记构成了一个独特的挑战，因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性，我们建议利用条件随机场（CRF）在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数，并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时，不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题，我们引入了依赖转移机制，转移抽象标签转换模式。此外，相似性方法依赖于高质量的样本表示，这对于序列标记是具有挑战性的，因为当测量单词与不同句子中的单词的相似性时，单词的含义是不同的。为了弥补这一点，我们利用最近的上下文嵌入技术，并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明，我们的模型显着优于最强的少样本学习基线分别为11.76（21.2%）和12.18（97.7%）的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Smoothed Embeddings for Certified Few-Shot Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Moscow State University（莫斯科国立大学）；Nuro, Inc.（Nuro公司）；AIRI
本文将随机化平滑扩展到输出归一化嵌入的少样本学习模型，通过 Lipschitz 连续性分析给出针对 ℓ₂ 扰动的鲁棒性认证，并经多数据集实验验证。
2022-09-16 cs.AI cs.LG
Zero-Shot Audio Classification Based on Class Label Embeddings
Tampere University（坦佩雷大学）
提出了一种基于类别标签文本信息的零样本学习音频分类方法。我们提出了一个基于双线性模型的音频分类系统，该系统以音频特征嵌入和语义类标签嵌入为输入，并测量音频特征嵌入和类标签嵌入之间的兼容性。我们使用VGGish从音频记录中提取音频特征嵌入。我们把文本标签作为音频类的语义边信息，并使用Word 2 Vec生成类标签嵌入。在ESC-50数据集上的实验结果表明，该系统可以在较小的训练数据集上进行zero-shot音频分类。它可以实现准确性（平均26%）优于随机猜测（10%）对每个音频类别.特别地，对于自然音频类的类别，它达到高达39.7%。
2019-08-07 cs.LG cs.SD eess.AS
Few-Shot Learning with Metric-Agnostic Conditional Embeddings
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Seattle Research Center（西雅图研究中心）
从少量样本中学习高质量的类表示是面向少样本学习的度量学习方法中的一个关键问题。为了实现这一点，我们引入了一种新的架构，类表示的条件为每个Few-Shot试验的基础上的目标图像。我们还偏离了传统的度量学习方法，通过训练网络来执行类之间的比较，而不是依赖于静态度量比较。这允许网络决定每个类的哪些方面对于手头的比较是重要的。我们发现，这种灵活的架构在实践中效果良好，实现了加州理工大学UCSD鸟类细粒度分类任务的最先进的性能。
2018-02-12 cs.LG stat.ML
Zero-Shot Audio Classification using Image Embeddings
Tampere University（坦佩雷大学）
监督学习方法可以解决存在大量标记数据的给定问题。然而，获取覆盖所有目标类别的数据集通常需要手动标记，这是昂贵且耗时的。零样本学习模型能够利用语义信息对未知概念进行分类。本研究引入图像嵌入作为边信息的zero-shot音频分类，通过使用非线性声学语义投影。我们从Open Images数据集中提取语义图像表示，并使用不同领域的语义信息（图像，音频和文本）评估AudioSet音频子集上模型的性能。我们证明图像嵌入可以用作语义信息来执行零拍摄音频分类（zero-shot audio classification）。实验结果表明，图像和文本的嵌入表现出类似的性能，无论是单独的和一起。我们还计算了测试样本的语义声学嵌入，以提供性能的上限。实验结果表明，分类性能对测试类和训练类之间的语义关系高度敏感，当可见类和不可见类在语义上相似时，文本和图像嵌入可以达到语义声学嵌入。
2022-06-10 cs.LG cs.SD eess.AS
One-shot and few-shot learning of word embeddings
Stanford University（斯坦福大学）
标准的深度学习系统需要数千或数百万个示例来学习一个概念，并且无法轻松集成新概念。相比之下，人类有一种不可思议的能力，可以进行一次性或少样本学习。例如，仅仅从一个句子中听到一个单词，人类就可以通过利用周围单词的语法和语义来推断出很多关于它的信息。在这里，我们从中汲取灵感，强调一种简单的技术，通过这种技术，深度递归网络可以类似地利用它们的先验知识，从少量数据中学习一个新单词的有用表示。这可以使自然语言处理系统更加灵活，允许它们从遇到的新词中不断学习。
2018-01-02 cs.CL cs.LG stat.ML
Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?
Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
最近元学习研究的重点一直是学习算法的发展，可以快速适应测试时间任务的有限数据和低计算成本。少样本学习被广泛用作元学习的标准基准之一。在这项工作中，我们展示了一个简单的基线：在元训练集上学习监督或自监督表示，然后在此表示之上训练线性分类器，优于最先进的少样本学习方法。通过使用自蒸馏可以实现额外的提升。这表明，使用良好的学习嵌入模型可以比复杂的Meta学习算法更有效。我们相信，我们的研究结果激发了对Few-Shot图像分类基准和Meta学习算法的相关作用的重新思考。代码可在：http://github.com/WangYueFt/rfs/.
2020-06-17 cs.CV cs.LG
Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding
National Taiwan University（台湾大学）
本文研究了一种可转移音素嵌入框架，旨在解决Few-Shot环境下的跨语言文本到语音转换问题。迁移学习是Few-Shot学习的常用方法，因为在Few-Shot训练数据上从头开始训练必然会过拟合。尽管如此，我们发现，在提供不到8分钟的数据的极Few-Shot设置下，朴素的迁移学习方法无法适应看不见的语言。我们处理的问题，提出了一个框架，该框架由一个基于音素的TTS模型和一个码本模块从不同的语言到一个学习的潜在空间的项目音素。此外，通过利用音素级平均的自监督学习特征，我们有效地提高了合成语音的质量。实验表明，使用我们的框架，当适应一种看不见的语言时，使用4个话语（大约30秒的数据）就足以合成可理解的语音。
2022-08-03 cs.AI cs.LG eess.AS
Leveraging LLM Embeddings for Cross Dataset Label Alignment and Zero Shot Music Emotion Prediction
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出一种利用LLM嵌入实现跨数据集标签对齐的音乐情感识别方法，通过非参数聚类对齐多数据集标签、引入对齐正则化提升模型适配性，实现无需额外训练的零样本音乐情感预测。
2024-10-17 cs.LG cs.MM cs.SD
Adapted Deep Embeddings: A Synthesis of Methods for $k$-Shot Inductive Transfer Learning
University of Colorado, Boulder（科罗拉多大学博尔德分校）
机器学习的重点已经超出了在单个任务上训练分类器，而是研究如何利用源域中先前获得的知识来促进相关目标域中的学习，称为归纳迁移学习。三个活跃的研究方向已经独立地探索了使用神经网络的迁移学习。在权重转移中，在源域上训练的模型被用作在目标域上训练的网络的初始化点。在深度度量学习中，源域用于构建嵌入，该嵌入捕获源域和目标域中的类结构。在少样本学习中，重点是基于有限数量的标记示例在目标域中很好地泛化。我们比较了这三种范式中最先进的方法，并探索了混合自适应嵌入方法，该方法使用有限的目标域数据来微调从源域数据构建的嵌入。我们进行了系统的比较，在各种领域的方法，不同的标记实例的数量在目标域（$k$），以及目标域类的数量。我们得出三个主要结论：（1）与权重转移相比，深度嵌入作为域间转移或模型重用的起点要优越得多（2）我们的混合方法稳健地优于之前提出的每一个少样本学习和每一个深度度量学习方法，平均误差比最先进的方法减少了34%。（3）在用于发现嵌入的损失函数中，直方图损失（Ustinova & Lempitsky，2016）是最稳健的。我们希望我们的研究结果将推动权重转移、深度度量学习和少样本学习的研究统一起来。
2018-10-27 cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research（通用电气研究院）
我们描述了一种贝叶斯优化的方法，其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般（非实值）特征都与连续潜变量相关联，这些变量作为输入进入一个元模型，该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务，并展示了它的实现在各种合成和现实世界的例子，比较其性能下零，一，和Few-Shot设置对传统的贝叶斯优化，这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Embedding Adaptation is Still Needed for Few-Shot Learning
University of Southern California（南加州大学）；Google AI（谷歌AI）
构建新的更具挑战性的任务集是分析和理解Few-Shot分类方法的有效方法。不幸的是，现有的构建这些任务集的方法有些不令人满意：它们要么假设训练和测试任务分布是相同的-这导致过于乐观的评估-或者采取“最坏情况”的哲学-这通常需要额外的人力劳动，如获得语义类关系。我们提出了ATG，一个原则性的聚类方法来定义训练和测试任务集，而无需额外的人类知识。ATG对任务分布进行训练和测试，同时要求它们共享预定义的信息量。我们经验证明了ATG在生成任务集，更容易，在两者之间，或更难比现有的基准，包括那些依赖于语义信息的有效性。最后，我们利用我们生成的任务集来阐明Few-Shot分类：基于梯度的方法-以前被认为表现不佳-在传输最具挑战性时可以胜过基于度量的方法。
2021-04-15 cs.CV cs.LG
Webly Supervised Semantic Embeddings for Large Scale Zero-Shot Learning
CEA LIST（法国原子能和替代能源委员会 LIST 研究所）；CEDRIC – CNAM（法国国立工艺学院 CEDRIC 实验室）
零样本学习（Zero-shot learning，简称ZRL）使图像中的目标识别成为可能，而不需要来自数据集的部分类的视觉训练数据。当类的数量很大时，类通常由从未注释的文本集合中自动学习的语义类原型表示。这通常会导致性能比手动设计的语义原型（如属性）低得多。虽然大多数的语义类原型的工作集中在视觉方面和重用标准的语义原型从通用文本集合，我们专注于大规模的语义类原型设计的问题。更具体地说，我们研究了使用嘈杂的文本元数据与照片作为文本集合，因为我们假设他们可能会提供更合理的语义嵌入视觉类，如果利用得当。因此，我们利用基于源的投票策略，以提高语义原型的鲁棒性。对大规模ImageNet数据集的评估显示，在两个强大的基线上，以及在以前的作品中使用的通常的语义嵌入上，JML的性能有了显着的改善。我们证明了这种改进是针对几种嵌入方法获得的，当使用自动创建的视觉和文本特征时，可以获得最先进的结果。
2020-08-06 cs.CV cs.LG
A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning
DiDiChuXing（滴滴出行）
在本文中，我们提出了一种新的方法，Transductive多头少样本学习（TMHFS），以解决跨域少样本学习（CD-FSL）的挑战。TMHFS方法通过在公共特征嵌入网络之后引入新的预测头，即基于语义信息的实例全局分类网络，扩展了元置信度转换（MCT）和密集特征匹配网络（DFMN）方法[2]。我们训练的嵌入网络与多个头，即MCT损失，DFMN损失和语义分类器损失，同时在源域。对于目标域的少样本学习，首先对只包含语义全局分类器和支持实例的嵌入网络进行微调，然后使用微调后的嵌入网络中的MCT部分来预测查询集的标签。此外，我们进一步利用数据增强技术在微调和测试阶段，以提高预测性能。实验结果表明，所提出的方法大大优于强基线，微调，在四个不同的目标域。
2020-06-08 cs.CV cs.LG
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
最近的研究表明，预训练语言模型（PLM）是zero-shot学习器。然而，大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道，阻碍了它们在新情况下的应用。在这项工作中，我们表明，zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说，我们适合未标记的文本与贝叶斯高斯混合模型初始化后，使用类名称的聚类位置和形状。尽管它很简单，但这种方法在主题和情感分类数据集上都取得了优异或相当的性能，并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性，通过评估它在14个数据集更多样化的主题，文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后，我们比较了不同的PLM嵌入空间，发现即使PLM没有显式地预先训练以生成有意义的句子嵌入，文本也能很好地按主题聚类。这项工作表明，PLM嵌入可以分类文本没有特定的任务微调，从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束：度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达，在训练阶段不需要类的概念：只有对图像/属性，增强了一致性指标，作为地面真理。在测试时，学习的模型可以预测测试图像与给定属性集的一致性，从而允许以灵活的方式产生识别推断。尽管它的简单性，所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG
FacEDiM: A Face Embedding Distribution Model for Few-Shot Biometric Authentication of Cattle
Fit-For-Purpose Technologies SRL（Fit-For-Purpose 技术有限公司）；Neotex SARL（Neotex 有限责任公司）
本研究提出 FacEDiM 模型，通过计算测试嵌入与预训练 CNN 获取的训练嵌入多变量高斯分布间的 Mahalanobis 距离解决牛的少样本生物特征认证，实验证明 ImageNet 预训练优于人脸预训练，VGG16 取得优异认证结果。
2023-07-26 cs.CV cs.LG cs.NE
Disentangled Ontology Embedding for Zero-shot Learning
Zhejiang University（浙江大学）；University of Oxford（牛津大学）；The University of Edinburgh（爱丁堡大学）；Alibaba Group（阿里巴巴集团）
知识图谱（KG）及其变体本体已被广泛用于知识表示，并已被证明是非常有效的增强零样本学习（ZEML）。然而，现有的基于知识群的类间关系建模方法都忽略了知识群中类间关系的内在复杂性。一个典型的特征是一个类通常在不同的语义方面与其他类相关。在本文中，我们专注于本体增强的本体，并提出学习解纠缠的本体嵌入本体属性的指导下，捕捉和利用更细粒度的类关系在不同的方面。我们还贡献了一个新的本体嵌入框架DOMAIL，其中包含两个新的本体嵌入解决方案的基础上生成模型和图传播模型，分别有效地利用解开的本体嵌入。对五个基准进行了广泛的评价，这些基准横跨zero-shot图像分类（IMGC）和zero-shot KG完成（KGC）。DOBRL通常比最先进的产品具有更好的性能，其组件已通过消融研究和病例研究进行了验证。我们的代码和数据集可在https://github.com/zjukg/DOZSL上获得。
2022-06-08 cs.AI cs.CV cs.LG
Few-Shot Classification of Skin Lesions from Dermoscopic Images by Meta-Learning Representative Embeddings
Sri Sivasubramaniya Nadar College of Engineering（斯里西瓦苏布拉马尼亚·纳达尔工程学院）
用于诊断罕见和新型疾病的注释图像和地面实况非常罕见。考虑到受影响的患者人群数量较少且注释图像的临床专业知识有限，预计这将占上风。此外，皮肤病变和其他疾病分类数据集中频繁出现的长尾类分布导致传统的训练方法由于有偏见的类先验而导致泛化能力差。少样本学习和一般的元学习旨在通过在低数据状态下表现良好来克服这些问题。本文主要研究改进皮肤镜图像分类的元学习方法。具体来说，我们提出了一种基于元训练集的基线监督方法，该方法允许网络学习图像的高度代表性和可概括性的特征嵌入，这些特征嵌入很容易转移到新的少样本学习任务中。我们遵循文献中的一些先前的工作，这些工作证明了具有代表性的特征嵌入可以比复杂的Meta学习算法更有效。我们从经验上证明了所提出的元训练方法对皮肤镜图像学习嵌入的有效性，并表明即使是在这些表示上训练的简单线性分类器也足以胜过一些常用的元学习方法。
2022-10-30 cs.AI cs.CV cs.LG
TEPI: Taxonomy-aware Embedding and Pseudo-Imaging for Scarcely-labeled Zero-shot Genome Classification
Auburn University（奥本大学）；Oklahoma State University（俄克拉荷马州立大学）；Oklahoma Animal Disease Diagnostics Laboratory, College of Veterinary Medicine, Oklahoma State University（俄克拉荷马州立大学兽医学院俄克拉荷马动物疾病诊断实验室）
针对物种标签长尾且标注稀缺的全基因组分类问题，提出 TEPI，将基因组表示为伪图像并映射到分类学感知嵌入空间，以零样本方式实现大规模物种泛化分类。
2024-01-24 cs.AI cs.LG q-bio.GN
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Alibaba Group（阿里巴巴集团）
目前的监督关系三元组提取方法需要大量的标记数据，因此在Few-Shot设置中性能较差。然而，人们可以通过学习一些实例来掌握新知识。为此，我们采取的第一步，研究Few-Shot关系三元组提取，这还没有得到很好的理解。与以前的单任务Few-Shot问题不同，关系三元组提取更具挑战性，因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型，用于联合提取关系三元组的组成，即实体对和对应关系。具体而言，我们设计了一个混合原型学习机制，桥梁文本和知识的实体和关系。因此，实体和关系之间的隐式相关性被注入。此外，我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明，该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding
Shanghai Jiao Tong University（上海交通大学）
少样本学习的目标是在测试时仅用少量样本快速适应新类别，这主要是通过元学习的思想来解决的。然而，元学习方法本质上是跨各种Few-Shot任务进行学习，因此仍然需要具有细粒度监督的大规模训练数据来导出广义模型，从而涉及过高的注释成本。在本文中，我们将Few-Shot分类范式推向一个更具挑战性的场景，即，交叉粒度Few-Shot分类，其中模型在训练期间仅观察粗标签，而预期在测试期间执行细粒度分类。这项任务在很大程度上减轻了注释成本，因为细粒度的标记通常需要强大的特定于领域的专业知识。为了弥合跨粒度的差距，我们近似细粒度的数据分布的贪婪聚类的每个粗类到伪细类根据图像嵌入的相似性。然后，我们提出了一个元嵌入器，共同优化视觉和语义歧视，在实例和粗类明智的，以获得一个良好的特征空间，这个粗到细的伪标记过程。广泛的实验和消融研究进行了三个代表性的数据集上证明我们的方法的有效性和鲁棒性。
2021-07-20 cs.CV cs.LG stat.ML
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而，该假设经常被违反，导致zero-shot CMH问题。最近的努力，以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而，属性是孤立的多模态数据的特征。为了减少信息差距，我们引入了一种方法，称为LAEH（标签属性嵌入zero-shot跨模态哈希）。LAEH首先通过word2vec模型得到标签的初始语义属性向量，然后使用一个转换网络将它们转换到一个公共子空间中。接下来，它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时，利用属性相似度作为标签相似度的补充，对标签嵌入和公共子空间进行修正。实验表明，LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cisco Systems Inc.（思科系统公司）
本文提出轻量高效的少样本适应方法MixPro，通过线性混合源数据和少量目标样本的预训练嵌入生成新数据集并训练线性分类器，有效缓解小数据噪声与过拟合，在8个数据集上仅需2-4个样本即可提升最多7%性能。
2024-05-29 cs.CL cs.CV cs.LG
Zero-Shot Event Detection by Multimodal Distributional Semantic Embedding of Videos
Rutgers University（罗格斯大学）；SRI International（SRI国际）
提出了一种基于视频多模态分布语义嵌入的zero-shot事件检测方法。我们的模型嵌入对象和动作的概念，以及其他可用的形式从视频到分布式语义空间。据我们所知，这是第一个建立在分布式语义之上的Zero-Shot事件检测模型，并在以下方向对其进行了扩展：（a）视频中多模态信息的语义嵌入（重点是视觉模态），（b）自动确定概念/属性与自由文本查询的相关性，这对于其他应用可能是有用的，以及（c）通过自由文本事件查询检索视频（例如，“更换车辆轮胎”）。我们将视频嵌入到分布式语义空间中，然后以自由文本的形式度量视频和事件查询之间的相似性。我们在大型TRECVID MED（多媒体事件检测）挑战中验证了我们的方法。仅使用事件标题作为查询，我们的方法优于使用大描述的最新技术，MAP度量从12.6%到13.5%，ROC-AUC度量从0.73到0.83。它也快了一个数量级。
2015-12-16 cs.CL cs.CV cs.LG
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence（人工智能系）
本文提出一种高效框架，通过构建零样本判别嵌入模型，利用多模态大语言模型的固有能力，提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester（曼彻斯特大学）
人体动作识别是指从视频片段中自动识别人体动作。在现实中，视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释，而不是将每个标签分配给对应于单个动作的特定视频片段，这导致了多标签学习问题。此外，现实中存在许多有意义的人类动作，但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的，这导致零样本学习场景。据我们所知，还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中，我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题，并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题，并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此，我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此，多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架，包括一个专门为评估多标签零样本学习而设计的新型数据分割方案，在两个数据集上：早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin（柏林应用科学大学）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Birmingham（伯明翰大学）
本研究提出利用大语言模型零样本生成可解释决策树，无需训练数据，在小型表格数据集上性能可超越数据驱动树，并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
TSEML: A task-specific embedding-based method for few-shot classification of cancer molecular subtypes
Tianjin University（天津大学）；Northwestern Polytechnical University（西北工业大学）；La Trobe University（拉筹伯大学）；Shantou University（汕头大学）；Yangtze River Delta Research Institute of Northwestern Polytechnical University（西北工业大学长三角研究院）
针对癌症分子亚型少样本分类难题，构建TCGA Few-Shot数据集，提出结合MAML与ProtoNet的TSEML元学习框架，在该数据集上取得更优分类性能，助力精准诊断与个性化治疗。
2025-01-14 cs.AI cs.LG q-bio.QM
Zero Shot Learning with the Isoperimetric Loss
University of California, Los Angeles（加州大学洛杉矶分校）
我们引入等周损失作为学习从视觉表示到语义嵌入的映射的正则化标准，用于在零样本学习设置中将知识转移到未知类。我们使用预训练的深度神经网络模型作为图像数据的视觉表示，类别标签的Word2Vec嵌入以及视觉和语义嵌入空间之间的线性映射。然而，空间本身并不是线性的，我们假设样本嵌入是由光滑流形附近的噪声样本填充的。我们利用由样本点定义的图形结构来正则化流形的估计，通过使用从黎曼几何到图形的等周不等式的推广来推断图形连通性。令人惊讶的是，这种正则化单独与最简单的基线模型配对，在零样本学习基准测试（如AwA和CUB）中优于最先进的全自动方法。这种改进仅仅是通过施加规则性来学习底层空间的结构来实现的。
2019-12-03 cs.CV cs.LG stat.ML
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
我们引入了一个架构来学习93种语言的联合多语言句子表示，这些语言属于30多个不同的家族，用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器，具有所有语言的共享BPE词汇表，该编码器与辅助解码器相结合，并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器，并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理（XNLI数据集）、跨语言文档分类（MLDoc数据集）和并行语料挖掘（BUCC数据集）上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言，并表明，我们的句子嵌入获得强大的结果，即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Audio-visual Generalized Zero-shot Learning the Easy Way
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出EZ-AVGZL框架，通过单一对比损失对齐音频-视觉与文本嵌入，并利用差分优化增强类别判别性，在三个基准上达到最先进性能。
2024-07-18 cs.CV cs.LG cs.MM
