A Relational Model for One-Shot Classification
Aalto University（阿尔托大学）
我们发现，具有内置关系归纳偏差的深度学习模型可以为样本有效学习带来好处，而不依赖于广泛的数据增强。所提出的一次分类模型执行本地和成对注意力形式的一对输入的关系匹配。我们的方法完美地解决了一次性图像分类Omniglot的挑战。我们的模型超过了人类水平的准确性，以及以前的最先进的，没有数据增强。
2021-11-08 cs.AI cs.CV cs.LG
Advancing Cache-Based Few-Shot Classification via Patch-Driven Relational Gated Graph Attention
本文提出基于补丁的关联门控图注意力网络，通过学习补丁依赖性优化缓存适配器，提升少样本图像分类性能，同时保持零样本效率。
2025-12-13 cs.CV
Image-to-Lidar Relational Distillation for Autonomous Driving Data
University of Toronto（多伦多大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文针对自动驾驶数据中2D到3D蒸馏存在的结构不匹配问题，提出关系蒸馏框架，通过模态内与跨模态约束使3D表示对齐2D结构，从而提升零样本和少样本3D语义分割性能。
2024-09-01 cs.CV
LinkNet: Relational Embedding for Scene Graph
KAIST（韩国科学技术院）
对象及其相互关系是图像理解的重要内容。场景图提供捕获图像的这些属性的结构化描述。然而，推理对象之间的关系是非常具有挑战性的，只有少数最近的作品试图解决从图像生成场景图的问题。在本文中，我们提出了一种方法，提高了场景图生成明确建模的整个对象实例之间的相互依赖关系。我们设计了一个简单而有效的关系嵌入模块，使我们的模型能够共同表示所有相关对象之间的连接，而不是孤立地关注一个对象。我们的方法显着受益的场景图生成任务的主要部分：关系分类。在基本的Faster R-CNN之上使用它，我们的模型在Visual Genome基准测试中获得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，进一步提高了算法的性能。我们通过广泛的消融研究验证了我们的最终模型LinkNet，证明了它在场景图生成中的有效性。
2018-11-15 cs.CV
CLIP-RD: Relational Distillation for Efficient CLIP Knowledge Distillation
Ewha Womans University（东亚妇女大学）
本文提出CLIP-RD框架，通过引入垂直关系蒸馏和交叉关系蒸馏方法，提升学生模型对教师模型多方向关系的保留能力，实现更高效的CLIP知识蒸馏。
2026-09-11 cs.CV
Lightweight Relational Embedding in Task-Interpolated Few-Shot Networks for Enhanced Gastrointestinal Disease Classification
National Heart Centre Singapore（新加坡国家心脏中心）；Duke-NUS Medical School Singapore（新加坡国立大学Duke-NUS医学院）
针对结肠镜检查图像不足及相似模式难以区分的挑战，提出基于少样本学习的深度网络，结合任务插值、关系嵌入与轻量级注意力机制，在Kvasir数据集上以90.1%准确率超越现有方法，有效提升结直肠癌检测。
2025-05-30 cs.CV
Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
本文提出层次关系学习方法HiRe，通过联合捕获实体级、三元组级和上下文级关系信息来学习少样本关系的元表示，从而提升少样本知识图谱补全的泛化能力，并在基准数据集上验证了其优于现有方法的性能。
2025-06-03 cs.AI cs.CV cs.LG
Beyond Decision Boundaries: Relational Geometry Attacks on Contrastive Embedding Manifolds
The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Texas A&M University（德克萨斯农工大学）
本文提出几何感知对抗攻击框架，将对比系统攻击转化为流形层面关系破坏，训练轻量级生成器实现实时攻击，使Markmatch验证系统准确率从95.4%降至38.6%并反转正负样本相似性结构。
2026-08-12 cs.AI cs.CV
Towards Human-Like Machine Comprehension: Few-Shot Relational Learning in Visually-Rich Documents
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对视觉富文本文档中少样本键值关系提取，提出结合2D空间先验与原型校正的变分方法，生成类人感知的关系表示，并在新建基准上优于现有方法。
2024-03-23 cs.AI cs.CV cs.IR
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam（阿姆斯特丹大学）
我们的目标是zero-shot定位和分类的人的行动，在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移，我们的主要贡献是空间感知对象嵌入。为了达到空间感知，我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性，并进一步用估计的空间偏好来实施。除了局部对象感知，我们还将全局对象感知嵌入到我们的嵌入中，以最大限度地提高演员和对象的交互。最后，我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外，我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding
Tencent Hunyuan Team（腾讯文言团队）
本文提出MTSS框架，通过因子化流和关系 grounding 解决视频描述中信息耦合问题，提升视频理解与生成性能，实验显示在多个基准测试中均取得显著改进。
2026-04-15 cs.CV
Episode Adaptive Embedding Networks for Few-shot Learning
Australian National University（澳大利亚国立大学）
少样本学习的目标是使用每个类的一些标记实例来学习分类器。少样本学习的度量学习方法将样本嵌入到高维空间中，并基于样本嵌入之间的距离进行分类。然而，这样的实例嵌入通常在所有剧集中共享，因此缺乏根据特定于剧集的特征来概括分类器的区分能力。在本文中，我们提出了一种新的方法，即\emph{Episode Adaptive Embedding Network}（EAEN），学习情节特定的嵌入的实例。通过利用每个通道像素嵌入维度上情节中所有实例的概率分布，EAEN不仅可以缓解少样本学习任务中遇到的过拟合问题，而且还可以捕获特定于情节的判别特征。为了实证验证EAEN的有效性和鲁棒性，我们在三个广泛使用的基准数据集上进行了大量的实验，在不同的通用嵌入骨干和不同分类器的各种组合下。实验结果表明，EAEN算法在不同的环境下，显著提高了$10\%$到$20\%$的分类精度。
2021-06-17 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia（意大利技术研究院）
零样本学习方法依赖于固定的视觉和语义嵌入，这些嵌入是从独立的视觉和语言模型中提取的，两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点，因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此，我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐，由属性提供，我们利用辅助标题来提供接地的语义信息。我们的方法，被称为联合嵌入zero-shot学习的几个基准数据集进行评估，提高现有的国家的最先进的方法在标准（$+1.6$ \%上aPY，$+2.6\%$ FLO）和广义（$+2.1\%$上AWA $2$，$+2.2\%$上CUB）zero-shot识别的性能。
2022-04-10 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NAVER Corporation（NAVER公司）
多模态关系数据分析近年来变得越来越重要，用于探索不同领域的数据，诸如从社交网络服务（例如，Flickr）。已经开发了各种数据分析方法用于可视化;举一个例子，t-随机邻居嵌入（t-SNE）计算低维特征向量，以便它们的相似性保持观察到的数据向量。然而，t-SNE是专为一个单一的数据域，但不是多模态数据，本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE，本文提出了多模态关系随机邻居嵌入（MR-SNE），即（1）首先计算增强关系，其中我们观察跨域的关系，并通过观察到的数据向量计算每个域内的关系，以及（2）将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集，建议MR-SNE与其他基于图嵌入的方法进行了比较，MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Multi-Relational Knowledge Graph Enhanced Embedding for Trajectory-User Linking
the College of Information, Mechanical and Electrical Engineering, Shanghai Normal University（上海师范大学信息与机电工程学院）；Shanghai Urban-Rural Construction & Transportation Development Institute（上海城乡建设与交通发展研究院）；Zhongke Zidong Information Technology（中科紫东信息技术（北京）有限公司）
MakeTUL首次将知识图谱表示学习引入TUL，通过多关系移动知识图谱和双分支分类层，解决现有TUL方法特征利用不足等问题，提升轨迹用户链接性能。
2026-08-11 cs.CV cs.LG
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
Bayesian Embeddings for Few-Shot Open World Recognition
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
随着自主决策代理从狭窄的操作环境转向非结构化世界，学习系统必须从封闭世界的制定转向开放世界和Few-Shot设置，在这种设置中，代理从少量信息中不断学习新的类。这与现代机器学习系统形成鲜明对比，现代机器学习系统通常设计有一组已知的类和每个类的大量示例。在这项工作中，我们扩展嵌入为基础的少样本学习算法的开放世界的识别设置。我们将贝叶斯非参数类先验与基于嵌入的预训练方案相结合，以产生一个高度灵活的框架，我们称之为开放世界识别（FLOWR）的少样本学习。我们在通用MiniImageNet和TieredImageNet少样本学习数据集的开放世界扩展上对我们的框架进行基准测试。我们的研究结果表明，与以前的方法相比，强大的分类精度性能和高达12%的改进H-测量（新的类检测的措施）从我们的非参数开放世界少样本学习计划。
2022-10-06 cs.CV
Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings
University of Alberta（阿尔伯塔大学）；HiSilicon, Huawei Research（华为研究·海思）；Indian Institute of Science（印度科学学院）；Element AI
Few-Shot目标分割方法的研究取得了重要进展。学习是成功的，在Few-Shot分割设置，使用像素级，涂鸦和限界框监督。本文采用另一种方法，即，对于Few-Shot对象分割，仅需要图像级标签。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制，使用视觉和词嵌入。我们的模型使用图像级标签实现了4.8%的改进，比以前提出的图像级Few-Shot对象分割。它还优于在PASCAL-5i上使用弱限界框监督的最先进方法。我们的研究结果表明，Few-Shot分割受益于利用词嵌入，我们能够执行Few-Shot分割使用堆叠联合视觉语义处理与弱图像级标签。我们进一步提出了一种新的设置，时间对象分割的少样本学习（TOSFL）的视频。TOSFL可以用于各种公共视频数据，如Youtube-VOS，如实例级和类别级TOSFL实验所示。
2020-05-17 cs.CV
Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
我们提出了无监督嵌入适应下游的Few-Shot分类任务。基于深度神经网络在记忆之前学习概括的发现，我们开发了早期特征重建（ESFR）-一种新的适应方案，具有特征重建和维度驱动的早期停止，可以找到可概括的特征。对ESFR进行验证可以持续提高基线方法在所有标准设置上的性能，包括最近提出的转导方法。ESFR与transductive方法结合使用，进一步实现了mini-ImageNet，tiered-ImageNet和CUB的最新性能;特别是在1-shot设置上，与之前的最佳性能方法相比，准确率提高了1.2%~2.0%。
2021-06-22 cs.CV
VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；ETH Zurich（苏黎世联邦理工学院）；City University of Hong Kong（香港城市大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出视觉基语义嵌入VGSE，通过无人工标注的视觉聚类与类别关系发现，为已见和未见类别建模判别性视觉属性，在三个基准上显著提升多种零样本学习模型的性能。
2023-05-26 cs.CV
Zero-shot Image Recognition Using Relational Matching, Adaptation and Calibration
Purdue University（普渡大学）
用于图像分类的零次学习（Zero-shot learning，ZRL）专注于识别没有可用于训练的标记数据的新类别。学习通常是在与每个类相关联的中级语义描述符的帮助下进行的。这个语义描述符空间通常由可见和不可见类别共享。然而，CNOL具有中心性、领域差异性和对所见类的偏见。为了解决这些问题，我们提出了一个三步的方法来零样本学习。首先，学习从语义描述符空间到图像特征空间的映射。这种映射学习最小化语义嵌入和相应类别的图像特征之间的一对一和成对距离。其次，我们提出了测试时的领域自适应，以适应语义嵌入的不可见的类的测试数据。这是通过找到语义描述符和图像特征之间的对应关系来实现的。第三，我们提出了尺度校准的分类得分看到的类。这是必要的，因为在训练中不使用未见过的类时，CNOL模型偏向于看到的类。最后，为了验证所提出的三步方法，我们在四个基准数据集上进行了实验，所提出的方法优于以前的结果。我们还研究和分析了我们所提出的CNOL框架的每个组件的性能。
2019-03-27 cs.AI cs.CV cs.LG
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Google, Inc.（谷歌公司）；New York University（纽约大学）
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量，例如语言中的词嵌入和视觉中的预训练卷积特征。然而，这些方法通常转移一元特征，并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性，这些图捕获了数据单元对之间的依赖关系（例如，字或像素），并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能，包括问答，自然语言推理，情感分析和图像分类。我们还表明，学习的图是通用的，足以被转移到不同的嵌入上，图还没有被训练（包括GloVe嵌入，ELMo嵌入，和特定于任务的RNN隐藏单元），或嵌入免费的单位，如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
Multi-Shot Person Re-Identification via Relational Stein Divergence
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
人员重新识别是特别具有挑战性的，因为在不同的摄像机视图中会发生显著的外观变化。为了重新识别人，代表性的人签名应该有效地处理照明、姿势和相机参数的差异。虽然一般的基于外观的方法在欧几里得空间中建模，但有人认为，图像和视频分析中的一些应用程序可以通过非欧几里得流形几何更好地建模。为此，最近的方法表示图像的协方差矩阵，并解释这样的矩阵作为点黎曼流形。由于直接分类在这样的流形上可能是困难的，在本文中，我们建议通过最近引入的Bregman矩阵发散的形式称为斯坦发散，将每个流形点表示为类表示的相似性向量。这是其次是使用的歧视性映射的相似性向量的最终分类。相似向量的使用与将流形嵌入到切空间中的传统方法相反，传统方法可能会不准确地表示流形结构。在基准ETHZ和iLIDS数据集上进行的人员重新识别任务的比较评估表明，所提出的方法比最近的技术，如直方图加表观，偏最小二乘法，和对称驱动的局部特征积累获得更好的性能。
2014-03-04 cs.CV stat.ML
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery
The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
自动手术手势识别对于机器人手术中的智能认知辅助至关重要。随着近年来机器人辅助微创手术的发展，可以记录包括手术视频和机器人运动学在内的丰富信息，这些信息为理解手术手势提供了补充知识。然而，现有的方法要么单独采用单模态数据或直接连接多模态表示，这不能充分利用视觉和运动学数据中固有的信息相关性来提高手势识别的准确性。在这方面，我们提出了一种新的多模态关系图网络的在线方法（即，MRG-Net）通过在潜在特征空间中的交互式消息传播来动态地整合视觉和运动学信息。具体来说，我们首先使用时间卷积网络和LSTM单元从视频和运动序列中提取嵌入。接下来，我们识别这些多模态嵌入中的多关系，并通过层次关系图学习模块来利用它们。我们的方法的有效性证明了国家的最先进的结果在公共JIGSAWS数据集，优于目前的单模态和多模态的方法在两个节点和结类型的任务。此外，我们在两个中心的da Vinci Research Kit（dVRK）平台收集的内部视觉运动学数据集上验证了我们的方法，并实现了一致的有希望的性能。
2021-06-29 cs.AI cs.CV cs.LG
ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning
提出超轻量级空间关系架构ALPINE，以更少参数和样本在少样本图像分类中超越现有基线，并揭示内容自适应补丁定位器是性能关键。
2026-09-22 cs.CV cs.LG
SHREWD: Semantic Hierarchy-based Relational Embeddings for Weakly-supervised Deep Hashing
Intuition Machines Inc.（直觉机器公司）
使用类别标签来表示类别相似性是训练深度哈希系统进行检索的典型方法;来自相同或不同类别的样本采用二进制1或0相似性值。这种相似性并没有对数据点之间可能存在的语义关系的全部丰富知识进行建模。在这项工作中，我们建立在使用语义层次结构的想法，以形成所有可用的样本标签之间的距离度量;例如，猫到狗的距离比猫到吉他的距离小。我们将这种类型的语义距离结合到损失函数中，以促进深度神经网络嵌入之间的相似距离。我们还引入了经验Kullback-Leibler发散损失项，以促进嵌入的二值化和均匀性。我们测试了由此产生的SHREWD方法，并证明了使用紧凑的二进制哈希码而不是实值哈希码在分层检索分数上的改进，并表明在弱监督哈希设置中，我们能够在不明确依赖于类标签的情况下竞争性地学习，而是依赖于标签之间的相似性。
2019-08-12 cs.AI cs.CV cs.IR
Optimization of Image Embeddings for Few Shot Learning
PES University（PES大学）
在本文中，我们改进的图像嵌入生成的图神经网络解决方案的少样本学习。我们为现有网络提出了替代架构，如Inception-Net，U-Net，Attention U-Net和Squeeze-Net，以生成嵌入并提高模型的准确性。我们以生成嵌入的时间为代价来提高嵌入的质量。所提出的实现优于Omniglot数据集上的1次和5次学习的现有最先进方法。实验涉及测试集和训练集，它们之间没有共同的类。5路和10路/20路测试的结果已制成表格。
2020-04-04 cs.CV cs.LG
Deep Relational Metric Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出了一种用于图像聚类和检索的深度关系度量学习（DRML）框架。大多数现有的深度度量学习方法学习嵌入空间，其一般目标是增加类间距离和减少类内距离。然而，传统的度量学习的损失通常会抑制类内变化，这可能有助于识别未知类的样本。为了解决这个问题，我们提出了自适应学习的特征，从不同的方面来模拟类间和类内分布的图像的合奏。我们还采用了一个关系模块来捕获集合中每个特征之间的相关性，并构建一个图来表示图像。然后，我们对图进行关系推理，以整合集成，并获得一个关系感知的嵌入来衡量相似性。在广泛使用的CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明，我们的框架改进了现有的深度度量学习方法，并取得了非常有竞争力的结果。
2021-08-23 cs.AI cs.CV cs.LG
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning
UC Berkeley（加州大学伯克利分校）
学习好的图像特征嵌入通常需要大量的训练数据。因此，在训练数据有限的设置中（例如，Few-Shot和零样本学习），我们通常被迫在各种任务中使用通用特征嵌入。理想情况下，我们希望构建针对给定任务进行调优的特性嵌入。在这项工作中，我们提出了任务感知特征嵌入网络（TAFE网），学习如何适应图像表示的Meta学习方式的新任务。我们的网络由Meta学习器和预测网络组成。基于任务输入，Meta学习器为预测网络中的特征层生成参数，使得可以针对该任务准确地调整特征嵌入。我们表明，TAFE-Net是非常有效的推广到新的任务或概念，并评估TAFE-Net的基准范围内的zero-shot和少样本学习。我们的模型在所有任务上都达到或超过了最先进的水平。特别是，我们的方法提高了4到15点的具有挑战性的视觉属性对象组成任务的预测精度看不见的属性对象对。
2019-04-11 cs.AI cs.CV
A Simple Approach for Zero-Shot Learning based on Triplet Distribution Embeddings
KTH Royal Institute of Technology（瑞典皇家理工学院）；Sony Europe B.V.（索尼欧洲公司）
零样本学习（Zero-Shot Learning，简称ZRL）的目标是在没有标记训练数据的情况下，利用包含可见类和不可见类之间的知识的语义信息来识别不可见类。现有的语义空间嵌入方法主要使用向量来表示语义空间的嵌入。尽管流行，这样的向量表示限制了表现力方面的建模类内的变化，为每个类。我们通过利用分布嵌入来解决这个问题。更具体地说，图像嵌入和类嵌入都被建模为高斯分布，其中它们的相似性关系通过使用三元组约束来保持。指导我们方法的关键直觉是，对于每个图像，正确的类标签的嵌入应该比任何其他类标签的嵌入更接近。在多个基准数据集上进行的大量实验表明，该方法在传统的GML和更具挑战性的广义零样本学习（GML）设置下都取得了非常有竞争力的结果。
2021-03-29 cs.CV cs.LG
Embedding Propagation: Smoother Manifold for Few-Shot Classification
Element AI；University of British Columbia（不列颠哥伦比亚大学）
Few-Shot分类具有挑战性，因为训练集的数据分布与测试集的数据分布可能大不相同，因为它们的类不相交。这种分布偏移通常导致较差的泛化。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形光滑性是半监督学习和直推式学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为一个无监督的非参数正则化流形平滑Few-Shot分类。嵌入传播利用基于相似性图的神经网络的提取特征之间的插值。我们的经验表明，嵌入传播产生一个更平滑的嵌入流形。我们还表明，应用嵌入传播的转导分类器实现了新的国家的最先进的结果在迷你Imagenet，分层Imagenet，Imagenet-FS和CUB。此外，我们表明，嵌入传播一致地提高了多个半监督学习场景中的模型的准确性高达16个点。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。我们在https://github.com/ElementAI/embedding-propagation上提供培训代码和使用示例。
2020-07-13 cs.CV cs.LG
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Ontology-based n-ball Concept Embeddings Informing Few-shot Image Classification
The University of Manchester（曼彻斯特大学）
我们提出了一种新的框架ViOCE集成本体为基础的背景知识的形式$n$球概念嵌入到一个神经网络为基础的视觉架构。该方法由两个部分组成-通过学习捕获包容性和不相交性的n球嵌入将本体的符号知识转换为连续空间，并使用学习的嵌入指导视觉模型的训练和推理。我们使用Few-Shot图像分类任务评估ViOCE，其中它在两个标准基准测试中表现出卓越的性能。
2021-09-19 cs.AI cs.CV cs.LG
