Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning
Yonsei University（延世大学）
在本文中，我们专注于解决开集人脸识别问题的Few-Shot画廊微调。该问题假设了一个现实的情况下，人脸识别，只有少量的人脸图像是为了注册和任何未知的身份必须在识别过程中被拒绝。我们观察到，在大型数据集上预训练的人脸识别模型和天真的微调模型在这项任务中表现不佳。出于这个问题，我们提出了一个有效的微调方案与分类器的权重印记和独家BatchNorm层调整。为了进一步提高拒绝未知身份的准确性，我们提出了一种新的匹配称为邻域余弦（NAC），计算相似性的基础上的邻域信息。我们验证了所提出的方案的有效性，彻底的大规模人脸基准在不同的卷积神经网络架构。该项目的源代码可在以下网址获得：https://github.com/1ho0jin1/OSFI-by-FineTuning
2023-01-05 cs.CV
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
Bayesian Embeddings for Few-Shot Open World Recognition
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
随着自主决策代理从狭窄的操作环境转向非结构化世界，学习系统必须从封闭世界的制定转向开放世界和Few-Shot设置，在这种设置中，代理从少量信息中不断学习新的类。这与现代机器学习系统形成鲜明对比，现代机器学习系统通常设计有一组已知的类和每个类的大量示例。在这项工作中，我们扩展嵌入为基础的少样本学习算法的开放世界的识别设置。我们将贝叶斯非参数类先验与基于嵌入的预训练方案相结合，以产生一个高度灵活的框架，我们称之为开放世界识别（FLOWR）的少样本学习。我们在通用MiniImageNet和TieredImageNet少样本学习数据集的开放世界扩展上对我们的框架进行基准测试。我们的研究结果表明，与以前的方法相比，强大的分类精度性能和高达12%的改进H-测量（新的类检测的措施）从我们的非参数开放世界少样本学习计划。
2022-10-06 cs.CV
Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings
University of Alberta（阿尔伯塔大学）；HiSilicon, Huawei Research（华为研究·海思）；Indian Institute of Science（印度科学学院）；Element AI
Few-Shot目标分割方法的研究取得了重要进展。学习是成功的，在Few-Shot分割设置，使用像素级，涂鸦和限界框监督。本文采用另一种方法，即，对于Few-Shot对象分割，仅需要图像级标签。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制，使用视觉和词嵌入。我们的模型使用图像级标签实现了4.8%的改进，比以前提出的图像级Few-Shot对象分割。它还优于在PASCAL-5i上使用弱限界框监督的最先进方法。我们的研究结果表明，Few-Shot分割受益于利用词嵌入，我们能够执行Few-Shot分割使用堆叠联合视觉语义处理与弱图像级标签。我们进一步提出了一种新的设置，时间对象分割的少样本学习（TOSFL）的视频。TOSFL可以用于各种公共视频数据，如Youtube-VOS，如实例级和类别级TOSFL实验所示。
2020-05-17 cs.CV
Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
我们提出了无监督嵌入适应下游的Few-Shot分类任务。基于深度神经网络在记忆之前学习概括的发现，我们开发了早期特征重建（ESFR）-一种新的适应方案，具有特征重建和维度驱动的早期停止，可以找到可概括的特征。对ESFR进行验证可以持续提高基线方法在所有标准设置上的性能，包括最近提出的转导方法。ESFR与transductive方法结合使用，进一步实现了mini-ImageNet，tiered-ImageNet和CUB的最新性能;特别是在1-shot设置上，与之前的最佳性能方法相比，准确率提高了1.2%~2.0%。
2021-06-22 cs.CV
VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；ETH Zurich（苏黎世联邦理工学院）；City University of Hong Kong（香港城市大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出视觉基语义嵌入VGSE，通过无人工标注的视觉聚类与类别关系发现，为已见和未见类别建模判别性视觉属性，在三个基准上显著提升多种零样本学习模型的性能。
2023-05-26 cs.CV
Progressive Sample Mining and Representation Learning for One-Shot Person Re-identification with Adversarial Samples
Beijing Jiaotong University（北京交通大学）
在本文中，我们的目标是解决一次性的人重新识别问题，只有一个图像标记为每个人，而其他图像是未标记的。由于缺乏足够的标记训练数据，该任务是具有挑战性的。为了解决这个问题，我们建议迭代地猜测未标记图像样本的伪标签，这些伪标签随后用于与标记样本一起更新重新识别模型。设计了一种新的采样机制，根据距离矩阵将未标记样本选择为伪标记样本，并形成包括标记样本和伪标记样本的训练三元组批。考虑到伪标签样本的不可靠性，我们还设计了HSoften-Triplet-Loss来减轻不正确伪标签的负面影响。最后，我们部署了一种对抗性学习方法来将图像样本扩展到不同的相机视图。我们的实验表明，我们的框架在Market-1501（mAP 42.7%）和DukeMTMC-Reid数据集（mAP 40.3%）上实现了新的最先进的一次性Re-ID性能。代码将很快可用。
2019-11-02 cs.CV
Learning Visually Consistent Label Embeddings for Zero-Shot Learning
HAVELSAN Inc.（哈维尔桑公司）；Middle East Technical University（中东技术大学）；Hacettepe University（哈塞特佩大学）
在这项工作中，我们提出了一个零样本学习方法，有效地建模类之间的知识转移，通过共同学习视觉上一致的词向量和标签嵌入模型在端到端的方式。其主要思想是将属性和类的向量空间词向量投影到视觉空间中，使得语义相关类的词表示变得更接近，并使用所提出的嵌入模型中的投影向量来识别未见过的类。我们在两个基准数据集上对所提出的方法进行了评估，实验结果表明，我们的方法在识别精度上有了显着的提高。
2019-05-16 cs.CV
Attention-based Few-Shot Person Re-identification Using Meta Learning
University of Tennessee（田纳西大学）
在本文中，我们从一个新的角度研究了具有挑战性的任务，人的重新识别，并提出了一个端到端的注意力为基础的架构，通过元学习的Few-Shot重新识别。这项任务的动机在于这样一个事实，即人类通常可以通过注意他们的记忆来识别另一个人，只要看到这个人几次（甚至一次）。另一方面，个人重新识别问题的独特性质，即，每个身份仅存在几个示例，并且在测试期间总是出现新的身份，这要求具有处理新身份的能力的少样本学习体系结构。因此，我们在元学习设置中构建问题，其中基于神经网络的元学习器被训练以优化学习器，即，基于注意力的匹配功能。人的重新识别问题的另一个挑战是不同身份之间的小类间差异和同一身份的大类内差异。为了提高模型的鉴别能力，我们提出了一种新的基于注意力的特征编码方案，该方案考虑了图像的关键视图内和跨视图关系。我们将所提出的基于注意力的再识别元学习模型称为ARM。在具有挑战性的PRID2011、CUHK01、CUHK03和Market1501数据集上，广泛的评估表明了ARM与最先进的模型相比的优势。
2019-03-24 cs.CV
Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification
University of Amsterdam（阿姆斯特丹大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
零样本学习致力于对在训练期间没有数据可用的看不见的类别进行分类。在广义变体中，测试样本还可以属于可见或不可见类别。最先进的技术依赖于生成对抗网络，该网络通过利用特定于类的语义嵌入来合成看不见的类特征。在训练过程中，它们生成语义一致的特征，但在特征合成和分类过程中丢弃此约束。我们建议在（广义）零样本学习的所有阶段（训练、特征合成和分类）执行语义一致性。我们首先引入一个反馈循环，从语义嵌入解码器，迭代地细化生成的功能在训练和功能合成阶段。然后，将合成的特征与来自解码器的其对应的潜在嵌入一起转换为判别特征，并在分类期间利用以减少类别之间的歧义。对（广义）zero-shot对象和动作分类的实验揭示了语义一致性和迭代反馈的好处，在六个零样本学习基准上优于现有方法。源代码在https://github.com/akshitac8/tfvaegan。
2020-07-18 cs.CV
Relational Embedding for Few-Shot Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们建议解决的问题，Few-Shot分类元学习“观察什么”和“在哪里参加”的关系的角度来看。我们的方法通过自相关表示（SCR）和交叉相关注意力（CCA）利用图像内和图像之间的关系模式。在每个图像中，SCR模块将基本特征映射转换为自相关张量，并学习从张量中提取结构模式。在图像之间，CCA模块计算两个图像表示之间的互相关，并学习在它们之间产生共同关注。我们的关系嵌入网络（RENet）结合了这两个关系模块，以端到端的方式学习关系嵌入。在实验评估中，它在miniImageNet，tieredImageNet，CUB-200-2011和CIFAR-FS四个广泛使用的Few-Shot分类基准上实现了对最先进方法的一致改进。
2021-08-22 cs.CV
Language Models as Zero-shot Visual Semantic Learners
University of Southampton（南安普顿大学）
视觉语义嵌入（VSE）模型将图像映射到丰富的语义嵌入空间，是对象识别和零样本学习的里程碑。目前的VSE方法严重依赖于静态词嵌入技术。在这项工作中，我们提出了一个视觉语义嵌入探针（VSEP），旨在探测上下文词嵌入的视觉语义理解任务中的语义信息。我们发现，编码在Transformer语言模型中的知识可以用于需要视觉语义理解的任务。具有上下文表示的VSEP可以作为组合zero-shot学习器在复杂场景中区分单词级对象表示。我们进一步引入了一个zero-shot设置与VSEP评估模型的能力，一个新的视觉类别与一个新的词。我们发现，当对象的组合链较短时，语言模型中的语境表征优于静态词嵌入。我们注意到，目前的视觉语义嵌入模型缺乏互斥偏见，限制了他们的性能。
2021-07-26 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Latent Embeddings for Zero-shot Classification
MPI for Informatics（马克斯·普朗克信息学研究所）；IIT Kanpur（印度理工学院坎普尔分校）；Saarland University（萨尔大学）
在zero-shot分类的背景下，我们提出了一种新的潜在嵌入模型，用于学习图像和类嵌入之间的兼容性函数。所提出的方法增强了国家的最先进的双线性兼容性模型，将潜在的变量。它不是学习单个双线性映射，而是学习一个映射集合，选择使用哪个映射，作为当前图像类对的潜在变量。我们训练模型与排名为基础的目标函数，惩罚不正确的排名的真实类为一个给定的图像。我们的经验表明，我们的模型提高了国家的最先进的各种类嵌入一致的三个具有挑战性的公开数据集的zero-shot设置。此外，我们的方法导致视觉上高度可解释的结果与不同的细粒度对象属性，对应于不同的潜变量映射的清晰集群。
2016-04-10 cs.CV
Taking Modality-free Human Identification as Zero-shot Learning
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University（北京交通大学先进信息科学与网络技术北京市重点实验室）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
身份识别是事件检测、人员跟踪和公共安全领域的一个重要课题。已经提出了许多用于人识别的方法，例如面部识别、人重新识别和步态识别。通常，现有方法主要将查询图像分类为图像图库集合（I2I）中的特定身份。这对于在广泛的视频监控应用（A2I或I2A）中仅查询的文本描述或属性图库集可用的场景是严重受限的。然而，很少有人致力于无模态识别，即，以可缩放的方式识别图库集合中的查询。在这项工作中，我们采取了初步的尝试，并制定了这样一个新的模态自由人体识别（命名为MFHI）任务作为一个通用的零样本学习模型，在可扩展的方式。同时，它能够通过学习每个身份的区别性原型来桥接视觉和语义模态。此外，语义引导的空间注意力被强制执行的视觉通道，以获得高的整体类别水平和本地属性水平的歧视表示。最后，我们设计并进行了一组广泛的实验，对两个常见的具有挑战性的识别任务，包括人脸识别和人的重新识别，证明我们的方法优于各种各样的国家的最先进的方法对模态自由的人类识别。
2021-12-30 cs.CV
Few-shot Metric Learning: Online Adaptation of Embedding for Retrieval
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
度量学习的目的是建立一个距离度量，通常是通过学习一个有效的嵌入函数，将相似的对象映射到其嵌入空间中的附近点。尽管最近在深度度量学习方面取得了进展，但对于学习到的度量来说，推广到具有大量领域差距的看不见的类仍然具有挑战性。为了解决这个问题，我们探索了一个新的问题，Few-Shot度量学习，旨在适应嵌入功能的目标域只有几个注释的数据。本文引入了三种Few-Shot度量学习基线，提出了一种新的度量学习算法-修正元学习（CRML），该算法通过调整中间层的通道，有效地在线自适应度量空间。对miniImageNet、CUB-200-2011、MPII以及一个新的数据集miniDeepFashion的实验分析表明，我们的方法通过将其适应于目标类来不断改进学习的度量，并且当与源类的域差距较大时，在图像检索中获得更大的增益。
2022-11-14 cs.CV
Vehicle Re-Identification: an Efficient Baseline Using Triplet Embedding
NVIDIA（英伟达）
在本文中，我们解决的问题，车辆重新识别的摄像头网络利用三元组嵌入。重新识别是在不同相机之间匹配对象外观的问题。随着监控摄像头的普及，智能和更安全的城市成为可能，人们越来越需要通过摄像头重新识别车辆。智慧城市场景中出现的典型挑战包括视点、照明和自遮挡的变化。大多数成功的重新识别方法涉及（深度）学习嵌入空间，使得与表示不同身份的车辆相比，具有相同身份的车辆被投影得更靠近彼此。用于学习嵌入（空间）的流行损失函数包括对比损失或三重损失。在本文中，我们提供了一个广泛的评估，这些损失适用于车辆重新识别，并证明使用最佳实践学习嵌入优于大多数以前的方法中提出的车辆重新识别文献。与大多数现有的最先进的方法相比，我们的方法更简单，更直接，只利用身份级别的注释进行训练，同时使用最小的已发布嵌入维度进行有效的推理。此外，在这项工作中，我们介绍了一个正式的评价三重采样的变体（批量样品）到重新鉴定文献。
2019-08-08 cs.CV
Class-relevant Patch Embedding Selection for Few-Shot Image Classification
School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机学院）
针对小样本图像分类中特征选择困难的问题，提出利用预训练 ViT 的类别 embedding 筛选并融合高相关 patch embedding，在 1-shot 和 5-shot 基准上优于现有方法。
2024-05-06 cs.CV
Zero-Shot Object Detection by Hybrid Region Embedding
HAVELSAN Inc.（哈维尔桑公司）；Middle East Technical University（中东技术大学）；Hacettepe University（哈塞特佩大学）
目标检测被认为是计算机视觉中最具挑战性的问题之一，因为它需要正确预测图像中目标的类别和位置。在这项研究中，我们定义了一个更困难的情况下，即zero-shot目标检测（ZSD），其中没有视觉训练数据可用于某些目标对象类。我们提出了一种新的方法来解决这个ZSD问题，其中使用的凸组合的嵌入与检测框架。为了评估ZSD方法，我们提出了一个简单的数据集，从时尚MNIST图像，也是一个自定义的zero-shot分裂帕斯卡VOC检测的挑战。实验结果表明，我们的方法产生了有前途的结果ZSD。
2018-05-17 cs.CV
Harmonizing Visual and Textual Embeddings for Zero-Shot Text-to-Image Customization
Seoul National University（首尔大学）
针对零样本文本到图像定制中视觉嵌入冗余姿态信息干扰文本嵌入导致姿态固化与身份退化的问题，提出正交视觉嵌入与自注意力交换方法，实现灵活生成并保持主体身份。
2024-03-21 cs.CV
Discriminative Embedding Autoencoder with a Regressor Feedback for Zero-Shot Learning
零样本学习（Zero-shot learning，ZRL）的目的是利用类别的语义表示来识别新的对象类别，其核心思想是探索新类别与熟悉类别之间的语义关系。一些典型的模型是学习图像特征空间和语义空间之间的适当嵌入，而重要的是学习区分性特征，并包含由粗到细的图像特征和语义信息。在本文中，我们提出了一个判别式嵌入自编码器与回归反馈模型的可编程逻辑。编码器学习从图像特征空间到判别嵌入空间的映射，该映射通过裕度调节所学习的特征之间的类间距离和类内距离，使得所学习的特征对于对象识别是判别性的。回归量反馈学习将重构的样本映射回判别嵌入和语义嵌入，帮助解码器提高样本的质量，并为未见过的类提供泛化。在SUN、CUB、AWA 1、AWA 2四个基准数据集上对该模型进行了验证，实验结果表明，该模型的性能优于现有模型，特别是在广义零样本学习（GSTOL）方面，取得了显著的改进.
2019-07-18 cs.CV
Incremental Embedding Learning via Zero-Shot Translation
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）
现代深度学习方法通过学习一组预定义的数据集，在机器学习和计算机视觉领域取得了巨大的成功。然而，这些方法在应用于实际情况时表现得并不令人满意。这一现象的原因是学习新任务导致训练好的模型迅速忘记旧任务的知识，这被称为灾难性遗忘。目前的增量学习方法主要是针对传统分类网络中的灾难性遗忘问题，而忽略了嵌入式网络中存在的问题，而嵌入式网络是图像检索、人脸识别、零样本学习等的基础网络。在增量学习环境下，两个相邻任务的嵌入空间之间的语义间隙是嵌入网络的主要挑战。因此，我们提出了一种新的类增量嵌入网络方法--zero-shot translation class-incremental method（ZSTCI），它利用zero-shot translation来估计和补偿语义鸿沟，而不需要任何样本。然后，我们尝试在顺序学习过程中学习两个相邻任务的统一表示，该表示精确地捕获先前类和当前类的关系。此外，ZSTCI可以很容易地与现有的基于正则化的增量学习方法相结合，以进一步提高嵌入网络的性能。在CUB-200-2011和CIFAR 100上进行了大量的实验，实验结果证明了该方法的有效性。我们的方法的代码已经发布。
2020-12-31 cs.CV
Keypoint-Aligned Embeddings for Image Retrieval and Re-identification
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
学习嵌入对象的姿态不变是至关重要的视觉图像检索和重新识别。现有的方法的人，车辆，或动物的重新识别任务遭受高类内的变化，由于可变形的形状和不同的相机的观点。为了克服这一限制，我们建议将图像嵌入与预定义的关键点顺序对齐。提出的关键点对齐嵌入模型（KAE-Net）通过关键点位置指导的多任务学习来学习部分级特征。更具体地说，KAE-Net通过学习该关键点的热图重建辅助任务，从由特定关键点激活的特征图中提取通道。KAE-Net结构紧凑，通用，概念简单。它在CUB-200-2011，Cars 196和VeRi-776的基准数据集上实现了最先进的性能，用于检索和重新识别任务。
2020-08-26 cs.CV
Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification
Microsoft Research Asia（微软亚洲研究院）
目标重新识别（re-id）旨在跨时间或摄像机视图识别特定目标，其中人re-id和车辆re-id是研究最广泛的应用。由于视点、（人类）姿势和遮挡的变化，Re-id具有挑战性。同一物体的多个镜头可以覆盖不同的视点/姿态，从而提供更全面的信息。在本文中，我们提出利用同一身份的多个镜头来指导每个单独图像的特征学习。具体来说，我们设计了一个不确定性感知的多拍教师-学生（UMTS）网络。它由一个教师网络（T-net）和一个学生网络（S-net）组成，教师网络从同一对象的多个图像中学习综合特征，学生网络将单个图像作为输入。特别是，我们考虑到数据相关的异方差不确定性，有效地将知识从T-网转移到S-网。据我们所知，我们是第一个利用多个镜头的对象，在师生学习的方式，有效地提高了单一的图像为基础的re-id。我们验证了我们的方法的有效性流行的车辆re-id和人re-id数据集。在推理中，仅S-net的性能明显优于基线，并达到了最先进的性能。
2020-01-21 cs.CV
Multi-shot Person Re-identification through Set Distance with Visual Distributional Representation
Carnegie Mellon University（卡内基梅隆大学）
人员重新识别旨在在不同时间和地点识别特定人员。这是具有挑战性的，因为遮挡，照明，并在相机视图的视点变化。近年来，多镜头人物身份识别任务因其更接近于现实世界的应用而受到越来越多的关注。一个好的多镜头人物识别算法的关键是人物外观特征的时间聚集。虽然目前大多数方法都采用池化策略并获得固定大小的向量表示，但这些方法可能会丢失示例之间的匹配证据。在这项工作中，我们提出了视觉分布表示的想法，它解释了从外观特征空间中的未知分布绘制的样本的图像集。该方法基于下游感兴趣任务的监督信号，重塑外观特征空间，并进一步学习每个图像集的未知分布。在多镜头人物re-id的背景下，我们将这个新概念与Wasserstein距离一起应用，并学习两个图像集之间的分布集距离函数。以这种方式，可以以非参数方式自然地发现两个图像集之间的适当对准。我们在两个公共数据集上的实验结果表明，我们提出的方法相比其他国家的最先进的方法的优势。
2018-11-08 cs.CV
Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation
School of Computer Science, Nankai University（南开大学计算机学院）；Nankai International Advanced Research Institute (Shenzhen Futian)（南开大学国际高等研究院（深圳福田））
针对现有CLIP零样本分割忽略中间层细节且直接聚合多层特征会削弱零样本能力的问题，提出级联独立解码器对齐多层视觉与文本嵌入的Cascade-CLIP框架，在多个分割基准上取得优越性能。
2024-06-06 cs.CV
Zero-Shot Generative De-identification: Inversion-Free Flow for Privacy-Preserving Skin Image Analysis
University of Piraeus, Dept. of Digital Systems（比雷埃夫斯大学数字系统系）
本文提出一种零样本生成去标识化框架，利用无反向流程实现隐私保护的医学图像分析，通过Rectified Flow Transformers在20秒内实现高保真身份转换，无需病理特定训练或标注数据，生成虚拟健康与病理对照对以分离临床信号。
2026-04-10 cs.CV
Zero-Shot Visual Recognition via Bidirectional Latent Embedding
The University of Manchester（曼彻斯特大学）
用于视觉识别的零样本学习，对象和动作识别，最近吸引了很多关注。然而，它仍然是具有挑战性的弥合视觉特征和它们的底层语义之间的语义差距，并将知识转移到语义类别在学习过程中看不见。与大多数现有的zero-shot视觉识别方法不同，我们提出了一个分阶段的双向潜在嵌入框架，用于zero-shot视觉识别的两个后续学习阶段。在自下而上的阶段中，首先通过经由适当的监督子空间学习算法探索已知类的训练数据底层的拓扑和标记信息来创建潜在嵌入空间，并且使用训练数据的潜在嵌入来形成地标，所述地标引导将看不见的类底层的语义嵌入到这个学习的潜在空间中。在自上而下的阶段，在一个给定的标签词汇的unseen-class标签的语义表示，然后嵌入到同一个潜在的空间，以保持所有不同的类之间的语义相关性，通过我们提出的半监督Sammon映射与地标的指导。因此，得到的潜在嵌入空间允许用简单的最近邻规则预测测试实例的标签。为了评估所提出的框架的有效性，我们在对象和动作识别的四个基准数据集上进行了广泛的实验，即，AwA、CUB-200-2011、UCF 101和HMDB 51。比较研究的实验结果表明，我们提出的方法产生的最先进的性能下的感应和transductive设置。
2017-06-02 cs.CV
Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection
Carnegie Mellon University（卡内基梅隆大学）
由于真实世界数据固有的长尾分布，Few-Shot目标检测是一个迫切而持久的问题。其性能在很大程度上受到新类数据稀缺的影响。但是，新类和基类之间的语义关系是恒定的，不管数据的可用性。在这项工作中，我们研究利用这种语义关系与视觉信息，并引入显式关系推理到新的目标检测的学习。具体来说，我们表示每个类的概念，从一个大型语料库的文本学习的语义嵌入。检测器被训练成将对象的图像表示投影到该嵌入空间中。我们还确定了平凡地使用原始嵌入与启发式知识图谱的问题，并建议增加嵌入与动态关系图。因此，我们的Few-Shot检测器，称为SRR-FSD，是强大的和稳定的变化的镜头的新对象。实验结果表明，SRR-FSD可以在较高的镜头，更重要的是，显式和隐式镜头都有显着更好的性能。从预训练的分类数据集中删除隐式镜头的基准协议可以作为未来研究的更现实的设置。
2021-03-19 cs.CV
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习（Zero-shot learning，简称ZRL）高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近，从大型文本语料库中预训练的分布式词嵌入（DWE）已成为绘制这种连接的流行选择。与人类定义的属性相比，DWE具有更好的可扩展性和更容易获得。然而，它们被设计为反映语义相似性而不是视觉相似性，因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异，这项工作提出了一个目标函数，通过学习神经网络将其映射到一个新的表示，称为视觉对齐的词嵌入（VAWE）的视觉信息重新对齐的分布式词嵌入。因此，VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意，在这项工作中，我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法，而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估，VAWE表现出一致的性能改善。
2017-07-18 cs.CV
Gaze Embeddings for Zero-Shot Image Classification
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Amsterdam（阿姆斯特丹大学）；Eyeem
使用辅助信息（例如描述有区别的对象属性的属性）的Zero-shot图像分类需要由领域专家进行耗时的注释。相反，我们提出了一种方法，依赖于人类的目光作为辅助信息，利用即使是非专家用户有一个自然的能力来判断类成员。我们提出了一个数据汇集范式，涉及到一个歧视的任务，以增加从凝视数据获得的信息内容。我们的方法从数据中提取有区别的描述符，并使用三种新颖的凝视嵌入：凝视直方图（GH），网格凝视特征（GFG）和序列凝视特征（GFS）来学习图像和凝视之间的兼容性函数。我们引入了两个新的凝视注释数据集细粒度图像分类，并表明人类的凝视数据确实是类歧视，提供了一个有竞争力的替代专家注释的属性，并优于其他基线的zero-shot图像分类。
2017-04-12 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
A Discriminatively Learned CNN Embedding for Person Re-identification
University of Technology Sydney（悉尼科技大学）
我们回顾了两个流行的卷积神经网络（CNN）在人的重新识别（re-ID），即验证和分类模型。由于损失函数的不同，两种模型各有其优点和局限性。在本文中，我们阐明了如何结合这两个模型来学习更多有区别的行人描述符。具体来说，我们提出了一个新的连体网络，同时计算识别损失和验证损失。给定一对训练图像，网络预测两个图像的身份以及它们是否属于同一身份。我们的网络同时学习判别式嵌入和相似性度量，从而充分利用注释。虽然很简单，但学习的嵌入提高了两个公共人员重新识别基准测试的最新性能。此外，我们表明我们的架构也可以应用于图像检索。
2017-02-03 cs.CV
Rethinking the Good Enough Embedding for Easy Few-Shot Learning
The Ohio State University（俄亥俄州立大学）
本文提出一种无需微调的嵌入方法，通过k近邻分类和特征层分析，在少样本学习中超越了先进元学习算法。
2026-05-13 cs.CV
Zero-Shot Object Re-Identification in Egocentric Kitchen Videos via Multi-Stage SAM3 Feature Fusion
University of Waterloo（滑铁卢大学）
针对自我中心厨房视频中物体重识别的挑战，提出一种基于SAM3分割的多阶段零样本方法，通过融合SAM3、DINOv2和CLIP特征并引入掩码形状IoU和k-倒数重排序，将mAP从45.3%提升至52.8%。
2026-05-25 cs.CV
CLIP's Visual Embedding Projector is a Few-shot Cornucopia
Inria（法国国家信息与自动化技术研究所）；Kyutai
ProLIP通过正则化投影矩阵提升CLIP在少样本分类及跨领域迁移中的性能，提供更高效的替代方案。
2026-01-26 cs.CV
Zero-shot Hazard Identification in Autonomous Driving: A Case Study on the COOOL Benchmark
PiVa AI；University of West Bohemia（西波希米亚大学）；INRIA（法国国家信息与自动化研究所）；Czech Technical University in Prague（捷克布拉格技术大学）
本文针对自动驾驶标签外危险检测，提出融合核变化点检测、ViT分类和MOLMO描述生成的零样本识别流程，在COOOL竞赛中相对误差降低33%并获得第2名。
2024-12-27 cs.CV
Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Tsinghua University（清华大学）
针对直推式少样本学习中的中心点问题，提出无偏最大-最小嵌入分类方法，结合去中心化协方差、自适应加权与变分Sinkhorn分类器，以最少标注数据实现优越分类性能。
2025-03-28 cs.CV
Zero-Shot Learning via Joint Latent Similarity Embedding
Boston University（波士顿大学）
零触发识别（Zero-Shot Recognition，简称ZAR）是一种基于源域边信息（如属性）来预测目标域实例的类标签的方法。我们将BPR表示为一个二元预测问题。我们得到的分类器是类独立的。它将任意一对源和目标域实例作为输入，并预测它们是否来自同一个类，即是否存在匹配。我们模型的后验概率的匹配，因为它是一个足够的统计，并提出了一个潜在的概率模型在这种情况下。我们开发了一个基于字典学习的联合判别学习框架，以联合学习我们的模型在两个领域的参数，这最终导致我们的类独立分类器。许多现有的嵌入方法可以被视为我们的概率模型的特殊情况。我们的方法显示在四个基准数据集的平均准确性的最先进的4.90%的改进。我们还采用了BWRR方法进行zero-shot检索，平均精度（mAP）提高了22.45%.
2016-08-17 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Florida State University（佛罗里达州立大学）
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念，其中模型在一组可见概念上训练，并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的，因为不仅看到和看不见的概念之间的差距，而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法，称为翻译概念嵌入，以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系，通过生成有条件地依赖于对象原型的平移属性功能。此外，我们设计了一个比率方差约束损失，以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能，并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
Learning a Deep Embedding Model for Zero-Shot Learning
Queen Mary University of London（伦敦玛丽女王大学）
零样本学习（Zero-shot learning，简称ZRL）模型依赖于学习一个联合嵌入空间，在这个空间中，对象类的文本/语义描述和对象图像的视觉表示都可以被投影到最近邻搜索。尽管在其他视觉问题（如图像描述）中学习文本和图像之间的端到端模型的深度神经网络取得了成功，但很少有深度神经网络模型存在，并且它们与利用深度特征表示但不学习端到端嵌入的神经网络模型相比几乎没有优势。在本文中，我们认为，使深度嵌入L模型成功的关键是选择正确的嵌入空间。我们建议使用视觉空间作为嵌入空间，而不是嵌入到语义空间或中间空间中。这是因为在该空间中，随后的最近邻搜索将更少地受到中心度问题的影响，从而变得更有效。该模型设计还为多个语义模态（例如，属性和句子描述）以端到端的方式被联合融合和优化。在四个基准上的大量实验表明，我们的模型显着优于现有的模型。代码可在https://github.com/lzrobots/DeepEmbeddingModel_ZSL上获得
2019-07-19 cs.CV
Zero-Shot Learning with Knowledge Enhanced Visual Semantic Embeddings
SRI International（SRI国际）；University of California San Diego（加州大学圣迭戈分校）；Rutgers University（罗格斯大学）
我们通过在DNN中引入常识知识来改进零样本学习（ZNL）。我们提出了基于常识的神经符号损失（CSNL），将先验知识制定为新的神经符号损失函数，使视觉语义嵌入规则化。CSNL强制VSE中的视觉特征遵守与上位词和属性相关的常识规则。我们介绍了两个关键的创新改进学习：（1）强制执行规则的一组，而不是一个单一的概念，以考虑类明智的关系，和（2）内的逻辑运算符，使隐式课程学习和防止过早过拟合的置信度。我们评估了将每个知识源的优势，并显示出一致的收益超过现有的最先进的方法，在传统的和广义的AWA2，CUB和动力学，例如11.5%，5.5%和11.6%的改进。
2020-11-21 cs.CV
Instance Adaptive Prototypical Contrastive Embedding for Generalized Zero Shot Learning
Arizona State University（亚利桑那州立大学）
针对广义零样本学习中合成特征判别力有限和嵌入空间表示重叠的问题，提出基于边界的原型对比学习嵌入网络与实例自适应对比损失，有效增强聚类监督与类间边界，在三个基准数据集上取得最优未见性能。
2023-09-14 cs.CV
CFReID: Continual Few-shot Person Re-Identification
本文提出持续小样本行人重识别范式 CFReID，并设计稳定分布对齐框架 SDA，通过元分布对齐和基于原型的小样本自适应，在仅用 5% 数据的情况下显著超越现有终身 ReID 方法。
2025-11-06 cs.CV
Survey of Visual-Semantic Embedding Methods for Zero-Shot Image Retrieval
Meisei University（明星大学）
视觉语义嵌入是一个有趣的研究课题，因为它是有用的各种任务，如视觉问答（VQA），图像-文本检索，图像描述，和场景图生成。在本文中，我们专注于zero-shot图像检索使用的句子作为查询，并提出了在这一领域的技术趋势的调查。首先，我们全面概述了该技术的历史，首先讨论了图像到文本匹配的早期研究以及该技术如何随着时间的推移而发展。此外，在实验中常用的数据集的描述和每种方法的评价结果的比较。我们还介绍了github上的实现，用于确认实验的准确性和进一步改进。我们希望这份调查报告将鼓励研究人员进一步发展他们对桥接图像和语言的研究。
2021-09-28 cs.CV
Towards Effective Deep Embedding for Zero-Shot Learning
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
零样本学习（Zero-shot learning，简称ZRL）可以表述为一个跨域匹配问题：在被投影到联合嵌入空间后，视觉样本将与所有候选类级语义描述进行匹配，并被分配到最近的类。在这个过程中，嵌入空间是这种匹配成功的基础，对嵌入式语言至关重要。本文对嵌入空间的构造进行了深入的研究，认为理想的嵌入空间应满足两个准则：类内紧性和类间可分性.虽然前者鼓励一类视觉样本的嵌入紧密地分布在该类的语义描述嵌入附近，但后者要求来自不同类的嵌入彼此很好地分离。为了实现这个目标，我们提出了一个简单但有效的两个分支网络，同时映射到一个联合空间的语义描述和视觉样本，视觉嵌入被迫回归到他们的类级语义嵌入和嵌入跨类被要求可区分的可训练分类器。此外，我们将我们的方法扩展到转导设置，以更好地处理CNOL中的模型偏差问题（即，来自不可见类的样本倾向于被分类到可见类中）而具有最少的额外监督。具体来说，我们提出了一种伪标签策略，逐步将测试样本纳入训练过程，从而在可见和不可见类之间平衡模型。在5个标准的数据集上的实验结果表明了该方法及其直推扩展的优越性能。
2018-12-11 cs.CV
Few-Shot Fingerprinting Subject Re-Identification in 3D-MRI and 2D-X-Ray
University of Luxembourg（卢森堡大学）；Former Association with University of Luxembourg（曾与卢森堡大学的关联）
本文提出了一种基于ResNet-50和三元组边距损失的少样本指纹识别方法，用于在3D-MRI和2D-X射线数据中实现主体重识别，实验结果显示在不同样本和类别设置下均取得高召回率。
2025-12-18 cs.AI cs.CV
PathoSCOPE: Few-Shot Pathology Detection via Self-Supervised Contrastive Learning and Pathology-Informed Synthetic Embeddings
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
PathoSCOPE提出小样本无监督病理检测框架，仅需少量非病理样本，通过全局-局部对比损失和病理信息嵌入生成模块，在BraTS2020和ChestXray8上达到最先进性能且计算高效。
2025-05-23 cs.CV
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，深度卷积神经网络（CNN）极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而，为了实现这一点，现有的深度模型倾向于采用图像对或三元组来形成验证丢失，这是低效且不稳定的，因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外，它们的性能是有限的，因为它们忽略了这样一个事实，即不同的嵌入维度可能发挥不同的重要性。在本文中，我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的，因为它不需要图像对或三元组的训练，而类间的区别和类内方差得到很好的处理。为了提高性能，设计了一个新的特征重新加权（FRW）层，以明确强调每个嵌入维度的重要性，从而改进嵌入。在几个基准数据集上的实验表明，我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Optimization of Image Embeddings for Few Shot Learning
PES University（PES大学）
在本文中，我们改进的图像嵌入生成的图神经网络解决方案的少样本学习。我们为现有网络提出了替代架构，如Inception-Net，U-Net，Attention U-Net和Squeeze-Net，以生成嵌入并提高模型的准确性。我们以生成嵌入的时间为代价来提高嵌入的质量。所提出的实现优于Omniglot数据集上的1次和5次学习的现有最先进方法。实验涉及测试集和训练集，它们之间没有共同的类。5路和10路/20路测试的结果已制成表格。
2020-04-04 cs.CV cs.LG
Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions
Nanjing University（南京大学）；USC（南加州大学）；Google（谷歌）
在有限的数据下学习是视觉识别的一个关键挑战。许多少样本学习方法通过从可见类学习实例嵌入函数并将该函数应用于具有有限标签的不可见类的实例来解决这一挑战。这种类型的迁移学习是任务不可知的：嵌入函数不是关于看不见的类的最佳区分学习的，其中辨别它们会导致目标任务。在本文中，我们提出了一种新的方法来适应的实例嵌入的目标分类任务与集到集的功能，产生嵌入的任务是特定的，是有区别的。我们根据经验研究了这种集到集函数的各种实例化，并观察到Transformer是最有效的--因为它自然地满足了我们所需模型的关键属性。我们将该模型表示为FEAT（Few-Shot embedding adaptation w/ Transformer），并在标准的Few-Shot分类基准和四个扩展的少样本学习设置上验证它，这些设置具有基本用例，即，跨域、转换、广义少样本学习和低样本学习。它在基线模型和以前的方法上取得了一致的改进，并在两个基准上建立了新的最先进的结果。
2021-06-13 cs.CV cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University（天普大学）；Carleton University（卡尔顿大学）
零样本学习将知识从可见类转移到新的不可见类，以减少标记数据以构建新分类器的人工劳动。然而，关于零样本学习的许多努力都集中在标准的多类设置上，更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中，我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中，以诱导更好的标签间关系，并显式地促进从可见标签到不可见标签的信息传输，同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入，以指导标签嵌入投影，以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning
UC Berkeley（加州大学伯克利分校）
学习好的图像特征嵌入通常需要大量的训练数据。因此，在训练数据有限的设置中（例如，Few-Shot和零样本学习），我们通常被迫在各种任务中使用通用特征嵌入。理想情况下，我们希望构建针对给定任务进行调优的特性嵌入。在这项工作中，我们提出了任务感知特征嵌入网络（TAFE网），学习如何适应图像表示的Meta学习方式的新任务。我们的网络由Meta学习器和预测网络组成。基于任务输入，Meta学习器为预测网络中的特征层生成参数，使得可以针对该任务准确地调整特征嵌入。我们表明，TAFE-Net是非常有效的推广到新的任务或概念，并评估TAFE-Net的基准范围内的zero-shot和少样本学习。我们的模型在所有任务上都达到或超过了最先进的水平。特别是，我们的方法提高了4到15点的具有挑战性的视觉属性对象组成任务的预测精度看不见的属性对象对。
2019-04-11 cs.AI cs.CV
