WaveGAN: Frequency-aware GAN for High-Fidelity Few-shot Image Generation
East China University of Science and Technology（华东理工大学）
现有的Few-Shot图像生成方法通常在图像或特征级别上采用基于融合的策略来生成新图像。然而，以前的方法难以合成具有精细细节的高频信号，从而降低了合成质量。为了解决这个问题，我们提出了WaveGAN，一个频率感知模型的Few-Shot图像生成。具体来说，我们将编码特征分解为多个频率分量，并执行低频跳过连接以保留轮廓和结构信息。然后，我们减轻了生成器的斗争，采用高频跳跃连接合成精细的细节，从而提供丰富的频率信息的生成器。此外，我们利用频率L1损失的生成和真实的图像，以进一步阻止频率信息的损失。在三个数据集上的大量实验证明了该方法的有效性和先进性。值得注意的是，我们在Flower，Animal Faces和VGGFace上分别实现了FID 42.17，LPIPS 0.3868，FID 30.35，LPIPS 0.5076和FID 4.96，LPIPS 0.3822。GitHub：网站https://github.com/kobeshegu/ECCV2022_WaveGAN
2022-08-09 cs.CV eess.IV
MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
Department of AI Semiconductor Engineering, Hanyang University, Seoul, Korea（汉阳大学人工智能半导体工程系）；Department of Electronic Engineering, Hanyang University, Seoul, Korea（汉阳大学电子工程系）
MAGIC通过引入提示扰动、空间自适应引导和上下文意识，解决少样本异常生成中的样本多样性问题，提升下游任务的鲁棒性。
2026-04-29 cs.AI cs.CV
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam（阿姆斯特丹大学）
我们的目标是zero-shot定位和分类的人的行动，在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移，我们的主要贡献是空间感知对象嵌入。为了达到空间感知，我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性，并进一步用估计的空间偏好来实施。除了局部对象感知，我们还将全局对象感知嵌入到我们的嵌入中，以最大限度地提高演员和对象的交互。最后，我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外，我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling
Kling AI Research（可灵AI研究院）
SubjectAnchor提出一种基于显式视觉记忆的主题感知记忆到视频生成范式，通过记忆构建、时间旋转位置编码和注意力分区，在多镜头叙事中保持主题身份与场景一致性，实验验证其跨镜头一致性优于基线。
2026-09-29 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Context-Aware Zero-Shot Recognition
TTI-Chicago（丰田工业大学芝加哥分校）；Vaitl Inc.（Vaitl公司）；Seoul National University（首尔国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的问题设置在零样本学习，zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反，该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别，我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说，我们利用视觉背景和几何关系的所有对对象在一个单一的图像，并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中，使用条件随机场（CRF）。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome（VG）数据集上的结果表明，与传统方法相比，我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
Locality-Aware Zero-Shot Human-Object Interaction Detection
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出LAIN框架，通过增强CLIP表示的局部性与交互感知，提升零样本人-物交互检测性能，实验证明其优于现有方法。
2025-05-26 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Bias-Awareness for Zero-Shot Learning the Seen and Unseen
University of Amsterdam（阿姆斯特丹大学）
广义零样本学习识别来自可见和不可见类的输入。然而，现有的方法往往偏向于训练期间看到的类。在本文中，我们努力减轻这种偏见。我们提出了一个偏置感知学习器，将输入映射到语义嵌入空间，以实现广义零样本学习。在训练过程中，该模型学习回归到具有温度缩放的嵌入空间中的实值类原型，而基于边缘的双向熵项则正则化可见和不可见的概率。依赖于实值语义嵌入空间提供了一种通用的方法，因为该模型可以对可见和不可见类的不同类型的语义信息进行操作。实验进行了四个基准的广义零样本学习，并证明了所提出的偏置感知分类器的好处，无论是作为一个独立的方法或与生成的功能相结合。
2020-08-25 cs.CV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Uncertainty-Aware Few-Shot Image Classification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Columbia University（哥伦比亚大学）
Few-Shot图像分类学习从有限的标记数据中识别新的类别。基于度量学习的方法已经得到了广泛的研究，其中查询样本通过基于其特征相似性从支持集中找到最接近的原型来分类。一个神经网络在计算不同对的相似度时具有不同的不确定性。理解和建模相似性的不确定性，可以促进有限样本的开发在Few-Shot优化。在这项工作中，我们提出了不确定性感知的Few-Shot框架的图像分类的查询支持对的相似性建模的不确定性和执行不确定性感知优化。特别是，我们利用这种不确定性，通过将观察到的相似性转换为概率表示，并将其纳入损失更有效的优化。为了联合考虑查询和支持集中的原型之间的相似性，基于图的模型被用来估计对的不确定性。大量的实验表明，我们提出的方法带来了显着的改进上一个强大的基线，并实现了国家的最先进的性能。
2021-06-03 cs.CV
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里，我们提出了一个统一的方法为传统的zero-shot，广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向（CAPD）的概念，允许多个嵌入到一个语义空间的图像特征。给定一个图像，我们的方法为每个可见类生成一个主方向。然后，它学习如何组合这些方向以获得每个未见过类的主方向，使得测试图像的CAPD与真实类的语义嵌入对齐，并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外，我们提出了一个自动的过程中，选择最有用的看到的类为每个看不见的类，以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD，利用很少的看不见的图像在少样本学习的情况下工作。此外，我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD，这显著提高了广义零样本学习的性能。我们的广泛的评估表明，所提出的方法一贯取得优异的性能在zero-shot，广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology（中国矿业大学）
基于Zero-Shot草图的图像检索（ZSSBIR）是一个新兴的课题。开创性的工作集中在模态差距，但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息，但需要仔细选择正样本和负样本，否则模型容易丢失模态特定信息。为了解决这些问题，提出了一种本体感知网络（OAN）。具体地说，提出了平滑的类间独立学习机制来保持类间特性。同时，基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
CXR-LT 2026 Challenge: Projection-Aware Multi-Label and Zero-Shot Chest X-Ray Classification
KAIST（韩国科学技术院）；GIST（光州科学技术院）；Korea University（高丽大学）；KAIST Graduate School of AI (GSAI)（韩国科学技术院人工智能研究生院）
该挑战针对已知胸片病变的多标签分类和未知病变的零样本分类，通过整合投影特定模型的分类网络，提出双分支架构结合对比学习和LLM生成提示，提升零样本泛化能力。
2026-04-02 cs.CV
A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation
Alibaba Group（阿里巴巴集团）；Singapore Management University（新加坡管理大学）
Few-Shot分割（FSS）的目的是分割的对象看不见的类，只有少数注释的支持图像。大多数现有的方法只是简单地缝合查询功能与独立的支持原型和部分的查询图像的混合功能提供给解码器。虽然已经取得了显着的改进，现有的方法仍然面临类偏差，由于类变体和背景混淆。在本文中，我们提出了一个联合框架，结合了更有价值的类感知和类不可知的对齐指导，以促进分割。具体来说，我们设计了一个混合对齐模块，建立多尺度查询支持对应挖掘最相关的类感知信息，为每个查询图像从相应的支持功能。此外，我们探索利用基类知识来生成类不可知的先验掩模，该掩模通过突出显示所有对象区域，特别是那些看不见的类，来区分真实背景和前景。通过联合集成类感知和类不可知的对齐指导，在查询图像上获得更好的分割性能。在PASCAL- $5^i$和COCO- $20^i$数据集上的大量实验表明，我们提出的联合框架性能更好，特别是在1次拍摄设置上。
2022-11-02 cs.CV
PARN: Position-Aware Relation Networks for Few-Shot Learning
South China University of Technology（华南理工大学）
少样本学习提出了一个挑战，即分类器必须快速适应未出现在训练集中的新类，每个新类只有几个标记的示例。本文提出了一种位置感知关系网络（PARN），以学习更灵活和鲁棒的度量能力，少样本学习。关系网络（RN）是一种用于关系推理的架构，可以通过设计为简单的卷积神经网络（CNN）来获得图像的深度度量能力[23]。然而，由于CNN固有的局部连通性，基于CNN的关系网络（RN）可能对两个比较图像中语义对象的空间位置关系敏感。为了解决这个问题，我们引入了一个可变形的特征提取器（DFE），以提取更有效的功能，并设计了一个双相关注意力机制（DCA），以处理其固有的局部连通性。成功地，我们提出的方法扩展的潜在RN是位置感知的语义对象，通过只引入少量的参数。我们在两个主要的基准数据集上评估我们的方法，即，Omniglot和Mini-Imagenet，并且在这两个数据集上，我们的方法在使用浅特征提取网络的设置下实现了最先进的性能。值得注意的是，我们在Omniglot上的5路1次拍摄结果甚至优于之前的5路5次拍摄结果。
2019-09-10 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University（上海交通大学）
基于草图的图像检索（SBIR）的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而，SBIR要求在训练期间看到所有测试类别，这在现实世界的应用中无法保证。因此，我们研究更具挑战性的零镜头SBIR（ZERO-SBIR），其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息，而图像包含额外的外观信息的基础上，尝试通过非对称解缠实现结构感知的检索，提出了结构感知的非对称解缠（STRAD）方法，将图像特征解缠为结构特征和外观特征，而草图特征只投影到结构空间。通过对结构和外观空间的分离，实现了草图域和图像域之间的双向域转换。大量的实验表明，我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization
MYbank, Ant Group（蚂蚁集团网商银行）；Beijing Jiaotong University（北京交通大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出多模态分层镜头感知卷积网络MHSCNet，通过融合短程与长程时间依赖增强帧级表示，并在局部和全局视角预测帧重要性，在视频摘要任务上优于现有方法。
2023-05-30 cs.CV
EATEN: Entity-aware Attention for Single Shot Visual Text Extraction
Baidu Inc.（百度公司）
从图像中提取实体是许多OCR应用程序的关键部分，例如卡片，发票和收据的实体识别。现有的研究大多采用经典的检测和识别范式。本文提出了一个具有感知能力的注意力文本提取网络EATEN，它是一个端到端的可训练系统，可以在不进行任何后处理的情况下提取实体。在所提出的框架中，每个实体分别由其对应的实体感知解码器解析。此外，我们创新性地引入了一种状态转换机制，进一步提高了实体提取的鲁棒性。考虑到缺乏公共基准，我们构建了一个包含三个真实场景（训练票，护照和名片）的近60万张图像的数据集，该数据集可在https://github.com/beacandler/EATEN上公开获得。据我们所知，EATEN是第一个从图像中提取实体的Single Shot方法。在这些基准上进行的大量实验证明了EATEN的最新性能。
2019-09-20 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Noise-aware few-shot learning through bi-directional multi-view prompt alignment
Southeast University（东南大学）；AIIA, Ministry of Education, China（教育部人工智能研究院，中国）
NA-MVP通过双向多视图提示对齐实现噪声感知少样本学习，有效区分干净与噪声线索，提升模型在噪声环境下的鲁棒性。
2026-03-12 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology（光州科学技术院信息与通信学院）；Computer Vision Laboratory, GIST（计算机视觉实验室）
本文提出姿态感知多镜头匹配框架PaMM，通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配，在公开数据集上优于现有方法，有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
EmoTaG: Emotion-Aware Talking Head Synthesis on Gaussian Splatting with Few-Shot Personalization
Michigan State University（密歇根州立大学）；Qualcomm Technologies Inc.（高通技术公司）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出EmoTaG框架，通过结构化FLAME参数空间改进运动稳定性，结合门控残差运动网络实现情绪感知的高质量谈话头合成。
2026-03-28 cs.CV
Dynamic Context-Aware Scene Reasoning Using Vision-Language Alignment in Zero-Shot Real-World Scenarios
Nitte (Deemed to Be University), Nitte Institute of Professional Education（尼特大学尼特专业教育学院）；Ballari Institute of Technology and Management（巴拉里技术与管理学院）
在现实环境中，人工智能系统经常面对没有标记数据的陌生场景，这对传统的场景理解模型构成了重大挑战。无法在看不见的上下文中进行概括，这限制了在动态、非结构化环境中部署基于视觉的应用程序。这项工作介绍了一个动态的上下文感知场景推理框架，利用视觉语言对齐，以解决zero-shot现实世界的场景。其目标是使智能系统能够推断和适应新的环境，而无需事先进行特定任务的培训。所提出的方法集成了预先训练的视觉Transformer和大语言模型，以使视觉语义与自然语言描述一致，从而增强上下文理解。动态推理模块通过结合全局场景线索和由语言先验指导的对象级交互来改进预测。在COCO、Visual Genome和Open Images等zero-shot基准上进行的大量实验表明，在复杂和不可见的环境中，场景理解准确度比基线模型提高了18%。结果还表明，由于视觉和语言的协同融合，在模糊或混乱的场景中表现出强大的性能。该框架为上下文感知推理提供了一种可扩展和可解释的方法，在动态的真实世界设置中推进了zero-shot泛化。
2025-10-30 cs.CV
Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting
School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学）
研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。
2026-07-28 cs.CV
A Task-aware Dual Similarity Network for Fine-grained Few-shot Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
细粒度少样本学习的目标是通过学习少量标记样本来识别同一超类别下的子类别。最近的方法大多采用单一的相似性度量，即，单独的全球或局部措施。然而，对于具有高类内方差和低类间方差的细粒度图像，探索全局不变特征和区分性局部细节是非常必要的。在本文中，我们提出了一个任务感知的双重相似性网络（TDSNet），它适用于全球的功能和本地补丁，以达到更好的性能。具体地说，采用局部特征增强模块来激活具有强鉴别力的特征。此外，任务感知注意利用整个任务中的重要补丁。最后，通过全局特征和判别性局部补丁得到的类原型都被用于预测。在三个细粒度数据集上的实验表明，与其他最先进的算法相比，本文提出的TDSNet具有很好的性能。
2022-10-22 cs.CV
Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
用于目标检测的传统的基于深度学习的方法需要大量的限界框注释用于训练，这对于获得这样的高质量注释数据是昂贵的。Few-Shot目标检测是一种非常具有挑战性的方法，它只需要很少的注释样本就可以适应新的类，因为新对象的细粒度特征很容易被忽略，只有很少的数据可用。在这项工作中，为了充分利用带注释的新对象的特征并捕获查询对象的细粒度特征，我们提出了具有上下文感知聚合的密集关系蒸馏（DCNet）来解决少镜头检测问题（Few-Shot detection problem）。基于元学习的框架，稠密关系蒸馏模块的目标是充分利用支持特征，其中支持特征和查询特征是密集匹配的，以前馈方式覆盖所有空间位置。引导信息的大量使用赋予模型处理常见挑战的能力，例如外观变化和遮挡。此外，为了更好地捕获尺度感知特征，上下文感知聚合模块自适应地利用不同尺度的特征，以获得更全面的特征表示。大量的实验表明，我们提出的方法在PASCAL VOC和MS COCO数据集上实现了最先进的结果。代码将在https://github.com/hzhupku/DCNet上提供。
2021-03-30 cs.CV
Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning
Monash University（莫纳什大学）；Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Amazon Australia（亚马逊澳大利亚）；The University of Melbourne（墨尔本大学）
学习和推广到新的概念，很少的样本（少样本学习）仍然是一个重要的挑战，现实世界的应用。实现少样本学习的主要方法是实现一个能够快速适应给定任务上下文的模型。动态网络已经被证明能够有效地学习内容自适应参数，使它们适合于少样本学习。在本文中，我们建议学习卷积网络的动态内核作为手头任务的函数，从而实现更快的泛化。为此，我们根据整个任务和每个样本获得动态内核，并开发一种机制，进一步独立调节每个通道和位置。这导致动态内核同时关注全局信息，同时也考虑可用的微小细节。我们的经验表明，我们的模型提高了性能的Few-Shot分类和检测任务，实现了有形的改善，超过几个基线模型。这包括4个Few-Shot分类基准测试的最新结果：mini-ImageNet，tiered-ImageNet，CUB和FC 100以及Few-Shot检测数据集的竞争结果：MS COCO-PASCAL-VOC。
2022-07-13 cs.CV
Tree Structure-Aware Few-Shot Image Classification via Hierarchical Aggregation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanjing University（南京大学）；Westlake Institute for Advanced Study（西湖高等研究院）
在本文中，我们主要关注的问题是如何学习额外的特征表示Few-Shot图像分类通过借口任务（例如，旋转或颜色置换等）。这种由借口任务生成的额外知识可以进一步提高少样本学习（FSL）的性能，因为它不同于人类注释的监督（即，FSL任务的类标签）。针对这一问题，提出了一种插件式的层次树结构感知（HTS）方法，该方法不仅能够学习FSL与prefuse任务之间的关系，更重要的是能够自适应地选择和聚合prefuse任务生成的特征表示，以最大限度地提高FSL任务的性能.引入层次树构造组件和门选择聚集组件来构造树结构，并发现更丰富的可传递知识，可以快速适应具有少量标记图像的新类别。大量的实验表明，我们的HTS可以显着增强多个Few-Shot方法，以实现新的国家的最先进的性能在四个基准数据集。该代码可从以下网址获得：https://github.com/remiMZ/HTS-ECCV22。
2022-07-14 cs.CV
FrontVeg V2: A Training-Free Software Framework for Foreground-Aware Zero-Shot Plant Trait Segmentation in High-Resolution Images of Trellised Crops
IRHS, INRAE, Univ. Angers（法国国家农业、食品与环境研究院（INRAE）IRHS研究所，昂热大学）；LARIS, Univ. Angers（昂热大学LARIS实验室）；GAFL, INRAE（法国国家农业、食品与环境研究院（INRAE）GAFL研究所）；SVQV, UMR1131, INRAE, Univ. Strasbourg（法国国家农业、食品与环境研究院（INRAE）UMR1131 SVQV研究所，斯特拉斯堡大学）；UEAV, INRAE（法国国家农业、食品与环境研究院（INRAE）UEAV实验站）；UEA, UMR0393, INRAE（法国国家农业、食品与环境研究院（INRAE）UMR0393 UEA研究所）
FrontVeg V2提出一种无训练软件框架，结合深度估计与零样本分割，实现棚架作物高分辨率图像中前景感知的植物性状分割，减少邻行干扰，支持多作物多性状表型分析。
2026-10-06 cs.CV
Shot-Aware Frame Sampling for Video Understanding
ByteDance（字节跳动）；Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
本文提出InfoShot，一种任务无关的快门感知帧采样方法，用于长视频理解。通过分割视频为语义一致的快门，并选择两种互补的关键帧，以保留视频结构和短时变化信息，提升视频理解和异常检测性能。
2026-03-18 cs.CV
Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
Johns Hopkins University（约翰斯·霍普金斯大学）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
基于草图的图像检索（SBIR）被广泛认为是一个重要的视觉问题，有着广泛的实际应用。近年来，在更现实和更具有挑战性的零样本学习环境下，研究兴趣出现在解决这个问题上。在本文中，我们调查这个问题，从领域自适应的角度来看，我们表明是至关重要的，在提高特征嵌入的zero-shot的情况。基于一个框架，该框架从ImageNet上的预训练模型开始，并在SBIR基准测试的训练集上对其进行微调，我们提倡保留先前获得的知识的重要性，例如，从ImageNet中学习到的丰富的判别特征，以提高模型的传递能力。为此，我们设计了一种名为语义感知知识保护（SAKE）的方法，该方法以经济的方式微调预训练模型并利用语义信息，例如，类间关系，达到知识保存的目的。在两个扩展SBIR数据集TU-Berlin和Sketchy上的Zero-shot实验验证了该方法的优越性能。广泛的诊断实验验证，知识保存的好处SBIR在zero-shot设置，作为一个很大的一部分的性能增益是从更适当的结构化特征嵌入的照片图像。代码可在：https://github.com/qliu24/SAKE.
2019-09-27 cs.CV
A New Split for Evaluating True Zero-Shot Action Recognition
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
Zero-shot动作识别是对训练集中不可用的动作类别进行分类的任务。在这种情况下，标准的评估协议是使用现有的动作识别数据集（例如UCF 101），并将类随机分为可见和不可见。然而，最近的工作建立在Kinetics数据集上预先训练的表示上，其中类与zero-shot评估数据集中的类在很大程度上重叠。因此，在监督预训练期间存在应该是不可见的类，从而使zero-shot设置的条件无效。几年前，对于基于图像的zero-shot识别，先前已经注意到类似的关注，但是尚未被zero-shot动作识别团体考虑。在本文中，我们提出了一个新的分裂真正的zero-shot动作识别与看不见的测试类和训练或预训练类之间没有重叠。我们基准最近的几种方法上提出的真正的零杆（TruZe）分裂UCF 101和HMDB 51，与zero-shot和广义zero-shot评价。在我们广泛的分析中，我们发现我们的TruZesplits比类似的随机分裂要难得多，因为没有任何东西从预训练中泄露出来，即看不见的性能一直较低，对于zero-shot动作识别高达8.9%。在另外的评估中，我们还发现在Few-Shot动作识别中使用的分割中存在类似的问题，在这里我们看到高达17.1%的差异。我们发表了我们的分裂1，并希望我们的基准分析将改变该领域如何评估零镜头和Few-Shot动作识别向前发展。
2021-09-13 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Delving into Shape-aware Zero-shot Semantic Segmentation
Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Didi Chuxing（滴滴出行）
本文提出利用自监督像素级特征构建拉普拉斯矩阵特征向量来增强形状感知，在 Pascal 和 COCO 上刷新零样本语义分割最优性能。
2023-04-17 cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University（雪城大学）
针对现有零样本3D点云分割方法迁移能力有限的问题，提出几何感知框架3D-PointZshotS，通过潜在几何原型增强特征生成与对齐，引入自一致性损失提升鲁棒性，在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification
Microsoft Research Asia（微软亚洲研究院）
目标重新识别（re-id）旨在跨时间或摄像机视图识别特定目标，其中人re-id和车辆re-id是研究最广泛的应用。由于视点、（人类）姿势和遮挡的变化，Re-id具有挑战性。同一物体的多个镜头可以覆盖不同的视点/姿态，从而提供更全面的信息。在本文中，我们提出利用同一身份的多个镜头来指导每个单独图像的特征学习。具体来说，我们设计了一个不确定性感知的多拍教师-学生（UMTS）网络。它由一个教师网络（T-net）和一个学生网络（S-net）组成，教师网络从同一对象的多个图像中学习综合特征，学生网络将单个图像作为输入。特别是，我们考虑到数据相关的异方差不确定性，有效地将知识从T-网转移到S-网。据我们所知，我们是第一个利用多个镜头的对象，在师生学习的方式，有效地提高了单一的图像为基础的re-id。我们验证了我们的方法的有效性流行的车辆re-id和人re-id数据集。在推理中，仅S-net的性能明显优于基线，并达到了最先进的性能。
2020-01-21 cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）；Monash University（莫纳什大学）
虽然音频驱动的说话人脸生成已经取得了重大进展，现有的方法要么忽略面部情感或不能适用于任意主题。在本文中，我们提出了一种基于情感感知的运动模型（EAMM），通过引入情感源视频来生成单次情感说话人脸。具体来说，我们首先提出了一个Audio 2Facial-Dynamics模块，它从音频驱动的无监督零阶和一阶关键点运动中呈现说话的面孔。然后，通过探索运动模型的属性，我们进一步提出了一个隐式情感位移学习器表示情感相关的面部动态线性添加剂位移先前获得的运动表示。综合实验表明，通过将这两个模块的结果，我们的方法可以生成令人满意的说话人脸的结果与现实的情感模式的任意主题。
2022-09-23 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
DARD: Zero-Shot Degradation-Aware Retinex-Guided Diffusion for Low-Light Image Enhancement
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Anhui University（安徽大学）
针对现有扩散增强方法的缺陷，提出零样本退化感知Retinex引导扩散框架DARD，经多基准实验及语义分割下游验证，其性能优于现有零样本基线，可提升图像增强后的mIoU。
2026-09-01 cs.CV
Shot-by-Shot: Film-Grammar-Aware Training-Free Audio Description Generation
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；CVIT, IIIT Hyderabad（海得拉巴印度理工学院计算机视觉研究所）；LIGM, École des Ponts ParisTech（巴黎理工学院路易-狄塞尔数学与计算机科学实验室）；SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究所）
提出基于镜头的两阶段免训练框架，利用电影语法指导音频描述生成，兼容多种视觉语言模型，性能超越同类方法并引入新评估指标。
2025-09-13 cs.CV
SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
Seoul National University（首尔国立大学）
SynQ通过合成感知微调解决零样本量化中合成数据噪声、目标模式预测和错误标签误导问题，提升模型精度。
2026-03-19 cs.CV
Language-Aware Information Maximization for Transductive Few-Shot CLIP
École de Technologie Supérieure (ÉTS)（École de Technologie Supérieure）；Université Catholique de Louvain (UCLouvain)（Université Catholique de Louvain）；Université de Mons (UMons)（Université de Mons）
针对直推式少样本学习在视觉语言模型中研究不足的问题，提出整合三项损失的LIMO方法，结合参数高效微调策略，大幅提升了直推式少样本CLIP的性能。
2025-08-30 cs.CV
Context-Aware Single-Shot Detector
Futurewei Technologies（未来wei技术公司）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
SSD是最先进的目标检测算法之一，它结合了高检测精度和实时速度。然而，人们普遍认为，SSD在检测小对象方面不如大对象准确，因为它忽略了提案框之外的上下文。在本文中，我们提出了CSSD-一个速记上下文感知的单镜头多框对象检测器。CSSD是建立在SSD之上的，额外的层建模多尺度上下文。我们描述了CSSD的两种变体，它们在上下文层上不同，分别使用扩张卷积层（DiCSSD）和去卷积层（DeCSSD）。实验结果表明，多尺度上下文建模显著提高了检测精度。此外，我们研究了有效感受野（ERFs）和理论感受野（TRFs）之间的关系，特别是在VGGNet上。实验结果进一步加强了我们的结论，SSD与上下文层结合实现了更好的检测结果，特别是对于小对象（与最新的SSD相比，MS-COCO上的$+3.2\% {\rm AP}_{@0.5}$），同时保持了相当的运行时性能。
2018-03-24 cs.CV
PartSeg: Few-shot Part Segmentation via Part-aware Prompt Learning
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；Beijing Institute of Technology（北京理工大学）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
针对少样本部件分割任务，提出基于CLIP的部件感知提示学习方法PartSeg，通过生成部件专属提示并建立跨类别部件关联，在PartImageNet和Pascal_Part数据集上取得了SOTA性能。
2023-08-24 cs.CV
Few-shot Geometry-Aware Keypoint Localization
University of British Columbia（不列颠哥伦比亚大学）；Flawless AI（Flawless AI公司）
有监督的关键点定位方法依赖于大型手动标记的图像数据集，其中对象可以变形、铰接或遮挡。然而，创建如此大的关键点标签是耗时且昂贵的，并且由于不一致的标签而经常容易出错。因此，我们需要一种方法，可以学习关键点定位与更少但一致的注释图像。为此，我们提出了一种新的配方，学习本地化语义一致的关键点定义，即使是遮挡区域，不同的对象类别。我们使用一些用户标记的2D图像作为输入示例，这些示例通过使用更大的未标记数据集的自我监督进行扩展。与无监督方法不同，Few-Shot图像充当对象定位的语义形状约束。此外，我们引入了3D几何感知约束来提升关键点，实现更准确的2D定位。我们的通用公式为语义条件生成建模铺平了道路，并在多个数据集上达到了具有竞争力或最先进的精度，包括人脸，眼睛，动物，汽车和从未见过的口腔内部（牙齿）定位任务，而不是以前的Few-Shot方法所尝试的。项目页面：https：//xingzhehehe.github.io/FewShot3DKP/}{https：//xingzhehehe.github.io/FewShot3DKP/
2023-03-30 cs.CV
Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer
Systems Engineering Institute, AMS（AMS系统工程研究所）；Oxford University（牛津大学）；Data61/CSIRO（数据61/澳大利亚联邦科学与工业研究组织）；Australian National University（澳大利亚国立大学）
当前的少样本学习模型在固定分辨率输入下在所谓的元学习设置中捕获视觉对象关系。然而，这样的模型有一个有限的泛化能力下的对象之间的规模和位置不匹配，因为只有很少的样本从目标类提供。因此，缺乏一个机制来匹配的规模和位置之间的比较图像对导致性能下降。图像内容的重要性在由粗到细的尺度上变化，这取决于对象及其类别标签，例如，一般对象和场景依赖于它们的全局外观，而细粒度对象更多地依赖于它们的局部视觉模式。在本文中，我们研究了规模和位置不匹配的影响，在少样本学习的情况下，并提出了一种新的空间感知匹配（SM）计划，有效地执行跨多个尺度和位置的匹配，并学习图像关系，通过给予最高的权重，以最佳的匹配对。SM被训练来激活支持和查询数据之间最相关的位置和尺度。我们在各种少样本学习模型和主干上应用和评估SM，以进行综合评估。此外，我们利用一个辅助的自我监督的神经网络训练/预测我们使用的特征向量的空间和尺度级别的索引。最后，我们开发了一种新的基于transformer的管道，利用自我和交叉注意的空间感知匹配过程。我们提出的设计与骨架和/或比较物的选择正交。
2022-10-08 cs.CV
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
