Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
目前的人物图像检索方法在准确性指标上有了很大的提高。然而，他们很少描述预测的可靠性。在本文中，我们提出了一个不确定性感知学习（UAL）的方法来解决这个问题。UAL旨在通过同时考虑数据不确定性和模型不确定性来提供可靠性感知的预测。数据不确定性捕捉样本中固有的“噪音”，而模型不确定性描述了模型对样本预测的信心。具体来说，在UAL中，（1）我们提出了一种无采样数据不确定性学习方法，在训练过程中自适应地为不同的样本分配权重，降低低质量模糊样本的权重。(2)我们利用贝叶斯框架，通过假设网络的参数遵循伯努利分布来对模型的不确定性进行建模。(3)数据不确定性和模型不确定性在统一的网络中共同学习，并且它们用作可靠性评估的两个基本标准：如果探测器是高质量的（低数据不确定性）并且模型对探测器的预测有信心（低模型不确定性），则最终排名将被评估为可靠的。在风险控制环境和多查询环境下的实验结果表明，该方法是有效的。我们的方法还显示了优越的性能，在香草单一查询设置下的三个具有挑战性的基准测试。
2022-10-24 cs.CV
Uncertainty-based Network for Few-shot Image Classification
Nanjing University（南京大学）
在少样本学习任务中，直推推理是一种有效的技术，查询集通过更新原型来改进自己。然而，这些方法通过仅考虑查询实例的分类分数作为置信度而忽略这些分类分数的不确定性来优化模型。本文提出了一种新的方法，称为基于不确定性的网络，该方法借助互信息对分类结果的不确定性进行建模。具体来说，我们首先对查询实例进行数据扩充和分类，并计算这些分类得分的互信息。然后，利用互信息作为不确定性为分类得分分配权重，并在原型优化中采用基于分类得分和不确定性的迭代更新策略为查询实例分配最优权重。在四个基准测试上的广泛结果表明，与最先进的方法相比，基于不确定性的网络在分类精度方面取得了相当的性能。
2022-05-17 cs.CV cs.LG
Context-Aware Zero-Shot Anomaly Detection in Surveillance Using Contrastive and Predictive Spatiotemporal Modeling
Department of Computer Science and Engineering, BRAC University, Dhaka, Bangladesh（计算机科学与工程系，BRAC大学，达卡，孟加拉国）
本文提出一种结合 TimeSformer、DPC 与 CLIP 的上下文感知零样本异常检测框架，通过时空预测建模和视觉-语言语义理解，在无需异常样本训练的情况下实现监控视频中的异常识别。
2025-08-27 cs.CV cs.LG
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam（阿姆斯特丹大学）
我们的目标是zero-shot定位和分类的人的行动，在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移，我们的主要贡献是空间感知对象嵌入。为了达到空间感知，我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性，并进一步用估计的空间偏好来实施。除了局部对象感知，我们还将全局对象感知嵌入到我们的嵌入中，以最大限度地提高演员和对象的交互。最后，我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外，我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling
Kling AI Research（可灵AI研究院）
SubjectAnchor提出一种基于显式视觉记忆的主题感知记忆到视频生成范式，通过记忆构建、时间旋转位置编码和注意力分区，在多镜头叙事中保持主题身份与场景一致性，实验验证其跨镜头一致性优于基线。
2026-09-29 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Context-Aware Zero-Shot Recognition
TTI-Chicago（丰田工业大学芝加哥分校）；Vaitl Inc.（Vaitl公司）；Seoul National University（首尔国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的问题设置在零样本学习，zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反，该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别，我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说，我们利用视觉背景和几何关系的所有对对象在一个单一的图像，并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中，使用条件随机场（CRF）。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome（VG）数据集上的结果表明，与传统方法相比，我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
Locality-Aware Zero-Shot Human-Object Interaction Detection
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出LAIN框架，通过增强CLIP表示的局部性与交互感知，提升零样本人-物交互检测性能，实验证明其优于现有方法。
2025-05-26 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Few-shot Keypoint Detection with Uncertainty Learning for Unseen Species
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
目前的非刚性对象关键点检测器在选定的物种和身体部位上表现良好，并且需要大量标记的关键点用于训练。此外，他们的热图是针对特定的身体部位定制的，无法识别未知物种上的新关键点（未标记用于训练的关键点）。我们提出了一个有趣但具有挑战性的问题：如何在给定一些注释样本的情况下检测未见过物种的基础（注释用于训练）和新关键点？因此，我们提出了一个通用的Few-Shot关键点检测（FSKD）流水线，它可以检测不同数量的不同种类的关键点。我们的FSKD提供预测关键点的不确定性估计。具体来说，FSKD涉及主要和辅助关键点表示学习、相似性学习以及关键点定位和不确定性建模，以解决定位噪声。此外，我们通过多变量高斯分布对关键点组之间的不确定性进行建模，以利用相邻关键点之间的隐式相关性。我们展示了我们的FSKD在以下方面的有效性：（i）针对未见过物种的新型关键点检测;（ii）Few-Shot细粒度视觉识别（FGVR）;（iii）语义对齐（SA）下游任务。对于FGVR，检测到的关键点提高了分类精度。对于SA，我们展示了一种新的薄板样条翘曲，使用估计的关键点不确定性下不完美的关键点correspondences。
2022-04-01 cs.CV
Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification
Microsoft Research Asia（微软亚洲研究院）
目标重新识别（re-id）旨在跨时间或摄像机视图识别特定目标，其中人re-id和车辆re-id是研究最广泛的应用。由于视点、（人类）姿势和遮挡的变化，Re-id具有挑战性。同一物体的多个镜头可以覆盖不同的视点/姿态，从而提供更全面的信息。在本文中，我们提出利用同一身份的多个镜头来指导每个单独图像的特征学习。具体来说，我们设计了一个不确定性感知的多拍教师-学生（UMTS）网络。它由一个教师网络（T-net）和一个学生网络（S-net）组成，教师网络从同一对象的多个图像中学习综合特征，学生网络将单个图像作为输入。特别是，我们考虑到数据相关的异方差不确定性，有效地将知识从T-网转移到S-网。据我们所知，我们是第一个利用多个镜头的对象，在师生学习的方式，有效地提高了单一的图像为基础的re-id。我们验证了我们的方法的有效性流行的车辆re-id和人re-id数据集。在推理中，仅S-net的性能明显优于基线，并达到了最先进的性能。
2020-01-21 cs.CV
Uncertainty-Aware Semi-Supervised Few Shot Segmentation
DGIST（大邱庆北科学技术院）
Few Shot分割（FSS）的目的是学习像素级分类的目标对象在查询图像中使用只有少量的注释支持样本。这是具有挑战性的，因为它需要建模目标对象的外观变化和查询和支持图像之间的不同视觉线索与有限的信息。为了解决这个问题，我们提出了一个半监督的FSS策略，利用额外的原型从未标记的图像与不确定性指导的伪标签细化。为了从未标记的图像中获得可靠的原型，我们对神经网络进行元训练，以联合预测分割并估计预测的不确定性。我们采用不确定性估计来排除具有高度不确定性的伪标签构造的预测，以基于改进的伪标签获得额外的原型。在推理过程中，查询分割预测使用原型从支持和未标记的图像，包括低级别的功能的查询图像。我们的方法是端到端的，可以很容易地补充现有的方法，而不需要额外的训练来使用未标记的样本。在PASCAL- $5^i$和COCO- $20^i$上的大量实验表明，我们的模型可以有效地去除不可靠的预测，以改进伪标签，并显着提高最先进的性能。
2021-10-18 cs.CV
Dual-Awareness Attention for Few-Shot Object Detection
National Taiwan University（台湾大学）；Mobile Drive Technology（Mobile Drive Technology（移动驱动科技））
虽然最近的进展显着提高了Few-Shot分类（FSC）的性能，Few-Shot目标检测（FSOD）仍然是现代学习系统的挑战。现有的FSOD系统遵循FSC方法，忽略了空间变化和不确定表示等关键问题，因此导致性能低下。观察到这一点，我们提出了一种新的\textbf{Dual-Awareness Attention (DAnA)}机制，使网络能够自适应地解释给定的支持图像。DAnA将支持图像转换为\textbf{query-position-aware}（QPA）特征，通过将定制的支持信息分配给查询的每个局部区域来精确地引导检测网络。此外，所提出的DAnA组件是灵活的，并适用于多种现有的目标检测框架。通过采用DAnA，传统的目标检测网络、Faster R-CNN和RetinaNet（并非明确针对少样本学习而设计）在FSOD任务中达到了最先进的性能。与以前的方法相比，我们的模型显着提高了47%（+6.9 AP）的性能，在各种评估设置下显示出显着的能力。
2021-09-16 cs.CV
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
CXR-LT 2026 Challenge: Projection-Aware Multi-Label and Zero-Shot Chest X-Ray Classification
KAIST（韩国科学技术院）；GIST（光州科学技术院）；Korea University（高丽大学）；KAIST Graduate School of AI (GSAI)（韩国科学技术院人工智能研究生院）
该挑战针对已知胸片病变的多标签分类和未知病变的零样本分类，通过整合投影特定模型的分类网络，提出双分支架构结合对比学习和LLM生成提示，提升零样本泛化能力。
2026-04-02 cs.CV
A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation
Alibaba Group（阿里巴巴集团）；Singapore Management University（新加坡管理大学）
Few-Shot分割（FSS）的目的是分割的对象看不见的类，只有少数注释的支持图像。大多数现有的方法只是简单地缝合查询功能与独立的支持原型和部分的查询图像的混合功能提供给解码器。虽然已经取得了显着的改进，现有的方法仍然面临类偏差，由于类变体和背景混淆。在本文中，我们提出了一个联合框架，结合了更有价值的类感知和类不可知的对齐指导，以促进分割。具体来说，我们设计了一个混合对齐模块，建立多尺度查询支持对应挖掘最相关的类感知信息，为每个查询图像从相应的支持功能。此外，我们探索利用基类知识来生成类不可知的先验掩模，该掩模通过突出显示所有对象区域，特别是那些看不见的类，来区分真实背景和前景。通过联合集成类感知和类不可知的对齐指导，在查询图像上获得更好的分割性能。在PASCAL- $5^i$和COCO- $20^i$数据集上的大量实验表明，我们提出的联合框架性能更好，特别是在1次拍摄设置上。
2022-11-02 cs.CV
PARN: Position-Aware Relation Networks for Few-Shot Learning
South China University of Technology（华南理工大学）
少样本学习提出了一个挑战，即分类器必须快速适应未出现在训练集中的新类，每个新类只有几个标记的示例。本文提出了一种位置感知关系网络（PARN），以学习更灵活和鲁棒的度量能力，少样本学习。关系网络（RN）是一种用于关系推理的架构，可以通过设计为简单的卷积神经网络（CNN）来获得图像的深度度量能力[23]。然而，由于CNN固有的局部连通性，基于CNN的关系网络（RN）可能对两个比较图像中语义对象的空间位置关系敏感。为了解决这个问题，我们引入了一个可变形的特征提取器（DFE），以提取更有效的功能，并设计了一个双相关注意力机制（DCA），以处理其固有的局部连通性。成功地，我们提出的方法扩展的潜在RN是位置感知的语义对象，通过只引入少量的参数。我们在两个主要的基准数据集上评估我们的方法，即，Omniglot和Mini-Imagenet，并且在这两个数据集上，我们的方法在使用浅特征提取网络的设置下实现了最先进的性能。值得注意的是，我们在Omniglot上的5路1次拍摄结果甚至优于之前的5路5次拍摄结果。
2019-09-10 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Uncertainty-Aware Model Adaptation for Unsupervised Cross-Domain Object Detection
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）
这项工作解决了无监督的跨域目标检测问题，其目的是将预先训练的目标检测器推广到没有标签的新目标域。我们提出了一个不确定性感知的模型自适应方法，这是基于两个动机：1）在一个新的领域的模型不确定性的估计和开发是可靠的领域自适应的关键;和2）的输入（特征对齐）和输出（自训练）的分布的联合对齐是必要的。为此，我们组成了一个贝叶斯CNN为基础的框架不确定性估计目标检测，并提出了一种算法，用于产生不确定性感知的伪标签。我们还设计了一个联合特征对齐和自我训练的目标检测模型与不确定性感知的伪标签的计划。在多个跨域目标检测基准测试上的实验表明，该方法具有较好的检测性能。
2021-08-28 cs.CV
MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization
MYbank, Ant Group（蚂蚁集团网商银行）；Beijing Jiaotong University（北京交通大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出多模态分层镜头感知卷积网络MHSCNet，通过融合短程与长程时间依赖增强帧级表示，并在局部和全局视角预测帧重要性，在视频摘要任务上优于现有方法。
2023-05-30 cs.CV
Learning to Adapt and Calibrate: Score Distribution Alignment for Few-Shot Uncertainty Prediction in Medical VLMs
University of Arkansas（阿肯色大学）
针对少样本医学VLM中标准共形预测因监督适应破坏可交换性导致覆盖不可靠的问题，提出AlignCP框架，通过学习重加权校准分布对齐分数分布，在不需查询标签下缩小覆盖差距。
2026-09-10 cs.CV
EATEN: Entity-aware Attention for Single Shot Visual Text Extraction
Baidu Inc.（百度公司）
从图像中提取实体是许多OCR应用程序的关键部分，例如卡片，发票和收据的实体识别。现有的研究大多采用经典的检测和识别范式。本文提出了一个具有感知能力的注意力文本提取网络EATEN，它是一个端到端的可训练系统，可以在不进行任何后处理的情况下提取实体。在所提出的框架中，每个实体分别由其对应的实体感知解码器解析。此外，我们创新性地引入了一种状态转换机制，进一步提高了实体提取的鲁棒性。考虑到缺乏公共基准，我们构建了一个包含三个真实场景（训练票，护照和名片）的近60万张图像的数据集，该数据集可在https://github.com/beacandler/EATEN上公开获得。据我们所知，EATEN是第一个从图像中提取实体的Single Shot方法。在这些基准上进行的大量实验证明了EATEN的最新性能。
2019-09-20 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Noise-aware few-shot learning through bi-directional multi-view prompt alignment
Southeast University（东南大学）；AIIA, Ministry of Education, China（教育部人工智能研究院，中国）
NA-MVP通过双向多视图提示对齐实现噪声感知少样本学习，有效区分干净与噪声线索，提升模型在噪声环境下的鲁棒性。
2026-03-12 cs.CV
Density-aware NeRF Ensembles: Quantifying Predictive Uncertainty in Neural Radiance Fields
Queensland University of Technology（昆士兰科技大学）
我们表明，如果考虑密度感知的认知不确定性项，则集成有效地量化了神经辐射场（NeRFs）中的模型不确定性。在以前的工作中研究的朴素的合奏简单地平均渲染的RGB图像，以量化模型的不确定性所造成的冲突的解释所观察到的场景。相比之下，我们还考虑了沿单个射线的终止概率，以识别由于缺乏对训练期间未观察到的场景部分的知识而导致的认知模型不确定性。我们在NeRF的既定不确定性量化基准上实现了最先进的性能，优于需要对NeRF架构和训练机制进行复杂更改的方法。我们还证明了NeRF的不确定性可以用于下一个最佳视图选择和模型优化。
2022-09-19 cs.CV
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Kling Team, Kuaishou Technology（Kling团队，快手科技）；Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
提出UnityShots，一种基于记忆的多镜头音视频生成系统，通过固定大小的长期和短期记忆槽及边界条件门控实现跨镜头连贯性，在多种条件模式下超越开源基线。
2026-06-23 cs.CV
EmoTaG: Emotion-Aware Talking Head Synthesis on Gaussian Splatting with Few-Shot Personalization
Michigan State University（密歇根州立大学）；Qualcomm Technologies Inc.（高通技术公司）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出EmoTaG框架，通过结构化FLAME参数空间改进运动稳定性，结合门控残差运动网络实现情绪感知的高质量谈话头合成。
2026-03-28 cs.CV
Dynamic Context-Aware Scene Reasoning Using Vision-Language Alignment in Zero-Shot Real-World Scenarios
Nitte (Deemed to Be University), Nitte Institute of Professional Education（尼特大学尼特专业教育学院）；Ballari Institute of Technology and Management（巴拉里技术与管理学院）
在现实环境中，人工智能系统经常面对没有标记数据的陌生场景，这对传统的场景理解模型构成了重大挑战。无法在看不见的上下文中进行概括，这限制了在动态、非结构化环境中部署基于视觉的应用程序。这项工作介绍了一个动态的上下文感知场景推理框架，利用视觉语言对齐，以解决zero-shot现实世界的场景。其目标是使智能系统能够推断和适应新的环境，而无需事先进行特定任务的培训。所提出的方法集成了预先训练的视觉Transformer和大语言模型，以使视觉语义与自然语言描述一致，从而增强上下文理解。动态推理模块通过结合全局场景线索和由语言先验指导的对象级交互来改进预测。在COCO、Visual Genome和Open Images等zero-shot基准上进行的大量实验表明，在复杂和不可见的环境中，场景理解准确度比基线模型提高了18%。结果还表明，由于视觉和语言的协同融合，在模糊或混乱的场景中表现出强大的性能。该框架为上下文感知推理提供了一种可扩展和可解释的方法，在动态的真实世界设置中推进了zero-shot泛化。
2025-10-30 cs.CV
Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting
School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学）
研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。
2026-07-28 cs.CV
A Task-aware Dual Similarity Network for Fine-grained Few-shot Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
细粒度少样本学习的目标是通过学习少量标记样本来识别同一超类别下的子类别。最近的方法大多采用单一的相似性度量，即，单独的全球或局部措施。然而，对于具有高类内方差和低类间方差的细粒度图像，探索全局不变特征和区分性局部细节是非常必要的。在本文中，我们提出了一个任务感知的双重相似性网络（TDSNet），它适用于全球的功能和本地补丁，以达到更好的性能。具体地说，采用局部特征增强模块来激活具有强鉴别力的特征。此外，任务感知注意利用整个任务中的重要补丁。最后，通过全局特征和判别性局部补丁得到的类原型都被用于预测。在三个细粒度数据集上的实验表明，与其他最先进的算法相比，本文提出的TDSNet具有很好的性能。
2022-10-22 cs.CV
Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
用于目标检测的传统的基于深度学习的方法需要大量的限界框注释用于训练，这对于获得这样的高质量注释数据是昂贵的。Few-Shot目标检测是一种非常具有挑战性的方法，它只需要很少的注释样本就可以适应新的类，因为新对象的细粒度特征很容易被忽略，只有很少的数据可用。在这项工作中，为了充分利用带注释的新对象的特征并捕获查询对象的细粒度特征，我们提出了具有上下文感知聚合的密集关系蒸馏（DCNet）来解决少镜头检测问题（Few-Shot detection problem）。基于元学习的框架，稠密关系蒸馏模块的目标是充分利用支持特征，其中支持特征和查询特征是密集匹配的，以前馈方式覆盖所有空间位置。引导信息的大量使用赋予模型处理常见挑战的能力，例如外观变化和遮挡。此外，为了更好地捕获尺度感知特征，上下文感知聚合模块自适应地利用不同尺度的特征，以获得更全面的特征表示。大量的实验表明，我们提出的方法在PASCAL VOC和MS COCO数据集上实现了最先进的结果。代码将在https://github.com/hzhupku/DCNet上提供。
2021-03-30 cs.CV
Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning
Monash University（莫纳什大学）；Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Amazon Australia（亚马逊澳大利亚）；The University of Melbourne（墨尔本大学）
学习和推广到新的概念，很少的样本（少样本学习）仍然是一个重要的挑战，现实世界的应用。实现少样本学习的主要方法是实现一个能够快速适应给定任务上下文的模型。动态网络已经被证明能够有效地学习内容自适应参数，使它们适合于少样本学习。在本文中，我们建议学习卷积网络的动态内核作为手头任务的函数，从而实现更快的泛化。为此，我们根据整个任务和每个样本获得动态内核，并开发一种机制，进一步独立调节每个通道和位置。这导致动态内核同时关注全局信息，同时也考虑可用的微小细节。我们的经验表明，我们的模型提高了性能的Few-Shot分类和检测任务，实现了有形的改善，超过几个基线模型。这包括4个Few-Shot分类基准测试的最新结果：mini-ImageNet，tiered-ImageNet，CUB和FC 100以及Few-Shot检测数据集的竞争结果：MS COCO-PASCAL-VOC。
2022-07-13 cs.CV
FrontVeg V2: A Training-Free Software Framework for Foreground-Aware Zero-Shot Plant Trait Segmentation in High-Resolution Images of Trellised Crops
IRHS, INRAE, Univ. Angers（法国国家农业、食品与环境研究院（INRAE）IRHS研究所，昂热大学）；LARIS, Univ. Angers（昂热大学LARIS实验室）；GAFL, INRAE（法国国家农业、食品与环境研究院（INRAE）GAFL研究所）；SVQV, UMR1131, INRAE, Univ. Strasbourg（法国国家农业、食品与环境研究院（INRAE）UMR1131 SVQV研究所，斯特拉斯堡大学）；UEAV, INRAE（法国国家农业、食品与环境研究院（INRAE）UEAV实验站）；UEA, UMR0393, INRAE（法国国家农业、食品与环境研究院（INRAE）UMR0393 UEA研究所）
FrontVeg V2提出一种无训练软件框架，结合深度估计与零样本分割，实现棚架作物高分辨率图像中前景感知的植物性状分割，减少邻行干扰，支持多作物多性状表型分析。
2026-10-06 cs.CV
Uncertainty-aware Human Motion Prediction
人体运动预测对于人体运动分析和人机交互等任务至关重要。已经提出了大多数现有的方法来实现运动预测。然而，他们忽略了一个重要的任务，预测结果的质量评估。对于目前的方法来说，在实际场景中已经足够了，因为在没有对预测进行评估的情况下，人们无法知道如何与机器进行交互，而不可靠的预测可能会误导机器伤害人类。因此，我们提出了一个不确定性感知的人体运动预测框架（UA-HMP）。具体而言，我们首先设计一个不确定性感知预测器，通过高斯建模，以实现预测运动的价值和不确定性。然后，提出了一种不确定性引导的学习方案，量化的不确定性，并减少噪声样本的负面影响，在优化，以获得更好的性能。我们提出的框架很容易与当前的SOTA基线相结合，以克服其在不确定性建模中的弱点，只需少量的参数增量。大量的实验也表明，他们可以实现更好的性能，在短期和长期的预测H3.6M，CMU-Mocap。
2021-07-08 cs.CV
Shot-Aware Frame Sampling for Video Understanding
ByteDance（字节跳动）；Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
本文提出InfoShot，一种任务无关的快门感知帧采样方法，用于长视频理解。通过分割视频为语义一致的快门，并选择两种互补的关键帧，以保留视频结构和短时变化信息，提升视频理解和异常检测性能。
2026-03-18 cs.CV
Delving into Shape-aware Zero-shot Semantic Segmentation
Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Didi Chuxing（滴滴出行）
本文提出利用自监督像素级特征构建拉普拉斯矩阵特征向量来增强形状感知，在 Pascal 和 COCO 上刷新零样本语义分割最优性能。
2023-04-17 cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University（雪城大学）
针对现有零样本3D点云分割方法迁移能力有限的问题，提出几何感知框架3D-PointZshotS，通过潜在几何原型增强特征生成与对齐，引入自一致性损失提升鲁棒性，在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）；Monash University（莫纳什大学）
虽然音频驱动的说话人脸生成已经取得了重大进展，现有的方法要么忽略面部情感或不能适用于任意主题。在本文中，我们提出了一种基于情感感知的运动模型（EAMM），通过引入情感源视频来生成单次情感说话人脸。具体来说，我们首先提出了一个Audio 2Facial-Dynamics模块，它从音频驱动的无监督零阶和一阶关键点运动中呈现说话的面孔。然后，通过探索运动模型的属性，我们进一步提出了一个隐式情感位移学习器表示情感相关的面部动态线性添加剂位移先前获得的运动表示。综合实验表明，通过将这两个模块的结果，我们的方法可以生成令人满意的说话人脸的结果与现实的情感模式的任意主题。
2022-09-23 cs.CV
DARD: Zero-Shot Degradation-Aware Retinex-Guided Diffusion for Low-Light Image Enhancement
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Anhui University（安徽大学）
针对现有扩散增强方法的缺陷，提出零样本退化感知Retinex引导扩散框架DARD，经多基准实验及语义分割下游验证，其性能优于现有零样本基线，可提升图像增强后的mIoU。
2026-09-01 cs.CV
Cycle-Consistency Uncertainty Estimation for Visual Prompting based One-Shot Defect Segmentation
AI Tech Team, LG Energy Solution（LG能源解决方案 AI技术团队）
针对视觉提示方法在工业缺陷检测中的过度自信问题，提出基于循环一致性的不确定性估计方法，通过计算恢复提示掩码与原始掩码的mIoU量化不确定性，在VISION24挑战赛中取得0.9175的良率。
2024-09-21 cs.CV
Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation
MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；Shanghai Jiao Tong University（上海交通大学）
工业中缺陷图像的不足严重阻碍了缺陷检测的性能，这可以通过产生更多的样本作为数据增强来缓解。我们提出了第一个缺陷图像生成方法在具有挑战性的Few-Shot的情况下。给定少量的缺陷图像和相对更多的无缺陷图像，我们的目标是用新的缺陷图像来增强数据集。我们的方法包括两个训练阶段。首先，我们训练一个数据高效的StyleGAN 2，将无缺陷图像作为骨干。其次，我们将缺陷感知残差块附加到主干上，主干学习生成合理的缺陷掩码，并通过在有限的缺陷图像上训练添加的模块来相应地操纵掩码区域内的特征。在MVTec AD数据集上进行的大量实验不仅验证了该方法在生成逼真且多样化的缺陷图像方面的有效性，而且还体现了它为下游缺陷检测任务带来的好处。代码可在https://github.com/Ldhlwh/DFMGAN上获得。
2023-03-04 cs.CV
R&B: Region and Boundary Aware Zero-shot Grounded Text-to-image Generation
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
本文提出R&B方法，通过区域与边界感知的交叉注意力引导及离散采样，在无需训练或微调的情况下实现零样本接地文本到图像生成，显著提升了图像保真度、文本兼容性和布局准确性。
2023-11-27 cs.CV
Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
与传统的零射击学习（Zero-Shot Learning，简称GSTL）相比，识别未见过的类是主要或唯一的目标，广义零射击学习（Generalized Zero-Shot Learning，简称GSTL）的目标是识别可见和未见过的类。大多数GALML方法通常学习从看不见的类的语义信息中合成可视化表示。然而，这些类型的模型容易过度拟合可见类，导致可见类和不可见类的生成特征之间的分布重叠。重叠区域充满了不确定性，因为模型很难确定重叠区域内的测试用例是可见的还是不可见的。此外，这些生成方法在具有稀疏训练样本的场景中受到影响。这些模型很难学习高维视觉特征的分布，因此无法捕获最具鉴别力的类间特征。为了解决这些问题，在本文中，我们提出了一种新的框架，利用双变分自编码器与三重损失学习歧视性的潜在特征，并应用基于熵的校准，以尽量减少在重叠区域的不确定性之间的可见和不可见的类。具体而言，具有三重损失的二元生成模型合成了可以从视觉或语义空间映射的类间区分性潜在特征。为了校准所见类别的不确定性，我们计算了来自通用分类器的softmax概率分布上的熵。通过这种方法，识别可见类内的可见样本相对简单，并且可见样本被错误分类为重叠区域中的不可见类的风险较小。在六个基准数据集上的大量实验表明，该方法优于最先进的方法。
2021-01-09 cs.CV
Shot-by-Shot: Film-Grammar-Aware Training-Free Audio Description Generation
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；CVIT, IIIT Hyderabad（海得拉巴印度理工学院计算机视觉研究所）；LIGM, École des Ponts ParisTech（巴黎理工学院路易-狄塞尔数学与计算机科学实验室）；SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究所）
提出基于镜头的两阶段免训练框架，利用电影语法指导音频描述生成，兼容多种视觉语言模型，性能超越同类方法并引入新评估指标。
2025-09-13 cs.CV
SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
Seoul National University（首尔国立大学）
SynQ通过合成感知微调解决零样本量化中合成数据噪声、目标模式预测和错误标签误导问题，提升模型精度。
2026-03-19 cs.CV
Respect Your Zero-Shot Uncertainty: Conservative Calibration for Test-Time-Adapted Vision-Language Models
针对测试时自适应（TTA）视觉-语言模型校准度下降的问题，提出零样本锚定熵校准（ZAEC）方法，通过最小温度缩放恢复锐化预测的零样本熵，在多模型多数据集上实现了更低的期望校准误差（ECE）。
2026-08-07 cs.CV
Language-Aware Information Maximization for Transductive Few-Shot CLIP
École de Technologie Supérieure (ÉTS)（École de Technologie Supérieure）；Université Catholique de Louvain (UCLouvain)（Université Catholique de Louvain）；Université de Mons (UMons)（Université de Mons）
针对直推式少样本学习在视觉语言模型中研究不足的问题，提出整合三项损失的LIMO方法，结合参数高效微调策略，大幅提升了直推式少样本CLIP的性能。
2026-11-10 cs.CV
Context-Aware Single-Shot Detector
Futurewei Technologies（未来wei技术公司）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
SSD是最先进的目标检测算法之一，它结合了高检测精度和实时速度。然而，人们普遍认为，SSD在检测小对象方面不如大对象准确，因为它忽略了提案框之外的上下文。在本文中，我们提出了CSSD-一个速记上下文感知的单镜头多框对象检测器。CSSD是建立在SSD之上的，额外的层建模多尺度上下文。我们描述了CSSD的两种变体，它们在上下文层上不同，分别使用扩张卷积层（DiCSSD）和去卷积层（DeCSSD）。实验结果表明，多尺度上下文建模显著提高了检测精度。此外，我们研究了有效感受野（ERFs）和理论感受野（TRFs）之间的关系，特别是在VGGNet上。实验结果进一步加强了我们的结论，SSD与上下文层结合实现了更好的检测结果，特别是对于小对象（与最新的SSD相比，MS-COCO上的$+3.2\% {\rm AP}_{@0.5}$），同时保持了相当的运行时性能。
2018-03-24 cs.CV
PartSeg: Few-shot Part Segmentation via Part-aware Prompt Learning
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；Beijing Institute of Technology（北京理工大学）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
针对少样本部件分割任务，提出基于CLIP的部件感知提示学习方法PartSeg，通过生成部件专属提示并建立跨类别部件关联，在PartImageNet和Pascal_Part数据集上取得了SOTA性能。
2023-08-24 cs.CV
