Text-guided Synthetic Geometric Augmentation for Zero-shot 3D Understanding
Keio University（庆应义塾大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所）；University of Tsukuba（筑波大学）；University of Technology Nuremberg（纽伦堡工业大学）；University of Oxford（牛津大学）
针对零样本3D分类中3D数据收集成本高、数据量有限的问题，提出文本引导几何增强方法TeGA，通过文本生成3D模型合成数据并经一致性过滤扩充数据集，在多个基准上提升了零样本3D分类性能。
2025-01-17 cs.CV
EntroAD: Structural Entropy-Guided Prompt Adaptation for Zero-Shot Anomaly Detection
Beihang University（北京航空航天大学）
提出EntroAD框架，利用结构熵引导动态路由机制和置信度感知双分支提示自适应，实现零样本异常检测，在跨数据集设置中达到最优性能。
2026-05-27 cs.CV cs.MM
AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Casivision（中科视语）；Weiqiao-UCAS Science and Technology Park（魏桥国科科技园）
AG-VAS通过引入三个可学习的语义锚点，建立统一的锚引导分割范式，提升零样本视觉异常分割的精度与性能。
2026-03-30 cs.AI cs.CV
REMEMBER: Retrieval-based Explainable Multimodal Evidence-guided Modeling for Brain Evaluation and Reasoning in Zero- and Few-shot Neurodegenerative Diagnosis
Lausanne University Hospital (CHUV)（洛桑大学医院（CHUV））；University of Lausanne (UNIL)（洛桑大学（UNIL））；Vietnam National University（越南国立大学）；University of Science, Vietnam National University Ho Chi Minh City（越南国立大学胡志明市科学大学）；International University, Vietnam National University Ho Chi Minh City（越南国立大学胡志明市国际大学）
针对神经退行性疾病诊断中深度学习模型依赖大规模标注数据、缺乏可解释性及临床数据规模小/无标注的问题，提出REMEMBER框架，通过检索式多模态证据引导实现零样本和少样本诊断，兼具可解释性与稳健性能。
2025-04-12 cs.AI cs.CL cs.CV
FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
Gestalt-Guided Image Understanding for Few-Shot Learning
University of Science and Technology Beijing（北京科技大学）
由于可用数据的稀缺性，深度学习在少样本学习任务上表现不佳。然而，人类可以从很少的样本中快速学习新类别的特征。然而，以前的工作很少考虑如何模仿人类的认知行为，并将其应用于少样本学习。本文将完形心理学引入到少样本学习中，提出了一种称为GGIU的即插即用的完形引导图像理解方法。借鉴完形心理学中的整体性原则和封闭性规律，设计了整体引导图像理解和封闭引导图像理解两种图像特征提取方法。在此基础上，利用特征估计模块对图像进行精确的特征估计。大量的实验表明，我们的方法可以有效地提高现有模型的性能和灵活性，而无需重新训练或微调。我们的代码发布在https://github.com/skingorz/GGIU上。
2023-02-08 cs.CV
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Dinnar Automation Technology（迪纳自动化技术公司）
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池（GAP）编码的注释支持图像的特征向量，以促进查询图像分割。然而，由于平均操作，该流水线不可避免地丢失了一些判别信息。在本文中，我们提出了一个简单而有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体地，通过对带注释的支持图像进行初始预测，使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量，在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发，我们提出了一个用于多镜头分割的交叉引导模块，其中使用来自多个注释样本的预测融合最终掩码，其中高质量的支持向量贡献更多，反之亦然。该模块在推理阶段改进了最终预测，而无需重新训练。大量的实验表明，我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
Query-Guided Networks for Few-shot Fine-grained Classification and Person Search
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马第一大学）；Magic Leap（Magic Leap公司）；Google（谷歌）
Few-Shot细粒度分类和人员搜索作为不同的任务出现，文献将它们分开处理。但仔细观察就会发现重要的相似之处：这两项任务都针对只能通过特定对象细节区分的类别;相关模型应该推广到新的类别，而不是在训练中看到。我们提出了一种新的统一的查询引导网络（QGN）适用于这两个任务。QGN由一个查询引导的Siamese-Squeeze-and-Excitation子网络组成，该子网络在所有网络层上重新加权查询和图库功能，一个用于查询特定本地化的查询引导区域建议子网络，以及一个用于度量学习的查询引导相似性子网络。QGN在最近的几个Few-Shot细粒度数据集上进行了改进，在CUB上的性能大大优于其他技术。QGN在人物搜索CUHK-SYSU和PRW数据集上也表现出竞争力，我们在那里进行了深入的分析。
2022-09-21 cs.CV
Zero-Shot Visual Classification with Guided Cropping
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出GC-CLIP方法，通过在预处理中使用零样本目标检测模型进行引导裁剪，增强CLIP对目标物体的关注并减少无关区域干扰，有效提升了零样本分类性能，尤其针对小目标物体。
2023-09-12 cs.CV
Reconstruction Guided Few-shot Network For Remote Sensing Image Classification
Dept. of CSE, The LNMIIT Jaipur（计算机科学与工程系，拉贾斯坦邦理工学院Jaipur）；CSRE, IIT Bombay（印度理工学院博伊斯分校计算机科学与工程研究所）
RGFS-Net通过引入掩码图像重建任务提升遥感图像少样本分类性能，实现对未见类别的泛化和已见类别的保持，有效提高低数据下的分类准确性。
2026-01-12 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；East China Normal University（华东师范大学）
针对少样本语义分割像素级标注成本高的问题，提出仅用图像级文本标签的语言引导方法，通过视觉-语言预训练模型与掩码细化器生成伪掩码，结合分布式原型监督与互补关联匹配模块挖掘语义关系，在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本研究针对遥感图像少样本语义分割任务，提出一种基于SAM的结构化框架，通过新颖的自动提示学习方法生成像素级提示，实现高效自动化分割，并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
Zero-Shot Recognition through Image-Guided Semantic Classification
National Taiwan Normal University（国立台湾师范大学）
我们提出了一个新的基于嵌入的零样本学习（ZRL）框架。大多数基于嵌入的方法旨在学习图像分类器（视觉表示）和每个类的类原型（语义表示）之间的对应关系。受多标签分类的二进制相关性方法的启发，我们提出了反向学习图像和语义分类器之间的映射。给定输入图像，所提出的图像引导语义分类（IGSC）方法创建标签分类器，应用于所有标签嵌入，以确定标签是否属于输入图像。因此，语义分类器是图像自适应的，并且是在推理期间生成的。IGSC在概念上很简单，可以通过对现有的深层分类架构进行轻微增强来实现;但它是有效的，并且在标准基准测试中优于最先进的基于嵌入的广义GML方法。
2020-07-23 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University（杜伦大学计算机科学系）
本文提出一种增强CLIP的框架，通过分离运动敏感特征和全局静态特征，结合门控交叉注意力机制提升运动表征，利用正负提示实现视频特征与文本表示的语义对齐，实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
AnimeShooter: A Multi-Shot Animation Dataset for Reference-Guided Video Generation
The University of Hong Kong（香港大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
本文提出AnimeShooter多镜头动画数据集及其生成基线AnimeShooterGen，通过分层标注、角色参考图像和MLLM结合视频扩散模型，提升跨镜头视觉一致性与参考引导的视频生成效果。
2025-06-03 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University（天津大学）；Lancaster University（兰卡斯特大学）
Zero-Shot Hashing旨在学习一种哈希模型，该模型仅由可见类别的实例训练，但可以很好地生成未见过类别的实例。通常，它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索，特别是基于图像的图像检索（IBIR）。然而，作为散列领域的一个热点研究课题，跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希（CMSHH）检索任务，我们提出了一种新的属性引导网络（AgNet），它不仅可以执行IBIR，但也基于文本的图像检索（TBIR）。特别是，AgNet将不同的模态数据对齐到语义丰富的属性空间中，这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略，利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集（AwA，SUN和ImageNet）上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Super-class guided Transformer for Zero-Shot Attribute Classification
Korea University（高丽大学）
针对零样本属性分类中可见与不可见属性关系利用不足及属性规模带来的可扩展性问题，提出 SugaFormer，通过超类查询、多上下文解码和 VLM 知识迁移实现最先进性能。
2025-01-16 cs.CV
Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement
Wenzhou-Kean University（温州肯恩大学）
低光图像挑战人类感知和计算机视觉算法。对于计算摄影和计算机视觉应用（如实时检测和分割）来说，使算法鲁棒以启发弱光图像至关重要。本文提出了一种语义引导的zero-shot低光照增强网络（SGZ），该网络在没有配对图像、未配对数据集和分割注释的情况下进行训练。首先，我们设计了一个增强因子提取网络使用dependency可分离卷积的低光图像的像素级光不足的有效估计。其次，我们提出了一个经常性的图像增强网络，逐步增强低光图像与负担得起的模型大小。最后，我们引入了一个无监督的语义分割网络，用于在密集增强过程中保留语义信息。在基准数据集和低光视频上的大量实验表明，我们的模型优于以前的最先进的。我们进一步讨论了所提出的方法用于低光检测和分割的好处。代码可在https://github.com/ShenZheng2000/Semantic-Guided-Low-Light-Image-Enhancement上获得
2021-11-25 cs.CV
FAGStyle: Feature Augmentation on Geodesic Surface for Zero-shot Text-guided Diffusion Image Style Transfer
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education（教育部硅酸盐文物保护重点实验室（上海大学））
FAGStyle提出零样本文本引导扩散图像风格迁移方法，通过滑动窗口裁剪、测地曲面特征增强和预形状自相关损失，实现风格一致性与内容保持，性能优于现有方法。
2024-08-21 cs.CV
Enhancing Zero-shot Counting via Language-guided Exemplar Learning
Zhejiang Sci-Tech University（浙江理工大学）；Dalian Maritime University（大连海事大学）；Tencent AI Lab（腾讯AI实验室）；University of Guelph（圭尔夫大学）
提出ExpressCount，通过语言引导的示例学习增强零样本计数，利用大型语言模型语义先验和双分支交叉注意力机制，在FSC-147-Express上达到最先进性能。
2024-02-08 cs.CV
MAGIC: Map-Guided Few-Shot Audio-Visual Acoustics Modeling
South China University of Technology（华南理工大学）
提出地图引导框架MAGIC，利用少样本观测构建场景语义图，结合Transformer编解码器预测房间冲激响应，在Matterport3D和Replica数据集上验证有效性。
2024-05-22 cs.CV
Progressively Dual Prior Guided Few-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方理工高等研究院）；Northwestern Polytechnical University（西北工业大学）
Few-Shot语义分割任务的目的是在查询图像中使用少量带注释的支持样本进行分割。目前，Few-Shot分割方法主要集中在利用前景信息，而没有充分利用丰富的背景信息，这可能会导致错误激活类似前景的背景区域，并且不适应支持-查询图像对的剧烈场景变化。同时，由于原型处理对象外观变化的能力有限，细节挖掘机制的缺乏可能导致粗糙的解析结果，没有一些语义成分或边缘区域。为了解决这些问题，我们提出了一个渐进的双重先验引导的Few-Shot语义分割网络。首先设计了双先验模板生成（DPMG）模块，将背景作为辅助细化信息，以前景-背景比较的方式抑制错误激活。在此基础上，提出了一种渐进式语义细节丰富（PSDE）模块，通过迭代删除高置信度的前景区域并激活其余区域中的细节，使解析模型能够捕获隐藏的语义细节。DPMG和PSDE的合作制定了一个新的Few-Shot分割网络，可以以端到端的方式学习。在PASCAL-5i和MS COCO上的综合实验表明，该算法具有较好的性能。
2022-11-20 cs.CV
Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对CLIP对抗微调易过拟合的问题，提出PMG-AFT，通过辅助分支对齐对抗样本特征以保留预训练泛化能力，在15个零样本数据集上显著提升鲁棒与干净准确率。
2024-04-10 cs.CV
DARD: Zero-Shot Degradation-Aware Retinex-Guided Diffusion for Low-Light Image Enhancement
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Anhui University（安徽大学）
针对现有扩散增强方法的缺陷，提出零样本退化感知Retinex引导扩散框架DARD，经多基准实验及语义分割下游验证，其性能优于现有零样本基线，可提升图像增强后的mIoU。
2026-09-01 cs.CV
Zo3T: Zero-Shot 3D-Aware Trajectory-Guided Image-to-Video Generation via Test-Time Training
Zo3T通过引入3D感知运动投影、轨迹引导测试时间LoRA和指导场校正，提升了轨迹引导图像到视频生成的3D真实感和运动准确性。
2025-12-09 cs.CV
FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion
Kling Team, Kuaishou Technology（快手科技 Kling Team）
FilmWeaver通过缓存引导自回归扩散模型实现多镜头视频的一致性生成，支持灵活交互和多任务应用。
2025-12-12 cs.CV
Z-Magic: Zero-shot Multiple Attributes Guided Image Creator
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出Z-Magic框架，从条件概率视角建模多属性依赖并结合多任务学习，在零样本设置下提升图像生成的属性连贯性并降低计算成本。
2025-03-15 cs.CV
Complementary Text-Guided Attention for Zero-Shot Adversarial Robustness
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of the Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出TGA-ZSR和Comp-TGA方法，通过局部注意力细化模块和全局注意力约束模块提升CLIP模型的零样本对抗鲁棒性，实验显示在16个数据集上分别提升9.58%和11.95%。
2026-03-19 cs.CV
Prompt-guided Scene Generation for 3D Zero-Shot Learning
The University of New South Wales（新南威尔士大学）；Australian National University（澳大利亚国立大学）；North South University（北南大学）；University of Technology Sydney（悉尼科技大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
3D点云数据上的零样本学习与2D图像上的零样本学习相比是一个相关的研究不足的问题。3D数据给CNOL带来了新的挑战，因为没有鲁棒的预训练特征提取模型。为了解决这个问题，我们提出了一种基于人工智能的3D场景生成和监督方法，该方法可以增强3D数据以更好地学习网络，探索可见和不可见对象之间复杂的相互作用。首先，我们合并点云的两个3D模型在一定的方式所描述的提示。提示的作用类似于描述每个3D场景的注释。之后，我们执行对比学习，以端到端的方式训练我们提出的架构。我们认为，3D场景可以更有效地关联对象比单个对象，因为流行的语言模型（如BERT）可以实现高性能时，对象出现在一个上下文中。我们提出的引导的场景生成方法封装数据增强和基于引导的注释/字幕，以提高三维动画的性能。我们已经在合成（ModelNet 40，ModelNet 10）和实时扫描（ScanOjbectNN）3D对象数据集上实现了最先进的MPDL和广义MPDL性能。
2022-09-29 cs.CV
Meta Guided Metric Learner for Overcoming Class Confusion in Few-Shot Road Object Detection
Intel Corporation（英特尔公司）；Bundl Technologies
由于数据样本的稀缺性，较少出现的道路对象的定位和识别一直是自动驾驶应用中的一个挑战。Few-Shot目标检测技术扩展了来自现有基本对象类的知识，以在给定很少训练样本的情况下学习新的道路对象。FSOD中流行的技术采用Meta或度量学习技术，这些技术容易导致类混淆和基类遗忘。在这项工作中，我们引入了一种新的Meta引导度量学习器（MGML），以克服类混淆FSOD。我们通过一个新的挤压和兴奋模块重新加权高于基类的新类的特征，并通过对Meta学习器应用一个约束条件来鼓励学习真正有区别的类特定特征。我们的方法在印度驾驶数据集（IDD）上的FSOD中的表现优于最先进的（SoTA）方法，最多可达11 mAP点，而每个新道路对象只有10个示例，则最少有20%的类混淆。我们进一步显示了PASCAL VOC数据集的Few-Shot分割上的类似改进，其中我们在所有分割中超过SoTA方法高达5.8 mAP。
2021-10-28 cs.CV
Consistency-Guided Asynchronous Contrastive Tuning for Few-Shot Class-Incremental Tuning of Foundation Models
Vector Institute（矢量研究所）；York University（约克大学）
提出CoACT方法，通过异步对比微调、受控微调和一致性引导增量微调，在少样本类增量学习及新提出的FSCIT设置下有效微调基础模型，显著降低遗忘并提升性能。
2025-04-01 cs.CV
Text-guided Zero-Shot Object Localization
针对目标定位依赖大量标注数据的问题，提出零样本目标定位框架，通过引入CLIP模块融合视觉与语言信息，并设计TSSM模块增强文本特征，在无标注样本下实现文本引导的目标定位，显著提升了性能。
2024-11-18 cs.CV
Topological Data Analysis Guided Segment Anything Model Prompt Optimization for Zero-Shot Segmentation in Biological Imaging
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出拓扑数据分析引导的SAM提示优化方法，基于拓扑显著性寻找点位置取代标准网格搜索，在生物图像零样本分割中更利于寻找小目标并大幅降低计算复杂度。
2023-06-30 cs.CV
Hybrid Relation Guided Set Matching for Few-shot Action Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
当前的Few-Shot动作识别方法通过情节训练和设计各种时间对齐策略来学习每个视频的区分特征，从而达到令人印象深刻的性能。然而，它们的局限性在于：（a）在不考虑整个任务的情况下学习单个特征可能会丢失当前事件中最相关的信息，以及（b）这些对齐策略可能会在未对齐的情况下失败。为了克服这两个限制，我们提出了一种新的混合关系引导集匹配（HyRSM）的方法，它包括两个关键组成部分：混合关系模块和集匹配度量。混合关系模块的目的是通过充分利用剧集中的视频内和跨视频的关联关系来学习特定于任务的嵌入。基于特定于任务的特征，我们将查询和支持视频之间的距离度量重新定义为集合匹配问题，并进一步设计了双向Mean Hausdorff度量，以提高对未对齐实例的弹性。通过这种方式，所提出的HyRSM可以具有高度的信息性和灵活性，可以在Few-Shot设置下查询预测类别。我们在六个具有挑战性的基准上评估了HyRSM，实验结果显示了它在最先进的方法上的优越性。项目页面：https://hyrsm-cvpr2022.github.io/。
2022-04-28 cs.CV
Zero-Shot Low-Light Image Enhancement via Joint Frequency Domain Priors Guided Diffusion
Chongqing University of Technology（重庆理工大学）；School of Science, Engineering & Environment University of Salford（索尔福德大学科学、工程与环境学院）
本文提出一种零样本低光图像增强方法，通过将扩散过程迁移到小波低频域并结合小波与傅里叶频域构建丰富光照先验，以引导图像生成增强过程，实验证明其在多种场景下鲁棒有效。
2024-11-21 cs.CV
Few-Shot Learning via Saliency-guided Hallucination of Samples
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
从少量样本中学习新概念是计算机视觉中的标准挑战。提高Few-Shot训练模型学习能力的主要方向包括（i）鲁棒的相似性学习和（ii）从有限的现有样本中生成或产生额外的数据。在本文中，我们遵循后者的方向，并提出了一种新的数据幻觉模型。目前，大多数数据点生成器包含专用网络（即，GAN）的任务是产生新的数据点，因此首先需要大量带注释的数据进行训练。在本文中，我们提出了一种新的成本较低的幻觉方法少样本学习，利用显着图。为此，我们采用显着性网络来获得可用图像样本的前景和背景，并将所得的映射馈送到双流网络中，以直接在特征空间中从可行的前景-背景组合中产生数据点。据我们所知，我们是第一个利用显着性图进行此类任务的人，我们证明了它们在为少样本学习产生额外数据点方面的有用性。我们提出的网络在公开可用的数据集上达到了最先进的水平。
2019-04-06 cs.CV
FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出FONT模型，通过头部姿态预测模块、关键点预测器和流引导遮挡感知生成器，从单张源人脸和驱动音频生成具有自然头部动作和同步嘴型的逼真说话人脸视频。
2023-03-31 cs.CV
Semantics-Guided Contrastive Network for Zero-Shot Object detection
University of Technology Sydney（悉尼科技大学）；Wenzhou University（温州大学）
Zero-shot目标检测（ZSD）是将传统的检测模型扩展到从不可见的类别中检测目标的任务，已成为计算机视觉中的一个新的挑战。现有的大多数方法都采用严格的映射-迁移策略来处理ZSD任务，这可能会导致次优的ZSD结果：1）这些模型的学习过程忽略了可用的不可见类别信息，因此很容易偏向于可见类别; 2）原始视觉特征空间结构不佳，缺乏区分信息。为了解决这些问题，我们开发了一种新的语义引导的对比网络ZSD，名为ContrastZSD，一个检测框架，第一次把对比学习机制到领域的zero-shot检测。特别地，ContrastZSD结合了两个语义引导的对比学习模型，分别在区域-类别和区域-区域对之间进行对比。成对对比任务利用从地面真实标签和预定义的类相似性分布两者导出的额外监督信号。在这些显式语义监督的指导下，该模型可以学习更多的未见过类别的知识，以避免对已见概念的偏见问题，同时优化视觉特征的数据结构，使其更具区分性，以实现更好的视觉-语义对齐。在ZSD的两个流行基准上进行了大量的实验，即，PASCAL VOC和MS COCO。结果表明，我们的方法优于以前的国家的最先进的ZSD和广义ZSD任务。
2021-12-31 cs.CV
AdaCount: Training-Free Similarity-Guided Spatial and Feature Adaptation for Zero-Shot Object Counting
Mohamed Bin Zayed University of Artificial Intelligence（莫萨德·本·扎耶德人工智能大学）
针对零样本目标计数在密集小目标场景下的漏检和分割不佳问题，提出无训练框架AdaCount，通过原型驱动相似性图引导空间扭曲和特征调制，提升SAM3对目标区域的表征能力，达到新SOTA。
2026-07-03 cs.CV
LPN: Language-guided Prototypical Network for few-shot classification
Defense Innovation Institute (DII), Academy of Military Sciences（军事科学院国防创新研究院）
针对少样本分类任务，提出语言引导原型网络LPN，通过视觉-语言双并行分支融合多模态信息，利用预训练文本编码器提取类别文本特征，经特征对齐、精细化原型构建等步骤校准单模态偏差，在基准数据集上达到与最优方法相当的性能。
2023-10-21 cs.CV
Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成，采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
Boosting Few-shot Action Recognition with Graph-guided Hybrid Matching
Zhejiang University（浙江大学）；SGIT AI Lab（SGIT人工智能实验室）；State Grid Corporation of China（国家电网有限公司）；Baidu Inc.（百度公司）
针对少样本动作识别中类别原型构建与匹配不足的问题，本文提出 GgHM 框架，通过图神经网络引导的任务特征学习、帧级与元组级混合匹配及密集时间建模，在多个数据集上稳定优于强基线。
2023-08-18 cs.CV
PromptMoE: Generalizable Zero-Shot Anomaly Detection via Visually-Guided Prompt Mixtures
PromptMoE通过视觉引导的提示混合方法，实现了通用零样本异常检测，提升了模型对未见异常的泛化能力。
2025-11-22 cs.CV
Video-to-Task Learning via Motion-Guided Attention for Few-Shot Action Recognition
Xiamen University（厦门大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出双运动引导注意力学习方法DMGAL，通过自运动和交叉运动引导注意力模块从视频层面到任务层面建模时空关系，构建融合时空信息的类原型，在少样本动作识别任务中验证了全微调和适配器微调两种范式的有效性。
2024-11-18 cs.CV
CLIP-guided Prototype Modulating for Few-shot Action Recognition
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）
针对少样本动作识别中数据稀缺导致原型估计不准的问题，提出CLIP-FSAR框架，通过视频-文本对比和时序Transformer原型调制迁移CLIP语义先验，并在五个基准上显著超越现有方法。
2023-03-06 cs.CV
KG-SP: Knowledge Guided Simple Primitives for Open World Compositional Zero-Shot Learning
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
开放世界组合零样本学习（OW-CNOML）的目标是识别图像中的状态和对象的组合，在训练期间仅给出它们的子集，并且没有看不见的组合的先验知识。在这种情况下，模型在一个巨大的输出空间上运行，包含所有可能的状态对象组合。虽然以前的作品通过联合学习组合的嵌入来解决这个问题，但在这里，我们重新审视了一个简单的CNOML基线，并独立地预测原语，即状态和对象。为了确保模型开发出特定于连续性的特征，我们为状态和对象分类器配备了单独的非线性特征提取器。此外，我们通过外部知识估计每个组合的可行性，使用此先验知识从输出空间中删除不可行的组合。最后，我们提出了一个新的设置，即部分监督下的CNOML（pCNOML），在训练过程中只有对象或状态标签可用，我们可以使用我们的先验知识来估计缺失的标签。我们的模型，知识引导的简单原语（KG-SP），实现了最先进的OW-CNOML和pCNOML，甚至在加上半监督学习技术时，超过了最近的竞争对手。代码可在：https://github.com/ExplainableML/KG-SP获得。
2022-05-13 cs.CV
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology（印度理工学院）
越来越多的注意力被转移到数据高效的问题设置，如开放词汇语义分割（OVSS），它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation（ZSS，FSS）及其跨数据集变体，其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得，使用廉价的图像级标签形式的弱监督通常更实用。为此，我们提出了一种新的统一的弱监督OVSS管道，可以在新的类上执行ZSS，FSS和跨数据集分割，而无需在归纳设置中使用基础（可见）或新（不可见）类的像素级标签。我们提出了弱监督语义引导分割网络（WLSegNet），这是一种新型的语言引导分割管道，i）使用批量聚合（平均值）学习可概括的上下文向量，以使用冻结CLIP（一种视觉语言模型）将类提示映射到图像特征，ii）将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合，并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法，在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是在zero-shot场景下，从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法，采取高度抽象和稀疏的草图作为输入，然后合成相应的自然图像。然而，固有的视觉稀疏性和大的类内方差的草图，使学习的条件解码器更困难，从而实现不理想的检索性能。在本文中，我们提出了一种新的堆叠语义引导网络，以解决独特的特点，草图在EST-SBIR。具体来说，我们设计了多层特征融合网络，将不同的中间特征表示信息在一个深神经网络，以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移，我们阐述了一个粗到细的条件解码器，首先生成粗粒度的特定于类别的对应特征（以辅助语义信息作为条件输入），然后生成细粒度的特定于实例的对应特征（以草图表示作为条件输入）。此外，回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明，该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
Ambiguity-Guided Learnable Distribution Calibration for Semi-Supervised Few-Shot Class-Incremental Learning
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别新实验室）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Electronics and Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）；Jiangsu Industrial Intelligent Low Carbon Technology Engineering Center（江苏省工业智能低碳技术工程中心）
针对现有半监督少样本类别增量学习假设无标注数据仅来自当前新类别、不符实际的问题，提出歧义引导可学习分布校准策略，利用基础样本校正新类特征分布，在三个基准数据集上取得最优性能。
2025-07-31 cs.CV
Adaptive Prototype Learning and Allocation for Few-Shot Segmentation
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）；Sungkyunkwan University（成均馆大学）
原型学习广泛用于Few-Shot分割。通常，通过对全局对象信息求平均，从支持特征获得单个原型。然而，使用一个原型来表示所有的信息可能会导致歧义。在本文中，我们提出了两个新的模块，命名为超像素引导聚类（SGC）和引导原型分配（GPA），多原型提取和分配。具体来说，SGC是一种无参数、无训练的方法，通过聚合相似的特征向量来提取更具代表性的原型，而GPA则能够选择匹配的原型，提供更准确的指导。通过将SGC和GPA结合在一起，我们提出了自适应超像素引导网络（ASGNet），这是一个轻量级的模型，并适应对象的规模和形状的变化。此外，我们的网络可以很容易地推广到k-shot分割，并且有很大的改进，没有额外的计算成本。特别是，我们对COCO的评估表明，ASGNet在5次分割中超过了最先进的方法5%。
2021-05-16 cs.CV
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol（布里斯托大学）
我们引入了一种分割指导的方法来合成图像，集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域，并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上，以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器，以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失，它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明，我们的模型能够在各种对象（人脸，马，猫，汽车），域（自然，漫画，草图）和基于部分的面具（眼睛，鼻子，嘴，头发，汽车发动机罩）上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
Few-shot Forgery Detection via Guided Adversarial Interpolation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
针对小样本下未知伪造方法检测性能下降的问题，提出引导对抗插值方法，结合教师网络引导的伪影插值兼顾多类信息多样性与少类信息重要性，在构建的基准上取得SOTA且对类别选择鲁棒。
2023-08-27 cs.CV
