Few-shot Semantic Image Synthesis Using StyleGAN Prior
University of Tsukuba（筑波大学）；Universi（Universi（注：原文中“Univeristy”应为“University”的拼写错误，正确机构为筑波大学））
本文解决了一个具有挑战性的问题，从语义布局生成逼真的图像在Few-Shot的情况下，注释的训练对几乎是可用的，但像素的注释是相当昂贵的。我们提出了一种训练策略，使用StyleGAN先验对语义掩码进行伪标记。我们的关键思想是从几个语义掩码的例子中构建StyleGAN特征和每个语义类之间的简单映射。通过这种映射，我们可以从随机噪声中生成无限数量的伪语义掩码，以训练编码器来控制预训练的StyleGAN生成器。虽然伪语义掩模可能过于粗糙，以前的方法，需要像素对齐的掩模，我们的框架可以合成高质量的图像，不仅密集的语义掩模，但也稀疏的输入，如地标和涂鸦。各种数据集的定性和定量结果表明，在布局保真度和视觉质量方面，在少至一个或五个镜头的设置比以前的方法的改进。
2021-05-12 cs.CV cs.GR
Illiterate DALL-E Learns to Compose
Rutgers University（罗格斯大学）；KAIST（韩国科学技术院）
虽然DALL-E在图像生成中表现出了令人印象深刻的基于组合的系统泛化能力，但它需要文本-图像对的数据集，并且组合性由文本提供。相比之下，以对象为中心的表示模型（如Slot Attention模型）在没有文本提示的情况下学习可组合表示。然而，与DALL-E不同，其系统地概括zero-shot生成的能力是非常有限的。在本文中，我们提出了一个简单但新颖的基于插槽的自动编码架构，称为SLATE，结合了两个世界的最好的：学习以对象为中心的表示，允许系统的泛化在没有文本的zero-shot图像生成。因此，该模型也可以被视为文盲DALL-E模型。与现有的以对象为中心的表示模型的像素混合解码器不同，我们建议使用图像GPT解码器条件的插槽捕捉槽和像素之间的复杂的相互作用。在实验中，我们表明，这种简单，易于实现的架构，不需要一个文本提示，实现了显着的改善，在分布和分布外（zero-shot）的图像生成和定性可比或更好的插槽注意力结构比基于混合解码器的模型。
2022-03-14 cs.CV cs.LG
Object-Centric World Models from Few-Shot Annotations for Sample-Efficient Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Beijing Institute of Technology（北京理工大学）
本文提出OC-STORM框架，通过面向对象表示提升MBRL在复杂视觉领域的样本效率，实验证明其在Atari和Hollow Knight中的优越性能。
2026-02-25 cs.CV cs.LG
LatentMan: Generating Consistent Animated Characters using Image Diffusion Models
KAUST（阿卜杜拉国王科技大学）
提出LatentMan零样本方法，利用文本动作扩散模型指导T2I模型生成连续动作动画角色视频，通过Spatial Latent Alignment和Pixel-Wise Guidance提升帧间时间一致性，优于现有零样本T2V方法。
2024-06-02 cs.CV cs.LG
ELBO-T2IAlign: A Generic ELBO-Based Method for Calibrating Pixel-level Text-Image Alignment in Diffusion Models
School of Software, Beihang University（北航软件学院）；College of Computer and Cyber Security, Hebei Normal University（河北师范大学计算机与网络安全学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）
研究利用零样本指称图像分割评估扩散模型像素级图像与文本对齐，分析训练数据偏差导致的不对齐问题，提出ELBO-T2IAlign方法校准像素-文本对齐，无需额外标注等，实验验证其有效性。
2026-07-07 cs.AI cs.CV
FIGO: Enhanced Fingerprint Identification Approach Using GAN and One Shot Learning Techniques
Tennessee Technological University（田纳西理工大学）；University of Central Arkansas（中阿肯色大学）
本文提出FIGO方法，结合Pix2Pix生成对抗网络进行指纹图像增强，并利用共享权重的孪生CNN实现单样本指纹识别，从而在低质量指纹和有限样本条件下提升自动识别性能。
2023-05-29 cs.AI cs.CV
Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions
Google（谷歌）
深度自回归模型在大规模数据集（如ImageNet）上的自然图像密度估计方面表现出了最先进的性能。然而，这样的模型需要成千上万的基于梯度的权重更新和独特的图像样本进行训练。理想情况下，这些模型将仅从少数示例中快速学习视觉概念，类似于人类在许多视觉任务中学习的方式。在本文中，我们展示了1）神经注意力和2）Meta学习技术如何与自回归模型结合使用，以实现有效的Few-Shot密度估计。我们对PixelCNN提出的修改导致Omniglot数据集上最先进的Few-Shot密度估计。此外，我们将学习的注意力策略可视化，发现它可以在没有监督的情况下学习直观的算法来完成简单的任务，例如ImageNet上的图像镜像和Omniglot上的手写。最后，我们将该模型扩展到自然图像，并在Stanford Online Products数据集上演示了Few-Shot图像生成。
2018-02-28 cs.CV cs.NE
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Pixel-by-Pixel Cross-Domain Alignment for Few-Shot Semantic Segmentation
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家跨大学信息学联盟）
在本文中，我们考虑自动驾驶应用程序中的语义分割的任务。具体来说，我们考虑跨域Few-Shot设置，其中训练可以仅使用少数真实世界注释图像和许多注释合成图像。在这种情况下，由于分割中固有的像素类不平衡，使得对齐域更具挑战性，并且导致忽略代表性不足的类并过度拟合代表性良好的类。我们解决这个问题，一个新的框架称为像素的像素跨域对齐（PixDA）。我们提出了一种新的逐像素域对抗性损失，遵循三个标准：（i）对齐每个像素的源域和目标域，（ii）避免正确表示的像素上的负传递，以及（iii）正则化不频繁类的训练以避免过拟合。逐像素对抗训练由一种新的样本选择过程和一种知识蒸馏策略辅助，该样本选择过程处理源数据和目标数据之间的不平衡，该知识蒸馏策略避免了对少数目标图像的过度拟合。我们在标准的合成到真实的基准测试中证明，PixDA在（1-5）次拍摄设置中优于以前的最先进的方法。
2021-10-22 cs.CV
Few-Shot Semantic Segmentation Augmented with Image-Level Weak Annotations
Virginia Tech（弗吉尼亚理工大学）
尽管深度神经网络在语义分割任务中取得了很大进展，但传统的基于神经网络的方法通常缺乏大量像素级注释。最近的进展，在fewshot语义分割处理的问题，只有几个像素级的注释的例子。然而，这些Few-Shot方法不能容易地应用于多路或弱注释设置。在本文中，我们提出了Few-Shot分割范例的情况下，图像级的注释，以帮助训练过程中的一些像素级的注释。我们的核心思想是通过融合来自图像级标记数据的知识来学习类的更好的原型表示。具体来说，我们提出了一个新的框架，称为PAIA，学习类原型表示在度量空间中集成图像级注释。此外，通过考虑伪掩模的不确定性，一个蒸馏软掩模平均池化策略的设计，以处理图像级注释中的干扰。在两个数据集上的大量实验结果显示了PAIA的优越性能。
2021-06-18 cs.CV cs.LG eess.IV
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
Few-Shot语义分割解决了学习任务，其中只有少数具有地面实况像素级标签的图像可用于感兴趣的新类别。通常需要收集大量数据（即，基类），然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，弱监督Few-Shot语义分割被认为是更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，它预测伪像素级分割掩码从有限的数据量和它们的语义标签。更重要的是，我们的学习方案进一步利用产生的像素级信息，用于具有分割保证的查询图像输入。因此，我们提出的学习模型可以被看作是一个像素级的元学习者。通过对基准数据集的广泛实验，我们表明，我们的模型在完全监督设置下实现了令人满意的性能，但在弱监督设置下对最先进的方法表现良好。
2021-11-02 cs.CV
MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric Learning
Tongji University（同济大学）；King’s College London（伦敦国王学院）
在视觉识别任务中，少样本学习需要在很少的支持样本下学习对象类别的能力。随着深度学习的发展，它的重新流行主要是在图像分类中。这项工作的重点是Few-Shot语义分割，这仍然是一个很大程度上未开发的领域。最近的一些进展往往局限于单类Few-Shot分割。在本文中，我们首先提出了一种新的多路（类）编码和解码架构，有效地融合多尺度查询信息和多类支持信息到一个查询支持嵌入。多类分割直接解码后，这个嵌入。为了更好地进行特征融合，提出了一种多层次的注意力机制，包括支持度特征调制注意力和多尺度组合注意力。最后，为了增强嵌入空间学习，引入了一个额外的像素级度量学习模块，并在输入图像的像素级嵌入上制定了三重损失。在标准基准PASCAL-5i和COCO-20 i上进行的大量实验表明，我们的方法在Few-Shot分割方面明显优于现有技术
2022-07-27 cs.CV
Domino Denoise: An Accurate Blind Zero-Shot Denoiser using Domino Tilings
Lunenfeld-Tanenbaum Research Institute（卢嫩菲尔德-塔南鲍姆研究所）；University of Toronto（多伦多大学）
由于噪声会干扰下游分析，因此图像去噪在图像处理工具箱中占据重要位置。最精确的最先进的降噪器通常在代表性数据集上进行训练。但是收集训练集并不总是可行的，所以人们对盲zero-shot去噪器的兴趣越来越大，这种去噪器只对它们正在去噪的图像进行训练。最精确的盲零射击方法是盲点网络，它屏蔽像素并试图从周围环境中推断出它们。存在其他方法，其中所有神经元都参与前向推理，但它们不那么准确并且容易过拟合。在这里，我们提出了一种混合方法。我们首先介绍了一个半盲点网络，其中网络在梯度更新期间只能看到一小部分输入。然后，我们通过引入验证方案来解决过拟合问题，在该方案中，我们将像素分为两组，并使用多米诺平铺填充像素间隙。我们的方法实现了$0.28$的平均PSNR增加和速度的三倍增加，目前的黄金标准盲zero-shot去噪Self2Self的合成高斯噪声。我们通过将Pixel Domino Tiling插入到珍贵的已发布方法中来展示其更广泛的适用性。
2022-12-05 cs.CV eess.IV
SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost
Nanjing University Of Science And Technology（南京理工大学）
基于弱监督的像素级密集预测任务目前使用类注意力地图（CAM）来生成伪掩码作为地面实况。然而，现有的方法通常依赖于艰苦的训练模块，这可能会带来研磨的计算开销和复杂的训练过程。在这项工作中，语义结构感知推理（SSA），提出了探索隐藏在基于CNN的网络的不同阶段的语义结构信息，以生成高质量的CAM模型推理。具体地说，语义结构建模模块（SSM）首先提出了产生类无关的语义相关表示，其中每个项目表示之间的亲和度一类对象和所有其他。然后，结构化特征表示探索抛光一个不成熟的CAM通过点积运算。最后，将来自不同主干级的抛光CAM融合为输出。该方法具有无参数、不需要训练的优点。因此，它可以应用于广泛的弱监督像素密集预测任务。在弱监督目标定位和弱监督语义分割两个任务上的实验结果表明了该方法的有效性，在这两个任务上都取得了新的成果。
2021-11-05 cs.CV
PixelUp: Zero-Shot Semantic Feature Upsampling for Fine-Grained Vision Tasks
PixelUp是一种零样本、与视觉基础模型无关的语义特征上采样器，通过多尺度语义引导的窗口交叉注意力架构实现细粒度视觉任务的最优性能，可提升语义分割、深度估计等任务的精度。
2026-08-05 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Leverage Weakly Annotation to Pixel-wise Annotation via Zero-shot Segment Anything Model for Molecular-empowered Learning
Data Science Institute, Vanderbilt University（范德堡大学数据科学研究所）；Department of Computer Science, Vanderbilt University（范德堡大学计算机科学系）；NVIDIA Corporation（英伟达公司）；Department of Electrical and Computer Engineering, Vanderbilt University Medical Center（范德堡大学医学中心电气与计算机工程系）；Department of Pathology, Microbiology and Immunology, Vanderbilt University Medical Center（范德堡大学医学中心病理学、微生物学与免疫学系）
本文提出SAM-L方法，利用零样本分割一切模型将弱框标注自动转换为像素级标注，用于分子赋能学习，在保持分割性能的同时显著降低非专业标注者的标注负担。
2023-08-10 cs.CV eess.IV
Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for Few-Shot Segmentation
Southeast Univ.（东南大学）；Tencent Jarvis Lab（腾讯天衍实验室）
Few-Shot语义分割（FSS）的研究引起了人们的极大关注，其目标是在给定目标类的少量标注支持图像的情况下，从查询图像中分割出目标对象。这一具有挑战性的任务的关键是充分利用支持图像中的信息，通过利用查询和支持图像之间的细粒度的相关性。然而，大多数现有方法要么将支持信息压缩到几个类式原型中，要么使用部分支持信息（例如，仅前景），导致不可忽略的信息损失。在本文中，我们提出了密集像素交叉查询和支持注意加权掩码聚合（DCAMA），其中前景和背景支持信息都充分利用通过多层次像素之间的相关性配对查询和支持功能。DCAMA在Transformer架构中使用缩放点积注意力实现，将每个查询像素视为令牌，计算其与所有支持像素的相似性，并将其分割标签预测为所有支持像素标签的添加聚合-通过相似性加权。基于DCAMA的独特配方，我们进一步提出了高效和有效的一遍推理的n次拍摄分割，其中所有支持图像的像素被收集的掩模聚合一次。实验表明，我们的DCAMA在PASCAL-5i，COCO-20 i和FSS-1000的标准FSS基准测试中显着提高了最先进的水平，例如，与之前的最佳记录相比，单次mIoU的绝对改善分别为3.1%、9.7%和3.6%。消融研究也验证了DCAMA的设计。
2022-07-18 cs.CV
Deep Joint Demosaicing and High Dynamic Range Imaging within a Single Shot
Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）
空间变化曝光（SVE）是高动态范围（HDR）成像（HDRI）的一种很有前途的选择。基于SVE的HDRI，称为单次拍摄HDRI，是避免重影伪影的有效解决方案。然而，使用SVE从真实世界图像恢复全分辨率HDR图像是非常具有挑战性的，因为：a）具有不同曝光的像素中只有三分之一被相机以拜耳模式捕获，b）一些捕获的像素过度曝光和曝光不足。对于前一个挑战，设计了空间变化卷积（SVC）来处理具有不同曝光的Bayer图像。对于后一种情况，提出了一种针对过曝光和欠曝光像素干扰的曝光引导方法。最后，一个联合去马赛克和HDRI深度学习框架被正式化，以包括这两个新的组件，并实现端到端的单镜头HDRI。实验结果表明，所提出的端到端框架避免了累积错误的问题，并优于相关的国家的最先进的方法。
2021-11-14 cs.CV eess.IV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Generalization of pixel-wise phase estimation by CNN and improvement of phase-unwrapping by MRF optimization for one-shot 3D scan
Kyushu University（九州大学）；Hiroshima City University（广岛市立大学）；Kinki University（近畿大学）；Advanced Industrial Science and Technology（产业技术综合研究所）
针对单次3D扫描重建稀疏且复杂图案易受噪声影响导致解码不稳的问题，提出CG预训练U-net像素级相位插值、MRF鲁棒对应查找及曲线约束形状细化方法，并在强噪声真实数据上验证有效。
2023-09-26 cs.CV
Recursive Training for Zero-Shot Semantic Segmentation
Australian National University（澳大利亚国立大学）；Data61 – CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
通用语义分割依赖于骨干CNN网络来提取区分特征，这些特征有助于将每个图像像素分类为“看到的”对象类（即，在训练期间可用的对象类）或背景类。Zero-shot语义分割是一项具有挑战性的任务，需要一个计算机视觉模型来识别属于一个对象类，它从来没有见过的图像像素。装备一个通用的语义分割模型，以分离图像像素的“看不见的”类的背景仍然是一个开放的挑战。最近的一些模型已经通过微调Zero-Shot设置的语义分割模型的最终像素分类层来解决这个问题，但是由于缺乏监督，难以学习区分特征。我们提出了一个递归的训练计划，监督的语义分割模型的再训练使用伪特征表示的zero-shot设置。为此，我们提出了一个零拍最大平均离散（Zero-Shot Maximum Mean Discreplanation，简称ZMMD）损失，它将像素分类层的高置信度输出作为伪特征表示进行加权，并将其反馈给生成器。通过在生成器端闭合循环，我们在重新训练期间提供监督，从而帮助模型为“看不见的”类学习更具鉴别力的特征表示。我们表明，使用我们的递归训练和EST-MMD损失，我们提出的模型在Pascal-VOC 2012数据集和Pascal-Context数据集上实现了最先进的性能。
2021-02-26 cs.CV
When Point Clouds Outperform Pixels: Rethinking Zero-Shot Multimodal Anomaly Detection
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对零样本多模态异常检测中RGB与点云可靠性不均的问题，提出可靠性感知框架WOOPS，通过多视角信息解耦和模态可靠性校准，提升点云特征并自适应融合，实现更优的异常定位性能。
2026-09-23 cs.CV
Efficient few-shot learning for pixel-precise handwritten document layout analysis
University of Udine（乌迪内大学）
针对古代手写文档版面分析中像素级标注成本高昂的问题，提出一种高效少样本学习框架，并在 DIVA-HisDB 上达到与全监督 SOTA 相当的性能。
2022-10-27 cs.AI cs.CV
Augmenting Prototype Network with TransMix for Few-shot Hyperspectral Image Classification
Henan University（河南大学）；Beijing Electro-Mechanical Engineering Institute（北京机电工程研究所）
针对小样本高光谱图像分类中边界块混合多类光谱导致难分类的问题，提出APNT，以Transformer增强原型网络并用TransMix合成边界块及混合标签，取得最先进性能与更强鲁棒性。
2024-01-22 cs.AI cs.CV
Layer-Wise Feature Metric of Semantic-Pixel Matching for Few-Shot Learning
School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；Zhejiang Institute of Optoelectronics（浙江光电研究所）；School of Computer Science and Engineering, Huizhou University（惠州学院计算机科学与工程学院）；School of Information Science and Technology, Guangdong University of Foreign Studies（广东外语外贸大学信息科学与技术学院）；School of Physics, Maths and Computing, University of Western Australia（西澳大学物理、数学与计算学院）
针对少样本学习中图像空间错位导致的语义像素错配问题，提出LWFM-SPM方法，通过逐层嵌入模块和语义像素匹配模块实现更精细的相似性比较，在四个基准上取得有竞争力的性能。
2024-11-10 cs.AI cs.CV
Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）
视频预测模型通常组合三个组件：从像素空间到小潜在空间的编码器、潜在空间预测模型和回到像素空间的生成模型。然而，大且不可预测的像素空间使得训练这样的模型变得困难，需要许多训练样本。我们认为，找到一个预测潜变量并使用它来评估未来图像的一致性，可以实现数据高效的预测，因为它排除了生成模型训练的必要性。为了证明这一点，我们创建了序列完成智能测试，其中的任务是识别图像序列中可预测的变化特征，并使用此预测来选择后续图像。我们发现，一维马尔可夫对比预测编码（M-CPC_1D）模型有效地解决了这些测试，只有五个例子。最后，我们证明了M-CPC_1D在解决两个任务中的有用性，而无需事先训练：异常检测和随机运动视频预测。
2022-05-04 cs.CV cs.LG
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley（加州大学伯克利分校）
基于学习的视觉分割方法在特定类型的分割任务上取得了进展，但受到必要的监督，固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担，我们解决了Few-Shot分割的问题：给定很少的图像和很少的像素监督，相应地分割任何图像。我们提出了引导网络，它从任何数量的监督中提取潜在的任务表示，并优化我们的架构端到端，以实现快速，准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务，并在获得更多指导时快速更新。我们报告的第一个结果，从一个像素每个概念的分割，并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割，跨时间的视频分割，跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Zero-Shot Semantic Segmentation
Sorbonne Université（索邦大学）
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中，我们介绍了新的任务zero-shot语义分割：学习像素分类从未见过的对象类别与零训练样本。为此，我们提出了一种新的架构，C33 Net，结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式，P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务（所谓的“广义”zero-shot分类）。性能进一步提高了一个自我训练的步骤，依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集，Pascal-VOC和Pascal-Context，我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景，我们通过使用图形上下文编码来扩展我们的方法，以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
Few-Shot Segmentation via Cycle-Consistent Transformer
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
Few-Shot分割的目标是训练一个分割模型，该模型可以快速适应具有少量样本的新类别。传统的训练范式是学习以来自支持图像的特征为条件对查询图像进行预测。以前的方法只利用支持图像的语义级原型作为条件信息。这些方法不能利用所有的像素支持信息的查询预测，这是关键的分割任务。在本文中，我们专注于利用支持和查询图像之间的像素关系，以促进Few-Shot分割任务。我们设计了一个新的周期一致的Transformer（CyCTR）模块聚合像素支持功能到查询。CyCTR在来自不同图像的特征之间执行交叉关注，即支持和查询图像。我们观察到，可能存在意想不到的不相关的像素级支持功能。直接执行交叉注意可能会将这些特征从支持聚集到查询，并使查询特征产生偏差。因此，我们建议使用一种新的周期一致的注意力机制，以过滤掉可能有害的支持功能，并鼓励查询功能参加最翔实的像素支持图像。所有的Few-Shot分割基准上的实验表明，我们提出的CyCTR导致显着的改善相比，以前的国家的最先进的方法。具体而言，在$5^i$和COCO- $20^i$数据集上，我们实现了5shot分割的67.5%和45.6% mIoU，分别比之前的最先进方法高出5.6%和7.1%。
2022-03-08 cs.CV
PointAD: Comprehending 3D Anomalies from Points and Pixels for Zero-shot 3D Anomaly Detection
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
本文提出PointAD框架，通过将3D异常渲染为2D并投影回3D，结合点与像素的混合表示学习优化文本提示，利用CLIP实现零样本3D异常检测与分割。
2024-12-22 cs.CL cs.CV
Few-shot semantic segmentation via mask aggregation
Wuhan University（武汉大学）
Few-Shot语义分割的目标是识别只有很少的标记数据的新类。这个具有挑战性的任务需要挖掘查询图像和支持图像之间的相关关系。以前的作品通常将其视为像素分类问题。因此，已经设计了各种模型来探索查询图像和支持图像之间的像素的相关性。然而，它们只关注像素对应，而忽略了对象的整体相关性。在本文中，我们介绍了一种基于掩码的分类方法来解决这个问题。提出了一种简单的掩模分类模型--掩模聚合网络（MANET），用于同时生成固定数量的掩模及其成为目标的概率。然后，通过根据它们的位置聚合所有掩模来获得最终的分割结果。在PASCAL-5^i和COCO-20^i数据集上的实验表明，该方法的性能优于现有的基于像素的方法。这种有竞争力的性能证明了掩模分类作为Few-Shot语义分割中的替代基线方法的潜力。我们的源代码将在https://github.com/TinyAway/MANet上提供。
2022-02-15 cs.AI cs.CV
Self Supervised Learning for Few Shot Hyperspectral Image Classification
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度学习已被证明是一种非常有效的高光谱图像（HSI）分类方法。然而，深度神经网络需要大的注释数据集才能很好地泛化。这限制了深度学习对HSI分类的适用性，在HSI分类中，手动标记每个场景的数千个像素是不切实际的。在本文中，我们提出利用自监督学习（SSL）的HSI分类。我们表明，通过使用Barlow-Twins（一种最先进的SSL算法）对未标记的像素进行编码器预训练，我们可以获得具有少量标签的准确模型。实验结果表明，该方法的性能明显优于普通监督学习。
2022-06-24 cs.CV cs.LG
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI；POSTECH（浦项科技大学）；Australian National University（澳大利亚国立大学）
本文利用自监督预训练视觉Transformer的token相关性，通过自注意力和伪标签增强器实现弱监督少样本分类与分割，在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Decoupling Zero-Shot Semantic Segmentation
Wuhan University（武汉大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
零次语义分割（Zero-shot Semantic Segmentation，ZE 3）的目的是分割训练中没有出现的新类别。现有的作品制定的pixel-level zeroshot分类问题，并转移语义知识从看到的类看不见的帮助下，语言模型预先训练的文本。虽然简单，但像素级的ESP 3公式显示了集成视觉语言模型的有限能力，这些模型通常使用图像-文本对进行预训练，目前在视觉任务中表现出巨大的潜力。受人类经常执行片段级语义标记的观察的启发，我们提出将BM 3解耦为两个子任务：1）将像素分组为片段的类不可知分组任务。2)段上的zero-shot分类任务。前一个任务不涉及类别信息，可以直接转移到组像素看不见的类。后一个任务在段级执行，并提供了一种自然的方式来利用大规模的视觉语言模型，这些模型是用图像-文本对（例如CLIP）预先训练的。基于解耦公式，我们提出了一个简单有效的zero-shot语义分割模型，称为ZegFormer，它在1993年的标准基准测试中表现出比以前的方法更好的性能，例如，PASCAL VOC 22分，COCO-Stuff 3分，在mIoU方面看不见的类。代码将在https://github.com/dingjiansw101/ZegFormer上发布。
2022-04-15 cs.CV
From Skeletons to Pixels: Few-Shot Precise Event Spotting via Representation and Prediction Distillation
Department of Business Analytics（商业分析系）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
本文提出两种互补的蒸馏策略，通过多模态蒸馏提升少样本精确事件定位的泛化能力，实验表明在网球和花样滑冰数据集中均优于单一模态基线。
2026-04-21 cs.AI cs.CV
OTSeg: Multi-prompt Sinkhorn Attention for Zero-Shot Semantic Segmentation
Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院人工智能研究生院）；Massachusetts General Hospital (MGH)（麻省总医院）；Harvard Medical School（哈佛医学院）
针对现有零样本语义分割方法中CLIP文本与像素嵌入对齐不足的问题，提出基于最优传输的多提示Sinkhorn注意力机制OTSeg，在三个基准数据集上实现SOTA性能。
2024-07-11 cs.AI cs.CV cs.LG
Multi-level Metric Learning for Few-shot Image Recognition
Nanjing University（南京大学）
少样本学习致力于在少量样本上训练模型。这些方法中的大多数基于像素级或全局级特征表示来学习模型。然而，使用全局特征可能会丢失局部信息，并且使用像素级特征可能会丢失图像的上下文语义。而且，这类著作只能在单一的层面上衡量它们之间的关系，不够全面和有效。如果查询图像可以同时通过三个不同级别的相似性度量进行很好的分类，则类内的查询图像可以更紧密地分布在较小的特征空间中，从而生成更具鉴别力的特征图。受此启发，我们提出了一种新的部分级嵌入自适应图（PEAG）方法来生成特定于任务的功能。此外，提出了一种多层次度量学习（MML）方法，它不仅计算像素级的相似性，而且还考虑了部分级特征和全局级特征的相似性。在流行的Few-Shot图像识别数据集上的大量实验证明了该方法的有效性。我们的代码可在\url{https://github.com/chenhaoxing/M2L}上获得。
2021-12-06 cs.CV
U-DIADS-Bib: a full and few-shot pixel-precise dataset for document layout analysis of ancient manuscripts
University of Udine（乌迪内大学）；University of Trieste（的里雅斯特大学）
本文提出U-DIADS-Bib数据集及其小样本版本U-DIADS-BibFS，通过计算机辅助分割流程实现古代手稿像素级精确版面分析，旨在弥合计算机视觉与人文学科需求差距并支持少样本模型开发。
2024-01-16 cs.AI cs.CV cs.LG
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
CenterMask: single shot instance segmentation with point representation
Meituan Dianping Group（美团点评集团）
本文提出了一种简单、快速、准确的单镜头实例分割方法。单阶段实例分割存在两个主要挑战：对象实例区分和逐像素特征对齐。因此，我们将实例分割分解为两个并行的子任务：局部形状预测，即使在重叠的条件下也可以分离实例;全局显著性生成，以像素到像素的方式分割整个图像。这两个分支的输出被组合以形成最终的实例掩码。为了实现这一点，局部形状信息是从物体中心点的表示。完全从头开始训练，没有任何花里胡哨的东西，拟议的CenterMask实现了34.5掩模AP，速度为12.3 fps，使用具有挑战性的COCO数据集上的单尺度训练/测试的单模型。该方法的精度高于其他所有单阶段实例分割方法，除了速度慢5倍的TensorMask，这表明了CenterMask的有效性。此外，我们的方法可以很容易地嵌入到其他一级目标检测器，如FCOS和表现良好，显示了通用的CenterMask。
2020-04-11 cs.CV
Spectral Prompt Tuning:Unveiling Unseen Classes for Zero-Shot Semantic Segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出单阶段方法SPT-SEG，通过引入SPT频谱提示和SGD解码器增强CLIP对未见类别的像素级预测能力，在公开数据集上优于现有方法。
2024-06-03 cs.CL cs.CV
Few-Shot Segmentation Without Meta-Learning: A Good Transductive Inference Is All You Need?
ÉTS Montreal（蒙特利尔高等工程技术学院）；CentraleSupélec-CNRS（中央理工-高等电力学院-法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
我们表明，在Few-Shot分割任务中进行推理的方式对性能有很大的影响-这是文献中经常忽视的一个方面，有利于元学习范式。我们引入了一个给定的查询图像的直推推理，利用其未标记像素的统计数据，通过优化一个新的损失包含三个互补项：i）标记的支持像素上的交叉熵; ii）未标记的查询图像像素上的后验子的香农熵; iii）基于预测前景的比例的全局KL发散正则化。由于我们的推理使用提取特征的简单线性分类器，因此其计算负载与归纳推理相当，并且可以在任何基础训练之上使用。放弃情景训练，只在基类上使用标准的交叉熵训练，我们的推理在单次场景中的标准基准测试中产生了有竞争力的性能。随着可用镜头数量的增加，性能差距扩大：在PASCAL-5i上，我们的方法在5次和10次镜头场景中分别比最先进的方法提高了5%和6%。此外，我们还引入了一个新的设置，其中包括域转移，其中基类和新类来自不同的数据集。我们的方法在这个更现实的环境中实现了最佳性能。我们的代码可以在网上免费获得：https://github.com/mboudiaf/RePRI-for-Few-Shot-Segmentation。
2021-03-29 cs.CV
AgMTR: Agent Mining Transformer for Few-shot Segmentation in Remote Sensing
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；Tsinghua University（清华大学）
针对遥感场景中像素级少样本分割易产生语义模糊的问题，提出AgMTR，通过挖掘局部感知智能体构建智能体级语义关联，有效提升前景与背景的语义清晰度并达到SOTA性能。
2024-09-26 cs.CV
Dense Affinity Matching for Few-Shot Segmentation
Zhejiang University（浙江大学）；Huawei Technologies Ltd（华为技术有限公司）；Aberystwyth University（阿伯里斯特威斯大学）；State University of New York（纽约州立大学）
提出DAM框架，用双向3D卷积建模支持-查询像素及像素-图像块关系，并通过HSFM利用支持背景抑制查询干扰，在10个基准上以0.68M参数取得有竞争力的小样本分割性能。
2023-07-17 cs.CV
High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出一种基于一维Wasserstein距离双射映射的零样本文理异常定位方法，通过局部特征对应分析聚合像素误差贡献，在MVTec AD上实现误差降低超40%。
2023-12-04 cs.CV
Rethinking Few-Shot Image Fusion: Granular Ball Priors Enable General-Purpose Deep Fusion
本文提出粒度球先验方法，通过自适应损失函数实现少样本图像融合，提升融合质量和模型效率。
2026-03-11 cs.CV cs.GR cs.LG
ZegCLIP: Towards Adapting CLIP for Zero-shot Semantic Segmentation
The University of Adelaide（阿德莱德大学）；Sichuan University（四川大学）
提出单阶段ZegCLIP，通过三个简单设计保留CLIP零样本能力，实现高效像素级分割，在三个基准上大幅超越现有方法，推理加速约5倍。
2023-06-20 cs.CV
MedFocusCLIP : Improving few shot classification in medical datasets using pixel wise attention
Indian Institute Of Technology Gandhinagar（印度理工学院甘地纳格尔分校）；University Of Bath（巴斯大学）
本文提出 MedFocusCLIP，利用 SAM2 分割掩码引导 CLIP 视觉编码器关注判别性区域，在多个医学少样本分类数据集上显著提升准确率并提供定位解释。
2025-01-07 cs.CV eess.IV
Flying Triangulation - towards the 3D movie camera
Friedrich Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
飞行三角测量传感器可对复杂形状的物体进行徒手和运动稳健的3D数据采集。测量原理基于多线光切片方法，并使用复杂的算法进行实时配准（S。Ettl等人，51（2012）281-289）。作为“单次拍摄原则”，光切片允许从单次相机曝光中获取表面数据。但有一个缺点：由于基本的信息理论原因，像素密集的测量是不可能的。通过“像素密集”，我们理解每个像素显示单独测量的距离信息，既不从其相邻像素插值，也不使用横向上下文信息。因此，对于单模单次拍摄原理，从一个2D原始图像生成的3D数据显示比相机允许的空间带宽低得多的空间带宽。这是运动鲁棒性必须付出的代价。目前，我们的传感器投射大约10条线（每条线具有1000像素），达到的数据效率比单次拍摄传感器理论上可能达到的数据效率低得多。我们的目标是将飞行三角测量推向其信息理论极限。因此，需要显著增加线密度以及测量深度。这导致了严重的索引歧义。在通往单镜头3D电影摄像机的道路上，我们正在研究解决方案，通过利用尚未开发的信息来克服伪线索引的问题。我们将介绍几种方法，并将讨论关于3D传感器的信息效率的深刻的信息理论问题。
2013-05-17 cs.CV physics.optics
PXDepth: Pixel-Space Modeling for Structure Preserving Monocular Depth Estimation
CUHKSZ（香港中文大学（深圳））；Shenzhen-FNii（深圳先进院集成所）；Sun Yat-sen University（中山大学）
该研究针对单目深度估计难以保留细结构的问题，提出PXDepth模型，通过分离全局上下文建模与像素级预测，在零样本基准上实现了兼具局部几何精度与全局深度一致性的高效估计。
2026-09-01 cs.AI cs.CV cs.GR
Few-shot Segmentation with Optimal Transport Matching and Message Flow
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Delta Research Center（台达研究中心）
在这项工作中，我们解决了具有挑战性的任务，Few-Shot分割。充分利用支持信息是Few-Shot语义分割的关键。以往的方法通常采用支持度特征的掩码平均池化来提取支持度线索作为全局向量，通常被显著部分所支配，丢失了某些重要线索。在这项工作中，我们认为，每个支持像素的信息是希望被转移到所有的查询像素，并提出了一个对应匹配网络（CMNet）的最佳运输匹配模块挖掘出查询和支持图像之间的对应关系。此外，它是至关重要的，以充分利用本地和全球的信息，从注释支持图像。为此，我们提出了一个消息流模块，沿着同一图像内部的内部流和支持和查询图像之间的交叉流传播消息，这大大有助于增强局部特征表示。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明，我们的网络实现了最新的Few-Shot分割性能。
2022-06-29 cs.CV
SPG: Sparse-Projected Guides with Sparse Autoencoders for Zero-Shot Anomaly Detection
Yachiyo Engineering Co., Ltd., Japan（八千代工程有限公司，日本）；Chubu University, Japan（中部大学，日本）
本文提出SPG框架，通过稀疏自编码器学习引导系数，实现零样本异常检测与分割，实验显示其在多个数据集上表现优异。
2026-04-03 cs.CV
