Self Supervised Learning for Few Shot Hyperspectral Image Classification
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
深度学习已被证明是一种非常有效的高光谱图像（HSI）分类方法。然而，深度神经网络需要大的注释数据集才能很好地泛化。这限制了深度学习对HSI分类的适用性，在HSI分类中，手动标记每个场景的数千个像素是不切实际的。在本文中，我们提出利用自监督学习（SSL）的HSI分类。我们表明，通过使用Barlow-Twins（一种最先进的SSL算法）对未标记的像素进行编码器预训练，我们可以获得具有少量标签的准确模型。实验结果表明，该方法的性能明显优于普通监督学习。
2022-06-24 cs.CV cs.LG
Self-supervised pre-training with diffusion model for few-shot landmark detection in x-ray images
University of Genoa（热那亚大学）
本研究提出利用去噪扩散概率模型（DDPMs）进行X射线图像关键点检测的自监督预训练，在仅50张标注图像下超越传统方法，为少样本场景缓解数据稀缺提供了新方案。
2025-03-06 cs.AI cs.CV
Multimodal Generalized Zero Shot Learning for Gleason Grading using Self-Supervised Learning
Inception Institute of Artificial Intelligence（起源人工智能研究院）
组织病理学图像的Gleason分级对于准确的前列腺癌（PCa）诊断至关重要。由于这种图像是在侵入性组织切除术后获得的，因此在现有范例下快速诊断是具有挑战性的。我们提出了一种方法来预测格里森等级的磁共振（MR）图像，这是非介入性的，易于获取。我们在广义零样本学习（GSTML）设置中解决了这个问题，因为我们可能无法访问每个疾病等级的训练图像。合成MRI特征向量的不可见的等级（类），通过利用格里森等级的有序性质，通过条件变分自编码器（CVAE）结合自监督学习。使用循环GANs生成相应的组织病理学特征，并结合MR特征来预测测试图像的Gleason等级。实验结果表明，我们的方法优于竞争的特征生成方法的GALML，并接近完全监督的方法的性能。
2021-11-15 cs.CV cs.LG eess.IV
Self-Supervised Approach to Addressing Zero-Shot Learning Problem
Kansas State University（堪萨斯州立大学）
近年来，自监督学习在涉及计算机视觉和自然语言处理的应用中取得了重大成功。借口任务的类型对提高表现很重要。一个常见的借口任务是测量图像对之间的相似性和不相似性。在这种情况下，构成消极对的两个图像对人类来说明显不同。然而，在昆虫学中，物种几乎无法区分，因此很难区分。在这项研究中，我们探索了暹罗神经网络的性能，使用对比损失，学习推开嵌入的大黄蜂物种对是不相似的，并拉在一起类似的嵌入。我们的实验结果显示，zero-shot实例的F1分数为61%，与训练集共享交集的类的样本的性能提高了11%。
2022-01-21 cs.CV cs.LG
DINOv2 based Self Supervised Learning For Few Shot Medical Image Segmentation
Faculty of Engineering, Tel Aviv University（特拉维夫大学工程学院）；Icahn School of Medicine, Mount Sinai（西奈山伊坎医学院）
针对医学图像分割依赖大量标注数据、难适应未知类别的问题，本研究结合ALPNet的少样本分割优势与DINOv2的自监督特征提取能力，提出新方法以提升性能并推动更鲁棒适配的医学图像分析。
2024-03-05 cs.CV cs.LG
Distance Metric Learning Loss Functions in Few-Shot Scenarios of Supervised Language Models Fine-Tuning
Warsaw University of Technology（华沙理工大学）；NASK - National Research Institute（NASK国家研究所）
本文分析了距离度量学习（DML）损失函数对分类任务的语言模型的监督微调的影响。我们使用来自SentEval Transfer Tasks的已知数据集进行了实验。我们的实验表明，应用DML损失函数可以提高Few-Shot场景中RoberTa大型模型的下游分类任务的性能。使用SoftTriple损失进行微调的模型可以比使用标准分类交叉熵损失函数的模型获得更好的结果，从0.04到13.48个百分点，具体取决于训练数据集。此外，我们完成了一个全面的分析与解释性技术，以评估模型的可靠性和解释他们的结果。
2022-11-28 cs.AI cs.CL cs.LG
Low-Trace Adaptation of Zero-shot Self-supervised Blind Image Denoising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
提出低迹自适应Noise2Noise（LoTA-N2N）模型，通过迹约束损失弥合自监督与监督去噪差距，实现零样本自监督盲去噪的最优性能。
2024-03-19 cs.CV cs.LG eess.IV
Visual Representation Learning with Self-Supervised Attention for Low-Label High-data Regime
Amazon Inc.（亚马逊公司）
自我监督已经在自然语言处理和最近的图像识别中显示出了出色的结果。与此同时，视觉Transformer及其变体已经成为各种计算机视觉任务上卷积的有前途和可扩展的替代方案。在本文中，我们是第一个问题，如果自我监督的视觉Transformer（SSL-ViTs）可以适应两个重要的计算机视觉任务，在低标签，高数据制度：Few-Shot图像分类和zero-shot图像检索。其动机是为了减少训练视觉嵌入器所需的手动注释的数量，并产生可推广的和语义上有意义的嵌入。对于Few-Shot图像分类，我们在没有任何监督的情况下对外部数据进行训练SSL-ViT，并使用此经过训练的嵌入器快速适应标签数量有限的新类别。对于zero-shot图像检索，我们使用在没有任何标签的大型数据集上预训练的SSL-ViTs，并使用几个度量学习目标对其进行微调。我们的自我监督注意力表示在两个任务的几个公共基准测试中表现优于最先进的技术，即miniImageNet和CUB 200的Few-Shot图像分类高达6%-10%，斯坦福在线产品，Cars 196和CUB 200的zero-shot图像检索高达4%-11%。代码可在\url{https://github.com/AutoVision-cloud/SSL-ViT-lowlabel-highdata}上获得。
2022-01-30 cs.CV cs.LG
Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning
Department of Computer Science \& Engineering, Texas A\&M University
方向性神经坍塌解释自监督学习中少样本迁移的机制，通过分析决策轴方差与多任务几何的关系，揭示了表示学习中的关键特性。
2026-03-03 cs.AI cs.LG
Interpretable Saliency Maps And Self-Supervised Learning For Generalized Zero Shot Medical Image Classification
Inception Institute of Artificial Intelligence（英赛普申人工智能研究院）
在许多现实世界的医学图像分类设置中，我们不能访问所有可能的疾病类别的样本，而一个强大的系统预计将在识别新的测试数据提供高性能。我们提出了一种广义的zero shot学习（GSTML）方法，该方法使用自监督学习（SSL）：1）选择不同疾病类别的锚向量; 2）训练特征生成器。我们的方法不需要类属性向量，可用于自然图像，但不用于医学图像。SSL确保锚向量代表每个类。SSL还用于生成不可见类的合成特征。使用一个更简单的架构，我们的方法匹配一个国家的最先进的SSL为基础的GALML方法的自然图像和优于所有的方法的医学图像。我们的方法是适应性强，足以容纳类属性向量时，他们可用于自然图像。
2022-08-29 cs.CV cs.LG eess.IV
ESPT: A Self-Supervised Episodic Spatial Pretext Task for Improving Few-Shot Learning
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；Sanya Science and Education Innovation Park, Wuhan University of Technology（武汉理工大学三亚科教创新园）；Hainan Yazhou Bay Seed Laboratory（海南崖州湾种子实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出自监督情景空间代理任务ESPT，通过约束原始与几何变换情景间的局部空间关系一致性，增强小样本学习特征表示，并在三个基准上达到最先进性能。
2023-04-26 cs.AI cs.CV
Improved Multi-Shot Diffusion-Weighted MRI with Zero-Shot Self-Supervised Learning Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging（阿瑟诺拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；University of São Paulo（圣保罗大学）；Technische Universität München（慕尼黑工业大学）；Harvard-MIT Health Sciences and Technology（哈佛-麻省理工健康科学与技术部）
本文提出zero-MIRID方法，通过零样本自监督学习和CNN去噪器联合重建多激发EPI数据，在体内实验中优于现有并行成像方法，改善了扩散MRI的分辨率和伪影问题。
2023-09-22 cs.LG eess.IV
Few-shot Weakly-supervised Cybersecurity Anomaly Detection
Singapore Technologies Engineering（新加坡科技工程有限公司）
本文针对网络安全异常检测中标注数据稀缺的问题，提出一种增强的少样本弱监督深度学习框架，融合数据增强、表示学习和序数回归，并在三个基准数据集上验证了其性能。
2023-04-15 cs.AI cs.CR cs.LG
Zero-Shot Text Classification via Self-Supervised Tuning
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出自监督调优范式，通过首句预测目标利用无标注数据调优语言模型，实现零样本文本分类，在10个任务中的7个上超越最先进基线且对提示设计更不敏感。
2023-05-25 cs.AI cs.CL cs.LG
Federated Self-Supervised Learning for One-Shot Cross-Modal and Cross-Imaging Technique Segmentation
Hong Kong Baptist University（香港浸会大学）；Narayana Superspeciality Hospital（纳拉亚纳超级专科医院）；National Institute of Technology Durgapur（杜尔加布尔国家理工学院）；Indian Institute of Technology（印度理工学院）
本研究将自监督少样本分割框架CoWPro适配至联邦学习，实现一次性跨模态/成像技术分割，并引入融合Dice损失提升性能，在未见数据上达到或超越FedAvg基线。
2025-03-30 cs.CV cs.LG eess.IV
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Bytedance AI Lab（字节跳动人工智能实验室）
图存在于许多现实世界的应用中，例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本，我们面临着严重的图标记稀缺问题，即，一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中，我们提出了一个基本问题，元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制，数据增强，子图编码，和多尺度对比图。在三个基准数据集（CoraFull，Reddit，Ogbn）上的大量实验表明，新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
Self-Supervised Learning for Few-Shot Bird Sound Classification
IMT Atlantique（IMT大西洋高等矿业电信学院）；University of Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛里亚实验室）
本研究证明自监督学习可从无标注音频中学习鸟类声音表示，并泛化到少样本学习中的新物种，且选择高鸟类激活窗口可提升表示质量。
2024-02-09 cs.LG cs.SD eess.AS
Few-Shot Radar Signal Recognition through Self-Supervised Learning and Radio Frequency Domain Adaptation
Queensland University of Technology（昆士兰理工大学）；Revolution Aerospace（革命航空航天）
提出基于掩码自编码器自监督预训练与射频域自适应的两步法，解决小样本雷达信号识别问题，在域内外信号预训练下1-shot分类准确率最高提升17.5%和16.31%，并建立新基准。
2025-07-15 cs.AI cs.LG eess.SP
Zero-shot Voice Conversion via Self-supervised Prosody Representation Learning
University of St. Gallen（圣加仑大学）
针对未见过说话者的语音转换（VC），也称为zero-shot VC，是一个有吸引力的研究课题，因为它可以实现语音定制，动画制作等一系列应用。最近的工作在这一领域取得了进展，分离的话语内容和说话人的特征，从语音录音的方法。然而，这些方法中的许多方法都受到韵律泄漏的影响（例如，音调、音量），从而导致合成语音中的说话者语音不同于期望的目标说话者。为了防止这个问题，我们提出了一种新的自我监督的方法，有效地学习解开音高和音量表示，可以代表不同的扬声器的韵律风格。然后，我们使用学习到的韵律表示作为条件信息来训练和增强我们的VC模型以进行zero-shot转换。在我们的实验中，我们表明，我们的韵律表示是解开和丰富的韵律信息。此外，我们证明，除了我们的韵律表示提高了我们的VC性能和超越国家的最先进的zero-shot VC性能。
2022-05-31 cs.AI cs.SD eess.AS
Zero-shot Active Learning Using Self Supervised Learning
Stanford University（斯坦福大学）
本文提出一种模型无关且无需迭代的零样本主动学习方法，利用自监督学习在无标注情况下提取特征表示，在固定标注预算下提升深度学习模型的泛化性能。
2024-01-03 cs.LG
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Pretraining Representations for Bioacoustic Few-shot Detection using Supervised Contrastive Learning
IMT Atlantique（大西洋理工大学）；University of Lorraine（洛林大学）
本文利用监督对比学习与数据增强，从零预训练特征提取器，实现生物声学少样本事件检测，在DCASE挑战中取得第二名的成绩。
2023-09-02 cs.LG cs.SD eess.AS
Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）
Few-Shot节点分类的任务是提供准确的预测节点从新的类只有几个代表性的标记节点。这个问题已经引起了极大的关注，因为它的投影到流行的现实世界的应用，如产品分类的新添加的商品类别的电子商务平台上的稀缺记录或罕见疾病的诊断上的患者相似性图。为了解决非欧几里德图域中具有挑战性的标签稀缺问题，元学习已经成为一种成功和主导的范式。最近，受图自监督学习发展的启发，为Few-Shot节点分类转移预训练的节点嵌入可能是元学习的一个有前途的替代方案，但尚未公开。在这项工作中，我们经验性地证明了另一种框架\textit{Transductive Linear Probing}的潜力，该框架可以传输从图对比学习方法中学习的预训练节点嵌入。我们进一步将Few-Shot节点分类的设置从标准的完全监督扩展到更现实的自监督设置，其中由于缺乏来自训练类的监督，元学习方法无法轻松部署。令人惊讶的是，即使没有任何地面事实标签，具有自监督图对比预训练的直推线性探测也可以在相同协议下优于最先进的完全监督元学习方法。我们希望这项工作可以揭示新的光在Few-Shot节点分类问题，并促进未来的研究，从几乎没有标记的实例图的学习。
2022-12-11 cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Efficient Personalized Speech Enhancement through Self-Supervised Learning
这项工作提出了用于开发单声道扬声器特定（即，个性化）语音增强模型。虽然通才模型必须广泛地解决许多扬声器，但专家模型可以针对特定扬声器的声音调整其增强功能，期望解决更窄的问题。因此，专家能够实现更优化的性能，除了降低计算复杂性。然而，朴素的个性化方法可能需要来自目标用户的干净语音，这不便于获取，例如，由于低于标准的记录条件。为此，我们将个性化设置为zero-shot任务，其中没有额外的目标说话者的干净语音用于训练，或Few-Shot学习任务，其中的目标是最小化用于迁移学习的干净语音的持续时间。在本文中，我们提出了自监督学习方法作为零和Few-Shot个性化任务的解决方案。所提出的方法被设计为从未标记的数据（即，来自目标用户的野外噪声记录）而不知道相应的干净源。我们的实验研究了三种不同的自监督学习机制。实验结果表明，自监督模型能够利用较少的模型参数和来自目标用户的干净数据实现zero-shot和Few-Shot个性化，达到了数据效率和模型压缩的目的。
2022-07-27 cs.LG cs.SD eess.AS
For One-Shot Decoding: Self-supervised Deep Learning-Based Polar Decoder
Tokyo Institute of Technology（东京工业大学）；Imperial College London（帝国理工学院）；NBL corporation（NBL公司）
提出一种基于自监督深度学习的 polar 码一次性译码方案，利用生成矩阵训练神经网络作为有界距离译码器，摆脱了预定义标签依赖，在短数据包下逼近 MAP 性能且泛化能力更优。
2023-07-30 cs.IT cs.LG math.IT
An Explicit-Joint and Supervised-Contrastive Learning Framework for Few-Shot Intent Classification and Slot Filling
Dalian University of Technology（大连理工大学）；Peking University（北京大学）
意图分类（IC）和槽填充（SF）是面向任务的对话系统中的关键构建块。这两项任务密切相关，可以相互促进。由于只有少数话语可以用于识别快速出现的新意图和槽，因此在实现IC和SF时经常发生数据稀缺问题。然而，很少有IC/SF模型表现良好时，每个类的训练样本的数量是相当少的。在本文中，我们提出了一种新的显式联合和监督对比学习框架的Few-Shot意图分类和插槽填充。其要点如下。(i)该模型通过双向交互提取意图和槽表示，并扩展原型网络实现显式联合学习，保证了IC和SF任务能够相互增强。(ii)该模型集成了有监督的对比学习，确保来自同一类的样本被拉到一起，而来自不同类的样本被推开。此外，该模型遵循一种不常见但实用的情节构造方法，摆脱了传统的固定方式和镜头的设置，并允许不平衡的数据集。在三个公共数据集上的大量实验表明，我们的模型可以取得令人满意的性能。
2021-10-26 cs.AI cs.CL
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Training Robust Zero-Shot Voice Conversion Models with Self-supervised Features
Microsoft（微软）
无监督Zero-Shot语音转换（VC）的目标是在不依赖并行训练数据的情况下，修改说话人的特征，以匹配一个看不见的目标说话人。最近，语音表示的自监督学习已经被证明可以在不使用转录本的情况下产生有用的语言单元，这些转录本可以直接传递给VC模型。在本文中，我们证明了高质量的音频样本可以通过使用长度恢复解码器来实现，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而不需要它们对相同的序列长度进行操作。我们表明，我们的方法可以在VCTK数据集上优于许多基线。在不修改架构的情况下，我们进一步证明了a）使用来自同一扬声器的不同音频段对，b）添加循环一致性损失，以及c）添加扬声器分类损失可以帮助学习更好的扬声器嵌入。使用这些技术在LibriTTS上训练的模型实现了最佳性能，产生的音频样本可以很好地传输到目标说话者的声音，同时保留了与实际人类话语在字符出错率方面相当的语言内容。
2022-02-10 cs.LG cs.SD eess.AS
Self-supervised Learning for Acoustic Few-Shot Classification
Monash University（墨尔本大学）
本文提出融合 CNN 预处理与 SSM（S4、Mamba）特征提取的架构，通过任务数据上的对比学习自监督预训练和极少标签微调，提升声学少样本分类性能。
2025-05-15 cs.AI cs.SD eess.AS
A Survey of Self-Supervised and Few-Shot Object Detection
Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；ServiceNow（ServiceNow公司）
标记数据通常是昂贵且耗时的，特别是对于诸如目标检测和实例分割之类的任务，这些任务需要对图像进行密集标记。虽然Few-Shot目标检测是关于用很少的数据在新的（看不见的）对象类上训练模型，但它仍然需要在基础（看到的）类的许多标记示例上进行先验训练。另一方面，自监督方法旨在从未标记的数据中学习表示，这些数据可以很好地转移到下游任务，如目标检测。结合Few-Shot和自监督目标检测是一个很有前途的研究方向。在这项调查中，我们回顾和表征最新的方法，Few-Shot和自我监督的目标检测。然后，我们给出了我们的主要结论，并讨论了未来的研究方向。项目页面https://gabrielhuang.github.io/fsod-survey/
2022-08-23 cs.AI cs.CV cs.LG
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.（PAII公司）；Ping An Technology（平安科技）；University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Chang Gung Memorial Hospital（长庚纪念医院）
界标定位在医学图像分析中具有重要的作用。基于学习的方法，包括CNN和GCN，已经证明了最先进的性能。然而，这些方法中的大多数都是完全监督的，并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上，提出了一种半监督的DAG方法，称为Few-Shot DAG，\ie five-shot DAG。它首先在标记数据上训练DAG模型，然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外，我们还提出了另一种损失，使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆，手和胸部地标检测任务。我们的实验结果表明，一致的和显着的改进，比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory（美国海军研究实验室）
在新应用中采用深度神经网络的最大障碍之一是，训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景，其中可以访问大量未标记的数据，但只需要标记每个类的单个原型样本，以便训练深度网络（即，一次性半监督学习）。具体来说，我们调查了FixMatch中报道的一次性半监督学习的最新结果，以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如，我们发现，一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案，可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
Google Research（谷歌研究院）
在这项工作中，我们提出了一个HyperTransformer，一个基于Transformer的监督和半监督少样本学习，直接从支持样本中生成卷积神经网络（CNN）的权重。由于小生成的CNN模型对特定任务的依赖性是由高容量的Transformer模型编码的，因此我们有效地将大任务空间的复杂性与单个任务的复杂性解耦。我们的方法对于小目标CNN架构特别有效，其中学习固定的通用任务无关嵌入不是最佳的，并且当有关任务的信息可以调制所有模型参数时，可以获得更好的性能。对于更大的模型，我们发现单独生成最后一层可以让我们产生比最先进的方法更有竞争力或更好的结果，同时是端到端可微的。
2022-07-14 cs.CV cs.LG
Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks
University of Montreal（蒙特利尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）
最近的工作少样本学习\cite{tian2020rethinking}表明，学习表示的质量起着重要的作用，在Few-Shot分类性能。另一方面，自监督学习的目标是在不使用类别标签的情况下恢复数据的有用语义信息。在这项工作中，我们利用这两种模式的互补性，通过多任务框架，我们利用最近的自我监督的方法作为辅助任务。我们发现，将多个任务结合起来通常是有益的，同时解决它们可以有效地完成。我们的研究结果表明，自我监督的辅助任务是有效的数据依赖的正则化表示学习。我们的代码可在：\url{https://github.com/nathanielsimard/improving-fs-ssl} .
2021-01-24 cs.CV cs.LG
Iterative label cleaning for transductive and semi-supervised few-shot learning
Imperial College London（帝国理工学院）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）
少样本学习相当于学习表示和获取知识，使得可以在监督和数据都有限的情况下解决新的任务。通过转换推理和半监督学习可以提高性能，其中转换推理可以同时获得整个测试集，而半监督学习可以获得更多未标记的数据。针对这两种设置，我们引入了一种新的算法，该算法利用标记和未标记数据分布的流形结构来预测伪标签，同时平衡类并使用有限容量分类器的损失值分布来选择最干净的标签，迭代地提高伪标签的质量。我们的解决方案超越或匹配四个基准数据集的最新结果，即miniImageNet，tieredImageNet，CUB和CIFAR-FS，同时在特征空间预处理和可用数据量方面具有鲁棒性。可以在https://github.com/MichalisLazarou/iLPC中找到公开的源代码。
2023-03-28 cs.AI cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Zero-shot Synthesis with Group-Supervised Learning
University of Southern California（南加州大学）
灵长类动物的视觉认知优于人工神经网络，因为它能够“想象”一个视觉对象，即使是一个新引入的，在不同的属性，包括姿势，位置，颜色，纹理等，以帮助神经网络想象具有不同属性的对象，我们提出了一个家庭的目标函数，表示在组的例子，作为一种新的学习框架，我们称之为小组监督学习（GSL）。GSL允许我们将输入分解为具有可交换组件的非纠缠表示，这些组件可以重新组合以合成新的样本。例如，红色船和蓝色汽车的图像可以被分解和重组以合成红色汽车的新颖图像。我们提出了一种基于自动编码器的实现，称为组监督zero-shot合成网络（GST-Net），使用我们的学习框架进行训练，即使在训练过程中没有看到这样的例子，也可以生成高质量的红色汽车。我们在现有的基准测试中测试我们的模型和学习框架，以及我们开源的新数据集。我们定性和定量地证明了用GSL训练的GST-Net优于最先进的方法。
2021-02-16 cs.AI cs.CV cs.LG
Supervised Masked Knowledge Distillation for Few-Shot Transformers
Columbia University（哥伦比亚大学）
针对少样本ViT易过拟合且自监督与监督方法间存在鸿沟的问题，提出监督掩码知识蒸馏模型SMKD，通过在类和patch token上进行类内知识蒸馏及跨图像掩码重建，在四个基准上取得最优。
2023-03-29 cs.AI cs.CV
LEDetection: A Simple Framework for Semi-Supervised Few-Shot Object Detection
LexisNexis Risk Solutions（律商联讯风险解决方案）
本文研究标签稀缺场景下的半监督少样本目标检测，提出结合伪标签与区域提议一致性学习的SoftER Teacher框架，利用无标签数据提升检测性能，仅用10%基础标签即超越强监督基线且避免灾难性遗忘。
2024-02-14 cs.CV cs.LG
Edge-Based Self-Supervision for Semi-Supervised Few-Shot Microscopy Image Cell Segmentation
Universität Ulm（乌尔姆大学）；Ulm University Medical Center（乌尔姆大学医学中心）；The University of Adelaide（阿德莱德大学）；Otto von Guericke University（奥托·冯·格里克大学）
深度神经网络目前为显微图像细胞分割提供了有希望的结果，但它们需要大规模的标记数据库，这是一个昂贵且耗时的过程。在这项工作中，我们放宽了标签的要求，结合自监督与半监督学习。我们提出了基于边缘的地图的预测，用于自监督未标记图像的训练，它与少量标记图像的监督训练相结合，用于学习分割任务。在我们的实验中，我们评估了一个Few-Shot显微图像细胞分割基准，并表明只有少量的注释图像，例如原始训练集的10%，就足以让我们的方法达到与1到10个镜头的完全注释数据库相似的性能。我们的代码和训练模型是公开的
2022-08-03 cs.CV cs.LG
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
FROST: Faster and more Robust One-shot Semi-supervised Training
一次性半监督学习的最新进展降低了深度学习新应用的障碍。然而，现有的半监督学习方法训练速度慢，并且对标记数据和超参数值的选择很敏感。在本文中，我们提出了一个一次性的半监督学习方法，训练速度快一个数量级，比最先进的方法更强大。具体来说，我们表明，通过将半监督学习与一个阶段的单一网络版本的自训练相结合，我们的FROST方法训练得更快，对标记样本的选择和超参数的变化更鲁棒。我们的实验证明了FROST在未标记数据的组成未知时表现良好的能力;也就是说，当未标记数据包含不相等数量的每个类，并且可以包含不属于任何训练类的分布示例时。高性能、训练速度和对超参数的不敏感性使FROST成为单次半监督训练的最实用方法。我们的代码可在https://github.com/HelenaELiu/FROST上获得。
2020-12-04 cs.AI cs.CV cs.LG
Towards Reliable Zero Shot Classification in Self-Supervised Models with Conformal Prediction
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Massachusetts Institute of Technology（麻省理工学院）
使用对比损失（如CLIP）训练的自监督模型在zero-shot分类设置中表现出非常强大的功能。然而，要用作zero-shot分类器，这些模型需要用户在测试时在一组固定的标签上提供新的字幕。在许多设置中，很难或不可能知道新的查询标题是否与用于训练模型的源标题兼容。我们通过将zero-shot分类任务作为离群值检测问题来解决这些限制，并开发了一个适形预测程序来评估何时可以可靠地使用给定的测试标题。在一个现实世界的医学例子中，我们表明，我们提出的共形过程提高了CLIP风格的模型在zero-shot分类设置的可靠性，我们提供了一个实证分析的因素，可能会影响其性能。
2022-10-27 cs.CV cs.LG
Zero-Shot Feature Selection via Transferring Supervised Knowledge
University of Science and Technology Beijing（北京科技大学）；Tsinghua University（清华大学）
特征选择是一种有效的降维技术，在许多机器学习系统中起着重要的作用。监督知识可以显着提高性能。然而，面对新兴概念的快速增长，现有的监督方法可能很容易受到标记数据的稀缺性和有效性的影响。本文研究了zero-shot特征选择问题（即，建立特征选择模型，该模型利用有限的“可见”概念的训练数据很好地推广到“不可见”概念）。具体来说，它们采用类语义描述（即，属性）作为特征选择的监督，以便利用从所看到的概念转移的监督知识。对于更可靠的判别特征，他们进一步提出了中心特征损失，鼓励所选特征捕捉所见概念的中心特征。在各种真实数据集上进行的大量实验证明了该方法的有效性。
2021-07-14 cs.CV cs.LG
An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning
Nanjing University of Science and Technology（南京理工大学）；Xidian University（西安电子科技大学）；Qingdao AInnovation Technology Group Co., Ltd（青岛创新奇智科技集团股份有限公司）；Peking University（北京大学）；CICC Alpha (Beijing) Private Equity（中金资本（北京）私募股权投资）
半监督少样本学习包括训练分类器以适应具有有限标记数据和固定数量未标记数据的新任务。已经开发了许多复杂的方法来解决这个问题所包含的挑战。在本文中，我们提出了一个简单但非常有效的方法来预测准确的负伪标签的无标记数据从间接学习的角度来看，然后增加极端标签约束的支持集在Few-Shot分类任务。我们的方法可以通过只使用现成的操作在几行代码中实现，但它能够在四个基准数据集上胜过最先进的方法。
2022-09-28 cs.CV cs.LG
StrokeGAN+: Few-Shot Semi-Supervised Chinese Font Generation with Stroke Encoding
Jiangxi Normal University（江西师范大学）；Hong Kong University of Science and Technology（香港科技大学）
中文字体的生成有着广泛的应用。目前主流的方法主要是基于深度生成模型，特别是生成对抗网络（GANs）。然而，现有的基于GAN的模型通常遭受众所周知的模式坍塌问题。当发生模式坍塌时，这种基于GAN的模型将无法产生正确的字体。为了解决这个问题，我们引入一位笔画编码和Few-Shot半监督方案（即，使用少量成对数据作为半监督信息）分别探索汉字的局部和全局结构信息，其动机是笔划和字符直接体现汉字的某些局部和全局模式的直觉。基于这些思想，本文提出了一种有效的模型\textit{StrokeGAN+}，该模型将笔画编码和Few-Shot半监督机制结合到CycleGAN模型中。通过大量的实验验证了该模型的有效性。实验结果表明，引入的一位笔画编码和Few-Shot半监督训练方案可以有效地缓解模式坍塌问题，在14个字体生成任务中，该模型在4个重要评价指标和生成字符质量方面均优于现有模型.除了CycleGAN，我们还表明，所提出的想法可以适用于其他现有的模型，以提高其性能。本文还评估了该模型在zero-shot繁体中文字体生成中的有效性。
2022-11-11 cs.CV cs.LG
Zero-Shot Cross-City Generalization in End-to-End Autonomous Driving: Self-Supervised versus Supervised Representations
Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（电气工程系，纽约大学Tandon工程学院）
研究端到端自动驾驶模型在跨城市零样本迁移中的泛化能力，发现自监督预训练（如I-JEPA、DINOv2、MAE）相比监督预训练能显著减少位移和碰撞退化，提升闭环评估中的分布外PDMS。
2026-10-22 cs.CV cs.LG
TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Futurewei Technologies；University of Rochester（罗切斯特大学）
深度学习在许多视觉识别任务中的成功应用在很大程度上依赖于大量标记数据的可用性，而这些数据的获取通常是昂贵的。少样本学习问题是一个基于少量标记样本建立鲁棒模型的问题，已引起研究者的广泛关注。大多数现有的作品在元学习框架下解决这个问题，通过模仿少样本学习任务的情景训练策略。在本文中，我们提出了一个新的迁移学习框架的半监督少样本学习，充分利用辅助信息标记的基本类数据和未标记的新类数据。该框架由三个部分组成：1）在基本类数据上预训练特征提取器; 2）使用特征提取器初始化新类的分类器权重;以及3）使用半监督学习方法进一步更新模型。在所提出的框架下，我们开发了一种新的半监督少样本学习方法，称为TransMatch通过实例化的三个组件与印记和MixMatch。在两个流行的少样本学习基准数据集CUB-200-2011和miniImageNet上的实验表明，该方法可以有效地利用标记的基类数据和未标记的新类数据中的辅助信息，显著提高少样本学习任务的准确性。
2020-03-09 cs.CV cs.LG stat.ML
Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models
Kyushu University（九州大学）
在本文中，我们提出了一个深度可逆的混合模型，它集成了半监督Few-Shot分类在潜在空间水平的判别和生成学习。从图像数据中分类新物种的各种任务可以建模为半监督的Few-Shot分类，其假设标记和未标记的训练样本和目标类的小支持集。预测目标类与几个支持的例子，每个类使得学习任务困难的现有的半监督分类方法，包括自训练，迭代地估计类标签的未标记的训练样本学习分类器的训练类。为了有效地利用未标记的训练样本，我们采用复合似然作为目标函数，它集成了判别式和生成式学习，比参数耦合先验更适合深度神经网络，另一种流行的集成学习方法。在我们提出的模型中，判别模型和生成模型分别是原型网络，它们在各种少样本学习中表现出出色的性能，而Normalizing Flow是一种深度可逆模型，它与其他三种主要方法不同，返回精确的边际似然，即，VAE、GAN和自回归模型。我们的主要创意在于我们在潜在的空间水平，这是有效地防止过度拟合这些组件的集成。使用mini-ImageNet和VGG-Face数据集的实验表明，我们的方法优于基于自训练的原型网络。
2021-05-22 cs.CV cs.LG
PathCo-LatticE: Pathology-Constrained Lattice-Of Experts Framework for Fully-supervised Few-Shot Cardiac MRI Segmentation
Northwestern University（西北大学）
PathCo-LatticE通过病理引导的合成监督和动态专家lattice框架，在少样本心脏MRI分割中实现优于现有方法的性能，并在无目标域微调的情况下实现接近全监督的准确率。
2025-12-10 cs.AI cs.CV cs.LG
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory（美国海军研究实验室）
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督（BOSS）学习的潜力，以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼，类平衡和自我训练。一个好的原型选择是必不可少的，我们提出了一种技术，以获得图标的例子。此外，我们证明了类平衡方法大大提高了半监督学习的准确性，使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据，证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码，以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对有标签数据中类别缺失的少样本零样本场景，提出在SSL目标函数中增加KL散度惩罚项，显著提升分类准确率。
2023-11-15 cs.CV cs.LG
