GS-Bias: Global-Spatial Bias Learner for Single-Image Test-Time Adaptation of Vision-Language Models
Key Laboratory of Multimedia Trusted Perception（多媒体可信感知关键实验室）；Efficient Computing, Ministry of Education of China, Xiamen University（高效计算，中国教育部，厦门大学）
GS-Bias通过在测试时向预训练视觉-语言模型的logits直接添加全局偏置和空间偏置，避免完整反向传播，从而以极低显存开销在15个基准上实现领先的零样本泛化性能。
2025-07-16 cs.CV
VLM3: Vision Language Models Are Native 3D Learners
Meta；Princeton University（普林斯顿大学）
本文提出VLM3，通过焦距统一、文本像素参考和数据混合缩放，使标准视觉语言模型无需复杂架构或损失函数即可高效掌握多种3D任务。
2026-05-28 cs.AI cs.CV
Med-Flamingo: a Multimodal Medical Few-shot Learner
Stanford University（斯坦福大学）；Stanford Medicine（斯坦福医学院）；Hospital Israelita Albert Einstein（以色列爱因斯坦医院）；Harvard Medical School（哈佛医学院）
提出 Med-Flamingo，基于 OpenFlamingo-9B 在医学图文数据上预训练，解锁少样本生成式医学 VQA 能力，在临床医生评分上提升 20%，并首次实现多模态医学少样本适应。
2023-07-27 cs.AI cs.CV
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展，使机器更有能力进行多模态写作（图像到文本生成）和绘画（文本到图像生成）。然而，很少有研究调查，如果这两个基本能力可以一起学习，并相互促进，使一个通用的和强大的多模态基础模型。在这项工作中，我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力，并提出了一种新的统一模态模型，名为DaVinci，使用前缀语言建模和前缀图像建模进行训练，这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架，DaVinci易于训练，可扩展到巨大的数据，适用于写作和绘画任务，并且在其他视觉，文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现，并展示了结合视觉/语言生成预训练的优势。此外，我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试，这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力，并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG
Leveraging Vision-Language Models to Detect Attention in Educational Videos
Sorbonne University, CNRS, LIP6 & PHENIX（索邦大学、国家科学研究中心、LIP6与PHENIX）
本文研究利用视觉-语言模型直接分析教育视频内容，结合眼动数据以提高注意力检测的准确性，但发现其在实时教育诊断中的局限性。
2026-04-20 cs.AI cs.CV
Time-VLM: Exploring Multimodal Vision-Language Models for Augmented Time Series Forecasting
Griffith University, Australia（格里菲斯大学）；Squirrel Ai Learning, USA（松鼠AI学习）
Time-VLM提出一种多模态框架，融合预训练视觉-语言模型，通过检索、视觉和文本增强学习器协同工作，提升时间序列预测性能，尤其在少样本和零样本场景下表现优异。
2025-05-26 cs.CV cs.LG
MI-VisionShot: Few-shot adaptation of vision-language models for slide-level classification of histopathological images
valgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（valgrAI——瓦伦西亚人工智能研究生院与研究网络）
本文提出 MI-VisionShot，一种基于视觉-语言模型的无训练少样本适配方法，通过检索切片内最具判别力的图像块构建多实例原型分类器，实现组织病理切片级预测，并在低样本场景下以更低变异性超越零样本迁移。
2024-10-21 cs.AI cs.CV
Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities
Meta AI
我们探讨了在何种程度上zero-shot视觉语言模型表现出不同的视觉任务的性别偏见。视觉模型传统上需要特定于任务的标签来表示概念，以及微调;像CLIP这样的zero-shot模型使用开放词汇表执行任务，这意味着它们不需要一组固定的标签，通过使用文本嵌入来表示概念。考虑到这些功能，我们问：视觉语言模型在执行zero-shot图像分类、目标检测和语义分割时是否表现出性别偏见？我们使用跨一组概念的多个数据集来评估不同的视觉语言模型，并且发现（i）基于与图像中的给定概念共现的人的感知性别，评估的所有模型显示出明显的性能差异，并且对所有概念的聚合分析可以掩盖这些问题;（ii）模型校正（即准确性和置信度之间的关系）也因感知的性别而明显不同，即使在评估类似的概念表示时也是如此;以及（iii）这些观察到的差异与来自语言模型的词嵌入中的现有性别偏见一致。这些发现表明，虽然语言极大地扩展了视觉任务的能力，但它也可能导致zero-shot视觉设置中的社会偏见。此外，当其他模型使用CLIP等基础模型来实现zero-shot功能时，偏差可能会进一步传播。
2023-01-26 cs.CV cs.CY cs.HC
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管实现了最先进的zero-shot性能，现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习（MAML）是Few-Shot迁移学习的自然替代方案，但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型（如CLIP）上的使用。虽然许多文献一直致力于探索替代的优化策略，我们确定了有效的Few-Shot迁移学习，任务采样，这是以前只被视为数据预处理的一部分，在MAML的另一个重要方面。为了显示任务采样的影响，我们提出了一个简单的算法，模型无关的多任务微调（MAMF），它区分经典的微调只对均匀采样多个任务。尽管它的简单性，我们表明，MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明，MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作，并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
Language Models as Zero-shot Visual Semantic Learners
University of Southampton（南安普顿大学）
视觉语义嵌入（VSE）模型将图像映射到丰富的语义嵌入空间，是对象识别和零样本学习的里程碑。目前的VSE方法严重依赖于静态词嵌入技术。在这项工作中，我们提出了一个视觉语义嵌入探针（VSEP），旨在探测上下文词嵌入的视觉语义理解任务中的语义信息。我们发现，编码在Transformer语言模型中的知识可以用于需要视觉语义理解的任务。具有上下文表示的VSEP可以作为组合zero-shot学习器在复杂场景中区分单词级对象表示。我们进一步引入了一个zero-shot设置与VSEP评估模型的能力，一个新的视觉类别与一个新的词。我们发现，当对象的组合链较短时，语言模型中的语境表征优于静态词嵌入。我们注意到，目前的视觉语义嵌入模型缺乏互斥偏见，限制了他们的性能。
2021-07-26 cs.CV
Meta Guided Metric Learner for Overcoming Class Confusion in Few-Shot Road Object Detection
Intel Corporation（英特尔公司）；Bundl Technologies
由于数据样本的稀缺性，较少出现的道路对象的定位和识别一直是自动驾驶应用中的一个挑战。Few-Shot目标检测技术扩展了来自现有基本对象类的知识，以在给定很少训练样本的情况下学习新的道路对象。FSOD中流行的技术采用Meta或度量学习技术，这些技术容易导致类混淆和基类遗忘。在这项工作中，我们引入了一种新的Meta引导度量学习器（MGML），以克服类混淆FSOD。我们通过一个新的挤压和兴奋模块重新加权高于基类的新类的特征，并通过对Meta学习器应用一个约束条件来鼓励学习真正有区别的类特定特征。我们的方法在印度驾驶数据集（IDD）上的FSOD中的表现优于最先进的（SoTA）方法，最多可达11 mAP点，而每个新道路对象只有10个示例，则最少有20%的类混淆。我们进一步显示了PASCAL VOC数据集的Few-Shot分割上的类似改进，其中我们在所有分割中超过SoTA方法高达5.8 mAP。
2021-10-28 cs.CV
Large Language Models are Good Prompt Learners for Low-Shot Image Classification
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
本文提出LLaMP方法，利用大语言模型为CLIP文本编码器生成自适应提示，以弥合语言与视觉的领域差距，在11个数据集上提升了低样本图像分类和零样本泛化性能。
2024-04-02 cs.CV
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
Few-Shot语义分割解决了学习任务，其中只有少数具有地面实况像素级标签的图像可用于感兴趣的新类别。通常需要收集大量数据（即，基类），然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，弱监督Few-Shot语义分割被认为是更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，它预测伪像素级分割掩码从有限的数据量和它们的语义标签。更重要的是，我们的学习方案进一步利用产生的像素级信息，用于具有分割保证的查询图像输入。因此，我们提出的学习模型可以被看作是一个像素级的元学习者。通过对基准数据集的广泛实验，我们表明，我们的模型在完全监督设置下实现了令人满意的性能，但在弱监督设置下对最先进的方法表现良好。
2021-11-02 cs.CV
Renderers are Good Zero-Shot Representation Learners: Exploring Diffusion Latents for Metric Learning
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文探索Shap-E扩散潜空间作为三维感知判别任务的表示，通过检索度量其度量学习性能，发现其零样本优于EfficientNet，且经对比训练后仍具竞争力，表明生成渲染模型可提供有用表示。
2023-06-19 cs.CV
Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners
UC Santa Cruz（加州大学圣克鲁兹分校）；UC Santa Barbara（加州大学圣巴巴拉分校）；Google（谷歌公司）
提出 DSD 方法，利用 Stable Diffusion 的交叉注意力分数和提示学习进行微调，将预训练扩散模型转化为少样本判别学习器，在图文匹配任务上取得优越结果。
2024-04-24 cs.CV
Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners
Tuebingen AI Center, University of Tuebingen（图宾根大学图宾根人工智能中心）
提出DeCoDe方法，通过将少样本分类分解为成对图像比较，利用现有多模态大语言模型（MLLM）的logit作为相似度分数，无需额外训练即可实现强少样本分类，在多个基准上显著超越现有方法。
2026-07-02 cs.CV
Color as the Impetus: Transforming Few-Shot Learner
本文提出了一种基于颜色感知机制的少样本学习框架，通过强调不同通道的颜色信息来提升特征提取和分类性能，同时引入知识蒸馏方法增强元学习能力。
2026-05-18 cs.CV
Collaboration of Pre-trained Models Makes Better Few-shot Learner
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Few-Shot分类需要深度神经网络仅从有限的训练图像中学习广义表示，这在低数据状态下具有挑战性但意义重大。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以缓解Few-Shot数据不足，并通过预先学习的知识辅助表示学习。在本文中，我们提出了CoMo，这是一种预训练模型的协作，它整合了来自各种预训练范例的多种先验知识，以实现更好的少样本学习。我们的CoMo包括：CLIP的语言对比知识，DINO的视觉对比知识和DALL-E的语言生成知识。具体而言，CoMo工作在两个方面：Few-Shot数据扩展和多样化的知识集成。首先，我们通过zero-shot DALL-E生成合成图像，以丰富Few-Shot训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-Adapter）来自适应地混合CLIP和DINO的预测。通过这种合作，CoMo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。我们在11个数据集上进行了广泛的实验，以证明我们的方法的优越性和泛化能力。
2022-11-07 cs.CV
Learning feed-forward one-shot learners
University of Oxford（牛津大学）
单次学习通常通过使用生成模型或判别嵌入来解决。基于深度学习的判别方法在其他学习场景中非常有效，但不适合一次性学习，因为它们需要大量的训练数据。在本文中，我们提出了一种一次性学习深度模型参数的方法。我们将学习器构建为第二个深度网络，称为learnet，它可以从单个样本中预测瞳孔网络的参数。以这种方式，我们获得了一个有效的前馈单次学习，训练端到端通过最小化一个单次分类目标的学习学习公式。为了使建设可行，我们提出了一些因子分解的瞳孔网络的参数。我们展示了令人鼓舞的结果，通过学习字符从Omniglot的单个样本，并通过跟踪视觉对象跟踪基准从一个单一的初始样本。
2016-06-16 cs.CV cs.LG
Elimination of Non-Novel Segments at Multi-Scale for Few-Shot Segmentation
Aselsan Inc（阿瑟尔桑公司）；Middle East Technical University（中东技术大学）
Few-Shot分割的目标是设计一个泛化模型，在训练过程中，在少数支持图像的指导下，将查询图像从不可见的类别中分割出来，这些支持图像的类别与查询的类别相吻合。存在两个特定领域的问题，在以前的作品中提到，即空间不一致和偏见看到类。考虑到前一个问题，我们的方法在多个尺度上的支持特征图与查询特征图进行比较，成为尺度无关的。作为后一个问题的解决方案，一个监督模型，称为基础学习器，在可用的类上进行训练，以准确地识别属于所看到的类的像素。因此，后续的Meta学习者有机会在集成学习模型的帮助下丢弃属于所看到的类的区域，该集成学习模型将Meta学习者与基本学习者协调。我们首次同时解决了这两个重要问题，并在PASCAL-5i和COCO-20 i数据集上实现了最先进的性能。
2022-11-04 cs.CV
MetaConcept: Learn to Abstract via Concept Graph for Weakly-Supervised Few-Shot Learning
Harbin Institute of Technology（哈尔滨工业大学）
元学习已被证明是解决少样本学习问题的有效框架。关键的挑战是如何最大限度地减少跨任务的基本学习者的泛化误差。本文利用概念图挖掘概念层次知识，将概念图作为基本学习器的显式元知识，而不是隐式元知识，从而提高元学习在弱监督少样本学习问题上的分类性能。为此，我们提出了一种新的元学习框架，称为MetaConcept，它通过概念图学习抽象概念。具体来说，我们首先提出了一种新的正则化与多层次的概念抽象约束元学习者学习抽象概念通过概念图（即识别概念从低到高的水平）。然后，我们提出了一个Meta概念推理网络作为基本学习者的元学习者，旨在通过抽象概念和少量注释样本的联合推理来快速适应新的任务。我们已经在两个弱监督少样本学习基准上进行了广泛的实验，即WS-ImageNet-Pure和WS-ImageNet-Mix。实验结果表明：1）与现有方法相比，本文提出的元概念算法在分类准确率上提高了2%~ 6%; 2）本文提出的元概念算法在弱标记数据集上训练也能取得较好的分类效果。
2021-05-11 cs.CV
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
Few-shot Learning with Global Relatedness Decoupled-Distillation
尽管基于度量学习的方法在少样本学习中取得了成功，但最近的研究揭示了其情景训练模式的无效性。本文指出了造成这一问题的两个潜在原因：1）随机片段标签只能提供有限的监督信息，而查询和支持样本之间的相关性信息没有得到充分利用; 2）元学习者通常受到局部片段的有限上下文信息的约束。为了克服这些问题，我们提出了一个新的全球相关性解耦蒸馏（GRDD）方法，利用全球类别知识和相关性解耦蒸馏（RDD）策略。我们的GRDD通过模仿人类的习惯来快速学习新的视觉概念，即从老师那里提取的深层知识中学习。更具体地说，我们首先训练一个全球性的学习者在整个基础子集使用类别标签作为监督，以利用全球背景信息的类别。然后，使用经过良好训练的全局学习器来模拟全局依赖中的查询支持相关性。最后，提取的全局查询支持相关性显式地用于训练使用RDD策略的元学习器，与目标，使元学习器更有区分力。RDD策略旨在将密集查询支持相关性解耦为稀疏解耦相关性组。此外，在每个组中，只考虑单个支持样本与其他查询样本的相关性。通过逐组提取稀疏解耦的相关性，可以有效地将更清晰的相关性提取到元学习器，从而促进区分性元学习器的学习。我们在miniImagenet和CIFAR-FS数据集上进行了大量的实验，这些实验显示了我们的GRDD方法的最新性能。
2022-12-14 cs.CV
Few-Shot Learner Generalizes Across AI-Generated Image Detection
Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院）
针对现有AI生成图像检测器跨模型泛化差、训练数据获取成本高的问题，提出小样本检测器FSD，通过学习专用度量空间，仅用极少样本即可检测未见模型生成的伪造图像，在GenImage数据集上仅增10个样本准确率提升11.6%，达当前最优。
2025-06-12 cs.CV
Few-shot Learner Parameterization by Diffusion Time-steps
Nanyang Technological University（南洋理工大学）；Sea AI Lab（Sea AI实验室）；Singapore Management University（新加坡管理大学）；Hefei University of Technology（合肥工业大学）；Skywork AI
针对少样本学习中难以保留细微属性而去除虚假显著属性的问题，提出TiF learner，利用Diffusion Model的time-steps隔离细微属性并训练低秩适配器进行参数化，在细粒度任务上显著优于OpenCLIP。
2024-03-27 cs.CV
Learning What Not to Segment: A New Perspective on Few-Shot Segmentation
Northwestern Polytechnical University（西北工业大学）
近年来，Few-Shot分割（FSS）得到了广泛的发展。大多数以前的工作都努力通过分类任务衍生的元学习框架来实现泛化;然而，训练的模型偏向于所看到的类，而不是理想的类不可知论，从而阻碍了新概念的识别。本文提出了一个新的和直接的见解，以减轻这个问题。具体地说，我们将一个额外的分支（基本学习器）应用于传统的FSS模型（Meta学习器），以显式地识别基类的目标，即，不需要分割的区域。然后，这两个学习器并行输出的粗糙结果自适应地集成，以产生精确的分割预测。考虑到Meta学习器的敏感性，我们进一步引入一个调整因子来估计输入图像对之间的场景差异，以促进模型集成预测。PASCAL-5i和COCO-20 i上的大量性能增益验证了有效性，令人惊讶的是，我们的多功能方案即使使用两个普通学习器也可以设置一个新的最先进的状态。此外，鉴于所提出的方法的独特性，我们还将其扩展到更现实但具有挑战性的环境，即，广义FSS，其中需要确定基本类和新类两者的像素。源代码可在github.com/chunbolang/BAM上获得。
2022-03-29 cs.CV
Diagnosing and Remedying Shot Sensitivity with Cosine Few-Shot Learners
IBM（国际商业机器公司）；Cornell University（康奈尔大学）
Few-Shot识别涉及训练图像分类器，以在测试时使用很少的示例（镜头）来区分新颖的概念。现有的方法一般假设测试时的炮数是已知的。这是不现实的，当训练和测试射击不匹配时，一种流行的基础方法的性能已经被证明会受到影响。我们对这一现象进行了系统的实证研究。与之前的工作一致，我们发现镜头敏感性广泛存在于基于度量的Few-Shot学习器中，但与之前的工作相比，更大的神经架构提供了一定程度的内置鲁棒性，以改变测试镜头。更重要的是，一个简单的，以前已知的，但大大忽视了一类方法的基础上余弦距离一致，大大提高了鲁棒性拍摄变化，通过消除敏感性样本噪声。我们推导出余弦替代流行的和最近的Few-Shot分类器，扩大其适用性，以现实的设置。这些余弦模型始终如一地提高了投篮鲁棒性，优于现有投篮鲁棒性的最新技术水平，并在一系列基准和架构上提供了有竞争力的准确性，包括在极低投篮状态下的显着增益。
2022-07-07 cs.AI cs.CV cs.LG
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；The Hong Kong University of Science and Technology（香港科技大学）
基于分数的扩散模型已经引起了广泛的关注，并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进，基于vanilla ViT的骨干网（IU-ViT）的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构，并显示验证的概念验证实验的有效性，一个更强大的编码器生成任务与AsymmetriC编码器解码器（ASCEND）。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知，我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Classifier Crafting: Turn Your ConvNet into a Zero-Shot Learner!
Istituto Italiano di Tecnologia（意大利技术研究院）；Pattern Analysis and Computer Vision (PAVIS)（模式分析与计算机视觉（PAVIS））；Visual Geometry and Modelling (VGM)（视觉几何与建模（VGM））；GREAT Campus: Science and Technology Park in Genoa（GREAT园区：热那亚科技园区）
在零样本学习（Zero-shot learning，缩写为ZRL）中，我们使用关于观察时预期外观的文本描述（类嵌入）和一个不相交的可见类池对未见过的类别进行分类，其中注释的视觉数据是可访问的。我们通过将“香草”卷积神经网络（例如AlexNet，ResNet-101，DenseNet-201或DarkNet-53）投射到zero-shot学习器中来解决WML。我们通过制作softmax分类器来做到这一点：我们使用固定的seen分类规则冻结其权重，无论是语义（seen类嵌入）还是视觉（seen类原型）。然后，我们学习一个数据驱动的，并在所见的类上定制的特征表示，以匹配这些固定的分类规则。考虑到后者无缝地推广到看不见的类，同时不需要计算实际的看不见的数据，我们可以通过在测试时增加分类规则池来执行WML推理，同时保持我们学习的相同表示：没有对看不见的数据进行重新训练或微调。语义和视觉手工制作的组合（通过简单地平均softmax分数）改进了标准，归纳式JavaScript基准数据集中的现有最先进方法。在重新平衡预测以更好地处理可见和不可见类的联合推理之后，我们的性能也优于先前的广义归纳的WML方法。此外，我们通过使用神经注意力方法（例如，gra-CAM），因为它们是。代码将公开提供。
2021-03-20 cs.CV
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning
Cornell University（康奈尔大学）；Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
Few-Shot学习器的目标是基于少量标记的训练样本识别新的对象类。为了防止过拟合，最先进的Few-Shot学习器对卷积网络特征使用元学习，并使用最近邻分类器执行分类。本文研究了没有元学习的最近邻基线的精度。令人惊讶的是，我们发现简单的特征变换足以获得有竞争力的少样本学习精度。例如，我们发现，在miniImageNet数据集上，与均值减法和L2归一化相结合使用的最近邻分类器在五分之三的设置中优于先前的结果。
2019-11-16 cs.CV
Revisiting Local Descriptor for Improved Few-Shot Classification
Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Zhengzhou University（郑州大学）；Singapore Management University（新加坡管理大学）
Few-Shot分类研究了快速调整深度学习器以基于少量支持图像理解新类别的问题。在这种情况下，最近的研究工作一直致力于设计越来越复杂的分类器，以衡量查询和支持图像之间的相似性，但很少探索特征嵌入的重要性。我们表明，依赖于复杂的分类器是没有必要的，一个简单的分类器直接应用于改进的特征嵌入，而不是优于大多数领先的方法在文献中。为此，我们提出了一种新的方法命名为\textbf{DCAP}的Few-Shot分类，在其中，我们研究如何可以提高质量的嵌入利用\textbf{D}感\textbf{C}分类和\textbf{A} tentative \textbf{P} ooling。具体来说，我们建议训练一个学习器的基础类与丰富的样本，以解决密集的分类问题，然后元训练学习器上的一堆随机采样的Few-Shot任务，以适应它的Few-Shot场景或测试时间的情况。在元训练期间，我们建议通过应用注意池而不是广泛使用的全局平均池（GAP）来池化特征图，以准备用于Few-Shot分类的嵌入。注意池学习重新加权局部描述符，解释学习者正在寻找什么作为决策的证据。在两个基准数据集上的实验表明，该方法在多个Few-Shot设置中具有优越性，同时更简单，更易于解释。代码可从以下网址获得：\url{https://github.com/Ukeyboard/dcap/}。
2022-02-18 cs.CV
Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners
Zhejiang University（浙江大学）
本文提出CLIP-CITE框架，通过判别式视觉-文本任务和知识蒸馏对完整CLIP模型进行细致微调，在少样本及多种泛化场景下提升特定任务性能并保持模型通用性。
2024-07-04 cs.CV
Fast Few-Shot Classification by Few-Iteration Meta-Learning
ETH Zurich（苏黎世联邦理工学院）
与现实世界交互的自主智能体需要高效可靠地学习新概念。这需要在低数据状态下学习，这是一个极具挑战性的问题。我们通过引入一种快速的基于优化的元学习方法来解决这个任务，用于Few-Shot分类。它包括一个嵌入网络，提供图像的一般表示，和一个基本的学习模块。后者在推理过程中通过展开的优化过程学习线性分类器。我们设计了一个内部学习目标，由（i）支持集上的鲁棒分类损失和（ii）熵损失组成，允许从未标记的查询样本中进行直推学习。通过采用有效的初始化模块和基于最速下降的优化算法，我们的基础学习器在几次迭代内预测出一个强大的分类器。此外，我们的策略使基础学习者目标的重要方面能够在元训练期间学习。据我们所知，这项工作是第一个将归纳和转导整合到基于优化的元学习框架中的基础学习器中。我们进行了全面的实验分析，证明了我们的方法的速度和有效性的四个Few-Shot分类数据集。该守则可在\href{https://github.com/4rdhendu/FIML}{\textcolor{blue}{https://github.com/4rdhendu/FIML}}上查阅。
2022-03-20 cs.CV
Combining Domain-Specific Meta-Learners in the Parameter Space for Cross-Domain Few-Shot Classification
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙弗雷泽大学）
Few-Shot分类的目标是学习一个模型，该模型可以仅使用几个训练样本对新类别进行分类。尽管现有的元学习算法在解决Few-Shot分类问题方面取得了可喜的成果，但仍然存在一个重要的挑战：如何在多个可见域上进行元学习的同时推广到不可见域？在本文中，我们提出了一种基于优化的元学习方法，称为组合特定领域的元学习者（CosML），解决跨域的Few-Shot分类问题。CosML首先训练一组元学习器，每个训练域一个，以学习先验知识（即，元参数）特定于每个域。域特定的元学习者，然后结合在\emph{parameter space}中，通过采取加权平均的元参数，这是用来作为一个任务网络的初始化参数，快速适应新的Few-Shot分类任务在一个看不见的域。实验结果表明，CosML的性能优于一系列最先进的方法，并实现了强大的跨领域泛化能力。
2020-10-31 cs.CV cs.LG stat.ML
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
Stanford University（斯坦福大学）
图像地理定位是一项具有挑战性的任务，即预测给定照片的地理坐标。这是一个尚未解决的问题，依赖于将视觉线索与关于世界的一般知识相结合的能力，以跨地理做出准确的预测。我们提出了$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$，一个强大的，公开可用的基础模型，不仅在多个开放域图像地理定位基准上实现了最先进的性能，而且在zero-shot设置中也做到了这一点，优于在超过400万张图像上训练的监督模型。我们的方法通过从合成字幕预训练CLIP，在选择的域中接地CLIP，为广义零样本学习引入了元学习方法。我们表明，我们的方法有效地将CLIP的广义zero-shot能力转移到图像地理定位领域，提高了域内广义zero-shot性能，而无需在固定的类集合上微调StreetCLIP。
2023-02-01 cs.CV cs.LG
Few to Big: Prototype Expansion Network via Diffusion Learner for Point Cloud Few-shot Semantic Segmentation
School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）；School of Automation and Electronics Information, Xiangtan University（湘潭大学自动化与电子信息学院）；School of Automation, Shanghai Jiao Tong University（上海交通大学自动化学院）
针对小样本点云语义分割中原型容量小且与查询空间不对齐的问题，提出原型扩展网络（PENet），利用扩散模型的预训练条件编码器扩展原型，并通过推-拉机制对齐，在S3DIS和ScanNet数据集上取得最优性能。
2026-07-01 cs.CV
Self-Supervision Can Be a Good Few-Shot Learner
Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的少样本学习（FSL）方法依赖于使用大型标记数据集进行训练，这阻止了它们利用大量未标记数据。从信息论的角度来看，我们提出了一个有效的无监督FSL方法，学习表示与自我监督。遵循InfoMax原则，我们的方法通过捕获数据的内在结构来学习全面的表示。具体来说，我们最大化的互信息（MI）的实例和他们的代表与低偏MI估计执行自我监督的预训练。我们的自监督模型对可见类的偏见较小，而不是监督预训练专注于可见类的可辨别特征，从而更好地泛化不可见类。我们解释了监督预训练和自我监督预训练实际上是最大化不同的MI目标。进一步进行了大量的实验，以分析其FSL性能与各种培训设置。令人惊讶的是，结果表明，在适当的条件下，自我监督的预训练可以优于监督的预训练。与最先进的FSL方法相比，我们的方法在广泛使用的FSL基准测试中实现了相当的性能，而无需任何基类标签。
2022-07-19 cs.CV
Masked Autoencoders Are Scalable Vision Learners
Facebook AI Research (FAIR)（Facebook 人工智能研究院）
本文表明，掩码自编码器（MAE）是可扩展的自监督学习计算机视觉。我们的MAE方法很简单：我们屏蔽输入图像的随机补丁并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称的编码器-解码器架构，其中编码器仅对可见的补丁子集（没有掩码令牌）进行操作，以及一个轻量级的解码器，该解码器从潜在的表示和掩码令牌重建原始图像。其次，我们发现掩蔽输入图像的高比例，例如，75%，产生一个不平凡的和有意义的自我监督任务。结合这两种设计使我们能够高效地训练大型模型：我们加快了训练速度（3倍或更多）并提高了准确性。我们的可扩展方法允许学习具有良好泛化能力的高容量模型：例如，vanilla ViT-Huge模型在仅使用ImageNet-1 K数据的方法中实现了最佳准确率（87.8%）。下游任务中的传输性能优于有监督的预训练，并显示出有希望的缩放行为。
2021-12-19 cs.CV
Deep Gaussian Processes for Few-Shot Segmentation
Linköping University（林雪平大学）；Zenseact AB；ETH Zurich（苏黎世联邦理工学院）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
Few-Shot分割是一项具有挑战性的任务，需要从少量带注释的样本中提取可推广的表示，以便分割新的查询图像。一种常见的方法是用单个原型对每个类进行建模。虽然概念上简单，但当目标外观分布是多模态的或在特征空间中不可线性分离时，这些方法会受到影响。为了解决这个问题，我们提出了一个基于高斯过程（GP）回归的Few-Shot学习公式。通过GP的表现力，我们的方法能够在深特征空间中对复杂的外观分布进行建模。GP提供了一种捕获不确定性的原则性方法，这是由CNN解码器获得的最终分割的另一个强大线索。我们进一步利用我们方法的端到端学习能力来学习GP学习器的输出空间，确保更丰富的分割掩码编码。我们进行全面的实验分析我们的Few-Shot学习制定。我们的方法为5次拍摄分割设定了一个新的最先进水平，在PASCAL-5i和COCO-20 i上的mIoU分数分别为68.1和49.8
2021-03-30 cs.CV
Using Fictitious Class Representations to Boost Discriminative Zero-Shot Learners
Technion – Israel Institute of Technology（以色列理工学院）
专注于判别式零样本学习，在这项工作中，我们引入了一种新的机制，在训练过程中动态增加看到的类的集合，以产生额外的虚构类。这些虚构的类减少了模型在训练过程中对出现在训练集中但不会出现在新暴露的类中的属性相关性的关注。该模型在零样本学习框架的两个公式内进行测试，即广义零样本学习（GSTOL）和经典零样本学习（CSTOL）。我们的模型提高了CUB数据集的最新性能，并在其他常见数据集AWA2和SUN上达到了类似的结果。我们研究了我们的方法的优点和缺点，包括训练端到端zero-shot模型时灾难性遗忘的影响。
2021-11-26 cs.AI cs.CV cs.LG
OFL-SAM2: Prompt SAM2 with Online Few-shot Learner for Efficient Medical Image Segmentation
OFL-SAM2通过在线少样本学习和自适应融合模块，实现高效的医学图像分割，无需人工提示，提升模型泛化能力。
2025-12-31 cs.CV
Are Video Models Emerging as Zero-Shot Learners and Reasoners in Medical Imaging?
Department of Computer Science, Emory University（埃默里大学计算机科学系）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science, University of Maryland（马里兰大学计算机科学系）；Department of Biomedical Engineering, Georgia Institute of Technology（佐治亚理工学院生物医学工程系）；Department of Radiation Oncology and Winship Cancer Institute, Emory University（埃默里大学放射肿瘤学系和Winship癌症研究所）
本文探讨了自回归视频建模原理在医学影像任务中的零样本应用，发现大视觉模型在无需医学数据训练的情况下，能有效完成器官分割、去噪、超分辨率和运动预测等任务，尤其在放疗运动预测中表现出色。
2026-04-23 cs.CV
RWKV-CLIP: A Robust Vision-Language Representation Learner
University of Sydney（悉尼大学）；DeepGlint（深glint（深格灵））；Imperial College（帝国理工学院）
本文提出RWKV-CLIP，首个结合transformers并行训练与RNN高效推理的视觉-语言表示学习模型，并引入利用LLMs生成高质量描述的数据框架，在多个下游任务上取得最先进性能。
2024-09-23 cs.CV
A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning
Tsinghua University（清华大学）；Microsoft AI & Research（微软人工智能与研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
少样本学习的目标是学习新类的分类器，每个类只有几个训练样本。大多数现有的少样本学习方法属于基于度量的元学习或基于优化的元学习类别，这两种方法都在简化的“$k$ -shot $N$ -way”图像分类设置中取得了成功。具体来说，基于优化的方法训练元学习器来预测特定任务分类器的参数。由于任务分类器的结构要求严格，使得参数预测变得容易，因此元学习方法只能处理任务共享相同数量类的少样本学习问题。基于度量的方法为所有任务学习一个任务不变的度量。尽管度量学习方法允许不同数量的类，但它们要求任务都来自类似的领域，这样就存在一个统一的度量，可以跨任务工作。在这项工作中，我们提出了一个混合元学习模型称为元度量学习者，它结合了优化和基于度量的方法的优点。我们的元度量学习方法由两个部分组成，一个任务特定的基于度量的学习者作为基础模型，和一个元学习者，学习和指定的基础模型。因此，我们的模型能够处理灵活数量的类，以及生成更广义的指标，跨任务的分类。我们测试我们的方法在标准的“$k$ -拍摄$N$ -方式”少样本学习设置以下以前的作品和一个新的现实的Few-Shot设置灵活的类数在单源形式和多源形式。实验表明，我们的方法可以获得优越的性能在所有的设置。
2019-08-27 cs.CV cs.LG stat.ML
Hierarchical Process Reward Models are Symbolic Vision Learners
Adelaide AIML（阿德莱德AIML）；Ohio State University（俄亥俄州立大学）；University of Oxford（牛津大学）；Data61；CSIRO（澳大利亚国立科研组织）
本文提出了一种层次化过程奖励模型，通过符号学习提升图表重建、感知和推理任务的性能。
2025-12-02 cs.CV
Few-shot Classification via Ensemble Learning with Multi-Order Statistics
Nantong University（南通大学）；Hohai University（河海大学）；Griffith University（格里菲斯大学）
针对小样本分类的泛化表征需求，提出结合多阶统计量池化的集成学习方法ELMOS，通过多分支构建多样学习器，在多个基准上达到SOTA性能。
2023-04-30 cs.CV
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Meta-Learners for Few-Shot Weakly-Supervised Medical Image Segmentation
Institute of Mathematics and Statistics, Universidade de São Paulo（圣保罗大学数学与统计研究所）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；CNRS（法国国家科学研究中心）
提出通用元学习框架用于医学图像小样本弱监督分割，比较9种元学习器，发现基于度量的方法在域偏移小时更优，基于梯度和融合的方法泛化性更强。
2023-05-11 cs.CV cs.LG cs.NE
Image Captioners Are Scalable Vision Learners Too
Google DeepMind（谷歌DeepMind）
本文公平比较图像描述与对比预训练，发现仅用描述训练视觉编码器在分类上相当、在视觉语言任务上更优，且扩展性更好。
2023-12-21 cs.CV
Prior-Knowledge and Attention-based Meta-Learning for Few-Shot Learning
Northwestern Polytechnical University of China（中国西北工业大学）；AIBEE；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Huawei Cloud（华为云）
最近，元学习被证明是解决少样本学习的一种有前途的方法。受人类认知过程中既利用先验知识又利用视觉注意的启发，本文提出了一种新的元学习方法范式，并从三个方面引入了元学习的注意力机制和先验知识。在该方法中，先验知识负责帮助元学习者将输入数据表达到高级表示空间中，而注意力机制则使元学习者能够关注表示空间中数据的关键特征。与现有的元学习方法相比，我们的方法忽略了先验知识和视觉注意力，减轻了元学习者的Few-Shot认知负担。此外，任务过度拟合（TOF）问题，这表明元学习者对不同的K-shot学习任务的泛化能力较差，我们提出了跨任务交叉熵（CET）度量来建模和解决TOF问题。大量的实验表明，我们提高了元学习器的最先进的性能在几个少样本学习基准，同时TOF问题也可以大大释放。
2020-02-15 cs.CV cs.LG
Low-Shot Learning from Imaginary Data
Facebook AI Research (FAIR)（Facebook人工智能研究（FAIR））；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
人类可以快速学习新的视觉概念，也许是因为他们可以很容易地从不同的角度想象或想象新奇的物体。增强这种产生新概念的新实例的能力可能有助于机器视觉系统执行更好的低拍摄学习，即，从几个例子中学习概念。我们提出了一种新的方法来低拍摄学习，使用这个想法。我们的方法建立在元学习（“学习学习”）的最新进展的基础上，通过将元学习者与产生额外训练样本的“幻觉器”相结合，并联合优化两个模型。我们的hallucinator可以集成到各种元学习器中，并提供显着的收益：当只有一个训练样本可用时，分类准确率提高高达6个点，在具有挑战性的ImageNet低拍摄分类基准测试中获得最先进的性能。
2018-04-03 cs.CV
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
大规模预训练语言模型通过展示作为Few-Shot学习者的卓越能力，为自然语言处理做出了重大贡献。然而，它们的有效性主要取决于模型参数的缩放和及时的设计，阻碍了它们在大多数实际应用中的实现。本文提出了一种新的可插入、可扩展、高效的方法DifferentiAble pRompT（DART），它可以将小的语言模型转换为更好的Few-Shot学习器，而无需任何提示工程。这种方法背后的主要原理涉及将潜在的自然语言处理任务重新表达为预先训练的语言模型的任务，并利用反向传播对提示模板和目标标签进行差异化优化。此外，所提出的方法可以：（i）插入任何预先训练的语言模型;（ii）扩展到广泛的分类任务。标准NLP任务的综合评估表明，该方法实现了更好的Few-Shot性能。代码可在https://github.com/zjunlp/DART上找到。
2022-05-04 cs.AI cs.CL cs.CV
Language Models with Image Descriptors are Strong Few-Shot Video-Language Learners
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MSR（微软研究院）；UNC（北卡罗来纳大学教堂山分校）；Columbia University（哥伦比亚大学）
这项工作的目标是建立灵活的视频语言模型，可以概括为各种视频到文本的任务，从几个例子，如特定领域的字幕，问答，和未来的事件预测。现有的Few-Shot视频语言学习器只关注编码器，导致没有视频到文本解码器来处理生成任务。视频字幕已经在大规模视频语言数据集上进行了预训练，但它们严重依赖微调，并且缺乏在Few-Shot设置中为看不见的任务生成文本的能力。我们提出了VidIL，一个通过图像和语言模型的Few-Shot视频语言学习器，它在Few-Shot视频到文本任务上表现出强大的性能，而无需对任何视频数据集进行预训练或微调。我们使用图像-语言模型将视频内容翻译成帧标题、对象、属性和事件短语，并将它们组合成时间结构模板。然后，我们指示一个语言模型，使用包含一些上下文示例的提示，从合成的内容生成目标输出。提示的灵活性允许模型捕获任何形式的文本输入，例如自动语音识别（ASR）转录。我们的实验证明了语言模型在理解各种视频语言任务中的能力，包括视频描述，视频问答，视频字幕检索和视频未来事件预测。特别是在视频未来事件预测方面，我们的Few-Shot模型明显优于在大规模视频数据集上训练的最先进的监督模型。代码和资源可在https://github.com/MikeWangWZHL/VidIL上公开获取，以供研究之用。
2022-10-13 cs.AI cs.CV
