Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology Images
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Mass General Brigham(麻省总医院布莱根医疗系统)
针对计算病理学领域图文配对数据少、全切片图像尺寸极大的问题,提出MI-Zero框架,将零样本迁移重构于多实例学习框架下,结合领域文本预训练,实现了癌症分型任务的高准确率零样本迁移。
2023-06-13 cs.CV
Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening
本文提出利用大规模模拟数据预训练空间-光谱先验,提升遥感图像融合在不同传感器和条件下的泛化能力。
2025-12-02 cs.CV
BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder
BackdoorIDS通过分析输入在逐步遮蔽过程中的嵌入序列变化,利用密度聚类检测后门攻击,实现对预训练视觉编码器的零样本后门检测,优于现有防御方法。
2026-03-16 cs.CV
Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT));Mila(米拉 Quebec AI研究所);Université de Montréal(蒙特利尔大学)
模型不可知元学习(MAML)是一种流行的少样本学习方法,但假设我们可以访问元训练集。在实践中,由于数据隐私问题、知识产权问题或仅仅是缺乏计算资源,在元训练集上进行训练可能并不总是一种选择。在本文中,我们考虑重新利用预训练的MAML检查点来解决新的Few-Shot分类任务的新问题。由于潜在的分布不匹配,原始MAML步骤可能不再是最佳的。因此,我们提出了一种替代的元测试过程,并将MAML梯度步长与对抗训练和基于不确定性的步长自适应相结合。我们的方法优于“香草”MAML在同一域和跨域的基准使用SGD和亚当优化,并显示出更好的鲁棒性的基础步长的选择。
2021-03-16 cs.CV cs.LG
Bridging Audio and Vision: Zero-Shot Audiovisual Segmentation by Connecting Pretrained Models
Department of Computer Science and Engineering(计算机科学与工程系)
针对视听分割依赖像素级标注的问题,提出融合多个预训练音频、视觉与文本模型的零样本框架,无需任务训练即取得最先进性能。
2025-06-06 cs.CV cs.SD eess.AS
Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation
Department of Computer Science University of York(计算机科学系约克大学)
TABE通过单个查询掩码实现零样本无遮挡视频对象分割,利用预训练视频扩散模型进行生成补全,无需重新训练模型即可处理完全遮挡场景。
2026-03-05 cs.CV
AnyOKP: One-Shot and Instance-Aware Object Keypoint Extraction with Pretrained ViT
Department of Electrical and Computer Engineering, University of California San Diego(加利福尼亚大学圣地亚哥分校电气与计算机工程系)
提出基于预训练 ViT 的一次性实例感知物体关键点提取方法 AnyOKP,通过搜索最佳原型对生成候选关键点并划分子图以区分实例,在多种机器人采集的真实图像上验证了跨类别灵活性、实例感知能力及对领域偏移和视角变化的鲁棒性。
2023-09-15 cs.CV
ZING-3D: Zero-shot Incremental 3D Scene Graphs via Vision-Language Models
Birla Institute of Technology and Science Pilani, K.K Birla Goa Campus(比拉理工学院和科学学院,比拉戈阿校园);Department of Mechanical Engineering, College of Design and Engineering, National University of Singapore(设计与工程学院机械工程系,新加坡国立大学)
本文提出ZING-3D框架,利用预训练视觉语言模型实现零样本开放词汇3D场景图生成,支持增量更新和几何锚定,在Replica和HM3D数据集上验证了其无需任务特定训练即可有效捕捉空间与语义关系。
2025-10-24 cs.CV cs.RO
PL-SCEA: Reconfiguring Pretrained Attention for Few-Shot Industrial Anomaly Detection
School of Airspace Science and Engineering, Shandong University(山东大学空天科学与工程学院)
本研究提出PL-SCEA,通过重构冻结视觉基础模型的注意力机制,结合轻量级变分自编码器,在MVTec AD、VisA等数据集的小样本设置下,实现了更优的工业异常检测与定位性能。
2026-09-04 cs.CV
ZEETAD: Adapting Pretrained Vision-Language Model for Zero-Shot End-to-End Temporal Action Detection
University of Arkansas(阿肯色大学);FPT Software AI Center(FPT软件人工智能中心);West Virginia University(西弗吉尼亚大学)
针对现有零样本时序动作检测方法在任务关联构建与模型适配方面的不足,提出含双定位、零样本候选框分类模块的ZEETAD方法,通过轻量适配器微调冻结CLIP编码器,在两个基准数据集上实现更优的零样本检测性能与知识迁移效果。
2023-11-04 cs.AI cs.CV
Leveraging Pretrained Diffusion Models for Zero-Shot Part Assembly
Zhejiang University(浙江大学);North China Electric Power University(华北电力大学)
本文提出一种零样本3D零件组装方法,利用预训练点云扩散模型作为判别器引导零件操作,理论上将其转化为ICP过程,并采用推离策略解决重叠问题,效果超越监督学习方法。
2025-05-01 cs.CV
ACE: Zero-Shot Image to Image Translation via Pretrained Auto-Contrastive-Encoder
University of Michigan(密歇根大学);University of Illinois(伊利诺伊大学);YanShan University(燕山大学);ShanghaiTech University(上海科技大学)
图像间的平移是计算机视觉中的一项基本任务。它将图像从一个域转换为另一个域中的图像,使它们具有特定的域特定特征。大多数先前的工作训练生成模型来学习从源域到目标域的映射。然而,学习域之间的这种映射是具有挑战性的,因为来自不同域的数据在质量和数量方面可能高度不平衡。为了解决这个问题,我们提出了一种新的方法来提取图像特征,通过学习相同的数据分布内的样本的相似性和差异,通过一种新的对比学习框架,我们称之为自动对比编码器(ACE)。ACE学习内容代码作为具有相同内容信息和不同风格扰动的样本之间的相似性。ACE的设计使我们能够实现zero-shot图像到图像的翻译,而无需对图像翻译任务进行训练。此外,我们的学习方法可以有效地学习不同领域的图像的风格特征。因此,我们的模型在多模态图像翻译任务上也取得了有竞争力的结果,具有零样本学习。此外,我们证明了我们的方法在迁移学习的潜力。通过微调,翻译图像的质量在看不见的领域得到改善。即使我们使用对比学习,我们所有的训练都可以在一个GPU上执行,批量大小为8。
2023-02-22 cs.CV
Few-Shot Deployment of Pretrained MRI Transformers in Brain Imaging Tasks
Boston University(波士顿大学)
本研究提出一个实用框架,通过在超3100万切片的大规模脑MRI数据集上应用Masked Autoencoder (MAE)预训练策略,获得高泛化性潜在表示,实现预训练MRI Transformer在脑成像任务中的少样本部署,在分类和分割任务中均取得优异表现。
2025-08-07 cs.AI cs.CV
Applying ViT in Generalized Few-shot Semantic Segmentation
NYU Shanghai(上海纽约大学)
本文探讨了基于ViT的模型在广义少样本语义分割(GFSS)中的能力,实验表明DINOv2与线性分类器组合在PASCAL-$5^i$基准上表现领先,单样本场景下超越ResNet结构116%,同时指出纯ViT模型易过拟合。
2024-08-27 cs.CV
DeepATLAS: One-Shot Localization for Biomedical Data
University of California Irvine(加州大学欧文分校)
本文提出用于高维生物医学数据定位的 DeepATLAS 基础模型,通过自监督学习生成解剖学一致的嵌入实现单样本或少样本定位,在多解剖结构分割任务上达到或超越标准监督学习模型。
2024-02-14 cs.CV
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
The University of Hong Kong(香港大学);ByteDance Seed(字节跳动Seed);Peking University(北京大学)
研究提出SpectraReward将预训练多模态语言模型转为图像生成强化学习奖励模型,用图像条件提示对数似然作奖励,还引入Self-SpectraReward形成闭环框架。经广泛实验验证,二者能提升生成性能,表明奖励-策略对齐是关键。
2026-11-10 cs.CV
Zero-Shot AutoML with Pretrained Models
University of Freiburg(弗赖堡大学);University of Hildesheim(希尔德斯海姆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
给定一个新的数据集D和一个低的计算预算,我们应该如何选择一个预先训练好的模型来微调到D,并设置微调超参数而不冒过拟合的风险,特别是如果D很小?在这里,我们扩展了自动化机器学习(AutoML)来最好地做出这些选择。我们的独立于域的元学习方法学习一个zero-shot代理模型,在测试时,它允许为新数据集D选择正确的深度学习(DL)管道(包括预训练模型和微调超参数),仅给出描述D的琐碎元特征,如图像分辨率或类的数量。为了训练该zero-shot模型,我们在大量数据集上收集许多DL管道的性能数据,并在此数据上进行元训练,以最小化成对排名目标。我们在ChaLearn AutoDL挑战基准的视觉跟踪的严格时间限制下评估我们的方法,明显优于所有挑战竞争者。
2022-06-25 cs.AI cs.CV cs.LG
CLIP's Visual Embedding Projector is a Few-shot Cornucopia
Inria(法国国家信息与自动化技术研究所);Kyutai
ProLIP通过正则化投影矩阵提升CLIP在少样本分类及跨领域迁移中的性能,提供更高效的替代方案。
2026-01-26 cs.CV
Prompt-Guided Zero-Shot Anomaly Action Recognition using Pretrained Deep Skeleton Features
Konica Minolta, Inc.(柯尼卡美能达公司)
这项研究调查了无监督的异常动作识别,它以无监督的方式识别视频级别的异常人类行为事件,而无需异常样本,并同时解决了传统的基于神经网络的方法中的三个限制:目标域相关的DNN训练,对骨架错误的鲁棒性,以及缺乏正常样本。我们提出了一个统一的,用户引导的零样本学习框架,使用目标域独立的骨架特征提取器,这是预先训练的大规模动作识别数据集。特别地,在使用正常样本的训练阶段期间,该方法对正常动作的骨架特征的分布进行建模,同时冻结DNN的权重,并在推理阶段使用该分布来估计异常分数。此外,为了提高对骨架错误的鲁棒性,我们引入了一个DNN架构,该架构受到点云深度学习范式的启发,该范式稀疏地传播关节之间的特征。此外,为了防止未观察到的正常动作被误认为异常动作,我们将用户提示嵌入和骨架特征之间的相似性得分在公共空间中对齐到异常得分中,这间接地补充了正常动作。在两个公开的数据集上,我们进行了实验,以测试所提出的方法的有效性与上述限制。
2023-03-27 cs.AI cs.CV cs.LG
Zero-shot Video Moment Retrieval With Off-the-Shelf Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对于大多数机器学习社区来说,收集高质量人工注释数据的昂贵性以及无法在有限的计算上有效地微调非常大的最先进的预训练模型是为新任务构建模型的主要瓶颈。我们提出了一个zero-shot简单的方法,这样的任务,视频时刻检索(VMR),不执行任何额外的微调,只是重新使用现成的模型训练其他任务。我们的三步方法包括矩建议,矩查询匹配和后处理,所有这些都只使用现成的模型。在VMR的QVHighlights基准测试中,我们在所有指标上将以前的zero-shot方法的性能提高了至少2.5倍,并将zero-shot和最先进的监督之间的差距缩小了74%以上。此外,我们还表明,我们的zero-shot方法在召回指标上击败了非预训练的监督模型,并且在mAP指标上非常接近;并且在较短的时刻上,它的表现也优于最好的预训练监督模型。最后,我们消融和分析我们的结果,并提出有趣的未来方向。
2022-11-03 cs.CL cs.CV
Expanding Language-Image Pretrained Models for General Video Recognition
Chinese Academy of Sciences(中国科学院);Microsoft Research(微软研究院);Stony Brook University(石溪大学);University of Rochester(罗切斯特大学)
对比语言-图像预训练在从网络规模的数据中学习视觉-文本联合表示方面取得了巨大的成功,对各种图像任务表现出显着的“zero-shot”泛化能力。然而,如何有效地将这种新的语言图像预训练方法扩展到视频领域仍然是一个悬而未决的问题。在这项工作中,我们提出了一种简单而有效的方法,直接将预训练的语言图像模型用于视频识别,而不是从头开始预训练新模型。更具体地说,捕获的长期依赖性的帧沿时间维,我们提出了一个跨帧注意力机制,明确地交换跨帧的信息。这样的模块是轻量级的,可以无缝地插入到预先训练的语言图像模型中。此外,我们提出了一个视频特定的提示方案,它利用视频内容的信息,产生歧视性的文本提示。大量的实验表明,我们的方法是有效的,可以推广到不同的视频识别场景。特别是,在完全监督的设置下,我们的方法在Kinectics-400上实现了87.1%的top-1准确率,同时使用的FLOP比Swin-L和ViViT-H少12倍。在zero-shot实验中,我们的方法在两种流行协议下的前1精度方面超过了当前最先进的方法+7.6%和+14.9%。在Few-Shot场景中,当标记数据非常有限时,我们的方法比以前的最佳方法分别高出+32.1%和+23.1%。代码和模型可在https://aka.ms/X-CLIP上获得
2022-08-04 cs.CV
Navigating Data Scarcity using Foundation Models: A Benchmark of Few-Shot and Zero-Shot Learning Approaches in Medical Imaging
Cluster of Excellence “Machine Learning”(卓越集群“机器学习”);University of Tübingen(蒂宾根大学);Faculty of Health Sciences and Medicine, University of Lucerne(卢塞恩大学健康科学与医学院)
针对医学影像任务数据稀缺问题,该研究在19个数据集上基准测试16个基础模型的少/零样本性能,明确不同数据量下的最优模型,指出需研发专用医学基础模型并扩充数据集。
2024-08-15 cs.AI cs.CV cs.LG
Tackling VQA with Pretrained Foundation Models without Further Training
Nanyang Technological University(南洋理工大学);DSO National Laboratories(DSO国家实验室)
针对 VQA 中图文对齐训练成本高的问题,本文提出组合预训练 LLM 与其他基础模型,以自然语言表示图像并比较不同解码策略,在 VQAv2 上评估免训练方案。
2023-09-27 cs.CV
BootPIG: Bootstrapping Zero-shot Personalized Image Generation Capabilities in Pretrained Diffusion Models
Salesforce AI Research(Salesforce AI研究院)
本文提出 BootPIG 架构,通过独立 UNet 和合成数据训练,在约 1 小时内为预训练扩散模型赋予零样本个性化图像生成能力,效果优于现有零样本方法。
2024-01-25 cs.AI cs.CV cs.GR
Lumen: Parameter-Efficient Alignment of Pretrained Vision and Language Encoders for Zero-Shot Computational Pathology
University of Bern(伯尔尼大学);University Hospital Cologne(科隆大学医院);University Hospital of Bern(伯尔尼大学医院)
Lumen通过低秩适配器对齐冻结的Virchow2和BioMedBERT,仅训练0.40%参数,在零样本病理学基准上取得领先性能,验证了参数高效对齐的有效性。
2026-09-17 cs.CV
DomainGallery: Few-shot Domain-driven Image Generation by Attribute-centric Finetuning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对少样本域驱动图像生成中难以描述或未见域的问题,提出属性中心微调的DomainGallery方法,通过属性擦除、解耦、正则化与增强,在Stable Diffusion上实现优越性能。
2024-11-07 cs.CV
Contrastive Language-Image Pretrained Models are Zero-Shot Human Scanpath Predictors
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文提出了CapMIT1003数据集和零样本扫描路径预测方法NevaClip,通过结合CLIP与NeVA算法,利用字幕指导的梯度驱动视觉探索模拟人类注意力,在合理性和决策影响上优于现有无监督模型。
2023-05-23 cs.AI cs.CV
Few-shot Calligraphy Style Learning
提出Presidifussion两阶段训练扩散模型,结合字体图像与笔画信息条件,在不到200张图像的小数据集上高效学习并复制徐主席书法风格,性能优于传统方法。
2024-04-26 cs.CV
Few-shot Action Recognition with Captioning Foundation Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学)
本文提出CapFSAR框架,利用字幕基础模型自动生成文本描述,结合视觉-文本聚合模块,实现少样本动作识别的多模态知识迁移,并在多个基准上达到最先进性能。
2023-10-16 cs.CV
Zero-shot Object Detection Through Vision-Language Embedding Alignment
Dawnlight Technologies Inc.(晨光科技公司);Stanford University(斯坦福大学)
最近的方法表明,直接在大规模图像-文本对集合上训练深度神经网络可以在各种识别任务上实现zero-shot传输。一个中心问题是如何将其推广到目标检测,这涉及到定位的非语义任务以及分类的语义任务。为了解决这个问题,我们引入了一种视觉语言嵌入对齐方法,该方法将CLIP等预训练模型的泛化能力转移到YOLOv 5等对象检测器。我们制定了一个损失函数,使我们能够将来自预训练模型CLIP的图像和文本嵌入与来自检测器的修改后的语义预测头部对齐。通过这种方法,我们能够训练一个目标检测器,它在COCO、ILSVRC和Visual Genome zero-shot检测基准上达到最先进的性能。在推理过程中,我们的模型可以适应于检测任何数量的对象类,而无需额外的训练。我们还发现,标准的目标检测缩放可以很好地转移到我们的方法,并在YOLOv 5模型和YOLOv 3模型的各种尺度上找到一致的改进。最后,我们开发了一种自标记方法,该方法提供了显着的分数提高,而无需额外的图像或标签。
2022-08-26 cs.CV
SVL-Adapter: Self-Supervised Adapter for Vision-Language Pretrained Models
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);Niantic(Niantic公司)
CLIP等视觉语言模型在大量互联网来源的图像和文本对上进行了预训练,并且有时表现出令人印象深刻的零和低拍摄图像分类性能。然而,由于它们的大小,在新数据集上微调这些模型可能非常昂贵,无论是在监督方面还是在所需的计算方面。为了解决这个问题,已经提出了一系列轻量级的自适应方法,以有效地适应这些模型时,有限的监督。在这项工作中,我们表明,虽然在互联网风格的数据集上有效,但即使是这些补救措施,也无法在分类任务中提供与在线常见图像显著不同的图像。为了解决这个问题,我们提出了一种称为SVL-Adapter的新方法,它结合了视觉语言预训练和自监督表示学习的互补优势。我们报告了一组具有挑战性的视觉分类任务的平均分类精度提高了10%,在低拍摄设置相比,现有的方法。此外,我们提出了一种全自动的方法来为我们的模型选择一个重要的混合超参数,不需要任何保留的标记验证数据。我们项目的代码可以在这里找到:https://github.com/omipan/svl_adapter。
2022-10-07 cs.CV
Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination
University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室)
大规模预训练语言模型在解决下游语言理解任务方面取得了重大进展。然而,他们通常遭受报告偏见,这种现象描述了书面文本中缺乏明确的常识知识,例如,“橙子就是橙子”为了克服这一局限性,我们开发了一种新的方法,Z-LaVI,赋予语言模型视觉想象能力。具体来说,我们利用两种互补类型的“想象力”:(i)通过检索回忆现有的图像和(ii)通过文本到图像生成合成不存在的图像。联合利用语言输入和想象力,预先训练的视觉语言模型(例如,CLIP)最终为原始语言任务组成了一个zero-shot解决方案。值得注意的是,为语言模型注入想象力可以有效地利用视觉知识来解决简单的语言任务。因此,Z-LaVI始终提高了现有语言模型在各种语言任务中的zero-shot性能。
2022-10-21 cs.CL cs.CV
TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot
Xiamen University(厦门大学)
针对跨域及复杂背景舌象分割难题,本文提出基于SAM并集成目标检测提示生成器的TongueSAM,实现端到端零样本舌体分割,mIoU达95.23%。
2023-12-06 cs.CV
CLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian Evaluation
Microsoft(微软公司)
本文首次将CLIP预训练引入Mamba模型,通过多规模训练及26个零样本和16个OOD数据集评估,证明其参数效率优于ViT,并借助Hessian分析揭示其训练难度更高的原因。
2024-04-30 cs.CV
Prompting through Prototype: A Prototype-based Prompt Learning on Pretrained Vision-Language Models
Baidu Research(百度研究院)
提示学习是一种新的学习范式,它通过利用文本提示将下游任务重构为预训练模型上的类似预训练任务。最近的工作表明,快速学习对于少样本学习特别有用,其中训练数据有限。根据提示的粒度,这些方法可以大致分为任务级提示和实例级提示。任务级提示方法为所有输入样本学习一个通用提示,这是有效的,但无法捕捉不同类之间的细微差异。实例级提示方法为每个输入学习特定的提示,虽然有效但效率低下。在这项工作中,我们开发了一种新的基于原型的提示学习方法,以克服上述限制。特别是,我们专注于预训练的视觉语言模型(PVLM)上的Few-Shot图像识别任务,并开发了一种通过原型(PTP)进行提示的方法,其中我们定义了$K$图像原型和$K$提示原型。在PTP中,图像原型表示潜空间中某个图像簇的质心,提示原型定义为连续空间中的软提示。查询图像和图像原型之间的相似性决定了这种预测在多大程度上依赖于相应的提示原型。因此,在PTP中,类似的图像将使用类似的提示方式。通过对七个真实世界的基准测试进行广泛的实验,我们表明PTP是一种有效的方法来利用潜在的知识和适应各种PVLM。此外,通过详细分析,我们讨论了在少样本学习背景下快速学习和参数高效微调的利弊。
2022-10-19 cs.CL cs.CV
AutoAdapt: Reliable Few-Shot Adaptation under Clinical Distribution Shifts
本研究针对临床分布偏移下的小样本适应问题,提出AutoAdapt框架,通过Adapter与Automator设计及可靠性规则实现高效适配,在多类临床数据集上仅用少量患者即可达到最先进性能。
2026-10-09 cs.CV
Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
School of EECE, University of Chinese Academy of Science(中国科学院大学电子电气与通信工程学院);Dolby Lab. Inc.(杜比实验室公司)
提出Comp-LoRA方法,通过在互补子空间优化低秩矩阵缓解灾难性遗忘,在少样本分类中提升了准确率并保留了VLM零样本性能。
2025-01-25 cs.CV
Zero-Shot Tree Detection and Segmentation from Aerial Forest Imagery
UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校)
本文探索将SAM2以零样本方式用于航空森林影像中的单棵树木检测与分割,并验证其与现有专用检测模型提示相结合时的迁移效果,表明大型预训练模型在遥感领域具有良好前景。
2025-06-03 cs.CV
ScratchDet: Training Single-Shot Object Detectors from Scratch
JD AI Research(京东人工智能研究院);Sun Yat-sen University(中山大学);JD Digits(京东数字科技);CASIA(中国科学院自动化研究所);UCAS(中国科学院大学)
目前最先进的对象是从在大规模分类数据集ImageNet上预训练的现成网络中微调的,这会带来一些额外的问题:1)分类和检测对翻译的敏感程度不同,导致学习目标偏差; 2)架构受到分类网络的限制,导致修改不便。为了应对这些问题,从头开始训练检测器是一个可行的解决方案。然而,从头开始训练的检测器通常比预先训练的检测器性能更差,甚至在训练中存在收敛问题。在本文中,我们探索训练对象检测器从头开始鲁棒。通过分析以前的优化工作,我们发现当前从头开始训练的检测器中被忽视的一点是BatchNorm。借助BatchNorm带来的稳定和可预测的梯度,检测器可以从头开始稳定地训练,同时保持良好的性能与网络结构无关。利用这一优势,我们能够探索各种类型的网络进行目标检测,而不会受到收敛性差的影响。通过大量的实验和对下采样因子的分析,提出了Root-ResNet骨干网络,充分利用了原始图像的信息。在所有从头开始训练的检测器中,我们的SundechDet在PASCAL VOC 2007,2012和MS COCO上达到了最先进的准确性,甚至比几个一步预训练方法更好。代码将在https://github.com/KimSoybean/ScratchDet上公布。
2019-05-06 cs.CV
Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
少样本学习中的大多数现有工作依赖于在大的基础数据集上对网络进行元学习,该基础数据集通常来自与目标数据集相同的域。我们解决了跨域少样本学习的问题,其中在基础域和目标域之间存在较大的偏移。跨域Few-Shot识别与未标记的目标数据的问题在很大程度上是未解决的文献。STARTUP是第一个使用自我训练来解决这个问题的方法。然而,它使用在标记的基础数据集上预训练的固定教师来为未标记的目标样本创建软标签。由于基础数据集和未标记数据集来自不同的域,因此使用固定的预训练模型在基础数据集的类域中投影目标图像可能是次优的。我们提出了一个简单的动态蒸馏为基础的方法,以促进未标记的图像从新的/基础数据集。我们通过计算来自教师网络的未标记图像的弱增强版本的预测,并将其与来自学生网络的相同图像的强增强版本进行匹配,来实施一致性正则化。教师网络的参数更新为学生网络参数的指数移动平均。我们表明,所提出的网络学习的表示,可以很容易地适应目标域,即使它没有在预训练阶段与目标特定的类进行训练。在BSCD-FSL基准测试中,我们的模型在1次分类和5次分类方面分别比当前最先进的方法高出4.4%和3.6%,并且在传统的域内少样本学习任务上也表现出了竞争力。
2021-11-01 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam(阿姆斯特丹大学)
在这项工作中,我们提出并验证了一个框架,利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现,解开的内容和风格表示可以用来指导图像生成器,采用它们作为草图到图像生成器,而无需(重新)训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法,包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明,这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力,而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards Boosted Few-Shot Parameter-Efficient Tuning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
提出Hint-Aug框架,通过AOD检测过自信图块并用CFI注入预训练特征以增强少样本微调数据,在多数据集上显著提升FViT准确率。
2023-06-26 cs.AI cs.CV
Mug-STAN: Adapting Image-Language Pretrained Models for General Video Understanding
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室);ByteDance Inc.(字节跳动公司)
本文提出Mug-STAN框架,通过解耦时空模块实现可泛化的时序建模,并利用互引导对齐模块抑制视频-文本错位,有效将图像-语言预训练模型扩展至通用视频理解,在多个下游数据集上取得SOTA零样本与微调结果并实现零样本视频聊天。
2023-11-25 cs.CV
CASP: Few-Shot Class-Incremental Learning with CLS Token Attention Steering Prompts
School of Artificial Intelligence(人工智能学院);South China Normal University(华南师范大学)
CASP通过引入CLS标记注意力引导提示,提升少样本类增量学习的泛化能力和效率,减少参数开销。
2026-01-23 cs.CV
Generalized Few-Shot Object Detection without Forgetting
Megvii Technology(旷视科技)
近年来,Few-Shot目标检测被广泛用于处理数据有限的情况。虽然大多数以前的作品只专注于性能上的Few-Shot类别,我们声称,检测所有类是至关重要的测试样本可能包含任何实例在现实中的应用,这需要Few-Shot检测器学习新的概念,而不会忘记。通过对基于迁移学习的方法的分析,利用一些被忽视但有益的性质,设计了一种简单而有效的Few-Shot检测器--保留R-CNN。它由Bias-Balanced RPN和Re-detector组成,Bias-Balanced RPN用于消除预训练RPN的偏差,Re-detector用于在不忘记先前知识的情况下找到Few-Shot类对象。在Few-Shot检测基准上进行的大量实验表明,在所有设置中,Retentive R-CNN在整体性能上明显优于最先进的方法,因为它可以在Few-Shot类上实现有竞争力的结果,并且根本不会降低基类的性能。我们的方法已经证明,长期期望的永不遗忘的学习器是可用的目标检测。
2021-05-20 cs.CV
Vision Models Can Be Efficiently Specialized via Few-Shot Task-Aware Compression
Skoltech(斯科尔科沃科学技术研究院);Yandex(扬德克斯);IST Austria(奥地利科学技术研究所);Sharif UT(谢里夫理工大学);Massachusetts Institute of Technology(麻省理工学院);Neural Magic(神经魔法公司)
最近的视觉架构和自监督训练方法使视觉模型非常准确和通用,但需要大量的参数和计算成本。在实际设置中,例如相机陷阱,用户的资源有限,并且可能会对来自一小组特定类别的数据(通常是有限的)进行预训练模型微调。这些用户可能希望使用现代的、高精度的模型,但通常在计算上受到限制。为了解决这个问题,我们问:我们能否快速地将大型通才模型压缩成准确高效的专家?为此,我们提出了一种简单而通用的技术,称为Few-Shot任务感知压缩(TACO)。给定一个大型视觉模型,该模型在广泛的任务(例如ImageNet-22 K上的分类)上进行了预训练,TACO生成了一个较小的模型,该模型在特定的任务(例如车辆类型或动物物种的分类)上是准确的。至关重要的是,TACO以Few-Shot方式工作,即仅使用少数任务特定的样本,并且该过程具有低计算开销。我们在高精度的ResNet、ViT/DeiT和ConvNeXt模型上验证TACO,这些模型最初是在ImageNet、LAION或iNaturalist上训练的,我们将其专门化并压缩到一组不同的“下游”子任务中。相对于原始模型,TACO可以将现有模型中的非零参数数量减少多达20倍,从而导致推理加速高达3 $\times$,同时在专门任务上与未压缩模型保持准确性竞争。
2023-03-25 cs.CV
Preserve and Sculpt: Manifold-Aligned Fine-tuning of Vision-Language Models for Few-Shot Learning
针对少样本学习中VLMs微调易破坏数据分布几何结构的问题,提出MPS-Tuning方法,通过对齐Gram矩阵保留流形拓扑并优化图文特征相似度以增强类别可分性,实验证明其能显著提升性能。
2025-08-18 cs.CV
Zero-Shot Visual Classification with Guided Cropping
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出GC-CLIP方法,通过在预处理中使用零样本目标检测模型进行引导裁剪,增强CLIP对目标物体的关注并减少无关区域干扰,有效提升了零样本分类性能,尤其针对小目标物体。
2023-09-12 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架,通过结构化语义提示提升零样本动作识别性能,尤其在细粒度和组合动作上表现优异,同时保持模型效率和泛化能力。
2026-03-09 cs.CV
ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation
Nanyang Technological University(南洋理工大学);Shanghai University of Finance and Economics(上海财经大学)
提出零样本遥感实例分割任务及ZoRI框架,通过判别性增强分类器、知识保持自适应策略和先验注入预测,实现遥感图像中未见空中目标的准确分割,达到最先进性能。
2024-12-17 cs.CV
Vita-CLIP: Video and text adaptive CLIP via Multimodal Prompting
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
提出多模态提示学习方案Vita-CLIP,在冻结骨干网络下统一训练,平衡视频动作识别的监督与零样本性能,实现最先进零样本表现并保持监督竞争力。
2023-04-06 cs.CV eess.IV
Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
针对有监督联邦学习需标注数据、模型训练传输开销大的问题,提出基于CLIP的轻量无监督联邦学习方法,通过自训练优化伪标签、类别平衡采样缓解异构,在低开销下性能超越零样本预测和有监督基准。
2024-04-17 cs.AI cs.CV cs.LG
Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
近年来,以用户为中心的应用程序不断增长,这些应用程序需要在低数据状态下跨任务进行有效的知识转移。一个例子是个性化,预先训练的系统通过学习属于特定用户的少量标记数据来适应。这种设置要求在低计算复杂性下具有高精度,因此精度与自适应成本的帕累托边界起着至关重要的作用。在本文中,我们在Few-Shot图像分类设置中推动了这一帕累托前沿,并做出了关键贡献:一个新的自适应块,称为上下文挤压和激励(CaSE),它可以在新任务上调整预先训练的神经网络,从而通过用户数据(上下文)的单次向前传递来显着提高性能。我们使用元训练的CaSE块来有条件地适应网络的主体,并使用微调例程来适应线性头部,定义了一种称为UpperCaSE的方法。UpperCaSE在VTAB+MD的26个数据集和具有挑战性的真实世界个性化基准(ORBIT)上实现了相对于元学习者的最新准确性,缩小了与领先的微调方法的差距,具有数量级更低的适应成本。
2023-01-11 cs.CV cs.LG
Performance at What Cost? A Sustainability-Aware Performance Index for Cell and Nucleus Instance Segmentation
Bielefeld University of Applied Sciences and Arts(比勒费尔德应用科学与艺术大学)
针对细胞与细胞核实例分割,提出可持续性感知性能指数(SAPI),综合性能、能耗与模型规模,基准测试表明大型模型性能提升不成比例,为环境友好的模型选择提供框架。
2026-10-08 cs.AI cs.CV