ReFine: Re-randomization before Fine-tuning for Cross-domain Few-shot Learning
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
跨领域少样本学习(CD-FSL)是一种在源域和目标域之间存在极大差异的情况下,目标样本很少的学习方法,近年来引起了人们的极大关注。最近对CD-FSL的研究通常集中在基于迁移学习的方法上,其中神经网络在流行的标记源域数据集上进行预训练,然后转移到目标域数据。虽然标记的数据集可以为目标数据提供合适的初始参数,但是源和目标之间的域差异可能会阻碍对目标域的微调。本文提出了一种简单而强大的方法,重新随机化的参数拟合的源域之前,适应目标数据。重新随机化重置了源预训练模型的源特定参数,从而有助于对目标域进行微调,提高了Few-Shot性能。
2022-09-17 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University(印第安纳大学);Fudan University(复旦大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题,可以应用现成的图像生成器来合成额外的训练图像,但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架,将生成的图像与原始图像相结合,从而得到的“混合”训练图像可以改善一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练,我们的实验表明,在单次细粒度图像分类基准测试中,与基线相比,该模型具有一致的改进。
2019-11-17 cs.CV
Learning by Correction: Efficient Tuning Task for Zero-Shot Generative Vision-Language Reasoning
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出图像条件描述纠错(ICCC)预训练任务,利用语言结构和依存解析器低成本构建纠错数据,在不依赖人工标注的情况下提升视觉-语言模型的零样本推理能力,并在BLIP-2和InstructBLIP上验证了显著效果。
2024-04-01 cs.CV
Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning
Yonsei University(延世大学)
在本文中,我们专注于解决开集人脸识别问题的Few-Shot画廊微调。该问题假设了一个现实的情况下,人脸识别,只有少量的人脸图像是为了注册和任何未知的身份必须在识别过程中被拒绝。我们观察到,在大型数据集上预训练的人脸识别模型和天真的微调模型在这项任务中表现不佳。出于这个问题,我们提出了一个有效的微调方案与分类器的权重印记和独家BatchNorm层调整。为了进一步提高拒绝未知身份的准确性,我们提出了一种新的匹配称为邻域余弦(NAC),计算相似性的基础上的邻域信息。我们验证了所提出的方案的有效性,彻底的大规模人脸基准在不同的卷积神经网络架构。该项目的源代码可在以下网址获得:https://github.com/1ho0jin1/OSFI-by-FineTuning
2023-01-05 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Indiana University(印第安纳大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题,基于生成对抗网络(GANs)的现成图像生成技术可以创建额外的训练图像。然而,这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中,我们提出了一个元学习框架,将生成的图像与原始图像相结合,从而使生成的“混合”训练图像改善了一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。我们的实验表明,一致的改善基线上一杆细粒度图像分类基准。此外,我们的分析表明,与原始图像和GAN生成的图像相比,增强图像具有更大的多样性。
2022-04-22 cs.CV
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
National University of Singapore(新加坡国立大学);Tencent PCG(腾讯平台与内容事业群)
为了复制文本到图像(T2 I)生成的成功,最近的工作采用大规模视频数据集来训练文本到视频(T2 V)生成器。尽管他们有希望的结果,这样的范例是计算昂贵的。在这项工作中,我们提出了一个新的T2 V生成设置$\unicode{x2014}$单次视频调谐,其中只有一个文本视频对。我们的模型是建立在最先进的T2 I扩散模型上的,这些模型是在大量图像数据上预先训练的。我们提出两个关键意见:1)T2 I模型可以生成表示动词术语的静态图像; 2)扩展T2 I模型以同时生成多个图像,表现出令人惊讶的良好内容一致性。为了进一步学习连续运动,我们引入了Tune-A-Video,它涉及一个定制的时空注意力机制和一个有效的一次性调谐策略。在推理方面,我们采用DDIM反演为采样提供结构指导。大量的定性和数值实验表明,我们的方法在各种应用程序的显着能力。
2023-03-17 cs.CV
SmoothVideo: Smooth Video Synthesis with Noise Constraints on Diffusion Models for One-shot Video Tuning
Zhejiang University(浙江大学);FABU Inc.(FABU公司);Tencent(腾讯)
针对一次性视频调优中视频不连贯问题,提出跨帧噪声约束损失以平滑潜在表示,并引入新评估指标,显著提升生成视频的一致性和平滑度。
2024-02-06 cs.CV
Diversified in-domain synthesis with efficient fine-tuning for few-shot classification
University of Trento(特伦托大学);University of Pisa(比萨大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出DISEF,通过语义引导的多样化域内文本到图像合成,并用LoRA联合微调视觉语言模型的图文编码器,在十个少样本分类基准上达到新SOTA。
2023-12-07 cs.CV
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney(悉尼科技大学)
人类的认知能力是逐步发展的。通常,孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发,我们提出了一个简单而有效的模型,用于Few-Shot Fine-Grained(FSFG)识别,试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法,称为成对对齐双线性网络(PABN),是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同,该网络采用自双线性池来捕获图像的细微特征,该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异,以学习深度距离度量。为了匹配基本图像特征与查询图像特征,我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明,该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
AirDet: Few-Shot Detection without Fine-tuning for Autonomous Exploration
Carnegie Mellon University(卡内基梅隆大学);Tongji University(同济大学);IIITDM Jabalpur(贾巴尔普尔印度信息技术、设计与制造学院)
近年来,Few-Shot目标检测受到越来越多的关注并得到了迅速的发展。然而,在现有的方法中,详尽的离线微调阶段的要求是耗时的,并显着阻碍了它们在在线应用中的使用,如低功耗机器人的自主探索。我们发现,他们的主要限制是,很少,但有价值的信息,从一些支持图像没有得到充分利用。为了解决这个问题,我们提出了一个全新的架构,AirDet,并令人惊讶地发现,通过学习与所有模块中的支持图像的类不可知关系,包括跨尺度对象建议网络,镜头聚合模块和本地化网络,AirDet没有微调实现了与许多微调方法相当甚至更好的结果,达到高达30-40%的改进。我们还展示了DARPA地下挑战赛真实探索数据的机载测试结果,这有力地验证了AirDet在机器人领域的可行性。据我们所知,AirDet是第一个可行的Few-Shot检测方法,用于低功耗机器人的自主探索。代码和预训练模型在https://github.com/Jaraxxus-Me/AirDet上发布。
2022-07-23 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University(康奈尔大学)
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别(例如,鸟类)仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示:首先定位每个图像中的语义部分,然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类,我们表明,他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下,姿势归一化将浅层和深层架构的准确度提高了10到20个百分点,更好地推广到新领域,并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
School of EECE, University of Chinese Academy of Science(中国科学院大学电子电气与通信工程学院);Dolby Lab. Inc.(杜比实验室公司)
提出Comp-LoRA方法,通过在互补子空间优化低秩矩阵缓解灾难性遗忘,在少样本分类中提升了准确率并保留了VLM零样本性能。
2025-01-25 cs.CV
Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models
University of Maryland(马里兰大学);NVIDIA(英伟达);Caltech(加州理工学院);Arizona State University(亚利桑那州立大学)
预先训练的视觉语言模型(例如,CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依靠手工设计的提示,而是使用来自下游任务的训练数据来学习提示。虽然有效,但对特定领域数据的训练会降低模型对未知新领域的泛化能力。在这项工作中,我们提出了测试时提示微调(TPT),一种方法,可以学习自适应提示飞行与一个单一的测试样本。对于图像分类,TPT通过使用置信度选择最小化熵来优化提示,使得模型在每个测试样本的不同增强视图上具有一致的预测。在评估自然分布偏移的泛化时,TPT将CLIP的zero-shot top-1准确度平均提高了3.6%,超过了之前需要额外的特定任务训练数据的提示微调方法。在评估具有不可见类别的跨数据集泛化时,TPT的表现与使用额外训练数据的最先进方法不相上下。项目页面:https://azshue.github.io/TPT。
2022-09-15 cs.CV
Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对CLIP对抗微调易过拟合的问题,提出PMG-AFT,通过辅助分支对齐对抗样本特征以保留预训练泛化能力,在15个零样本数据集上显著提升鲁棒与干净准确率。
2024-04-10 cs.CV
Preserve and Sculpt: Manifold-Aligned Fine-tuning of Vision-Language Models for Few-Shot Learning
针对少样本学习中VLMs微调易破坏数据分布几何结构的问题,提出MPS-Tuning方法,通过对齐Gram矩阵保留流形拓扑并优化图文特征相似度以增强类别可分性,实验证明其能显著提升性能。
2025-08-18 cs.CV
Long Context Tuning for Video Generation
The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动)
本文提出 Long Context Tuning(LCT),通过扩展预训练单镜头视频 diffusion 模型的全注意力上下文、3D 位置嵌入和异步噪声策略,使其无需新增参数即可生成连贯多镜头视频并支持交互式扩展。
2025-03-13 cs.CV
Object-Driven One-Shot Fine-tuning of Text-to-Image Diffusion with Prototypical Embedding
Tencent(腾讯)
针对文本到图像扩散模型在一次性场景下对新对象生成的泛化性与保真度不足问题,提出对象驱动的微调方法,通过原型嵌入初始化、类别表征正则化及对象特定损失提升性能,效果优于现有方法。
2024-01-28 cs.CV
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning
University of Maryland(马里兰大学);Microsoft Research(微软研究院);Samsung AI(三星人工智能)
本文通过超过1.8k次受控实验分析了少样本分类中的参数高效微调方法,发现仅微调LayerNorm参数的LN-Tune是极强基线,而AttnScale结合DRA模块在自监督ViT上实现了最先进性能且参数效率提升约9倍。
2023-04-04 cs.CV
Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics
Peking University(北京大学);Renmin University of China(中国人民大学);Queen Mary University of London(伦敦玛丽女王大学)
细粒度图像分类的目标是区分具有细微差别的图像,这是一个具有挑战性的任务,由于两个主要问题:缺乏足够的训练数据的每一个类和难以学习的歧视性特征表示。在本文中,为了解决这两个问题,我们提出了一个两阶段的框架,识别图像从看不见的细粒度类,即zero-shot细粒度分类。在第一个特征学习阶段,我们使用细粒度类之间的层次语义结构来微调深度卷积神经网络,以提取有区别的深度视觉特征。同时,在深度卷积神经网络中引入领域自适应结构,以避免从训练数据到测试数据的域移位。在第二个标签推理阶段,语义有向图构造的细粒度类的属性。基于此图,我们开发了一个标签传播算法来推断未见过的类中的图像的标签。在两个基准数据集上的实验结果表明,我们的模型优于最先进的零样本学习模型。此外,我们的特征学习模型获得的特征也产生显着的收益时,他们被用于其他零样本学习模型,这表明我们的模型在zero-shot细粒度分类的灵活性。
2017-07-04 cs.CV
Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models
Department of Computer Science(计算机科学系);Virginia Tech(弗吉尼亚理工大学)
本研究针对大型视觉语言模型在零样本细粒度图像分类任务中潜力未充分挖掘的问题,提出将任务转化为视觉问答框架并结合注意力干预技术的新方法,同时构建更精准的类别描述基准,实验证明该方法优于现有SOTA。
2025-10-04 cs.CV
PointRFT: Explicit Reinforcement Fine-tuning for Point Cloud Few-shot Learning
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院);International School, Beijing University of Posts and Telecommunications(北京邮电大学国际学院)
本文提出PointRFT,一种专为点云表示学习设计的强化微调方法,通过定制奖励函数提升训练稳定性,实验表明其在多种基准上优于传统监督微调。
2026-03-25 cs.CV
SynQ: Accurate Zero-shot Quantization by Synthesis-aware Fine-tuning
Seoul National University(首尔国立大学)
SynQ通过合成感知微调解决零样本量化中合成数据噪声、目标模式预测和错误标签误导问题,提升模型精度。
2026-03-19 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University(复旦大学);Oracle Health and AI(甲骨文健康与人工智能部门);Shanghai AI Laboratory(上海人工智能实验室)
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功,但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系,在Few-Shot细粒度场景中仍然探索不足。在这项工作中,我们提出了一个基于transformer的双螺旋模型,即HelixFormer,实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成:1)跨不同分支的关系挖掘过程(RMP),以及2)每个分支内的表示增强过程(REP)。通过所设计的RMP,每个分支可以提取细粒度的对象级跨图像语义关系映射(CSRMs)从其他分支的信息,确保更好的跨图像的交互语义相关的局部对象区域。此外,在CSRMs的帮助下,开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征,提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明,HelixFormer可以有效地增强跨图像对象语义关系匹配,以识别细粒度对象,在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在:https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Meituan Group(美团集团);Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
本文针对少样本 CLIP 中冻结注意力池化难以适配任务语义的问题,提出 SAFE 微调该池化层并在推理时残差融合原始特征,可增强少样本性能并兼容 adapter。
2023-12-07 cs.CV
OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
本文提出OSTAF,一种仅用单张参考图像的一次性参数高效微调方法,通过超网络驱动的属性聚焦机制,实现个性化T2I中属性特征的精确学习,兼顾效率与质量。
2024-03-17 cs.CV
TEST-V: TEst-time Support-set Tuning for Zero-shot Video Classification
Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学);Hong Kong University of Science and Technology(香港科技大学)
针对零样本视频分类中TPT存在模态语义鸿沟、支持集无法调优的问题,提出TEST-V框架,通过多提示扩展支持集并结合时间感知的可学习权重压缩支持集,在四个基准上取得最优结果且具可解释性。
2025-02-10 cs.CV
One-Shot Fine-Grained Instance Retrieval
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
细粒度视觉分类(FGVC)近年来取得了很大的进展。然而,在真实场景中,细粒度物种的数量可能是巨大的,并且是动态增加的,这使得在当前的FGVC框架下很难识别看不见的对象。这就提出了一个开放的问题,即在没有完整训练集的情况下进行大规模细粒度识别。为了克服这个问题,我们提出了一个检索任务命名为单次细粒度实例检索(OSFGIR)。“One-Shot”表示通过细粒度检索任务在不完整的辅助训练集的辅助下识别未见过对象的能力。本文首先介绍了OSFGIR任务和我们收集的OSFGIR-378 K数据集。接下来,我们提出了在辅助数据集上学习的卷积和归一化网络(CN-Nets),以生成简洁和有区别的表示。最后,我们提出了一个由粗到细的检索框架,包括三个组件,即,分别是粗检索、细粒度检索和查询扩展。该框架逐步检索具有相似语义的图像,并执行细粒度的识别。实验结果表明,该框架在识别精度和效率上明显优于现有的FGVC和图像检索方法,是大规模细粒度目标识别的较好解决方案。
2017-07-04 cs.CV
Dynamic Gradient Sparsification Training for Few-Shot Fine-tuning of CT Lymph Node Segmentation Foundation Model
Sichuan Cancer Hospital and Institute, University of Electronic Science and Technology of China(电子科技大学附属四川省肿瘤医院);School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China(电子科技大学机械与电气工程学院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Stanford University School of Medicine(斯坦福大学医学院)
针对CT淋巴结分割在医学应用中少样本微调效率低的问题,研究构建了基于3,346例CT数据的分割模型,并提出动态梯度稀疏化训练(DGST)方法,在保留基础知识的同时动态更新关键参数,在有限标注下显著优于现有方法。
2025-03-02 cs.CV
Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation
Northeastern University(东北大学);Xiangtan University(湘潭大学)
传统的细粒度图像分类通常依赖于带有注释的地面实况的大规模训练样本。然而,一些子类别在现实世界的应用中几乎没有可用的样本,并且当前的Few-Shot模型仍然难以区分细粒度类别之间的细微差异。为了解决这一问题,我们提出了一种新的Few-Shot细粒度图像分类网络(FicNet)使用多频邻域(MFN)和双交叉调制(DCM)。MFN同时关注空间域和频域,以捕获多频结构表示,从而减少外观和背景变化对类内距离的影响。DCM由双交叉分量和双3D交叉注意分量组成。该方法通过分别考虑全局上下文信息和类间关系对表示进行调整,使支持样本和查询样本响应相同的部分,并准确识别细微的类间差异。在三个细粒度基准数据集上对两个Few-Shot任务进行了综合实验,验证了FicNet方法与现有方法相比具有优异的性能。特别是在“Caltech-UCCD Birds”和“Stanford Cars”两个数据集上的实验,分类准确率分别为93.17%和95.36%。它们甚至高于一般的细粒度图像分类方法所能达到的分类精度。
2022-10-26 cs.CV
CAT-SAM: Conditional Tuning for Few-Shot Adaptation of Segment Anything Model
The University of Tokyo(东京大学);Nara Institute of Science and Technology(奈良科学技术研究所);Nanyang Technological University(南洋理工大学);Waseda University(早稻田大学);Zhejiang University of Technology(浙江工业大学);University of Chinese Academy of Sciences(中国科学院大学);RIKEN AIP(理化学研究所人工智能项目)
针对SAM在非常规图像上分割性能不佳的问题,提出CAT-SAM条件调优网络,通过提示桥接联合调优图像编码器和掩码解码器,仅需少量样本即可在11个任务上实现优越分割性能。
2024-07-16 cs.CV
fine-CLIP: Enhancing Zero-Shot Fine-Grained Surgical Action Recognition with Vision-Language Models
University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);ICube(ICube实验室);IHU Strasbourg(斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院)
针对CLIP在零样本细粒度手术动作识别中忽视局部细节与层次结构的问题,提出fine-CLIP,通过层次提示、LoRA视觉适配和基于图的凝聚策略,在CholecT50上显著提升F1和mAP。
2025-03-25 cs.CV
Weak-shot Fine-grained Classification via Similarity Transfer
Shanghai Jiao Tong University(上海交通大学)
细粒度类别的识别仍然是一个具有挑战性的任务,由于不同的从属类别之间的细微差别,这导致了大量的注释样本的需求。为了缓解数据饥饿的问题,我们考虑了在一组干净的基本类别的支持下从Web数据中学习新类别的问题,这被称为弱射学习。在这种情况下,我们提出了一种称为SimTrans的方法,将成对的语义相似性从基本类别转移到新类别。具体来说,我们首先训练干净的数据相似性网络,然后利用传输的相似性去噪网络训练数据使用两个简单而有效的策略。此外,我们在相似性网络上应用对抗损失来增强相似性的可传递性。综合实验证明了我们的弱镜头设置和我们的SimTrans方法的有效性。数据集和代码可在https://github.com/bcmi/SimTrans-Weak-Shot-Classification上获得。
2021-10-23 cs.CV
Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment
University of Science and Technology of China(科学技术大学);Fudan University(复旦大学)
针对零样本脑肿瘤亚型分类中细粒度特征捕捉不足的问题,提出FG-PAN框架,通过局部特征细化与LLM生成细粒度文本描述对齐,提升类别可分性,在EBRAINS和TCGA上取得最先进性能。
2025-08-06 cs.CV
Hint-Aug: Drawing Hints from Foundation Vision Transformers Towards Boosted Few-Shot Parameter-Efficient Tuning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
提出Hint-Aug框架,通过AOD检测过自信图块并用CFI注入预训练特征以增强少样本微调数据,在多数据集上显著提升FViT准确率。
2023-06-26 cs.AI cs.CV
Vision-aware Multimodal Prompt Tuning for Uploadable Multi-source Few-shot Domain Adaptation
School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院)
本文针对低资源边缘场景提出可上传多源少样本域适应模式,并设计视觉感知多模态提示微调框架 VAMP,通过视觉提示引导文本提示、跨模态对齐与协作损失提升边缘模型协同适应能力,在 OfficeHome 和 DomainNet 上优于现有提示微调方法。
2025-03-08 cs.CV
Variational Feature Disentangling for Fine-Grained Few-Shot Classification
Stony Brook University(石溪大学);Amazon Robotics(亚马逊机器人)
细粒度的Few-Shot识别通常会遇到新类别训练数据不足的问题,由于训练数据不足,网络容易过拟合,不能很好地推广到未知类别。已经提出了许多方法来综合额外的数据,以支持培训。在本文中,我们专注于一个扩大的类内方差的不可见类,以提高Few-Shot分类性能。我们假设类内方差的分布在基类和新类中泛化。因此,可以将基集合的类内方差转移到新集合以进行特征增强。具体来说,我们首先通过变分推理对基集上的类内方差的分布进行建模。然后将学习到的分布转移到新的集合中以生成附加特征,这些附加特征与原始特征一起用于训练分类器。实验结果表明,在具有挑战性的细粒度Few-Shot图像分类基准上,该方法比最先进的方法有显著的提高。
2021-08-25 cs.CV
AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image Classification
SenseTime Research(商汤科技研究院);Shanghai AI Lab(上海人工智能实验室);University of New South Wales(新南威尔士大学);The Australian National University(澳大利亚国立大学);Curtin University(科廷大学)
微调作为一种迁移学习方法被广泛应用于图像分类任务中。它重用来自源任务的知识来学习并在目标任务中获得高性能。微调能够缓解训练数据不足和新数据标记昂贵的挑战。然而,标准的微调在复杂的数据分布中性能有限。为了解决这个问题,我们提出了自适应多调整方法,自适应地确定每个数据样本的微调策略。在这个框架中,定义了多个微调设置和一个策略网络。Adaptable Multi-tuning中的策略网络可以动态调整到最佳权重,以将不同的样本馈送到使用不同微调策略训练的模型中。我们的方法在数据集FGVC-Aircraft和Describable Texture上的性能优于标准微调方法1.69%,2.79%,在数据集Stanford Cars,CIFAR-10和Fashion-MNIST上的性能相当。
2022-07-26 cs.CV
Generalized Few-Shot Semantic Segmentation: All You Need is Fine-Tuning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado, Boulder(科罗拉多大学博尔德分校);Adobe Research(奥多比研究院)
引入了广义Few-Shot语义分割,以超越仅对新类的Few-Shot分割模型进行评估,从而包括测试其记住基类的能力。虽然目前最先进的方法是基于元学习的,但它的性能很差,并且在只观察几个镜头后就会饱和。我们提出了第一个微调解决方案,并证明它解决了饱和问题,同时在两个数据集上实现了最先进的结果,PASCAL-5i和COCO-20 i。我们还表明,它优于现有的方法,无论是微调多个最终层或只有最后一层。最后,我们提出了一个三重损失正则化,展示了如何重新分配新类别和基本类别之间的性能平衡,使它们之间的差距较小。
2022-03-24 cs.CV cs.LG
Lipsum-FT: Robust Fine-Tuning of Zero-Shot Models Using Random Text Guidance
KAIST AI(韩国科学技术院人工智能学院);NAVER AI Lab(NAVER人工智能实验室);AITRICS(AITRICS公司)
本文提出Lipsum-FT鲁棒微调算法,利用视觉-语言模型的语言建模能力,在提升零样本模型下游性能的同时保持对分布偏移的鲁棒性,并在DomainNet和ImageNet上验证了其优越性。
2024-04-01 cs.CV cs.LG
Prompt Tuning based Adapter for Vision-Language Model Adaption
University at Buffalo(布法罗大学);Duke University(杜克大学)
大型预训练的视觉语言(VL)模型在适应各种下游任务方面表现出了巨大的潜力。然而,由于大量的模型参数,微调整个网络是具有挑战性的。为了解决这个问题,已经提出了诸如提示微调的有效自适应方法。我们探索了使用多任务预训练初始化的提示微调的想法,发现它可以显着提高模型性能。基于我们的研究结果,我们引入了一个新的模型,称为快速适配器,它结合了预先训练的快速调整与一个有效的适应网络。我们的方法在公共11个数据集上的Few-Shot图像分类中击败了最先进的方法,特别是在具有有限数据实例的设置中,例如1个镜头,2个镜头,4个镜头和8个镜头图像。我们提出的方法表明,结合提示微调和参数高效的网络有效的视觉语言模型适应的承诺。该代码可在https://github.com/Jingchensun/prompt_adapter上公开获取。
2023-03-24 cs.AI cs.CV
DLADiff: A Dual-Layer Defense Framework against Fine-Tuning and Zero-Shot Customization of Diffusion Models
Shanghai Jiao Tong University(上海交通大学);Shandong University(山东大学);Hefei University of Technology(合肥工业大学);East China Normal University(华东师范大学)
DLADiff提出一种双层防御框架,通过双代理模型和交替动态微调有效防御扩散模型的微调和零样本生成攻击。
2025-11-25 cs.CV eess.IV
Robust fine-tuning of zero-shot models
University of Washington(华盛顿大学);OpenAI;Columbia University(哥伦比亚大学);Google Research(谷歌研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Toyota Research Institute(丰田研究院)
当执行zero-shot推断(即,而不对特定数据集进行微调)。虽然现有的微调方法大大提高了给定目标分布的准确性,但它们通常降低了对分布偏移的鲁棒性。我们通过引入一种简单有效的方法来解决这种紧张局势,以提高鲁棒性,同时微调:集成的权重的zero-shot和微调模型(WiSE-FT)。与标准微调相比,WiSE-FT在分布偏移下提供了大的精度改进,同时保持了目标分布的高精度。在ImageNet和五个衍生的分布偏移上,WiSE-FT将分布偏移下的准确性提高了4到6个百分点(pp),同时将ImageNet的准确性提高了1.6个pp。WiSE-FT在另外六个分布偏移的不同集合上实现了类似的大鲁棒性增益(2到23 pp),并且与七个常用的迁移学习数据集上的标准微调相比,精确度增益为0.8到3.3 pp。这些改进在微调或推断期间没有额外的计算成本。
2022-06-21 cs.CV cs.LG
Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Edinburgh(爱丁堡大学)
少样本学习(FSL)是计算机视觉中的一个重要和热门问题,它激发了对从复杂的元学习方法到简单的迁移学习基线的许多方法的广泛研究。我们试图推动一个简单但有效的管道的限制,更现实和实用的设置Few-Shot图像分类。为此,我们从神经网络架构的角度探索了少样本学习,以及在不同数据供应下的网络更新的三阶段管道,其中考虑无监督的外部数据进行预训练,使用基本类别来模拟Few-Shot任务进行元训练,并将新任务的几乎没有标记的数据用于微调。我们调查的问题,如:(1)如何预先训练外部数据的好处FSL?(2)如何利用最先进的Transformer架构?以及(3)微调如何减轻畴移?最后,我们证明了一个简单的基于transformer的管道在标准基准测试(如Mini-ImageNet,CIFAR-FS,CDFSL和Meta-Dataset)上产生了令人惊讶的良好性能。我们的代码和演示可以在https://hushell.github.io/pmf上找到。
2022-04-15 cs.CV cs.LG
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo(东京大学);RIKEN(理化学研究所)
少样本学习是一种仅使用少量样本学习新类的过程,它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的:如果只使用几个样本对网络进行简单的微调,那么网络很容易过拟合到新的样本。在这项研究中,我们表明,在常用的低分辨率mini-ImageNet数据集中,微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性,在5次任务中与最先进的算法几乎相同的准确性。然后,我们评估我们的方法与更实际的任务,即高分辨率的单域和跨域的任务。这两个任务,我们表明,我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果,并表明:1)再训练过程可以通过采用低学习率来稳定,2)在微调过程中使用自适应梯度优化器可以提高测试精度,3)当基类和新类之间存在较大的域偏移时,可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
Efficient and Versatile Robust Fine-Tuning of Zero-shot Models
POSTECH(浦项科技大学);Korea University(高丽大学)
针对零样本模型微调存在的OOD泛化下降、计算成本高的问题,提出R-Adapter方法,结合轻量模块、自集成技术与MPM-NCE损失,仅微调13%的CLIP参数就在多任务上取得SOTA,拓展了鲁棒微调的应用场景。
2024-08-11 cs.CV cs.LG
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
How to fine-tune deep neural networks in few-shot learning?
Faculty of Mechanical Engineering, Zhejiang University(浙江大学机械工程学院)
深度学习已广泛应用于数据密集型应用。然而,训练深度神经网络通常需要大量的数据集。当没有足够的数据可用于训练时,深度学习模型的性能甚至比浅层网络更差。事实证明,少样本学习可以推广到训练样本较少的新任务。深度模型的微调是简单而有效的少样本学习方法。但是,如何微调深度学习模型(微调卷积层还是BN层?)还缺乏深入的调查。因此,本文研究如何通过实验比较来微调深度模型。最后,对模型的权重进行了分析,验证了该方法的可行性。
2020-12-01 cs.CV cs.LG
MVP: Meta Visual Prompt Tuning for Few-Shot Remote Sensing Image Scene Classification
National Innovation Institute of Defense Technology(国防科技国家创新研究院)
本文提出MVP方法,将视觉提示微调VPT融入元学习框架并针对遥感领域定制,同时引入基于块嵌入重组的数据增强策略,在小样本遥感场景分类基准上取得优于现有方法的效果。
2023-09-17 cs.CV cs.LG
One-Shot Object Detection without Fine-Tuning
HKUST(香港科技大学);Tencent(腾讯)
得益于大规模数据集,深度学习已经彻底改变了目标检测,但它们的对象类别仍然非常有限。在本文中,我们试图通过解决一次性目标检测问题来丰富这些类别,其中用于学习看不见的类的注释训练样本的数量仅限于一个。我们引入了一个两阶段模型,由第一阶段Matching-FCOS网络和第二阶段结构感知关系模块组成,其组合将度量学习与无锚的Faster R-CNN风格的检测管道集成在一起,最终消除了对支持图像进行微调的需要。我们还提出了新的训练策略,有效地提高检测性能。进行了广泛的定量和定性评估,我们的方法在多个数据集上一致地超过了最先进的一次性性能。
2020-05-08 cs.CV eess.IV
Cross-Domain Few-Shot Learning with Meta Fine-Tuning
Princeton University(普林斯顿大学);Pensees Pte Ltd(深思私人有限公司)
在本文中,我们解决了CVPR 2020挑战赛提出的新的跨领域少样本学习基准。为此,我们建立在领域自适应和少样本学习的最先进的方法,以创建一个系统,可以训练来执行这两项任务。受创建被设计为微调的模型的需求的启发,我们探索了迁移学习(微调)与Meta学习算法的集成,以训练具有被设计为在稍后的微调阶段适应的特定层的网络。为此,我们修改了情节训练过程,以包括一阶基于MAML的Meta学习算法,并使用图神经网络模型作为后续的元学习模块。我们发现,我们提出的方法有助于提高准确性显着,特别是当结合数据增强。在我们的最终结果中,我们将新方法与基线方法结合在一个简单的集成中,并在基准测试中实现了73.78%的平均准确率。这比仅在miniImagenet上训练的现有基准提高了6.51%。
2020-08-25 cs.CV cs.LG
Stability Plasticity Decoupled Fine-tuning For Few-shot end-to-end Object Detection
Inspur(浪潮)
针对Sparse R-CNN在少样本目标检测中分类器可塑性与其他模块稳定性相冲突的问题,提出含PCF阶段的三阶段解耦微调和ME技术,提升了基准性能。
2024-01-20 cs.AI cs.CV
LiT: Zero-Shot Transfer with Locked-image text Tuning
Google Research(谷歌研究院)
本文介绍了对比度调整,一种简单的方法,采用对比度训练对齐图像和文本模型,同时仍然利用他们的预训练。在我们的实证研究中,我们发现锁定的预训练图像模型与解锁的文本模型效果最好。我们将这种对比度调整的实例称为“锁定图像调整”(LiT),它只是教文本模型从预先训练的图像模型中读出良好的表示来执行新任务。LiT模型获得了zero-shot转移到新视觉任务的能力,例如图像分类或检索。所提出的LiT具有广泛的适用性;它可以使用多种预训练方法(监督和无监督)以及使用三种不同图像-文本数据集的不同架构(ResNet,视觉Transformer和MLP混合器)可靠地工作。使用基于transformer的预训练ViT-g/14模型,LiT模型在ImageNet测试集上实现了85.2%的zero-shot传输准确率,在具有挑战性的分布外ObjectNet测试集上实现了82.5%的准确率。
2022-06-22 cs.CL cs.CV cs.LG
Reviving In-domain Fine-tuning Methods for Source-Free Cross-domain Few-shot Learning
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本文研究跨领域少样本学习中领域内微调方法的性能,发现LoRA等适配器方法优于提示方法,提出Semantic Probe框架提升模态对齐和类别分离。
2026-05-12 cs.AI cs.CV
Neural Fine-Tuning Search for Few-Shot Learning
University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心)
针对少样本学习中最优适配策略设计难题,提出基于神经架构搜索的微调方法,可自动发现最优适配器排布与层微调方案,在多个基准上实现SOTA性能。
2023-06-15 cs.CV cs.LG