What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models
Chiba University(千叶大学)
该研究提出PromptSpLiCE方法分析视觉-语言模型提示学习后的概念分布变化,发现概念分布变化与准确率提升正相关,还推导了局部梯度表达式解释相关几何直觉。
2026-08-26 cs.CV
Towards Robust Prompts on Vision-Language Models
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文针对视觉-语言模型在分布偏移下的鲁棒性问题,定义了基类与新类别两类鲁棒性,并提出融合多尺度图像特征的鲁棒提示学习方法,在六个基准上验证其同时提升两类鲁棒性的有效性。
2023-04-17 cs.CV
Learning Domain Invariant Prompt for Vision-Language Models
Tongji University(同济大学);Microsoft Research Asia(微软亚洲研究院)
本文提出名为MetaPrompt的新颖提示学习范式,通过双模态提示微调网络、非对称对比损失和基于元学习的算法生成域不变提示,在11个基类到新类和4个域泛化数据集上显著优于现有方法。
2023-03-31 cs.CV
An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models
University of Oxford(牛津大学)
针对视觉语言模型依赖提示适应任务的特点,提出跨提示攻击(CroPA),利用可学习提示更新视觉扰动,显著提升对抗样本跨提示的迁移性,并在Flamingo、BLIP-2和InstructBLIP上验证有效性。
2024-03-14 cs.CV
EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);vivo AI Lab(vivo人工智能实验室)
本文提出EVF-SAM,通过早期视觉-语言融合(BEIT-3)生成多模态提示来驱动SAM进行指代表达分割,在RefCOCO/+/g上达到最优性能,并以13.2亿参数实现比大型多模态模型方法减少近82%参数的高效表现。
2025-03-10 cs.CV
Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models
University of Maryland(马里兰大学);NVIDIA(英伟达);Caltech(加州理工学院);Arizona State University(亚利桑那州立大学)
预先训练的视觉语言模型(例如,CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依靠手工设计的提示,而是使用来自下游任务的训练数据来学习提示。虽然有效,但对特定领域数据的训练会降低模型对未知新领域的泛化能力。在这项工作中,我们提出了测试时提示微调(TPT),一种方法,可以学习自适应提示飞行与一个单一的测试样本。对于图像分类,TPT通过使用置信度选择最小化熵来优化提示,使得模型在每个测试样本的不同增强视图上具有一致的预测。在评估自然分布偏移的泛化时,TPT将CLIP的zero-shot top-1准确度平均提高了3.6%,超过了之前需要额外的特定任务训练数据的提示微调方法。在评估具有不可见类别的跨数据集泛化时,TPT的表现与使用额外训练数据的最先进方法不相上下。项目页面:https://azshue.github.io/TPT。
2022-09-15 cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University(上海科技大学)
本文提出LoGoPrompt,将合成文本图像用作视觉语言模型的视觉提示,通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题,在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
Learning to Prompt for Open-Vocabulary Object Detection with Vision-Language Model
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);King’s College London(伦敦国王学院)
最近,视觉语言预训练在开放词汇目标检测中显示出巨大的潜力,其中在基类上训练的检测器被设计用于检测新的类。类文本嵌入首先通过向预训练的视觉语言模型的文本编码器馈送提示来生成。然后将其用作区域分类器来监督检测器的训练。这一模式成功的关键在于恰当的提示语,这需要精心的词语调整和巧妙的设计。为了避免费力的提示工程,存在针对图像分类任务提出的一些提示表示学习方法,然而,当应用于检测任务时,这些方法只能是次优解决方案。在本文中,我们介绍了一种新的方法,检测提示(DetPro),学习连续提示表示开放词汇的目标检测的基础上预先训练的视觉语言模型。与以往面向分类的方法不同,DetPro有两个亮点:1)背景解释方案,将图像背景中的建议纳入提示训练; 2)上下文分级方案,将图像前景中的建议分离,以进行量身定制的提示训练。我们将DetPro与ViLD(一种最新的开放世界对象检测器)组装在一起,并在LVIS上进行实验,并在Pascal VOC,COCO,Objects 365数据集上进行迁移学习。实验结果表明,我们的DetPro优于基线ViLD在所有设置,例如,对LVIS的新类进行了+3.4 APbox和+3.0 APmask改进。代码和型号可在https://github.com/dyabel/detpro上获得。
2022-03-28 cs.CV
Human-Free Automated Prompting for Vision-Language Anomaly Detection: Prompt Optimization with Meta-guiding Prompt Scheme
National Cheng Kung University(成功大学);BakuAI AS;NVIDIA(英伟达公司)
针对视觉语言异常检测依赖人工提示、缺异常样本及ViT编码器局部分割效果差的问题,提出含OAGM合成异常、MPTS防过拟合、局部感知注意力的无人工提示优化框架,提升分割精度。
2024-09-11 cs.CV
Multi-modal Mutual-Guidance Conditional Prompt Learning for Vision-Language Models
School of Information and Technology, Northwest University(信息与技术学院,西北大学)
提出MuGCP框架,利用MLLMs生成语义条件提示,结合注意力互导模块生成视觉条件提示,并通过多提示融合机制整合,在14个数据集上显著提升了VLMs的泛化与对齐性能。
2025-07-11 cs.CV
PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning
Shanghai University(上海大学);University of Technology Sydney(悉尼科技大学)
本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题,提出无训练的PPOM算子,通过边缘化相位偏移提升宿主性能,无需重新训练。
2026-08-17 cs.CV
Distribution-Aware Prompt Tuning for Vision-Language Models
Korea University(高丽大学)
针对预训练视觉语言模型中模态特征空间对齐问题,提出分布感知提示微调方法(DAPT),通过最大化类间分散度和最小化类内分散度学习提示,在11个基准数据集上显著提升了模型的泛化能力。
2023-09-06 cs.CV
Prompting Medical Vision-Language Models to Mitigate Diagnosis Bias by Generating Realistic Dermoscopic Images
University of Kentucky(肯塔基大学)
针对皮肤病诊断AI模型在肤色等敏感属性上存在偏差的问题,提出基于生成式AI的DermDiT框架,利用大型视觉语言模型生成文本提示与多模态学习来合成皮肤镜图像,以改善不平衡数据集中代表性不足群体的临床诊断表现。
2025-04-02 cs.CV
Prompt Learning via Meta-Regularization
Korea University(高丽大学)
本文提出提示元正则化方法 ProMetaR,通过元学习正则化器和软提示、任务增强生成虚拟任务来缓解任务过拟合与元过拟合,从而提升视觉-语言模型提示学习的泛化能力。
2024-04-01 cs.CV
Generalizable Prompt Tuning for Vision-Language Models
Northwestern Polytechnical University(西北工业大学)
本研究提出一种视觉-语言模型提示调优方法,通过最大化软提示与手工提示的互信息并引入视觉模态类别级增强,同时提升下游任务性能与泛化能力。
2025-01-22 cs.CV
Cluster-Aware Prompt Ensemble Learning for Few-Shot Vision-Language Model Adaptation
University of Southern Queensland(昆士兰南方大学);University of Queensland(昆士兰大学)
针对传统提示集成特征平均导致类中心偏移的问题,提出簇感知提示集成学习框架(CAPEL),在分类logits空间进行集成并引入簇保留正则化与自适应加权,提升少样本视觉-语言模型的适应性能。
2025-10-10 cs.CV
Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models
Tianjin University(天津大学)
针对视觉-语言模型(VLMs)零样本泛化中的语义错位问题,提出约束提示增强(CPE)方法,通过拓扑引导同义语义生成和类别无关判别区域选择构建优质提示集,并结合集对集匹配策略,有效提升视觉-文本对齐与模型泛化能力。
2025-08-24 cs.CV
Progressive Multi-modal Conditional Prompt Tuning
University of Science and Technology of China(中国科学技术大学)
针对现有视觉语言模型单模态提示难以对齐视觉语言特征的问题,提出渐进式多模态条件提示微调方法,通过循环迭代结构联合优化视觉与文本特征,实现从粗略到精确的预测,显著提升了模型的泛化性与鲁棒性。
2024-04-24 cs.CV
Hierarchical Cross-modal Prompt Learning for Vision-Language Models
South China Normal University(华南师范大学);Shenzhen Polytechnic University(深圳职业技术大学)
针对预训练视觉-语言模型在下游任务适配中存在的模态孤立与层次语义衰退问题,提出层次化跨模态提示学习框架HiCroPL,通过双向知识流和层次知识映射器融合多尺度表示,在11个基准上取得最优结果。
2025-08-14 cs.CV
Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation
University of Macau(澳门大学)
本文提出了一种自奖励的大型视觉-语言模型框架,用于优化文本到图像生成中的提示,通过统一求解器和奖励模型实现自我改进,实验表明其优于其他方法。
2025-09-12 cs.CV
Debiased Fine-Tuning for Vision-language Models by Prompt Regularization
NTU(国立新加坡大学)
提出Prompt Regularization(ProReg)微调范式,利用预训练模型的提示预测作为正则化项,结合自适应权衡权重与KL及交叉熵损失,有效缓解下游任务数据偏差导致的过拟合,在多个分布外基准上取得优异性能。
2025-08-13 cs.CV
In the Era of Prompt Learning with Vision-Language Models
LNMIIT(印度理工学院卢迪亚纳分校(LNMIIT))
针对视觉-语言模型在领域偏移下泛化能力不足的问题,提出StyLIP和AD-CLIP两种提示学习方法,分别用于领域泛化和无监督领域适应,通过解耦风格与内容并对比训练,在多个基准上超越现有方法,并展望了遥感语义分割中的类别发现。
2024-11-07 cs.CV
FedMVP: Federated Multimodal Visual Prompt Tuning for Vision-Language Models
University of Trento(特伦托大学);University of Bergamo(贝拉姆奥大学);Indian Institute of Technology Bombay(印度班加罗尔理工学院);LNMIIT Jaipur(斋普尔LNMIIT);The University of Queensland(昆士兰大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对联邦学习中文本提示调优对未见概念泛化性差的问题,提出基于PromptFormer模块的FedMVP多模态视觉提示调优方法,在20个数据集上以显著幅度超越SOTA。
2025-09-02 cs.CV
Multitask Vision-Language Prompt Tuning
University of California Berkeley(加州大学伯克利分校);ByteDance Inc(字节跳动公司)
提示微调以任务特定的学习提示向量为条件,已经成为一种数据高效和参数高效的方法,用于使大型预训练视觉语言模型适应多个下游任务。然而,现有的方法通常考虑从零开始独立地学习每个任务的提示向量,从而无法利用跨不同视觉语言任务的丰富的可共享知识。在本文中,我们提出了多任务视觉语言提示微调(MVLPT),它将跨任务的知识到视觉语言模型的提示微调。具体而言,(i)我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;(ii)我们表明许多目标任务可以从共享提示向量中相互受益,因此可以通过多任务提示微调来共同学习。我们基准建议MVLPT使用三个代表性的提示微调方法,即文本提示微调,视觉提示微调,和统一的视觉语言提示微调。在20个视觉任务的结果表明,所提出的方法优于所有的单任务基线提示微调方法,设置新的国家的最先进的Few-Shot ELEVATER基准和跨任务的泛化基准。为了了解跨任务知识最有效的地方,我们还进行了一项大规模的研究任务的可转移性与20个视觉任务的400个组合的每一个提示微调方法。结果表明,每种提示微调方法的最佳性能MVLPT更倾向于不同的任务组合,并且许多任务可以相互受益,这取决于它们的视觉相似性和标签相似性。代码可在https://github.com/sIncerass/MVLPT上获得。
2022-12-05 cs.CL cs.CV
Modeling Variants of Prompts for Vision-Language Models
Shandong University(山东大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出RobustPrompt Benchmark基准和提示变体建模方法MVP,通过将提示解耦为模板与类别名称并用VAE建模其分布,在不损失性能的前提下显著提升视觉-语言模型对提示模板变化的鲁棒性。
2025-03-12 cs.CV
ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models
UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出ZOMP方法,通过跨模态低秩重参数化等技术,在仅前向传递的条件下高效调优CLIP模型,在13个基准上优于现有无反向传播的提示调优方法,泛化能力更强。
2026-10-20 cs.CV
ArGue: Attribute-Guided Prompt Tuning for Vision-Language Models
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对软提示调优在分布偏移下的局限,提出属性引导提示调优(ArGue),利用LLM生成的属性、属性采样和负向提示,显著提升新类预测和分布外泛化性能。
2024-03-13 cs.CV
Read-only Prompt Optimization for Vision-Language Few-shot Learning
Korea University(高丽大学)
本文提出只读提示优化(RPO),通过掩码注意力和基于特殊标记的初始化,防止预训练视觉语言模型内部表示偏移,在少样本设置下提升泛化能力与鲁棒性,优于CLIP和CoCoOp。
2023-11-10 cs.CV
Active Prompt Learning with Vision-Language Model Priors
本文提出了一种基于视觉-语言模型先验的主动提示学习框架,通过类引导聚类和自适应阈值筛选,提升主动学习效率与准确性。
2026-03-10 cs.CV
Accelerating Conditional Prompt Learning via Masked Image Modeling for Vision-Language Models
Convergence Research Institute, Sungkyunkwan University(convergence research institute, 首尔大学);School of Information Technology, Deakin University(信息科技学院, 德金大学);Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系, 首尔大学)
ProMIM通过掩码图像建模增强条件提示学习,生成鲁棒实例条件提示,缓解过拟合,以轻量方式提升视觉语言模型在零样本和少样本任务上的泛化性能。
2025-08-07 cs.CV
Text Promptable Surgical Instrument Segmentation with Vision-Language Models
Tongji University(同济大学)
提出文本可提示的手术器械分割方法,利用视觉语言模型与混合提示机制提升分割性能,为机器人辅助手术应用提供新方案。
2023-11-08 cs.CV
Improving Calibration in Test-Time Prompt Tuning for Vision-Language Models via Data-Free Flatness-Aware Prompt Pretraining
Yonsei University(延世大学);ETRI(韩国电子技术研究院)
本文提出FPP框架,通过在提示初始化时选择平坦区域,提升测试时提示调优的校准和性能,无需额外标注数据和计算成本。
2026-04-30 cs.CV
FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对现有联邦提示学习在分布外偏移下性能与鲁棒性难权衡的问题,提出FOCoOp框架,通过三类提示与双层分布鲁棒优化等技术提升异质分布下的分布外鲁棒性,实验验证有效。
2025-07-30 cs.CV
Learning to Decompose Visual Features with Latent Textual Prompts
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
最近在预训练视觉语言模型(如CLIP)方面的进展显示出在学习可转移视觉表示方面的巨大潜力。尽管如此,对于下游推理,CLIP类模型遭受1)在基于检索的推理期间不准确的文本描述的情况下降低的准确性和鲁棒性(zero-shot协议的挑战);或2)破坏良好建立的视觉语言对齐(线性探测的挑战)。为了解决这些问题,我们提出了分解特征提取(DeFo)。DeFo利用灵活数量的可学习嵌入作为文本输入,同时保持视觉语言双模型架构,使模型能够在特征级文本提示的帮助下学习分解的视觉特征。我们进一步使用一个额外的线性层来执行分类,允许语言输入的可扩展大小。我们的实证研究表明,DeFo在改进视觉语言模型方面具有重要意义。例如,DeFo在ResNet-50主干上的ImageNet上获得了73.2%的测试准确率,而无需调整视觉和语言编码器的任何预训练权重,比zero-shot CLIP的性能高出15.0%,比最先进的视觉语言提示微调方法高出7.6%。
2022-10-09 cs.CV
MePT: Multi-Representation Guided Prompt Tuning for Vision-Language Model
Zhejiang University(浙江大学)
针对现有视觉-语言模型提示调优仅用单图像表征导致泛化能力受限的问题,提出三分支多表征引导的MePT方法,结合自集成技术学习多维度分布,在两类任务上实现显著性能提升。
2024-08-19 cs.CV
A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models
University of Stuttgart(斯图加特大学)
本文系统比较 CLIP 等视觉-语言模型的在线测试时自适应方法,涵盖提示工程、提示学习及视觉-文本空间集成,并在多数据集和架构上验证其抗分布偏移效果。
2024-09-09 cs.CV
VaMP: Variational Multi-Modal Prompt Learning for Vision-Language Models
Visual AI Lab, The University of Hong Kong(香港大学视觉人工智能实验室)
VaMP提出了一种变分多模态提示学习框架,通过实例条件提示和不确定性建模提升视觉-语言模型在少样本和领域泛化任务中的性能。
2025-11-27 cs.CV
Hierarchical Prompt Learning for Hyperbolic Vision-Language Models
Aarhus University(奥胡斯大学);University of Amsterdam(阿姆斯特丹大学)
针对双曲视觉-语言模型,提出层级提示学习插件,利用父类层级增强提示学习,提升基类到新类泛化与跨数据集迁移,并在双曲空间中实现层级一致的嵌入组织。
2026-09-22 cs.CV
MetaTPT: Meta Test-time Prompt Tuning for Vision-Language Models
UCAS-Terminus AI Lab, University of Chinese Academic of Sciences(中国科学院大学Terminus AI实验室,中国科学院大学);AIM Lab, University of Amsterdam(阿姆斯特丹大学AIM实验室);Jarvis Research Center, Tencent Youtu Lab(腾讯优图实验室 Jarvis 研究中心);Central Research Institue, United Imaging Healthcare Co., Ltd(联合影像医疗科技有限公司中央研究所)
MetaTPT通过元学习框架结合自监督任务和提示微调,提升视觉-语言模型在领域偏移下的测试时间适应性,实现领域泛化和跨数据集的高性能表现。
2025-12-13 cs.CV
Context-Aware Prompt Tuning for Vision-Language Model with Dual-Alignment
Shanghai Jiao Tong University(上海交通大学);ByteDance Inc(字节跳动公司)
提出 DuAl-PT 方法,通过引入预训练 LLM 生成上下文描述并结合显式与隐式建模,利用双重对齐学习上下文感知提示,在 11 个数据集的小样本识别与基类到新类泛化上取得优异性能。
2023-09-08 cs.CV
Vision and Language Reference Prompt into SAM for Few-shot Segmentation
Waseda University(早稻田大学)
本文提出VLP-SAM少样本分割模型,通过多模态视觉语言模型将参考图像视觉信息与文本标签语义信息结合作为提示输入SAM,在PASCAL-5i和COCO-20i数据集上分别以6.3%和9.5%的mIoU优势超越SOTA。
2025-02-02 cs.CV
ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
University of Kurdistan(库尔德斯坦大学);The University of Queensland(昆士兰大学)
提出ProCAP,一种概率交叉注意力提示学习框架,通过双向交叉注意力连接视觉与文本提示令牌,并用高斯参数化及KL/L2正则化减少过拟合,在不更新CLIP权重下提升少样本泛化与迁移性能。
2026-09-28 cs.CV
Modular Prompt Learning Improves Vision-Language Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对深度提示在 transformer 层间替换导致信息丢失的问题,本文提出模块化提示学习 MPL,以保留插入提示信息,并在 11 个数据集上验证其泛化与跨数据集性能。
2025-02-19 cs.CV
Mixture of Prompt Learning for Vision Language Models
Center for Brain-Inspired Computing Research(脑启发计算研究中心);Department of Precision Instrument, Tsinghua University(清华大学精密仪器系)
针对视觉语言模型中软提示学习难以捕捉多样风格且易过拟合的问题,提出含路由模块的软提示混合方法,并引入门控机制和语义分组文本监督,在11个数据集上提升少样本、领域泛化等性能。
2024-09-18 cs.CV
Revisiting Prompt Pretraining of Vision-Language Models
Nanjing University of Science and Technology(南京理工大学);RIKEN(理化学研究所);MEGVII Technology(旷视科技);Nankai University(南开大学)
针对大规模提示预训练中可学习提示欠拟合且泛化差的问题,本文提出RPP框架,通过非共享Q/K/V提示结构和CLIP教师软标签监督,提升拟合与跨任务迁移性能。
2024-09-10 cs.CV
Unified Vision and Language Prompt Learning
Nanyang Technological University(南洋理工大学);Apple Inc.(苹果公司)
提示微调是一种参数和数据高效的迁移学习范式,它只调优模型输入空间中的少量参数,自从CLIP等大型视觉语言模型出现以来,它已经成为视觉社区的一种趋势。本文系统地研究了两种有代表性的提示微调方法,即文本提示微调和视觉提示微调。一个主要的发现是,没有一个单峰的提示微调方法表现一贯良好:文本提示微调失败的数据与高类内视觉差异,而视觉提示微调不能处理低类间的差异。为了结合这两个世界的最佳效果,我们提出了一种称为统一提示微调(UPT)的简单方法,它本质上是学习一个微小的神经网络来联合优化不同模式的提示。在超过11个视觉数据集上进行的大量实验表明,UPT在少样本学习基准和领域泛化基准上比单峰对应物实现了更好的权衡。将发布代码和模型,以促进未来的研究。
2022-10-13 cs.AI cs.CV
Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models
United Imaging Healthcare(联影医疗);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
针对可学习提示易过拟合已见类别、难以泛化未见类的问题,提出知识感知提示调优框架KAPT,结合两类知识提示与视觉适配头,在11个基准的少样本分类任务上优于CoCoOp。
2023-08-22 cs.CV
Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models
Huawei Inc.(华为公司);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Alibaba DAMO Academy(阿里巴巴达摩院)
预训练的视觉语言模型(VLM),如CLIP,在下游视觉任务中显示出令人印象深刻的泛化能力,并有适当的文本提示。代替手动设计提示,最近已经提出上下文优化(CoOp)来使用特定于任务的训练数据学习连续提示。尽管下游任务的性能有所改善,但一些研究报告称CoOp在两个方面存在过拟合问题:(i)在训练期间,基类的测试准确率首先提高,然后下降;(ii)新类的测试准确率不断下降。然而,现有的研究都无法理解和缓解这种过拟合问题。在本研究中,我们首先透过分析梯度流来探讨过度拟合的原因。对比实验表明,CoOp算法在训练的前期和后期分别偏向于可泛化特征和伪特征,导致非过拟合和过拟合现象.鉴于这些观察结果,我们提出了子空间提示微调(SubPT)在整个训练过程中将反向传播中的梯度投影到早期梯度流特征向量所跨越的低秩子空间上,并成功地消除了过拟合问题。此外,我们配备了一个新的特征学习器(NFL)的CoOp,以提高泛化能力的学习提示到新的类别以外的训练集,不需要图像训练数据。在11个分类数据集上进行的大量实验表明,SubPT+NFL始终提高了CoOp的性能,并优于最先进的CoCoOp方法。在开放词汇目标检测和zero-shot语义分割等视觉下游任务上的实验也验证了该方法的有效性。代码可以在https://tinyurl.com/mpe64f89上找到。
2023-02-14 cs.CV
Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对视觉语言模型在开放集适应中学习提示泛化能力差的问题,提出测试时提示调优方法,利用最大概念匹配分数作为动态权重为每张图像生成输入条件提示,在11个数据集上平均优于所有比较方法。
2024-08-29 cs.CV
Causality-guided Prompt Learning for Vision-language Models via Visual Granulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
本文提出CaPL方法,通过视觉粒化和因果推理提升细粒度识别性能,实验表明其在细粒度数据集上表现优异。
2026-01-29 cs.CV
O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Colombo(科伦坡大学);Australian National University(澳大利亚国立大学)
针对视觉-语言模型测试时提示调优准确率提升但校准性变差的问题,本文提出 O-TPT,通过对可学习提示的文本特征施加正交约束改善分散性,并在多数据集、多骨干网络实验中显著降低平均校准误差。
2025-03-15 cs.CV
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models
Boston University(波士顿大学);Meta AI (FAIR)(元人工智能研究院(FAIR))
提出SPARC方法,将视觉-语言模型视为黑盒,利用大语言模型生成复合提示并分析分数偏差,通过去偏和分数融合算法提升零样本多标签识别性能,在mAP上优于需训练数据的方法。
2025-02-24 cs.CV
DPL: Decoupled Prompt Learning for Vision-Language Models
vivo AI Lab(vivo人工智能实验室)
针对视觉-语言模型提示学习易过拟合已见类别、泛化性不足的问题,提出解耦提示学习DPL,通过重构自注意力子过程、引入语言条件文本提示提升泛化性,在15个数据集的3个基准上取得SOTA且参数高效。
2023-08-19 cs.CV
Contrastive Language-Image Learning with Augmented Textual Prompts for 3D/4D FER Using Vision-Language Model
Information & Computer Science Department, King Fahd University of Petroleum & Minerals(国王法赫德石油与矿物大学信息与计算机科学系);Center for Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心)
本文提出视觉-语言模型AffectVLM,通过联合表示学习框架、梯度友好的损失函数、增强文本提示与混合视图增强技术,实现了对3D/4D面部情绪的高效理解,并在多个基准上表现卓越。
2025-04-28 cs.CV