What Does Prompt Learning Change? -A Natural-Language Concept Analysis of Vision-Language Models
Chiba University(千叶大学)
该研究提出PromptSpLiCE方法分析视觉-语言模型提示学习后的概念分布变化,发现概念分布变化与准确率提升正相关,还推导了局部梯度表达式解释相关几何直觉。
2026-08-26 cs.CV
Towards Robust Prompts on Vision-Language Models
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文针对视觉-语言模型在分布偏移下的鲁棒性问题,定义了基类与新类别两类鲁棒性,并提出融合多尺度图像特征的鲁棒提示学习方法,在六个基准上验证其同时提升两类鲁棒性的有效性。
2023-04-17 cs.CV
Learning Domain Invariant Prompt for Vision-Language Models
Tongji University(同济大学);Microsoft Research Asia(微软亚洲研究院)
本文提出名为MetaPrompt的新颖提示学习范式,通过双模态提示微调网络、非对称对比损失和基于元学习的算法生成域不变提示,在11个基类到新类和4个域泛化数据集上显著优于现有方法。
2023-03-31 cs.CV
An Image Is Worth 1000 Lies: Adversarial Transferability across Prompts on Vision-Language Models
University of Oxford(牛津大学)
针对视觉语言模型依赖提示适应任务的特点,提出跨提示攻击(CroPA),利用可学习提示更新视觉扰动,显著提升对抗样本跨提示的迁移性,并在Flamingo、BLIP-2和InstructBLIP上验证有效性。
2024-03-14 cs.CV
ViTamin: Designing Scalable Vision Models in the Vision-Language Era
Johns Hopkins University(约翰斯·霍普金斯大学);ByteDance(字节跳动)
本文在 CLIP 框架下系统评估视觉模型的零样本能力与规模可扩展性,并提出专为 VLM 设计的 ViTamin,以更少参数在 ImageNet 和 60 个基准上取得领先结果。
2024-04-03 cs.CV
GalLoP: Learning Global and Local Prompts for Vision-Language Models
Conservatoire national des arts et métiers(法国国立工艺学院);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);Sorbonne Université(索邦大学)
针对视觉-语言模型提示学习在精度与鲁棒性间的权衡问题,提出GalLoP方法,通过全局与局部视觉特征学习多样化提示,结合稀疏策略、提示dropout和多尺度策略,在11个数据集少样本任务中精度更优,且域泛化与OOD检测鲁棒性强。
2024-11-29 cs.CV
EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);vivo AI Lab(vivo人工智能实验室)
本文提出EVF-SAM,通过早期视觉-语言融合(BEIT-3)生成多模态提示来驱动SAM进行指代表达分割,在RefCOCO/+/g上达到最优性能,并以13.2亿参数实现比大型多模态模型方法减少近82%参数的高效表现。
2025-03-10 cs.CV
Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models
University of Maryland(马里兰大学);NVIDIA(英伟达);Caltech(加州理工学院);Arizona State University(亚利桑那州立大学)
预先训练的视觉语言模型(例如,CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依靠手工设计的提示,而是使用来自下游任务的训练数据来学习提示。虽然有效,但对特定领域数据的训练会降低模型对未知新领域的泛化能力。在这项工作中,我们提出了测试时提示微调(TPT),一种方法,可以学习自适应提示飞行与一个单一的测试样本。对于图像分类,TPT通过使用置信度选择最小化熵来优化提示,使得模型在每个测试样本的不同增强视图上具有一致的预测。在评估自然分布偏移的泛化时,TPT将CLIP的zero-shot top-1准确度平均提高了3.6%,超过了之前需要额外的特定任务训练数据的提示微调方法。在评估具有不可见类别的跨数据集泛化时,TPT的表现与使用额外训练数据的最先进方法不相上下。项目页面:https://azshue.github.io/TPT。
2022-09-15 cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University(上海科技大学)
本文提出LoGoPrompt,将合成文本图像用作视觉语言模型的视觉提示,通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题,在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
ERASE: Eliminating Redundant Visual Tokens via Adaptive Two-Stage Token Pruning
Department of Electrical and Computer Engineering, Sungkyunkwan University, Republic of Korea(电气与计算机工程系,成均馆大学,大韩民国);Department of Semiconductor Systems Engineering, Sungkyunkwan University, Republic of Korea(半导体系统工程系,成均馆大学,大韩民国)
本文提出ERASE框架,通过自适应两阶段令牌剪枝方法减少冗余视觉令牌,实验证明在85%的令牌剪枝率下,模型准确率保持在89.46%。
2026-10-09 cs.CV
Learning to Prompt for Open-Vocabulary Object Detection with Vision-Language Model
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);King’s College London(伦敦国王学院)
最近,视觉语言预训练在开放词汇目标检测中显示出巨大的潜力,其中在基类上训练的检测器被设计用于检测新的类。类文本嵌入首先通过向预训练的视觉语言模型的文本编码器馈送提示来生成。然后将其用作区域分类器来监督检测器的训练。这一模式成功的关键在于恰当的提示语,这需要精心的词语调整和巧妙的设计。为了避免费力的提示工程,存在针对图像分类任务提出的一些提示表示学习方法,然而,当应用于检测任务时,这些方法只能是次优解决方案。在本文中,我们介绍了一种新的方法,检测提示(DetPro),学习连续提示表示开放词汇的目标检测的基础上预先训练的视觉语言模型。与以往面向分类的方法不同,DetPro有两个亮点:1)背景解释方案,将图像背景中的建议纳入提示训练; 2)上下文分级方案,将图像前景中的建议分离,以进行量身定制的提示训练。我们将DetPro与ViLD(一种最新的开放世界对象检测器)组装在一起,并在LVIS上进行实验,并在Pascal VOC,COCO,Objects 365数据集上进行迁移学习。实验结果表明,我们的DetPro优于基线ViLD在所有设置,例如,对LVIS的新类进行了+3.4 APbox和+3.0 APmask改进。代码和型号可在https://github.com/dyabel/detpro上获得。
2022-03-28 cs.CV
Human-Free Automated Prompting for Vision-Language Anomaly Detection: Prompt Optimization with Meta-guiding Prompt Scheme
National Cheng Kung University(成功大学);BakuAI AS;NVIDIA(英伟达公司)
针对视觉语言异常检测依赖人工提示、缺异常样本及ViT编码器局部分割效果差的问题,提出含OAGM合成异常、MPTS防过拟合、局部感知注意力的无人工提示优化框架,提升分割精度。
2024-09-11 cs.CV
Multi-modal Mutual-Guidance Conditional Prompt Learning for Vision-Language Models
School of Information and Technology, Northwest University(信息与技术学院,西北大学)
提出MuGCP框架,利用MLLMs生成语义条件提示,结合注意力互导模块生成视觉条件提示,并通过多提示融合机制整合,在14个数据集上显著提升了VLMs的泛化与对齐性能。
2025-07-11 cs.CV
PPOM: Marginalizing Patch-Grid Phase for CLIP-Based Generalizable Vision-Language Prompt Tuning
Shanghai University(上海大学);University of Technology Sydney(悉尼科技大学)
本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题,提出无训练的PPOM算子,通过边缘化相位偏移提升宿主性能,无需重新训练。
2026-08-17 cs.CV
Distribution-Aware Prompt Tuning for Vision-Language Models
Korea University(高丽大学)
针对预训练视觉语言模型中模态特征空间对齐问题,提出分布感知提示微调方法(DAPT),通过最大化类间分散度和最小化类内分散度学习提示,在11个基准数据集上显著提升了模型的泛化能力。
2023-09-06 cs.CV
Prompting Medical Vision-Language Models to Mitigate Diagnosis Bias by Generating Realistic Dermoscopic Images
University of Kentucky(肯塔基大学)
针对皮肤病诊断AI模型在肤色等敏感属性上存在偏差的问题,提出基于生成式AI的DermDiT框架,利用大型视觉语言模型生成文本提示与多模态学习来合成皮肤镜图像,以改善不平衡数据集中代表性不足群体的临床诊断表现。
2025-04-02 cs.CV
Prompt Learning via Meta-Regularization
Korea University(高丽大学)
本文提出提示元正则化方法 ProMetaR,通过元学习正则化器和软提示、任务增强生成虚拟任务来缓解任务过拟合与元过拟合,从而提升视觉-语言模型提示学习的泛化能力。
2024-04-01 cs.CV
Generalizable Prompt Tuning for Vision-Language Models
Northwestern Polytechnical University(西北工业大学)
本研究提出一种视觉-语言模型提示调优方法,通过最大化软提示与手工提示的互信息并引入视觉模态类别级增强,同时提升下游任务性能与泛化能力。
2025-01-22 cs.CV
Cluster-Aware Prompt Ensemble Learning for Few-Shot Vision-Language Model Adaptation
University of Southern Queensland(昆士兰南方大学);University of Queensland(昆士兰大学)
针对传统提示集成特征平均导致类中心偏移的问题,提出簇感知提示集成学习框架(CAPEL),在分类logits空间进行集成并引入簇保留正则化与自适应加权,提升少样本视觉-语言模型的适应性能。
2025-10-10 cs.CV
Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models
Tianjin University(天津大学)
针对视觉-语言模型(VLMs)零样本泛化中的语义错位问题,提出约束提示增强(CPE)方法,通过拓扑引导同义语义生成和类别无关判别区域选择构建优质提示集,并结合集对集匹配策略,有效提升视觉-文本对齐与模型泛化能力。
2025-08-24 cs.CV
Progressive Multi-modal Conditional Prompt Tuning
University of Science and Technology of China(中国科学技术大学)
针对现有视觉语言模型单模态提示难以对齐视觉语言特征的问题,提出渐进式多模态条件提示微调方法,通过循环迭代结构联合优化视觉与文本特征,实现从粗略到精确的预测,显著提升了模型的泛化性与鲁棒性。
2024-04-24 cs.CV
Hierarchical Cross-modal Prompt Learning for Vision-Language Models
South China Normal University(华南师范大学);Shenzhen Polytechnic University(深圳职业技术大学)
针对预训练视觉-语言模型在下游任务适配中存在的模态孤立与层次语义衰退问题,提出层次化跨模态提示学习框架HiCroPL,通过双向知识流和层次知识映射器融合多尺度表示,在11个基准上取得最优结果。
2025-08-14 cs.CV
Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation
University of Macau(澳门大学)
本文提出了一种自奖励的大型视觉-语言模型框架,用于优化文本到图像生成中的提示,通过统一求解器和奖励模型实现自我改进,实验表明其优于其他方法。
2025-09-12 cs.CV
Debiased Fine-Tuning for Vision-language Models by Prompt Regularization
NTU(国立新加坡大学)
提出Prompt Regularization(ProReg)微调范式,利用预训练模型的提示预测作为正则化项,结合自适应权衡权重与KL及交叉熵损失,有效缓解下游任务数据偏差导致的过拟合,在多个分布外基准上取得优异性能。
2025-08-13 cs.CV
FedMVP: Federated Multimodal Visual Prompt Tuning for Vision-Language Models
University of Trento(特伦托大学);University of Bergamo(贝拉姆奥大学);Indian Institute of Technology Bombay(印度班加罗尔理工学院);LNMIIT Jaipur(斋普尔LNMIIT);The University of Queensland(昆士兰大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对联邦学习中文本提示调优对未见概念泛化性差的问题,提出基于PromptFormer模块的FedMVP多模态视觉提示调优方法,在20个数据集上以显著幅度超越SOTA。
2025-09-02 cs.CV
Modeling Variants of Prompts for Vision-Language Models
Shandong University(山东大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出RobustPrompt Benchmark基准和提示变体建模方法MVP,通过将提示解耦为模板与类别名称并用VAE建模其分布,在不损失性能的前提下显著提升视觉-语言模型对提示模板变化的鲁棒性。
2025-03-12 cs.CV
ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models
UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出ZOMP方法,通过跨模态低秩重参数化等技术,在仅前向传递的条件下高效调优CLIP模型,在13个基准上优于现有无反向传播的提示调优方法,泛化能力更强。
2026-10-20 cs.CV
ArGue: Attribute-Guided Prompt Tuning for Vision-Language Models
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对软提示调优在分布偏移下的局限,提出属性引导提示调优(ArGue),利用LLM生成的属性、属性采样和负向提示,显著提升新类预测和分布外泛化性能。
2024-03-13 cs.CV
Read-only Prompt Optimization for Vision-Language Few-shot Learning
Korea University(高丽大学)
本文提出只读提示优化(RPO),通过掩码注意力和基于特殊标记的初始化,防止预训练视觉语言模型内部表示偏移,在少样本设置下提升泛化能力与鲁棒性,优于CLIP和CoCoOp。
2023-11-10 cs.CV
Multitask Vision-Language Prompt Tuning
University of California Berkeley(加州大学伯克利分校);ByteDance Inc(字节跳动公司)
提示微调以任务特定的学习提示向量为条件,已经成为一种数据高效和参数高效的方法,用于使大型预训练视觉语言模型适应多个下游任务。然而,现有的方法通常考虑从零开始独立地学习每个任务的提示向量,从而无法利用跨不同视觉语言任务的丰富的可共享知识。在本文中,我们提出了多任务视觉语言提示微调(MVLPT),它将跨任务的知识到视觉语言模型的提示微调。具体而言,(i)我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;(ii)我们表明许多目标任务可以从共享提示向量中相互受益,因此可以通过多任务提示微调来共同学习。我们基准建议MVLPT使用三个代表性的提示微调方法,即文本提示微调,视觉提示微调,和统一的视觉语言提示微调。在20个视觉任务的结果表明,所提出的方法优于所有的单任务基线提示微调方法,设置新的国家的最先进的Few-Shot ELEVATER基准和跨任务的泛化基准。为了了解跨任务知识最有效的地方,我们还进行了一项大规模的研究任务的可转移性与20个视觉任务的400个组合的每一个提示微调方法。结果表明,每种提示微调方法的最佳性能MVLPT更倾向于不同的任务组合,并且许多任务可以相互受益,这取决于它们的视觉相似性和标签相似性。代码可在https://github.com/sIncerass/MVLPT上获得。
2022-12-05 cs.CL cs.CV
Active Prompt Learning with Vision-Language Model Priors
本文提出了一种基于视觉-语言模型先验的主动提示学习框架,通过类引导聚类和自适应阈值筛选,提升主动学习效率与准确性。
2026-03-10 cs.CV
Accelerating Conditional Prompt Learning via Masked Image Modeling for Vision-Language Models
Convergence Research Institute, Sungkyunkwan University(convergence research institute, 首尔大学);School of Information Technology, Deakin University(信息科技学院, 德金大学);Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系, 首尔大学)
ProMIM通过掩码图像建模增强条件提示学习,生成鲁棒实例条件提示,缓解过拟合,以轻量方式提升视觉语言模型在零样本和少样本任务上的泛化性能。
2025-08-07 cs.CV
Text Promptable Surgical Instrument Segmentation with Vision-Language Models
Tongji University(同济大学)
提出文本可提示的手术器械分割方法,利用视觉语言模型与混合提示机制提升分割性能,为机器人辅助手术应用提供新方案。
2023-11-08 cs.CV
Improving Calibration in Test-Time Prompt Tuning for Vision-Language Models via Data-Free Flatness-Aware Prompt Pretraining
Yonsei University(延世大学);ETRI(韩国电子技术研究院)
本文提出FPP框架,通过在提示初始化时选择平坦区域,提升测试时提示调优的校准和性能,无需额外标注数据和计算成本。
2026-04-30 cs.CV
FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对现有联邦提示学习在分布外偏移下性能与鲁棒性难权衡的问题,提出FOCoOp框架,通过三类提示与双层分布鲁棒优化等技术提升异质分布下的分布外鲁棒性,实验验证有效。
2025-07-30 cs.CV
Learning to Decompose Visual Features with Latent Textual Prompts
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
最近在预训练视觉语言模型(如CLIP)方面的进展显示出在学习可转移视觉表示方面的巨大潜力。尽管如此,对于下游推理,CLIP类模型遭受1)在基于检索的推理期间不准确的文本描述的情况下降低的准确性和鲁棒性(zero-shot协议的挑战);或2)破坏良好建立的视觉语言对齐(线性探测的挑战)。为了解决这些问题,我们提出了分解特征提取(DeFo)。DeFo利用灵活数量的可学习嵌入作为文本输入,同时保持视觉语言双模型架构,使模型能够在特征级文本提示的帮助下学习分解的视觉特征。我们进一步使用一个额外的线性层来执行分类,允许语言输入的可扩展大小。我们的实证研究表明,DeFo在改进视觉语言模型方面具有重要意义。例如,DeFo在ResNet-50主干上的ImageNet上获得了73.2%的测试准确率,而无需调整视觉和语言编码器的任何预训练权重,比zero-shot CLIP的性能高出15.0%,比最先进的视觉语言提示微调方法高出7.6%。
2022-10-09 cs.CV
MePT: Multi-Representation Guided Prompt Tuning for Vision-Language Model
Zhejiang University(浙江大学)
针对现有视觉-语言模型提示调优仅用单图像表征导致泛化能力受限的问题,提出三分支多表征引导的MePT方法,结合自集成技术学习多维度分布,在两类任务上实现显著性能提升。
2024-08-19 cs.CV
A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models
University of Stuttgart(斯图加特大学)
本文系统比较 CLIP 等视觉-语言模型的在线测试时自适应方法,涵盖提示工程、提示学习及视觉-文本空间集成,并在多数据集和架构上验证其抗分布偏移效果。
2024-09-09 cs.CV
VaMP: Variational Multi-Modal Prompt Learning for Vision-Language Models
Visual AI Lab, The University of Hong Kong(香港大学视觉人工智能实验室)
VaMP提出了一种变分多模态提示学习框架,通过实例条件提示和不确定性建模提升视觉-语言模型在少样本和领域泛化任务中的性能。
2025-11-27 cs.CV
Hierarchical Prompt Learning for Hyperbolic Vision-Language Models
Aarhus University(奥胡斯大学);University of Amsterdam(阿姆斯特丹大学)
针对双曲视觉-语言模型,提出层级提示学习插件,利用父类层级增强提示学习,提升基类到新类泛化与跨数据集迁移,并在双曲空间中实现层级一致的嵌入组织。
2026-09-22 cs.CV
MetaTPT: Meta Test-time Prompt Tuning for Vision-Language Models
UCAS-Terminus AI Lab, University of Chinese Academic of Sciences(中国科学院大学Terminus AI实验室,中国科学院大学);AIM Lab, University of Amsterdam(阿姆斯特丹大学AIM实验室);Jarvis Research Center, Tencent Youtu Lab(腾讯优图实验室 Jarvis 研究中心);Central Research Institue, United Imaging Healthcare Co., Ltd(联合影像医疗科技有限公司中央研究所)
MetaTPT通过元学习框架结合自监督任务和提示微调,提升视觉-语言模型在领域偏移下的测试时间适应性,实现领域泛化和跨数据集的高性能表现。
2025-12-13 cs.CV
Context-Aware Prompt Tuning for Vision-Language Model with Dual-Alignment
Shanghai Jiao Tong University(上海交通大学);ByteDance Inc(字节跳动公司)
提出 DuAl-PT 方法,通过引入预训练 LLM 生成上下文描述并结合显式与隐式建模,利用双重对齐学习上下文感知提示,在 11 个数据集的小样本识别与基类到新类泛化上取得优异性能。
2023-09-08 cs.CV
Unified Vision and Language Prompt Learning
Nanyang Technological University(南洋理工大学);Apple Inc.(苹果公司)
提示微调是一种参数和数据高效的迁移学习范式,它只调优模型输入空间中的少量参数,自从CLIP等大型视觉语言模型出现以来,它已经成为视觉社区的一种趋势。本文系统地研究了两种有代表性的提示微调方法,即文本提示微调和视觉提示微调。一个主要的发现是,没有一个单峰的提示微调方法表现一贯良好:文本提示微调失败的数据与高类内视觉差异,而视觉提示微调不能处理低类间的差异。为了结合这两个世界的最佳效果,我们提出了一种称为统一提示微调(UPT)的简单方法,它本质上是学习一个微小的神经网络来联合优化不同模式的提示。在超过11个视觉数据集上进行的大量实验表明,UPT在少样本学习基准和领域泛化基准上比单峰对应物实现了更好的权衡。将发布代码和模型,以促进未来的研究。
2022-10-13 cs.AI cs.CV
Text Prompt Injection of Vision Language Models
Ruizhe Zhu(独立研究者)
本文研究针对大型视觉语言模型的文本提示注入攻击方法,开发了一种低计算资源需求且对大型模型尤为有效的攻击算法,并通过实验验证了其高效性。
2025-10-10 cs.CL cs.CV
Prompt Tuning based Adapter for Vision-Language Model Adaption
University at Buffalo(布法罗大学);Duke University(杜克大学)
大型预训练的视觉语言(VL)模型在适应各种下游任务方面表现出了巨大的潜力。然而,由于大量的模型参数,微调整个网络是具有挑战性的。为了解决这个问题,已经提出了诸如提示微调的有效自适应方法。我们探索了使用多任务预训练初始化的提示微调的想法,发现它可以显着提高模型性能。基于我们的研究结果,我们引入了一个新的模型,称为快速适配器,它结合了预先训练的快速调整与一个有效的适应网络。我们的方法在公共11个数据集上的Few-Shot图像分类中击败了最先进的方法,特别是在具有有限数据实例的设置中,例如1个镜头,2个镜头,4个镜头和8个镜头图像。我们提出的方法表明,结合提示微调和参数高效的网络有效的视觉语言模型适应的承诺。该代码可在https://github.com/Jingchensun/prompt_adapter上公开获取。
2023-03-24 cs.AI cs.CV
Domain-Invariant Prompt Learning for Vision-Language Models
本文提出DiCoOp,通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力,有效解决领域偏移问题。
2026-03-30 cs.AI cs.CV
MuDPT: Multi-modal Deep-symphysis Prompt Tuning for Large Pre-trained Vision-Language Models
College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学)
针对现有单模态提示调优易破坏预训练视觉-语言模型表征对齐、性能次优的问题,提出多模态深度共生提示调优MuDPT,通过模型无关变换网络实现深度分层双向提示融合,在少样本视觉识别和域外泛化任务上性能优于现有最优方法。
2024-07-14 cs.CL cs.CV
Generative Visual Communication in the Era of Vision-Language Models
Raymond and Beverly Sackler Faculty of Exact Sciences(雷蒙德和贝弗利·萨克勒精密科学学院);Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);School of Computer Science at Tel Aviv University(特拉维夫大学计算机科学学院)
本研究针对生成模型在视觉传达设计中难以简化复杂思想为抽象视觉且像素输出缺乏灵活性的问题,通过约束视觉语言模型(VLMs)操作空间并引入特定任务正则化,探索自动化创建有效视觉传达设计的方法,涵盖草图、排版等多方面。
2024-11-27 cs.AI cs.CV
A Retrospect to Multi-prompt Learning across Vision and Language
Jinan University(济南大学);Sun Yat-sen University(中山大学);Pazhou Laboratory(琶洲实验室)
本文回顾视觉语言多提示学习,提出基于能量的多提示学习方法(EMPL),通过从VLMs隐式定义的能量分布生成多个提示嵌入,在参数高效的同时实现域内与域外开放词汇泛化的平衡。
2025-10-31 cs.AI cs.CV cs.LG
BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation
Wenzhou University(温州大学);Wenzhou Business College(温州商务学院)
BiomedAP通过门控跨模态融合和双锚约束机制,提升医学视觉-语言模型在提示变化下的鲁棒性,实验显示其在多个基准上均优于基线方法。
2026-05-15 cs.AI cs.CV
Target Prompting for Information Extraction with Vision Language Model
本文针对 VLM 信息抽取中通用提示易产生信息缺口的问题,提出 Target prompting 方法,通过显式定位文档图像区域以生成更准确答案,并对不同提示技术进行评估。
2024-08-07 cs.AI cs.CV
Prompt Tuning with Soft Context Sharing for Vision-Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);Engineering Laboratory for Intelligent Industrial Vision, CASIA(中国科学院自动化研究所智能工业视觉工程实验室);Research Center of Aerospace Information, CASIA(中国科学院自动化研究所航天信息研究中心)
针对视觉语言模型提示调优忽视少样本任务相关性的问题,提出SoftCPT方法,通过任务共享元网络生成软共享提示上下文,联合调优多任务,在多数据集上显著优于单任务提示调优。
2024-03-31 cs.AI cs.CV
Prompting through Prototype: A Prototype-based Prompt Learning on Pretrained Vision-Language Models
Baidu Research(百度研究院)
提示学习是一种新的学习范式,它通过利用文本提示将下游任务重构为预训练模型上的类似预训练任务。最近的工作表明,快速学习对于少样本学习特别有用,其中训练数据有限。根据提示的粒度,这些方法可以大致分为任务级提示和实例级提示。任务级提示方法为所有输入样本学习一个通用提示,这是有效的,但无法捕捉不同类之间的细微差异。实例级提示方法为每个输入学习特定的提示,虽然有效但效率低下。在这项工作中,我们开发了一种新的基于原型的提示学习方法,以克服上述限制。特别是,我们专注于预训练的视觉语言模型(PVLM)上的Few-Shot图像识别任务,并开发了一种通过原型(PTP)进行提示的方法,其中我们定义了$K$图像原型和$K$提示原型。在PTP中,图像原型表示潜空间中某个图像簇的质心,提示原型定义为连续空间中的软提示。查询图像和图像原型之间的相似性决定了这种预测在多大程度上依赖于相应的提示原型。因此,在PTP中,类似的图像将使用类似的提示方式。通过对七个真实世界的基准测试进行广泛的实验,我们表明PTP是一种有效的方法来利用潜在的知识和适应各种PVLM。此外,通过详细分析,我们讨论了在少样本学习背景下快速学习和参数高效微调的利弊。
2022-10-19 cs.CL cs.CV
UniDCP: Unifying Multiple Medical Vision-language Tasks via Dynamic Cross-modal Learnable Prompts
Zhejiang University(浙江大学);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
针对现有医学视觉语言预训练模型跨任务灵活性差的问题,本研究提出搭载动态跨模态可学习提示的UniDCP模型,通过统一框架适配多任务并优化共享临床知识处理,在8类任务14个数据集上性能优于现有先进方法。
2023-12-18 cs.AI cs.CV