SKstars at SHROOM: Visions Agreement-Guided Ensembling of Zero-Shot and LoRA-Adapted Vision--Language Models
Chung-Ang University(中央大学)
提出结合Qwen2.5-VL-72B零样本与LoRA适配的7B模型进行集成,用于视觉-语言模型细粒度幻觉检测,在SHROOM-Visions 2026上取得Cor+Lbl 0.2902,排名第15。
2026-09-22 cs.AI cs.CV
Large Language Models Meet Computer Vision: A Brief Survey
Tahakom(塔哈科姆)
本文综述了大型语言模型与计算机视觉的交叉研究,分析了Transformer及视觉Transformer的演进,比较了主流付费与开源LLM的性能,梳理了用于视觉任务的方法和训练数据集,并指出了未来研究方向。
2023-11-28 cs.AI cs.CV
BiomedAP: A Vision-Informed Dual-Anchor Framework with Gated Cross-Modal Fusion for Robust Medical Vision-Language Adaptation
Wenzhou University(温州大学);Wenzhou Business College(温州商务学院)
BiomedAP通过门控跨模态融合和双锚约束机制,提升医学视觉-语言模型在提示变化下的鲁棒性,实验显示其在多个基准上均优于基线方法。
2026-05-15 cs.AI cs.CV
VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation
Begum Rokeya University, Rangpur(贝古姆·罗基亚大学,朗布尔);American International University - Bangladesh(美国国际大学-孟加拉国)
本文提出VLAgeBench,评估大视觉-语言模型在零样本人类年龄估计中的性能,展示通用LVLM在无微调情况下表现优异,揭示图像质量和人口子群体差异对性能的影响。
2026-03-27 cs.AI cs.CV
VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models
VITA通过测试时间适应提升视觉语言模型的零样本价值估计能力,实现跨任务和环境的泛化,优于现有方法。
2026-02-27 cs.AI cs.CV
Binary Verification for Zero-Shot Vision
本文提出一种无需训练的二元验证流程,通过量化和二元化步骤提升零样本视觉任务性能,适用于引用表达定位、空间推理和BLINK-Jigsaw等任务。
2026-03-27 cs.AI cs.CV
SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
SentZero提出了一种增强的句子中心视觉-语言预训练框架,通过LLM抽象级句子结构、假阴性缓解损失和句子条件残差调制,显著提升了多任务零样本胸部X光分析的泛化性能。
2026-09-29 cs.AI cs.CV
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University(南洋理工大学);Southwest Jiaotong University(西南交通大学);Kash Institute of Electronics and Information Industry(Kash电子信息产业研究院);Southwest Petroleum University(西南石油大学)
本文提出结合对比学习与大语言模型的两阶段训练框架,实现跨语言零样本语音情绪识别,并构建大规模合成数据集M5SER,实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Multi LoRA Meets Vision: Merging multiple adapters to create a multi task model
Huawei R&D Turkiye(华为土耳其研发中心)
本文研究将多个计算机视觉任务上训练的 LoRA 适配器合并为一个多任务模型,无需重新训练即可减少推理时间,并在最多三个适配器合并实验中验证其性能可与头部微调相当或更优。
2024-11-21 cs.AI cs.CV
HeatPrompt: Zero-Shot Vision-Language Modeling of Urban Heat Demand from Satellite Images
Institute for Automation and Applied Informatics (IAI), Karlsruhe Institute of Technology (KIT), Germany(自动化与应用信息研究所(IAI)、卡尔斯鲁厄理工学院(KIT))
HeatPrompt通过卫星图像和地理信息数据,利用零样本视觉语言模型估算城市热需求,提升预测精度并支持数据稀缺地区的热规划。
2026-02-23 cs.AI cs.CV
TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation
East China Normal University(华东师范大学);Hangzhou Dianzi University(杭州电子科技大学)
针对零样本视觉语言导航中LLM环境感知不足的问题,提出TINA框架,通过问答模块增强感知并提升可解释性,在Room-to-Room数据集上超越监督学习方法。
2024-03-13 cs.AI cs.CV
Benchmarking Zero-Shot Recognition with Vision-Language Models: Challenges on Granularity and Specificity
AWS AI Labs(AWS AI实验室);Boson AI;Meta
本文构建聚焦语义粒度与文本特异性的零样本识别基准,系统评估VLM,发现其偏好中等细粒度概念且难以辨别细微错误描述,微调也无法根本解决泛化缺陷。
2024-06-18 cs.AI cs.CV
Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models
National University of Singapore(新加坡国立大学)
本文提出Gate-and-Merge框架,实现视觉语言模型的零样本组合个性化,通过轻量LoRA适配器和门控机制,在无需共现训练的情况下提升多概念联合识别性能。
2026-05-09 cs.AI cs.CV
FADE: Few-shot/zero-shot Anomaly Detection Engine using Large Vision-Language Model
Onfido;Entrust
本文提出FADE引擎,通过调整CLIP模型并结合多尺度图像块嵌入、自动文本提示集成及查询-参考图像视觉引导,在零样本和少样本工业异常检测中取得领先性能。
2024-08-31 cs.CV
VL-Taboo: An Analysis of Attribute-based Zero-shot Capabilities of Vision-Language Models
Goethe University Frankfurt(法兰克福歌德大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
视觉语言模型在大量随机收集的数据上进行训练,自出现以来在许多领域产生了重大影响。但是,尽管它们在图像-文本检索等各个领域都表现出了出色的性能,但它们的内部工作原理仍然没有得到充分的理解。目前的工作分析这些模型的真正zero-shot能力。我们从分析训练语料库开始,评估测试类在多大程度上(以及哪些)是真正的zero-shot,以及这与各个类的表现如何相关。我们随后分析了这些模型的基于属性的零样本学习能力,评估了这种经典的zero-shot概念在大规模网络监督中的表现。我们利用最近发布的LAION 400 M数据语料库以及CLIP、OpenCLIP和FLAVA的公开预训练模型,在CUB和AWA 2基准测试中评估基于属性的zero-shot能力。我们的分析表明:(i)流行的zero-shot基准测试中的大多数类在预训练期间被观察到(很多);(ii)zero-shot性能主要来自于模型识别类标签的能力,无论它们何时出现在文本中,并且仅在不使用类标签时观察到基于属性的zero-shot学习的性能显著较低;(iii)所使用的属性的数量可以对性能具有显著影响,并且可以容易地导致显著的性能降低。
2022-09-12 cs.AI cs.CL cs.CV
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Parameter-Efficient Quantized Mixture-of-Experts Meets Vision-Language Instruction Tuning for Semiconductor Electron Micrograph Analysis
TCS Research(塔塔咨询服务研究中心);IIT Dharwad(达瓦德印度理工学院);IIIT Pune(浦那印度信息技术学院)
本文提出专为半导体电子显微图像分析定制的小规模视觉-语言助手sLAVA,采用师生范式利用GPT-4生成多模态指令数据,在有限硬件上实现高效训练并保护知识产权,实验证明其超越传统方法且支持高通量筛选。
2024-08-27 cs.AI cs.CV cs.LG
Exploiting Category Names for Few-Shot Classification with Vision-Language Models
University of California, Merced(加州大学默塞德分校);Apple(苹果公司);Google(谷歌公司)
本文提出用类别名称初始化视觉-语言模型分类头,以弥合大参数量与小样本数据间的差距,并在多个五样本图像分类基准上取得最先进结果。
2023-04-18 cs.CV
Enhancing Remote Sensing Vision-Language Models for Zero-Shot Scene Classification
UCLouvain(鲁汶大学);UMons(蒙斯大学);ÉTS Montreal(蒙特利尔工程学院)
针对遥感视觉-语言模型分块独立预测导致上下文丢失的问题,本文提出无监督、低成本的RS-TransCLIP转导推理方法,融合文本提示预测与图像块亲和关系,在10个数据集上显著提升零样本场景分类准确率。
2025-01-07 cs.CV
Semi-Supervised Few-Shot Adaptation of Vision-Language Models
Computer Vision Lab, ETH Zurich, Zurich, Switzerland(苏黎世联邦理工学院计算机视觉实验室)
本文提出一种半监督方法,通过传播文本引导的伪标签来提升视觉-语言模型在极低样本情况下的适应性能,减少标注工作量超过50%。
2026-03-03 cs.CV
Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities
Meta AI
我们探讨了在何种程度上zero-shot视觉语言模型表现出不同的视觉任务的性别偏见。视觉模型传统上需要特定于任务的标签来表示概念,以及微调;像CLIP这样的zero-shot模型使用开放词汇表执行任务,这意味着它们不需要一组固定的标签,通过使用文本嵌入来表示概念。考虑到这些功能,我们问:视觉语言模型在执行zero-shot图像分类、目标检测和语义分割时是否表现出性别偏见?我们使用跨一组概念的多个数据集来评估不同的视觉语言模型,并且发现(i)基于与图像中的给定概念共现的人的感知性别,评估的所有模型显示出明显的性能差异,并且对所有概念的聚合分析可以掩盖这些问题;(ii)模型校正(即准确性和置信度之间的关系)也因感知的性别而明显不同,即使在评估类似的概念表示时也是如此;以及(iii)这些观察到的差异与来自语言模型的词嵌入中的现有性别偏见一致。这些发现表明,虽然语言极大地扩展了视觉任务的能力,但它也可能导致zero-shot视觉设置中的社会偏见。此外,当其他模型使用CLIP等基础模型来实现zero-shot功能时,偏差可能会进一步传播。
2023-01-26 cs.CV cs.CY cs.HC
Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models
UCLouvain(乌尔特-洛文大学);UMons(蒙斯大学);Fonds de la Recherche Scientifique(科学基金组织)
提出首个遥感视觉语言模型少样本适应基准,通过十个数据集和五种策略评估三个模型,发现零样本性能相似的模型在少样本适应下表现差异显著,需开发更鲁棒的方法。
2025-10-08 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP(对比存储-图像预训练)在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而,它在跨模态生成任务,如zero-shot图像描述的性能仍然不令人满意。在这项工作中,我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态,在很大程度上忽略了视觉信息,我们称之为\emph{contextual language prior}。为了解决这个问题,我们提出了跨模态语言模型(CLM),以促进无监督的跨模态学习。我们进一步提出了锚增强,以指导生成模型的注意力,在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管实现了最先进的zero-shot性能,现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习(MAML)是Few-Shot迁移学习的自然替代方案,但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型(如CLIP)上的使用。虽然许多文献一直致力于探索替代的优化策略,我们确定了有效的Few-Shot迁移学习,任务采样,这是以前只被视为数据预处理的一部分,在MAML的另一个重要方面。为了显示任务采样的影响,我们提出了一个简单的算法,模型无关的多任务微调(MAMF),它区分经典的微调只对均匀采样多个任务。尽管它的简单性,我们表明,MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明,MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作,并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models
Department of Computer Science(计算机科学系);Virginia Tech(弗吉尼亚理工大学)
本研究针对大型视觉语言模型在零样本细粒度图像分类任务中潜力未充分挖掘的问题,提出将任务转化为视觉问答框架并结合注意力干预技术的新方法,同时构建更精准的类别描述基准,实验证明该方法优于现有SOTA。
2025-10-04 cs.CV
Learning by Correction: Efficient Tuning Task for Zero-Shot Generative Vision-Language Reasoning
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出图像条件描述纠错(ICCC)预训练任务,利用语言结构和依存解析器低成本构建纠错数据,在不依赖人工标注的情况下提升视觉-语言模型的零样本推理能力,并在BLIP-2和InstructBLIP上验证了显著效果。
2024-04-01 cs.CV
Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
School of EECE, University of Chinese Academy of Science(中国科学院大学电子电气与通信工程学院);Dolby Lab. Inc.(杜比实验室公司)
提出Comp-LoRA方法,通过在互补子空间优化低秩矩阵缓解灾难性遗忘,在少样本分类中提升了准确率并保留了VLM零样本性能。
2025-01-25 cs.CV
CLIP-Nav: Using CLIP for Zero-Shot Vision-and-Language Navigation
University of Maryland, College Park(马里兰大学帕克分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
家庭环境在视觉上是多样化的。在野外执行视觉和语言导航(VLN)的智能体必须能够处理这种多样性,同时也遵循任意语言指令。最近,像CLIP这样的视觉语言模型在zero-shot对象识别任务上表现出了很好的性能。在这项工作中,我们问,如果这些模型也能够zero-shot语言接地。特别是,我们利用CLIP来解决新的问题,zero-shot VLN使用自然语言引用表达式描述目标对象,在过去的工作中,使用简单的语言模板描述对象类。我们研究CLIP的能力,使连续的导航决策,没有任何特定的微调,并研究它如何影响代理采取的路径。我们的粗粒度的指令遵循任务的REVERIE的结果表明,导航能力的CLIP,超过了监督基线的成功率(SR)和成功加权的路径长度(SPL)。更重要的是,我们定量地表明,我们的CLIP为基础的zero-shot的方法更好地概括,以显示一致的性能跨环境相比,SOTA,完全监督学习的方法时,通过相对变化的成功(RCS)进行评估。
2022-11-30 cs.AI cs.CL cs.CV
Enhancing Few-Shot Vision-Language Classification with Large Multimodal Model Features
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
本文提出无需微调的稀疏注意力向量 SAV,从生成式 LMM 的少于 5% 注意力头激活中提取特征,在少样本视觉-语言分类任务上达到先进性能并具备可扩展性与泛化性。
2025-06-09 cs.AI cs.CL cs.CV
Efficient Few-Shot Learning in Remote Sensing: Fusing Vision and Vision-Language Models
Cranfield University(克兰菲尔德大学);University of Oxford(牛津大学)
本研究融合YOLO与视觉-语言模型,提升遥感图像飞机检测与场景理解,在少样本条件下实现MAE改善48.46%、CLIPScore提升6.17%。
2025-10-15 cs.AI cs.CV cs.LG
What Makes Good Few-shot Examples for Vision-Language Models?
Fudan University(复旦大学);Bytedance(字节跳动);Sensetime Technology(商汤科技)
本研究提出REPRE和高斯蒙特卡洛两种示例选择方法,优于随机和主动学习策略,显著提升视觉-语言模型少样本训练效果,且模型无关。
2024-05-22 cs.CV
Few-shot Adaptation of Medical Vision-Language Models
ÉTS Montreal(蒙特利尔工程学院);Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)(蒙特利尔大学中心医院研究中心)
本文构建严格少样本医学VLM适配基准,比较多种策略,并证明融合视觉原型与文本嵌入的线性探针兼具竞争力、速度与黑盒可用性。
2024-09-05 cs.CV
SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
虽然在少样本学习方面已经取得了显著的进展,但是现有的Few-Shot图像分类方法大多需要在大量的基本类样本上进行有监督的预训练,这限制了它们在实际应用中的推广能力。近年来,大规模的视觉语言预训练模型(VLP)在少样本学习中得到了越来越多的关注,因为它们可以为Web上容易获得的文本提供可转移的视觉表示学习的新范式。然而,VLP可能会忽略难以用语言句子描述的详细视觉信息,但对于学习有效的分类器来区分不同的图像很重要。为了解决上述问题,我们提出了一个新的框架,名为语义引导的视觉适应(SgVA),它可以有效地扩展视觉语言的预训练模型,以产生歧视性的适应视觉特征,综合使用一个隐式的知识蒸馏,视觉特定的对比损失,和跨模态的对比损失。隐式知识蒸馏的目的是传递细粒度的跨模态知识,以指导视觉适配器的更新。在13个数据集上的实验结果表明,自适应视觉特征能够很好地补充交叉模态特征,提高Few-Shot图像分类的性能。
2023-01-20 cs.CV cs.MM
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models
Boston University(波士顿大学);Meta AI (FAIR)(元人工智能研究院(FAIR))
提出SPARC方法,将视觉-语言模型视为黑盒,利用大语言模型生成复合提示并分析分数偏差,通过去偏和分数融合算法提升零样本多标签识别性能,在mAP上优于需训练数据的方法。
2025-02-24 cs.CV
Attn-Adapter: Attention Is All You Need for Online Few-shot Learner of Vision-Language Model
Sungkyunkwan University(顺天大学);Deakin University(德金大学)
针对视觉-语言模型少样本学习中离线微调计算量大、易过拟合的问题,提出基于双重注意力机制的在线少样本框架Attn-Adapter,无需重训基础模型即可动态适配,在跨类别、跨数据集泛化上优于SOTA且推理高效。
2025-09-04 cs.CV
Low-Rank Few-Shot Adaptation of Vision-Language Models
UCLouvain(天主教鲁汶大学);UMons(蒙斯大学);ÉTS Montréal(蒙特利尔工程学院)
本文提出CLIP-LoRA,一种基于低秩适应的视觉语言模型少样本学习方法,在11个数据集上表现优于现有提示和适配器方法,同时简化训练流程并保持超参数一致性,为该领域提供了强基线。
2024-06-01 cs.CV
Robust Fine-Tuning of Vision-Language Models for Domain Generalization
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
针对现有基础模型零样本评估场景简单、少样本微调缺乏对比的问题,提出CLIP的少样本微调方案,在WILDS基准上验证其在各数据量下分布内外准确率均优于纯视觉模型,为真实少样本场景应用基础模型提供依据。
2023-11-03 cs.AI cs.CL cs.CV
Intriguing Differences Between Zero-Shot and Systematic Evaluations of Vision-Language Transformer Models
Florida State University(佛罗里达州立大学)
本文发现视觉-语言Transformer模型虽在零样本分类上表现卓越,却在系统性评估中完全失败,并基于梯度下降优化与线性近似提供解释框架及检测修改图像的鲁棒方法。
2024-02-13 cs.AI cs.CV cs.LG
AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(博世人工智能中心,罗伯特·博世公司);Bosch Center for Artificial Intelligence, Robert Bosch LLC(博世人工智能中心,罗伯特·博世有限责任公司)
针对CLIP类视觉-语言模型零样本分类中描述符等权匹配的不足,提出无监督的AutoCLIP方法,推理时基于相似度统计为提示模板分配逐图像权重,在多设置下准确率最高提升3个百分点,且开销极低。
2024-08-14 cs.AI cs.CV cs.LG
Few-Shot Image Classification and Segmentation as Visual Question Answering Using Vision-Language Models
The University of Manchester(曼彻斯特大学);Mettler Toledo Safeline(梅特勒托利多赛富线)
本文提出VISE方法,将少样本图像分类与分割转化为视觉问答问题,利用视觉语言模型与现成视觉工具交互,无需训练,在Pascal-5i和COCO-20i上达到最先进性能。
2024-03-15 cs.CV
Vision and Language Reference Prompt into SAM for Few-shot Segmentation
Waseda University(早稻田大学)
本文提出VLP-SAM少样本分割模型,通过多模态视觉语言模型将参考图像视觉信息与文本标签语义信息结合作为提示输入SAM,在PASCAL-5i和COCO-20i数据集上分别以6.3%和9.5%的mIoU优势超越SOTA。
2025-02-02 cs.CV
Zero-Shot Vision Encoder Grafting via LLM Surrogates
University of Maryland(马里兰大学);Meta
提出零样本视觉编码器嫁接方法,通过小型代理模型训练编码器后直接迁移至大型LLM,降低训练成本约45%,且性能与完整训练相当。
2025-08-02 cs.CV
Meta-Adapter: An Online Few-shot Learner for Vision-Language Model
Xi’an JiaoTong University(西安交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 Meta-Adapter,一种轻量级残差式在线适配器,在少样本引导下细化 CLIP 特征,无需离线微调即可实现高效少样本学习,并在分类、检测和分割任务上取得显著提升。
2024-01-11 cs.CV
UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
提出UniFine框架,通过利用句子关键词和图像对象等细粒度信息进行图像-文本匹配,在零样本设置下统一处理VQA、SNLI-VE和VCR等视觉-语言任务,并在多个数据集上取得显著改进。
2026-06-03 cs.CL cs.CV
Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation
National University of Singapore(新加坡国立大学);ASUS Intelligent Cloud Services(华硕智能云服务)
针对领域泛化语义分割中现有方法仅依赖视觉基础模型或视觉语言模型的局限,提出基于Mamba的MFuser融合框架,结合两者互补优势,实现更优性能。
2025-04-15 cs.CV
Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models
Scale AI(Scale AI公司)
针对 CLIP 等视觉-语言模型零样本推理中的误校准问题,论文系统测量提示、数据集和架构的影响,并提出适配零样本场景的改进温度缩放方法,证明单一学习温度可跨数据集与提示泛化。
2023-04-18 cs.CV cs.LG
Cross-Domain Few-Shot Learning via Multi-View Collaborative Optimization with Vision-Language Models
本文提出CoMuCo微调策略,通过互补专家模块提取多视图特征并结合一致性约束与信息几何共识机制,提升视觉-语言模型在跨域少样本识别中的鲁棒性,并构建新基准验证其持续优于现有方法。
2025-08-18 cs.CV
Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization
Southeast University(东南大学);Baidu VIS(百度视觉技术部)
本文提出解释性指令,通过语言转换定义视觉任务,构建1200万三元组数据集训练自回归视觉语言模型,实现零样本任务泛化。
2025-05-26 cs.CV
Proto-CLIP: Vision-Language Prototypical Network for Few-Shot Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
本研究提出基于CLIP的少样本学习框架Proto-CLIP,联合适配图像与文本编码器嵌入并对齐对应类别的双模态原型,兼具免训练和微调版本,在基准数据集及机器人感知场景中验证了有效性。
2024-07-14 cs.CV cs.RO
Evaluating Cascaded Methods of Vision-Language Models for Zero-Shot Detection and Association of Hardhats for Increased Construction Safety
Archbishop Mitty(大主教米蒂高中);University of California Merced(加州大学默塞德分校)
本文评估了基于OWLv2等视觉-语言模型的级联零样本检测方法在施工现场安全帽检测中的应用,构建了新基准数据集,并验证了该方法的有效性与局限性。
2024-10-16 cs.CV
BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder
BackdoorIDS通过分析输入在逐步遮蔽过程中的嵌入序列变化,利用密度聚类检测后门攻击,实现对预训练视觉编码器的零样本后门检测,优于现有防御方法。
2026-03-16 cs.CV
ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models
Tongji University(同济大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出ShotBench基准测试,用于评估视觉语言模型对电影叙事语言的理解能力,通过专家标注的3500多对问答数据揭示现有模型在细粒度视觉线索和复杂空间推理上的不足,并开发ShotVL模型在该基准上取得新突破。
2025-06-27 cs.CV
Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models
University of Maryland(马里兰大学);NVIDIA(英伟达);Caltech(加州理工学院);Arizona State University(亚利桑那州立大学)
预先训练的视觉语言模型(例如,CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依靠手工设计的提示,而是使用来自下游任务的训练数据来学习提示。虽然有效,但对特定领域数据的训练会降低模型对未知新领域的泛化能力。在这项工作中,我们提出了测试时提示微调(TPT),一种方法,可以学习自适应提示飞行与一个单一的测试样本。对于图像分类,TPT通过使用置信度选择最小化熵来优化提示,使得模型在每个测试样本的不同增强视图上具有一致的预测。在评估自然分布偏移的泛化时,TPT将CLIP的zero-shot top-1准确度平均提高了3.6%,超过了之前需要额外的特定任务训练数据的提示微调方法。在评估具有不可见类别的跨数据集泛化时,TPT的表现与使用额外训练数据的最先进方法不相上下。项目页面:https://azshue.github.io/TPT。
2022-09-15 cs.CV
Computational Imaging Meets LLMs: Zero-Shot IDH Mutation Prediction in Brain Gliomas
School of Science and Engineering, Lahore University of Management Sciences, Lahore, Pakistan(科学与工程学院,拉合尔管理科学大学,巴基斯坦拉合尔)
本文提出将大语言模型与计算图像分析相结合的无创零样本框架,用于脑胶质瘤IDH突变预测,在六个公开数据集上验证了其高准确率与均衡性能。
2025-11-05 cs.AI eess.IV q-bio.QM