Do Vision-Language Models Understand 3D Scenes or Just Catalogue Objects?
Deccan AI（德克南人工智能）
本文通过一个包含3034个样本的人工整理基准，探讨了视觉-语言模型对空间理解的深度有序遮挡、光学几何推断和体积重新安排规划能力，发现模型在重新安排可见布局时表现优异，但在遮挡和反射推断上表现较差。
2026-06-19 cs.CV cs.LG
Learn from the Past: Language-conditioned Object Rearrangement with Large Language Models
University of York（约克大学）；University of Southampton（南安普顿大学）
本文提出一种基于大型语言模型的灵活语言条件化物体重排框架，利用成功的过往经验作为参考来模仿人类推理，在零样本方式下泛化处理各种日常物体和自由形式语言指令，有效执行机器人重排任务。
2025-03-05 cs.RO
SG-Bot: Object Rearrangement via Coarse-to-Fine Robotic Imagination on Scene Graphs
Technical University of Munich（慕尼黑工业大学）；Google（谷歌公司）
本文提出SG-Bot框架，通过场景图表示与由粗到细的想象过程，结合常识与用户指令生成细粒度目标场景并制定动作策略，在物体重排列任务上大幅优于现有方法。
2024-03-24 cs.CV cs.RO
Semantically Grounded Object Matching for Robust Robotic Scene Rearrangement
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
物体重排最近已经成为机器人操作中的关键能力，其实际解决方案通常涉及目标检测、识别、抓取和高级规划。描述所需场景配置的目标图像是一种很有前途且越来越多使用的教学模式。一个关键的突出挑战是准确推断机器人前面的物体与所提供的目标图像中的物体之间的匹配，最近的工作在缺乏特定于物体的训练数据的情况下一直在努力。在这项工作中，我们探讨了现有的方法的能力，推断对象之间的匹配观察和目标场景之间的视觉转移增加恶化。我们发现，目前的设置的一个根本限制是，源和目标图像必须包含相同的$\textit{instance}$的每个对象，这限制了实际部署。我们提出了一种新的对象匹配方法，该方法使用一个大型的预训练视觉语言模型，通过利用语义和视觉特征作为一个更强大的，更通用的相似性度量，在跨实例设置中匹配对象。我们证明，这提供了相当大的改进的匹配性能，在跨实例设置，并可用于引导多对象重排与机器人操纵器从图像，共享没有对象$\textit{instances}$与机器人的场景。
2021-11-15 cs.CV cs.RO
Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models
Scale AI（Scale AI公司）
针对 CLIP 等视觉-语言模型零样本推理中的误校准问题，论文系统测量提示、数据集和架构的影响，并提出适配零样本场景的改进温度缩放方法，证明单一学习温度可跨数据集与提示泛化。
2023-04-18 cs.CV cs.LG
3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement
Massachusetts Institute of Technology（麻省理工学院）
提出首个基于3D高斯溅射的变化检测方法3DGS-CD，利用新视图渲染和零样本分割，在18秒内检测3D物体重排，准确率提升14%，速度快三个数量级。
2025-01-18 cs.CV cs.RO
Proto-CLIP: Vision-Language Prototypical Network for Few-Shot Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
本研究提出基于CLIP的少样本学习框架Proto-CLIP，联合适配图像与文本编码器嵌入并对齐对应类别的双模态原型，兼具免训练和微调版本，在基准数据集及机器人感知场景中验证了有效性。
2024-07-14 cs.CV cs.RO
Label Propagation for Zero-shot Classification with Vision-Language Models
Czech Technical University in Prague（布拉格捷克技术大学）；NAVER LABS Europe（NAVER欧洲实验室）
针对含无标签数据的零样本分类，提出 ZLaP，利用图文特征图上的测地距离标签传播及高效归纳推理，在14个数据集上超过最新方法。
2024-04-05 cs.CV cs.LG
Noise-Tolerant Few-Shot Unsupervised Adapter for Vision-Language Models
Alexandria University（亚历山大大学）
针对视觉语言模型目标样本标注限制问题，提出抗噪无监督适配器 NtUA，利用少量无标签样本构建键值缓存，结合自适应加权与知识蒸馏细化伪标签，在多基准上取得卓越性能。
2024-07-30 cs.CV cs.LG
A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning
Zhejiang University（浙江大学）；Swansea University（斯旺西大学）
本文提出A₃B₂适配器，通过引入不确定性感知适配器阻尼机制，缓解少样本学习中的分支偏差问题，实验表明其在多个数据集上优于现有基线方法。
2026-05-15 cs.CV cs.LG
H2VLR: Heterogeneous Hypergraph Vision-Language Reasoning for Few-Shot Anomaly Detection
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出H2VLR框架，通过统一超图联合建模视觉区域和语义概念，将少样本异常检测转化为高阶推理问题，有效提升异常检测性能。
2026-04-16 cs.CV cs.LG
FADE: Few-shot/zero-shot Anomaly Detection Engine using Large Vision-Language Model
Onfido；Entrust
本文提出FADE引擎，通过调整CLIP模型并结合多尺度图像块嵌入、自动文本提示集成及查询-参考图像视觉引导，在零样本和少样本工业异常检测中取得领先性能。
2024-08-31 cs.CV
Shotluck Holmes: A Family of Efficient Small-Scale Large Language Vision Models For Video Captioning and Summarization
Georgia Institute of Technology（佐治亚理工学院）
本文提出高效小型 LLVM 系列 Shotluck Holmes，通过改进预训练与数据策略使其理解帧序列，并在 Shot2Story 上以更小、更高效的模型取得领先性能。
2024-10-21 cs.CL cs.CV cs.LG
MI-VisionShot: Few-shot adaptation of vision-language models for slide-level classification of histopathological images
valgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（valgrAI——瓦伦西亚人工智能研究生院与研究网络）
本文提出 MI-VisionShot，一种基于视觉-语言模型的无训练少样本适配方法，通过检索切片内最具判别力的图像块构建多实例原型分类器，实现组织病理切片级预测，并在低样本场景下以更低变异性超越零样本迁移。
2024-10-21 cs.AI cs.CV
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所）
本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models
School of Mathematics and Computer Science, Institute of Business Administration（商业管理学院数学与计算机科学学院）；Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
本文提出CalShift方法，通过结合Fisher信息惩罚和置信度失准惩罚，同时缓解协变量偏移和过度自信问题，在少样本视觉-语言分类中显著改善模型校准与鲁棒性。
2025-04-08 cs.CV cs.LG
Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities
Meta AI
我们探讨了在何种程度上zero-shot视觉语言模型表现出不同的视觉任务的性别偏见。视觉模型传统上需要特定于任务的标签来表示概念，以及微调;像CLIP这样的zero-shot模型使用开放词汇表执行任务，这意味着它们不需要一组固定的标签，通过使用文本嵌入来表示概念。考虑到这些功能，我们问：视觉语言模型在执行zero-shot图像分类、目标检测和语义分割时是否表现出性别偏见？我们使用跨一组概念的多个数据集来评估不同的视觉语言模型，并且发现（i）基于与图像中的给定概念共现的人的感知性别，评估的所有模型显示出明显的性能差异，并且对所有概念的聚合分析可以掩盖这些问题;（ii）模型校正（即准确性和置信度之间的关系）也因感知的性别而明显不同，即使在评估类似的概念表示时也是如此;以及（iii）这些观察到的差异与来自语言模型的词嵌入中的现有性别偏见一致。这些发现表明，虽然语言极大地扩展了视觉任务的能力，但它也可能导致zero-shot视觉设置中的社会偏见。此外，当其他模型使用CLIP等基础模型来实现zero-shot功能时，偏差可能会进一步传播。
2023-01-26 cs.CV cs.CY cs.HC
Zero-Shot 3D Visual Grounding from Vision-Language Models
HKUST(GZ)（香港科技大学（广州））；I 2 R, A*STAR（I2R, A*STAR）；NUS（国立大学）；CSE, HKUST（计算机科学与工程系，香港科技大学）
提出零样本3D视觉定位框架SeeGround，利用2D视觉-语言模型结合视角适应与融合对齐模块，在无需3D训练数据下实现高精度定位，性能超越现有零样本基线并媲美全监督方法。
2025-05-28 cs.CV cs.RO
MORE: Mobile Manipulation Rearrangement Through Grounded Language Reasoning
University of Freiburg（弗赖堡大学）；University of Toronto（多伦多大学）；Toyota Motor Europe（丰田汽车欧洲公司）
MORE通过场景图表示、实例区分和主动子图过滤，将大规模移动操作重排规划转化为有界问题，在BEHAVIOR-1K上首次显著解决零样本重排任务并优于现有基础模型方法。
2025-05-05 cs.AI cs.RO
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管实现了最先进的zero-shot性能，现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习（MAML）是Few-Shot迁移学习的自然替代方案，但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型（如CLIP）上的使用。虽然许多文献一直致力于探索替代的优化策略，我们确定了有效的Few-Shot迁移学习，任务采样，这是以前只被视为数据预处理的一部分，在MAML的另一个重要方面。为了显示任务采样的影响，我们提出了一个简单的算法，模型无关的多任务微调（MAMF），它区分经典的微调只对均匀采样多个任务。尽管它的简单性，我们表明，MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明，MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作，并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
Exploiting Category Names for Few-Shot Classification with Vision-Language Models
University of California, Merced（加州大学默塞德分校）；Apple（苹果公司）；Google（谷歌公司）
本文提出用类别名称初始化视觉-语言模型分类头，以弥合大参数量与小样本数据间的差距，并在多个五样本图像分类基准上取得最先进结果。
2023-04-18 cs.CV
Enhancing Remote Sensing Vision-Language Models for Zero-Shot Scene Classification
UCLouvain（鲁汶大学）；UMons（蒙斯大学）；ÉTS Montreal（蒙特利尔工程学院）
针对遥感视觉-语言模型分块独立预测导致上下文丢失的问题，本文提出无监督、低成本的RS-TransCLIP转导推理方法，融合文本提示预测与图像块亲和关系，在10个数据集上显著提升零样本场景分类准确率。
2025-01-07 cs.CV
CLIP-Nav: Using CLIP for Zero-Shot Vision-and-Language Navigation
University of Maryland, College Park（马里兰大学帕克分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
家庭环境在视觉上是多样化的。在野外执行视觉和语言导航（VLN）的智能体必须能够处理这种多样性，同时也遵循任意语言指令。最近，像CLIP这样的视觉语言模型在zero-shot对象识别任务上表现出了很好的性能。在这项工作中，我们问，如果这些模型也能够zero-shot语言接地。特别是，我们利用CLIP来解决新的问题，zero-shot VLN使用自然语言引用表达式描述目标对象，在过去的工作中，使用简单的语言模板描述对象类。我们研究CLIP的能力，使连续的导航决策，没有任何特定的微调，并研究它如何影响代理采取的路径。我们的粗粒度的指令遵循任务的REVERIE的结果表明，导航能力的CLIP，超过了监督基线的成功率（SR）和成功加权的路径长度（SPL）。更重要的是，我们定量地表明，我们的CLIP为基础的zero-shot的方法更好地概括，以显示一致的性能跨环境相比，SOTA，完全监督学习的方法时，通过相对变化的成功（RCS）进行评估。
2022-11-30 cs.AI cs.CL cs.CV
Semi-Supervised Few-Shot Adaptation of Vision-Language Models
Computer Vision Lab, ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院计算机视觉实验室）
本文提出一种半监督方法，通过传播文本引导的伪标签来提升视觉-语言模型在极低样本情况下的适应性能，减少标注工作量超过50%。
2026-03-03 cs.CV
Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models
UCLouvain（乌尔特-洛文大学）；UMons（蒙斯大学）；Fonds de la Recherche Scientifique（科学基金组织）
提出首个遥感视觉语言模型少样本适应基准，通过十个数据集和五种策略评估三个模型，发现零样本性能相似的模型在少样本适应下表现差异显著，需开发更鲁棒的方法。
2025-10-08 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP（对比存储-图像预训练）在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而，它在跨模态生成任务，如zero-shot图像描述的性能仍然不令人满意。在这项工作中，我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态，在很大程度上忽略了视觉信息，我们称之为\emph{contextual language prior}。为了解决这个问题，我们提出了跨模态语言模型（CLM），以促进无监督的跨模态学习。我们进一步提出了锚增强，以指导生成模型的注意力，在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
虽然在少样本学习方面已经取得了显著的进展，但是现有的Few-Shot图像分类方法大多需要在大量的基本类样本上进行有监督的预训练，这限制了它们在实际应用中的推广能力。近年来，大规模的视觉语言预训练模型（VLP）在少样本学习中得到了越来越多的关注，因为它们可以为Web上容易获得的文本提供可转移的视觉表示学习的新范式。然而，VLP可能会忽略难以用语言句子描述的详细视觉信息，但对于学习有效的分类器来区分不同的图像很重要。为了解决上述问题，我们提出了一个新的框架，名为语义引导的视觉适应（SgVA），它可以有效地扩展视觉语言的预训练模型，以产生歧视性的适应视觉特征，综合使用一个隐式的知识蒸馏，视觉特定的对比损失，和跨模态的对比损失。隐式知识蒸馏的目的是传递细粒度的跨模态知识，以指导视觉适配器的更新。在13个数据集上的实验结果表明，自适应视觉特征能够很好地补充交叉模态特征，提高Few-Shot图像分类的性能。
2023-01-20 cs.CV cs.MM
Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models
Department of Computer Science（计算机科学系）；Virginia Tech（弗吉尼亚理工大学）
本研究针对大型视觉语言模型在零样本细粒度图像分类任务中潜力未充分挖掘的问题，提出将任务转化为视觉问答框架并结合注意力干预技术的新方法，同时构建更精准的类别描述基准，实验证明该方法优于现有SOTA。
2025-10-04 cs.CV
Robust Fine-Tuning of Vision-Language Models for Domain Generalization
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对现有基础模型零样本评估场景简单、少样本微调缺乏对比的问题，提出CLIP的少样本微调方案，在WILDS基准上验证其在各数据量下分布内外准确率均优于纯视觉模型，为真实少样本场景应用基础模型提供依据。
2023-11-03 cs.AI cs.CL cs.CV
Learning by Correction: Efficient Tuning Task for Zero-Shot Generative Vision-Language Reasoning
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出图像条件描述纠错（ICCC）预训练任务，利用语言结构和依存解析器低成本构建纠错数据，在不依赖人工标注的情况下提升视觉-语言模型的零样本推理能力，并在BLIP-2和InstructBLIP上验证了显著效果。
2024-04-01 cs.CV
Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
School of EECE, University of Chinese Academy of Science（中国科学院大学电子电气与通信工程学院）；Dolby Lab. Inc.（杜比实验室公司）
提出Comp-LoRA方法，通过在互补子空间优化低秩矩阵缓解灾难性遗忘，在少样本分类中提升了准确率并保留了VLM零样本性能。
2025-01-25 cs.CV
Efficient Few-Shot Learning in Remote Sensing: Fusing Vision and Vision-Language Models
Cranfield University（克兰菲尔德大学）；University of Oxford（牛津大学）
本研究融合YOLO与视觉-语言模型，提升遥感图像飞机检测与场景理解，在少样本条件下实现MAE改善48.46%、CLIPScore提升6.17%。
2025-10-15 cs.AI cs.CV cs.LG
VLAD-Grasp: Zero-shot Grasp Detection via Vision-Language Models
本文提出VLAD-Grasp，一种基于视觉-语言模型的零样本抓取检测方法，通过生成目标图像、预测深度和分割、对齐点云来恢复可执行抓取姿态，无需训练数据，性能与最新方法相当。
2026-03-16 cs.AI cs.LG cs.RO
Text-Guided 6D Object Pose Rearrangement via Closed-Loop VLM Agents
Seoul National University RLWRLD（首尔大学 RLWRLD）
本文提出通过闭环VLM代理实现文本引导的6D物体姿态重排，引入多视角推理、坐标系可视化和单轴旋转预测等技术，提升VLM在3D场景中推理目标物体姿态的能力，且在不同VLM上均有效。
2026-06-29 cs.CV
Intriguing Differences Between Zero-Shot and Systematic Evaluations of Vision-Language Transformer Models
Florida State University（佛罗里达州立大学）
本文发现视觉-语言Transformer模型虽在零样本分类上表现卓越，却在系统性评估中完全失败，并基于梯度下降优化与线性近似提供解释框架及检测修改图像的鲁棒方法。
2024-02-13 cs.AI cs.CV cs.LG
AutoCLIP: Auto-tuning Zero-Shot Classifiers for Vision-Language Models
Bosch Center for Artificial Intelligence, Robert Bosch GmbH（博世人工智能中心，罗伯特·博世公司）；Bosch Center for Artificial Intelligence, Robert Bosch LLC（博世人工智能中心，罗伯特·博世有限责任公司）
针对CLIP类视觉-语言模型零样本分类中描述符等权匹配的不足，提出无监督的AutoCLIP方法，推理时基于相似度统计为提示模板分配逐图像权重，在多设置下准确率最高提升3个百分点，且开销极低。
2024-08-14 cs.AI cs.CV cs.LG
What Makes Good Few-shot Examples for Vision-Language Models?
Fudan University（复旦大学）；Bytedance（字节跳动）；Sensetime Technology（商汤科技）
本研究提出REPRE和高斯蒙特卡洛两种示例选择方法，优于随机和主动学习策略，显著提升视觉-语言模型少样本训练效果，且模型无关。
2024-05-22 cs.CV
Few-shot Adaptation of Medical Vision-Language Models
ÉTS Montreal（蒙特利尔工程学院）；Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学中心医院研究中心）
本文构建严格少样本医学VLM适配基准，比较多种策略，并证明融合视觉原型与文本嵌入的线性探针兼具竞争力、速度与黑盒可用性。
2024-09-05 cs.CV
Navigating the Trade-off: A Synthesis of Defensive Strategies for Zero-Shot Adversarial Robustness in Vision-Language Models
本报告综合八篇论文，分析视觉语言模型零样本对抗鲁棒性中鲁棒性与泛化的权衡，对比对抗微调与免训练防御，并展望混合防御与对抗预训练方向。
2025-08-07 cs.AI cs.CV
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models
Boston University（波士顿大学）；Meta AI (FAIR)（元人工智能研究院（FAIR））
提出SPARC方法，将视觉-语言模型视为黑盒，利用大语言模型生成复合提示并分析分数偏差，通过去偏和分数融合算法提升零样本多标签识别性能，在mAP上优于需训练数据的方法。
2025-02-24 cs.CV
Attn-Adapter: Attention Is All You Need for Online Few-shot Learner of Vision-Language Model
Sungkyunkwan University（顺天大学）；Deakin University（德金大学）
针对视觉-语言模型少样本学习中离线微调计算量大、易过拟合的问题，提出基于双重注意力机制的在线少样本框架Attn-Adapter，无需重训基础模型即可动态适配，在跨类别、跨数据集泛化上优于SOTA且推理高效。
2025-09-04 cs.CV
Low-Rank Few-Shot Adaptation of Vision-Language Models
UCLouvain（天主教鲁汶大学）；UMons（蒙斯大学）；ÉTS Montréal（蒙特利尔工程学院）
本文提出CLIP-LoRA，一种基于低秩适应的视觉语言模型少样本学习方法，在11个数据集上表现优于现有提示和适配器方法，同时简化训练流程并保持超参数一致性，为该领域提供了强基线。
2024-06-01 cs.CV
LightZeroNav: Zero-Shot Vision Language Navigation in Continuous Environments Based on Lightweight VLMs
Foshan Graduate School of Innovation, Northeastern University（创新研究生院，东北大学）；Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；School of Aeronautic Science and Engineering, Beihang University（航空科学与工程学院，北航）；QingniaoAI, China（清北AI，中国）
本文提出LightZeroNav，通过轻量级VLMs解决连续环境中零样本视觉语言导航的三大瓶颈，无需特定训练或图搜索，在RGB观测和轻量级Qwen3-VL-8B模型下实现与GPT-4o相当的性能。
2026-05-16 cs.AI cs.CV
Zero-Shot Distracted Driver Detection via Vision Language Models with Double Decoupling
Chiba Institute of Technology（千叶工业大学）；Institute of Science Tokyo（东京科学大学）；Loughborough University（拉夫堡大学）
提出一种主体解耦框架，通过提取驾驶员外观嵌入并从图像嵌入中移除其影响，再结合度量投影正交化文本嵌入，实现零样本分心驾驶检测，显著提升实际场景性能。
2026-07-07 cs.CV cs.LG eess.IV
UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
提出UniFine框架，通过利用句子关键词和图像对象等细粒度信息进行图像-文本匹配，在零样本设置下统一处理VQA、SNLI-VE和VCR等视觉-语言任务，并在多个数据集上取得显著改进。
2026-06-03 cs.CL cs.CV
Few-Shot Image Classification and Segmentation as Visual Question Answering Using Vision-Language Models
The University of Manchester（曼彻斯特大学）；Mettler Toledo Safeline（梅特勒托利多赛富线）
本文提出VISE方法，将少样本图像分类与分割转化为视觉问答问题，利用视觉语言模型与现成视觉工具交互，无需训练，在Pascal-5i和COCO-20i上达到最先进性能。
2024-03-15 cs.CV
Mechanistic Finetuning of Vision-Language-Action Models via Few-Shot Demonstrations
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究提出Robotic Steering方法，通过少样本示范机制性微调视觉-语言-动作模型，提升其在机器人任务中的适应性和鲁棒性。
2025-11-27 cs.CL cs.CV cs.RO
Vision and Language Reference Prompt into SAM for Few-shot Segmentation
Waseda University（早稻田大学）
本文提出VLP-SAM少样本分割模型，通过多模态视觉语言模型将参考图像视觉信息与文本标签语义信息结合作为提示输入SAM，在PASCAL-5i和COCO-20i数据集上分别以6.3%和9.5%的mIoU优势超越SOTA。
2025-02-02 cs.CV
VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
VLN-Zero提出两阶段视觉-语言导航框架，通过VLM构建符号场景图并结合缓存执行实现零样本神经符号导航，在未见环境中以更少VLM调用取得2倍成功率和更快到达目标。
2025-09-23 cs.AI cs.CV cs.LG
Zero-Shot Vision Encoder Grafting via LLM Surrogates
University of Maryland（马里兰大学）；Meta
提出零样本视觉编码器嫁接方法，通过小型代理模型训练编码器后直接迁移至大型LLM，降低训练成本约45%，且性能与完整训练相当。
2025-08-02 cs.CV
Meta-Adapter: An Online Few-shot Learner for Vision-Language Model
Xi’an JiaoTong University（西安交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出 Meta-Adapter，一种轻量级残差式在线适配器，在少样本引导下细化 CLIP 特征，无需离线微调即可实现高效少样本学习，并在分类、检测和分割任务上取得显著提升。
2024-01-11 cs.CV
Cross-Domain Few-Shot Learning via Multi-View Collaborative Optimization with Vision-Language Models
本文提出CoMuCo微调策略，通过互补专家模块提取多视图特征并结合一致性约束与信息几何共识机制，提升视觉-语言模型在跨域少样本识别中的鲁棒性，并构建新基准验证其持续优于现有方法。
2025-08-18 cs.CV
Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization
Southeast University（东南大学）；Baidu VIS（百度视觉技术部）
本文提出解释性指令，通过语言转换定义视觉任务，构建1200万三元组数据集训练自回归视觉语言模型，实现零样本任务泛化。
2025-05-26 cs.CV
Prompt Tuning based Adapter for Vision-Language Model Adaption
University at Buffalo（布法罗大学）；Duke University（杜克大学）
大型预训练的视觉语言（VL）模型在适应各种下游任务方面表现出了巨大的潜力。然而，由于大量的模型参数，微调整个网络是具有挑战性的。为了解决这个问题，已经提出了诸如提示微调的有效自适应方法。我们探索了使用多任务预训练初始化的提示微调的想法，发现它可以显着提高模型性能。基于我们的研究结果，我们引入了一个新的模型，称为快速适配器，它结合了预先训练的快速调整与一个有效的适应网络。我们的方法在公共11个数据集上的Few-Shot图像分类中击败了最先进的方法，特别是在具有有限数据实例的设置中，例如1个镜头，2个镜头，4个镜头和8个镜头图像。我们提出的方法表明，结合提示微调和参数高效的网络有效的视觉语言模型适应的承诺。该代码可在https://github.com/Jingchensun/prompt_adapter上公开获取。
2023-03-24 cs.AI cs.CV
