Multimodal Prototype-Enhanced Network for Few-Shot Action Recognition
Tsinghua University（清华大学）；Ping An Insurance (Group) Company of China（中国平安保险（集团）股份有限公司）
针对少样本动作识别现有方法忽略多模态信息的问题，提出融合标签文本语义的多模态原型增强网络MORN，结合CLIP特征与原型质量评估指标PRIDE，在四个主流数据集上取得最优性能。
2024-05-21 cs.AI cs.CV
Chain-of-Evidence Multimodal Reasoning for Few-shot Temporal Action Localization
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学）
本文提出基于证据链的多模态推理方法，通过结合文本和视觉信息提升少样本时序动作定位的性能。
2026-08-14 cs.AI cs.CV
Active Multimodal Distillation for Few-shot Action Recognition
College of Computer and Information Engineering, Tianjin Normal University（天津师范大学计算机与信息工程学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；College of Intelligence and Computing, Tianjin University（天津大学智能科学与计算学院）；The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江省区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security, Hangzhou（杭州高新技术区（滨江）区块链与数据安全研究院）
针对少样本动作识别现有单模态方法的不足，提出含主动样本推理与主动互蒸馏的主动多模态蒸馏框架，通过自适应推理提升性能，在多个基准上优于现有方法。
2025-06-16 cs.AI cs.CV
GPT-4V in Wonderland: Large Multimodal Models for Zero-Shot Smartphone GUI Navigation
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Microsoft Corporation（微软公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣迭戈分校）
本文提出基于 GPT-4V 的 MM-Navigator 智能体，实现零样本智能手机 GUI 导航，在 iOS 和 Android 数据集上取得高准确率，优于先前方法。
2023-11-13 cs.AI cs.CV
InDiReCT: Language-Guided Zero-Shot Deep Metric Learning for Images
University of Würzburg（维尔茨堡大学）
常见的深度度量学习（DML）数据集仅指定一个相似性概念，例如，如果Cars 196数据集中的两个图像显示相同的汽车模型，则它们被认为是相似的。我们认为，根据应用程序，图像检索系统的用户有不同的和不断变化的相似性概念，应尽可能容易地纳入。因此，我们提出了一种新的DML设置，即图像引导的Zero-Shot深度度量学习（LanZ-DML），用户可以仅使用自然语言来控制对图像表示非常重要的属性，而无需训练数据。为此，我们提出了InDireCT（在CLIP嵌入文本上使用简化的图像表示），这是一种专门使用一些文本提示进行训练的图像LanZ-DML模型。InDireCT利用CLIP作为图像和文本的固定特征提取器，并将文本提示嵌入的变化转移到图像嵌入空间。在五个数据集和十三个相似性概念上进行的广泛实验表明，尽管在训练过程中看不到任何图像，但InDireCT的性能优于强基线，接近完全监督模型的性能。分析表明，InDireCT学习专注于与所需相似性概念相关的图像区域，这使得它成为一种快速训练且易于使用的方法，仅使用自然语言创建自定义嵌入空间。
2022-11-23 cs.AI cs.CV cs.IR
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich（慕尼黑大学）；Heidelberg University（海德堡大学）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）；MIT（麻省理工学院）
深度度量学习（DML）旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而，常见的评估协议仅测试单个固定的数据分割，其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中，我们系统地构建训练测试分裂的难度越来越大，并提出了ooDML基准，以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准，我们进行了彻底的实证分析国家的最先进的DML方法。我们发现，虽然泛化往往会不断降低难度，但随着分布偏移的增加，一些方法在保持性能方面会更好。最后，我们提出了Few-Shot DML作为一种有效的方法，以不断提高泛化响应未知的测试转移ooDML。代码可在这里：https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Deep Multimodal Learning: An Effective Method for Video Classification
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
视频在互联网上变得无处不在。视频分析可以为检测和识别对象提供大量信息，并帮助人们理解人类行为以及与现实世界的交互。然而，面对结核病水平这样庞大的数据，必须采用有效的方法。递归神经网络（RNN）架构已被广泛用于许多顺序学习问题，如语言模型，时间序列分析等。在本文中，我们提出了一些变体的RNN，如堆叠双向LSTM/GRU网络与注意力机制分类大规模视频数据。我们还探讨了不同的多模态融合方法。我们的模型结合了视频和帧级的视觉和音频信息，并收到了很好的效果。还应用了包围方法。由于其多模态特性，我们决定将这种方法称为深度多模态学习（DML）。我们基于DML的模型在Google Cloud和我们自己的服务器上进行了训练，并在Google举办的Kaggle上的知名视频分类竞赛中进行了测试。
2018-11-30 cs.CV cs.MM
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
经典的闭集语义分割网络检测分布外（OOD）对象的能力有限，这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中，我们提出了一个开放世界的语义分割系统，它包括两个模块：（1）一个开放集语义分割模块，检测分布和OOD对象。(2)增量式少样本学习模块，用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人，它能够识别OOD对象，并在相应的监督下逐渐学习它们。我们采用深度度量学习网络（DMLNet）与对比聚类实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能，而无需使用额外的数据或生成模型。在此基础上，进一步提出了两种增量式少样本学习方法，利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
S2SD: Simultaneous Similarity-based Self-Distillation for Deep Metric Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Heidelberg University（海德堡大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；MIT（麻省理工学院）
深度度量学习（DML）通过学习泛化嵌入空间，为视觉相似性和zero-shot应用提供了一个至关重要的工具，尽管最近在DML中的工作已经显示出跨训练目标的强大性能饱和。然而，泛化能力是已知的嵌入空间维度的规模。不幸的是，高维嵌入也会为下游应用带来更高的检索成本。为了弥补这一点，我们提出了\emph {同时基于相似性的自蒸馏（S2 SD）。S2 SD通过从辅助、高维嵌入和特征空间中提取知识蒸馏来扩展DML，以在训练期间利用互补上下文，同时保留测试时间成本，并且训练时间的变化可以忽略不计。不同物镜和标准基准的实验和消融表明，S2 SD在Recall@1方面提供了高达7%的显着改进，同时还设置了一个新的最先进的。代码可在https://github.com/MLforHealth/S2SD上获得。
2021-06-04 cs.CV
Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
A Unified Framework for Generalized Low-Shot Medical Image Segmentation with Scarce Data
University of Electronic Science and Technology of China（电子科技大学）；Tencent Jarvis Lab（腾讯 Jarvis 实验室）
使用深度神经网络（DNN）的医学图像分割已经取得了显着的进步。然而，DNN通常需要大量的数据和注释来进行训练，这两者都很难获得，而且成本很高。在这项工作中，我们提出了一个统一的框架，广义低拍摄（一个和Few-Shot）医学图像分割的距离度量学习（DML）的基础上。与大多数现有的方法不同，这些方法只处理缺乏注释的问题，同时假设数据丰富，我们的框架适用于两者的极端稀缺性，这对于罕见疾病是理想的。通过DML，该框架为每个类别学习多模态混合表示，并基于像素深度嵌入和类别表示之间的余弦距离执行密集预测。多模态表示有效地利用了受试者间的相似性和组内的变化，以克服过度拟合由于极其有限的数据。此外，我们提出了自适应混合系数的多模态混合分布，自适应地强调更适合当前输入的模式。这些表示被隐式地嵌入为fc层的权重，使得可以经由前向传播来有效地计算余弦距离。在我们对大脑MRI和腹部CT数据集的实验中，所提出的框架实现了对标准基于DNN（3D U-Net）和经典基于配准（ANT）方法的低拍摄分割的优异性能，例如，使用单个训练样本实现脑组织/腹部多器官分割的平均Dice系数为81%/69%，而U-Net和ANT分别为52%/31%和72%/35%。
2021-10-18 cs.CV
Multimodal CLIP Inference for Meta-Few-Shot Image Classification
Princeton University（普林斯顿大学）；InstaDeep
本研究针对元小样本图像分类问题，探索多模态基础模型CLIP的应用，通过结合其文本与图像编码器的模态信息，无需额外训练即在主流基准上超越现有最优元小样本学习器，验证了多模态基础模型的潜力并提供了基准线。
2024-03-26 cs.CV
Meta Learning to Bridge Vision and Language Models for Multimodal Few-Shot Learning
University of Amsterdam（阿姆斯特丹大学）
多模态少样本学习是具有挑战性的，由于视觉和语言模态之间的大域差距。现有的方法试图将视觉概念作为提示传达给冻结的语言模型，但依赖于手工设计的任务归纳来减少假设空间。为了使整个过程可学习，我们引入了多模态元学习方法。具体来说，我们的方法将模型的训练分解为一组相关的多模态Few-Shot任务。我们定义了一个元映射器网络，作为一个元学习者，有效地桥接冻结的大规模视觉和语言模型，并利用他们已经学习的能力。通过仅更新元映射器的可学习参数，它学习在这些任务之间积累共享元知识。因此，它可以快速适应新呈现的样本，只需几个梯度更新。重要的是，它以完全数据驱动的方式诱导任务，而不需要手工设计的任务诱导。我们最近提出的多模态Few-Shot基准评估我们的方法，测量模型如何快速地将新的视觉概念绑定到单词，并通过只观察有限的一组标记的例子来回答视觉问题。实验结果表明，我们的元学习方法在多个数据集和各种训练设置中的性能优于基线，同时计算效率更高。
2023-02-28 cs.CV
Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry
aiMotive
针对自动驾驶中通用障碍物检测难题，提出结合多模态基础模型与几何推理的免训练零样本方法，能精准定位达100米，借基础模型先验提升召回率，还可实现可扩展自动标注。
2026-07-13 cs.CV
What Do You See? Enhancing Zero-Shot Image Classification with Multimodal Large Language Models
Google Research（谷歌研究）
本文提出一种基于多模态大语言模型的零样本图像分类方法，通过生成图像文本表示并融合跨模态特征，在十个基准上平均提升6.2个百分点，无需针对数据集进行提示工程。
2025-06-25 cs.CV
A Framework to Enhance Generalization of Deep Metric Learning methods using General Discriminative Feature Learning and Class Adversarial Neural Networks
University of Kufa（库法大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Hakim Sabzevari University（哈基姆·萨布泽瓦里大学）
度量学习算法的目标是学习一个距离函数，该函数将语义相似的数据项聚集在一起，并将不相似的数据项保持在一定距离。传统的马氏远程学习等价于求一个线性投影。相比之下，提出了深度度量学习（DML）方法，其自动从数据中提取特征并学习从输入空间到语义嵌入空间的非线性变换。近年来，提出了许多DML方法，通过提供新的采样策略或损失函数来提高学习度量的鉴别能力。当训练示例和测试示例都来自同一组类别时，这种方法非常有帮助。然而，它是不太有效的DML的许多应用，如图像检索和个人的重新识别。在这里，DML应该从观察到的类中学习一般的语义概念，并使用它们来从看不见的类别中排名或识别对象。忽略学习表示的泛化能力，只强调学习在观察类上更有区别的嵌入可能会导致过拟合问题。为了解决这个问题，我们提出了一个框架，以提高泛化能力的现有DML方法在零拍摄学习（Zero-Shot Learning，ZRL）设置一般但歧视性的表示学习，并采用类对抗神经网络。为了学习更一般的表示，我们建议在深度神经网络中使用中间层的特征图，并通过注意力机制增强它们的识别能力。此外，类对抗网络被用来执行深层模型，以寻求类不变的特征，用于DML任务。我们评估了我们的工作广泛使用的机器视觉数据集在一个可移植的设置。
2021-06-11 cs.CV cs.IR cs.LG
Multimodality Helps Few-shot 3D Point Cloud Semantic Segmentation
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）；Nankai University（南开大学）；University of Oxford（牛津大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）
针对少样本三维点云分割忽视多模态信息的问题，提出多模态少样本分割网络MM-FSS，利用文本和二维图像模态，通过多模态相关性与语义融合及测试时校准，在S3DIS和ScanNet上显著提升性能。
2025-02-26 cs.CV
Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation
本研究针对现有多模态零样本异常检测方法的缺陷，提出即插即用的辅助条件增强框架，通过全局到局部的条件调制实现选择性多模态增强，在MVTec 3D-AD等数据集上提升了现有RGB零样本异常检测器的性能并达到最优。
2026-08-17 cs.CV
CouCE: A Unified Causal Framework for Debiased Deep Metric Learning
Wuhan University of Science and Technology（武汉科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
提出统一因果框架CouCE，通过正交字典后门调整和多尺度随机因果干预，同时消除背景虚假相关和前景区块扰动，实现深度度量学习的去偏。
2026-06-29 cs.CV
When Point Clouds Outperform Pixels: Rethinking Zero-Shot Multimodal Anomaly Detection
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对零样本多模态异常检测中RGB与点云可靠性不均的问题，提出可靠性感知框架WOOPS，通过多视角信息解耦和模态可靠性校准，提升点云特征并自适应融合，实现更优的异常定位性能。
2026-09-23 cs.CV
ZSG-IAD: A Multimodal Framework for Zero-Shot Grounded Industrial Anomaly Detection
School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学）
本文提出ZSG-IAD框架，通过多模态数据生成结构化异常报告和像素级掩码，采用语言引导的两跳接地模块和可执行规则GRPO提升可靠性，实现在多个工业异常基准上的强零样本性能和透明解释。
2026-04-20 cs.CV
MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization
MYbank, Ant Group（蚂蚁集团网商银行）；Beijing Jiaotong University（北京交通大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出多模态分层镜头感知卷积网络MHSCNet，通过融合短程与长程时间依赖增强帧级表示，并在局部和全局视角预测帧重要性，在视频摘要任务上优于现有方法。
2023-05-30 cs.CV
MARS: a Multimodal Alignment and Ranking System for Few-Shot Segmentation
Politecnico di Milano（米兰理工大学）
本文提出即插即用的多模态排序系统MARS，通过局部与全局多模态评分过滤合并掩码提议，在多个少样本分割基准上取得新SOTA。
2025-07-21 cs.CV
Chain of Visual Perception: Harnessing Multimodal Large Language Models for Zero-shot Camouflaged Object Detection
vivo Mobile Communication Co., Ltd（维沃移动通信有限公司）
本文提出零样本多模态伪装感知框架（MMCPF），通过视觉感知链（CoVP）增强多模态大语言模型对伪装目标的感知能力，在五个数据集上超越现有零样本方法并媲美监督方法。
2024-07-30 cs.CV
One-Shot Item Search with Multimodal Data
Samsung Electronics（三星电子）
在近相似图像搜索任务中，来自深度神经网络的特征通常用于比较图像和测量相似性。在过去，我们只关注图像数据集的视觉搜索，而没有文本数据。然而，自从深度神经网络出现以来，视觉搜索的性能变得足够高，可以将其应用于从3D数据到多模态数据的许多行业。相对于多模态搜索的需求，目前的研究还不够充分。本文提出了一种基于图像和文本多模态数据集的近似相似搜索方法。早期的相似图像搜索，特别是在搜索购物商品时，将图像和文本分开处理来搜索相似商品并对结果进行重新排序。这将图像搜索和文本匹配这两个任务视为两个不同的任务。然而，我们的方法使用图像和文本来探索大量数据以计算k-最近邻。在我们的相似项搜索实验中，我们的系统使用多模态数据表现出更好的性能比单一的数据，而它只增加分钟的计算时间。在实验中，我们从在线购物网站收集了超过1500万件配件和600万件数字产品，其中产品项目包括项目图像，标题，类别和描述。然后，我们比较了这些数据集上的多模态搜索和单空间搜索的性能。
2018-11-28 cs.CV
BFMD: A Full-Match Badminton Dense Dataset for Dense Shot Captioning
Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）
本文提出BFMD数据集，包含19场完整比赛，提供密集多模态标注，采用VideoMAE框架结合语义反馈机制提升击球标注质量。
2026-03-26 cs.CV
Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners
Tuebingen AI Center, University of Tuebingen（图宾根大学图宾根人工智能中心）
提出DeCoDe方法，通过将少样本分类分解为成对图像比较，利用现有多模态大语言模型（MLLM）的logit作为相似度分数，无需额外训练即可实现强少样本分类，在多个基准上显著超越现有方法。
2026-07-02 cs.CV
DiffCLIP: Few-shot Language-driven Multimodal Classifier
Xidian University（西安电子科技大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出少样本多模态遥感分类框架 DiffCLIP，通过无监督掩码扩散预训练、模态共享编码器及 CLIP 文本对齐，仅用 2-shot 图文对便在三个遥感数据集上较 CLIP 提升总体准确率 10.65%。
2024-12-10 cs.CV
Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction
Milestone Systems A/S（迈尔斯通系统公司）；Universitat de Barcelona（巴塞罗那大学）；Aalborg University（奥尔堡大学）
本研究提出首个针对多模态大语言模型的零样本人-物交互基准框架，结合外部目标检测器与两种视觉提示策略，在HICO等数据集上取得零样本性能最优结果，为开放世界交互理解提供支撑。
2026-10-14 cs.CV
Commonality in Few: Few-Shot Multimodal Anomaly Detection via Hypergraph-Enhanced Memory
AAAI Press（AAAI 压力）
针对少样本多模态工业异常检测中训练样本不足的问题，提出CIF方法，通过超图建模结构共性结合记忆库机制，在两个基准数据集上性能超越现有SOTA方法。
2025-11-16 cs.CV
AstraLOD3: Zero-shot multimodal agentic reconstruction of LOD3 building models
Nanyang Technological University（南洋理工大学）
本研究提出AstraLOD3，利用通用多模态模型Astra在智能体框架内零样本重建LOD3建筑模型，结合多视图图像和点云，达到平均FRDS 0.9647，证明其可替代专用流程。
2026-09-24 cs.CV
Benchmarking Vision-Language and Multimodal Large Language Models in Zero-shot and Few-shot Scenarios: A study on Christian Iconography
Gianmarco Spinaci Department of Classical Philology and Italian Studies, University of Bologna, Italy Villa i Tatti, The Harvard University Center for Italian Renaissance Studies, Florence, Italy（Gianmarco Spinaci 文艺复兴研究系，博洛尼亚大学，意大利 塔蒂别墅，哈佛大学意大利文艺复兴研究中心，佛罗伦萨，意大利）；Lukas Klic Villa i Tatti, The Harvard University Center for Italian Renaissance Studies, Florence, Italy（Lukas Klic 塔蒂别墅，哈佛大学意大利文艺复兴研究中心，佛罗伦萨，意大利）；Giovanni Colavizza Department of Classical Philology and Italian Studies, University of Bologna, Italy Department of Communication, University of Copenhagen, Denmark（Giovanni Colavizza 文艺复兴研究系，博洛尼亚大学，意大利 传播系，哥本哈根大学，丹麦）
本研究在基督教图像学单标签分类任务中基准测试通用VLMs和多模态LLMs，发现Gemini-2.5 Pro、GPT-4o优于ResNet50基线，类别描述可提升零样本性能，为数字人文元数据整理提供工具支持。
2025-09-23 cs.CV
MPA: Multimodal Prototype Augmentation for Few-Shot Learning
MPA通过多模态原型增强方法，在少样本学习中实现更优性能，通过语义增强、多视图增强和不确定类吸收器提升模型表现。
2026-02-09 cs.CV
Customized Visual Storytelling with Unified Multimodal LLMs
National Taiwan University（国立台湾大学）；NVIDIA（英伟达）
本文提出VstoryGen框架，整合文本描述与角色背景参考，实现定制化故事生成。通过参数高效提示微调电影数据，增强电影多样性。建立两个新基准测试，评估多模态叙事的连贯性、文本-视觉对齐和镜头类型控制。
2026-03-29 cs.CV
VTFusion: A Vision-Text Multimodal Fusion Network for Few-Shot Anomaly Detection
National Center of Technology Innovation for Intelligent Design and Numerical Control（国家智能设计与数控技术创新中心）；Huazhong University of Science and Technology（华中科技大学）
VTFusion通过自适应特征提取和多模态融合模块，提升少样本异常检测性能，实现96.8%的AUROC。
2026-01-23 cs.CV
CapS-Adapter: Caption-based MultiModal Adapter in Zero-Shot Classification
School of Software, Tsinghua University（清华大学软件学院）
本文提出CapS-Adapter，一种基于标题支持集的免训练多模态适配器，利用CLIP的多模态特征提升零样本分类性能，在19个数据集上平均准确率提升2.19%。
2024-11-07 cs.CV
Vision-aware Multimodal Prompt Tuning for Uploadable Multi-source Few-shot Domain Adaptation
School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）
本文针对低资源边缘场景提出可上传多源少样本域适应模式，并设计视觉感知多模态提示微调框架 VAMP，通过视觉提示引导文本提示、跨模态对齐与协作损失提升边缘模型协同适应能力，在 OfficeHome 和 DomainNet 上优于现有提示微调方法。
2025-03-08 cs.CV
Guided Deep Metric Learning
CINVESTAV Unidad Guadalajara（国立理工学院高级研究中心瓜达拉哈拉分部）；Tecnológico de Monterrey（蒙特雷理工学院）
深度度量学习（DML）方法已被证明与视觉相似性学习相关。然而，它们有时缺乏泛化特性，因为它们通常使用不适当的样本选择策略进行训练，或者由于数据中的分布偏移导致的数据集的困难。当试图学习底层数据流形时，这些代表了一个显著的缺点。因此，迫切需要开发更好的方法来获得基本流形的泛化和表示。在本文中，我们提出了一种新的DML方法，我们称之为引导深度度量学习，这是一种面向学习更紧凑集群的新架构，可以在DML中的分布变化下提高泛化能力。这种新颖的架构由两个独立的模型组成：多分支主模型，灵感来自少样本学习（FSL）的角度，基于标记数据的先验知识生成一个简化的假设空间，在离线知识蒸馏方案下的训练过程中指导或规范化学生模型的决策边界。实验表明，所提出的方法能够更好地进行流形泛化和表示，最多可提高40%（Recall@1，CIFAR10），使用Musgrave等人建议的准则来执行更公平和现实的比较，这是目前文献中缺乏的
2022-06-04 cs.AI cs.CV cs.LG
Zero-Shot Multi-Spectral Learning: Reimagining a Generalist Multimodal Gemini 2.5 Model for Remote Sensing Applications
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究）
本文提出一种免训练的零样本方法，将多光谱遥感数据适配到通用多模态模型 Gemini 2.5 的 RGB 视觉空间并注入领域指令，在土地覆盖与土地利用分类基准上取得显著性能提升，展示了通用模型处理专门遥感输入的潜力。
2025-09-23 cs.CV
Diff-SBSR: Learning Multimodal Feature-Enhanced Diffusion Models for Zero-Shot Sketch-Based 3D Shape Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出利用文本到图像扩散模型解决零样本素描基础3D形状检索问题，通过多模态特征增强策略提升语义上下文捕捉能力，实验表明方法在公开基准上优于现有技术。
2026-04-21 cs.CV
MU-MAE: Multimodal Masked Autoencoders-Based One-Shot Learning
University of California, Davis（加利福尼亚大学戴维斯分校）
Mu-MAE 提出基于多模态掩码自编码器的单样本学习方法，通过同步掩码策略和交叉注意力融合层，在不依赖外部数据的情况下提升多模态人类活动识别性能，在 MMAct 五路单样本分类中准确率达 80.17%。
2024-08-08 cs.CV cs.MM
MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples
Huazhong University of Science and Technology（华中科技大学）；University of Trento（特伦特大学）
本文提出MuSc-V2框架，通过改进3D表示、融合多尺度特征及互评分机制，实现零样本多模态工业异常检测，提升MVTec 3D-AD和Eyecandies数据集性能。
2026-04-25 cs.CV
Towards Zero-Shot Differential Morphing Attack Detection with Multimodal Large Language Models
Norwegian University of Science and Technology (NTNU)（挪威科学与技术大学）；MOBAI AS（MOBAI公司）
本研究首次将多模态大语言模型用于真实生物识别数据的差分变形攻击检测，设计基于思维链的提示词提升性能，通过54人护照注册数据测试对比ChatGPT-4o与Gemini，明确二者在检测准确率、可解释性等方面的差异。
2025-05-21 cs.CV
Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, Berkeley（加州大学伯克利分校）
本文提出利用多模态任务向量（MTV）将大量上下文示例压缩为紧凑隐式表示，使大型多模态模型在不微调且不增加推理上下文长度的前提下，有效实现多样本多模态上下文学习并能泛化至域外任务。
2024-12-20 cs.AI cs.CL cs.CV
Generalized Zero-Shot Learning using Multimodal Variational Auto-Encoder with Semantic Concepts
Secure Artificial Intelligent Laboratory（安全人工智能实验室）
随着数据量的不断增加，多模态学习的核心挑战涉及标记样本的限制。对于分类任务，元学习、零样本学习和少样本学习等技术展示了基于先验知识学习关于新类的信息的能力。最近的技术试图学习语义空间和图像空间之间的跨模态映射。然而，他们往往忽略了局部和全局的语义知识。为了克服这个问题，我们提出了一种多模态变分自动编码器（M-VAE），它可以学习图像特征的共享潜在空间和语义空间。在我们的方法中，我们将多模态数据连接到单个嵌入，然后将其传递给VAE以学习潜在空间。我们建议在通过解码器的特征嵌入的重建期间使用多模态损失。我们的方法能够关联模态，并利用局部和全局语义知识进行新的样本预测。我们使用MLP分类器在四个基准数据集上的实验结果表明，我们提出的模型优于目前最先进的广义零样本学习方法。
2021-06-26 cs.AI cs.CV
Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI；University of Oxford（牛津大学）
本文研究了视觉语言模型的zero-shot跨语言迁移。具体来说，我们专注于多语言文本到视频搜索，并提出了一个基于transformer的模型，学习上下文化的多语言多模态嵌入。在一个zero-shot设置下，我们经验证明，当我们用非英语句子查询多语言文本视频模型时，性能会显着下降。为了解决这个问题，我们引入了多语言多模态预训练策略，并收集了一个新的多语言教学视频数据集（MultiHowTo 100 M）进行预训练。VTT上的实验表明，我们的方法显着提高了视频搜索在非英语语言没有额外的注释。此外，当多语言注释可用时，我们的方法在VTT和VATEX上的多语言文本到视频搜索中以及Multi 30 K上的多语言文本到图像搜索中的表现都大大优于最近的基线。我们的模型和Multi-HowTo 100 M可在http://github.com/berniebear/Multi-HT100M上获得。
2021-04-15 cs.CL cs.CV
Self Paced Adversarial Training for Multimodal Few-shot Learning
SAP SE（SAP公司）；Humboldt-Universität zu Berlin（柏林洪堡大学）
最先进的深度学习算法在许多视觉识别任务中产生了显著的效果。然而，它们在数据稀缺的情况下仍然未能提供令人满意的结果。在某种程度上，这种数据的缺乏可以通过多模式信息来弥补。单个数据点（例如图像）的一种模态中的缺失信息可以在另一种模态（例如文本描述）中弥补。因此，我们设计了一个少样本学习任务，该任务在训练期间是多模态的（即图像和文本），在测试期间是单模态的（即图像）。在这方面，我们提出了一个自定进度的类判别生成对抗网络，在少样本学习的背景下，结合多模态。所提出的方法建立在跨模态数据生成的思想，以减轻数据稀疏性问题。我们提高了细粒度CUB和Oxford-102数据集上的少样本学习精度。
2018-11-22 cs.CV cs.LG cs.MM
Connecting Giants: Synergistic Knowledge Transfer of Large Multimodal Models for Few-Shot Learning
Centre for Smart Health, The Hong Kong Polytechnic University（香港理工大学智能健康中心）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息系统学院）
提出协同知识转移框架SynTrans，通过CLIP教师模型蒸馏视觉知识并协同大型多模态模型提取语义知识，实现双向知识转移构建分类器，在四个少样本数据集上显著超越现有方法。
2025-10-13 cs.CV cs.MM
Multimodal Prototypical Networks for Few-shot Learning
Amazon.com, Inc.（亚马逊公司）；Huawei Research, Ireland（华为爱尔兰研究院）；SAP AI Research（SAP人工智能研究院）
虽然为许多计算机视觉任务提供了出色的结果，但最先进的深度学习算法在低数据场景中会遇到灾难性的困难。但是，如果存在其他形式的数据（例如文本），这可以弥补数据的缺乏并改善分类结果。为了克服这种数据稀缺性，我们设计了一个跨模态特征生成框架，能够丰富低填充嵌入空间在Few-Shot的情况下，利用辅助模态的数据。具体来说，我们训练一个生成模型，将文本数据映射到视觉特征空间，以获得更可靠的原型。这允许在训练期间利用来自附加模态（例如文本）的数据，而测试时的最终任务仍然是仅使用视觉数据进行分类。我们表明，在这种情况下，最近邻分类是一种可行的方法，并优于最先进的单模态和多模态少样本学习方法的CUB-200和牛津-102数据集。
2020-11-17 cs.CV cs.LG
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning
Hacettepe University（哈杰泰佩大学）；Aselsan Research（阿塞尔桑研究院）；Koç University（科克大学）；Amsterdam UMC, University of Amsterdam（阿姆斯特丹大学医学中心，阿姆斯特丹大学）；Amsterdam Public Health（阿姆斯特丹公共卫生研究院）
本研究在VALSE基准上评估多模态大语言模型的语言能力，发现少样本上下文学习和思维链提示显著提升推理性能，且预训练数据组成影响模型表现。
2024-07-17 cs.CL cs.CV
Enhancing Zero-shot Personalized Image Aesthetics Assessment with Profile-aware Multimodal LLM
Mashang Consumer Finance Co., Ltd.（马莎消费金融有限公司）；Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出P-MLLM，通过用户资料引导的多模态大语言模型实现零样本个性化图像审美评估，实验表明其在无历史数据情况下表现优异。
2026-04-19 cs.AI cs.CV
Real-Time Multimodal Data Collection Using Smartwatches and Its Visualization in Education
Universidad Autónoma de Madrid（马德里自治大学）
本文提出利用智能手表进行实时多模态数据采集及可视化，用于教育场景中的学习分析。
2025-12-02 cs.CV cs.HC cs.SE
Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages
Tsinghua University（清华大学）；Zhihu Inc.（知乎公司）；ModelBest Inc.（模贝斯特公司）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Renmin University of China（中国人民大学）
针对非英语多模态数据匮乏问题，提出训练范式MPM，利用多语言大语言模型作为枢纽，使英语预训练多模态模型以零样本方式泛化至其他语言，构建的VisCPM模型在中文多模态生成任务上取得开源最优性能。
2024-03-22 cs.CL cs.CV
Multimodal Knowledge Alignment with Reinforcement Learning
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Seoul National University（首尔国立大学）；University of Washington（华盛顿大学）
即使没有特定于任务的训练数据，大语言模型也能很容易地适应新的设置。它们的zero-shot能力能否扩展到多模态输入？在这项工作中，我们提出了ESPER扩展语言只有zero-shot模型看不见的多模态任务，如图像和音频字幕。我们的主要创新之处在于使用强化学习将多模态输入与语言模型生成对齐，而无需直接监督：例如，在图像的情况下，我们的奖励优化仅依赖于从CLIP导出的余弦相似性，因此不需要额外的显式配对（图像，标题）数据。因为语言模型的参数保持不变，所以该模型保持其zero-shot泛化能力。实验表明，ESPER在各种zero-shot任务上优于基线和先前的工作;这些任务包括我们收集+发布的新基准ESP数据集，该数据集的任务模型为每个图像生成几个不同风格的标题。
2022-05-25 cs.CL cs.CV
