Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索(Zero-Shot-based Image Retrieval,简称ZSBIR)是一种在zero-shot场景下对手绘草图图像进行跨模态检索的方法。以往的工作主要集中在建立图像与草图之间的对应关系或将图像特征与草图特征进行合成。然而,这两种方法都忽略了草图的类内差异,从而导致检索性能不理想。在本文中,我们提出了一种新的端到端的语义对抗方法的EST-SBIR。具体来说,我们设计了一个语义对抗模块,以最大限度地提高学习的语义特征和类别级词向量之间的一致性。此外,为了保持每个训练类别中合成特征的可辨别性,生成模块采用了三重丢失。此外,所提出的模型在端到端的策略中进行训练,以利用适合于EST-SBIR的更好的语义特征。在两个大规模流行数据集上进行的大量实验表明,该方法在Sketchy数据集上的检索性能比现有方法高出12%以上,在TU-Berlin数据集上高出约3%.
2019-10-18 cs.CV
Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University(西安电子科技大学)
基于零镜头草图的图像检索(Zero-shot-based sketch-imageretrieval,简称ZS-SBIR)是一种在zero-shot场景下基于手绘草图的跨模态检索任务。大多数现有的方法解决了这个问题,同时投影视觉特征和语义监督到一个低维的公共空间进行有效的检索。然而,这种低维投影破坏了语义知识在原始语义空间中的完整性,从而在从不同模态学习语义时无法很好地传递有用的知识。此外,视觉特征中的领域信息和语义信息纠缠在一起,不利于缩小草图和图像之间的领域差距,不利于跨模态匹配。在本文中,我们提出了一个渐进的域独立的特征分解(PDFD)网络的EST-SBIR。具体地说,在原始语义知识的指导下,PDFD将视觉特征分解为领域特征和语义特征,然后将语义特征投影到公共空间作为检索特征。渐进式投射策略保持了较强的语义监督。此外,为了保证检索特征能够捕捉到干净完整的语义信息,引入了交叉重构损失,以鼓励检索特征和领域特征的任意组合能够重构视觉特征。大量的实验证明了我们的PDFD优于国家的最先进的竞争对手。
2022-05-06 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对零样本基于草图的图像检索中成对样本收集困难的问题,提出通过文本对比间接对齐草图与照片的模态感知框架,解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University(天津大学);Lancaster University(兰卡斯特大学)
Zero-Shot Hashing旨在学习一种哈希模型,该模型仅由可见类别的实例训练,但可以很好地生成未见过类别的实例。通常,它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索,特别是基于图像的图像检索(IBIR)。然而,作为散列领域的一个热点研究课题,跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希(CMSHH)检索任务,我们提出了一种新的属性引导网络(AgNet),它不仅可以执行IBIR,但也基于文本的图像检索(TBIR)。特别是,AgNet将不同的模态数据对齐到语义丰富的属性空间中,这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略,利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集(AwA,SUN和ImageNet)上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Single Shot Scene Text Retrieval
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在场景图像中发现的文本信息提供关于图像及其上下文的高级语义信息,并且它可以被利用以用于更好的场景理解。在本文中,我们解决的问题场景文本检索:给定一个文本查询,系统必须返回所有包含查询文本的图像。所提出的模型的新颖性在于使用Single Shot CNN架构,该架构同时预测边界框和其中单词的紧凑文本表示。以这种方式,基于文本的图像检索任务可以被转换为在整个图像数据库上的CNN的输出上的查询文本表示的简单最近邻搜索。我们的实验表明,所提出的架构优于以前的国家的最先进的,同时它提供了显着提高处理速度。
2018-08-27 cs.CV
PSMP-CLIP: Patch-Prompt SAM and Multi-Semantic Prompting for CLIP-Based Zero-Shot Anomaly Detection
Harbin Engineering University(哈尔滨工程大学);Key Laboratory of Advanced Marine Communication and Information Technology(先进海洋通信与信息技术重点实验室);University of Toronto(多伦多大学);Kanagawa University(神奈川大学)
针对现有CLIP方法异常图粗糙和提示有限的问题,提出PSMP-CLIP,结合补丁提示SAM2分割与多语义提示正则化,在14个数据集上取得领先的像素级AUROC。
2026-09-16 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology(中国矿业大学)
基于Zero-Shot草图的图像检索(ZSSBIR)是一个新兴的课题。开创性的工作集中在模态差距,但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息,但需要仔细选择正样本和负样本,否则模型容易丢失模态特定信息。为了解决这些问题,提出了一种本体感知网络(OAN)。具体地说,提出了平滑的类间独立学习机制来保持类间特性。同时,基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
From Transformation to Target State: Rethinking Query Representation for Zero-Shot Composed Image Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对零样本组合图像检索中查询表示的不匹配问题,提出将任务重构为目标状态重建后检索,并设计了无需训练的ASAP-CIR框架,利用冻结多模态大语言模型重建静态目标表示,实验表明该原理在多个基准上有效,尤其在多目标CIRCO上提升显著。
2026-10-06 cs.CV
Survey of Visual-Semantic Embedding Methods for Zero-Shot Image Retrieval
Meisei University(明星大学)
视觉语义嵌入是一个有趣的研究课题,因为它是有用的各种任务,如视觉问答(VQA),图像-文本检索,图像描述,和场景图生成。在本文中,我们专注于zero-shot图像检索使用的句子作为查询,并提出了在这一领域的技术趋势的调查。首先,我们全面概述了该技术的历史,首先讨论了图像到文本匹配的早期研究以及该技术如何随着时间的推移而发展。此外,在实验中常用的数据集的描述和每种方法的评价结果的比较。我们还介绍了github上的实现,用于确认实验的准确性和进一步改进。我们希望这份调查报告将鼓励研究人员进一步发展他们对桥接图像和语言的研究。
2021-09-28 cs.CV
Hybrid-Attention based Decoupled Metric Learning for Zero-Shot Image Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
在zero-shot图像检索(ZSIR)任务中,嵌入式学习越来越受到人们的关注,然而,许多方法遵循传统的度量学习思想,忽略了zero-shot设置背后的问题。在本文中,我们首先强调学习视觉区分度量和防止学习者的部分/选择性学习行为的重要性,在ZSIR,然后提出了解耦度量学习(DeML)框架来实现这些单独的。而不是粗略地优化一个统一的度量,我们将其解耦成多个注意力特定的部分,以便递归地诱导歧视和显式地增强泛化。这两个问题分别由我们提出的基于随机游走图传播的目标注意力模型和基于敌手约束的通道注意力模型来实现。我们证明了在流行的基准上解决ZSIR中的重要问题的必要性,远远超过了最先进的方法。代码可在http://www.bhchen.cn上获得
2019-07-27 cs.CV
ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval
Fudan University(复旦大学);HKUST(香港科技大学);Tencent PCG(腾讯平台与内容事业群);UESTC(电子科技大学)
草图和照片之间的巨大领域差距以及高度抽象的草图表示方式给基于草图的图像检索(\underline{SBIR})带来了挑战。zero-shot sketch-based图像检索(\underline{ZS-SBIR})是更通用和实用的,但提出了一个更大的挑战,因为额外的知识差距之间的可见和不可见的类别。为了同时缓解这两个差距,我们提出了一个\textbf{A} pproaching和\textbf{C}集中\textbf{Net}工作(称为“\textbf{ACNet}“),以共同优化草图照片合成和图像检索。检索模块引导合成模块生成大量逐渐接近照片域的各种类似照片的图像,从而比以往更好地服务于检索模块,以学习领域不可知的表示和类别不可知的常识,以推广到看不见的类别。这些不同的图像生成与检索指导可以有效地缓解过拟合问题困扰具体类别特定的训练样本具有高梯度。我们还发现使用基于代理的NormSoftmax损失在zero-shot设置中是有效的,因为它的集中效应可以稳定我们的联合训练,并提高对未知类别的泛化能力。我们的方法是简单而有效的,它实现了最先进的性能在两个广泛使用的SB-SBIR数据集,并超过了以前的方法,由一个很大的利润。
2023-02-25 cs.CV
Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback
OriginAI
针对带相关反馈的图像检索中小样本标注不足、类别不平衡等问题,提出一种适配用户反馈的超网络方案,在多数据集上优于强基线,且在小样本单类分类等任务上表现优异。
2023-12-18 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University(上海交通大学)
基于草图的图像检索(SBIR)的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而,SBIR要求在训练期间看到所有测试类别,这在现实世界的应用中无法保证。因此,我们研究更具挑战性的零镜头SBIR(ZERO-SBIR),其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息,而图像包含额外的外观信息的基础上,尝试通过非对称解缠实现结构感知的检索,提出了结构感知的非对称解缠(STRAD)方法,将图像特征解缠为结构特征和外观特征,而草图特征只投影到结构空间。通过对结构和外观空间的分离,实现了草图域和图像域之间的双向域转换。大量的实验表明,我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
Few-shot Metric Learning: Online Adaptation of Embedding for Retrieval
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
度量学习的目的是建立一个距离度量,通常是通过学习一个有效的嵌入函数,将相似的对象映射到其嵌入空间中的附近点。尽管最近在深度度量学习方面取得了进展,但对于学习到的度量来说,推广到具有大量领域差距的看不见的类仍然具有挑战性。为了解决这个问题,我们探索了一个新的问题,Few-Shot度量学习,旨在适应嵌入功能的目标域只有几个注释的数据。本文引入了三种Few-Shot度量学习基线,提出了一种新的度量学习算法-修正元学习(CRML),该算法通过调整中间层的通道,有效地在线自适应度量空间。对miniImageNet、CUB-200-2011、MPII以及一个新的数据集miniDeepFashion的实验分析表明,我们的方法通过将其适应于目标类来不断改进学习的度量,并且当与源类的域差距较大时,在图像检索中获得更大的增益。
2022-11-14 cs.CV
Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval
Zhejiang University(浙江大学)
本文提出知识增强的双流零样本组合图像检索框架KEDs,通过引入数据库隐式建模参考图像的细粒度属性,并利用伪三元组将伪词token与文本概念显式对齐,在多个基准测试上优于现有方法。
2024-03-24 cs.CV
RAFIC: Retrieval-Augmented Few-shot Image Classification
Stanford University(斯坦福大学)
针对少样本图像分类中样本量有限导致准确率受限的问题,提出由CLIP等构成的检索组件和检索元学习组成的RAFIC方法,通过检索图像扩充样本,在两个数据集上显著提升分类性能。
2023-12-11 cs.CV cs.LG
Transductive Zero-Shot Hashing for Multilabel Image Retrieval
Wuhan University(武汉大学);Sun Yat-Sen University(中山大学);University of South Carolina(南卡罗来纳大学)
散列编码已广泛应用于大规模图像检索的近似最近邻搜索。给定语义注释,例如类标签和训练数据的成对相似性,散列方法可以学习并生成有效且紧凑的二进制代码。虽然一些新引入的图像可能包含未定义的语义标签,我们称之为看不见的图像,但已经研究了zeor-shot散列技术。然而,现有的zeor-shot哈希方法主要针对单标签图像的检索,而不能处理多标签图像。在本文中,首次提出了一种新的直推式zero-shot散列方法,用于多标签不可见图像检索。为了预测未知数据/目标数据的标签,通过对已知数据/源数据的实例-概念一致性排序来建立视觉-语义桥梁。然后,成对的相似性损失和焦点量化损失被构造用于使用可见/源和不可见/目标数据来训练散列模型。在三个流行的多标签数据集上的广泛评估表明,所提出的哈希方法取得了显着优于竞争方法的结果。
2021-06-30 cs.CV cs.LG
Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
提出一种利用掩码图文对进行端到端训练的零样本组合图像检索方法,通过学习查询与目标关系优化文本反演网络,实现更准确检索。
2024-06-27 cs.CV cs.IR
Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval
University of Exeter(埃克塞特大学);University of Tübingen(图宾根大学)
基于低拍摄草图的图像检索是计算机视觉中的一项新兴任务,它允许检索与手绘草图查询相关的自然图像,这些图像在训练阶段很少见到。相关的现有工作要么需要昂贵的获得对齐的草图-图像对,要么需要低效的存储器融合层来将视觉信息映射到语义空间。在本文中,我们解决任何镜头,即zero-shot和Few-Shot,基于草图的图像检索(SBIR)的任务,我们介绍了Few-Shot设置SBIR。为了解决这些任务,我们提出了一个语义对齐的配对循环一致的生成对抗网络(SEM-PCYC)的任意镜头SBIR,其中每个分支的生成对抗网络映射的视觉信息从草图和图像到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性,只需要在类别级别进行监督,并避免了对齐草图-图像对的需要。生成器输出的分类标准确保视觉到语义空间的映射是类特定的。此外,我们建议通过自动编码器将文本和分层边信息结合起来,该自动编码器在同一个端到端模型中选择有区别的边信息。我们的研究结果表明,在具有挑战性的Sketchy,TU-Berlin和QuickDraw数据集的扩展版本上,任何镜头SBIR性能都有显着提高。
2020-06-20 cs.CV cs.LG
Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models
Mayo Clinic(妙佑医疗国际)
本研究在TCGA数据集上对多种组织病理学基础模型开展零样本全切片图像检索测试,基于Yottixel平台评估不同top-k检索的F1分数,发现现有模型零样本检索性能偏低。
2024-09-12 cs.AI cs.CV eess.IV
Towards Zero-shot Cross-lingual Image Retrieval
Adobe Inc.(奥多比公司)
最近对多模态语言和视觉问题的兴趣激增。在语言方面,大多数这些模型主要集中在英语上,因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距,该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型,该模型在单语训练数据集上训练,但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数,它通过将不同的文本相互推送来收紧文本嵌入集群。最后,我们介绍了一个新的1K多语言MSCOCO2014字幕测试数据集(XTD10),我们使用众包平台收集了7种语言。我们将其用作测试集,用于评估跨语言的zero-shot模型性能。XTD 10数据集在以下网站公开发布:https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10
2020-11-24 cs.CL cs.CV cs.LG
A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Nvidia(英伟达);Harvard University(哈佛大学)
针对零样本文本-图像分类依赖手工提示工程的问题,提出一种无需标签和优化的自动提示评分与加权集成方法,在ImageNet等16个基准上优于等权集成和手工提示。
2023-07-15 cs.CV cs.LG stat.ML
A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images
Centre of Studies in Resources Engineering (CSRE), Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心);German Aerospace Center (DLR)(德国航空航天中心)
传统的遥感(RS)检索方法通常基于单模态数据检索框架。在这项工作中,我们提出了一种新的跨模态三元组为基础的zero-shot检索方案,利用基于草图的RS数据表示。该方案执行有效,即使当草图表示边缘原型的图像。我们在一个新的双模态图像草图数据集上进行了实验,该数据集名为Earth on Canvas(EoC)。我们对该数据集进行了全面的基准测试,并证明了所提出的网络优于其他最先进的方法,用于遥感中基于zero-shot草图的检索框架。
2020-08-12 cs.CV
PromptAD: Learning Prompts with only Normal Samples for Few-Shot Anomaly Detection
East China Normal University(华东师范大学);Chongqing Institute of East China Normal University(华东师范大学重庆研究院);The Navy Military Medical University(海军军医大学);Xiamen University(厦门大学)
针对少样本工业异常检测,提出一类提示学习方法PromptAD,通过语义拼接生成负样本并引入显式异常间隔,在MVTec和VisA上取得11/12个少样本设置的第一名。
2024-07-16 cs.CV
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST(KAIST人工智能研究生院);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出X-MoRe方法,通过外部图像-文本对的跨模态检索与模态置信度集成,在推理时增强CLIP零样本分类,无需额外训练,提升未见类别的泛化性能。
2023-08-29 cs.CV
PromptStereo: Zero-Shot Stereo Matching via Structure and Motion Prompts
Huazhong University of Science and Technology(华中科技大学);Optics Valley Laboratory(光谷实验室)
PromptStereo通过结构和运动提示提升零样本立体匹配的泛化性能,提出PRU模块增强单目深度模型的潜在表示。
2026-03-03 cs.CV
EFSA: Episodic Few-Shot Adaptation for Text-to-Image Retrieval
MBZUAI(马尔堡人工智能研究所)
针对开放域文本到图像检索中困难负样本挑战,提出情景式少样本自适应(EFSA)测试时框架,通过微调top-k候选及合成标题动态适应查询领域,在八个领域及百万级图像池上提升性能并保持泛化。
2025-10-09 cs.CV
Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning
Beijing University of Technology(北京工业大学);Macquarie University(麦考瑞大学)
本文提出视觉与语义提示协作框架,通过提示调优和分层融合机制,实现高效特征适配,解决广义零样本学习中的视觉-语义对齐与过拟合问题。
2025-03-29 cs.CV
Few Shots Text to Image Retrieval: New Benchmarking Dataset and Optimization Methods
Huawei Tel-Aviv Research Center(华为特拉维夫研究中心)
本文提出FSIR任务及FSIR-BD数据集,通过少样本学习方法提升图像检索性能,实验表明其基准挑战性及优化方法优于现有基线。
2026-03-26 cs.CV
From Visual Prompt Learning to Zero-Shot Transfer: Mapping Is All You Need
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
视觉提示学习作为一种新兴的技术,利用大规模预训练模型学习到的知识,并通过使用提示使其适应下游任务。虽然以前的研究集中在设计有效的提示,在这项工作中,我们认为,提示设计相比,一个好的映射策略更重要。从这个意义上说,我们提出了SeMap,这是一种更有效的映射,它使用预训练模型的知识和下游任务之间的语义对齐。我们的实验结果表明,SeMap可以大大提高视觉提示学习的性能。此外,我们的实验表明,SeMap能够实现竞争性的zero-shot传输,这表明它可以执行下游任务,而无需对相应的数据集进行任何微调。这证明了我们提出的方法可以用于更广泛的应用中,其中需要zero-shot传输。结果表明,我们提出的SeMap可以导致显着的进步,在视觉提示学习和zero-shot转移。我们希望通过SeMap,我们可以帮助社区更高效、更轻量级地利用大型视觉模型。
2023-03-09 cs.CV
CMP: A Composable Meta Prompt for SAM-Based Cross-Domain Few-Shot Segmentation
University of Electronic Science and Technology of China(电子科学与技术大学)
本文提出可组合元提示(CMP)框架,通过参考补全与变换、可组合元提示生成和频率感知交互三个模块解决SAM在跨域少样本分割中对手动提示依赖和跨域能力有限的问题,并在四个数据集上取得领先性能。
2025-07-22 cs.CV
Zero-Shot and Few-Shot Video Question Answering with Multi-Modal Prompts
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI))
针对预训练视觉-语言模型在有限数据适配中的过拟合、遗忘和跨模态鸿沟问题,提出冻结主干、结合多模态提示学习与 transformer 映射网络的参数高效方法,并在多个视频问答基准的零样本和少样本设置中验证其优势。
2023-09-27 cs.CV
AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs
School of Computer Science, Peking University(北京大学计算机学院);ByteDance Inc.(字节跳动公司);Shanghai Jiao Tong University(上海交通大学)
AutoV通过损失导向的提示检索提升大视觉-语言模型在图像理解等任务中的性能。
2026-07-14 cs.CV
Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models
University of Maryland(马里兰大学);NVIDIA(英伟达);Caltech(加州理工学院);Arizona State University(亚利桑那州立大学)
预先训练的视觉语言模型(例如,CLIP)在许多具有适当设计的文本提示的下游任务中显示出有希望的zero-shot泛化。最近的工作不是依靠手工设计的提示,而是使用来自下游任务的训练数据来学习提示。虽然有效,但对特定领域数据的训练会降低模型对未知新领域的泛化能力。在这项工作中,我们提出了测试时提示微调(TPT),一种方法,可以学习自适应提示飞行与一个单一的测试样本。对于图像分类,TPT通过使用置信度选择最小化熵来优化提示,使得模型在每个测试样本的不同增强视图上具有一致的预测。在评估自然分布偏移的泛化时,TPT将CLIP的zero-shot top-1准确度平均提高了3.6%,超过了之前需要额外的特定任务训练数据的提示微调方法。在评估具有不可见类别的跨数据集泛化时,TPT的表现与使用额外训练数据的最先进方法不相上下。项目页面:https://azshue.github.io/TPT。
2022-09-15 cs.CV
CineMem: Attention-Aligned Fine-grained Memory Retrieval for Multi-Shot Long Video Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Fudan University(复旦大学)
本研究针对多镜头长视频生成中现有记忆检索方法的不足,提出CineMem框架,通过在线聚类KV缓存与查询级检索机制提升记忆利用效率,结合VLM辅助指标验证了其在镜头间一致性上的有效性。
2026-10-14 cs.AI cs.CV
ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search
CASIA(中国科学院自动化研究所);UCAS(中国科学院大学);Lenovo(联想集团);Peking University(北京大学);Tsinghua University(清华大学)
ShotFinder通过网络搜索驱动开放域视频镜头检索,提出三阶段检索流程并揭示多模态大模型在开放域视频检索中的性能差距。
2026-09-17 cs.AI cs.CV
Prompt-Adapter Context Routing for Parameter-Efficient Multi-Shot Long Video Extrapolation
Instituto de Investigación en Visión Artificial(人工视觉研究所)
研究多镜头长视频外推问题,提出PACR-Video框架,通过冻结文本到视频扩散变换器,用低秩时间适配器及递归提示库增强,结合特定调优目标和调度,在多基准测试中优于多种基线,证明其能为长视频外推提供可控能力。
2026-07-08 cs.AI cs.CV
ZSCRGAN: A GAN-based Expectation Maximization Model for Zero-Shot Retrieval of Images from Textual Descriptions
Department of CSE, IIT Kharagpur, India(印度理工学院卡格普尔分校计算机科学与工程系);Department of ECE, Duke University, USA(美国杜克大学电子与计算机工程系);Department of CSA, IISER Kolkata, India(印度科学教育与研究学院加尔各答分校计算机科学与应用系)
用于跨模态信息检索的大多数现有算法基于监督训练测试设置,其中模型学习对齐查询的模式(例如,文本)到文档的模式(例如,图像)。这样的设置假设训练集包含所有可能的查询类别的详尽表示。实际上,检索模型可能需要部署在以前看不见的类上,这意味着zero-shot IR设置。在本文中,我们提出了一种新的基于GAN的zero-shot文本到图像检索模型。当给定文本描述作为查询时,我们的模型可以在zero-shot设置中检索相关图像。该模型使用期望最大化框架进行训练。多个基准数据集上的实验表明,我们提出的模型舒适地优于几个国家的最先进的zero-shot文本到图像检索模型,以及zero-shot分类和哈希模型适用于检索。
2020-09-23 cs.CL cs.CV cs.IR
GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval
School of Software and Microelectronics, Peking University(软件与微电子学院,北京大学);University of Chinese Academy of Sciences(中国科学院大学)
针对少样本跨模态检索中数据多峰分布建模不足导致的模态内、模态间偏差问题,提出基于GMM与相对距离约束的GCRDP方法,通过多正样本对比学习和分布对齐提升检索性能,在四个基准上优于六种SOTA方法。
2025-05-19 cs.CV cs.IR
DualCap: Enhancing Lightweight Image Captioning via Dual Retrieval with Similar Scenes Visual Prompts
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
针对轻量级检索增强图像描述模型仅用文本提示导致视觉特征未增强、存在语义鸿沟的问题,提出DualCap双检索方法,结合文图与图图检索生成视觉提示并融合特征,在更少参数下实现了有竞争力的描述性能。
2025-10-28 cs.AI cs.CV
The Devil is in the Prompts: Retrieval-Augmented Prompt Optimization for Text-to-Video Generation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学)
本文提出检索增强提示优化框架RAPO,通过双分支优化用户提示词以提升文本到视频生成质量,实验证明其能有效改善生成视频的静态与动态表现。
2025-05-06 cs.CL cs.CV
Q2E: Query-to-Event Decomposition for Zero-Shot Multilingual Text-to-Video Retrieval
Department of Computer Science and Electrical Engineering University of Maryland Baltimore County(计算机科学与电气工程系马里兰大学巴尔的摩县)
针对零样本多语言文本-视频检索任务,提出Q2E查询到事件分解方法,借助大模型知识分解简化查询,结合基于熵的多模态融合,在多数据集上超越现有最优基线,还验证了音频信息的增益作用,已开源相关代码与数据。
2025-11-13 cs.CL cs.CV
SALI: Shot-Aware Late Interaction for Cross-Shot Relation Matching in Text-to-Video Retrieval using Film-Grammar Knowledge
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所);University of Augsburg(奥格斯堡大学)
针对文本到视频检索中单嵌入丢失人物关系的问题,提出SALI方法,通过提取查询主语宾语并与各镜头嵌入匹配,结合电影语法惩罚,显著提升多镜头关系查询的召回率。
2026-09-25 cs.CV cs.IR cs.MM
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题,学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法,在联合视觉和文本空间。本文的主要新颖之处在于,它表明,使用每图像语义监督导致zero-shot性能的实质性改善,而不是使用仅类监督。最重要的是,我们为度量重新缩放方法提供了概率证明,该方法解决了广义零样本学习设置中非常常见的问题,即,将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集:CUB和FLOWERS上评估了我们的方法。我们发现,在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Prompting Decision Transformer for Few-Shot Policy Generalization
Carnegie Mellon University(卡内基梅隆大学);University of Montreal(蒙特利尔大学);Mila(米拉);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
人类可以利用先前的经验,从一些演示中学习新的任务。与离线Meta强化学习相比,其目的是通过更好的算法设计实现快速适应,我们研究了架构归纳偏差对少样本学习能力的影响。我们提出了一个基于时间的决策Transformer(时间-DT),它利用了顺序建模能力的Transformer架构和提示框架,以实现Few-Shot适应离线RL。我们设计的轨迹提示,其中包含部分的Few-Shot演示,并编码特定于任务的信息,以指导政策的生成。我们在五个MuJoCo控制基准测试中的实验表明,Battle-DT是一个强大的Few-Shot学习器,无需对看不见的目标任务进行任何额外的微调。Prompt-DT的性能大幅优于其变体和强大的Meta离线RL基线,其轨迹提示仅包含几个时间步。此外,DT-DT对于提示长度更改也是健壮的,并且可以推广到分发外(OOD)环境。
2022-06-27 cs.AI cs.CV cs.LG
Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting
Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了多模态Few-Shot目标检测(FSOD),利用Few-Shot视觉样本和类别语义信息进行检测,这两种信息在定义上是互补的。以往的多模态FSOD算法大多是基于微调的,对于在线应用来说效率很低。此外,这些方法通常需要像类名这样的专业知识来提取类语义嵌入,这对于稀有类来说很难获得。我们的方法的动机是高层次的概念相似性(基于度量的)元学习和基于聚类的学习,学习可推广的Few-Shot和zero-shot目标检测模型分别没有微调。具体来说,我们结合Few-Shot视觉分类器和文本分类器分别通过元学习和基于学习的多模态分类器和检测模型。此外,为了充分利用预先训练的语言模型,我们提出了基于元学习的跨模态提示,为Few-Shot视觉示例中的新类生成软提示,然后将其用于学习文本分类器。引入了知识蒸馏来学习软提示生成器,而不使用人类对类名的先验知识,这可能不适用于稀有类。我们的见解是,Few-Shot支持图像自然包括相关的上下文信息和类的语义。我们综合评估多个Few-Shot目标检测基准提出的多模态FSOD模型,取得了可喜的成果。
2023-03-27 cs.AI cs.CV cs.MM
Optimizing GPT for Video Understanding: Zero-Shot Performance and Prompt Engineering
Tiktok Inc.(字节跳动公司)
本研究针对视频内容分类的行业挑战,提出通过提示优化和策略细化提升GPT的零样本分类性能,并引入基于分解-聚合的提示工程技术,实验表明该方法无需额外微调即可显著提升分类效果。
2025-04-25 cs.CL cs.CV cs.LG
The Infinite Index: Information Retrieval on Generative Text-To-Image Models
Leipzig University(莱比锡大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
条件生成模型(如DALL-E和稳定扩散)基于用户定义的文本(提示)生成图像。寻找和提炼产生所需图像的提示已经成为提示工程的艺术。生成模型不为用户通过提示表达的信息需求提供内置的检索模型。在广泛的文献回顾的光,我们重新构建提示工程的生成模型作为交互式的基于文本的检索上的一种新的“无限索引”。我们首次将这些见解应用于与专家一起进行的游戏设计图像生成案例研究中。最后,我们设想如何主动学习可能有助于指导检索生成的图像。
2023-01-21 cs.CL cs.CV cs.IR
PromptHash: Affinity-Prompted Collaborative Cross-Modal Learning for Adaptive Hashing Retrieval
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
针对现有跨模态哈希方法语义保留不足等问题,提出PromptHash框架,通过亲和性提示学习、门控融合架构与分层对比对齐提升检索性能,在NUS-WIDE等数据集上取得显著增益。
2025-03-20 cs.AI cs.CV cs.IR
VoP: Text-Video Co-operative Prompt Tuning for Cross-Modal Retrieval
Westlake University(西湖大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
最近的许多研究通过使用额外的重型模块来调整主干,利用预训练的CLIP进行文本-视频跨模态检索,这不仅带来了参数较多的巨大计算负担,而且还导致上游模型的知识遗忘。在这项工作中,我们提出了VoP:文本-视频合作提示微调的文本-视频检索任务的有效调整。建议的VoP是一个端到端的框架,同时引入视频和文本提示,这可以被视为一个强大的基线,只有0.1%的可训练参数。此外,基于视频的时空特性,我们开发了三种新的视频提示机制,以提高性能与不同规模的可训练参数。VoP增强的基本思想是分别用特定的可训练提示对帧位置、帧上下文和层函数进行建模。大量的实验表明,与完全微调相比,增强的VoP在五个文本视频检索基准测试中实现了1.4%的平均R@1增益,参数开销减少了6倍。该代码将在https://github.com/bighuang624/VoP上提供。
2023-03-22 cs.AI cs.CL cs.CV
Meta-Prompting for Automating Zero-shot Visual Recognition with LLMs
ICG, TU Graz(格拉茨工业大学ICG研究所);CDL-EML(CDL-EML中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);JKU(约翰内斯开普勒大学);IBM Research(IBM研究院);Weizmann Institute of Science(魏茨曼科学研究所);University of Bonn(波恩大学)
本文提出MPVR方法,仅需任务简短描述和类别标签即可自动生成多样化类别特定提示,显著提升零样本图像识别性能。
2024-08-07 cs.AI cs.CV cs.LG
Improving Zero-shot Generalization of Learned Prompts via Unsupervised Knowledge Distillation
University of Florence(佛罗伦萨大学);University of Pisa(比萨大学)
本文提出基于无监督知识蒸馏的提示学习方法KDPL,无需标注样本即可集成至现有技术,在十多个基准上有效提升了VLMs的零样本泛化能力并实现知识迁移。
2024-07-30 cs.AI cs.CV cs.LG
Zero-Shot Multi-Modal Artist-Controlled Retrieval and Exploration of 3D Object Sets
Unity Technologies(Unity科技公司);New York University(纽约大学)
在创建3D内容时,通常需要高度专业化的技能来手工设计和生成对象和其他资产的模型。我们通过从多模式输入(包括2D草图,图像和文本)中进行高质量的3D资产检索来解决这个问题。我们使用CLIP,因为它提供了一个桥梁,以更高层次的潜在功能。我们使用这些功能来执行多模态融合,以解决缺乏艺术控制,影响常见的数据驱动的方法。我们的方法允许通过3D资产数据库进行多模态条件特征驱动的检索,通过利用输入潜在嵌入的组合。我们探讨了不同输入类型和加权方法中特征嵌入的不同组合的影响。
2022-09-01 cs.AI cs.CV cs.GR
ZegOT: Zero-shot Segmentation Through Optimal Transport of Text Prompts
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出ZegOT方法,通过多提示最优传输求解器将多个文本提示与冻结CLIP图像特征进行匹配,无需额外图像编码器或微调,在零样本语义分割任务上达到最先进性能。
2023-05-30 cs.AI cs.CV cs.LG