Towards Generative Predictive Display for Vision-Based Teleoperation: A Zero-Shot Benchmark of Off-the-Shelf Video Models
Department of Electrical and Computer Engineering, University of Michigan - Dearborn(密歇根大学迪尔伯恩分校电气与计算机工程系)
本文提出一种零样本基准测试,评估现成生成视频模型在短时间预测显示中的性能,发现现有模型无法在低误差、非发散误差行为和实时推断间取得平衡。
2026-05-10 cs.CV cs.RO
FLEX-CLIP: Feature-Level GEneration Network Enhanced CLIP for X-shot Cross-modal Retrieval
School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能工程学院)
针对少样本跨模态检索中CLIP面临的目标域特征退化和数据不平衡问题,提出FLEX-CLIP,通过复合多模态VAE-GAN生成伪样本、门控残差网络融合特征,在四个基准数据集上较SOTA提升7%-15%。
2024-11-26 cs.CL cs.CV
A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images
Centre of Studies in Resources Engineering (CSRE), Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心);German Aerospace Center (DLR)(德国航空航天中心)
传统的遥感(RS)检索方法通常基于单模态数据检索框架。在这项工作中,我们提出了一种新的跨模态三元组为基础的zero-shot检索方案,利用基于草图的RS数据表示。该方案执行有效,即使当草图表示边缘原型的图像。我们在一个新的双模态图像草图数据集上进行了实验,该数据集名为Earth on Canvas(EoC)。我们对该数据集进行了全面的基准测试,并证明了所提出的网络优于其他最先进的方法,用于遥感中基于zero-shot草图的检索框架。
2020-08-12 cs.CV
ZSCRGAN: A GAN-based Expectation Maximization Model for Zero-Shot Retrieval of Images from Textual Descriptions
Department of CSE, IIT Kharagpur, India(印度理工学院卡格普尔分校计算机科学与工程系);Department of ECE, Duke University, USA(美国杜克大学电子与计算机工程系);Department of CSA, IISER Kolkata, India(印度科学教育与研究学院加尔各答分校计算机科学与应用系)
用于跨模态信息检索的大多数现有算法基于监督训练测试设置,其中模型学习对齐查询的模式(例如,文本)到文档的模式(例如,图像)。这样的设置假设训练集包含所有可能的查询类别的详尽表示。实际上,检索模型可能需要部署在以前看不见的类上,这意味着zero-shot IR设置。在本文中,我们提出了一种新的基于GAN的zero-shot文本到图像检索模型。当给定文本描述作为查询时,我们的模型可以在zero-shot设置中检索相关图像。该模型使用期望最大化框架进行训练。多个基准数据集上的实验表明,我们提出的模型舒适地优于几个国家的最先进的zero-shot文本到图像检索模型,以及zero-shot分类和哈希模型适用于检索。
2020-09-23 cs.CL cs.CV cs.IR
Learning Test-time Augmentation for Content-based Image Retrieval
Queensland University of Technology(昆士兰科技大学)
现成的卷积神经网络特征在许多图像检索任务中取得了出色的效果。然而,它们对目标数据的不变性是由网络架构和训练数据预定义的。现有的图像检索方法需要微调或修改预训练的网络,以适应目标数据的独特变化。相比之下,我们的方法通过聚合从测试时增强的图像中提取的特征来增强现成特征的不变性,增强由通过强化学习学习的策略指导。所学习的策略将不同的幅度和权重分配给从图像变换列表中选择的所选变换。使用度量学习协议来评估策略以学习最优策略。该模型收敛速度快,每次策略迭代的成本是最小的,因为我们提出了一个离线缓存技术,大大降低了从增强图像中提取特征的计算成本。在大型商标检索(METU商标数据集)和地标检索(ROxford5k和RParis6k场景数据集)任务上的实验结果表明,学习的变换集成对提高性能非常有效,并且具有实用性和可移植性。
2022-07-05 cs.CV
Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval
Universidade de São Paulo(圣保罗大学);Mercado Libre(美客多)
草图锚是一种新的方法,训练国家的最先进的Zero-shot基于草图的图像检索(ZSSBIR)模型在一个时代。大多数研究将ZSSBIR的问题分解为两个部分:继承自SBIR的图像和草图之间的域对齐,以及zero-shot协议所固有的对未知数据的泛化。我们认为,这些问题之一可以大大简化,并重新框架ZSSBIR问题周围已经恒星尚未充分探索Zero-shot基于图像的检索性能的现成的模型。我们的快速收敛模型保持了单域性能,同时学习从草图中提取相似的表示。为此,我们介绍了我们的语义分类器-指导嵌入学习基于单词的语义空间和功能,从现成的模型-并将它们与我们的小说锚定对比损失。经验证据表明,我们可以在所有基准数据集上实现最先进的性能,同时训练迭代次数比其他方法少100倍。
2023-03-29 cs.CV
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing(北京科技大学)
基于零镜头草图的图像检索(Zero-Shot Sketch-Based Image Retrieval,简称ZSBIR)是一个具有挑战性的跨模态检索任务。在现有技术中,通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而,域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度:利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法,该方法对图库图像进行聚类,并使用聚类质心作为检索代理。此外,提出了一种分布对齐损失,使图像和草图特征具有共同的高斯分布,从而减小了域间隙。尽管它很简单,我们提出的方法在流行的数据集上比最先进的方法有很大的优势,例如,在Sketchy和TU-Berlin数据集上,mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
Towards Zero-shot Cross-lingual Image Retrieval
Adobe Inc.(奥多比公司)
最近对多模态语言和视觉问题的兴趣激增。在语言方面,大多数这些模型主要集中在英语上,因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距,该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型,该模型在单语训练数据集上训练,但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数,它通过将不同的文本相互推送来收紧文本嵌入集群。最后,我们介绍了一个新的1K多语言MSCOCO2014字幕测试数据集(XTD10),我们使用众包平台收集了7种语言。我们将其用作测试集,用于评估跨语言的zero-shot模型性能。XTD 10数据集在以下网站公开发布:https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10
2020-11-24 cs.CL cs.CV cs.LG
If At First You Don't Succeed: Test Time Re-ranking for Zero-shot, Cross-domain Retrieval
University of York(约克大学)
本文提出一种测试时迭代无聚类重排序方法,利用图库-图库特征建立语义链接,提升零样本跨域检索性能,在多个基准上达到最先进水平。
2025-02-28 cs.CV
Vision Transformer Off-the-Shelf: A Surprising Baseline for Few-Shot Class-Agnostic Counting
Huazhong University of Science and Technology(华中科技大学)
本文提出 CACViT,将类别无关计数简化为单个预训练普通 ViT 中的同步特征提取与匹配,并通过尺度和数量级嵌入补偿信息损失,在 FSC147 与 CARPK 上显著优于现有方法。
2024-03-04 cs.CV
Adaptive Cortically Constrained EEG-Vision Alignment for Zero-Shot Brain-to-Image Retrieval
Chongqing University of Posts and Telecommunications(重庆邮电大学);Shanghai Jiaotong University(上海交通大学);Chongqing Normal University(重庆师范大学);South China University of Technology(华南理工大学)
针对零样本脑到图像检索,提出自适应皮层约束脑电-视觉对齐方法,通过ROI级源模式表征与证据加权监督,在THINGS-EEG上实现强200路检索性能。
2026-09-22 cs.CV
One-Shot Fine-Grained Instance Retrieval
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
细粒度视觉分类(FGVC)近年来取得了很大的进展。然而,在真实场景中,细粒度物种的数量可能是巨大的,并且是动态增加的,这使得在当前的FGVC框架下很难识别看不见的对象。这就提出了一个开放的问题,即在没有完整训练集的情况下进行大规模细粒度识别。为了克服这个问题,我们提出了一个检索任务命名为单次细粒度实例检索(OSFGIR)。“One-Shot”表示通过细粒度检索任务在不完整的辅助训练集的辅助下识别未见过对象的能力。本文首先介绍了OSFGIR任务和我们收集的OSFGIR-378 K数据集。接下来,我们提出了在辅助数据集上学习的卷积和归一化网络(CN-Nets),以生成简洁和有区别的表示。最后,我们提出了一个由粗到细的检索框架,包括三个组件,即,分别是粗检索、细粒度检索和查询扩展。该框架逐步检索具有相似语义的图像,并执行细粒度的识别。实验结果表明,该框架在识别精度和效率上明显优于现有的FGVC和图像检索方法,是大规模细粒度目标识别的较好解决方案。
2017-07-04 cs.CV
Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University(西安电子科技大学)
基于零镜头草图的图像检索(Zero-ShotSketch-Based Image Retrieval,ZE-SBIR)是一种新颖的跨模态检索任务,在zero-shot场景下,以抽象草图为查询对象对自然图像进行检索。现有的方法大多将草图-SBIR作为传统的分类问题,采用交叉熵或基于三元组的损失来实现检索,忽略了草图与自然图像之间的领域鸿沟以及草图类内差异较大的问题。为此,我们提出了一种新的域平滑网络(DSN)的EST-SBIR。具体而言,提出了一种跨模态对比方法来学习广义表示,通过挖掘具有额外增强样本的关系来平滑域间隙。此外,一个类别特定的存储体与草图功能的探索,以减少类内的多样性在草图域。大量的实验表明,我们的方法在Sketchy和TU-Berlin数据集上的性能明显优于最先进的方法。我们的源代码可在https://github.com/haowang1992/DSN上公开获取。
2021-06-22 cs.CV
Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索(Zero-Shot-based Image Retrieval,简称ZSBIR)是一种在zero-shot场景下对手绘草图图像进行跨模态检索的方法。以往的工作主要集中在建立图像与草图之间的对应关系或将图像特征与草图特征进行合成。然而,这两种方法都忽略了草图的类内差异,从而导致检索性能不理想。在本文中,我们提出了一种新的端到端的语义对抗方法的EST-SBIR。具体来说,我们设计了一个语义对抗模块,以最大限度地提高学习的语义特征和类别级词向量之间的一致性。此外,为了保持每个训练类别中合成特征的可辨别性,生成模块采用了三重丢失。此外,所提出的模型在端到端的策略中进行训练,以利用适合于EST-SBIR的更好的语义特征。在两个大规模流行数据集上进行的大量实验表明,该方法在Sketchy数据集上的检索性能比现有方法高出12%以上,在TU-Berlin数据集上高出约3%.
2019-10-18 cs.CV
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST(KAIST人工智能研究生院);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出X-MoRe方法,通过外部图像-文本对的跨模态检索与模态置信度集成,在推理时增强CLIP零样本分类,无需额外训练,提升未见类别的泛化性能。
2023-08-29 cs.CV
CineMem: Attention-Aligned Fine-grained Memory Retrieval for Multi-Shot Long Video Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Fudan University(复旦大学)
本研究针对多镜头长视频生成中现有记忆检索方法的不足,提出CineMem框架,通过在线聚类KV缓存与查询级检索机制提升记忆利用效率,结合VLM辅助指标验证了其在镜头间一致性上的有效性。
2026-10-14 cs.AI cs.CV
Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University(西安电子科技大学)
基于零镜头草图的图像检索(Zero-shot-based sketch-imageretrieval,简称ZS-SBIR)是一种在zero-shot场景下基于手绘草图的跨模态检索任务。大多数现有的方法解决了这个问题,同时投影视觉特征和语义监督到一个低维的公共空间进行有效的检索。然而,这种低维投影破坏了语义知识在原始语义空间中的完整性,从而在从不同模态学习语义时无法很好地传递有用的知识。此外,视觉特征中的领域信息和语义信息纠缠在一起,不利于缩小草图和图像之间的领域差距,不利于跨模态匹配。在本文中,我们提出了一个渐进的域独立的特征分解(PDFD)网络的EST-SBIR。具体地说,在原始语义知识的指导下,PDFD将视觉特征分解为领域特征和语义特征,然后将语义特征投影到公共空间作为检索特征。渐进式投射策略保持了较强的语义监督。此外,为了保证检索特征能够捕捉到干净完整的语义信息,引入了交叉重构损失,以鼓励检索特征和领域特征的任意组合能够重构视觉特征。大量的实验证明了我们的PDFD优于国家的最先进的竞争对手。
2022-05-06 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对零样本基于草图的图像检索中成对样本收集困难的问题,提出通过文本对比间接对齐草图与照片的模态感知框架,解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search
CASIA(中国科学院自动化研究所);UCAS(中国科学院大学);Lenovo(联想集团);Peking University(北京大学);Tsinghua University(清华大学)
ShotFinder通过网络搜索驱动开放域视频镜头检索,提出三阶段检索流程并揭示多模态大模型在开放域视频检索中的性能差距。
2026-09-17 cs.AI cs.CV
EFSA: Episodic Few-Shot Adaptation for Text-to-Image Retrieval
MBZUAI(马尔堡人工智能研究所)
针对开放域文本到图像检索中困难负样本挑战,提出情景式少样本自适应(EFSA)测试时框架,通过微调top-k候选及合成标题动态适应查询领域,在八个领域及百万级图像池上提升性能并保持泛化。
2025-10-09 cs.CV
ShelfGaussian: Shelf-Supervised Open-Vocabulary Gaussian-based 3D Scene Understanding
Georgia Institute of Technology(佐治亚理工学院)
本文提出ShelfGaussian框架,利用货架监督学习方法,结合多模态高斯变换,提升3D场景理解的开放词汇能力,实验显示其在零样本语义占用预测中表现优异。
2026-04-10 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University(天津大学);Lancaster University(兰卡斯特大学)
Zero-Shot Hashing旨在学习一种哈希模型,该模型仅由可见类别的实例训练,但可以很好地生成未见过类别的实例。通常,它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索,特别是基于图像的图像检索(IBIR)。然而,作为散列领域的一个热点研究课题,跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希(CMSHH)检索任务,我们提出了一种新的属性引导网络(AgNet),它不仅可以执行IBIR,但也基于文本的图像检索(TBIR)。特别是,AgNet将不同的模态数据对齐到语义丰富的属性空间中,这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略,利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集(AwA,SUN和ImageNet)上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
Single Shot Scene Text Retrieval
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在场景图像中发现的文本信息提供关于图像及其上下文的高级语义信息,并且它可以被利用以用于更好的场景理解。在本文中,我们解决的问题场景文本检索:给定一个文本查询,系统必须返回所有包含查询文本的图像。所提出的模型的新颖性在于使用Single Shot CNN架构,该架构同时预测边界框和其中单词的紧凑文本表示。以这种方式,基于文本的图像检索任务可以被转换为在整个图像数据库上的CNN的输出上的查询文本表示的简单最近邻搜索。我们的实验表明,所提出的架构优于以前的国家的最先进的,同时它提供了显着提高处理速度。
2018-08-27 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology(中国矿业大学)
基于Zero-Shot草图的图像检索(ZSSBIR)是一个新兴的课题。开创性的工作集中在模态差距,但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息,但需要仔细选择正样本和负样本,否则模型容易丢失模态特定信息。为了解决这些问题,提出了一种本体感知网络(OAN)。具体地说,提出了平滑的类间独立学习机制来保持类间特性。同时,基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
Few Shots Text to Image Retrieval: New Benchmarking Dataset and Optimization Methods
Huawei Tel-Aviv Research Center(华为特拉维夫研究中心)
本文提出FSIR任务及FSIR-BD数据集,通过少样本学习方法提升图像检索性能,实验表明其基准挑战性及优化方法优于现有基线。
2026-03-26 cs.CV
From Transformation to Target State: Rethinking Query Representation for Zero-Shot Composed Image Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对零样本组合图像检索中查询表示的不匹配问题,提出将任务重构为目标状态重建后检索,并设计了无需训练的ASAP-CIR框架,利用冻结多模态大语言模型重建静态目标表示,实验表明该原理在多个基准上有效,尤其在多目标CIRCO上提升显著。
2026-10-06 cs.CV
Survey of Visual-Semantic Embedding Methods for Zero-Shot Image Retrieval
Meisei University(明星大学)
视觉语义嵌入是一个有趣的研究课题,因为它是有用的各种任务,如视觉问答(VQA),图像-文本检索,图像描述,和场景图生成。在本文中,我们专注于zero-shot图像检索使用的句子作为查询,并提出了在这一领域的技术趋势的调查。首先,我们全面概述了该技术的历史,首先讨论了图像到文本匹配的早期研究以及该技术如何随着时间的推移而发展。此外,在实验中常用的数据集的描述和每种方法的评价结果的比较。我们还介绍了github上的实现,用于确认实验的准确性和进一步改进。我们希望这份调查报告将鼓励研究人员进一步发展他们对桥接图像和语言的研究。
2021-09-28 cs.CV
Online Learning via Memory: Retrieval-Augmented Detector Adaptation
Microsoft Corp(微软公司)
本研究提出一种无需训练的检索增强在线学习方法,通过记忆库与RAC模块让现成目标检测器快速适配新域,仅需每类10张图像的记忆库即可显著优于基线。
2024-09-16 cs.CV cs.IR cs.LG
Hybrid-Attention based Decoupled Metric Learning for Zero-Shot Image Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
在zero-shot图像检索(ZSIR)任务中,嵌入式学习越来越受到人们的关注,然而,许多方法遵循传统的度量学习思想,忽略了zero-shot设置背后的问题。在本文中,我们首先强调学习视觉区分度量和防止学习者的部分/选择性学习行为的重要性,在ZSIR,然后提出了解耦度量学习(DeML)框架来实现这些单独的。而不是粗略地优化一个统一的度量,我们将其解耦成多个注意力特定的部分,以便递归地诱导歧视和显式地增强泛化。这两个问题分别由我们提出的基于随机游走图传播的目标注意力模型和基于敌手约束的通道注意力模型来实现。我们证明了在流行的基准上解决ZSIR中的重要问题的必要性,远远超过了最先进的方法。代码可在http://www.bhchen.cn上获得
2019-07-27 cs.CV
ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval
Fudan University(复旦大学);HKUST(香港科技大学);Tencent PCG(腾讯平台与内容事业群);UESTC(电子科技大学)
草图和照片之间的巨大领域差距以及高度抽象的草图表示方式给基于草图的图像检索(\underline{SBIR})带来了挑战。zero-shot sketch-based图像检索(\underline{ZS-SBIR})是更通用和实用的,但提出了一个更大的挑战,因为额外的知识差距之间的可见和不可见的类别。为了同时缓解这两个差距,我们提出了一个\textbf{A} pproaching和\textbf{C}集中\textbf{Net}工作(称为“\textbf{ACNet}“),以共同优化草图照片合成和图像检索。检索模块引导合成模块生成大量逐渐接近照片域的各种类似照片的图像,从而比以往更好地服务于检索模块,以学习领域不可知的表示和类别不可知的常识,以推广到看不见的类别。这些不同的图像生成与检索指导可以有效地缓解过拟合问题困扰具体类别特定的训练样本具有高梯度。我们还发现使用基于代理的NormSoftmax损失在zero-shot设置中是有效的,因为它的集中效应可以稳定我们的联合训练,并提高对未知类别的泛化能力。我们的方法是简单而有效的,它实现了最先进的性能在两个广泛使用的SB-SBIR数据集,并超过了以前的方法,由一个很大的利润。
2023-02-25 cs.CV
CNN Features off-the-shelf: an Astounding Baseline for Recognition
KTH (Royal Institute of Technology)(瑞典皇家理工学院)
最近的结果表明,从卷积神经网络中提取的通用描述符是非常强大的。这篇论文为越来越多的证据提供了补充,证明情况确实如此。我们报告了一系列的实验进行了不同的识别任务,使用公开的代码和模型的\overfeat网络进行训练ILSVRC 13上进行对象分类。我们使用从\overfeat网络中提取的特征作为通用图像表示来处理应用于不同数据集的对象图像分类、场景识别、细粒度识别、属性检测和图像检索的各种识别任务。我们选择这些任务和数据集,因为它们逐渐远离原始任务和数据,\overfeat网络被训练来解决。令人惊讶的是,我们在各种数据集上的所有视觉分类任务中报告了与高度调整的最先进系统相比一致的优越结果。例如,检索它始终优于低内存足迹的方法,除了雕塑数据集。使用应用于从网络中的层提取的大小为4096的特征表示的线性SVM分类器(或在检索的情况下的$L2$距离)来实现结果。使用简单的增强技术(例如抖动)进一步修改表示。这些结果强烈表明,从使用卷积网络的深度学习中获得的特征应该是大多数视觉识别任务的主要候选者。
2014-05-12 cs.CV
Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback
OriginAI
针对带相关反馈的图像检索中小样本标注不足、类别不平衡等问题,提出一种适配用户反馈的超网络方案,在多数据集上优于强基线,且在小样本单类分类等任务上表现优异。
2023-12-18 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University(上海交通大学)
基于草图的图像检索(SBIR)的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而,SBIR要求在训练期间看到所有测试类别,这在现实世界的应用中无法保证。因此,我们研究更具挑战性的零镜头SBIR(ZERO-SBIR),其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息,而图像包含额外的外观信息的基础上,尝试通过非对称解缠实现结构感知的检索,提出了结构感知的非对称解缠(STRAD)方法,将图像特征解缠为结构特征和外观特征,而草图特征只投影到结构空间。通过对结构和外观空间的分离,实现了草图域和图像域之间的双向域转换。大量的实验表明,我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
Zero-Shot Composed Image Retrieval with Textual Inversion
University of Florence(佛罗伦萨大学);University of Pisa(比萨大学)
针对现有组合图像检索依赖标注数据的问题,提出零样本CIR任务与SEARLE方法,通过将参考图像视觉特征映射为CLIP伪词与文本融合,还发布了多真值基准数据集CIRCO,性能优于现有基线。
2023-08-19 cs.CL cs.CV cs.IR
RAFIC: Retrieval-Augmented Few-shot Image Classification
Stanford University(斯坦福大学)
针对少样本图像分类中样本量有限导致准确率受限的问题,提出由CLIP等构成的检索组件和检索元学习组成的RAFIC方法,通过检索图像扩充样本,在两个数据集上显著提升分类性能。
2023-12-11 cs.CV cs.LG
Few-shot Metric Learning: Online Adaptation of Embedding for Retrieval
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
度量学习的目的是建立一个距离度量,通常是通过学习一个有效的嵌入函数,将相似的对象映射到其嵌入空间中的附近点。尽管最近在深度度量学习方面取得了进展,但对于学习到的度量来说,推广到具有大量领域差距的看不见的类仍然具有挑战性。为了解决这个问题,我们探索了一个新的问题,Few-Shot度量学习,旨在适应嵌入功能的目标域只有几个注释的数据。本文引入了三种Few-Shot度量学习基线,提出了一种新的度量学习算法-修正元学习(CRML),该算法通过调整中间层的通道,有效地在线自适应度量空间。对miniImageNet、CUB-200-2011、MPII以及一个新的数据集miniDeepFashion的实验分析表明,我们的方法通过将其适应于目标类来不断改进学习的度量,并且当与源类的域差距较大时,在图像检索中获得更大的增益。
2022-11-14 cs.CV
Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval
Zhejiang University(浙江大学)
本文提出知识增强的双流零样本组合图像检索框架KEDs,通过引入数据库隐式建模参考图像的细粒度属性,并利用伪三元组将伪词token与文本概念显式对齐,在多个基准测试上优于现有方法。
2024-03-24 cs.CV
Generalized Few-Shot Video Classification with Video Retrieval and Feature Generation
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Oxford(牛津大学);Facebook(脸书公司);Dartmouth College(达特茅斯学院);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
少样本学习的目标是从几个例子中识别新的类。虽然在图像领域已经取得了显著的进展,但Few-Shot视频分类相对来说是未开发的。我们认为,以前的方法低估了视频特征学习的重要性,并建议使用3D CNN学习时空特征。提出了一个两阶段的方法,学习基础类的视频功能,然后微调分类器上的新类,我们表明,这种简单的基线方法优于以前的Few-Shot视频分类方法超过20点现有的基准。为了规避标记的例子的需要,我们提出了两种新的方法,产生进一步的改进。首先,我们使用标签检索从大型数据集中利用标记的视频,然后选择具有视觉相似性的最佳剪辑。其次,我们学习生成对抗网络,它从语义嵌入中生成新类别的视频特征。此外,我们发现现有的基准是有限的,因为他们只专注于5个新的类在每个测试情节,并引入更现实的基准涉及更多的新类,即少样本学习,以及混合的新类和基类,即广义少样本学习。实验结果表明,我们的检索和特征生成方法显着优于基线方法在新的基准。
2021-10-13 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索(Zero-Shot Sketch-based Image Retrieval,简称ZSBIR)是在zero-shot场景下,从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法,采取高度抽象和稀疏的草图作为输入,然后合成相应的自然图像。然而,固有的视觉稀疏性和大的类内方差的草图,使学习的条件解码器更困难,从而实现不理想的检索性能。在本文中,我们提出了一种新的堆叠语义引导网络,以解决独特的特点,草图在EST-SBIR。具体来说,我们设计了多层特征融合网络,将不同的中间特征表示信息在一个深神经网络,以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移,我们阐述了一个粗到细的条件解码器,首先生成粗粒度的特定于类别的对应特征(以辅助语义信息作为条件输入),然后生成细粒度的特定于实例的对应特征(以草图表示作为条件输入)。此外,回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明,该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
FitPro: A Zero-Shot Framework for Interactive Text-based Pedestrian Retrieval in Open World
Key Lab of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University(教育区块链与智能技术重点实验室,教育部,广西师范大学);Guangxi Key Lab of Multi-source Information Mining & Security, Guangxi Normal University(广西多源信息挖掘与安全重点实验室,广西师范大学)
FitPro通过引入特征对比解码、增量语义挖掘和查询感知分层检索,提升开放世界中基于文本的交互行人检索的语义理解和跨场景适应能力。
2025-12-17 cs.CV
Transductive Zero-Shot Hashing for Multilabel Image Retrieval
Wuhan University(武汉大学);Sun Yat-Sen University(中山大学);University of South Carolina(南卡罗来纳大学)
散列编码已广泛应用于大规模图像检索的近似最近邻搜索。给定语义注释,例如类标签和训练数据的成对相似性,散列方法可以学习并生成有效且紧凑的二进制代码。虽然一些新引入的图像可能包含未定义的语义标签,我们称之为看不见的图像,但已经研究了zeor-shot散列技术。然而,现有的zeor-shot哈希方法主要针对单标签图像的检索,而不能处理多标签图像。在本文中,首次提出了一种新的直推式zero-shot散列方法,用于多标签不可见图像检索。为了预测未知数据/目标数据的标签,通过对已知数据/源数据的实例-概念一致性排序来建立视觉-语义桥梁。然后,成对的相似性损失和焦点量化损失被构造用于使用可见/源和不可见/目标数据来训练散列模型。在三个流行的多标签数据集上的广泛评估表明,所提出的哈希方法取得了显着优于竞争方法的结果。
2021-06-30 cs.CV cs.LG
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
FilterRAG通过结合BLIP-VQA与检索增强生成,利用外部知识源减少视觉问答中的幻觉问题,提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
提出一种利用掩码图文对进行端到端训练的零样本组合图像检索方法,通过学习查询与目标关系优化文本反演网络,实现更准确检索。
2024-06-27 cs.CV cs.IR
GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval
School of Software and Microelectronics, Peking University(软件与微电子学院,北京大学);University of Chinese Academy of Sciences(中国科学院大学)
针对少样本跨模态检索中数据多峰分布建模不足导致的模态内、模态间偏差问题,提出基于GMM与相对距离约束的GCRDP方法,通过多正样本对比学习和分布对齐提升检索性能,在四个基准上优于六种SOTA方法。
2025-05-19 cs.CV cs.IR
Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science, The University of Adelaide(阿德莱德大学计算机学院)
针对少样本细粒度分类中领域差距大的问题,提出检索增强的视觉提示学习方法 RePrompt,通过缓存并重用下游任务知识来增强提示学习,在多个视觉数据集上取得最先进性能。
2024-11-21 cs.CV
Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines
Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Idiap Research Institute(Idiap研究所);Australian National University(澳大利亚国立大学);Amazon(亚马逊)
本文提出在测试时基于模型不确定的测试用例从网络检索数据并更新模型,以增强预训练模型的零样本性能,在Stanford Cars和Flowers数据集上准确率提升15个百分点。
2023-11-29 cs.CV
FrameNeRF: A Simple and Efficient Framework for Few-shot Novel View Synthesis
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
FrameNeRF通过正则化模型从稀疏输入生成密集伪真值,再用原始稀疏图像微调快速高保真NeRF,解决少样本新视角合成中训练不稳定问题,并在多个基准上达到最优性能。
2024-02-26 cs.CV cs.GR
Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models
Mayo Clinic(妙佑医疗国际)
本研究在TCGA数据集上对多种组织病理学基础模型开展零样本全切片图像检索测试,基于Yottixel平台评估不同top-k检索的F1分数,发现现有模型零样本检索性能偏低。
2024-09-12 cs.AI cs.CV eess.IV
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center(计算机视觉中心);Autonomous University of Barcelona(巴塞罗那自治大学);Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
基于Zero-shot草图的图像检索(SBIR)是计算机视觉中的一项新兴任务,它可以检索与草图查询相关的自然图像,这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中,我们提出了一个语义对齐的配对循环一致性生成(SEM-PCYC)模型的zero-shot SBIR,其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性,只需要在类别级别进行监督,并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外,我们建议通过一个特征选择自动编码器,选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明,在具有挑战性的Sketchy和TU-Berlin数据集上,zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);Noah’s Ark Lab, Huawei Inc.(华为诺亚方舟实验室)
基于草图的图像检索(SBIR)被广泛认为是一个重要的视觉问题,有着广泛的实际应用。近年来,在更现实和更具有挑战性的零样本学习环境下,研究兴趣出现在解决这个问题上。在本文中,我们调查这个问题,从领域自适应的角度来看,我们表明是至关重要的,在提高特征嵌入的zero-shot的情况。基于一个框架,该框架从ImageNet上的预训练模型开始,并在SBIR基准测试的训练集上对其进行微调,我们提倡保留先前获得的知识的重要性,例如,从ImageNet中学习到的丰富的判别特征,以提高模型的传递能力。为此,我们设计了一种名为语义感知知识保护(SAKE)的方法,该方法以经济的方式微调预训练模型并利用语义信息,例如,类间关系,达到知识保存的目的。在两个扩展SBIR数据集TU-Berlin和Sketchy上的Zero-shot实验验证了该方法的优越性能。广泛的诊断实验验证,知识保存的好处SBIR在zero-shot设置,作为一个很大的一部分的性能增益是从更适当的结构化特征嵌入的照片图像。代码可在:https://github.com/qliu24/SAKE.
2019-09-27 cs.CV
IFCap: Image-like Retrieval and Frequency-based Entity Filtering for Zero-shot Captioning
Hanyang University(汉阳大学)
本文提出IFCap框架,通过类图像检索缓解纯文本训练与图像推理间的模态鸿沟,结合融合模块与基于频率的实体过滤技术,显著提升了零样本图像与视频描述的性能。
2024-09-26 cs.AI cs.CL cs.CV
Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval
University of Exeter(埃克塞特大学);University of Tübingen(图宾根大学)
基于低拍摄草图的图像检索是计算机视觉中的一项新兴任务,它允许检索与手绘草图查询相关的自然图像,这些图像在训练阶段很少见到。相关的现有工作要么需要昂贵的获得对齐的草图-图像对,要么需要低效的存储器融合层来将视觉信息映射到语义空间。在本文中,我们解决任何镜头,即zero-shot和Few-Shot,基于草图的图像检索(SBIR)的任务,我们介绍了Few-Shot设置SBIR。为了解决这些任务,我们提出了一个语义对齐的配对循环一致的生成对抗网络(SEM-PCYC)的任意镜头SBIR,其中每个分支的生成对抗网络映射的视觉信息从草图和图像到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性,只需要在类别级别进行监督,并避免了对齐草图-图像对的需要。生成器输出的分类标准确保视觉到语义空间的映射是类特定的。此外,我们建议通过自动编码器将文本和分层边信息结合起来,该自动编码器在同一个端到端模型中选择有区别的边信息。我们的研究结果表明,在具有挑战性的Sketchy,TU-Berlin和QuickDraw数据集的扩展版本上,任何镜头SBIR性能都有显着提高。
2020-06-20 cs.CV cs.LG
SALI: Shot-Aware Late Interaction for Cross-Shot Relation Matching in Text-to-Video Retrieval using Film-Grammar Knowledge
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所);University of Augsburg(奥格斯堡大学)
针对文本到视频检索中单嵌入丢失人物关系的问题,提出SALI方法,通过提取查询主语宾语并与各镜头嵌入匹配,结合电影语法惩罚,显著提升多镜头关系查询的召回率。
2026-09-25 cs.CV cs.IR cs.MM
Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval
Sungkyunkwan University(成均馆大学)
研究零样本视频时刻检索中模态和语言风格差距问题,提出基于自相似性的时刻提议和评分方法及查询感知的多模态大语言模型推理阶段,有效缓解差距,在相关基准测试中达最优性能。
2026-07-22 cs.CV