A Practical Guide to CNNs and Fisher Vectors for Image Instance Retrieval
Institute for Infocomm Research (A*STAR)(信息通信研究院(新加坡科技研究局));Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学)
随着深度学习成为计算机视觉中的主导方法,从卷积神经网络(CNN)中提取的表示的使用正在迅速取代Fisher向量(FV),成为图像实例检索的最先进的全局图像描述符。虽然CNN在图像分类方面的良好性能得到了明确的认可,但两者中哪一个在图像检索方面占上风还不完全清楚。在这项工作中,我们提出了一个全面的研究,系统地评估FV和CNN的图像检索。第一部分比较了FV和CNN在多个公开数据集上的性能。我们研究了每种方法的一些具体细节。对于FV,我们比较稀疏描述符的兴趣点检测器与密集的单尺度和多尺度的变种。对于CNN,我们专注于理解深度,架构和训练数据对检索结果的影响。我们的研究表明,没有描述符是系统优于其他和性能增益通常可以通过使用这两种类型一起获得。研究的第二部分着重于几何变换的影响,如旋转和尺度变化。基于兴趣点检测器的FV本质上对这种变换有弹性,而CNN没有内置机制来确保这种不变性。我们发现,CNN的性能在旋转的情况下会迅速下降,而它们受尺度变化的影响要小得多。然后,我们提出了一些方法,将所需的不变性在CNN管道。总的来说,我们的工作是作为一个参考指南,提供实用和简单的可实施的指导方针,任何人寻找最适合他们的特定图像实例检索问题的最先进的全局描述符。
2015-08-25 cs.CV cs.IR
RASR: Retrieval-Augmented Super Resolution for Practical Reference-based Image Restoration
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);State Key Laboratory of Internet of Things for Smart City(物联网智慧城市国家重点实验室);Department of Computer Science and Information Science, University of Macau(澳门大学计算机科学与信息科学系)
提出检索增强超分辨率(RASR)范式,通过自动检索参考图像实现实际场景下的参考超分辨率,并构建基准数据集RASR-Flickr30及基线模型RASRNet。
2026-05-27 cs.CV
Probability Weighted Compact Feature for Domain Adaptive Retrieval
Chongqing University(重庆大学);University of Electronic Science and Technology of China(电子科技大学)
领域自适应图像检索包括单领域检索和跨领域检索。现有的图像检索方法大多只针对单域检索,假设检索数据库和查询的分布是相似的。然而,在实际应用中,在理想光照/姿态/背景/摄像机条件下获取的检索数据库与在非受控条件下获取的查询结果之间的差异非常大。本文从实际应用的角度出发,重点研究了具有挑战性的跨域检索问题。针对这一问题,提出了一种有效的概率加权压缩特征学习(PWCF)方法,该方法通过提供域间相关性指导来提高跨域检索精度,并学习一系列压缩二进制代码来提高检索速度。首先,我们通过最大后验估计(MAP)得到我们的损失函数:贝叶斯视角(BP)引起的焦点三重损失,BP引起的量化损失和BP引起的分类损失。其次,我们提出了一个共同的流形结构域之间探索跨域的潜在相关性。考虑到域间差异导致的原始特征表示有偏差,流形结构难以构建。因此,我们提出了一个新的功能命名为直方图特征的邻居(HFON)从样本统计的角度。在各种基准数据库上进行的大量实验验证了该方法在领域自适应图像检索中的性能优于许多最先进的图像检索方法。源代码可在https://github.com/fuxianghuang1/PWCF上获得
2020-03-06 cs.CV
Granularity-aware Adaptation for Image Retrieval over Multiple Tasks
NAVER LABS Europe(NAVER LABS欧洲);NAVER Corp.(NAVER公司)
强大的图像搜索模型可以为特定领域学习,即。一组标签,前提是该域的一些标记图像可用。然而,一个实用的视觉搜索模型应该是通用的,足以同时解决多个检索任务,即使这些任务涵盖非常不同的专业领域。此外,它应该能够从这些各种检索任务中甚至未标记的图像中受益。这是我们在本文中考虑的更实际的情况。我们用提出的Grappa来解决这个问题,这种方法从一个强大的预训练模型开始,并使其适应于同时处理多个检索任务,只使用来自不同任务域的未标记图像。我们用多个独立训练的适配器集扩展了预训练模型,这些适配器使用不同大小的伪标签集,有效地模仿了不同的伪粒度。我们调和所有适配器集到一个单一的统一模型,适合所有检索任务,通过学习融合层,我们通过传播伪粒度的注意力在特征空间中的邻居引导。由六个异构检索任务组成的基准测试结果表明,无监督Grappa模型提高了最先进的自监督学习模型的zero-shot性能,并且在某些地方达到或提高了任务标签感知预言机,该预言机为每个任务选择最合适的伪粒度。
2022-10-05 cs.CV
MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei(华为)
在这项工作中,我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT,LSMDC,MSVD,YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合:弱监督的视频,人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程,提供了高的知识转移效率,并允许在训练过程中使用噪声数据集,而不会降低先验知识。此外,双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
Compressive Change Retrieval for Moving Object Detection
University of Fukui(福井大学)
从自主机器人在多个不同时间获取的街景图像中进行变化检测或异常检测是机器人地图绘制和自主驾驶中的主要问题。公式化作为图像比较任务,其在给定的一对查询和参考图像上操作,这对于针对该问题的许多现有方法是常见的。不幸的是,提供相关的参考图像并不简单。在本文中,我们提出了一种新的配方变化检测,称为压缩变化检索,它可以操作的查询图像和类似的参考图像从网络上检索。与以前的提法相比,有两个困难来源。首先,检索到的参考图像可能经常包含不相关的参考图像,因为即使是最先进的地点识别技术也会受到检索噪声的影响。其次,图像比较需要在压缩域中进行,以最大限度地减少大量街景图像的存储成本。为了解决上述问题,我们还提出了一个实用的变化检测算法,使用压缩的词袋(BoW)图像表示作为一个可扩展的解决方案。一个实际的变化检测任务,“移动目标检测(MOD)”,使用公开的马拉加数据集进行实验的结果验证了所提出的方法的有效性。
2016-08-06 cs.CV
Learning Binary Semantic Embedding for Histology Image Classification and Retrieval
Shandong University(山东大学);Shandong Jianzhu University(山东建筑大学)
随着医学影像技术和机器学习的发展,计算机辅助诊断技术因其能为病理学家提供重要的参考而引起了广泛的研究兴趣。医学图像的指数级增长和传统分类模型的不可解释性阻碍了计算机辅助诊断的应用。为了解决这些问题,我们提出了一种新的学习二进制语义嵌入(LBSE)的方法。基于高效和有效的嵌入,分类和检索进行组织学图像提供可解释的计算机辅助诊断。该方法将双监督、位不相关和平衡约束、非对称策略和离散优化无缝集成到二进制嵌入学习中。在三个基准数据集上进行的实验验证了LBSE在各种场景下的优越性。
2020-10-07 cs.AI cs.CV
Revisiting Kernelized Locality-Sensitive Hashing for Improved Large-Scale Image Retrieval
The Ohio State University(俄亥俄州立大学)
我们提出了一个简单但功能强大的重新解释核局部敏感哈希(KLSH),一个通用的和流行的方法开发的视觉社区执行近似最近邻搜索在任意再生核希尔伯特空间(RKHS)。我们的新观点基于在适当投影的空间中查看KLSH算法的步骤,并且具有几个关键的理论和实践优势。首先,它消除了在KLSH现有动机中存在的问题性概念困难。其次,它产生了第一个正式的检索性能界限KLSH。第三,我们的分析揭示了两种技术,提高KLSH的实证表现。我们评估这些扩展在几个大规模的基准图像检索数据集,并表明,我们的分析导致提高召回性能的至少12%,有时更高,超过标准的KLSH方法。
2014-11-16 cs.CV cs.LG stat.ML
Data-Free Sketch-Based Image Retrieval
University of Exeter(埃克塞特大学);University of Surrey(萨里大学)
对深度学习模型的隐私和匿名保护的日益关注促进了无数据学习(DFL)的研究。我们第一次发现,对于像基于草图的图像检索(SBIR)这样的数据稀缺任务,在获取配对照片和手绘草图的困难限制了数据依赖的跨模态学习算法,DFL可以证明是一个更实用的范例。因此,我们提出了无数据(DF)-SBIR,其中,与现有的DFL问题不同,预先训练的单模态分类模型必须利用学习跨模态度量空间进行检索,而无需访问任何训练数据。预训练分类模型的广泛可用性,以及为SBIR获取配对照片草图数据集的困难证明了这种设置的实用性。我们提出了一种DF-SBIR的方法,它可以利用独立训练的模型的知识来对照片和草图进行分类。我们在Sketchy,TU-Berlin和QuickDraw基准上评估了我们的模型,根据最先进的DFL文献设计了各种基线,并观察到我们的方法远远超过了所有这些基准。我们的方法还实现了与依赖数据的方法竞争的mAP,同时不需要训练数据。可在\url{https://github.com/abhrac/data-free-sbir}上获得实施。
2023-03-14 cs.CV
A Three-Level Alignment Framework for Large-Scale 3D Retrieval and Controlled 4D Generation
Uni4D通过三级对齐框架实现大规模3D检索与可控4D生成,提升多模态动态理解与应用
2025-12-25 cs.CV
Feature Representation Learning for Unsupervised Cross-domain Image Retrieval
National University of Singapore(新加坡国立大学)
现有的有监督跨域图像检索方法可以取得很好的检索效果。然而,数据汇集和标记的成本对实际应用中的实际部署造成了难以克服的障碍。在本文中,我们研究了无监督跨域图像检索任务,其中类标签和配对注释不再是训练的先决条件。这是一个极具挑战性的任务,因为没有监督域内特征表示学习和跨域对齐。我们解决这两个挑战,通过引入:1)一个新的集群明智的对比学习机制,以帮助提取类语义感知功能,和2)一个新的距离的距离损失,有效地测量和最小化域差异没有任何外部监督。实验上的EQUIP-Home和DomainNet数据集一致表明,我们的框架优于国家的最先进的方法的图像检索精度。我们的源代码可以在https://github.com/conghuihu/UCDIR上找到。
2022-07-20 cs.CV
Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task
Kobe University(神户大学);Nanyang Technological University(南洋理工大学)
随着黑盒机器学习算法,特别是深度神经网络(DNN)的广泛发展,可靠性评估的实际需求迅速上升。基于“贝叶斯深度学习知道它不知道的东西”的概念,DNN输出的不确定性已经被研究作为分类和回归任务的可靠性度量。然而,在图像字幕检索任务中,众所周知的样本并不总是容易检索的样本。本研究探讨影像字幕嵌入与撷取系统的两个方面。一方面,我们量化的特征不确定性考虑图像字幕嵌入作为一个回归任务,并使用它的模型平均,这可以提高检索性能。另一方面,我们进一步量化后验不确定性,考虑检索作为一个分类任务,并使用它作为一个可靠性的措施,这可以大大提高检索性能,拒绝不确定的查询。在不同的数据集(MS COCO和Flickr30k)、不同的深度学习架构(dropout和批量归一化)以及不同的相似性函数下,观察到两种不确定性度量的一致性能。
2019-04-09 cs.CL cs.CV cs.LG
Leaner and Faster: Two-Stage Model Compression for Lightweight Text-Image Retrieval
Shanghai Jiao Tong University(上海交通大学)
当前的文本-图像方法(例如,CLIP)通常采用双编码器架构,使用预训练的视觉语言表示。然而,这些模型仍然提出了非平凡的内存需求和大量的增量索引时间,这使得它们在移动设备上不太实用。在本文中,我们提出了一个有效的两阶段框架来压缩大型预训练的双编码器,用于轻量级文本图像检索。结果模型更小(原始模型的39%),速度更快(处理图像/文本分别为1.6倍/2.9倍),但在Flickr 30 K和MSCOCO基准测试中的性能与原始完整模型相当或更好。我们还开源了一个附带的逼真的移动图像搜索应用程序。
2022-04-29 cs.CL cs.CV
Towards Content-based Pixel Retrieval in Revisited Oxford and Paris
KAIST(韩国科学技术院);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
本文提出了基于ROxford和RParis的首批像素检索基准PROxford和PRParis,通过5942张图像的标注与SOTA方法实验,验证了像素检索任务的挑战性,并表明其能显著提升用户检索体验。
2023-09-11 cs.CV cs.IR
A Review of Image Retrieval Techniques: Data Augmentation and Adversarial Learning Approaches
本文综述了图像检索中数据增强与对抗学习技术的最新进展,重点分析其在提升模型泛化能力、鲁棒性及应对大规模和跨域检索挑战中的作用,并展望未来研究方向。
2024-09-02 cs.CV
PrivateMail: Supervised Manifold Learning of Deep Features With Differential Privacy for Image Retrieval
Massachusetts Institute of Technology(麻省理工学院)
差分隐私提供了强有力的保证,例如在后处理下的不可变隐私。因此,它通常被视为在分散和孤立的数据上学习的解决方案。这项工作的重点是监督流形学习,这是一种可以为目标用例生成微调流形的范例。我们的贡献是双重的。1)我们提出了一种新的差分私有方法\textit{PrivateMail}的监督流形学习,第一个同类我们的知识。2)我们为我们的实验用例提供了一种新的私有几何嵌入方案。我们实验私人的“基于内容的图像检索”-嵌入和查询图像的最近邻居在一个私人的方式-并显示广泛的隐私效用权衡的结果,以及我们的方法的计算效率和实用性。
2021-10-05 cs.CR cs.CV cs.DB
IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval
Tsinghua University(清华大学);Kwai Ads Platform(快手广告平台);Microsoft Research(微软研究院);Kwai Seattle AI Lab(快手西雅图人工智能实验室);Kwai FeDA Lab(快手联邦学习实验室);Kwai AI Platform(快手人工智能平台);University of Warwick(华威大学)
实现图像和文本的双向检索对于理解视觉和语言之间的对应关系非常重要。现有方法利用注意力机制以细粒度的方式探索这种对应。然而,他们中的大多数人认为所有的语义平等,从而统一调整它们,而不管其不同的复杂性。事实上,语义是多样的(即涉及不同种类的语义概念),人类通常遵循潜在的结构将它们组合成可理解的语言。在现有方法中可能难以最佳地捕获这种复杂的对应关系。在本文中,为了解决这样的不足,我们提出了一种迭代匹配与循环注意力记忆(IMRAM)的方法,其中图像和文本之间的对应关系被捕获与多个步骤的对齐。具体来说,我们引入了一个迭代匹配方案,逐步探索这种细粒度的对应关系。一个记忆蒸馏单元用于从早期步骤到后期步骤精炼对齐知识。在Flickr8K、Flickr30K和MS COCO三个基准数据集上的实验结果表明,IMRAM具有最佳的性能,证明了其有效性。在实际商业广告数据集\Ads{}上的实验进一步验证了该方法在实际场景中的适用性。
2020-03-08 cs.CV
Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
IBM Research - Almaden(IBM阿尔马登研究院)
针对现代Hopfield网络大规模存储时的亚稳态等问题,提出整合编码神经表征的Hopfield编码网络,可实现跨模态异联想检索,减少亚稳态、提升存储容量与召回能力,推进其实用性。
2024-10-30 cs.AI cs.CV cs.IR
CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
Southwest Jiaotong University(西南交通大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软技术中心亚洲)
视频-文本检索在多模态研究中起着至关重要的作用,并已广泛应用于许多现实世界的Web应用中。CLIP(对比图像预训练)是一种图像语言预训练模型,已经证明了从网络收集的图像-文本数据集学习视觉概念的能力。在本文中,我们提出了一个CLIP 4Clip模型的知识转移的CLIP模型的视频语言检索在端到端的方式。本文通过实证研究探讨了以下几个问题:1)图像特征是否足以用于视频文本检索?2)基于CLIP的大规模视频文本数据集的后预训练如何影响性能?3)视频帧之间的时间依赖性模型的实际机制是什么?4)模型对视频文本检索任务的超参数敏感性。大量的实验结果表明,从CLIP转移CLIP 4Clip模型可以实现各种视频文本检索数据集上的SOTA结果,包括MSR-VTT,MSVC,LSMDC,ActivityNet和DiDeMo。我们在https://github.com/ArrowLuo/CLIP4Clip上发布代码。
2021-05-08 cs.CV
AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation
AutoLoRA通过权重编码检索器与细粒度门控融合机制,实现语义驱动的多LoRA自动检索与动态聚合,显著提升文本到图像生成性能,并促进基础模型的可扩展增强。
2025-08-04 cs.CV
Tag Relevance Fusion for Social Image Retrieval
Renmin University of China(中国人民大学);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
由于社会标签的主观性质,测量社会标签相对于视觉内容的相关性对于检索越来越多的社会网络图像是至关重要的。见证标签相关性的单一测量的限制,我们在本文中引入标签相关性融合作为标签相关性估计方法的扩展。我们提出了一个系统的研究,包括标签相关性融合的早期和后期阶段,并在监督和无监督的设置。在一个大型的基准集上的实验表明,标签相关性融合可以带来更好的图像检索效果。此外,无监督的标签相关性融合被发现是实际有效的监督标签相关性融合,但不需要任何训练的努力。这一发现表明了标签相关性融合在现实世界部署中的潜力。
2014-10-13 cs.CV cs.IR