Texture and Color-based Image Retrieval Using the Local Extrema Features and Riemannian Distance
提出了一种结合纹理和颜色特征的基于内容的图像检索方法。我们的动机是表示和表征输入图像的一组局部描述符提取的特征点(即关键点)内的图像。然后,图像之间的相异性度量计算的基础上的拓扑特征空间(即流形)形成的局部描述符从这些图像的集合之间的几何距离。在这项工作中,我们建议提取和使用的局部极值像素作为我们的特征点。然后,通过整合由一组最近的局部极值捕获的所有颜色、空间以及梯度信息,为每个关键点生成所谓的基于局部极值的描述符(LED)。因此,每个图像都由LED特征点云编码,这些点云之间的黎曼距离使我们能够处理CBIR。实验Vistex,Stex和彩色Brodatz纹理数据库使用所提出的方法提供了非常有效的和有竞争力的结果相比,国家的最先进的方法。
2017-03-03 cs.CV
Joint Triplet Autoencoder for Histopathological Colon Cancer Nuclei Retrieval
Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院)
深度学习在视觉任务的性能方面表现出了很大的改善。图像检索是从数据库中提取与查询图像在视觉上相似的图像的任务。执行特征匹配以对图像进行排序。过去已经衍生出各种手工设计的特征来表示图像。如今,在生物医学图像分析领域,深度学习的力量正被用于从数据中自动特征学习。Autoencoder和Siamese网络是两个深度学习模型来学习潜在空间(即,特征或嵌入)。自动编码器的工作原理是从潜在空间重建图像。Siamese网络利用三元组来学习类内相似性和类间差异性。此外,Autoencoder是无监督的,而Siamese网络是有监督的。我们提出了一个联合三元组自动编码器网络(JTANet),促进三元组学习的自动编码器框架。对Siamese网络进行了有监督学习,对Autoencoder进行了无监督学习。此外,Autoencoder的Encoder网络与Siamese网络共享,称为Siamcoder网络。特征提取使用训练Siamcoder网络检索的目的。实验在病理学常规结肠癌数据集上进行。我们已经观察到使用所提出的JTANet模型对Autoencoder和Siamese模型在组织病理学图像中进行结肠癌细胞核检索的有前途的性能。
2021-05-24 cs.CV
Face Recognition Based on Polar Frequency Features
提出了一种新的基于极频率的生物动机人脸识别算法。通过傅里叶-贝塞尔变换(FBT)从人脸图像中提取极频率描述子。接下来,计算所有图像之间的欧几里德距离,并且每个图像现在由其与其他图像的相异性表示。在此相异性空间上建立了一个伪Fisher线性判别式。离散傅里叶变换(DFT)描述符的性能,以及两种特征类型的组合也进行了评估。该算法进行了测试,40和1196主题的人脸数据库(ORL和FERET,分别)。在训练和测试数据集中每个受试者有5张图像的情况下,对于FBT、DFT和组合分类器,ORL数据库上的出错率分别为3.8%、1.25%和0.2%,而之前最好的算法所达到的错误率为2.6%。信息量最大的极频率特征集中在低至中等角频率和低径向频率。在FERET数据库上,应用仿射归一化预处理,FBT算法在等级识别测试中仅优于PCA。然而,当通过验证测试进行评价时,其性能与最先进的方法相当。这些结果表明,人脸图像的极性频率内容的识别和验证任务的高信息价值,笛卡尔频率内容可以补充有关受试者身份的信息,但可能只有当图像没有预先规范化。人脸识别的可能影响进行了讨论。
2005-09-27 cs.CV
Using Text to Teach Image Retrieval
Duke University(杜克大学);Purdue University(普渡大学)
图像检索在很大程度上依赖于数据建模的质量和特征空间中的距离度量。基于图像流形的概念,我们首先提出将通过神经网络学习的图像的特征空间表示为图。特征空间中的邻域现在由图像之间的测地线距离定义,表示为图顶点或流形样本。当有限的图像可用时,该流形被稀疏地采样,使得测地线计算和相应的检索更加困难。为了解决这个问题,我们用几何对齐的文本来增加流形样本,从而使用大量的句子来教我们关于图像的知识。除了在标准数据集上的大量结果说明了文本帮助图像检索的能力之外,还引入了一个新的基于CLEVR的公共数据集来量化视觉数据和文本数据之间的语义相似性。实验结果表明,联合嵌入流形是一个强大的表示,允许它是一个更好的基础上执行图像检索只给一个图像和文本指令的期望修改的图像
2020-11-19 cs.AI cs.CV cs.LG
A Decade Survey of Content Based Image Retrieval using Deep Learning
Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院)
基于内容的图像检索的目标是从大规模的图像数据集中找到与查询图像相似的图像。通常,查询图像和数据集图像的代表性特征之间的相似性用于对图像进行排序以供检索。在早期,已经基于表示图像的视觉线索(诸如颜色、纹理、形状等)研究了各种手工设计的特征描述符。然而,深度学习已经成为十年来手工设计特征工程的主要替代方案。它自动从数据中学习特征。本文对基于内容的图像检索在过去十年中基于深度学习的发展进行了全面的调查。为了更好地了解进展情况,还从不同角度对现有的最先进的方法进行了分类。本调查中使用的分类法涵盖了不同的监督、不同的网络、不同的描述符类型和不同的检索类型。还使用最先进的方法进行性能分析。这些见解也有利于研究人员观察进展并做出最佳选择。本文的综述将有助于进一步利用深度学习进行图像检索的研究进展。
2021-05-20 cs.AI cs.CV cs.MM
Enhancing Historical Image Retrieval with Compositional Cues
Computer Vision Lab, TU Wien(计算机视觉实验室,维也纳技术大学)
针对历史图像检索忽视非语义信息的问题,提出将CNN提取的图像构图线索显式融入检索模型,同时利用构图与语义信息,实验证明该方法优于仅依赖内容的方法,能更符合人类感知地检索图像。
2024-03-21 cs.AI cs.CV eess.IV
GPR1200: A Benchmark for General-Purpose Content-Based Image Retrieval
HTW Berlin(柏林工程应用科学大学)
尽管已广泛证明深度神经网络的检索特定训练有利于最近邻图像搜索质量,但这些模型中的大多数都是在地标图像领域进行训练和测试的。然而,一些应用程序使用来自各种其他领域的图像,因此需要具有良好泛化性能的网络-通用CBIR模型。据我们所知,没有测试协议迄今已被引入到基准模型方面的一般图像检索质量。在分析了流行的图像检索测试集后,我们决定手动策划GPR 1200,这是一个易于使用和访问但具有挑战性的基准数据集,具有广泛的图像类别。该基准随后用于评估不同架构的各种预训练模型的泛化质量。我们表明,大规模的预训练显着提高检索性能,并提出了如何通过适当的微调进一步提高这些属性的实验。有了这些有希望的结果,我们希望增加在通用CBIR的研究课题的兴趣。
2021-11-25 cs.AI cs.CV cs.IR
A Comparative Analysis of Retrieval Techniques In Content Based Image Retrieval
AISSMS Institute Of Information Technology(AISSMS信息技术学院);Savitribai Phule Pune University(萨维特里拜·普勒浦那大学);Matoshri COE and Research Center(Matoshri工程与研究学院)
基于内容的图像检索(CBIR)利用颜色、形状、纹理等基本视觉技术对查询图像或图像的子区域进行检索,从而在图像数据库中找到相似的图像。为了提高图像检索的效果,在基于内容的图像检索(CBIR)中经常使用相关反馈来帮助用户表达自己的偏好,从而提高检索效果,本文提出了一种基于颜色直方图、特征值和匹配点等特征的图像检索方法。首先利用边缘检测技术从各种类型的数据库中识别图像,一旦图像被识别,则在特定数据库中搜索图像,然后显示所有相关图像。这将节省检索时间。为了进一步检索精确的查询图像,使用三种技术中的任何一种,并进行比较。平均检索时间与其它两种方法相比,特征值法是最好的方法
2015-08-27 cs.CV
CgAT: Center-Guided Adversarial Training for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology Shenzhen Research Institute(香港科技大学深圳研究院)
深度哈希算法由于其高效性和有效性,在海量图像检索中得到了广泛的应用。然而,深度哈希模型容易受到对抗性示例的攻击,因此开发对抗性防御方法用于图像检索至关重要。现有的解决方案实现了有限的防御性能,因为使用弱对抗性样本进行训练,并且缺乏区分性优化目标来学习鲁棒特征。在本文中,我们提出了一种基于最小-最大值的中心引导对抗训练,即CgAT,通过最差的对抗示例来提高深度哈希网络的鲁棒性。具体来说,我们首先制定的中心代码作为一个语义的歧视性代表的输入图像内容,它保留了语义相似性与积极的样本和不相似性与消极的例子。我们证明了一个数学公式可以立即计算出中心码。在深度哈希网络的每次优化迭代中获得中心码后,采用它们来指导对抗训练过程。一方面,CgAT通过最大化对抗样本的哈希码与中心码之间的汉明距离来生成最差的对抗样本作为增强数据。另一方面,CgAT通过最小化到中心码的汉明距离来学习减轻对抗样本的影响。在基准数据集上的大量实验证明了我们的对抗性训练算法在防御基于深度哈希的检索的对抗攻击方面的有效性。在FLICKR-25 K、NUS-WIDE和MS-COCO上,与当前最先进的防御方法相比,防御性能平均提高了18.61%、12.35%和11.56%。该代码可在https://github.com/xunguangwang/CgAT上获得。
2023-03-25 cs.AI cs.CR cs.CV
Revisiting Relevance Feedback for CLIP-based Interactive Image Retrieval
The University of Tokyo(东京大学);Kioxia Corporation(铠侠株式会社)
针对度量学习无法处理用户偏好差异且依赖训练数据的问题,提出一种结合CLIP零样本能力与相关性反馈的交互式图像检索系统,有效适应用户偏好并提升检索准确率。
2024-09-24 cs.CV
Cross-View Image Retrieval -- Ground to Aerial Image Retrieval through Deep Learning
Lahore University of Management Sciences(拉合尔管理科学大学)
跨模态检索的目的是度量不同类型数据之间的内容相似性。这个想法以前已经应用于视觉,文本和语音数据。在本文中,我们提出了一种新的跨模态检索方法,专门用于多视图图像,称为跨视图图像检索CVIR。我们的方法旨在找到一个特征空间以及嵌入空间,其中街景图像的样本直接与卫星图像进行比较(反之亦然)。为了进行这种比较,提出了一种新的基于深度度量学习的解决方案“DeepCVIR”。先前的交叉视图图像数据集的不足之处在于它们(1)缺乏类别信息;(2)最初收集用于具有耦合图像的交叉视图图像地理定位任务;(3)不包括来自街道外位置的任何图像。为了训练、比较和评估交叉视图图像检索的性能,我们提出了一个新的6类交叉视图图像数据集CrossViewRet,该数据集包括高速公路、山脉、宫殿、河流、船舶和体育场等图像,每类700幅高分辨率双视图图像。结果表明,所提出的DeepCVIR在给定数据集的CVIR任务上优于传统的匹配方法,并且也可以作为未来研究的基线。
2020-05-02 cs.CV
Color Image Retrieval Using Fuzzy Measure Hamming and S-Tree
HoChiMinh city University of Food Industry(胡志明市食品工业大学);Hue University(顺化大学)
本章探讨了基于图像颜色的图像检索系统。该方法在HSV颜色空间上建立模糊特征来描述图像的颜色,并建立模糊汉明距离(FHD)来评价图像之间的相似性。为了减少存储空间,加快相似图像的检索速度,本文提出了一种基于FHD的S树存储模糊特征,并在S树上建立图像检索算法。然后,提出了基于内容的图像检索(CBIR)和一种基于FHD和S树的图像检索方法。最后,在此理论基础上,给出了一个在一万多幅图像数据库系统上进行相似图像查询的应用和实验评估。
2015-06-03 cs.CV
NIST: An Image Classification Network to Image Semantic Retrieval
Univ. of Electronic Science and Technology of China(电子科技大学)
本文提出了一个分类网络图像语义检索(NIST)框架,以应对图像检索的挑战。该方法利用基于卷积神经网络的GoogleNet分类网络,得到包含类别序号和对应概率的语义特征矩阵。与传统的图像检索中通过特征匹配来计算图像之间的相似度不同,NIST利用图像的语义信息来构造语义特征矩阵,并使用语义距离算法来计算相似度。此外,由于参与最后一次语义距离计算的类较少,融合策略可以显著减少存储和时间消耗。实验表明,我们的NIST框架产生国家的最先进的结果在MIRFLICKR-25 K数据集上的检索实验。
2016-07-02 cs.CV
Image retrieval method based on CNN and dimension reduction
Shandong Agricultural University(山东农业大学)
提出了一种基于卷积神经网络和降维的图像检索方法。采用卷积神经网络提取图像的高层特征,针对提取的特征维数过高且相关性强的问题,采用多线性主成分分析对特征进行降维。对降维后的特征进行二进制哈希编码,以实现快速图像检索。在电子商务图像数据集上的实验表明,本文提出的方法比基于主成分分析的检索方法具有更好的检索效果。
2019-01-13 cs.CV
ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval
The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Bytedance Inc.(字节跳动公司);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
本文提出ChatSearch数据集和生成检索模型,用于开放领域图像的对话式检索,通过多轮多模态对话上下文查询提升检索准确性。
2024-10-24 cs.CV
All You Need to Know About Training Image Retrieval Models
Polytechnic of Turin(都灵理工大学)
本文通过数万次训练实验,系统分析嵌入模型架构、损失函数、采样器、挖掘函数、学习率和批量大小等因素对图像检索准确率的影响,并总结跨数据集的最佳实践。
2025-03-17 cs.CV
Bridging the Gap between Local Semantic Concepts and Bag of Visual Words for Natural Scene Image Retrieval
Faculty of Information Technology, Applied Science Private University(应用科学私立大学信息技术学院)
研究了基于语义的自然场景图像检索问题。典型的基于内容的图像检索系统将查询图像和数据集中的图像作为低级特征的集合来处理,并且基于查询图像的特征与图像数据集中的图像的特征之间的相似性来检索图像的排序列表。然而,检索列表中排名靠前的图像(其与查询图像具有高相似性)在用户的语义解释方面可能与查询图像不同,这被称为语义差距。为了减少语义鸿沟,本文研究了如何使用视觉词模型袋和局部语义概念的分布进行自然场景检索。本文研究了使用不同的方法来表示自然场景图像中描述的语义信息,用于图像检索的效率。实验研究了利用语义信息和视觉词袋模型进行自然和城市场景图像检索的有效性。
2022-10-17 cs.CV
Unsupervised Triplet Hashing for Fast Image Retrieval
Shanghai Jiao Tong University(上海交通大学)
哈希算法在大规模图像检索中发挥着举足轻重的作用。随着卷积神经网络(CNN)的发展,散列学习显示出巨大的潜力。但是现有的方法大多是针对分类进行调整的,这些方法并没有针对检索任务进行优化,特别是对于实例级检索。在这项研究中,我们提出了一种新的散列方法的大规模图像检索。针对大规模图像检索中获取标记数据集的困难,提出了一种基于CNN的无监督哈希方法--无监督三元组哈希(UTH)。无监督哈希网络的设计遵循以下三个原则:1)图像检索的更具鉴别力的表示; 2)原始实值特征描述符和学习的哈希码之间的最小量化损失; 3)学习的哈希码的最大信息熵。在CIFAR-10、MNIST和In-shop数据集上进行的大量实验表明,UTH在检索精度方面优于几种最先进的无监督哈希方法。
2017-02-28 cs.CV
2-bit Model Compression of Deep Convolutional Neural Network on ASIC Engine for Image Retrieval
Gyrfalcon Technology Inc.(Gyrfalcon科技公司)
图像检索利用图像描述符来检索与给定查询图像最相似的图像。卷积神经网络(CNN)正成为图像检索中提取图像描述符的主要方法。对于图像检索的低功耗硬件实现,基于CNN的特征描述符的缺点是它需要数百兆字节的存储。为了解决这个问题,本文将深度模型量化和压缩应用于图像检索ASIC芯片中的CNN。它表明,基于CNN的特征描述符可以提取使用少至2位的权重量化提供类似的性能作为浮点模型的图像检索。此外,在ASIC中实现CNN,特别是对于大规模图像,应该考虑芯片的有限缓冲区大小。为了检索大规模图像,我们提出了一种改进的池化策略,即区域嵌套不变性池化(RNIP),它使用CNN的裁剪子图像。片上测试结果表明,将RNIP与所提出的2位CNN模型压缩方法相结合,能够检索大规模图像。
2019-05-08 cs.AI
ERVD: An Efficient and Robust ViT-Based Distillation Framework for Remote Sensing Image Retrieval
ERVD提出了一种基于ViT的知识蒸馏框架,用于提升遥感图像检索的效率和鲁棒性,通过高效模型架构和鲁棒训练策略实现高精度检索。
2026-02-08 cs.CV
Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval
Nanjing University(南京大学)
为ImageNet分类任务预训练的深度卷积神经网络模型已成功应用于其他领域的任务,例如纹理描述和对象建议生成,但这些任务需要对新领域中的图像进行注释。在本文中,我们专注于一个新的和具有挑战性的任务,在纯无监督设置:细粒度的图像检索。即使有图像标签,细粒度的图像也很难分类,更不用说无监督检索任务了。我们提出了选择性卷积描述符聚合(SCDA)方法。SCDA首先在细粒度图像中定位主要对象,这一步骤丢弃了噪声背景并保留了有用的深度描述符。然后使用我们发现的最佳实践将所选描述符聚合并降维为短特征向量。SCDA是无监督的,不使用图像标签或限界框注释。在六个细粒度数据集上的实验证实了SCDA在细粒度图像检索中的有效性。此外,可视化的SCDA功能表明,他们对应的视觉属性(即使是微妙的),这可能解释SCDA的高平均精度在细粒度检索。此外,在一般的图像检索数据集,SCDA实现了可比的检索结果与国家的最先进的一般图像检索方法。
2017-07-13 cs.CV
Image Retrieval with Fisher Vectors of Binary Features
The University of Tokyo(东京大学);KDDI R&D Laboratories, Inc.(KDDI研发实验室);National Institute of Informatics(国立情报学研究所)
近年来,局部特征的Fisher矢量表示方法由于其在图像分类和图像检索中的有效性而受到广泛关注。图像检索领域的另一个趋势是使用二进制特征,如ORB,FREAK和BRISK。考虑到连续特征描述符的Fisher向量在图像分类和检索中的准确性的显著性能改进,如果Fisher向量也被应用于二进制特征,则我们将在基于二进制特征的图像检索和分类中获得类似的益处。在本文中,我们推导出封闭形式的近似的Fisher向量的二进制特征建模的伯努利混合模型。我们还提出了加速Fisher向量使用后验概率的近似值。实验表明,与二值词袋方法相比,Fisher向量表示方法显著提高了图像检索的准确率。
2016-09-27 cs.CV
Knowledge-aware Text-Image Retrieval for Remote Sensing Images
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对遥感跨模态检索中的文本-图像信息不对称问题,提出KTIR方法,利用外部知识图谱扩展查询文本并注入领域知识,提升预训练视觉-语言模型的遥感适配与检索性能。
2024-10-25 cs.CV
Generating Binary Tags for Fast Medical Image Retrieval Based on Convolutional Nets and Radon Transform
University of Waterloo(滑铁卢大学)
基于内容的医学图像检索(CBIR)是一个具有挑战性和必要的任务。通常,使用不同的特征提取方法来将表达特征和不变特征分配给每个图像,使得对相似图像的搜索归结为特征分类和/或匹配。目前的工作介绍了一种新的图像检索方法的医疗应用,采用卷积神经网络(CNN)与最近推出的氡条形码。我们将神经代码用于全局分类,Radon条形码用于最终检索。我们还研究了图像检索后的感兴趣区域(ROI)匹配的基础上的图像搜索。IRMA数据集超过14,000 x射线图像用于评估我们的方法的性能。实验结果表明,我们的方法是优于许多已发表的作品。
2016-04-16 cs.CV
Image Retrieval Based on Binary Signature ang S-kGraph
在本文中,我们介绍了一个最佳的方法查询相似的图像在大型数字图像数据库。我们的工作是基于RBIR(region-based image retrieval)方法,它使用多个区域作为检索图像的关键。该方法显著提高了查询的准确性。然而,这也增加了计算成本。为了减少这种昂贵的计算成本,我们实现了二进制签名编码器,它将图像映射到其二进制标识。为了加快查找速度,利用S-kGraph对图像的二值特征进行分类。最后,我们的工作进行了评价COREL的图像。
2015-06-02 cs.CV
Matchable Image Retrieval by Learning from Surface Reconstruction
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology (Altizure)(深圳珠科创新科技(Altizure))
卷积神经网络(CNN)在目标图像检索方面取得了优异的性能,而具有手工局部特征的词袋(BoW)模型仍然主导着3D重建中重叠图像的检索。在本文中,我们缩小了这一差距,提出了一个有效的基于CNN的方法来检索图像重叠,我们称之为匹配图像检索问题。与以往基于稀疏重建生成训练数据的方法不同,本文建立了一个具有丰富三维几何信息的大规模图像数据库,并利用表面重建信息获得细粒度的训练数据。我们提出了一种基于三元组的批量损失函数与网格重投影相结合,以有效地学习CNN表示。所提出的方法显着加快了图像检索过程中的三维重建,并优于国家的最先进的CNN为基础的匹配图像检索和BoW方法。代码和数据可在https://github.com/hlzz/mirror上获得。
2018-12-10 cs.CV
Risk Controlled Image Retrieval
University of Liverpool(利物浦大学);University College London(伦敦大学学院);University of Warwick(华威大学);Purple Mountain Laboratories(紫金山实验室)
本文提出RCIR框架,为图像检索集提供以预定义概率包含真实最近邻的覆盖率保证,并在四个真实数据集上验证其有效性与效率。
2025-01-06 cs.CV
Complete Cross-triplet Loss in Label Space for Audio-visual Cross-modal Retrieval
KDDI Research, Inc.(KDDI综合研究所)
异构间隙问题是跨模态检索面临的主要挑战。因为跨模态数据(例如视听)具有不同的分布和表示,无法直接比较。为了弥合视听模态之间的差距,我们学习一个共同的子空间,他们利用的内在相关性的自然同步的视听数据的帮助下,注释标签。TNN-CCCA是目前最好的视听跨模态检索(AV-CMR)模型,但在学习公共子空间时,采用三元组损失预测输入之间的相对距离,模型训练对硬负样本敏感。为了减少表示学习过程中硬负样本的干扰,本文提出了一种新的AV-CMR模型,通过直接预测标签,然后使用完全交叉三重损失度量视听数据之间的内在相关性来优化语义特征。特别是,我们的模型将视听功能投影到标签空间中,通过最小化特征投影和地面标签表示后的预测标签特征之间的距离。此外,我们采用完全交叉三元组损失,以优化预测的标签功能,利用所有可能的相似性和不同的语义信息之间的关系,跨模态。在两个视听双重检查数据集上的广泛实验结果表明,与当前最先进的AV-CMR任务方法TNN-CCCA相比,平均MAP提高了约2.1%,这表明了我们提出的模型的有效性。
2022-11-07 cs.AI cs.MM
Learning High-level Image Representation for Image Retrieval via Multi-Task DNN using Clickthrough Data
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
图像检索是指从图像数据库中寻找与查询相关的图像,由于图像的低层表示和查询的高层表示之间存在着鸿沟,因此图像检索被认为是一个难点。最近进一步开发的深度神经网络揭示了从原始像素自动学习高级图像表示。在本文中,我们提出了一种用于图像检索的多任务DNN,它包含两个部分,即,用于图像表示计算的查询共享层和用于相关性估计的查询特定层。多任务DNN的权重是通过Ring Training在点击数据上学习的。在模拟数据集和真实数据集上的实验结果表明了该方法的有效性。
2013-12-21 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,我们介绍了一个跨模态图像检索系统,允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态,学习文本和图像之间以及草图和图像之间的共同嵌入。此外,注意力模型用于选择性地将注意力集中在图像的不同对象上,从而允许在查询中检索多个对象。实验表明,该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
Region-based Contrastive Pretraining for Medical Image Retrieval with Anatomic Query
Vanderbilt University(范德堡大学);Microsoft Health AI(微软健康人工智能部门);Microsoft Health Futures(微软健康未来部门)
本文提出RegionMIR,一种基于区域的对比预训练方法,通过解剖特征提取和对比学习实现医学图像检索,在Chest ImaGenome数据集上解剖分类准确率提升至94.12%。
2023-05-09 cs.CV
Challenging deep image descriptors for retrieval in heterogeneous iconographic collections
Univ. Paris-Est(巴黎东大学);IGN-ENSG(法国国家地理信息学院);École Centrale Lyon(里昂中央理工学院)
本文提出研究最近和有效的最先进的基于深度学习的图像描述符的行为,用于基于内容的图像检索,面对异构图像数据集中出现的一组复杂变化,特别是在可能涉及多源,多日期和多视图的文化收藏中。
2019-09-19 cs.CV
Evaluating Contrastive Models for Instance-based Image Retrieval
SFI Insight Centre for Data Analytics, Dublin City University(SFI洞察数据分析中心,都柏林城市大学)
在这项工作中,我们评估对比模型的图像检索任务。我们假设,通过判别式学习学习来编码实例之间的语义相似性的模型应该在图像检索的任务上表现良好,其中相关性是根据同一对象的实例来定义的。通过我们广泛的评估,我们发现使用对比方法训练的模型的表示与在各种配置下的检索任务中在ImageNet标签上训练的预训练监督基线相当(并且优于)。这是值得注意的,因为对比模型不需要明确的监督。因此,我们得出结论,这些模型可以用来引导基础模型,以建立更强大的图像检索引擎。
2021-04-30 cs.CV
Image retrieval with hierarchical matching pursuit
Tsinghua University(清华大学)
本文提出了一种新的图像表示方法,该方法利用一种新的具有显著鉴别能力的特征进行图像检索。尽管对象具有多尺度特性,但大多数现有模型在固定尺度上执行特征提取,这将不可避免地降低整个系统的性能。出于这一动机,我们引入了一个分层稀疏编码架构的图像检索,探索多尺度线索。在较低层上提取的稀疏码被递归地发送到较高层。通过这种机制,来自不同尺度的线索被融合在一起。在Holidays数据集上的实验表明,该方法在代码长度较小的情况下取得了良好的检索性能。
2014-06-05 cs.CV
Progressive Local Filter Pruning for Image Retrieval Acceleration
Xiamen University of Technology(厦门理工学院);ReLER, University of Technology Sydney(悉尼科技大学ReLER研究所)
本文重点研究了用于图像检索加速的网络剪枝方法。现有的图像检索工作主要集中在区分性特征的学习上,而对如何加速模型推理的研究较少,这一点在实际应用中应予以考虑。剪枝图像检索模型的挑战在于尽可能多地保留中间层特征。这种不同的要求的检索和分类模型,使传统的修剪方法不适合我们的任务。为了解决这个问题,我们提出了一种新的渐进局部过滤器修剪(PLFP)的图像检索加速方法。具体来说,逐层分析每个滤波器的局部几何特性,并选择可以由邻居替换的滤波器。然后,我们通过逐渐改变滤波器权重来逐步修剪滤波器。通过这种方式,保留了模型的表示能力。为了验证这一点,我们在两个广泛使用的图像检索数据集上评估了我们的方法,即,Oxford 5 k和Paris 6 K,以及一个人重新识别数据集,即,市场-1501。所提出的方法达到了优越的性能,传统的修剪方法,表明所提出的方法用于图像检索的有效性。
2020-01-24 cs.CV
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University(乌普萨拉大学)
在组织表征和癌症诊断中,多模态成像已经成为一种强大的技术。由于计算的进步,可以利用大型数据集来发现病理模式并改善诊断。然而,这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性,因为由不同模态捕获的相似(甚至相同)内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索(CBIR)系统,用于跨模态的反向(子)图像搜索,该系统将深度学习与经典的特征提取和词袋模型相结合,以生成表示(将不同的模态嵌入到公共空间中),从而实现高效可靠的检索。我们说明了它的优势,通过替换研究,探索了一些特征提取器和学习表示,以及通过比较最近(跨模态)CBIR方法。对于明场和二次谐波发生显微图像(公开可用)数据集上的(子)图像检索任务,结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性,学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得:\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
Self-supervised Product Quantization for Deep Unsupervised Image Retrieval
Seoul National University(首尔大学)
基于监督深度学习的哈希和矢量量化正在实现快速和大规模的图像检索系统。通过充分利用标签注释,它们实现了出色的检索性能相比,传统的方法。然而,为大量的训练数据精确地分配标签是困难的,并且注释过程也是容易出错的。为了解决这些问题,我们提出了第一种深度无监督图像检索方法,称为自监督产品量化(SPQ)网络,它是无标签的,并以自监督的方式进行训练。我们设计了一个交叉量化的对比学习策略,通过比较单独变换的图像(视图)来联合学习码字和深度视觉描述符。我们的方法分析图像内容,提取描述性特征,使我们能够理解图像表示准确检索。通过对基准进行广泛的实验,我们证明了所提出的方法即使没有监督的预训练也能产生最先进的结果。
2022-01-12 cs.CV
Barcode Annotations for Medical Image Retrieval: A Preliminary Investigation
University of Waterloo(滑铁卢大学)
本文提出了生成和使用条形码来注释医学图像和/或其感兴趣的区域,如器官,肿瘤和组织类型。已经存在许多有效的基于特征的图像检索方法,可以将查询图像分配到某个图像类。视觉注释可能有助于提高检索的准确性,如果与现有的基于特征的分类范例相结合。而与注释,我们通常意味着文本描述,在本文中提出了条形码注释。特别地,介绍了Radon条形码(RBC)。此外,局部二进制模式(LBP)和局部Radon二进制模式(LRBP)被实现为条形码。IRMA X射线数据集包含12,677张训练图像和1,733张测试图像,用于验证条形码如何促进图像检索。
2015-05-19 cs.CV
DOLG: Single-Stage Image Retrieval with Deep Orthogonal Fusion of Local and Global Features
Baidu Inc.(百度公司)
图像检索是从数据库中获取与查询图像相似的图像的基本任务。一个常见的图像检索实践是首先检索候选图像通过相似性搜索使用全局图像特征,然后重新排序的候选人,利用他们的局部特征。以往基于学习的研究主要集中在全局或局部图像表示学习来解决检索任务。在本文中,我们放弃了两阶段的范例,并寻求设计一个有效的单阶段的解决方案,将图像内部的局部和全局信息整合到紧凑的图像表示。具体来说,我们提出了一个深度正交局部和全局(DOLG)的信息融合框架的端到端的图像检索。该算法首先利用自注意和多核卷积的思想,集中地提取具有代表性的局部信息。然后从局部信息中提取与全局图像表示正交的分量。最后,将正交分量与全局表示连接起来作为互补,然后进行聚合以生成最终表示。整个框架是端到端可区分的,可以使用图像级标签进行训练。大量的实验结果验证了我们的解决方案的有效性,并表明我们的模型达到了最先进的图像检索性能的牛津和巴黎数据集。
2021-08-11 cs.CV
Query Attack via Opposite-Direction Feature:Towards Robust Image Retrieval
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所(AAII));Research School of Computer Science, Australian National University(澳大利亚国立大学计算机科学研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
现有对抗样本的研究大多集中在攻击图像识别模型上,而很少关注图像检索任务。在本文中,我们确定了两个固有的挑战,在应用流行的图像识别攻击方法的图像检索。首先,图像检索需要有区别的视觉特征,这与图像识别中的独热类预测有很大不同。其次,由于图像检索中训练集和测试集之间的不相交和潜在不相关的类,从预定义的训练类预测查询类别是不准确的,并导致次优的对抗梯度。为了解决这些限制,我们提出了一种新的白盒攻击方法,反向特征攻击(ODFA),生成对抗性查询。反向特征攻击(ODFA)有效地利用了特征级对抗梯度,并利用了表示空间中的特征距离。据我们所知,我们是设计专门用于图像检索的攻击方法的早期尝试之一。当我们部署一个受攻击的图像作为查询时,真正的匹配很容易获得低排名。我们通过大量的实验证明:(1)仅制作对抗性查询就足以欺骗最先进的检索系统;(2)所提出的攻击方法ODFA比分类攻击方法具有更高的攻击成功率,验证了利用图像检索特性的必要性;(3)由我们的方法生成的对抗性查询具有良好的可移植性,而无需访问其参数,即,黑盒设置
2020-10-20 cs.CV
Perceptual uniform descriptor and Ranking on manifold: A bridge between image representation and ranking for image retrieval
Dalian University of Technology(大连理工大学);Liaoning Normal University(辽宁师范大学)
在图像检索中,图像描述符与排序的不兼容性往往被忽视。本文运用多元学习理论和完形心理学理论来解决这一问题。基于完形心理学提出了一种新的整体描述子--感知均匀描述子(PUD),它结合了颜色和梯度方向来模仿人类视觉的均匀性。PUD特征在大多数情况下分布在同一类图像的一个流形上,因为PUD改善了传统描述符的视觉均匀性。因此,我们使用流形排序和PUD来实现图像检索。在5个基准数据集上进行了实验,实验结果表明,该方法可以大大提高图像检索的准确率。我们在Ukbench和Corel-1 K数据集上的实验结果表明,使用只有280维的PUD,N-S得分分别达到3.58(HSV 3.4)和mAP达到81.77%(ODBTC 77.9%)。结果高于其他整体图像描述符(甚至一些局部描述符)和最先进的检索方法。
2016-09-24 cs.CV
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing(北京科技大学)
基于零镜头草图的图像检索(Zero-Shot Sketch-Based Image Retrieval,简称ZSBIR)是一个具有挑战性的跨模态检索任务。在现有技术中,通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而,域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度:利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法,该方法对图库图像进行聚类,并使用聚类质心作为检索代理。此外,提出了一种分布对齐损失,使图像和草图特征具有共同的高斯分布,从而减小了域间隙。尽管它很简单,我们提出的方法在流行的数据集上比最先进的方法有很大的优势,例如,在Sketchy和TU-Berlin数据集上,mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
Image Retrieval Method Using Top-surf Descriptor
LIACS Media Lab(LIACS媒体实验室)
这份报告提出了一个基于内容的图像检索项目的结果和细节,使用顶冲浪描述符。实验结果是初步的,但是,它显示了从对象的部分或从相似的对象推断对象的能力。本文使用了一个由1200幅图像组成的数据集,其中800幅图像平均分为8类,即飞机,海滩,摩托车,森林,大象,马,公共汽车和建筑物,而其他400幅图像是从互联网上随机挑选的。最好的结果是从建筑类。
2011-04-04 cs.CV
Sketch-based Medical Image Retrieval
National Cancer Center Research Institute(国家癌症中心研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学);RIKEN Information R&D and Strategy Headquarters(理化学研究所信息研发与战略总部);National Cancer Center Hospital(国家癌症中心医院)
存储在医院中的医学图像的量比以往任何时候都增长得更快;然而,利用积累的医学图像已经受到限制。这是因为现有的基于内容的医学图像检索(CBMIR)系统通常需要示例图像来构建查询向量;然而,示例图像并不总是准备好的。此外,可能存在具有罕见特征的图像,这使得很难找到类似的示例图像,我们称之为孤立样本。在这里,我们介绍了一种新的草图为基础的医学图像检索(SBMIR)系统,使用户能够找到感兴趣的图像,而无需示例图像。其核心思想在于医学图像的特征分解,即医学图像的整个特征可以分解为正常和异常特征,并从正常和异常特征中重建。通过扩展这一思想,我们的SBMIR系统提供了一个易于使用的两步图形用户界面:用户首先选择一个模板图像,以指定一个正常的功能,然后绘制一个语义草图的模板图像上的疾病,以代表一个异常的功能。随后,它将这两种类型的输入,以构建一个查询向量,检索参考图像与最近的参考向量。使用两个数据集,10名具有不同临床背景的医疗保健专业人员参与了用户测试以进行评价。因此,我们的SBMIR系统使用户能够克服以前的挑战,包括基于细粒度图像特征的图像检索,没有示例图像的图像检索,以及孤立样本的图像检索。我们的SBMIR系统实现了灵活的医疗图像检索的需求,从而扩大了医疗图像数据库的效用。
2023-03-07 cs.CV
Training Vision Transformers for Image Retrieval
Facebook AI(脸书人工智能研究院);ENS(巴黎高等师范学院);Inria(法国国家信息与自动化研究所)
Transformers已经在自然语言理解和最近的图像分类方面显示出了出色的结果。我们在这里扩展这项工作,并提出了一个基于变换的方法进行图像检索:我们采用视觉Transformer生成图像描述符和训练的度量学习目标,它结合了对比损失与差分熵正则化模型。我们的研究结果表明,与基于卷积的方法相比,Transformers具有一致和显著的改进。特别是,我们的方法优于最先进的几个公共基准的类别级检索,即斯坦福在线产品,店内和CUB-200。此外,我们在ROxford和RParis上的实验还表明,在类似的设置中,Transformers对于特定的对象检索具有竞争力,特别是在短矢量表示和低分辨率图像的情况下。
2021-02-10 cs.CV
Composing Text and Image for Image Retrieval - An Empirical Odyssey
Georgia Tech(佐治亚理工学院);Google AI(谷歌人工智能);Stanford University(斯坦福大学)
在本文中,我们研究的图像检索的任务,其中输入查询指定的形式的图像加上一些文字,描述所需的修改输入图像。例如,我们可以呈现埃菲尔铁塔的图像,并要求系统找到视觉上相似但以小的方式修改的图像,例如在夜间而不是在白天拍摄。为了解决这个问题,我们学习目标图像和源图像加源文本之间的相似性度量,嵌入和合成函数,使得目标图像特征接近源图像加文本的合成特征。我们提出了一种新的方式来结合图像和文本使用这样的功能,是专为检索任务。我们在3个不同的数据集上展示了这种方法优于现有的方法,即Fashion-200 k,MIT-States和我们基于CLEVR创建的新合成数据集。我们还表明,我们的方法可以用来分类输入查询,除了图像检索。
2018-12-18 cs.CV
Query-adaptive Image Retrieval by Deep Weighted Hashing
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
散列方法在大规模图像检索中受到广泛关注。最近,一些深度哈希方法通过利用深度网络的强大表示能力,取得了令人鼓舞的结果。然而,现有的深度哈希方法平等地对待所有哈希位。一方面,大量的图像共享相同的距离查询图像由于离散的汉明距离,这提出了一个关键的问题,图像检索的细粒度的排名是非常重要的。另一方面,不同的哈希位对图像检索的贡献实际上是不同的,同等对待它们会极大地影响图像检索的准确性。为了解决上述两个问题,我们提出了查询自适应深度加权哈希(QaDWH)的方法,它可以执行细粒度的排序不同的查询加权汉明距离。首先,提出了一种新的深度哈希网络来联合学习哈希码和相应的类权重,使得学习的权重可以反映不同哈希位对不同图像类的重要性。其次,提出了一种查询自适应的图像检索方法,该方法通过融合图像的语义概率和学习到的类权值,快速生成不同查询图像的哈希位权值。细粒度的图像检索,然后进行加权汉明距离,它可以提供更准确的排名比传统的汉明距离。在四个广泛使用的数据集上的实验表明,该方法优于八种最先进的哈希方法。
2017-05-09 cs.CV
A Review of Image Retrieval Techniques: Data Augmentation and Adversarial Learning Approaches
本文综述了图像检索中数据增强与对抗学习技术的最新进展,重点分析其在提升模型泛化能力、鲁棒性及应对大规模和跨域检索挑战中的作用,并展望未来研究方向。
2024-09-02 cs.CV
Object-Centric Open-Vocabulary Image-Retrieval with Aggregated Features
General Motors(通用汽车公司);Bar-Ilan University(巴伊兰大学)
本文提出将 CLIP 稠密嵌入聚合为紧凑表示,以兼顾可扩展性与小对象识别能力,在三个数据集上较全局特征方法提升最高 15 mAP,并验证了其在大规模检索中的可扩展性与可解释性。
2024-12-26 cs.CV
Spatial-Spectral Regularized Local Scaling Cut for Dimensionality Reduction in Hyperspectral Image Classification
Advanced Technology Development Centre, Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校先进技术开发中心);Department of Electrical Engineering, Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校电气工程系)
分辨率约简(DR)方法在提供高光谱图像(HSI)分类的鉴别信息和减少计算负担方面受到了广泛的关注。然而,由于高维谱的训练样本有限,DR方法面临许多挑战。为了解决这个问题,提出了一种基于图的空间和光谱正则化局部尺度切割(SSRLSC)的HSI数据DR。该方法的基本思想是利用光谱和空间域的信息,以实现更好的分类精度比光谱域对应。在SSRLSC中,引导滤波器最初用于平滑和均匀化HSI数据的像素,以保持像素的一致性。其次是生成类间和类内相异度矩阵在光谱和空间域的正则化局部尺度切割(RLSC)和相邻像素局部尺度切割(NPLSC)分别。最后,我们通过优化更新的空间-光谱类间和总类相异度来获得投影矩阵。两个流行的现实世界的HSI数据集的DR算法的有效性说明。
2018-12-07 cs.CV cs.LG stat.ML
Aggregated Deep Local Features for Remote Sensing Image Retrieval
Eindhoven University of Technology(埃因霍温理工大学)
由于遥感图像的特殊性,遥感图像检索一直是一个具有挑战性的课题。这样的图像包含各种不同的语义对象,这显然使检索任务复杂化。在本文中,我们提出了一种图像检索管道,它使用专注的局部卷积特征,并使用局部聚合描述符向量(VLAD)将它们聚合以产生全局描述符。我们研究了各种系统参数,如乘法和加法的注意力机制和描述符维数。我们提出了一个不需要外部输入的查询扩展方法。实验表明,即使没有训练,局部卷积特征和全局表示也优于其他系统。经过系统调整后,我们可以实现最先进或有竞争力的结果。此外,我们观察到,我们的查询扩展方法提高了约3%的整体系统性能,只使用前三个检索到的图像。最后,我们展示了降维如何产生紧凑的描述符,提高检索性能和快速检索计算时间,例如比当前系统快50%。
2019-03-22 cs.CV
Learning with Label Noise for Image Retrieval by Selecting Interactions
University of Amsterdam(阿姆斯特丹大学);NAVER LABS Europe(NAVER LABS 欧洲)
带噪声标签的学习是图像分类的一个活跃的研究领域。然而,噪声标签对图像检索的影响研究较少。在这项工作中,我们提出了一种抗噪声的方法,图像检索命名为教师为基础的选择的相互作用,T-SINT,它确定嘈杂的相互作用,即。元素的距离矩阵,并选择正确的积极和消极的相互作用,以考虑在检索损失通过使用教师为基础的培训设置,这有助于稳定性。因此,它在具有合成噪声和更真实噪声的基准数据集上的高噪声率上始终优于最先进的方法。
2021-12-21 cs.CV
Exploiting Deep Features for Remote Sensing Image Retrieval: A Systematic Investigation
Wuhan University(武汉大学);German Aerospace Center (DLR)(德国航空航天中心)
遥感图像检索对于地质信息挖掘具有重要意义。在过去的二十年里,人们对这一任务进行了大量的研究,主要集中在以下三个核心问题上:特征提取、相似性度量和相关反馈。由于高分辨率遥感影像地物的复杂性和多样性,现有的地物检索方法仍有改进的空间。在本文中,我们分析了三个核心问题的遥感图像检索,并提供了一个全面的回顾现有的方法。此外,为了提高HRRS图像检索的最新水平,我们重点研究了特征提取问题,并深入研究了如何使用强大的深度表示来解决这一任务。本文对影响深度特征性能的相关因素进行了系统的研究。通过对各因子的优化,在公开的HRRS数据集上取得了显著的检索效果。最后,我们对实验现象进行了详细的解释,并根据我们的分析得出结论。本文的工作对基于内容的遥感图像检索的研究具有一定的指导作用。
2019-11-20 cs.CV
Region Convolutional Features for Multi-Label Remote Sensing Image Retrieval
Wuhan University(武汉大学);University of California at Merced(加州大学默塞德分校)
传统的遥感图像检索(RSIR)系统通常执行单标签检索,其中每个图像由表示图像的最重要的语义内容的单个标签来标注。然而,这种假设忽略了遥感图像的复杂性,其中图像可能具有多个类别(即,多个标签),从而导致更差的检索性能。因此,我们提出了一种新的多标签RSIR方法与全卷积网络(FCN)。在我们的方法中,我们首先使用逐像素标记的数据集训练FCN模型,然后使用训练后的FCN来预测所考虑的存档中的每个图像的分割图。最后根据图像的分割图提取图像的区域卷积特征,这些区域特征既可以用于基于区域的检索,也可以进一步进行后处理,得到用于相似性度量的特征向量。实验结果表明,我们的方法实现了国家的最先进的性能相比,传统的单标签和最近的多标签RSIR方法。
2018-07-23 cs.CV