Compact Hash Codes for Efficient Visual Descriptors Retrieval in Large Scale Databases
Università degli Studi di Firenze（佛罗伦萨大学）；Media Integration and Communication Center（媒体集成与通信中心）
在本文中，我们提出了一种有效的方法，视觉描述符检索的基础上计算使用多个k-均值分配紧凑的哈希码。该方法已被应用到本地和全局视觉内容描述符的近似最近邻（ANN）搜索的问题，并已在不同的数据集上进行了测试：三个大规模的公共数据集高达十亿个描述符（BIGANN），并支持最近的进展卷积神经网络（CNN），也对CIFAR-10和MNIST数据集。实验结果表明，尽管它的简单，所提出的方法获得了非常高的性能，使其优于更复杂的国家的最先进的方法。
2016-05-10 cs.CV
Voronoi-based compact image descriptors: Efficient Region-of-Interest retrieval with VLAD and deep-learning-based descriptors
University College London（伦敦大学学院）
我们调查的问题，基于视觉查询的图像检索时，后者包括任意区域的兴趣（ROI），而不是整个图像。我们的建议是一个紧凑的图像描述符，结合了国家的最先进的基于内容的描述符提取与多层次，基于Voronoi空间分区的每个数据集图像。所提出的多级基于Voronoi的编码在感兴趣的点定位上使用空间分层K均值，并且在每个单元上计算基于内容的描述符。为了降低匹配的复杂度，同时不降低检索性能：（i）利用空间层次K-均值的树结构对局部相似性最大值进行自顶向下的剪枝;（ii）提出了一种新的图像相似性评分，它将来自所有分区级别的相关信息组合成一个单一的相似性度量;（iii）我们将我们的建议与用于量化描述符表示内的最优比特分配的新颖且有效的方法相结合。通过导出基于Voronoi的VLAD描述符（称为Fast-VVLAD）和基于Voronoi的深度卷积神经网络（CNN）描述符（称为Fast-VD CNN），我们证明了我们的基于Voronoi的框架对描述符基础是不可知的，并且可以很容易地插入到现有的框架中。通过在两个标准数据集中的一系列ROI查询，结果表明，基于Voronoi的描述符实现了与传统的基于网格的空间搜索相当或更高的平均精度，同时提供了超过两倍的复杂性降低。最后，除了ROI查询，我们表明，Voronoi分割提高了紧凑的CNN描述符的几何不变性，从而导致竞争力的性能，目前的最先进的整个图像检索。
2017-03-20 cs.CV
Content-Based Image Retrieval Based on Late Fusion of Binary and Local Descriptors
National Textile University（国立纺织大学）；University of Engineering & Technology, Taxila（塔克西拉工程技术大学）
基于内容的图像检索（CBIR）面临的挑战之一是减少低层特征和高层语义概念之间的语义鸿沟。在CBIR中，图像被表示在特征空间中，并且CBIR的性能取决于所选择的特征表示的类型。后期融合也被称为视觉词集成被用来提高图像检索的性能。图像检索的最新进展将研究的重点转向使用二进制描述符，因为据报道它们具有计算效率。本文研究了快速视网膜关键点（FREAK）和尺度不变特征变换（SIFT）的后期融合。选择二进制和局部描述符的后期融合，因为在二进制描述符中，FREAK在基于分类的问题中表现出良好的结果，而SIFT对平移，缩放，旋转和小失真具有鲁棒性。FREAK和SIFT的后期融合集成了两个特征描述符的性能，以实现有效的图像检索。实验结果表明，该方法提高了图像检索的性能。
2017-03-24 cs.CV
Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval
Nanjing University（南京大学）
为ImageNet分类任务预训练的深度卷积神经网络模型已成功应用于其他领域的任务，例如纹理描述和对象建议生成，但这些任务需要对新领域中的图像进行注释。在本文中，我们专注于一个新的和具有挑战性的任务，在纯无监督设置：细粒度的图像检索。即使有图像标签，细粒度的图像也很难分类，更不用说无监督检索任务了。我们提出了选择性卷积描述符聚合（SCDA）方法。SCDA首先在细粒度图像中定位主要对象，这一步骤丢弃了噪声背景并保留了有用的深度描述符。然后使用我们发现的最佳实践将所选描述符聚合并降维为短特征向量。SCDA是无监督的，不使用图像标签或限界框注释。在六个细粒度数据集上的实验证实了SCDA在细粒度图像检索中的有效性。此外，可视化的SCDA功能表明，他们对应的视觉属性（即使是微妙的），这可能解释SCDA的高平均精度在细粒度检索。此外，在一般的图像检索数据集，SCDA实现了可比的检索结果与国家的最先进的一般图像检索方法。
2017-07-13 cs.CV
Local Feature Detectors, Descriptors, and Image Representations: A Survey
The University of Tokyo（东京大学）
随着稳定的兴趣区域检测器和鲁棒的、有区别的描述符的出现，基于局部特征的图像或目标检索已经成为一个热门的研究课题。基于局部特征的图像检索系统涉及到两个重要的过程：局部特征提取和图像表示。图像检索系统的另一个关键技术是图像表示，如视觉词袋（BoVW），Fisher向量或局部聚集描述符向量（VLAD）框架。在本文中，我们回顾了局部特征和图像表示的图像检索。由于在这一领域提出了许多方法，这些方法被分为几类并进行了总结。此外，还简要回顾了最近基于深度学习的图像检索方法。
2016-07-28 cs.CV
Siamese Network of Deep Fisher-Vector Descriptors for Image Retrieval
University of Surrey（萨里大学）
本文研究了大规模图像检索问题，其目的是对大量图像与给定查询图像的相似性进行准确的排序。为了实现这一点，我们提出了一种新的暹罗网络。该网络由两个计算链组成，每个计算链由CNN组件和Fisher向量组件组成。CNN组件产生密集的深度卷积描述符，然后通过Fisher向量方法聚合。至关重要的是，我们建议同时学习CNN滤波器权重和Fisher Vector模型参数。这使我们能够解释在学习过程中深度描述符的不断变化的分布。我们表明，所提出的方法给出了显着的改进，在牛津和巴黎的图像检索数据集的最先进的方法。此外，我们还为这两个数据集提供了一个基线性能指标，其中包括100万个干扰项。
2017-02-01 cs.CV
A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers
Czestochowa University of Technology（琴斯托霍瓦理工大学）；Southeast University（东南大学）；University of Social Sciences（社会科学大学）
在本文中，我们考虑使用深度神经网络的基于内容的图像检索任务的描述符构建问题。基于全连接层激活的神经代码的思想通过合并卷积层中包含的信息来扩展。众所周知，网络卷积部分的神经元总数很大，其中大多数对最终分类决策的影响很小。因此，在本文中，我们提出了一种新的算法，使我们能够提取最重要的神经元激活，并利用这些信息来构建有效的描述符。由从全连接层和卷积层获取的值组成的描述符完美地表示了整个图像内容。使用这些描述符检索的图像在语义上与查询图像非常匹配，并且它们在其他次要图像特征（如背景、纹理或颜色分布）上也相似。基于IMAGENET1M数据集，使用VGG 16神经网络对所提出的描述符的这些特征进行了实验验证。
2020-07-13 cs.CV
Compact Deep Aggregation for Set Retrieval
University of Oxford（牛津大学）；DeepMind（深度思维）
这项工作的目的是学习一组描述符，这是适合有效的检索和排名，同时保持个别描述符的可辨别性紧凑的嵌入。我们专注于这个一般性问题的一个具体例子-检索包含多个面孔的图像从一个大规模的图像数据集。这里，集合由每个图像中的面部描述符组成，并且给定对多个身份的查询，目标是按顺序检索包含所有身份的图像，除了一个，\etc为此，我们做出以下贡献：首先，我们提出了一个CNN架构- { \em SetNet} -以实现目标：它学习人脸描述符及其在集合上的聚合，以产生为集合检索设计的紧凑的固定长度描述符，并且图像的得分是匹配查询的身份的数量的计数;第二，我们证明了这种紧凑的描述符在每个图像两个人脸的情况下具有最小的可辨别性损失，并且在那之后缓慢地退化-远远超过基线的数量;第三，我们探索了速度与检索质量权衡集检索使用这个紧凑的描述符;最后，我们收集和注释包含不同数量的名人，我们用于评估和公开发布的图像的大型数据集。
2020-03-26 cs.CV
Local Directional Relation Pattern for Unconstrained and Robust Face Retrieval
Indian Institute of Information Technology（印度理工学院信息技术学院）
人脸识别仍然是一个非常苛刻的研究领域。这个问题变得更具挑战性，在不受约束的环境中，并在存在几个变化，如姿势，照明，表达等本地描述符被广泛用于这项任务。现有的局部描述符大多只考虑了少量的直接局部邻居，不能利用更广泛的局部信息来使描述符更具区分性。更广泛的基于局部信息的描述符主要由于增加的维度而受损。在本文中，这个问题是解决编码的方向邻居之间的关系，在一个有效的方式。中心像素和编码的方向邻居之间的关系被进一步利用，以形成建议的局部方向关系模式（LDRP）。描述符是固有的均匀照明不变。多尺度机制还适于进一步提高描述符的区分能力。在人脸数据库的图像检索框架下对所提出的描述符进行了评估。非常具有挑战性的数据库，如PaSC，LFW，PubFig，ESSEX，FERET，AT&T和FaceScrub用于测试LDRP描述符的区分能力和鲁棒性。最后，将该方法与LBP、LTP、LDP、LDN、LVP、DCP、LDGP和LGHP等人脸描述符进行了比较。非常有前途的性能观察到使用建议的描述符非常有吸引力的人脸数据库相比，现有的人脸描述符。所提出的LDRP描述符在大规模FaceScrub人脸数据集上的性能也优于预先训练的ImageNet CNN模型。此外，它在许多场景下也优于基于深度学习的DLib人脸描述符。
2019-07-03 cs.CV
A Novel Feature Descriptor for Image Retrieval by Combining Modified Color Histogram and Diagonally Symmetric Co-occurrence Texture Pattern
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
在本文中，我们提出了一种新的特征描述符相结合的颜色和纹理信息集体。在我们提出的颜色描述符组件中，已经探索了HSV颜色空间中的色调（H）和饱和度（S）通道之间的通道间关系，这是以前没有做过的。我们已经将H通道量化为多个仓，并且通过遵循与HOG描述符类似的原理来执行具有饱和值的投票，反之亦然，其中梯度的方向被量化为一定数量的仓，并且投票是利用梯度幅度来完成的。这有助于我们研究饱和度随色调变化而变化的性质以及色调随饱和度变化而变化的性质。我们的描述符的纹理分量考虑关于3x 3窗口的两个对角线对称的像素之间的同现关系。我们的工作灵感来自Dubey等人的工作。[1]的文件。这两个组成部分，即颜色和纹理信息单独执行比现有的纹理和颜色描述符。此外，当连接的建议的描述符提供显着的改善现有的描述符的内容为基础的彩色图像检索。该描述符已在五个数据库上进行了图像检索测试，包括纹理图像数据库- MIT VisTex数据库和萨尔茨堡纹理数据库以及自然场景数据库Corel 1 K、Corel 5 K和Corel 10 K。在这些数据库上实验的精度和召回值进行了比较，与一些国家的最先进的本地模式。实验结果表明，该方法具有较好的效果。
2018-01-03 cs.CV
Local Descriptors Optimized for Average Precision
局部特征描述符的提取是许多计算机视觉任务的解决方案管道中的重要阶段。基于学习的方法提高了某些任务的性能，但总体上仍然无法取代手工制作的功能。在本文中，我们通过优化描述符匹配的性能来改进局部特征描述符的学习，描述符匹配是基于局部特征的管道中描述符提取之后的常见阶段，并且可以被公式化为最近邻检索。具体来说，我们使用深度神经网络直接优化基于排名的检索性能指标平均精度。该通用解决方案也可以被视为列表式学习排序方法，其与最近的局部排序方法相比是有利的。在标准的基准测试中，用我们的公式学习的描述符在补丁验证、补丁检索和图像匹配中获得了最先进的结果。
2018-04-17 cs.CV
Visual descriptors for content-based retrieval of remote sensing images
Department of Informatics, Systems and Communication. University of Milano - Bicocca（米兰比可卡大学信息学、系统与传播系）
在本文中，我们提出了一个广泛的评价视觉描述符的遥感（RS）图像的基于内容的检索。评估包括全球手工制作，本地手工制作，和卷积神经网络（CNN）的功能，再加上四个不同的基于内容的图像检索方案。我们在两个公开的数据集上进行了所有实验：21级UC Merced土地利用/土地覆盖（土地利用）数据集和19级高分辨率卫星场景数据集（SceneSat）。遥感图像的内容可能是非常异构的，从包含细粒度纹理的图像，到粗粒度纹理的图像或包含对象的图像。因此，在该领域中，应该采用哪个描述符来描述具有这种可变性的图像是不明显的。结果表明，基于CNN的功能比全球和本地手工制作的功能，无论是检索方案。从SatResNet-50中提取的特征，一种适合在RS域上微调的残差CNN，比在多媒体场景和对象图像上预训练的残差CNN表现出更好的性能。从NetVLAD提取的特征，一个考虑CNN和局部特征的CNN，比其他CNN解决方案在包含细粒度纹理和对象的图像上效果更好。
2017-08-08 cs.CV
GLAD: Global-Local-Alignment Descriptor for Pedestrian Retrieval
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
人体姿态的巨大变化和检测到的人体图像的错位显着增加了人的再识别（Re-ID）的难度。此外，需要高效的Re-ID系统来处理视频监控系统产生的大量视觉数据。针对这些问题，本文分别提出了全局-局部-对齐描述符（GLAD）和高效的索引和检索框架。GLAD显式地利用人体中的局部和全局线索来生成区分性和鲁棒性的表示。它由零件提取和描述符学习模块组成，首先检测几个零件区域，然后设计深度神经网络，用于局部和全局区域的表示学习。设计了一个层次化的索引和检索框架，消除了图库集的巨大冗余，加快了在线Re-ID过程。大量的实验结果表明，GLAD实现竞争力的准确性相比，国家的最先进的方法。我们的检索框架显着加快了在线Re-ID过程，而不损失准确性。因此，这项工作有可能在真实场景中更好地处理人员Re-ID任务。
2017-09-13 cs.CV
Descriptor transition tables for object retrieval using unconstrained cluttered video acquired using a consumer level handheld mobile device
University of Cambridge（剑桥大学）；University of St Andrews（圣安德鲁斯大学）
视觉识别和基于视觉的大型数据库对象检索是具有广泛潜在应用的任务。在本文中，我们提出了一种新的识别方法，从视频序列，适合从数据库中获取的高度不受约束的条件下，例如，使用移动消费级设备，如手机检索。在最低级别上，我们将每个序列表示为密集包装的局部外观描述符的3D网格。虽然图像平面几何形状是通过提取描述符的相邻区域的大重叠来隐式地捕获的，但是3D信息是通过描述符转换表来提取的，该描述符转换表是从每个已知图库对象的单个序列中学习的。这些允许我们沿着第三维（对应于视点变化）连接局部描述符，从而为每个视频生成一组可变长度的马尔可夫链。这种链的两个集合的匹配被公式化为统计假设检验，由此选择每个的子集以最大化对应的视频序列显示相同对象的可能性。阿姆斯特丹图书馆的对象图像和一个新的高度挑战性的视频数据集，使用手机获取的经验评估所提出的算法的有效性。在这两个数据集上，我们的方法被证明是成功的识别背景杂波和大的视点变化的存在。
2016-03-21 cs.CV
Efficient texture retrieval using multiscale local extrema descriptors and covariance embedding
IRISA - Université Bretagne Sud（IRISA（法国信息与随机系统研究所）-南布列塔尼大学）
提出了一种基于局部极值关键点的多尺度特征提取和嵌入的纹理检索方法。其思想是首先表示每个纹理图像的局部最大值和局部最小值像素。然后将图像划分为规则的重叠块，每个块的特征在于由其局部极值的辐射、几何和结构信息构造的特征向量。所有的特征向量最终嵌入到一个协方差矩阵，将利用检索任务中的相异性测量。由于该方法的简单性，多尺度方案可以很容易地实现，以提高其尺度空间表示能力。我们认为，我们的手工制作的功能很容易实现，运行速度快，但可以提供非常有竞争力的性能相比，手工制作和基于CNN的学习描述符从文献。特别是，该框架提供了高度竞争力的检索率为几个纹理数据库，包括94.95%的MIT Vistex，79.87%的Stex，76.15%的Outex TC-00013和89.74%的USPtex。
2018-08-03 cs.CV
A Dense-Depth Representation for VLAD descriptors in Content-Based Image Retrieval
University of Parma（帕尔马大学）
深度学习带来的最新进展可以提高图像检索任务的性能。通过卷积神经网络（CNN）中可用的许多卷积层，可以从评估的图像中获得特征的层次结构。在每一步中，提取的补丁比以前的水平更小，更具代表性。遵循这一思想，本文介绍了一种新的检测器应用于从预训练的CNN中提取的特征图。具体来说，这种方法可以增加特征的数量，以提高聚合算法的性能，如最著名和最常用的VLAD嵌入。该方法在不同的公共数据集上进行了测试：Holidays，Oxford 5 k，Paris 6 k和UKB。
2018-08-15 cs.CV
LDOP: Local Directional Order Pattern for Robust Face Retrieval
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）
局部描述子由于其较强的区分能力而受到广泛关注。实验证明，多尺度局部邻域的引入提高了描述子的性能，但代价是维数增加。本文提出了一种新的方法来构建一个局部描述符使用多尺度邻域，通过寻找在特定方向上的不同尺度的强度值之间的局部方向顺序。局部方向序是指在特定方向上的多半径关系因子。通过找到中心像素和局部方向顺序索引之间的关系来计算针对特定像素的建议的局部方向顺序模式（LDOP）。需要将中心值转换为相邻阶数的范围。最后，计算整个图像的LDOP直方图来构造描述符。与最先进的描述符相比，所提出的描述符的维度不依赖于计算顺序所涉及的邻居的数量;它只依赖于方向的数量。引入的描述符进行评估的图像检索框架，并与国家的最先进的描述符相比，具有挑战性的人脸数据库，如PaSC，LFW，PubFig，FERET，AR，AT&T，和ExtendedYale。实验结果证实了LDOP描述子的优越性和鲁棒性。
2019-12-24 cs.CV
Location Field Descriptors: Single Image 3D Model Retrieval in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology, Austria（奥地利格拉茨工业大学计算机图形与视觉研究所）
我们提出了位置字段描述符，一种新的方法，在野外的单图像三维模型检索。与之前直接将3D模型和RGB图像映射到嵌入空间的方法相反，我们以位置字段的形式建立了一个通用的低级表示，我们从中计算姿态不变的3D形状描述符。位置字段对2D像素和3D表面坐标之间的对应关系进行编码，并且因此明确地捕获3D形状和3D姿态信息，而没有与任务无关的外观变化。这种3D模型和RGB图像的早期融合产生了三个主要优点：首先，瓶颈位置场预测在训练期间充当正则化器。其次，系统的主要部分受益于对几乎无限数量的合成数据的训练。最后，预测的位置字段是视觉上可解释的，并且使系统非黑盒化。我们在三个具有挑战性的现实世界数据集（Pix3D，Comp和Stanford）上评估了我们提出的方法，这些数据集具有不同的对象类别，并且在多个3D检索指标中的绝对值高达20%。
2019-08-07 cs.CV
Local Neighborhood Intensity Pattern: A new texture feature descriptor for image retrieval
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
针对基于内容的图像检索（CBIR），提出了一种新的基于局部邻域亮度差的纹理描述子。对于像局部二进制模式（LBP）这样的纹理特征的计算，图像的3*3窗口中的中心像素与所有剩余的邻居进行比较，每次一个像素以生成二进制位模式。它忽略了一个特定的像素的二进制编码和纹理描述的相邻邻居的影响。所提出的方法是基于这样的概念，即一个特定的像素的邻居持有大量的纹理信息，可以被认为是有效的CBIR纹理表示。考虑到这一点，我们开发了一种新的纹理描述符，命名为局部邻域强度模式（LNIP），它考虑了一个特定的像素和中心像素之间的相对强度差，通过考虑其相邻的邻居，并生成一个符号和幅度模式。由于符号和幅度模式彼此保持互补的信息，这两个模式被连接到一个单一的特征描述符，以生成更具体和有用的特征描述符。该描述符已被测试的图像检索四个数据库，包括三个纹理图像数据库- Brodatz纹理图像数据库，MIT VisTex数据库和萨尔茨堡纹理数据库和一个人脸数据库AT&T人脸数据库。在这些数据库上观察到的精度和召回值进行比较，与一些国家的最先进的本地模式。所提出的方法显示出显着的改进，许多其他现有的方法。
2018-07-02 cs.CV
Attention-Aware Generalized Mean Pooling for Image Retrieval
Jilian Technology Group（极链科技集团）；Video++ AI Lab（Video++人工智能实验室）
它已被证明，图像描述符提取的卷积神经网络（CNN）取得了显着的效果检索问题。在本文中，我们将注意力机制应用于CNN，旨在增强与输入图像中的重要关键点相对应的更多相关特征。所生成的注意力感知特征然后通过先前的最先进的广义均值（GeM）池化进行聚合，然后进行归一化以产生紧凑的全局描述符，该全局描述符可以通过点积与其他图像描述符进行有效地比较。我们提出的方法与国家的最先进的方法进行了广泛的比较新的具有挑战性的ROxford5k和RParis6k检索基准。结果表明，显着改善比以前的工作。特别是，我们的注意力感知的GeM（AGeM）描述符在“硬”评估协议下的ROxford5k上的性能优于最先进的方法。
2019-01-28 cs.CV
Aggregated Deep Local Features for Remote Sensing Image Retrieval
Eindhoven University of Technology（埃因霍温理工大学）
由于遥感图像的特殊性，遥感图像检索一直是一个具有挑战性的课题。这样的图像包含各种不同的语义对象，这显然使检索任务复杂化。在本文中，我们提出了一种图像检索管道，它使用专注的局部卷积特征，并使用局部聚合描述符向量（VLAD）将它们聚合以产生全局描述符。我们研究了各种系统参数，如乘法和加法的注意力机制和描述符维数。我们提出了一个不需要外部输入的查询扩展方法。实验表明，即使没有训练，局部卷积特征和全局表示也优于其他系统。经过系统调整后，我们可以实现最先进或有竞争力的结果。此外，我们观察到，我们的查询扩展方法提高了约3%的整体系统性能，只使用前三个检索到的图像。最后，我们展示了降维如何产生紧凑的描述符，提高检索性能和快速检索计算时间，例如比当前系统快50%。
2019-03-22 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
Color-related Local Binary Pattern: A Learned Local Descriptor for Color Image Recognition
Chongqing University of Posts and Telecommunications（重庆邮电大学）
局部二值模式（LBP）作为一种局部特征，在图像识别中表现出简单、易实现和较强的识别能力。虽然一些LBP算法被专门用于彩色图像识别，但这些方法没有充分考虑图像的颜色信息，容易导致分类中的维数灾难。提出了一种基于颜色相关局部二值模式（cLBP）的彩色图像识别方法。本文首先提出了一种描述彩色图像通道间颜色相似性的相对相似性空间（RSS）。然后，解码的LBP，可以挖掘LBP特征映射之间的相关性信息对应的RSS传统的RGB空间的每个颜色通道，用于特征提取。最后，采用一种特征学习策略学习颜色相关的主导模式，以降低特征向量的维数，进一步提高特征的区分度。理论分析表明，与传统的RGB空间相比，该方法能提供更多的判别信息，具有更好的噪声鲁棒性和光照鲁棒性。在4组共12个公共彩色图像数据集上的实验结果表明，该方法在无噪声、噪声和光照变化条件下，在特征维数、识别精度等方面均优于大多数LBP算法。
2020-12-11 cs.CV
Local Quadruple Pattern: A Novel Descriptor for Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德分校）
提出了一种新的用于人脸图像识别和检索的手工局部四元组模式（LQPAT）。大多数现有的手工制作的描述符只编码有限数量的像素在当地的邻居。在无约束的环境下，这些描述符的性能往往急剧下降。增加局部邻域的主要问题是，它也增加了描述符的特征长度。建议的描述符试图克服这些问题，定义一个有效的编码结构与最佳的特征长度。建议的描述符编码的邻居之间的关系，在四重空间。从局部关系计算两个微模式以形成描述符。所提出的描述符的检索和识别精度进行了比较，最先进的手工制作的描述符的基准数据库，即; Caltech的脸，LFW，颜色FERET，和CASIA的脸-V5。结果分析表明，该描述子在姿态、光照、背景和表情变化不可控的情况下表现良好。
2022-01-03 cs.CV cs.MM
Local Gradient Hexa Pattern: A Descriptor for Face Recognition and Retrieval
在人脸识别中使用的局部描述符是鲁棒的，在某种意义上说，这些描述符在不同的姿势，照明和光照条件下表现良好。这些描述符的准确性取决于映射到微观结构的面部图像的局部邻域中存在的关系的精度。本文提出了一种局部梯度六角模式（LGHP），它可以识别参考像素与其相邻像素之间的关系，这些像素在不同的距离上，在不同的导数方向上。判别信息存在于局部邻域以及不同的导数方向。建议的描述符有效地将这些关系转化为二进制微模式区分类间的面部图像具有最佳的精度。识别和检索性能的建议的描述符进行了比较与国家的最先进的描述符，即LDP和LVP在最具挑战性的和基准的面部图像数据库，即裁剪扩展耶鲁-B，CMU-PIE，颜色FERET，和LFW。建议的描述符具有更好的识别以及检索率相比，国家的最先进的描述符。
2022-01-03 cs.CV cs.MM
Long-short Term Motion Feature for Action Classification and Retrieval
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法来表示运动信息的视频分类和检索。我们改进了基于局部描述符的方法，这些方法已经成为最流行和最成功的视频表示模型之一。期望的局部描述符需要满足两个要求：1）具有代表性，2）具有区分性。因此，它们需要在视频中足够频繁地出现，并且能够区分不同类型的运动。为了生成这样的局部描述符，它们所基于的视频块必须包含恰好适量的运动信息。然而，当前最先进的局部描述符方法使用具有单个固定大小的视频块，这不足以覆盖具有变化速度的动作。在本文中，我们引入了一个长短期的运动特征，从多个长度的视频块中生成描述符，从而覆盖速度变化较大的运动。实验结果表明，尽管简单，我们的模型在几个基准数据集上达到了最先进的结果。
2015-02-13 cs.CV
Large-Scale Image Retrieval with Attentive Deep Local Features
POSTECH（浦项科技大学）；Google Inc（谷歌公司）
我们提出了一个专注的局部特征描述符，适合于大规模的图像检索，称为DELF（深度局部特征）。新功能基于卷积神经网络，该网络仅使用地标图像数据集上的图像级注释进行训练。为了识别语义上有用的图像检索的局部特征，我们还提出了一个注意力机制的关键点选择，共享大多数网络层的描述符。该框架可用于图像检索，作为其他关键点检测器和描述符的替代品，从而实现更准确的特征匹配和几何验证。我们的系统产生可靠的置信度分数，拒绝误报-特别是，它对数据库中没有正确匹配的查询是鲁棒的。为了评估所提出的描述符，我们引入了一个新的大规模数据集，称为谷歌地标数据集，其中涉及的挑战，在数据库和查询，如背景杂波，部分遮挡，多个地标，对象在可变尺度等，我们表明，DELF优于国家的最先进的全球和本地的描述符在大规模设置的显着利润率。代码和数据集可以在项目网页上找到：https://github.com/tensorflow/models/tree/master/research/delf。
2018-02-03 cs.CV
Large scale near-duplicate image retrieval using Triples of Adjacent Ranked Features (TARF) with embedded geometric information
ABBYY（ABBYY公司）
大规模图像检索的大多数方法都是基于局部图像描述符或视觉词的倒排索引的构造。在这样的索引中进行搜索通常会得到大量的候选项。然后，例如，使用RANSAC算法，在几何验证的帮助下，对该候选列表进行重新排序。在本文中，我们提出了一个特征表示，这是建立作为一个组合的三个本地描述符。它允许显著减少错误匹配的数量，并在倒排索引中的初始搜索之后缩短候选列表。这种局部描述符的组合是可再现的和高度区分的，因此可以有效地用于大规模的近重复图像检索。
2016-03-19 cs.CV
Convolutional Patch Representations for Image Retrieval: an Unsupervised Approach
Inria Grenoble Rhone-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
卷积神经网络（CNN）最近受到了广泛的关注，因为它们能够以多尺度的方式对自然图像中的局部静止结构进行建模，并且在有监督的情况下学习所有模型参数。虽然当大量标记的视觉数据可用时，图像分类实现了出色的性能，但它们在无监督任务（如图像检索）中的成功迄今为止一直是中等的。我们的论文侧重于后者的设置，并探讨了几种方法，学习补丁描述符没有监督与应用程序的匹配和实例级检索。为此，我们基于最近引入的卷积核网络，提出了一个新的卷积描述符家族用于补丁表示。我们证明了我们的描述符Patch-CKN的性能优于SIFT以及通过人工引入监督学习的其他卷积网络，并且训练速度明显更快。为了证明其有效性，我们进行了广泛的评估补丁和图像检索的标准基准，我们获得了最先进的结果。我们还介绍了一个新的数据集，称为补丁补丁，它允许同时研究补丁和图像检索的描述符性能。
2016-03-01 cs.CV
Deep Image Retrieval: Learning global representations for image search
Xerox Research Center Europe（施乐欧洲研究中心）
提出了一种新的实例级图像检索方法。它产生一个全球性的和紧凑的固定长度表示为每个图像通过聚合许多区域明智的描述符。与以前使用预先训练的深度网络作为黑盒来生成特征的工作相比，我们的方法利用了针对图像检索的特定任务训练的深度架构。我们的贡献是双重的：（i）我们利用排名框架来学习用于构建区域特征的卷积和投影权重;以及（ii）我们采用区域建议网络来学习哪些区域应该被合并以形成最终的全局描述符。我们表明，使用干净的训练数据是我们的方法成功的关键。为此，我们使用了一个大规模的，但嘈杂的地标数据集，并开发了一个自动清洗方法。所提出的架构产生一个全球性的图像表示在一个单一的向前通过。我们的方法显着优于以前的方法，基于标准数据集上的全局描述符。它甚至超过了大多数基于昂贵的局部描述符索引和空间验证的现有工作。其他材料可在www.xrce.xerox.com/Deep-Image-Retrieval上查阅。
2016-07-28 cs.CV
Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion: Applications to Face Matching, Learning from Unlabeled Videos and 3D-Shape Retrieval
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Linköping University（林雪平大学）
当前最佳局部描述符是在匹配和非匹配关键点对的大型数据集上学习的。然而，这种类型的数据并不总是可用的，因为详细的关键点对应关系可能难以建立。另一方面，我们通常可以获得关键点包对的标签。例如，从同一对象在不同视图下的两个图像中提取的关键点包形成匹配对，而从不同对象的图像中提取的关键点包形成非匹配对。平均而言，匹配对应该比非匹配对包含更多的对应关键点。我们描述了一个端到端的可区分的架构，使学习的本地关键点描述符从这样的弱标记的数据。此外，我们还讨论了如何通过引入挖掘硬否定的过程来改进该方法。我们还展示了如何使用我们的方法从未标记的视频信号和3D模型中学习卷积特征。我们的实现可以在www.example.com上获得
2019-05-07 cs.CV
Frequency-Scale Saliency for Spectral Descriptor Analysis in 3D Shape Retrieval
University of Montana（蒙大拿大学）
提出频率尺度显著性框架，通过消融量化描述符尺度区间的检索贡献，发现短尺度主导性能而长尺度有害，加权检索在困难类别上提升mAP 0.156。
2026-06-05 cs.CV cs.GR cs.IR
GRM: Gradient Rectification Module for Visual Place Retrieval
Xi’an Jiaotong Univerisity（西安交通大学）；MEGVII Inc.（旷视科技有限公司）
视觉地点检索的目的是在数据库中搜索与查询图像相似的地点。然而，由网络编码的全局描述符通常落入低维主空间，这是有害的检索性能。我们首先分析了这种现象的原因，指出这是由于退化的梯度分布的描述符。然后，我们提出了梯度校正模块（GRM）来缓解这个问题。GRM附加在最终池化层之后，可以将梯度校正到主空间的互补空间。通过GRM，网络被鼓励在整个空间中更均匀地生成描述符。最后，我们在多个数据集上进行了实验，并将我们的方法推广到原型学习框架下的分类任务。
2023-02-28 cs.CV
Efficient Match Pair Retrieval for Large-scale UAV Images via Graph Indexed Global Descriptor
China University of Geosciences（中国地质大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)（广东省人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）；Wuhan University（武汉大学）；Hunan University of Science and Technology（湖南科技大学）
本文针对大规模无人机影像匹配对检索效率低的问题，提出基于在线训练码本、VLAD全局描述符和HNSW图索引的高效检索方法，并结合自适应阈值与分治并行SfM重建，实现36至108倍加速且保持有竞争力的定向精度。
2023-07-10 cs.CV
Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）
从给定图像计算6自由度摄像机姿态的视觉定位在机器人、虚拟现实、增强现实等领域有着广泛的应用。一个是全局描述符，从每个图像中提取整个特征。另一种是局部描述符，它从每个图像块中提取局部特征，通常包含一个关键点。越来越多的视觉定位方法分为两个阶段：首先利用全局描述符进行图像检索，然后根据检索反馈利用局部描述符进行2D-3D点对应。对于大多数方法，这两个阶段是连续的。这种简单的组合并没有实现融合局部和全局描述符的优越性。从检索反馈中得到的三维点仅通过全局描述符作为二维图像点的最近邻候选。当执行2D-3D点对应时，每个2D图像点也被称为查询局部特征。在本文中，我们提出了一种新的并行搜索框架，它利用本地和全局描述符的优势，以获得查询本地功能的最近邻候选人。具体来说，除了使用基于深度学习的全局描述符之外，我们还利用局部描述符来构建随机树结构，以获得查询局部特征的最近邻候选。在构建随机树时，我们提出了一种新的概率模型和一种新的基于深度学习的局部描述符。在局部描述子的损失函数中加入加权Hamming正则项，以保持二值化后的判别性。损失函数共同训练实数和二进制描述符，其结果被集成到随机树中。
2020-09-23 cs.CV
Discriminative Map Retrieval Using View-Dependent Map Descriptor
University of Fukui（福井大学）
地图检索是移动机器人在室内和室外环境中进行自主导航的关键。词袋（Bag-of-Words，BoW）方法是地图检索的一种常用方法，但由于忽略了局部特征的空间布局信息，其描述能力非常有限。本文的主要贡献是一个扩展的词袋地图检索方法，使使用的空间信息从本地功能。我们的策略是显式地建模一个独特的观点输入本地地图的本地功能的姿态定义相对于这个独特的观点，并可以被视为一个额外的不变特征的歧视性地图检索。具体来说，我们希望确定一个独特的观点，是不变的移动对象，混乱，闭塞，和实际的观点。因此，我们执行场景解析来分析场景结构，并认为场景结构的“中心”是唯一的视点。我们的场景解析是基于曼哈顿世界语法，施加一个准曼哈顿世界约束，使强大的检测的场景结构是不变的混乱和移动对象。使用公开的萝卜数据集的实验结果验证了所提出的方法的有效性。
2015-09-25 cs.CV
Aggregating Deep Convolutional Features for Image Retrieval
Yandex（扬德克斯）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
最近的几项工作表明，由深度卷积神经网络产生的图像描述符为图像分类和检索问题提供了最先进的性能。还表明，来自卷积层的激活可以被解释为描述特定图像区域的局部特征。这些局部特征可以使用为局部特征开发的聚合方法（例如Fisher向量）来聚合，从而提供新的强大的全局描述符。在本文中，我们研究了可能的方法来聚合局部深度特征，以产生紧凑的全局描述符的图像检索。首先，我们发现深度特征和传统手工设计的特征具有完全不同的成对相似性分布，因此必须仔细重新评估现有的聚合方法。这种重新评估表明，与浅层特征相比，基于总和池的简单聚合方法可以为深度卷积特征提供最佳性能。该方法是有效的，具有很少的参数，并且在例如学习PCA矩阵时具有很小的过拟合风险。总的来说，新的紧凑的全球描述符大大提高了四个常见的基准上的最先进的。
2015-10-26 cs.CV
Fast Dictionary Matching for Content-based Image Retrieval
University of Social Sciences in Łódź（罗兹社会科学大学）；University of Geneva（日内瓦大学）
本文描述了一种方法，用于搜索图像集合之间的公共描述符集。所提出的方法对使用SURF算法生成的局部兴趣关键点进行操作。描述符字典的使用允许实现基于内容的图像检索的良好性能。该方法可以用于初始确定图像之间的一组相似的关键点对。为此，我们在描述符的值之间使用一定程度的公差，因为特征描述符的值在不同图像之间几乎不相等但相似。然后，该方法将一幅图像中兴趣点的旋转结构和位置与其他图像中的点结构进行比较。因此，我们能够找到图像中的相似区域，并确定它们之间的相似程度，即使图像包含不同的场景。
2015-04-26 cs.CV
Combination of Multiple Global Descriptors for Image Retrieval
NAVER/LINE Vision
最近的研究表明，在图像检索任务集成不同的模型，并结合多个全局描述符导致性能的改善。然而，为集成训练不同的模型不仅困难，而且在时间和内存方面效率低下。在本文中，我们提出了一种新的框架，该框架利用多个全局描述符来获得集成效果，同时可以以端到端的方式进行训练。所提出的框架是灵活的，可扩展的全局描述符，CNN骨干，损失，和数据集。此外，我们调查的有效性相结合的多个全球描述符与定量和定性分析。我们广泛的实验表明，组合描述符优于一个单一的全局描述符，因为它可以利用不同类型的特征属性。在基准测试中，该框架在CARS 196、CUB 200 -2011、In-shop Clothes和Stanford Online Products上的图像检索任务中达到了最先进的性能。我们的模型实现和预训练模型是公开的。
2020-04-23 cs.CV cs.IR cs.LG
Neural Codes for Image Retrieval
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院（Skoltech））
已经表明，由大型卷积神经网络的顶层内的图像调用的激活提供了图像的视觉内容的高级描述符。在本文中，我们调查使用这样的描述符（神经代码）的图像检索应用程序。在几个标准检索基准的实验中，我们建立了神经代码的竞争力，即使当卷积神经网络已经被训练用于不相关的分类任务（例如，Image-Net）。我们还评估了神经代码的检索性能的改善，当网络在与测试时遇到的图像相似的图像数据集上重新训练时。我们进一步评估了压缩神经代码的性能，并表明简单的PCA压缩提供了非常好的短代码，在许多数据集上提供了最先进的准确性。一般来说，与其他最先进的描述符相比，神经代码对这种压缩更具弹性。最后，我们证明了在成对匹配照片的数据集上训练的判别降维进一步提高了PCA压缩神经代码的性能。总的来说，我们的定量实验证明了神经代码作为图像检索的视觉描述符的前景。
2014-07-07 cs.CV
Average Biased ReLU Based CNN Descriptor for Improved Face Retrieval
Indian Institute of Information Technology (IIIT), Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology (IIIT), Lucknow（印度信息技术学院勒克瑙校区）
卷积神经网络（CNN），包括AlexNet，GoogleNet，VGGNet等，为许多计算机视觉问题提取特征，这些问题具有很强的区分力。在一个数据集上训练的CNN模型表现相当好，而在另一个类似类型的数据集上，手工设计的特征描述符优于相同的训练的CNN模型。Rectified Linear Unit（ReLU）层丢弃某些值，以引入非线性。本文提出，使用训练模型的深度图像表示的区分能力可以在最后几层通过平均偏差ReLU（AB-ReLU）来提高。基本上，AB-ReLU从两个方面提高了区分能力：1）它利用了ReLU中一些有区别的和被丢弃的负面信息，2）它也忽略了ReLU中使用的不相关和积极的信息。在VGG-Face数据集上在MatConvNet中训练的VGGFace模型用作其他人脸数据集上人脸检索的特征描述符。该方法在六个具有挑战性的，无约束的和强大的人脸数据集（PubFig，LFW，PaSC，AR，FERET和ExtYale）和检索框架中的大规模人脸数据集（PolyUNIR）上进行了测试。据观察，当在面部数据集上与预训练的VGGFace模型一起使用时，AB-ReLU的性能优于ReLU。在用AB-ReLU替换所有ReLU后训练网络的验证误差也被观察到对每个数据集都是有利的。AB-ReLU甚至优于最先进的激活函数，例如Sigmoid，ReLU，Leaky ReLU和Flexible ReLU…
2022-01-23 cs.CV
Aggregating Binary Local Descriptors for Image Retrieval
Institute of Information Science and Technologies (ISTI) - CNR（意大利国家研究委员会信息科学与技术研究所 (ISTI)）
基于局部特征的基于内容的图像检索由于局部特征的提取和匹配的复杂性而计算量很大。一方面，最近提出的二进制局部特征大大降低了提取、表示和比较局部视觉描述符的成本。另一方面，聚合技术提供了一个有意义的总结所有提取的图像特征到一个单一的描述符，使我们能够加快和扩大图像搜索。最近只有少数作品将这两个研究方向混合在一起，定义了二进制局部特征的聚合方法，以利用这两种方法的优势。在本文中，我们报告了一个广泛的比较国家的最先进的聚合方法应用于二进制功能。然后，我们在数学上形式化Fisher核函数在Bernoulli混合模型中的应用。最后，我们研究了聚合的二进制特征与新兴的卷积神经网络（CNN）特征的组合。我们的研究结果表明，二进制特征的聚合方法是有效的，并代表了一个有价值的替代直接匹配。此外，CNN与基于二进制特征构建的Fisher向量（FV）的组合允许我们获得相对于CNN结果的相对改进，这与最近使用CNN与基于SIFT构建的FV的组合获得的结果一致。使用基于二进制特征的FV的优点在于，二进制特征的提取过程比SIFT快大约两个数量级。
2017-02-03 cs.CV
Cascaded Asymmetric Local Pattern: A Novel Descriptor for Unconstrained Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Lucknow（印度信息技术学院，勒克瑙）；Indian Institute of Information Technology, Allahabad（印度信息技术学院，安拉阿巴德）
特征描述是专家系统和机器学习研究的热点之一。图像的有效编码是精确匹配的基本要求。这些编码方案在识别和检索系统中起着重要的作用。人脸识别系统应该足够有效，以准确地识别系统的内在和外在变化下的个人。这些系统中使用的模板或描述符对图像的局部邻域中的像素的空间关系进行编码。使用这些手工制作的描述符编码的特征应该对诸如照明、背景、姿势和表情等变化具有鲁棒性。本文提出了一种新的手工构建的级联非对称局部模式（CALP）用于人脸图像的检索和识别。所提出的描述符唯一地编码在水平和垂直方向上的相邻像素之间的关系。所提出的编码方案具有最佳的特征长度，并在人脸图像的环境和生理变化下显示出显着的精度提高。最先进的手工制作的描述符，即; LBP，LDGP，CSLBP，SLBP和CSLTP与最具挑战性的数据集上的拟议描述符进行比较，即; Caltech-face，LFW和CASIA-face-v5。结果分析表明，该描述子在表情、背景、姿态和光照变化不受控制的情况下，性能优于现有描述子。
2022-01-03 cs.CV cs.MM
Image Retrieval Based on LBP Pyramidal Multiresolution using Reversible Watermarking
University Ibn Zohr（伊本·祖赫尔大学）
在医学领域，图像越来越多地用于促进疾病的诊断。这些图像与医生的处方和其他与病人有关的信息一起存储在多媒体数据库中，医学图像搜索已经成为临床应用中一个必不可少的工具，可以为诊断带来有效的帮助。基于内容的图像检索（CBIR）是有效管理这些数据库的可能解决方案之一。我们的贡献是定义一个相关的描述符检索图像的纹理多分辨率分析的基础上，使用本地二进制模式LBP。一旦计算出该描述符和与患者有关的信息，将使用可逆水印技术将其放置在图像中。因此，图像、其内容的描述符、BFILE定位器和患者相关信息成为单个实体，因此即使管理员也不能访问患者私人数据。
2015-09-20 cs.CV
3rd Place: A Global and Local Dual Retrieval Solution to Facebook AI Image Similarity Challenge
AI Technology Center, Online-Video BU, Tencent（腾讯在线视频事业部AI技术中心）
图像相似性检索作为计算机视觉的一项基本任务，正面临着大规模数据和图像拷贝攻击的挑战。本文介绍了Facebook AI组织的2021年图像相似性挑战赛（ISC）匹配赛道的第三名解决方案。我们提出了一个多分支检索方法相结合的全局描述符和局部描述符，以覆盖所有的攻击情况。具体而言，我们尝试了许多策略来优化全局描述符，包括丰富的数据增强，使用单个Transformer模型的自监督学习，重叠检测预处理。此外，我们引入了鲁棒的SIFT特征和GPU Faiss进行局部检索，弥补了全局检索的不足。最后，使用KNN匹配算法来判断匹配和合并分数。我们展示了我们的方法的一些消融实验，这揭示了全局和局部特征的互补优势。
2021-12-29 cs.CV
Centre Symmetric Quadruple Pattern: A Novel Descriptor for Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德分校）
人脸特征被定义为存在于人脸图像像素之间的局部关系。手工制作的描述符标识由内核定义的局部邻域中的像素的关系。核是一个二维的矩阵，它在人脸图像上移动。由具有有限像素数的内核捕获的独特信息在受限环境（控制光、姿态、表情和背景的变化）下拍摄的面部图像上实现了令人满意的识别和检索精度。为了在无约束环境下实现类似的精度，必须增加局部邻域，以便编码更多的像素。增加局部邻域也增加了描述符的特征长度。在本文中，我们提出了一个手工制作的描述符，即中心对称的四重模式（CSQP），这是结构对称，并在四重空间编码的面部不对称。建议的描述符有效地编码较大的邻域与最佳数量的二进制位。它已被证明使用平均熵，计算与建议的描述符编码的特征图像，CSQP捕获更有意义的信息相比，最先进的描述符。所提出的描述符的检索和识别精度进行了比较，与最先进的手工制作的描述符（CSLBP，CSLTP，LDP，LBP，SLBP和LDGP）的基准数据库，即LFW，颜色FERET，和CASIA-face-v5。结果分析表明，该描述符在姿态、光照、背景和表情等受控和不受控变化下均表现良好。
2022-01-03 cs.CV cs.MM
General Image Descriptors for Open World Image Retrieval using ViT CLIP
H2O.ai；University of Würzburg（维尔茨堡大学）
谷歌通用图像嵌入（GUIE）挑战赛是多领域图像表示领域的首批竞赛之一，涵盖了广泛的对象分布：地标、艺术品、食物等。这是一个基本的计算机视觉问题，在图像检索、搜索引擎和电子商务中有着重要的应用。在这项工作中，我们解释了我们对GUIE挑战的第四名解决方案，以及我们使用CLIP预训练的微调zero-shot视觉Transformer（ViT）的“技巧包”。
2022-10-20 cs.AI cs.CV
Compression of Deep Neural Networks for Image Instance Retrieval
Institute for Infocomm Research（资讯通信研究所）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Massachusetts Institute of Technology（麻省理工学院）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）
图像实例检索是从数据库中检索包含相同对象的图像的问题。基于卷积神经网络（CNN）的描述符正在成为用于为实例检索问题生成{ \it全局图像描述符}的主导方法。基于CNN的{ \it全局描述符}的一个主要缺点是，未压缩的深度神经网络模型需要数百兆字节的存储空间，这使得它们不便于在移动应用程序或自定义硬件中部署。在这项工作中，我们研究的问题，神经网络模型压缩集中在图像实例检索任务。我们研究了量化，编码，修剪和权重共享技术，以减少模型的大小的实例检索问题。我们提供了广泛的实验结果之间的权衡检索性能和模型的大小为不同类型的网络上的几个数据集提供了最全面的研究这一主题。我们将模型压缩到几MB的量级：比未压缩的模型小两个数量级，同时在检索性能上的损失可以忽略不计。
2017-01-18 cs.CV
Group Invariant Deep Representations for Image Instance Retrieval
大多数图像实例检索流水线基于查询图像和数据库图像之间的被称为全局图像描述符的向量的比较。由于它们在大规模图像分类中的成功，从卷积神经网络（CNN）中提取的表示正在迅速获得Fisher向量（FV）作为最先进的全局描述符用于图像实例检索。虽然基于CNN的描述符通常在较低比特率下具有良好的检索性能，但它们仍然存在许多缺点，包括与基于兴趣点的FV对应物相比，对常见对象变换（例如旋转）缺乏鲁棒性。在本文中，我们提出了一种从CNN计算不变全局描述符的方法。我们的方法实现了一个最近提出的数学理论的不变性在感觉皮层建模为前馈神经网络。由此产生的全局描述符可以保持不变的多个任意的变换组，同时保持良好的歧视性。基于一个彻底的经验评估，使用几个公开的数据集，我们表明，我们的方法是能够显着和一致地改善检索结果，每次一种新的类型的不变性被纳入。我们还表明，我们的方法，它有很少的参数是不容易过度拟合：改进推广以及在数据集与不同属性的不变性。最后，我们表明，我们的描述符是能够比较有利的其他国家的最先进的紧凑的描述符在类似的位范围，超过了最高的检索结果在一些数据集上的文献报道。一个专门的降维步骤-量化或散列-可能能够进一步提高描述符的竞争力。
2016-01-13 cs.CV cs.IR
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Content-Based Bird Retrieval using Shape context, Color moments and Bag of Features
University Chouaib Doukkali（乔伊卜杜卡利大学）
在本文中，我们提出了一个新的描述鸟类搜索。首先，在描述符的选择上进行了工作。这种选择通常由应用要求驱动，例如对噪声的鲁棒性、相对于偏差的稳定性、对几何变换的不变性或对遮挡的容限。在这种情况下，我们引入了一个描述符，它结合了形状和颜色描述符有一个有效的描述鸟类。所提出的描述符是基于文章Belongie等人定义的轮廓的描述符的自适应。[5]结合颜色矩[19]。具体地，从每个图像中提取兴趣点，并且通过与颜色矩连接的形状上下文的描述符来表示这些点附近的区域中的信息。因此，视觉词汇的接近袋适用于后者。实验结果表明，我们的描述符的有效性鸟类搜索的内容。
2015-03-14 cs.CV cs.IR
Pruning Convolutional Neural Networks for Image Instance Retrieval
Institute for Infocomm Research（资讯通信研究院）；Peking University（北京大学）；MIT（麻省理工学院）
在这项工作中，我们专注于从修剪卷积神经网络（CNN）提取的深度描述符的图像实例检索的问题。目标是在保持检索性能的同时大量修剪卷积边缘。为此，我们引入了数据独立和数据依赖的算法来修剪卷积边缘，并在几个基准数据集上使用不同的深度描述符评估它们在各种压缩率下的性能。此外，我们提出了一个端到端的框架来微调修剪网络，一个三重损失函数专门设计的检索任务。我们发现，启发式修剪和微调的组合提供了5倍的压缩率，而不会有相当大的损失检索性能。
2017-07-18 cs.CV
R-Theta Local Neighborhood Pattern for Unconstrained Facial Image Recognition and Retrieval
提出了一种基于R-Theta局部邻域模式的人脸图像检索方法。RTLNP利用在不同角度和径向宽度的参考像素的局部邻域中的像素之间的关系。所提出的编码方案将局部邻域划分为角宽度相等的扇区。这些扇区又被分成两个径向宽度的子扇区。对这两个分区的平均灰度值进行编码以生成微图案。所提出的描述符的性能进行了评估，并将结果与现有技术的描述符，例如LBP，LTP，CSLBP，CSLTP，Sobel-LBP，LTCoP，LMeP，LDP，LTrP，MBLBP，BRINT和SLBP进行了比较。最具挑战性的面部约束和无约束的数据库，即AT&T，CARIA-Face-V5-Cropped，LFW和Color FERET已被用于显示所提出的描述符的效率。建议的描述符也进行了测试，近红外（NIR）人脸数据库; CASIA NIR-VIS 2.0和PolyU-NIRFD，以探索其潜力与近红外人脸图像。RTLNP的检索率比现有的最先进的描述符显示了描述符的有效性
2022-01-03 cs.CV cs.MM
Accurate Instance-Level CAD Model Retrieval in a Large-Scale Database
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的解决方案，从大型数据库中细粒度检索干净的CAD模型，以恢复RGBD扫描的详细对象形状的几何形状。不像以前的工作只是索引到一个适度的小数据库中使用的对象形状描述符，并接受顶级检索结果，我们认为，在一个大规模的数据库的情况下，更准确的模型可以在附近的描述符。更重要的是，我们建议，形状描述符在实例级别的独特性不足，可以弥补基于几何的重新排名其邻域。我们的方法首先利用学习表示的区分能力来区分不同类别的模型，然后使用一种新的鲁棒点集距离度量来重新排序CAD邻域，从而在大型形状数据库中实现细粒度检索。在真实世界数据集上的评估表明，我们的基于几何的重新排序是一个概念上简单，但非常有效的方法，可以导致显着提高检索精度相比，国家的最先进的。
2022-07-04 cs.CV
