An accurate retrieval through R-MAC+ descriptors for landmark recognition
Università di Parma（帕尔马大学）
地标识别问题远未得到解决，但通过使用从卷积神经网络（CNN）的中间层提取的特征，已经获得了很好的结果。在这项工作中，我们提出了一些改进的R-MAC描述符的创建，以使新提出的R-MAC+描述符比以前的更具代表性。然而，本文的主要贡献是一种新的检索技术，利用数据库图像的MAC描述符的良好代表性。在检索阶段使用这种称为“db区域”的描述符，性能得到了极大的提高。该方法在不同的公共数据集上进行了测试：牛津5 k，巴黎6 k和假日。它在Holidays上的表现优于最先进的结果，在Oxford 5 k和Paris 6 k上也取得了优异的成绩，只有通过基于微调策略的方法才能克服。
2018-06-22 cs.CV
Cascaded Asymmetric Local Pattern: A Novel Descriptor for Unconstrained Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Lucknow（印度信息技术学院，勒克瑙）；Indian Institute of Information Technology, Allahabad（印度信息技术学院，安拉阿巴德）
特征描述是专家系统和机器学习研究的热点之一。图像的有效编码是精确匹配的基本要求。这些编码方案在识别和检索系统中起着重要的作用。人脸识别系统应该足够有效，以准确地识别系统的内在和外在变化下的个人。这些系统中使用的模板或描述符对图像的局部邻域中的像素的空间关系进行编码。使用这些手工制作的描述符编码的特征应该对诸如照明、背景、姿势和表情等变化具有鲁棒性。本文提出了一种新的手工构建的级联非对称局部模式（CALP）用于人脸图像的检索和识别。所提出的描述符唯一地编码在水平和垂直方向上的相邻像素之间的关系。所提出的编码方案具有最佳的特征长度，并在人脸图像的环境和生理变化下显示出显着的精度提高。最先进的手工制作的描述符，即; LBP，LDGP，CSLBP，SLBP和CSLTP与最具挑战性的数据集上的拟议描述符进行比较，即; Caltech-face，LFW和CASIA-face-v5。结果分析表明，该描述子在表情、背景、姿态和光照变化不受控制的情况下，性能优于现有描述子。
2022-01-03 cs.CV cs.MM
Centre Symmetric Quadruple Pattern: A Novel Descriptor for Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德分校）
人脸特征被定义为存在于人脸图像像素之间的局部关系。手工制作的描述符标识由内核定义的局部邻域中的像素的关系。核是一个二维的矩阵，它在人脸图像上移动。由具有有限像素数的内核捕获的独特信息在受限环境（控制光、姿态、表情和背景的变化）下拍摄的面部图像上实现了令人满意的识别和检索精度。为了在无约束环境下实现类似的精度，必须增加局部邻域，以便编码更多的像素。增加局部邻域也增加了描述符的特征长度。在本文中，我们提出了一个手工制作的描述符，即中心对称的四重模式（CSQP），这是结构对称，并在四重空间编码的面部不对称。建议的描述符有效地编码较大的邻域与最佳数量的二进制位。它已被证明使用平均熵，计算与建议的描述符编码的特征图像，CSQP捕获更有意义的信息相比，最先进的描述符。所提出的描述符的检索和识别精度进行了比较，与最先进的手工制作的描述符（CSLBP，CSLTP，LDP，LBP，SLBP和LDGP）的基准数据库，即LFW，颜色FERET，和CASIA-face-v5。结果分析表明，该描述符在姿态、光照、背景和表情等受控和不受控变化下均表现良好。
2022-01-03 cs.CV cs.MM
Perceptual uniform descriptor and Ranking on manifold: A bridge between image representation and ranking for image retrieval
Dalian University of Technology（大连理工大学）；Liaoning Normal University（辽宁师范大学）
在图像检索中，图像描述符与排序的不兼容性往往被忽视。本文运用多元学习理论和完形心理学理论来解决这一问题。基于完形心理学提出了一种新的整体描述子--感知均匀描述子（PUD），它结合了颜色和梯度方向来模仿人类视觉的均匀性。PUD特征在大多数情况下分布在同一类图像的一个流形上，因为PUD改善了传统描述符的视觉均匀性。因此，我们使用流形排序和PUD来实现图像检索。在5个基准数据集上进行了实验，实验结果表明，该方法可以大大提高图像检索的准确率。我们在Ukbench和Corel-1 K数据集上的实验结果表明，使用只有280维的PUD，N-S得分分别达到3.58（HSV 3.4）和mAP达到81.77%（ODBTC 77.9%）。结果高于其他整体图像描述符（甚至一些局部描述符）和最先进的检索方法。
2016-09-24 cs.CV
Group Invariant Deep Representations for Image Instance Retrieval
大多数图像实例检索流水线基于查询图像和数据库图像之间的被称为全局图像描述符的向量的比较。由于它们在大规模图像分类中的成功，从卷积神经网络（CNN）中提取的表示正在迅速获得Fisher向量（FV）作为最先进的全局描述符用于图像实例检索。虽然基于CNN的描述符通常在较低比特率下具有良好的检索性能，但它们仍然存在许多缺点，包括与基于兴趣点的FV对应物相比，对常见对象变换（例如旋转）缺乏鲁棒性。在本文中，我们提出了一种从CNN计算不变全局描述符的方法。我们的方法实现了一个最近提出的数学理论的不变性在感觉皮层建模为前馈神经网络。由此产生的全局描述符可以保持不变的多个任意的变换组，同时保持良好的歧视性。基于一个彻底的经验评估，使用几个公开的数据集，我们表明，我们的方法是能够显着和一致地改善检索结果，每次一种新的类型的不变性被纳入。我们还表明，我们的方法，它有很少的参数是不容易过度拟合：改进推广以及在数据集与不同属性的不变性。最后，我们表明，我们的描述符是能够比较有利的其他国家的最先进的紧凑的描述符在类似的位范围，超过了最高的检索结果在一些数据集上的文献报道。一个专门的降维步骤-量化或散列-可能能够进一步提高描述符的竞争力。
2016-01-13 cs.CV cs.IR
An Indexing Scheme and Descriptor for 3D Object Retrieval Based on Local Shape Querying
提出了一种基于汉明距离的二进制描述符索引方案，称为汉明树，用于局部形状查询。提出了一种新的二值抗杂波描述子QUICCI（Quick Intersection Count Change Image）。这种局部形状描述符非常小，比较起来非常快。此外，一种新的距离函数称为加权汉明适用于QUICCI图像检索应用程序。索引方案和QUICCI的有效性在来自SHREC 2017数据集的8.28亿张QUICCI图像上得到了证明，而QUICCI的抗杂波性则使用杂波盒实验进行了展示。
2020-08-07 cs.CV
Image Retrieval Method Using Top-surf Descriptor
LIACS Media Lab（LIACS媒体实验室）
这份报告提出了一个基于内容的图像检索项目的结果和细节，使用顶冲浪描述符。实验结果是初步的，但是，它显示了从对象的部分或从相似的对象推断对象的能力。本文使用了一个由1200幅图像组成的数据集，其中800幅图像平均分为8类，即飞机，海滩，摩托车，森林，大象，马，公共汽车和建筑物，而其他400幅图像是从互联网上随机挑选的。最好的结果是从建筑类。
2011-04-04 cs.CV
Compact Hash Codes for Efficient Visual Descriptors Retrieval in Large Scale Databases
Università degli Studi di Firenze（佛罗伦萨大学）；Media Integration and Communication Center（媒体集成与通信中心）
在本文中，我们提出了一种有效的方法，视觉描述符检索的基础上计算使用多个k-均值分配紧凑的哈希码。该方法已被应用到本地和全局视觉内容描述符的近似最近邻（ANN）搜索的问题，并已在不同的数据集上进行了测试：三个大规模的公共数据集高达十亿个描述符（BIGANN），并支持最近的进展卷积神经网络（CNN），也对CIFAR-10和MNIST数据集。实验结果表明，尽管它的简单，所提出的方法获得了非常高的性能，使其优于更复杂的国家的最先进的方法。
2016-05-10 cs.CV
Voronoi-based compact image descriptors: Efficient Region-of-Interest retrieval with VLAD and deep-learning-based descriptors
University College London（伦敦大学学院）
我们调查的问题，基于视觉查询的图像检索时，后者包括任意区域的兴趣（ROI），而不是整个图像。我们的建议是一个紧凑的图像描述符，结合了国家的最先进的基于内容的描述符提取与多层次，基于Voronoi空间分区的每个数据集图像。所提出的多级基于Voronoi的编码在感兴趣的点定位上使用空间分层K均值，并且在每个单元上计算基于内容的描述符。为了降低匹配的复杂度，同时不降低检索性能：（i）利用空间层次K-均值的树结构对局部相似性最大值进行自顶向下的剪枝;（ii）提出了一种新的图像相似性评分，它将来自所有分区级别的相关信息组合成一个单一的相似性度量;（iii）我们将我们的建议与用于量化描述符表示内的最优比特分配的新颖且有效的方法相结合。通过导出基于Voronoi的VLAD描述符（称为Fast-VVLAD）和基于Voronoi的深度卷积神经网络（CNN）描述符（称为Fast-VD CNN），我们证明了我们的基于Voronoi的框架对描述符基础是不可知的，并且可以很容易地插入到现有的框架中。通过在两个标准数据集中的一系列ROI查询，结果表明，基于Voronoi的描述符实现了与传统的基于网格的空间搜索相当或更高的平均精度，同时提供了超过两倍的复杂性降低。最后，除了ROI查询，我们表明，Voronoi分割提高了紧凑的CNN描述符的几何不变性，从而导致竞争力的性能，目前的最先进的整个图像检索。
2017-03-20 cs.CV
Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing
Institute for Infocomm Research（资讯通信研究院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
一个典型的图像检索流水线开始于比较来自大型数据库的全局描述符，以找到候选匹配的短列表。一个好的图像描述符是检索管道的关键，应该协调两个矛盾的要求：提供尽可能高的召回率和尽可能紧凑的快速匹配。随着深度卷积神经网络（DCNN）在大规模图像分类中的成功应用，越来越多地使用从DCNN中提取的描述符来代替传统的手工描述符，如具有更好检索性能的Fisher向量（FV）。然而，典型的DCNN描述符的维度-从视觉特征金字塔或完全连接的层中提取-在数千个标量值处仍然相当高。在本文中，我们提出了无监督三重哈希（UTH），一种完全无监督的方法来计算非常紧凑的二进制哈希-在32-256位范围内-从高维全局描述符。UTH由两个连续的深度学习步骤组成。首先，堆叠限制玻尔兹曼机（SRBM），一种无监督的深度神经网络，用于学习二进制嵌入函数，能够将描述符大小降低到所需的比特率。SRBM通常能够以丢失原始DCNN描述符空间的一些期望度量属性为代价来确保非常高的压缩率。然后，三元组网络，基于权重共享网络的秩学习方案被用来微调二进制嵌入函数，以尽可能多地保留原始空间的有用度量属性。使用DCNN描述符对多个公开可用的数据集进行的全面实证评估表明，我们的方法能够在目标比特范围内显着优于最先进的无监督方案。
2015-11-10 cs.CV cs.IR cs.LG
Content-Based Bird Retrieval using Shape context, Color moments and Bag of Features
University Chouaib Doukkali（乔伊卜杜卡利大学）
在本文中，我们提出了一个新的描述鸟类搜索。首先，在描述符的选择上进行了工作。这种选择通常由应用要求驱动，例如对噪声的鲁棒性、相对于偏差的稳定性、对几何变换的不变性或对遮挡的容限。在这种情况下，我们引入了一个描述符，它结合了形状和颜色描述符有一个有效的描述鸟类。所提出的描述符是基于文章Belongie等人定义的轮廓的描述符的自适应。[5]结合颜色矩[19]。具体地，从每个图像中提取兴趣点，并且通过与颜色矩连接的形状上下文的描述符来表示这些点附近的区域中的信息。因此，视觉词汇的接近袋适用于后者。实验结果表明，我们的描述符的有效性鸟类搜索的内容。
2015-03-14 cs.CV cs.IR
Content-Based Image Retrieval Based on Late Fusion of Binary and Local Descriptors
National Textile University（国立纺织大学）；University of Engineering & Technology, Taxila（塔克西拉工程技术大学）
基于内容的图像检索（CBIR）面临的挑战之一是减少低层特征和高层语义概念之间的语义鸿沟。在CBIR中，图像被表示在特征空间中，并且CBIR的性能取决于所选择的特征表示的类型。后期融合也被称为视觉词集成被用来提高图像检索的性能。图像检索的最新进展将研究的重点转向使用二进制描述符，因为据报道它们具有计算效率。本文研究了快速视网膜关键点（FREAK）和尺度不变特征变换（SIFT）的后期融合。选择二进制和局部描述符的后期融合，因为在二进制描述符中，FREAK在基于分类的问题中表现出良好的结果，而SIFT对平移，缩放，旋转和小失真具有鲁棒性。FREAK和SIFT的后期融合集成了两个特征描述符的性能，以实现有效的图像检索。实验结果表明，该方法提高了图像检索的性能。
2017-03-24 cs.CV
Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval
Nanjing University（南京大学）
为ImageNet分类任务预训练的深度卷积神经网络模型已成功应用于其他领域的任务，例如纹理描述和对象建议生成，但这些任务需要对新领域中的图像进行注释。在本文中，我们专注于一个新的和具有挑战性的任务，在纯无监督设置：细粒度的图像检索。即使有图像标签，细粒度的图像也很难分类，更不用说无监督检索任务了。我们提出了选择性卷积描述符聚合（SCDA）方法。SCDA首先在细粒度图像中定位主要对象，这一步骤丢弃了噪声背景并保留了有用的深度描述符。然后使用我们发现的最佳实践将所选描述符聚合并降维为短特征向量。SCDA是无监督的，不使用图像标签或限界框注释。在六个细粒度数据集上的实验证实了SCDA在细粒度图像检索中的有效性。此外，可视化的SCDA功能表明，他们对应的视觉属性（即使是微妙的），这可能解释SCDA的高平均精度在细粒度检索。此外，在一般的图像检索数据集，SCDA实现了可比的检索结果与国家的最先进的一般图像检索方法。
2017-07-13 cs.CV
Face Retrieval using Frequency Decoded Local Descriptor
Indian Institute of Information Technology（印度信息技术学院）
局部描述符一直是大多数计算机视觉问题的核心。大多数现有的局部描述符是在原始输入图像上生成的。为了提高局部描述符的鉴别能力，一些研究者利用高通和低通滤波器将原始图像转换为多幅图像，然后在每幅图像上计算局部描述符，最后将其连接成一个描述符。通过这样做，这些方法不利用频率间关系，频率间关系导致可以实现的描述符的辨别能力的较少改进。在本文中，这个问题是解决利用解码器的概念，多通道解码的本地二进制模式的多频率模式。提出了一种频率解码局部二进制模式（FDLBP），它由两个解码器组成。每个解码器以一个低频模式和两个高频模式工作。最后，来自两个解码器的描述符被连接以形成单个描述符。人脸检索实验在四个基准和具有挑战性的数据库，如PaSC，LFW，PubFig和ESSEX。实验结果证实了FDLBP描述符与LBP、SOBEL_LBP、BoF_LBP、SVD_S_LBP、mdLBP等现有描述符相比的优越性。
2018-12-04 cs.CV
Local Feature Detectors, Descriptors, and Image Representations: A Survey
The University of Tokyo（东京大学）
随着稳定的兴趣区域检测器和鲁棒的、有区别的描述符的出现，基于局部特征的图像或目标检索已经成为一个热门的研究课题。基于局部特征的图像检索系统涉及到两个重要的过程：局部特征提取和图像表示。图像检索系统的另一个关键技术是图像表示，如视觉词袋（BoVW），Fisher向量或局部聚集描述符向量（VLAD）框架。在本文中，我们回顾了局部特征和图像表示的图像检索。由于在这一领域提出了许多方法，这些方法被分为几类并进行了总结。此外，还简要回顾了最近基于深度学习的图像检索方法。
2016-07-28 cs.CV
R-Theta Local Neighborhood Pattern for Unconstrained Facial Image Recognition and Retrieval
提出了一种基于R-Theta局部邻域模式的人脸图像检索方法。RTLNP利用在不同角度和径向宽度的参考像素的局部邻域中的像素之间的关系。所提出的编码方案将局部邻域划分为角宽度相等的扇区。这些扇区又被分成两个径向宽度的子扇区。对这两个分区的平均灰度值进行编码以生成微图案。所提出的描述符的性能进行了评估，并将结果与现有技术的描述符，例如LBP，LTP，CSLBP，CSLTP，Sobel-LBP，LTCoP，LMeP，LDP，LTrP，MBLBP，BRINT和SLBP进行了比较。最具挑战性的面部约束和无约束的数据库，即AT&T，CARIA-Face-V5-Cropped，LFW和Color FERET已被用于显示所提出的描述符的效率。建议的描述符也进行了测试，近红外（NIR）人脸数据库; CASIA NIR-VIS 2.0和PolyU-NIRFD，以探索其潜力与近红外人脸图像。RTLNP的检索率比现有的最先进的描述符显示了描述符的有效性
2022-01-03 cs.CV cs.MM
Siamese Network of Deep Fisher-Vector Descriptors for Image Retrieval
University of Surrey（萨里大学）
本文研究了大规模图像检索问题，其目的是对大量图像与给定查询图像的相似性进行准确的排序。为了实现这一点，我们提出了一种新的暹罗网络。该网络由两个计算链组成，每个计算链由CNN组件和Fisher向量组件组成。CNN组件产生密集的深度卷积描述符，然后通过Fisher向量方法聚合。至关重要的是，我们建议同时学习CNN滤波器权重和Fisher Vector模型参数。这使我们能够解释在学习过程中深度描述符的不断变化的分布。我们表明，所提出的方法给出了显着的改进，在牛津和巴黎的图像检索数据集的最先进的方法。此外，我们还为这两个数据集提供了一个基线性能指标，其中包括100万个干扰项。
2017-02-01 cs.CV
3D model retrieval using global and local radial distances
Nanyang Technological University（南洋理工大学）
三维模型检索技术可以分为基于直方图的方法、基于视图的方法和基于图的方法。我们提出了一种混合形状描述符，它结合了全局和局部径向距离特征，分别利用基于直方图和基于视图的方法。我们定义了一个相对于模型边界球中心的区域加权的全局径向距离，并将其分布编码为2D直方图作为全局径向距离形状描述符。然后，我们将3D模型的边界立方体统一划分为一组小立方体，并将它们的中心定义为局部中心。然后，我们根据最近的局部中心计算点的局部径向距离。通过对一组视图进行稀疏采样，并对渲染视图上的局部径向距离特征进行颜色编码，提取局部径向距离形状描述子。基于这两个形状描述子，我们开发了一个混合径向距离形状描述子用于三维模型检索。实验结果表明，我们的混合形状描述符优于几个典型的基于直方图和基于视图的方法。
2013-06-10 cs.CV cs.GR cs.IR
A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers
Czestochowa University of Technology（琴斯托霍瓦理工大学）；Southeast University（东南大学）；University of Social Sciences（社会科学大学）
在本文中，我们考虑使用深度神经网络的基于内容的图像检索任务的描述符构建问题。基于全连接层激活的神经代码的思想通过合并卷积层中包含的信息来扩展。众所周知，网络卷积部分的神经元总数很大，其中大多数对最终分类决策的影响很小。因此，在本文中，我们提出了一种新的算法，使我们能够提取最重要的神经元激活，并利用这些信息来构建有效的描述符。由从全连接层和卷积层获取的值组成的描述符完美地表示了整个图像内容。使用这些描述符检索的图像在语义上与查询图像非常匹配，并且它们在其他次要图像特征（如背景、纹理或颜色分布）上也相似。基于IMAGENET1M数据集，使用VGG 16神经网络对所提出的描述符的这些特征进行了实验验证。
2020-07-13 cs.CV
Compact Deep Aggregation for Set Retrieval
University of Oxford（牛津大学）；DeepMind（深度思维）
这项工作的目的是学习一组描述符，这是适合有效的检索和排名，同时保持个别描述符的可辨别性紧凑的嵌入。我们专注于这个一般性问题的一个具体例子-检索包含多个面孔的图像从一个大规模的图像数据集。这里，集合由每个图像中的面部描述符组成，并且给定对多个身份的查询，目标是按顺序检索包含所有身份的图像，除了一个，\etc为此，我们做出以下贡献：首先，我们提出了一个CNN架构- { \em SetNet} -以实现目标：它学习人脸描述符及其在集合上的聚合，以产生为集合检索设计的紧凑的固定长度描述符，并且图像的得分是匹配查询的身份的数量的计数;第二，我们证明了这种紧凑的描述符在每个图像两个人脸的情况下具有最小的可辨别性损失，并且在那之后缓慢地退化-远远超过基线的数量;第三，我们探索了速度与检索质量权衡集检索使用这个紧凑的描述符;最后，我们收集和注释包含不同数量的名人，我们用于评估和公开发布的图像的大型数据集。
2020-03-26 cs.CV
General Image Descriptors for Open World Image Retrieval using ViT CLIP
H2O.ai；University of Würzburg（维尔茨堡大学）
谷歌通用图像嵌入（GUIE）挑战赛是多领域图像表示领域的首批竞赛之一，涵盖了广泛的对象分布：地标、艺术品、食物等。这是一个基本的计算机视觉问题，在图像检索、搜索引擎和电子商务中有着重要的应用。在这项工作中，我们解释了我们对GUIE挑战的第四名解决方案，以及我们使用CLIP预训练的微调zero-shot视觉Transformer（ViT）的“技巧包”。
2022-10-20 cs.AI cs.CV
Investigating the Vision Transformer Model for Image Retrieval Tasks
Democritus University of Thrace（德谟克利特色雷斯大学）；Neapolis University Pafos（帕福斯尼亚波利斯大学）
本文介绍了一种即插即用的描述符，可以有效地通过图像检索任务，无需事先初始化或准备。该描述方法利用了最近提出的视觉Transformer网络，而它不需要任何训练数据来调整参数。在图像检索任务中，手工全局和局部描述符的使用在过去几年中已经被基于卷积神经网络（CNN）的方法非常成功地取代。然而，本文在几个基准数据集上对文献中的36个最先进的描述符进行的实验评估表明，不包含卷积层的神经网络，如视觉Transformer，可以塑造全局描述符并实现有竞争力的结果。由于不需要微调，所提出的方法的低复杂性，鼓励采用的架构作为图像检索基线模型，取代传统的和良好采用的基于CNN的方法，开创了一个新时代的图像检索方法。
2021-01-11 cs.CV cs.IR cs.RO
Local Directional Relation Pattern for Unconstrained and Robust Face Retrieval
Indian Institute of Information Technology（印度理工学院信息技术学院）
人脸识别仍然是一个非常苛刻的研究领域。这个问题变得更具挑战性，在不受约束的环境中，并在存在几个变化，如姿势，照明，表达等本地描述符被广泛用于这项任务。现有的局部描述符大多只考虑了少量的直接局部邻居，不能利用更广泛的局部信息来使描述符更具区分性。更广泛的基于局部信息的描述符主要由于增加的维度而受损。在本文中，这个问题是解决编码的方向邻居之间的关系，在一个有效的方式。中心像素和编码的方向邻居之间的关系被进一步利用，以形成建议的局部方向关系模式（LDRP）。描述符是固有的均匀照明不变。多尺度机制还适于进一步提高描述符的区分能力。在人脸数据库的图像检索框架下对所提出的描述符进行了评估。非常具有挑战性的数据库，如PaSC，LFW，PubFig，ESSEX，FERET，AT&T和FaceScrub用于测试LDRP描述符的区分能力和鲁棒性。最后，将该方法与LBP、LTP、LDP、LDN、LVP、DCP、LDGP和LGHP等人脸描述符进行了比较。非常有前途的性能观察到使用建议的描述符非常有吸引力的人脸数据库相比，现有的人脸描述符。所提出的LDRP描述符在大规模FaceScrub人脸数据集上的性能也优于预先训练的ImageNet CNN模型。此外，它在许多场景下也优于基于深度学习的DLib人脸描述符。
2019-07-03 cs.CV
A Novel Feature Descriptor for Image Retrieval by Combining Modified Color Histogram and Diagonally Symmetric Co-occurrence Texture Pattern
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
在本文中，我们提出了一种新的特征描述符相结合的颜色和纹理信息集体。在我们提出的颜色描述符组件中，已经探索了HSV颜色空间中的色调（H）和饱和度（S）通道之间的通道间关系，这是以前没有做过的。我们已经将H通道量化为多个仓，并且通过遵循与HOG描述符类似的原理来执行具有饱和值的投票，反之亦然，其中梯度的方向被量化为一定数量的仓，并且投票是利用梯度幅度来完成的。这有助于我们研究饱和度随色调变化而变化的性质以及色调随饱和度变化而变化的性质。我们的描述符的纹理分量考虑关于3x 3窗口的两个对角线对称的像素之间的同现关系。我们的工作灵感来自Dubey等人的工作。[1]的文件。这两个组成部分，即颜色和纹理信息单独执行比现有的纹理和颜色描述符。此外，当连接的建议的描述符提供显着的改善现有的描述符的内容为基础的彩色图像检索。该描述符已在五个数据库上进行了图像检索测试，包括纹理图像数据库- MIT VisTex数据库和萨尔茨堡纹理数据库以及自然场景数据库Corel 1 K、Corel 5 K和Corel 10 K。在这些数据库上实验的精度和召回值进行了比较，与一些国家的最先进的本地模式。实验结果表明，该方法具有较好的效果。
2018-01-03 cs.CV
Local Descriptors Optimized for Average Precision
局部特征描述符的提取是许多计算机视觉任务的解决方案管道中的重要阶段。基于学习的方法提高了某些任务的性能，但总体上仍然无法取代手工制作的功能。在本文中，我们通过优化描述符匹配的性能来改进局部特征描述符的学习，描述符匹配是基于局部特征的管道中描述符提取之后的常见阶段，并且可以被公式化为最近邻检索。具体来说，我们使用深度神经网络直接优化基于排名的检索性能指标平均精度。该通用解决方案也可以被视为列表式学习排序方法，其与最近的局部排序方法相比是有利的。在标准的基准测试中，用我们的公式学习的描述符在补丁验证、补丁检索和图像匹配中获得了最先进的结果。
2018-04-17 cs.CV
Visual descriptors for content-based retrieval of remote sensing images
Department of Informatics, Systems and Communication. University of Milano - Bicocca（米兰比可卡大学信息学、系统与传播系）
在本文中，我们提出了一个广泛的评价视觉描述符的遥感（RS）图像的基于内容的检索。评估包括全球手工制作，本地手工制作，和卷积神经网络（CNN）的功能，再加上四个不同的基于内容的图像检索方案。我们在两个公开的数据集上进行了所有实验：21级UC Merced土地利用/土地覆盖（土地利用）数据集和19级高分辨率卫星场景数据集（SceneSat）。遥感图像的内容可能是非常异构的，从包含细粒度纹理的图像，到粗粒度纹理的图像或包含对象的图像。因此，在该领域中，应该采用哪个描述符来描述具有这种可变性的图像是不明显的。结果表明，基于CNN的功能比全球和本地手工制作的功能，无论是检索方案。从SatResNet-50中提取的特征，一种适合在RS域上微调的残差CNN，比在多媒体场景和对象图像上预训练的残差CNN表现出更好的性能。从NetVLAD提取的特征，一个考虑CNN和局部特征的CNN，比其他CNN解决方案在包含细粒度纹理和对象的图像上效果更好。
2017-08-08 cs.CV
GLAD: Global-Local-Alignment Descriptor for Pedestrian Retrieval
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
人体姿态的巨大变化和检测到的人体图像的错位显着增加了人的再识别（Re-ID）的难度。此外，需要高效的Re-ID系统来处理视频监控系统产生的大量视觉数据。针对这些问题，本文分别提出了全局-局部-对齐描述符（GLAD）和高效的索引和检索框架。GLAD显式地利用人体中的局部和全局线索来生成区分性和鲁棒性的表示。它由零件提取和描述符学习模块组成，首先检测几个零件区域，然后设计深度神经网络，用于局部和全局区域的表示学习。设计了一个层次化的索引和检索框架，消除了图库集的巨大冗余，加快了在线Re-ID过程。大量的实验结果表明，GLAD实现竞争力的准确性相比，国家的最先进的方法。我们的检索框架显着加快了在线Re-ID过程，而不损失准确性。因此，这项工作有可能在真实场景中更好地处理人员Re-ID任务。
2017-09-13 cs.CV
Descriptor transition tables for object retrieval using unconstrained cluttered video acquired using a consumer level handheld mobile device
University of Cambridge（剑桥大学）；University of St Andrews（圣安德鲁斯大学）
视觉识别和基于视觉的大型数据库对象检索是具有广泛潜在应用的任务。在本文中，我们提出了一种新的识别方法，从视频序列，适合从数据库中获取的高度不受约束的条件下，例如，使用移动消费级设备，如手机检索。在最低级别上，我们将每个序列表示为密集包装的局部外观描述符的3D网格。虽然图像平面几何形状是通过提取描述符的相邻区域的大重叠来隐式地捕获的，但是3D信息是通过描述符转换表来提取的，该描述符转换表是从每个已知图库对象的单个序列中学习的。这些允许我们沿着第三维（对应于视点变化）连接局部描述符，从而为每个视频生成一组可变长度的马尔可夫链。这种链的两个集合的匹配被公式化为统计假设检验，由此选择每个的子集以最大化对应的视频序列显示相同对象的可能性。阿姆斯特丹图书馆的对象图像和一个新的高度挑战性的视频数据集，使用手机获取的经验评估所提出的算法的有效性。在这两个数据集上，我们的方法被证明是成功的识别背景杂波和大的视点变化的存在。
2016-03-21 cs.CV
Efficient texture retrieval using multiscale local extrema descriptors and covariance embedding
IRISA - Université Bretagne Sud（IRISA（法国信息与随机系统研究所）-南布列塔尼大学）
提出了一种基于局部极值关键点的多尺度特征提取和嵌入的纹理检索方法。其思想是首先表示每个纹理图像的局部最大值和局部最小值像素。然后将图像划分为规则的重叠块，每个块的特征在于由其局部极值的辐射、几何和结构信息构造的特征向量。所有的特征向量最终嵌入到一个协方差矩阵，将利用检索任务中的相异性测量。由于该方法的简单性，多尺度方案可以很容易地实现，以提高其尺度空间表示能力。我们认为，我们的手工制作的功能很容易实现，运行速度快，但可以提供非常有竞争力的性能相比，手工制作和基于CNN的学习描述符从文献。特别是，该框架提供了高度竞争力的检索率为几个纹理数据库，包括94.95%的MIT Vistex，79.87%的Stex，76.15%的Outex TC-00013和89.74%的USPtex。
2018-08-03 cs.CV
A Dense-Depth Representation for VLAD descriptors in Content-Based Image Retrieval
University of Parma（帕尔马大学）
深度学习带来的最新进展可以提高图像检索任务的性能。通过卷积神经网络（CNN）中可用的许多卷积层，可以从评估的图像中获得特征的层次结构。在每一步中，提取的补丁比以前的水平更小，更具代表性。遵循这一思想，本文介绍了一种新的检测器应用于从预训练的CNN中提取的特征图。具体来说，这种方法可以增加特征的数量，以提高聚合算法的性能，如最著名和最常用的VLAD嵌入。该方法在不同的公共数据集上进行了测试：Holidays，Oxford 5 k，Paris 6 k和UKB。
2018-08-15 cs.CV
LDOP: Local Directional Order Pattern for Robust Face Retrieval
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）
局部描述子由于其较强的区分能力而受到广泛关注。实验证明，多尺度局部邻域的引入提高了描述子的性能，但代价是维数增加。本文提出了一种新的方法来构建一个局部描述符使用多尺度邻域，通过寻找在特定方向上的不同尺度的强度值之间的局部方向顺序。局部方向序是指在特定方向上的多半径关系因子。通过找到中心像素和局部方向顺序索引之间的关系来计算针对特定像素的建议的局部方向顺序模式（LDOP）。需要将中心值转换为相邻阶数的范围。最后，计算整个图像的LDOP直方图来构造描述符。与最先进的描述符相比，所提出的描述符的维度不依赖于计算顺序所涉及的邻居的数量;它只依赖于方向的数量。引入的描述符进行评估的图像检索框架，并与国家的最先进的描述符相比，具有挑战性的人脸数据库，如PaSC，LFW，PubFig，FERET，AR，AT&T，和ExtendedYale。实验结果证实了LDOP描述子的优越性和鲁棒性。
2019-12-24 cs.CV
Location Field Descriptors: Single Image 3D Model Retrieval in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology, Austria（奥地利格拉茨工业大学计算机图形与视觉研究所）
我们提出了位置字段描述符，一种新的方法，在野外的单图像三维模型检索。与之前直接将3D模型和RGB图像映射到嵌入空间的方法相反，我们以位置字段的形式建立了一个通用的低级表示，我们从中计算姿态不变的3D形状描述符。位置字段对2D像素和3D表面坐标之间的对应关系进行编码，并且因此明确地捕获3D形状和3D姿态信息，而没有与任务无关的外观变化。这种3D模型和RGB图像的早期融合产生了三个主要优点：首先，瓶颈位置场预测在训练期间充当正则化器。其次，系统的主要部分受益于对几乎无限数量的合成数据的训练。最后，预测的位置字段是视觉上可解释的，并且使系统非黑盒化。我们在三个具有挑战性的现实世界数据集（Pix3D，Comp和Stanford）上评估了我们提出的方法，这些数据集具有不同的对象类别，并且在多个3D检索指标中的绝对值高达20%。
2019-08-07 cs.CV
Object Class Detection and Classification using Multi Scale Gradient and Corner Point based Shape Descriptors
University Jean Monnet（让·莫内大学）
提出了一种新的基于多尺度梯度和角点的形状描述子。新的基于多尺度梯度的形状描述子与通用傅立叶描述子相结合，提取基于轮廓和区域的形状信息。优化了基于形状信息的随机森林分类器的目标类别检测和分类技术。本文提出的综合描述子对旋转、缩放、平移、仿射变形、噪声轮廓和噪声形状具有鲁棒性。新的基于角点的插值形状描述符已被用于快速目标检测和分类，具有更高的精度。
2015-05-03 cs.CV
Local Neighborhood Intensity Pattern: A new texture feature descriptor for image retrieval
Institute of Engineering & Management（工程与管理学院）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
针对基于内容的图像检索（CBIR），提出了一种新的基于局部邻域亮度差的纹理描述子。对于像局部二进制模式（LBP）这样的纹理特征的计算，图像的3*3窗口中的中心像素与所有剩余的邻居进行比较，每次一个像素以生成二进制位模式。它忽略了一个特定的像素的二进制编码和纹理描述的相邻邻居的影响。所提出的方法是基于这样的概念，即一个特定的像素的邻居持有大量的纹理信息，可以被认为是有效的CBIR纹理表示。考虑到这一点，我们开发了一种新的纹理描述符，命名为局部邻域强度模式（LNIP），它考虑了一个特定的像素和中心像素之间的相对强度差，通过考虑其相邻的邻居，并生成一个符号和幅度模式。由于符号和幅度模式彼此保持互补的信息，这两个模式被连接到一个单一的特征描述符，以生成更具体和有用的特征描述符。该描述符已被测试的图像检索四个数据库，包括三个纹理图像数据库- Brodatz纹理图像数据库，MIT VisTex数据库和萨尔茨堡纹理数据库和一个人脸数据库AT&T人脸数据库。在这些数据库上观察到的精度和召回值进行比较，与一些国家的最先进的本地模式。所提出的方法显示出显着的改进，许多其他现有的方法。
2018-07-02 cs.CV
An Application of Manifold Learning in Global Shape Descriptors
University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；Marshfield Clinic Research Institute（马什菲尔德诊所研究所）
随着应用3D计算视觉的快速扩展，形状描述符对于从分子到行星的各种应用和对象变得越来越重要。合适的形状描述符对于准确（和有效）的形状检索和3D模型分类至关重要。通过求解3D表面模型上的各种物理方程，引入了几种基于光谱的形状描述符。在本文中，第一次，我们将一组特定的技术统计和机器学习，称为流形学习，开发一个全球形状描述符在计算机图形学领域。建议的描述符利用拉普拉斯特征映射技术，其中拉普拉斯特征值问题离散化使用指数加权方案。因此，我们的描述符消除了与现有谱描述符相关的限制，即依赖于三角形网格表示和3D模型的高类内质量。我们还提出了一个简单的归一化方法来获得一个尺度不变的描述符。在这项研究中进行的广泛的实验表明，目前的贡献提供了一个高度歧视性和强大的形状描述符下存在的高水平的噪声，随机尺度变化，低采样率，除了已知的等距不变性质的拉普拉斯-贝尔特拉米算子。所提出的方法显着优于国家的最先进的算法在几个非刚性形状检索基准。
2019-01-08 cs.CG cs.CV cs.GR
Attention-Aware Generalized Mean Pooling for Image Retrieval
Jilian Technology Group（极链科技集团）；Video++ AI Lab（Video++人工智能实验室）
它已被证明，图像描述符提取的卷积神经网络（CNN）取得了显着的效果检索问题。在本文中，我们将注意力机制应用于CNN，旨在增强与输入图像中的重要关键点相对应的更多相关特征。所生成的注意力感知特征然后通过先前的最先进的广义均值（GeM）池化进行聚合，然后进行归一化以产生紧凑的全局描述符，该全局描述符可以通过点积与其他图像描述符进行有效地比较。我们提出的方法与国家的最先进的方法进行了广泛的比较新的具有挑战性的ROxford5k和RParis6k检索基准。结果表明，显着改善比以前的工作。特别是，我们的注意力感知的GeM（AGeM）描述符在“硬”评估协议下的ROxford5k上的性能优于最先进的方法。
2019-01-28 cs.CV
Aggregated Deep Local Features for Remote Sensing Image Retrieval
Eindhoven University of Technology（埃因霍温理工大学）
由于遥感图像的特殊性，遥感图像检索一直是一个具有挑战性的课题。这样的图像包含各种不同的语义对象，这显然使检索任务复杂化。在本文中，我们提出了一种图像检索管道，它使用专注的局部卷积特征，并使用局部聚合描述符向量（VLAD）将它们聚合以产生全局描述符。我们研究了各种系统参数，如乘法和加法的注意力机制和描述符维数。我们提出了一个不需要外部输入的查询扩展方法。实验表明，即使没有训练，局部卷积特征和全局表示也优于其他系统。经过系统调整后，我们可以实现最先进或有竞争力的结果。此外，我们观察到，我们的查询扩展方法提高了约3%的整体系统性能，只使用前三个检索到的图像。最后，我们展示了降维如何产生紧凑的描述符，提高检索性能和快速检索计算时间，例如比当前系统快50%。
2019-03-22 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
Fast 3D point clouds retrieval for Large-scale 3D Place Recognition
LASTIG；IGN-ENSG；Gustave Eiffel University（埃菲尔大学）
本文提出将可微搜索索引（DSI）适配于3D点云检索，通过Vision Transformers结合位置与语义编码生成1D标识符，实现常数时间直接检索，在公共基准上验证了其在位置识别中的质量与速度优势。
2025-05-28 cs.CV cs.IR
Long-short Term Motion Feature for Action Classification and Retrieval
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法来表示运动信息的视频分类和检索。我们改进了基于局部描述符的方法，这些方法已经成为最流行和最成功的视频表示模型之一。期望的局部描述符需要满足两个要求：1）具有代表性，2）具有区分性。因此，它们需要在视频中足够频繁地出现，并且能够区分不同类型的运动。为了生成这样的局部描述符，它们所基于的视频块必须包含恰好适量的运动信息。然而，当前最先进的局部描述符方法使用具有单个固定大小的视频块，这不足以覆盖具有变化速度的动作。在本文中，我们引入了一个长短期的运动特征，从多个长度的视频块中生成描述符，从而覆盖速度变化较大的运动。实验结果表明，尽管简单，我们的模型在几个基准数据集上达到了最先进的结果。
2015-02-13 cs.CV
Large-Scale Image Retrieval with Attentive Deep Local Features
POSTECH（浦项科技大学）；Google Inc（谷歌公司）
我们提出了一个专注的局部特征描述符，适合于大规模的图像检索，称为DELF（深度局部特征）。新功能基于卷积神经网络，该网络仅使用地标图像数据集上的图像级注释进行训练。为了识别语义上有用的图像检索的局部特征，我们还提出了一个注意力机制的关键点选择，共享大多数网络层的描述符。该框架可用于图像检索，作为其他关键点检测器和描述符的替代品，从而实现更准确的特征匹配和几何验证。我们的系统产生可靠的置信度分数，拒绝误报-特别是，它对数据库中没有正确匹配的查询是鲁棒的。为了评估所提出的描述符，我们引入了一个新的大规模数据集，称为谷歌地标数据集，其中涉及的挑战，在数据库和查询，如背景杂波，部分遮挡，多个地标，对象在可变尺度等，我们表明，DELF优于国家的最先进的全球和本地的描述符在大规模设置的显着利润率。代码和数据集可以在项目网页上找到：https://github.com/tensorflow/models/tree/master/research/delf。
2018-02-03 cs.CV
Large scale near-duplicate image retrieval using Triples of Adjacent Ranked Features (TARF) with embedded geometric information
ABBYY（ABBYY公司）
大规模图像检索的大多数方法都是基于局部图像描述符或视觉词的倒排索引的构造。在这样的索引中进行搜索通常会得到大量的候选项。然后，例如，使用RANSAC算法，在几何验证的帮助下，对该候选列表进行重新排序。在本文中，我们提出了一个特征表示，这是建立作为一个组合的三个本地描述符。它允许显著减少错误匹配的数量，并在倒排索引中的初始搜索之后缩短候选列表。这种局部描述符的组合是可再现的和高度区分的，因此可以有效地用于大规模的近重复图像检索。
2016-03-19 cs.CV
Automated Classification of Cell Shapes: A Comparative Evaluation of Shape Descriptors
针对含噪细胞轮廓的形状分类难题，该研究对比评估了椭圆傅里叶描述子等多种形状特征，基于合成数据集筛选出最优描述子并用于真实图像定性分析，为细胞类型识别等生物与病理任务提供支撑。
2024-11-01 cs.CV q-bio.QM
Content-Based Landmark Retrieval Combining Global and Local Features using Siamese Neural Networks
Technische Universität Berlin（柏林工业大学）
在这项工作中，我们提出了一个地标检索，利用全球和本地功能的方法。一个连体网络用于全局特征提取和度量学习，这给出了一个初始排名的地标搜索。我们利用从暹罗体系结构中提取的特征图作为局部描述符，然后使用局部描述符之间的余弦相似度进一步细化搜索结果。我们对用于评估的Google Landmark数据集进行了更深入的分析，并增加了数据集以处理各种类内方差。此外，我们进行了几个实验来比较迁移学习和度量学习的效果，以及使用其他局部描述符的实验。我们表明，使用本地功能的重新排名可以改善搜索结果。我们相信，建议使用余弦相似性的本地特征提取是一个简单的方法，可以扩展到许多其他检索任务。
2022-08-03 cs.CV cs.IR cs.LG
Using compatible shape descriptor for lexicon reduction of printed Farsi subwords
Tarbiat Modares University（塔比亚特莫达雷斯大学）
本文提出了一种基于波斯语子词整体形状特征的词汇约简方法。由于大量的波斯语子词形状各异，从一个简单的字母到几个连接字符的复杂组合，很难找到一个适合所有子词的固定形状描述符。在本文中，我们建议选择描述符根据输入的形状特征。为此，训练神经网络以预测输入图像的适当描述符。该网络在建议的词典缩减系统中实现，以决定用于将查询图像与词典条目进行比较的描述符。波斯语子词的数据集上评估所提出的方法，可以证明所提出的想法，不同的处理不同的查询形状的有效性。
2016-01-23 cs.CV
Convolutional Patch Representations for Image Retrieval: an Unsupervised Approach
Inria Grenoble Rhone-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
卷积神经网络（CNN）最近受到了广泛的关注，因为它们能够以多尺度的方式对自然图像中的局部静止结构进行建模，并且在有监督的情况下学习所有模型参数。虽然当大量标记的视觉数据可用时，图像分类实现了出色的性能，但它们在无监督任务（如图像检索）中的成功迄今为止一直是中等的。我们的论文侧重于后者的设置，并探讨了几种方法，学习补丁描述符没有监督与应用程序的匹配和实例级检索。为此，我们基于最近引入的卷积核网络，提出了一个新的卷积描述符家族用于补丁表示。我们证明了我们的描述符Patch-CKN的性能优于SIFT以及通过人工引入监督学习的其他卷积网络，并且训练速度明显更快。为了证明其有效性，我们进行了广泛的评估补丁和图像检索的标准基准，我们获得了最先进的结果。我们还介绍了一个新的数据集，称为补丁补丁，它允许同时研究补丁和图像检索的描述符性能。
2016-03-01 cs.CV
Deep Image Retrieval: Learning global representations for image search
Xerox Research Center Europe（施乐欧洲研究中心）
提出了一种新的实例级图像检索方法。它产生一个全球性的和紧凑的固定长度表示为每个图像通过聚合许多区域明智的描述符。与以前使用预先训练的深度网络作为黑盒来生成特征的工作相比，我们的方法利用了针对图像检索的特定任务训练的深度架构。我们的贡献是双重的：（i）我们利用排名框架来学习用于构建区域特征的卷积和投影权重;以及（ii）我们采用区域建议网络来学习哪些区域应该被合并以形成最终的全局描述符。我们表明，使用干净的训练数据是我们的方法成功的关键。为此，我们使用了一个大规模的，但嘈杂的地标数据集，并开发了一个自动清洗方法。所提出的架构产生一个全球性的图像表示在一个单一的向前通过。我们的方法显着优于以前的方法，基于标准数据集上的全局描述符。它甚至超过了大多数基于昂贵的局部描述符索引和空间验证的现有工作。其他材料可在www.xrce.xerox.com/Deep-Image-Retrieval上查阅。
2016-07-28 cs.CV
Spectral descriptors for deformable shapes
Tel Aviv University（特拉维夫大学）
信息和歧视性的特征描述符在变形形状分析中起着基础性的作用。例如，它们已成功地用于通信，注册和检索任务。近年来，人们对Laplace-Beltrami算子的谱分解描述子的研究取得了很大的进展。在这个家族中值得注意的例子是热核签名（HKS）和波核签名（WKS）。基于拉普拉斯算子的描述符在许多形状分析任务中实现了最先进的性能;它们计算效率高，构造等距不变，并且可以优雅地应对各种变换。在本文中，我们制定了一个通用的家庭参数谱描述符。我们认为，为了是最佳的一个特定的任务，描述符应该考虑到它被应用到（“信号”）和那些的类的变换，它是不敏感的（“噪声”）的形状的语料库的统计。虽然这些统计数据很难公理化建模，但它们可以从示例中学习。在信号处理中的维纳滤波器的精神，我们展示了一个学习计划的最佳频谱描述符的建设，并将其与马氏度量学习。在SHREC'10基准测试中证明了该方法的优越性。
2011-10-23 cs.CG cs.CV cs.GR
Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion: Applications to Face Matching, Learning from Unlabeled Videos and 3D-Shape Retrieval
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Linköping University（林雪平大学）
当前最佳局部描述符是在匹配和非匹配关键点对的大型数据集上学习的。然而，这种类型的数据并不总是可用的，因为详细的关键点对应关系可能难以建立。另一方面，我们通常可以获得关键点包对的标签。例如，从同一对象在不同视图下的两个图像中提取的关键点包形成匹配对，而从不同对象的图像中提取的关键点包形成非匹配对。平均而言，匹配对应该比非匹配对包含更多的对应关键点。我们描述了一个端到端的可区分的架构，使学习的本地关键点描述符从这样的弱标记的数据。此外，我们还讨论了如何通过引入挖掘硬否定的过程来改进该方法。我们还展示了如何使用我们的方法从未标记的视频信号和3D模型中学习卷积特征。我们的实现可以在www.example.com上获得
2019-05-07 cs.CV
GRM: Gradient Rectification Module for Visual Place Retrieval
Xi’an Jiaotong Univerisity（西安交通大学）；MEGVII Inc.（旷视科技有限公司）
视觉地点检索的目的是在数据库中搜索与查询图像相似的地点。然而，由网络编码的全局描述符通常落入低维主空间，这是有害的检索性能。我们首先分析了这种现象的原因，指出这是由于退化的梯度分布的描述符。然后，我们提出了梯度校正模块（GRM）来缓解这个问题。GRM附加在最终池化层之后，可以将梯度校正到主空间的互补空间。通过GRM，网络被鼓励在整个空间中更均匀地生成描述符。最后，我们在多个数据集上进行了实验，并将我们的方法推广到原型学习框架下的分类任务。
2023-02-28 cs.CV
Efficient Match Pair Retrieval for Large-scale UAV Images via Graph Indexed Global Descriptor
China University of Geosciences（中国地质大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)（广东省人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）；Wuhan University（武汉大学）；Hunan University of Science and Technology（湖南科技大学）
本文针对大规模无人机影像匹配对检索效率低的问题，提出基于在线训练码本、VLAD全局描述符和HNSW图索引的高效检索方法，并结合自适应阈值与分治并行SfM重建，实现36至108倍加速且保持有竞争力的定向精度。
2023-07-10 cs.CV
Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）
从给定图像计算6自由度摄像机姿态的视觉定位在机器人、虚拟现实、增强现实等领域有着广泛的应用。一个是全局描述符，从每个图像中提取整个特征。另一种是局部描述符，它从每个图像块中提取局部特征，通常包含一个关键点。越来越多的视觉定位方法分为两个阶段：首先利用全局描述符进行图像检索，然后根据检索反馈利用局部描述符进行2D-3D点对应。对于大多数方法，这两个阶段是连续的。这种简单的组合并没有实现融合局部和全局描述符的优越性。从检索反馈中得到的三维点仅通过全局描述符作为二维图像点的最近邻候选。当执行2D-3D点对应时，每个2D图像点也被称为查询局部特征。在本文中，我们提出了一种新的并行搜索框架，它利用本地和全局描述符的优势，以获得查询本地功能的最近邻候选人。具体来说，除了使用基于深度学习的全局描述符之外，我们还利用局部描述符来构建随机树结构，以获得查询局部特征的最近邻候选。在构建随机树时，我们提出了一种新的概率模型和一种新的基于深度学习的局部描述符。在局部描述子的损失函数中加入加权Hamming正则项，以保持二值化后的判别性。损失函数共同训练实数和二进制描述符，其结果被集成到随机树中。
2020-09-23 cs.CV
Discriminative Map Retrieval Using View-Dependent Map Descriptor
University of Fukui（福井大学）
地图检索是移动机器人在室内和室外环境中进行自主导航的关键。词袋（Bag-of-Words，BoW）方法是地图检索的一种常用方法，但由于忽略了局部特征的空间布局信息，其描述能力非常有限。本文的主要贡献是一个扩展的词袋地图检索方法，使使用的空间信息从本地功能。我们的策略是显式地建模一个独特的观点输入本地地图的本地功能的姿态定义相对于这个独特的观点，并可以被视为一个额外的不变特征的歧视性地图检索。具体来说，我们希望确定一个独特的观点，是不变的移动对象，混乱，闭塞，和实际的观点。因此，我们执行场景解析来分析场景结构，并认为场景结构的“中心”是唯一的视点。我们的场景解析是基于曼哈顿世界语法，施加一个准曼哈顿世界约束，使强大的检测的场景结构是不变的混乱和移动对象。使用公开的萝卜数据集的实验结果验证了所提出的方法的有效性。
2015-09-25 cs.CV
Aggregating Deep Convolutional Features for Image Retrieval
Yandex（扬德克斯）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
最近的几项工作表明，由深度卷积神经网络产生的图像描述符为图像分类和检索问题提供了最先进的性能。还表明，来自卷积层的激活可以被解释为描述特定图像区域的局部特征。这些局部特征可以使用为局部特征开发的聚合方法（例如Fisher向量）来聚合，从而提供新的强大的全局描述符。在本文中，我们研究了可能的方法来聚合局部深度特征，以产生紧凑的全局描述符的图像检索。首先，我们发现深度特征和传统手工设计的特征具有完全不同的成对相似性分布，因此必须仔细重新评估现有的聚合方法。这种重新评估表明，与浅层特征相比，基于总和池的简单聚合方法可以为深度卷积特征提供最佳性能。该方法是有效的，具有很少的参数，并且在例如学习PCA矩阵时具有很小的过拟合风险。总的来说，新的紧凑的全球描述符大大提高了四个常见的基准上的最先进的。
2015-10-26 cs.CV
