Radon Features and Barcodes for Medical Image Retrieval via SVM
Nanjing University of Science & Technology（南京理工大学）；University of Waterloo（滑铁卢大学）
基于内容的图像检索（CBIR）已经研究了二十多年。将Radon投影和支持向量机相结合，提出了一种基于内容的医学图像检索方法。该方法采用归一化的Radon投影与相应的图像类别标签，以建立一个SVM分类器，和Radon条形码数据库，编码的每一个图像在一个二进制格式也同时产生标记所有的图像。为了在给定查询图像时检索相似图像，生成查询图像的Radon投影和条形码。随后，k-近邻搜索方法被施加到找到的图像与最小汉明距离的Radon条形码在同一类预测的训练SVM分类器，使用Radon功能。通过使用IRMA 2009数据集的57个类别的14，410个X射线图像，验证了所提出的方法的性能。结果表明，我们的方法有能力检索相似的响应，正确识别的查询图像，甚至错误分类的SVM。此外，该方法非常快并且具有低存储器要求。
2016-04-16 cs.CV
Gabor Barcodes for Medical Image Retrieval
University of Waterloo（滑铁卢大学）
近年来，医学成像的进步导致了大量数据库的出现，其中包含来自各种模态的图像。这显著地提高了一方面对图像的自动注释的需求，另一方面对基于内容的快速且存储高效的图像检索系统的需求。二进制描述符作为实现这些目标的潜在工具最近获得了更多的关注。最近引入的用于标记医学图像的二进制描述符之一是Radon条形码（RBC），其通过局部阈值化从Radon变换驱动。Gabor变换也是一种提取纹理信息的强大变换。Gabor特征在许多应用中表现出对旋转、尺度以及光度干扰（例如光照变化和图像噪声）的鲁棒性。本文介绍了Gabor条形码（GBC），作为一种新的框架的图像注释。为了找到针对给定查询图像的最有区别的GBC，采用具有不同参数的Gabor滤波器的效果，即，不同的尺度和方向，进行了研究，导致不同的条形码长度和检索性能。所提出的方法已经在IRMA数据集上进行了评估，该数据集具有193个类别，包括12，677个用于索引的X射线图像和1，733个用于测试的X射线图像。达到了低至$351$（首次命中的$\approx 80\%$准确度）的总错误评分。
2016-05-14 cs.CV
Retrieving Similar X-Ray Images from Big Image Data Using Radon Barcodes with Single Projections
University of Waterloo（滑铁卢大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
Radon条形码（RBC）的概念最近才被引入。提出了一种基于Radon条形码的大数据集图像检索方法。我们的方法（单投影氡条形码，或SP-RBC）只使用一些氡单投影为每个图像作为全局功能，可以作为弱学习者的基础。这是我们在这项工作中最重要的贡献，它大大改善了RBC的结果。事实上，只有一个投影的图像，作为一个单一的SURF特征向量短，已经可以实现可接受的结果。然而，在长向量中使用多个投影不会带来预期的改进。为了利用每个投影中固有的信息，我们的方法分别使用每个投影的结果，然后在检索图像的小子集上应用更精确的局部搜索。我们使用IRMA 2009数据集a测试了我们的方法，其中包含14，400张X射线图像，作为imageCLEF计划的一部分。与其他非学习方法相比，我们的方法导致出错率大幅下降。
2017-01-02 cs.CV
Digging Into Self-Supervised Learning of Feature Descriptors
Aalto University（阿尔托大学）
用于学习局部图像描述符的基于全监督CNN的方法在广泛的几何任务中表现出显着的效果。然而，他们中的大多数需要每像素的地面实况关键点对应数据，这是难以获得的规模。为了解决这一挑战，最近的弱监督和自监督方法可以从相对相机姿势或仅使用合成刚性变换（如单应性）来学习特征描述符。在这项工作中，我们专注于了解现有的自我监督方法的局限性，并提出了一套改进，结合导致强大的特征描述符。我们发现，增加搜索空间从在对在批硬负挖掘带来一致的改善。为了提高特征描述符的区分度，我们提出了一种从粗到精的方法，通过使用全局视觉图像描述符从更宽的搜索空间中挖掘局部硬否定。我们证明了合成单应性变换，颜色增强和真实感图像风格化的组合产生有用的表示，是视点和照明不变的。通过所提出的方法学习的特征描述符在各种几何基准（如基于图像的定位，稀疏特征匹配和图像检索）上具有竞争力并超过其完全和弱监督的对应物。
2021-10-10 cs.CV
Deep Image Retrieval: Learning global representations for image search
Xerox Research Center Europe（施乐欧洲研究中心）
提出了一种新的实例级图像检索方法。它产生一个全球性的和紧凑的固定长度表示为每个图像通过聚合许多区域明智的描述符。与以前使用预先训练的深度网络作为黑盒来生成特征的工作相比，我们的方法利用了针对图像检索的特定任务训练的深度架构。我们的贡献是双重的：（i）我们利用排名框架来学习用于构建区域特征的卷积和投影权重;以及（ii）我们采用区域建议网络来学习哪些区域应该被合并以形成最终的全局描述符。我们表明，使用干净的训练数据是我们的方法成功的关键。为此，我们使用了一个大规模的，但嘈杂的地标数据集，并开发了一个自动清洗方法。所提出的架构产生一个全球性的图像表示在一个单一的向前通过。我们的方法显着优于以前的方法，基于标准数据集上的全局描述符。它甚至超过了大多数基于昂贵的局部描述符索引和空间验证的现有工作。其他材料可在www.xrce.xerox.com/Deep-Image-Retrieval上查阅。
2016-07-28 cs.CV
Exploiting Local Indexing and Deep Feature Confidence Scores for Fast Image-to-Video Search
Middle East Technical University（中东技术大学）
具有成本效益的视觉表示和快速查询的例子搜索是两个具有挑战性的目标，应保持适度的硬件上的网络规模的视觉检索任务。本文介绍了一种快速和强大的方法，确保这两个目标，通过获得最先进的性能的图像到视频搜索场景。因此，我们提出了关键的增强功能，以促进更快，更好和适度的检索性能，著名的索引和视觉表示技术。我们还通过在查询时利用局部和全局描述符的个体决策来提高我们的方法在一些视觉挑战中的优越性。例如，本地内容描述符表示具有大的几何变形（诸如比例、定向和仿射变换）的复制/重复的场景。相比之下，全局内容描述符的使用对于近似重复和语义搜索更实用。实验在大规模的Stanford I2 V数据集上进行。实验结果表明，我们的方法是有用的复杂性和查询处理时间的大规模视觉检索的情况下，即使局部和全局表示一起使用。所提出的方法是优越的，并实现了最先进的性能的基础上，该数据集的平均平均精度（MAP）得分。最后，我们报告了额外的MAP分数更新后的地面注释所揭示的检索结果所提出的方法，它表明，实际的性能。
2020-12-12 cs.CV
Large scale near-duplicate image retrieval using Triples of Adjacent Ranked Features (TARF) with embedded geometric information
ABBYY（ABBYY公司）
大规模图像检索的大多数方法都是基于局部图像描述符或视觉词的倒排索引的构造。在这样的索引中进行搜索通常会得到大量的候选项。然后，例如，使用RANSAC算法，在几何验证的帮助下，对该候选列表进行重新排序。在本文中，我们提出了一个特征表示，这是建立作为一个组合的三个本地描述符。它允许显著减少错误匹配的数量，并在倒排索引中的初始搜索之后缩短候选列表。这种局部描述符的组合是可再现的和高度区分的，因此可以有效地用于大规模的近重复图像检索。
2016-03-19 cs.CV
HBST: A Hamming Distance embedding Binary Search Tree for Visual Place Recognition
Sapienza University of Rome（罗马大学）
可靠高效的视觉位置识别是现代SLAM系统的主要组成部分。利用我们以前的工作，在本文中，我们提出了一个汉明距离嵌入二叉搜索树（HBST）的方法进行二进制描述符匹配和图像检索。HBST允许通过利用二进制特征描述符的特定属性在对数时间内进行描述符搜索和插入。我们支持我们的搜索结构背后的想法，对利用描述符属性及其对搜索和插入的完整性和复杂性的影响进行了彻底的分析。为了验证我们的主张，我们在广泛的公开数据集上对HBST和几种最先进的方法进行了比较实验。HBST是一个紧凑的开源C++头文件库。
2018-02-28 cs.CV cs.RO
Voronoi-based compact image descriptors: Efficient Region-of-Interest retrieval with VLAD and deep-learning-based descriptors
University College London（伦敦大学学院）
我们调查的问题，基于视觉查询的图像检索时，后者包括任意区域的兴趣（ROI），而不是整个图像。我们的建议是一个紧凑的图像描述符，结合了国家的最先进的基于内容的描述符提取与多层次，基于Voronoi空间分区的每个数据集图像。所提出的多级基于Voronoi的编码在感兴趣的点定位上使用空间分层K均值，并且在每个单元上计算基于内容的描述符。为了降低匹配的复杂度，同时不降低检索性能：（i）利用空间层次K-均值的树结构对局部相似性最大值进行自顶向下的剪枝;（ii）提出了一种新的图像相似性评分，它将来自所有分区级别的相关信息组合成一个单一的相似性度量;（iii）我们将我们的建议与用于量化描述符表示内的最优比特分配的新颖且有效的方法相结合。通过导出基于Voronoi的VLAD描述符（称为Fast-VVLAD）和基于Voronoi的深度卷积神经网络（CNN）描述符（称为Fast-VD CNN），我们证明了我们的基于Voronoi的框架对描述符基础是不可知的，并且可以很容易地插入到现有的框架中。通过在两个标准数据集中的一系列ROI查询，结果表明，基于Voronoi的描述符实现了与传统的基于网格的空间搜索相当或更高的平均精度，同时提供了超过两倍的复杂性降低。最后，除了ROI查询，我们表明，Voronoi分割提高了紧凑的CNN描述符的几何不变性，从而导致竞争力的性能，目前的最先进的整个图像检索。
2017-03-20 cs.CV
Facial Recognition with Encoded Local Projections
University of Waterloo（滑铁卢大学）
编码局部投影（Encoded Local Projections，ELP）是最近提出的一种密集采样图像描述符，它利用小邻域内的投影来构造整个图像的直方图/描述符。ELP在搜索医学图像方面与其他最先进的功能一样准确，同时具有时间和资源效率。本文首次尝试将ELP描述子作为人脸识别的主要特征，并在Wild数据集的Labeled Faces上与LBP直方图进行了比较。我们通过比较每个图像描述符与所有其他描述符的卡方距离以及使用每个特征向量训练支持向量机（SVM）来评估描述符。在两种情况下，在相同的子图像配置下，ELP的结果优于LBP。
2018-09-11 cs.CV
3D Face Recognition using Significant Point based SULD Descriptor
Mangalore University（芒格洛尔大学）；P.A. College of Engineering（P.A.工程学院）
在这项工作中，我们提出了一种新的三维人脸识别方法的基础上加速局部描述符（SULD）的重要点提取的人脸距离图像。该模型包括一个方法，用于提取独特的不变特征，从范围图像的脸，可以用来执行可靠的匹配之间的不同姿态的范围图像的脸。对于一个给定的三维人脸扫描，范围图像的计算和潜在的兴趣点被确定在所有尺度搜索。基于兴趣点的稳定性，提取显著点。对于每个显著点，我们计算SULD描述符，该描述符由位于以显著点为中心的同心圆上的卷积Haar小波响应的值组成的向量组成，并且其中高斯平滑的量与圆的半径成比例。实验结果表明，新提出的方法提供了更高的识别率相比，其他现有的当代模型开发的三维人脸识别。
2012-10-26 cs.CV
Efficient Match Pair Retrieval for Large-scale UAV Images via Graph Indexed Global Descriptor
China University of Geosciences（中国地质大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)（广东省人工智能与数字经济实验室（深圳））；Shenzhen University（深圳大学）；Wuhan University（武汉大学）；Hunan University of Science and Technology（湖南科技大学）
本文针对大规模无人机影像匹配对检索效率低的问题，提出基于在线训练码本、VLAD全局描述符和HNSW图索引的高效检索方法，并结合自适应阈值与分治并行SfM重建，实现36至108倍加速且保持有竞争力的定向精度。
2023-07-10 cs.CV
Class Agnostic Instance-level Descriptor for Visual Instance Search
Computer Science Department, Xiamen University（厦门大学计算机科学系）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究所）；School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息系统学院）
本文提出一种基于自监督ViT的类无关实例级描述子，通过分层分解特征集生成不同粒度实例区域的统一长度特征，将图像检索、多实例和单实例搜索统一到一个框架中，在已知和未知类别上均取得优越性能。
2025-11-03 cs.CV cs.MM
Interferences in match kernels
Xerox Research Centre Europe（施乐欧洲研究中心）；Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）
我们考虑的图像表示，嵌入和聚合到一个单一的向量的一组本地描述符的设计。这种类型的流行表示包括视觉词袋，Fisher向量和VLAD。当两个这样的图像表示与点积进行比较时，图像到图像的相似性可以被解释为匹配核。在匹配核中，必须处理干扰，即即使两个描述符不相关，它们的匹配分数也可能有助于整体相似性。我们正式这个问题，并提出了两个相关的解决方案，都旨在均衡的本地描述符在最终表示的个人贡献。这些方法通过包括一组每个描述符的权重来修改聚合阶段。它们的不同之处在于被优化以计算这些权重的目标函数。第一个是“民主化”策略，旨在均衡每个描述符在集合比较度量中的相对重要性。第二个涉及均衡单个描述符与聚合向量的匹配。这些并发的方法提供了一个显着的性能提升，在图像搜索与短或中等大小的向量，我们的实验标准的公共图像检索基准。
2016-11-24 cs.CV
CityGuard: Graph-Aware Private Descriptors for Bias-Resilient Identity Search Across Urban Cameras
University of Macau（澳门大学）；Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Juntendo University（顺天堂大学）；Peking University（北京大学）
CityGuard通过图感知变换器实现隐私保护的身份检索，结合适应性度量学习、空间条件注意力和差分隐私嵌入，提升跨摄像头身份检索的鲁棒性与隐私保护能力。
2026-07-29 cs.CV
Fast Dictionary Matching for Content-based Image Retrieval
University of Social Sciences in Łódź（罗兹社会科学大学）；University of Geneva（日内瓦大学）
本文描述了一种方法，用于搜索图像集合之间的公共描述符集。所提出的方法对使用SURF算法生成的局部兴趣关键点进行操作。描述符字典的使用允许实现基于内容的图像检索的良好性能。该方法可以用于初始确定图像之间的一组相似的关键点对。为此，我们在描述符的值之间使用一定程度的公差，因为特征描述符的值在不同图像之间几乎不相等但相似。然后，该方法将一幅图像中兴趣点的旋转结构和位置与其他图像中的点结构进行比较。因此，我们能够找到图像中的相似区域，并确定它们之间的相似程度，即使图像包含不同的场景。
2015-04-26 cs.CV
Image Retrieval Based on LBP Pyramidal Multiresolution using Reversible Watermarking
University Ibn Zohr（伊本·祖赫尔大学）
在医学领域，图像越来越多地用于促进疾病的诊断。这些图像与医生的处方和其他与病人有关的信息一起存储在多媒体数据库中，医学图像搜索已经成为临床应用中一个必不可少的工具，可以为诊断带来有效的帮助。基于内容的图像检索（CBIR）是有效管理这些数据库的可能解决方案之一。我们的贡献是定义一个相关的描述符检索图像的纹理多分辨率分析的基础上，使用本地二进制模式LBP。一旦计算出该描述符和与患者有关的信息，将使用可逆水印技术将其放置在图像中。因此，图像、其内容的描述符、BFILE定位器和患者相关信息成为单个实体，因此即使管理员也不能访问患者私人数据。
2015-09-20 cs.CV
Aggregating Binary Local Descriptors for Image Retrieval
Institute of Information Science and Technologies (ISTI) - CNR（意大利国家研究委员会信息科学与技术研究所 (ISTI)）
基于局部特征的基于内容的图像检索由于局部特征的提取和匹配的复杂性而计算量很大。一方面，最近提出的二进制局部特征大大降低了提取、表示和比较局部视觉描述符的成本。另一方面，聚合技术提供了一个有意义的总结所有提取的图像特征到一个单一的描述符，使我们能够加快和扩大图像搜索。最近只有少数作品将这两个研究方向混合在一起，定义了二进制局部特征的聚合方法，以利用这两种方法的优势。在本文中，我们报告了一个广泛的比较国家的最先进的聚合方法应用于二进制功能。然后，我们在数学上形式化Fisher核函数在Bernoulli混合模型中的应用。最后，我们研究了聚合的二进制特征与新兴的卷积神经网络（CNN）特征的组合。我们的研究结果表明，二进制特征的聚合方法是有效的，并代表了一个有价值的替代直接匹配。此外，CNN与基于二进制特征构建的Fisher向量（FV）的组合允许我们获得相对于CNN结果的相对改进，这与最近使用CNN与基于SIFT构建的FV的组合获得的结果一致。使用基于二进制特征的FV的优点在于，二进制特征的提取过程比SIFT快大约两个数量级。
2017-02-03 cs.CV
Efficient Computation of Higher Order 2D Image Moments using the Discrete Radon Transform
图像伪影的几何矩和不变矩在计算机视觉应用中有许多用途，例如形状分类或对象位置和方向。高阶矩是感兴趣的，以提供额外的特征描述符，测量峰度或解决n重对称性。本文给出了一种基于离散Radon变换的有效算法的扩展方法和实际应用，以产生大于3阶的矩。的数学基础，其次是相关的实施细节。基于图像面积的缩放算法及其与标准方法的计算比较的结果证明了该方法的有效性。
2020-09-04 cs.CV
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague（法国国家信息与自动化研究所雷恩分所VRG、费尔科学院（FEE）、捷克技术大学布拉格分校（CTU in Prague））；Inria（法国国家信息与自动化研究所）；CTU in Prague（捷克技术大学布拉格分校）
严重的背景杂波在许多计算机视觉任务中是具有挑战性的，包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会，并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中，我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索，在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
General Image Descriptors for Open World Image Retrieval using ViT CLIP
H2O.ai；University of Würzburg（维尔茨堡大学）
谷歌通用图像嵌入（GUIE）挑战赛是多领域图像表示领域的首批竞赛之一，涵盖了广泛的对象分布：地标、艺术品、食物等。这是一个基本的计算机视觉问题，在图像检索、搜索引擎和电子商务中有着重要的应用。在这项工作中，我们解释了我们对GUIE挑战的第四名解决方案，以及我们使用CLIP预训练的微调zero-shot视觉Transformer（ViT）的“技巧包”。
2022-10-20 cs.AI cs.CV
Compositional Sketch Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了一种算法，用于搜索图像集，使用手绘草图，描述多个对象的外观和相对位置。基于草图的图像检索（SBIR）方法主要匹配查询包含一个单一的，占主导地位的对象不变，其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络（CNN）来编码草图对象中被掩盖的视觉特征，将这些特征汇集到一个空间描述符中，对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入，其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
Set2Model Networks: Learning Discriminatively To Learn Generative Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一种新的“学习学习”型的方法，使快速学习的概念，从小型到中型的训练集，主要是专为网络初始化的图像检索。我们方法的核心是一个深层架构（Set2Model网络），它将示例集映射到简单的生成概率模型，例如高维描述符空间中的高斯或高斯混合。在元学习阶段，使用一组训练学习问题以端到端的方式训练嵌入到描述符空间中的参数。我们的方法的主要技术新颖性是通过混合模型拟合的反向传播过程的推导，这使得所得模型的可能性相对于输入描述符的位置是可微的。虽然Set2Model网络的元学习过程是有区别的，但经过训练的Set2Model网络在描述符空间中执行生成模型的生成学习，这有助于在没有负面示例可用的情况下进行学习，并且每当正在学习的概念是多义的或由嘈杂的训练集表示时。在其他实验中，我们证明了这些属性允许Set2Model网络从互联网图像搜索引擎的原始输出中挑选视觉概念，而不是一组强基线。
2017-10-27 cs.CV
Co-occurrence of deep convolutional features for image search
das-Nano；Veridas；Universidad Pública de Navarra（纳瓦拉公立大学）
图像搜索可以使用来自预训练卷积神经网络（CNN）的深度特征来处理。来自CNN的最后一个卷积层的特征图对描述性信息进行编码，从该描述性信息可以获得有区别的全局描述符。我们提出了一种新的深度卷积特征同现表示，以从最后一个卷积层中提取额外的相关信息。将此共生图与特征图相结合，我们实现了改进的图像表示。我们提出了两种不同的方法来获得同现表示，第一种是基于激活的直接聚合，第二种是基于可训练的同现表示。从我们的方法得到的图像描述符提高了性能非常知名的图像检索数据集，我们在实验中证明。
2021-06-10 cs.CV cs.LG eess.IV
Tumour ROI Estimation in Ultrasound Images via Radon Barcodes in Patients with Locally Advanced Breast Cancer
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Sunnybrook Health Sciences Center（桑尼布鲁克健康科学中心）
定量超声（QUS）方法提供了一个有前途的框架，可以非侵入性和廉价地用于预测或评估肿瘤对癌症治疗的反应。使用QUS方法的第一步是在超声图像中选择肿瘤内部的感兴趣区域（ROI）。然而，手动分割是非常耗时和繁琐的。在本文中，将提出一种半自动化的方法来粗略定位局部晚期乳腺癌（LABC）患者的超声图像中的肿瘤的ROI。基于内容的条形码是最近引入的基于Radon变换的二进制描述符，用于查找类似病例并估计肿瘤周围的限界框。33 B扫描图像的实验结果与$81\%$的准确性有希望的结果。
2016-02-08 cs.CV
Combining Real-Valued and Binary Gabor-Radon Features for Classification and Search in Medical Imaging Archives
Shiraz University（设拉子大学）；University of Waterloo（滑铁卢大学）
基于内容的图像检索（CBIR）的医学图像在大型数据集，以识别相似的图像时，查询图像是非常有用的，在提高诊断决策的临床专家，以及在教育场景。在本文中，我们使用两个阶段的分类和检索方法来检索相似的图像。首先，应用Gabor滤波器对Radon变换后的图像进行特征提取，并训练多类支持向量机。然后基于分类结果，使用提取的Gabor条形码，检索相似的图像。该方法在包含14，000多张图像的IRMA数据集上进行了测试。实验结果表明，我们的方法在检索相似的图像相比，其他Gabor-Radon面向方法的效率。
2017-09-27 cs.CV
Constructing Binary Descriptors with a Stochastic Hill Climbing Search
University of Zagreb（萨格勒布大学）；Linköping University（林雪平大学）
图像块的二进制描述符提供处理速度优势，并且比用实数向量编码块外观的方法需要更少的存储。我们提供的证据表明，尽管它的简单性，随机爬山位选择程序的描述符建设击败最近提出的替代品的标准判别力基准。该方法易于实现和理解，没有需要微调的自由参数，并且运行速度快。
2015-07-16 cs.CV
Forming Local Intersections of Projections for Classifying and Searching Histopathology Images
University of Waterloo（滑铁卢大学）；Ontario Tech University（安大略理工大学）
在本文中，我们提出了一种新的图像描述符，称为形成局部交叉投影（FLIP）和它的多分辨率版本（mFLIP）表示组织病理学图像。该描述符是基于Radon变换，其中我们应用并行投影在小的局部邻域的灰度图像。在每个窗口中使用等距投影方向，我们通过取相邻投影的交集来提取邻域的唯一不变特征。然后，我们为每个图像构建一个直方图，我们称之为FLIP直方图。不同的分辨率提供不同的FLIP直方图，然后将其连接以形成mFLIP描述符。我们的实验包括从头开始训练常见的网络，以及微调预训练的网络来对我们提出的描述符进行基准测试。实验在公开可用的数据集KIMIA Path 24和KIMIA Path 960上进行。对于这两个数据集，FLIP和mFLIP描述符在所有实验中都显示出了令人满意的结果。使用KIMIA Path 24数据，FLIP在特征提取方面优于未微调的Inception-v3和微调的VGG 16，而mFLIP在特征提取方面优于微调的Inception-v3。
2020-08-08 cs.CV
Orientation covariant aggregation of local descriptors with embeddings
Inria（法国国家信息与自动化研究所）
基于局部描述符的图像搜索系统通常通过在其主导方向上对齐补丁来实现方向不变性。尽管成功了，但这种选择引入了太多的不变性，因为它不能保证面片的旋转是一致的。本文介绍了一种聚合策略的本地描述符，实现这种协方差属性，通过联合编码的角度在聚合阶段中以连续的方式。它结合了一个有效的单项嵌入，提供了一个无码本的方法来聚合本地描述符到一个单一的向量表示。我们的策略也是兼容的，并采用了几种流行的编码方法，特别是袋的话，VLAD和Fisher向量。我们的几何感知的聚合策略是有效的图像搜索，图像和特定的对象检索，即假日和牛津建筑物的标准基准上进行的实验所示。
2014-11-25 cs.CV
Multiple Measurements and Joint Dimensionality Reduction for Large Scale Image Search with Short Vectors - Extended Version
Czech Technical University in Prague（布拉格捷克理工大学）；INRIA（法国国家信息与自动化研究所）
针对大规模图像和特定对象检索问题，提出了一种短矢量（128维）图像表示方法。特别是，联合降维的多个词汇的方法被认为是。我们研究了各种词汇生成技术：不同的k-means初始化，不同的描述符转换，不同的测量区域的描述符提取。我们广泛的评估表明，不同的词汇组合，每个分区的描述符空间在不同的但互补的方式，结果在一个显着的性能提高，这超过了国家的最先进的。
2015-04-13 cs.CV
Geometric VLAD for Large Scale Image Search
Stanford University（斯坦福大学）；eBay Research Labs, eBay Inc.（eBay公司 eBay研究实验室）
我们提出了一种新的紧凑的图像描述符大规模图像搜索。我们提出的描述符-几何VLAD（gVLAD）是一个扩展的VLAD（矢量局部聚集描述符），将弱几何信息到VLAD框架。所提出的几何线索是作为一个隶属函数的关键点的角度，其中包含明显的和翔实的信息，但往往被丢弃。还提出了一个原则性的技术，学习隶属度函数的聚类角度。此外，为了解决实时数据集上的迭代码本训练的开销，概述了一种新的码本自适应策略。最后，我们证明了建议的gVLAD为基础的检索框架，我们实现了超过15%的改进，在现有的基准mAP的功效。
2014-03-15 cs.CV
DCI: Discriminative and Contrast Invertible Descriptor
Nanyang Technological University（南洋理工大学）；Hebrew University of Jerusalem（希伯来大学）
局部特征描述子由于其对尺度和旋转变化以及杂乱背景的鲁棒性而被广泛应用于细粒度的视觉对象搜索。然而，这样的描述符的性能下降严重的照明变化下。本文提出了一种判别对比可逆（Discriminative and Contrast Invertible，DCI）局部特征描述子。为了提高描述子对光照变化的区分能力，提出了一种基于拉普拉斯梯度的直方图。提出了一种基于局部区域发散度的鲁棒对比度翻转估计方法。在细粒度目标识别和检索应用中的实验表明，DCI描述子的性能优于其他描述子。
2018-12-31 cs.CV
Partial 3D Object Retrieval using Local Binary QUICCI Descriptors and Dissimilarity Tree Indexing
提出了一种基于快速相交计数变化图像（QUICCI）二进制局部描述符和一种新的索引树的完整流水线，用于准确和高效的部分3D对象检索。它显示了如何修改QUICCI查询描述符，使其理想的部分检索。提出了一种称为相异树的索引结构，它可以显着加快搜索本地描述符的大空间，这是适用于QUICCI和其他二进制描述符。该索引利用描述符内的位分布进行高效检索。在SHREC'16数据集的人工部分上测试了检索管道，获得了接近理想的检索结果。
2021-07-07 cs.CV
Evolutionary Projection Selection for Radon Barcodes
University of Waterloo（滑铁卢大学）；University of Ontario Institute of Technology（安大略理工大学）
最近，Radon变换已被用于生成用于标记医学图像的条形码。欠采样图像在某些方向上投影，并且每个投影使用局部阈值进行二值化。阈值化投影的级联创建了可以用于标记或注释医学图像的条形码。少量等距投影，例如，4或8，通常用于生成短条形码。然而，由于数字图像的多样性，并且由于我们只使用少量的投影（以保持条形码短），因此采用等距投影可能不是最好的方法。在本文中，我们提出了寻找$n$的最佳投影，而$n\!<\!180$，以提高表现力的氡条形码。我们展示了简单情况下的穷举搜索的例子，当我们试图找到4个最好的预测16等距投影，并将其与进化方法进行比较，以建立后者的好处时，在一个小的人口规模的情况下，微DE。我们从IRMA数据集中随机选择了10个不同的类别（58个类别中的14，400张X射线图像），并进一步随机选择了每个类别的5张图像进行测试。
2016-04-16 cs.CV
Efficient Feature Matching by Progressive Candidate Search
Hanyang University（汉阳大学）
我们提出了一种新的特征匹配算法，系统地利用几何特性的功能，如位置，规模和方向，除了传统的描述符向量。在具有挑战性的场景中，重复模式的存在或具有大的视点变化，这是很难找到正确的对应关系，仅使用特征描述符，因为正确的匹配的描述符距离可能不是最小的候选人，由于外观的变化。假设相邻特征的布局没有太大变化，我们提出了双向转移测度来衡量一对特征对应的几何一致性。特征匹配问题被公式化为马尔可夫随机场（MRF），它使用描述符距离和相对几何相似性在一起。不匹配的特征在MRF中显式建模，以最大限度地减少其负面影响。为了速度和稳定性，我们不是一次解决整个特征上的MRF，而是从一小组置信特征匹配开始，然后逐步搜索附近特征中的候选者，并使用它们扩展MRF。实验结果表明，该算法在许多具有挑战性的场景中找到了更好的特征对应关系，即具有更高内点比率的更多匹配，并且计算成本比现有算法低得多。
2017-01-20 cs.CV
Learning and aggregating deep local descriptors for instance-level recognition
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种有效的方法来学习用于实例级识别的深度局部描述符。训练仅需要正和负像对的示例，并且作为和池化全局图像描述符的度量学习来执行。在推理时，本地描述符由网络的内部组件的激活提供。我们演示了为什么这样的方法学习本地描述符，以及经典的高效匹配核方法的图像相似性估计。实验验证研究的性能和内存要求的国家的最先进的图像搜索方法的基础上匹配内核之间的权衡。与现有的局部描述符相比，所提出的局部描述符在两个实例级识别任务中表现更好，并且保持较低的内存需求。我们的实验表明，全球描述符是不够有效的，在大规模和本地描述符是必不可少的。我们实现了最先进的性能，在某些情况下，即使是像ResNet18这样小的骨干网络。
2020-07-26 cs.CV
Compact Hash Codes for Efficient Visual Descriptors Retrieval in Large Scale Databases
Università degli Studi di Firenze（佛罗伦萨大学）；Media Integration and Communication Center（媒体集成与通信中心）
在本文中，我们提出了一种有效的方法，视觉描述符检索的基础上计算使用多个k-均值分配紧凑的哈希码。该方法已被应用到本地和全局视觉内容描述符的近似最近邻（ANN）搜索的问题，并已在不同的数据集上进行了测试：三个大规模的公共数据集高达十亿个描述符（BIGANN），并支持最近的进展卷积神经网络（CNN），也对CIFAR-10和MNIST数据集。实验结果表明，尽管它的简单，所提出的方法获得了非常高的性能，使其优于更复杂的国家的最先进的方法。
2016-05-10 cs.CV
Multi-Scale Superpatch Matching using Dual Superpixel Descriptors
Bordeaux INP, Univ. Bordeaux, CNRS, IMS, UMR 5218, F-33400 Talence, France（波尔多INP、波尔多大学、法国国家科学研究中心、IMS、UMR 5218、法国塔兰斯）
本文提出双超补丁描述符，结合超像素区域与边界特征，并引入快速多尺度非局部匹配框架，以更准确捕捉不同尺度的相似结构模式，提升匹配与监督标记性能。
2025-09-24 cs.CV
Bit-Planes: Dense Subpixel Alignment of Binary Descriptors
Carnegie Mellon University（卡内基梅隆大学）
二进制描述符已经在最近的计算效率的稀疏图像对齐算法的演变。然而，视觉界越来越对密集图像对准方法感兴趣，密集图像对准方法更适合于估计来自高帧速率相机的对应性，因为它们不依赖于穷举搜索。然而，经典的密集对齐方法对照明变化敏感。在本文中，我们提出了一个易于实现和低复杂度的密集二进制描述符，我们称之为位平面，可以无缝集成在一个多通道卢卡斯和Kanade框架。这种新方法结合了二进制描述符的鲁棒性和密集对齐方法的速度和准确性。该方法在模板跟踪问题上进行了演示，实现了最先进的鲁棒性，并且在消费类笔记本电脑（单核Intel i7上为400+ fps）和手持移动设备（iPad Air 2上为100+ fps）上的实时性能更快。
2016-01-31 cs.CV
Matching Underwater Sonar Images by the Learned Descriptor Based on Style Transfer Method
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种结合风格转换技术和学习描述子的方法来提高水下声纳图像的匹配性能。在水下视觉领域，声纳是目前最有效的远距离探测传感器，在地图构建和目标搜索任务中具有优异的性能。然而，传统的图像匹配算法都是基于光学图像的。为了解决这一矛盾，采用风格转换方法将声纳图像转换为光学风格，同时引入具有良好表现力的学习描述子进行声纳图像匹配。实验表明，该方法显著提高了声纳图像的匹配质量。此外，该方法也为水下声纳图像的风格转移预处理提供了新的思路。
2021-08-27 cs.CV
You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors
Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；Texas A&M University（得克萨斯农工大学）
在本文中，我们提出了一种新的本地基于几何的框架，称为你只假设一次（YOHO），两个未对齐的点云的注册。与大多数现有的局部描述符依赖于脆弱的局部参考系来获得旋转不变性相比，所提出的描述符通过最近的组等变特征学习技术来实现旋转不变性，从而对点密度和噪声具有更强的鲁棒性。同时，YOHO中的描述符也有一个旋转等变部分，这使得我们能够从一个对应假设来估计配准。这一性质减小了可行变换的搜索空间，从而大大提高了YOHO算法的精度和效率。大量的实验表明，YOHO在四个广泛使用的数据集，3DMatch/3DLoMatch数据集，ETH数据集和WHU-TLS数据集上实现了更少的RANSAC迭代，从而获得了优异的性能。更多详细信息请参阅我们的项目页面：https://hpwang-whu.github.io/YOHO/。
2022-07-25 cs.CV
Using Apache Lucene to Search Vector of Locally Aggregated Descriptors
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
替代文本表示（STR）是一个有利可图的解决方案，有效的相似性搜索度量空间使用传统的文本搜索引擎，如Apache Lucene。该技术基于比较一些参考对象的置换来代替原始度量距离。然而，STR方法的致命弱点是需要根据度量距离对搜索的结果集进行重新排序。这迫使使用支持数据库来存储原始对象，这需要在快速辅助存储器（例如基于闪存的存储）上进行有效的随机I/O。在本文中，我们建议扩展代理文本表示，专门解决一类视觉度量对象称为矢量的局部聚集描述符（VLAD）。这种方法基于用STR表示形成VLAD向量的各个子向量，提供向量的更精细表示，并使我们能够摆脱重新排序阶段。在公开数据集上的实验表明，扩展STR优于基线STR，获得了接近原始VLAD向量的令人满意的性能。
2016-04-19 cs.CV cs.IR
Exact and Deterministic Patch Descriptor Retrieval via Hierarchical Normalization
提出一种基于层次归一化的精确最近邻搜索方法，通过分支定界策略仅评估少量数据库条目，实现与穷举搜索相同的确定性结果，在UBC补丁数据集上获得12-14倍加速。
2026-06-26 cs.CV
Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本文提出扩散超特征框架，将扩散模型的多尺度、多时间步特征图整合为逐像素描述符，用于语义关键点对应，在SPair-71k上取得优越性能，并展示了对未见物体和组合的可迁移性。
2024-04-01 cs.CV
Content-Based Bird Retrieval using Shape context, Color moments and Bag of Features
University Chouaib Doukkali（乔伊卜杜卡利大学）
在本文中，我们提出了一个新的描述鸟类搜索。首先，在描述符的选择上进行了工作。这种选择通常由应用要求驱动，例如对噪声的鲁棒性、相对于偏差的稳定性、对几何变换的不变性或对遮挡的容限。在这种情况下，我们引入了一个描述符，它结合了形状和颜色描述符有一个有效的描述鸟类。所提出的描述符是基于文章Belongie等人定义的轮廓的描述符的自适应。[5]结合颜色矩[19]。具体地，从每个图像中提取兴趣点，并且通过与颜色矩连接的形状上下文的描述符来表示这些点附近的区域中的信息。因此，视觉词汇的接近袋适用于后者。实验结果表明，我们的描述符的有效性鸟类搜索的内容。
2015-03-14 cs.CV cs.IR
ContextDesc: Local Descriptor Augmentation with Cross-Modality Context
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Shenzhen Zhuke Innovation Technology (Altizure)（深圳珠科创新技术（Altizure））
现有的局部特征学习研究大多集中在基于块的单个关键点的描述，而忽略了从关键点的位置建立的空间关系。在本文中，我们超越了本地的细节表示，通过引入上下文感知来增强现成的本地特征描述符。具体来说，我们提出了一个统一的学习框架，利用和聚合的跨模态上下文信息，包括（i）视觉上下文从高层次的图像表示，和（ii）几何上下文从二维关键点分布。此外，我们提出了一个有效的N对损失，避免了经验超参数搜索，提高了收敛性。与原始的局部特征描述相比，该方法具有轻量化的特点，同时在多种场景下的大规模基准测试中表现出明显的改进，在几何匹配应用中具有较强的实用性和推广能力。
2019-04-08 cs.CV
Graph entropies in texture segmentation of images
University for Health Sciences, Medical Informatics and Technology (UMIT)（健康科学、医学信息与技术大学（UMIT））
我们研究了作者在最近的工作中引入的一组纹理描述符的适用性，以基于纹理的图像分割。研究中的纹理描述符是将定量图论中的图指数应用于对图像局部结构进行编码的图形的结果。底层图形产生于形态阿米巴作为自适应形态的结构元素的计算，作为加权或未加权的Dijkstra搜索树或作为结构元素内的边缘加权像素图。在本文中，我们专注于纹理描述符，其中的图索引是基于熵的，并使用它们在测地线活动轮廓框架的图像分割。几个合成和一个真实世界的图像上的实验表明，这种方法来演示纹理分割。为了避免这种情况，我们尝试分析选定的基于熵的纹理描述符，关于它们实际编码的纹理信息。而这种分析使用了一些启发式的假设，它表明，基于图的纹理描述符相关的分形维数的措施，已被证明是有用的纹理分析。
2015-12-28 cs.CV
MD-Net: Multi-Detector for Local Feature Extraction
Graz University of Technology（格拉茨技术大学）；Sony Europe B.V.（索尼欧洲公司）
在图像之间建立稀疏的关键点对应集是许多计算机视觉流水线中的基本任务。通常，这转化为计算上昂贵的最近邻搜索，其中一个图像上的每个关键点描述符必须与其他图像上的所有描述符进行比较。为了降低匹配阶段的计算成本，我们提出了一种深度特征提取网络，能够在每个图像上检测预定义数量的互补关键点集。由于仅需要跨不同图像比较同一集合内的描述符，所以匹配阶段的计算复杂性随着集合的数量而降低。我们训练我们的网络来预测关键点并联合计算相应的描述符。特别是，为了学习关键点的互补集合，我们引入了一种新的无监督损失，它惩罚不同集合之间的交集。此外，我们提出了一种新的基于矢量的加权方案，旨在惩罚与非歧视性描述符的关键点的检测。通过大量的实验，我们表明，我们的特征提取网络仅在合成变形图像上以完全无监督的方式进行训练，在降低匹配复杂度的情况下，在3D重建和重新定位任务上取得了有竞争力的结果。
2022-08-10 cs.CV
Revisiting the Inverted Indices for Billion-Scale Approximate Nearest Neighbors
Yandex（Yandex公司）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；National Research University Higher School of Economics（高等经济学院国家研究型大学）；The Institute of Applied Physics of the Russian Academy of Sciences（俄罗斯科学院应用物理研究所）
这项工作解决了十亿级最近邻搜索的问题。目前，十亿级数据库的最新检索系统是基于反向多索引的，反向多索引是最近提出的倒排索引结构的推广。多索引提供了特征空间的非常细粒度的分区，其允许提取用于搜索查询的候选者的简明且准确的短列表。在本文中，我们认为，简单的倒排索引的潜力并没有充分利用在以前的作品，并主张其使用高度纠缠的深描述符和相对解开SIFT描述符。我们介绍了一种新的检索系统，它是基于倒排索引，并优于多索引的大幅度相同的内存消耗和建设复杂性。例如，与FAISS库中的反向多索引的有效实现相比，我们的系统在10亿个深度描述符的数据集上实现了最先进的召回率。
2018-07-23 cs.CV
RAID: A Relation-Augmented Image Descriptor
KAUST（阿卜杜拉国王科技大学）；University College London（伦敦大学学院）
作为人类，我们经常根据图像区域之间的关系来解释图像。例如，一个人骑在物体X上，或者一块木板连接两个物体。目前的方法提供有限的支持，以搜索基于这种关系的图像。我们提出了RAID，一个关系增强的图像描述符，支持区域间关系的基础上查询。我们的描述符的关键思想是捕捉简单的点到区域关系的空间分布来描述两个图像区域之间的更复杂的关系。我们通过查询Microsoft COCO数据库的一个大的子集来评估所提出的描述符，并成功地提取了表现出复杂区域间关系的非平凡图像，这些图像很容易被现有方法错过或错误地分类。
2015-10-06 cs.CV cs.GR
Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）；Northwestern Polytechnical University（西北工业大学）；University of Rochester（罗切斯特大学）
图像分类中的少样本学习旨在学习分类器以在每个类只有很少的训练样本可用时对图像进行分类。最近的工作已经取得了可喜的分类性能，其中通常使用基于图像级特征的措施。在本文中，我们认为，在这样一个水平的措施可能是不够有效的，在少样本学习的例子的稀缺性。相反，我们认为应该采取基于局部描述符的图像到类的措施，其灵感来自于其在局部不变特征的鼎盛时期的惊人成功。具体来说，基于最近的情景训练机制，我们提出了一个深度最近邻神经网络（简称DN 4），并以端到端的方式对其进行训练。它与文献的主要区别是在最后一层用基于局部描述符的图像到类度量替换了基于图像级特征的度量。该测量通过对卷积特征图的深度局部描述符的$k$ -最近邻搜索在线进行。所提出的DN 4不仅学习图像到类度量的最佳深度局部描述符，而且在示例稀缺的情况下利用这种度量的更高效率，这要归功于同一类中图像之间的视觉模式的交换。我们的工作导致一个简单的，有效的，计算效率高的框架少样本学习。在基准数据集上的实验研究一致显示了其优于相关国家的最先进的，与最大的绝对改善$17\%$的下一个最好的。源代码可从\UrlFont{https://github.com/WenbinLee/DN4.git}获得。
2019-04-10 cs.CV
Automatic image annotation base on Naive Bayes and Decision Tree classifiers using MPEG-7
University of Raparin（拉帕林大学）
近年来，随着数字图像的飞速发展，如何方便地搜索和检索高分辨率、高效率的图像已成为一个迫切需要解决的问题，目前的许多图像标注算法面临着一个很大的挑战，即在表示图像时存在高层表示图像语义、低层表示图像特征的差异，即语义gab问题。本文采用MPEG-7标准对图像进行特征提取，其中颜色特征采用可伸缩颜色描述符（SCD）和颜色布局描述符（CLD）提取，纹理特征采用边缘直方图描述符（EHD）提取，CLD产生高维特征向量，通过主成分分析（PCA）对特征向量进行约简。由这三个描述符提取的特征可以传递到分类器（朴素贝叶斯和决策树）进行训练。最后，他们对查询图像进行了注释。本研究使用了TUDarmstadt图像库。测试和性能评估结果表明，朴素贝叶斯分类器比决策树分类器具有更好的分类精度和执行时间。
2021-01-27 cs.CV
GRM: Gradient Rectification Module for Visual Place Retrieval
Xi’an Jiaotong Univerisity（西安交通大学）；MEGVII Inc.（旷视科技有限公司）
视觉地点检索的目的是在数据库中搜索与查询图像相似的地点。然而，由网络编码的全局描述符通常落入低维主空间，这是有害的检索性能。我们首先分析了这种现象的原因，指出这是由于退化的梯度分布的描述符。然后，我们提出了梯度校正模块（GRM）来缓解这个问题。GRM附加在最终池化层之后，可以将梯度校正到主空间的互补空间。通过GRM，网络被鼓励在整个空间中更均匀地生成描述符。最后，我们在多个数据集上进行了实验，并将我们的方法推广到原型学习框架下的分类任务。
2023-02-28 cs.CV
Particular object retrieval with integral max-pooling of CNN activations
Center for Machine Perception（机器感知中心）；FEE CTU Prague（捷克布拉格技术大学电子工程学院）；Irisa Rennes（雷恩信息与随机系统研究所）；Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
最近，基于卷积神经网络（CNN）构建的图像表示已被证明为图像搜索提供有效的描述符，优于作为短向量表示的前CNN特征。然而，这样的模型是不兼容的几何感知的重新排名的方法，仍然优于，在一些特定的对象检索基准，传统的图像搜索系统依赖于精确的描述符匹配，几何重新排名，或查询扩展。这项工作重新访问两个检索阶段，即初始搜索和重新排名，通过采用相同的原始信息来自CNN。我们构建了紧凑的特征向量，可以对多个图像区域进行编码，而无需向网络提供多个输入。此外，我们扩展了积分图像来处理卷积层激活的最大池，使我们能够有效地定位匹配对象。最后将得到的限界框用于图像重新排序。因此，本文显着改进了现有的基于CNN的识别管道：我们首次报告了在具有挑战性的Oxford5k和Paris6k数据集上与传统方法竞争的结果。
2016-02-24 cs.CV
