GIFT: Learning Transformation-Invariant Dense Visual Descriptors via Group CNNs
Zhejiang University(浙江大学)
寻找具有不同视点的图像之间的局部对应关系需要对几何变换具有鲁棒性的局部描述符。变换不变性的一种方法是通过汇集从图像的变换版本中提取的特征来整合变换。然而,特征池化可能会牺牲所得描述符的独特性。在本文中,我们介绍了一种新的视觉描述符命名为组不变特征变换(GIFT),这是歧视性和几何变换的鲁棒性。关键思想是从图像的变换版本中提取的特征可以被视为在变换组上定义的函数。而不是特征池,我们使用组卷积来利用组上提取的特征的底层结构,从而产生对变换组具有区分性和可证明不变性的描述符。大量的实验表明,GIFT优于国家的最先进的方法在几个基准数据集,实际上提高了相对姿态估计的性能。
2019-11-14 cs.CV
Distinctive 3D local deep descriptors
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了一种简单但有效的方法,用于学习独特的3D局部深度描述符(DIP),可用于注册点云,而无需初始对齐。点云补丁提取,规范化相对于其估计的本地参考框架和编码成旋转不变的紧凑的描述符由基于PointNet的深度神经网络。DIP可以有效地推广到不同的传感器模态,因为它们是从本地和随机采样点中端到端学习的。由于DIP仅编码局部几何信息,因此它们对杂波、遮挡和缺失区域具有鲁棒性。我们评估和比较DIP对替代手工制作的和深的描述符在几个室内和室外的数据集组成的点云重建使用不同的传感器。结果表明,DIP(i)在RGB-D室内场景(3DMatch数据集)上实现了与最先进技术相当的结果,(ii)在激光扫描仪室外场景(ETH数据集)上大幅优于最先进技术,(iii)推广到使用Android ARCore的Visual-SLAM系统重建的室内场景。源代码:https://github.com/fabiopoiesi/dip。
2020-12-28 cs.CV
Affine-Gradient Based Local Binary Pattern Descriptor for Texture Classiffication
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种新的基于仿射梯度的局部二值模式(AGLBP)纹理分类描述子。用单一类型的信息很难描述复杂的纹理,如局部二值模式(LBP),它只利用像素与其局部邻域之间的差异的符号信息。我们的描述符有三个特点:1)为了充分利用纹理中包含的信息,仿射梯度,这是不同于欧几里德梯度和仿射变换不变性,被纳入AGLBP。2)提出了一种改进的旋转不变性方法,该方法依赖于参考方向相对于局部邻域的计算。3)同时考虑训练数据的统计频率和类内方差的特征选择方法也被应用于描述子的降维。在Outex 12、Outex 10和KTH-TIPS 2三个标准纹理数据集上进行实验,评估AGLBP算法的性能。实验结果表明,与现有的旋转纹理描述子相比,本文提出的描述子在纹理分类中具有更好的性能。
2017-05-19 cs.CV
R2D2: Repeatable and Reliable Detector and Descriptor
NAVER LABS Europe(NAVER LABS欧洲)
兴趣点检测和局部特征描述是计算机视觉许多应用中的基本步骤。这些任务的经典方法是基于检测然后描述的范例,其中使用单独的手工方法首先识别可重复的关键点,然后用局部描述符表示它们。用度量学习损失训练的神经网络最近已经赶上了这些技术,专注于学习用于关键点检测的可重复显著性图和在检测到的关键点位置处学习描述符。在这项工作中,我们认为,显着的地区不一定是歧视性的,因此可能会损害性能的描述。此外,我们认为,描述符应该只在匹配可以进行高置信度的区域学习。因此,我们建议联合学习关键点检测和描述连同局部描述符区分度的预测。这使我们能够避免模糊的区域,并导致可靠的关键点检测和描述。我们的检测和描述方法经过自我监督训练,可以同时输出稀疏,可重复和可靠的关键点,其性能优于HPatches数据集上最先进的检测器和描述符。它还在最近发布的亚琛昼夜本地化数据集上建立了记录。
2019-06-17 cs.CV
Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本文提出扩散超特征框架,将扩散模型的多尺度、多时间步特征图整合为逐像素描述符,用于语义关键点对应,在SPair-71k上取得优越性能,并展示了对未见物体和组合的可迁移性。
2024-04-01 cs.CV
A Local Descriptor with Physiological Characteristic for Finger Vein Recognition
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);University of Chinese Academy of Sciences(中国科学院大学);Wave Group(浪潮集团)
局部特征描述子具有良好的稳定性和鲁棒性,在手指静脉识别中具有很大的优势。然而,这些方法中的大多数使用通用描述符,不考虑手指静脉特异性特征。在这项工作中,我们提出了一个手指静脉特定的局部特征描述符的手指静脉模式的生理特征,即,定向生理Gabor响应(HOPGR)直方图,用于手指静脉识别。首先,以无监督的方式获得手指静脉图案的方向特征的先验。然后根据先验信息建立生理Gabor滤波器组,提取生理响应和方向。最后,为了使特征对图像的局部变化具有鲁棒性,通过将图像划分为非重叠单元和重叠块来生成直方图作为输出。在多个数据库上的大量实验结果清楚地表明,该方法优于目前最先进的手指静脉识别方法。
2020-04-16 cs.CV
Multiple-Kernel Local-Patch Descriptor
Czech Technical University in Prague(捷克布拉格理工大学)
我们提出了一种多核局部补丁描述符的基础上有效的匹配内核补丁梯度。它结合了梯度位置和方向的两个参数化,每个参数化提供了一个不同类型的补丁的错误注册的鲁棒性:极参数化的噪音在补丁的主导方向检测,笛卡尔的不精确定位的特征点。即使手工制作,所提出的方法始终优于国家的最先进的方法在两个本地补丁基准。
2017-07-25 cs.CV
Learning Feature Descriptors using Camera Pose Supervision
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);Zhejiang University(浙江大学)
针对现有特征描述子学习需大规模真实对应关系训练数据的难题,提出仅用相对相机位姿监督的弱监督框架CAPS,通过对极约束损失与可微高效架构实现,性能超越全监督方法,达几何任务SOTA。
2024-01-29 cs.CV
Explicit Spatial Encoding for Deep Local Descriptors
CTU in Prague(布拉格捷克理工大学)
提出了一种基于神经网络激活的高效匹配核的核化深度局部块描述子。每个感受野的响应与其空间位置一起使用显式特征图进行编码。两个位置参数化,笛卡尔和极坐标,用于提供鲁棒性的不同类型的规范补丁错位。此外,我们分析了传统架构,即在卷积部分之后连接的全连接层,如何以空间变化的方式编码响应。与此相反,显式的空间编码中使用的描述符,其潜在的应用不限于本地补丁。我们在标准基准上评估描述符。这两个版本,编码32x32或64x64补丁,始终优于所有其他方法在所有基准测试。该模型的参数个数与输入面片分辨率无关。
2019-04-15 cs.CV
End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds
HKUST(香港科技大学);Alibaba A.I. Labs(阿里巴巴人工智能实验室);City University of Hong Kong(香港城市大学);Simon Fraser University(西蒙弗雷泽大学)
在这项工作中,我们提出了一个端到端的框架来学习本地多视图描述符的三维点云。为了采用类似的多视图表示,现有的研究在预处理阶段使用手工制作的视点进行渲染,该预处理阶段与随后的描述符学习阶段分离。在我们的框架中,我们集成到神经网络的多视图渲染,通过使用一个可微分的渲染器,它允许的观点是可优化的参数,以捕捉更多的信息本地上下文的兴趣点。为了获得有区别的描述符,我们还设计了一个软视图池模块来专注地融合视图间的卷积特征。在现有的3D配准基准上进行的大量实验表明,我们的方法在定量和定性上都优于现有的局部描述符。
2020-03-16 cs.CV
FWLBP: A Scale Invariant Descriptor for Texture Classification
Indian Statistical Institute(印度统计研究所);National Institute of Technology Rourkela(鲁尔凯拉国家技术学院)
在本文中,我们提出了一种新的纹理描述称为分形加权局部二进制模式(FWLBP)。分形维数(FD)的措施是相对不变的尺度变化,并提出了一个很好的相关性与人类的表面粗糙度的观点。我们利用这个属性来构造一个尺度不变的描述符。在这里,输入图像使用局部二进制模式(LBP)的增强形式在三个不同半径上进行采样,然后使用索引操作将FD权重分配给所收集的样本。描述符的最终直方图具有使用LBP计算的其特征,以及从FD图像计算的其权重。该描述符具有尺度不变性,对旋转和反射具有鲁棒性,对噪声和光照变化具有部分容忍性。此外,局部分形维数是相对不敏感的bi-Lipschitz变换,而它的扩展是足够的,以精确地区分基本的纹理基元。在标准纹理数据库上进行的实验结果表明,该描述符取得了更好的分类率相比,国家的最先进的描述符。
2018-08-02 cs.CV
SConE: Siamese Constellation Embedding Descriptor for Image Matching
Warsaw University of Technology(华沙理工大学);Tooploox;Google(谷歌)
许多计算机视觉应用依赖于局部特征描述符(例如SIFT、SURF或FREAK)来进行图像匹配。虽然它们的局部特性使得图像匹配过程对遮挡更鲁棒,但它通常导致需要过滤掉的几何不一致的关键点匹配,例如使用RANSAC。在本文中,我们提出了一种新的,更具歧视性,描述符,不仅包括局部特征表示,但也相邻的关键点的几何布局的信息。为此,我们使用了一种Siamese架构,该架构通过最大化非对应的匹配图像块对之间的距离来学习关键点星座的低维特征嵌入,同时最小化它以进行正确的匹配。我们训练的48维旋转点描述符是建立在最先进的FREAK描述符之上的,在具有挑战性的TUM数据集上,与竞争对手相比,它实现了显着的性能改进。
2018-09-28 cs.CV
Image-level Classification in Hyperspectral Images using Feature Descriptors, with Application to Face Recognition
KU Leuven(鲁汶大学);ETH Zürich(苏黎世联邦理工学院)
在本文中,我们提出了一种新的管道图像级分类的高光谱图像。通过这样做,我们表明,在图像级功能的歧视性光谱信息导致显着提高性能的人脸识别任务。我们还探索了传统特征描述符在高光谱图像中的潜力。从我们的评估中,我们观察到SIFT特征优于最先进的高光谱人脸识别方法以及其他描述符。随着高光谱传感器在众多应用中的部署越来越多,我们相信我们的方法可以有效地利用高光谱图像中的光谱信息,从而有利于更准确的分类。
2016-05-11 cs.CV
Combined Descriptors in Spatial Pyramid Domain for Image Classification
Beijing Normal University(北京师范大学)
近年来,基于尺度不变特征变换(SIFT)描述子的空间金字塔匹配(SPM)已成功地应用于图像分类。然而,利用SIFT特征的码书生成和特征量化过程在时间和空间上都具有很高的复杂度。为了解决这个问题,在本文中,我们提出了一种方法,结合本地二进制模式(LBP)和三补丁本地二进制模式(TPLBP)在空间金字塔域。该方法不需要学习码书和特征量化处理,因此它变得非常有效。在两个标准数据集上的实验结果表明,该方法在时间和分类精度上都明显优于基于SPM的SIFT描述子方法.
2012-10-03 cs.CV
Matching Features without Descriptors: Implicitly Matched Interest Points
兴趣点的提取和匹配是许多几何计算机视觉问题的前提。传统上,通过将描述符分配给具有相似描述符的兴趣点和匹配点来实现匹配。在本文中,我们提出了一种方法,通过该方法,兴趣点在检测时已经隐式匹配。这样,描述符就不需要再计算、存储、通信或匹配。这是通过具有多个输出通道的卷积神经网络来实现的,并且可以被认为是各种检测器的集合,每个检测器专门用于特定的视觉特征。本文描述了如何设计和训练这样的网络的方式,结果在成功的相对姿态估计性能,尽管兴趣点计数的限制。虽然整体匹配分数略低于传统方法,但该方法是无描述符的,因此能够实现具有显著较小内存占用的定位系统和具有较低带宽要求的多代理定位系统。该网络还输出特定兴趣点的置信度,从而产生有效匹配。我们评估性能相对于国家的最先进的替代品。
2019-08-05 cs.CV
Realtime CNN-based Keypoint Detector with Sobel Filter and CNN-based Descriptor Trained with Keypoint Candidates
University of Science and Technology of China(中国科学技术大学)
局部特征检测器和描述器在许多计算机视觉任务中是必不可少的,例如SLAM和3D重建。在本文中,我们引入了两个独立的CNN,轻量级的SobelNet和DesNet,来检测关键点和计算密集的局部描述符。检测器和描述器并行工作。Sobel滤波器提供输入图像的边缘结构作为CNN的输入。在对CNN的输出图施加非最大值抑制(NMS)过程之后,将获得关键点的位置。我们为SobelNet的训练过程设计了高斯损失,以检测角点作为关键点。同时,DesNet的输入为原始灰度图像,利用循环损失对DesNet进行训练。此外,在训练DesNet时,需要SobelNet的输出图。我们已经在几个基准测试中评估了我们的方法,包括HPatches基准测试,ETH基准测试和FM-Bench。近年来,SobelNet以更少的计算量获得了比SOTA方法更好或相当的性能。在RTX 2070 SUPER上,SobelNet和DesNet对640 x480图像的推理时间分别为7.59ms和1.09ms。
2020-11-04 cs.CV
Feature Aligning Few shot Learning Method Using Local Descriptors Weighted Rules
Guilin University Of Electronic Technology(桂林电子科技大学)
本文提出FAFD-LDWR方法,通过引入交叉归一化保留局部描述符判别信息,并对齐支持集与查询集关键局部描述符去除背景噪声,在多个基准数据集上提升了小样本分类性能与可解释性。
2024-08-26 cs.CV
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明,通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明,当这些网络应用于与它们训练时不同的数据集或识别任务时,它们仍然工作得很好。然而,像SIFT这样的描述符不仅用于识别,而且还用于许多依赖于描述符匹配的对应问题。在本文中,我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是,卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv:1406.6909合并
2015-06-24 cs.CV cs.LG
DeepPoint3D: Learning Discriminative Local Descriptors using Deep Metric Learning on 3D Point Clouds
Indian Institute of Technology Delhi(德里印度理工学院)
局部描述子的学习是计算机视觉中的一个重要问题。虽然存在许多用于学习2D图像的局部块描述符的技术,但是最近已经努力学习3D点的局部描述符。在3D中解决该问题的最新进展通过利用RGB-D或多视图表示来利用基于图像的卷积神经网络的强特征表示能力。然而,在本文中,我们建议通过直接处理非结构化3D点云来学习3D局部描述符,而不需要任何中间表示。该方法构成用于学习3D点的置换不变表示的深度网络。为了学习局部描述符,我们使用了多边缘对比损失,它区分表面上的相似点和不相似点,同时还利用了训练时负样本之间的差异程度。通过对强基线的综合评估,我们表明所提出的方法在3D点云中匹配点的性能优于最先进的方法。此外,我们证明了所提出的方法在各种应用中实现最先进的结果的有效性。
2019-03-27 cs.CV
Illumination-insensitive Binary Descriptor for Visual Measurement Based on Local Inter-patch Invariance
University of Electronic Science and Technology of China (UESTC)(电子科技大学);Sichuan University(四川大学);institut superieur d’electronique de Paris - ISEP(巴黎高等电子学院(ISEP))
针对二值描述符对光照变化敏感的问题,提出基于局部块间不变性的IIB描述符,利用多空间粒度特征与积分图实现高效分层匹配,在自然和合成数据集上优于现有描述符,并成功用于长期视觉定位。
2023-05-13 cs.CV
Local Jet Pattern: A Robust Descriptor for Texture Classification
Indian Statistical Institute(印度统计研究所);National Institute of Technology, Rourkela(鲁尔凯拉国家技术学院);Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院)
基于局部图像特征的方法最近在纹理分类任务中表现出了希望,特别是在由于照明、比例和视角变化而存在较大的类内变化的情况下。受图像结构分析理论的启发,本文提出了一种简单、有效、鲁棒的纹理分类描述子-局部喷射模式(LJP)。在这种方法中,纹理图像的喷射空间表示是从高斯(DtGs)滤波器响应的二阶导数的集合导出的,所谓的局部喷射向量(LJV),其也满足尺度空间属性。该方法利用中心像素与喷流空间中局部邻域信息的关系,得到了LJP。最后,纹理区域的特征向量通过连接LJV的所有元素的LJP的直方图形成。所有的DtGs响应到二阶一起保留固有的局部图像结构,并实现不变性的规模,旋转和反射。这使我们能够开发一个纹理分类框架,这是歧视性和鲁棒性。在五个标准纹理图像数据库上进行实验,采用最近子空间分类器(NSC)对Outex_TC-00010进行分类,分类准确率分别达到100%、99.92%、99.75%、99.16%和99.65(Outex_TC10)和Outex_TC-00012(Outex_TC12)、KTH-TIPS、Brodatz、CUReT,这些方法的性能优于最先进的方法。
2018-12-04 cs.CV
Learning general and distinctive 3D local deep descriptors for point cloud registration
一个有效的3D描述符应该对不同的几何变换(如缩放和旋转)保持不变,对遮挡和混乱具有鲁棒性,并且能够推广到不同的应用领域。我们提出了一种简单而有效的方法来学习通用和独特的3D局部描述符,可用于注册在不同域中捕获的点云。点云补丁被提取,规范化相对于他们的本地参考系,并编码成规模和旋转不变的紧凑描述符的深度神经网络,是不变的输入点的排列。这种设计使我们的描述符能够跨域泛化。我们在几个室内和室外数据集上评估并比较了我们的描述符与替代的手工制作和基于深度学习的描述符,这些数据集通过使用RGBD传感器和激光扫描仪重建。我们的描述符在泛化方面远远优于最新的描述符,并且在同一领域进行训练和测试的基准测试中也成为最先进的。
2022-05-12 cs.CV cs.RO
Robust Angular Local Descriptor Learning
University of Pittsburgh(匹兹堡大学);Université Paris-Est(巴黎东部大学);The University of Sydney(悉尼大学)
近年来,由于强大的深度卷积神经网络架构(如L2-Net [1]和基于三元组的度量学习[2]),学习的局部描述符的性能大大优于手工制作的描述符。然而,在现有的方法中存在两个问题,这阻碍了整体性能。首先,广泛使用的边缘损失是敏感的不正确的对应关系,这是普遍存在于现有的局部描述符学习数据集。第二,L2距离忽略了特征向量已经被归一化为单位范数的事实。为了解决这两个问题并进一步提高性能,我们提出了一种鲁棒的角度损失,该角度损失1)使用余弦相似性代替L2距离来比较描述符,2)依赖于鲁棒的损失函数,该损失函数对具有负相对相似性的三元组给予较小的惩罚。所得到的描述符在不同的数据集上显示出鲁棒性,在Brown数据集上达到了最先进的结果,并且在Hpatches数据集和Wide Baseline Stereo数据集上表现出出色的泛化能力。
2019-01-26 cs.CV
Fourier descriptors based on the structure of the human primary visual cortex with applications to object recognition
University of South Toulon - Var(南土伦-瓦尔大学);University of Paris-Dauphine(巴黎第九大学)
在本文中,我们提出了一个监督的目标识别方法,使用新的全球功能和灵感的模型,人类初级视觉皮层V1的半离散旋转平移组$SE(2,N) = \mathbb Z_N\rtimes \mathbb R^2$。所提出的技术是基于广义傅立叶描述符后一组,这是不变的自然几何变换(旋转,平移)。然后,这些描述符被用于馈送SVM分类器。我们已经测试了我们的方法对COIL-100图像数据库和ORL人脸数据库,并将其与其他技术的基础上,传统的描述符,全球和本地。所获得的结果表明,我们的方法看起来非常有效和稳定的噪声,在存在的情况下,它优于本文中分析的其他技术。
2016-06-28 cs.CV
Learning and Matching Multi-View Descriptors for Registration of Point Clouds
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology(深圳珠科创新技术)
点云配准的关键是在3D空间中的点之间建立一组精确的对应关系。对应性问题通常一方面通过设计有区别的3D局部描述符来解决,另一方面通过开发鲁棒的匹配策略来解决。在这项工作中,我们首先提出了一个多视图局部描述符,这是从多个视图的图像学习,用于描述3D关键点。然后,我们开发了一个强大的匹配方法,旨在拒绝离群匹配的基础上,通过定义的图形模型上的置信传播的有效推理。我们已经证明了我们的方法在公共扫描和多视图立体视觉数据集上注册的提升。通过对各种描述符和匹配方法的深入比较,验证了其优越的性能。
2023-02-27 cs.CV
Crowd Source Scene Change Detection and Local Map Update
Toga Networks(Toga网络公司);Huawei(华为);Technion(以色列理工学院)
由于场景随时间变化,地图描述符变得过时,影响VPS定位精度。在这项工作中,我们提出了一种方法来检测结构和纹理场景的变化,其次是地图更新。在我们的方法中,地图包括通过LiDAR或SFM生成的描述符的3D点。常见的方法具有以下缺点:1)用于变化检测的两个点云的直接比较是缓慢的,这是由于每次我们想要比较时都需要构建新的点云; 2)基于图像的比较需要保持地图图像,这增加了大量的存储开销。为了解决这个问题,我们提出了一种基于点云描述符比较的方法:1)基于VPS姿势选择接近的查询和映射图像对,2)将查询图像配准到映射图像描述符,3)使用分割来过滤掉动态或短期的时间变化,4)比较相应片段之间的描述符。
2022-03-10 cs.CV
A Novel SDASS Descriptor for Fully Encoding the Information of 3D Local Surface
Shanghai Jiao Tong University(上海交通大学)
局部特征描述是三维计算机视觉中一项基本而又具有挑战性的任务。本文提出了一种新的描述子--细分空间偏差角统计描述子(SDASS),用于描述局部参考轴(LRA)上局部曲面的几何和空间信息。在编码几何信息方面,考虑到通常用于编码局部表面的几何信息的表面法线容易受到各种干扰(例如,噪声、变化的网格分辨率等),我们提出了一个强大的几何属性,称为本地最小轴(LMA),以取代法线生成的几何特征,在我们的SDASS描述符。对于空间信息的编码,我们使用两个空间特征来完全编码基于LRA的局部表面的空间信息,LRA通常比局部参考轴(LRF)具有更高的整体可重复性。此外,提出了一种改进的LRA,以提高我们的SDASS对噪声和网格分辨率变化的鲁棒性。SDASS描述符的性能在四个流行的数据集上进行了严格的测试。实验结果表明,该描述子具有较高的自适应性和较强的鲁棒性,其性能明显优于现有算法。最后将该描述子应用于三维配准。准确的结果进一步证实了我们的SDASS方法的有效性。
2018-06-26 cs.CV
Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
针对局部描述符学习中三元组损失收敛效果有限、计算速度待提升的问题,提出DesDis师生正则化蒸馏框架,可训练出性能更优的等参模型和速度提升8倍以上的轻量模型。
2024-03-08 cs.CV
Local Multi-Grouped Binary Descriptor with Ring-based Pooling Configuration and Optimization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The Chinese University of Hong Kong(香港中文大学)
局部二进制描述符由于其在计算速度上的巨大优势而受到越来越多的关注,它能够在许多图像/视觉应用中实现实时性能。已经提出了各种方法来学习数据相关的二进制描述符。然而,大多数现有的二进制描述符的目标过于在计算简单的代价是显着的信息丢失,导致歧义的相似性度量使用汉明距离。在本文中,考虑到多个功能可能会共享互补信息,我们提出了一种新的本地二进制描述符,称为基于环的多组描述符(RMGD),成功地弥合了当前的二进制和浮点描述符之间的性能差距。我们的贡献是双重的。首先,我们引入了一个新的池配置的基础上的空间环区域采样,允许涉及二进制测试的完整集的成对区域具有不同的形状,尺度和距离。这导致比现有方法更有意义的描述,现有方法通常应用有限的池化配置集。然后,提出了一种扩展的Adaboost,通过强调高方差和低相关性来进行有效的比特选择,实现了高度紧凑的表示。其次,RMGD计算从多个图像属性中提取的二进制字符串。我们将多组特征融合问题转化为rankSVM或稀疏SVM学习问题,使得不同特征之间能够相互补偿,这是提高分类器区分度和鲁棒性的关键。RMGD的性能进行了评估,在一些公开的基准,RMGD优于国家的最先进的二进制描述符显着。
2015-09-22 cs.CV
Learning Sequential Descriptors for Sequence-based Visual Place Recognition
Politecnico di Torino(都灵理工大学);Consorzio Interuniversitario Nazionale per l’Informatica (CINI)(意大利全国大学信息学联盟(CINI))
在机器人技术中,视觉地点识别是一个连续的过程,它接收视频流作为输入,以产生机器人在已知地点地图中的当前位置的假设。这一任务需要健壮的、可扩展的和有效的技术来实现实际应用。这项工作提出了一个详细的分类技术,使用顺序描述符,突出不同的机制来融合来自各个图像的信息。这种分类得到了实验结果的完整基准的支持,这些实验结果提供了这些不同架构选择的优势和劣势的证据。与现有的顺序描述符方法相比,我们进一步研究了Transformers而不是CNN骨干的可行性,并且我们提出了一种新的称为SeqVLAD的自组织序列级聚合器,其在不同数据集上的性能优于现有技术。该代码可在https://github.com/vandal-vpr/vg-transformers上获得。
2022-07-08 cs.CV
A Resilient Image Matching Method with an Affine Invariant Feature Detector and Descriptor
University of Lincoln(林肯大学)
图像特征匹配就是寻找、定位和识别图像间的相似性。不同图像之间匹配的局部特征可以指示其内容的相似性。图像特征匹配对大视角变化的适应性对于三维物体重建、目标识别和导航等应用来说是一个挑战,这些应用需要从不同的视角进行准确和鲁棒的特征匹配。在本文中,我们提出了一种新的图像特征匹配算法,结合我们以前提出的仿射不变特征检测器(AIFD)和新提出的仿射不变特征描述符(AIFDd)。这两个阶段的新提出的算法可以提供足够的弹性视点的变化。通过系统的实验,我们可以证明,所提出的方法的特征检测器和描述符优于其他国家的最先进的特征匹配算法,特别是在视点的鲁棒性。在光照变化、旋转、压缩等条件下也有较好的效果。
2017-12-29 cs.CV
Covariance Descriptors Meet General Vision Encoders: Riemannian Deep Learning for Medical Image Classification
1 School of Computation, Information;Technology, Technical University of Munich, Germany 2 Munich Center for Machine Learning (MCML), Germany 3 Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany 4 School of Biomedical Engineering;Imaging Sciences, King’s College London, UK
本文研究将预训练通用视觉编码器特征构建的协方差描述符与SPDNet结合用于医学图像分类,在MedMNSIT基准上验证其优于手工特征及现有方法。
2025-11-06 cs.CV
HD2Reg: Hierarchical Descriptors and Detectors for Point Cloud Registration
Xi’an Jiaotong University(西安交通大学);Shunan Academy of Artificial Intelligence(舜人工智能研究院)
针对点云配准中特征描述子与检测器缺乏局部和全局语义显式表征的问题,提出HD2Reg框架,通过分层对比学习、双层级关键点检测及全局到局部匹配实现更优配准效果。
2023-05-05 cs.CV
Differential pose optimization in descriptor space -- Combining Geometric and Photometric Methods for Motion Estimation
Department of Computer Science, Norwegian University of Science and Technology(计算机科学系,挪威科学技术大学);Department of Engineering Cybernetics Norwegian University of Science and Technology(工程控制系,挪威科学技术大学)
本文提出结合几何与光度方法的描述空间差分姿态优化策略,通过密集描述符提升精度,但实验表明其仍不如基于重投影误差的方法
2026-02-15 cs.CV
Learning Feature Descriptors for Pre- and Intra-operative Point Cloud Matching for Laparoscopic Liver Registration
Rochester Institute of Technology(罗切斯特理工学院)
目的:在腹腔镜肝脏手术(LLS)中,通过将3D术前模型配准到从腹腔镜视频重建的术中部分表面,可以将术前信息覆盖到术中场景上。为了帮助完成这项任务,我们探索了基于学习的特征描述符的使用,据我们所知,这些特征描述符还没有被探索用于腹腔镜肝脏配准。此外,不存在用于训练和评估基于学习的描述符的使用的数据集。方法:我们提供了由16个术前模型及其模拟的术中3D表面组成的LiverMatch数据集。我们还提出了为这项任务设计的LiverMatch网络,它输出每个点的特征描述符,可见性分数和匹配点。结果如下:我们将建议的LiverMatch网络与最接近LiverMatch的网络进行比较,并在LiverMatch数据集的测试分割上使用基于直方图的3D描述符,该数据集包括两个看不见的术前模型和1400个术中表面。结果表明,我们的LiverMatch网络可以预测比其他两种方法更准确和密集的匹配,并可以与基于RANSAC-ICP的配准算法无缝集成,以实现准确的初始对齐。结论:在LLR中使用基于学习的特征描述符是有希望的,因为它可以帮助实现准确的初始刚性对准,这反过来又可以作为后续非刚性配准的初始化。我们将在接受后发布数据集和代码。
2022-11-07 cs.CV
Characterizing Human Behaviours Using Statistical Motion Descriptor
University of Hail(哈伊勒大学);Comsats University(COMSATS大学)
由于人的外表和姿态的复杂性和变化,摄像机设置和视角的变化,识别人类行为是一个具有挑战性的研究问题。在本文中,我们试图通过引入一种新的基于统计特征的运动描述符来解决人类行为识别问题。该方法首先将视频划分为N个时间段。然后,对于每一段,我们计算密集的光流,它提供了所有像素的瞬时速度信息。然后,我们计算光流直方图(HOOF)加权的范数和量化成32箱。然后,我们从所获得的HOOF计算统计特征,形成192维的描述符向量。然后,我们训练一个非线性的多类SVM分类不同的人类行为的准确率为72.1%。我们评估我们的方法,使用公开的人类行动数据集。实验结果表明,我们提出的方法执行国家的最先进的方法。
2019-03-06 cs.CV
SphereNet: Learning a Noise-Robust and General Descriptor for Point Cloud Registration
Beijing Institute of Technology(北京理工大学)
针对现有点云配准描述子抗噪性差、泛化能力弱的问题,提出SphereNet,通过球形体素编码、球面插值及带完整性填充的球面卷积网络提取描述子,在噪声场景和多个基准上取得最优性能与泛化性。
2023-07-18 cs.CV
Descriptor learning for omnidirectional image matching
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所(IDSIA));Faculty of Informatics, Università della Svizzera Italiana (USI)(瑞士意大利语区大学信息学院(USI));Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)(瑞士意大利语区高等专业学院(SUPSI));Evidence Srl(Evidence 有限公司)
全方位视觉系统中的特征匹配是一个具有挑战性的问题,主要是因为复杂的光学系统使得不变性的理论建模和不变性特征描述子的构造变得困难甚至不可能。在本文中,我们提出了学习不变的描述符使用训练集的相似和不相似的描述符对。我们使用保持相似性的哈希框架,在这个框架中,我们试图将描述符数据映射到汉明空间,以保持训练集上的描述符相似性。一个神经网络用于解决潜在的优化问题。我们的方法不仅优于简单的描述符匹配,而且还优于最先进的保持相似性的哈希方法。
2011-12-29 cs.CV cs.NE
ELViS: Efficient Visual Similarity from Local Descriptors that Generalizes Across Domains
VRG, FEE, Czech Technical University in Prague(捷克理工大学,电气工程学院,VRG实验室);NAVER LABS Europe
ELViS通过在相似性空间而非表示空间中操作,利用局部描述符对应关系和最优传输步骤,实现跨领域泛化,提升检索性能。
2026-03-30 cs.CV
TALDS-Net: Task-Aware Adaptive Local Descriptors Selection for Few-shot Image Classification
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);School of Computer Science(计算机学院);Technology, Soochow University(苏州大学技术学院)
本文提出TALDS-Net,通过自适应选择任务感知的支持与查询局部描述符,解决少样本图像分类中信息丢失和忽略支持描述符的问题,并在通用与细粒度数据集上取得领先性能。
2024-09-03 cs.CV cs.MM
A Simple Task-aware Contrastive Local Descriptor Selection Strategy for Few-shot Learning between inter class and intra class
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对少样本图像分类中现有局部描述符选择方法忽略背景特征任务价值的问题,提出TCDSNet,通过计算对比判别分数选择支持描述符子集,再自适应选查询描述符,在通用和细粒度数据集上性能超SOTA。
2024-08-12 cs.CV cs.MM
Forming Local Intersections of Projections for Classifying and Searching Histopathology Images
University of Waterloo(滑铁卢大学);Ontario Tech University(安大略理工大学)
在本文中,我们提出了一种新的图像描述符,称为形成局部交叉投影(FLIP)和它的多分辨率版本(mFLIP)表示组织病理学图像。该描述符是基于Radon变换,其中我们应用并行投影在小的局部邻域的灰度图像。在每个窗口中使用等距投影方向,我们通过取相邻投影的交集来提取邻域的唯一不变特征。然后,我们为每个图像构建一个直方图,我们称之为FLIP直方图。不同的分辨率提供不同的FLIP直方图,然后将其连接以形成mFLIP描述符。我们的实验包括从头开始训练常见的网络,以及微调预训练的网络来对我们提出的描述符进行基准测试。实验在公开可用的数据集KIMIA Path 24和KIMIA Path 960上进行。对于这两个数据集,FLIP和mFLIP描述符在所有实验中都显示出了令人满意的结果。使用KIMIA Path 24数据,FLIP在特征提取方面优于未微调的Inception-v3和微调的VGG 16,而mFLIP在特征提取方面优于微调的Inception-v3。
2020-08-08 cs.CV
Average Biased ReLU Based CNN Descriptor for Improved Face Retrieval
Indian Institute of Information Technology (IIIT), Sri City(印度信息技术学院斯里城校区);Indian Institute of Information Technology (IIIT), Lucknow(印度信息技术学院勒克瑙校区)
卷积神经网络(CNN),包括AlexNet,GoogleNet,VGGNet等,为许多计算机视觉问题提取特征,这些问题具有很强的区分力。在一个数据集上训练的CNN模型表现相当好,而在另一个类似类型的数据集上,手工设计的特征描述符优于相同的训练的CNN模型。Rectified Linear Unit(ReLU)层丢弃某些值,以引入非线性。本文提出,使用训练模型的深度图像表示的区分能力可以在最后几层通过平均偏差ReLU(AB-ReLU)来提高。基本上,AB-ReLU从两个方面提高了区分能力:1)它利用了ReLU中一些有区别的和被丢弃的负面信息,2)它也忽略了ReLU中使用的不相关和积极的信息。在VGG-Face数据集上在MatConvNet中训练的VGGFace模型用作其他人脸数据集上人脸检索的特征描述符。该方法在六个具有挑战性的,无约束的和强大的人脸数据集(PubFig,LFW,PaSC,AR,FERET和ExtYale)和检索框架中的大规模人脸数据集(PolyUNIR)上进行了测试。据观察,当在面部数据集上与预训练的VGGFace模型一起使用时,AB-ReLU的性能优于ReLU。在用AB-ReLU替换所有ReLU后训练网络的验证误差也被观察到对每个数据集都是有利的。AB-ReLU甚至优于最先进的激活函数,例如Sigmoid,ReLU,Leaky ReLU和Flexible ReLU…
2022-01-23 cs.CV
Crowd Density Estimation using Novel Feature Descriptor
University of Hail(哈伊勒大学);International Gamming Lab(国际游戏实验室)
人群密度估计是人群监测的重要任务。已经进行了许多努力来自动化从图像和视频估计人群密度的过程。尽管作出了一系列努力,但这仍然是一项具有挑战性的任务。在本文中,我们提出了一种新的基于纹理特征的方法来估计人群密度的基础上完成局部二进制模式(CLBP)。我们首先将图像划分为块,然后将块重新划分为单元。对于每个单元,我们计算CLBP,然后将它们连接起来以描述相应块的纹理。然后,我们训练一个多类支持向量机(SVM)分类器,它将每个图像块分为四个类别之一,即非常低,低,中,高。我们在PETS 2009数据集上评估了我们的技术,从实验中,我们证明了所提出的描述符的准确率达到95%。我们还比较了其他国家的最先进的纹理描述符,并从实验结果中,我们表明,我们提出的方法优于其他国家的最先进的方法。
2019-05-15 cs.CV
Self-Supervised Point Cloud Registration with Deep Versatile Descriptors
Shanghai Jiao Tong University(上海交通大学)
本文提出一种自监督点云配准方法,联合全局与局部描述符并利用重建和法线估计增强变换感知,在多个数据集上超越现有无监督方法,部分情况下优于有监督方法。
2023-04-13 cs.CV
DeepKSPD: Learning Kernel-matrix-based SPD Representation for Fine-grained Image Recognition
University of Wollongong(卧龙岗大学);National University of Defense Technology(国防科技大学)
协方差矩阵是对称正定的,传统上被用来表示视觉识别中的一组局部描述符。最近的研究表明,核矩阵可以通过模拟局部描述符集中的非线性来提供更好的表示。然而,描述符和核矩阵都没有被深入学习。更糟糕的是,它们被单独考虑,阻碍了对社民党最佳代表性的追求。这项工作提出了一个深度网络,通过端到端的训练过程联合学习本地描述符,基于内核矩阵的SPD表示和分类器。我们推导出从局部描述符集到SPD表示的映射的导数,以进行反向传播。利用算子论中的Daleckii-Krein公式,给出了SPD矩阵函数微分的简洁而统一的结果,包括用矩阵对数处理核矩阵的黎曼几何.实验不仅表明了基于核矩阵的SPD表示与深度局部描述符的优越性,而且还验证了所提出的深度网络在追求更好的SPD表示以实现细粒度图像识别任务方面的优势。
2017-11-11 cs.CV
Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation
The University of Western Australia(西澳大学);Murdoch University(莫道克大学)
本文提出了一种新的概念,直接匹配的特征描述符提取的二维图像与特征描述符提取的三维点云。我们使用这个概念来直接定位3D点云中的图像。我们生成匹配的2D和3D点及其相应的特征描述符的数据集,用于学习描述符匹配器分类器。为了在测试时定位图像的姿态,我们从查询图像中提取关键点和特征描述符。然后使用训练的描述符匹配器来匹配来自图像和点云的特征。匹配特征的位置被用于鲁棒的姿态估计算法中以预测查询图像的位置和方向。我们对所提出的方法进行了广泛的评估,用于室内和室外场景以及不同类型的点云,以验证我们的方法的可行性。实验结果表明,直接匹配的特征描述符从图像和点云不仅是一个可行的想法,但也可以可靠地用于估计6自由度的查询相机在任何类型的三维点云在一个无约束的方式与高精度。
2020-05-29 cs.CV cs.LG cs.RO
Gradient Boundary Histograms for Action Recognition
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
本文提出了一种高效的局部时空描述子-梯度边界直方图(GBH)。所提出的GBH描述符是建立在简单的时空梯度,这是快速计算。我们证明,它可以更好地表示局部结构和运动比其他基于梯度的描述符,并显着优于他们在大型现实数据集。综合评价表明,该方法在保持识别精度的同时,大大降低了空间分辨率,既提高了识别效率,又节省了内存。
2014-12-03 cs.CV
Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
视频中的视觉特征对于人类行为理解至关重要。本文提出了一种新的视频表示,称为自动池深度卷积描述符(TDD),它具有手工制作的特征和深度学习特征的优点。具体来说,我们利用深度架构来学习有区别的卷积特征映射,并进行冗余约束池化,将这些卷积特征聚合成有效的描述符。为了增强TDDs的鲁棒性,我们设计了两种归一化方法来变换卷积特征图,即时空归一化和通道归一化。我们的特征的优点来自:(i)TDDs是自动学习的,与手工制作的特征相比,它具有较高的区分能力;(ii)TDDs考虑了时间维度的内在特征,并引入了随机约束采样和池化策略来聚合深度学习的特征。我们在两个具有挑战性的数据集上进行了实验:HMDB 51和UCF 101。实验结果表明,TDDs优于以前的手工制作的功能和深度学习的功能。我们的方法在这些数据集上也实现了优于现有技术的性能(HMDB 51 65.9%,UCF 101 91.5%)。
2015-05-19 cs.CV
Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors
ETH Zürich(苏黎世联邦理工学院);University of Bonn(波恩大学);Lund University(隆德大学);Microsoft(微软);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
以特征形式表示图像块是许多计算机视觉和机器人任务的关键组成部分,例如图像匹配、图像检索和视觉定位。最先进的描述符,从手工制作的描述符(如SIFT)到学习的描述符(如HardNet),通常是高维的; 128维甚至更多。维数越高,使用这种描述符的方法的内存消耗和计算时间就越大。在本文中,我们研究多层感知器(MLP)提取低维,但高质量的描述符。我们彻底分析了我们的方法在无监督,自我监督和监督设置,并评估四个代表性的描述符的降维结果。我们考虑不同的应用,包括视觉定位,补丁验证,图像匹配和检索。实验表明,我们的轻量级MLP实现更好的降维比PCA。我们的方法生成的低维描述符在下游任务中的表现优于原始的高维描述符,特别是对于手工制作的任务。该代码将在https://github.com/PRBonn/descriptor-dr上提供。
2022-09-27 cs.CV cs.RO
Cascaded Asymmetric Local Pattern: A Novel Descriptor for Unconstrained Facial Image Recognition and Retrieval
Indian Institute of Information Technology, Lucknow(印度信息技术学院,勒克瑙);Indian Institute of Information Technology, Allahabad(印度信息技术学院,安拉阿巴德)
特征描述是专家系统和机器学习研究的热点之一。图像的有效编码是精确匹配的基本要求。这些编码方案在识别和检索系统中起着重要的作用。人脸识别系统应该足够有效,以准确地识别系统的内在和外在变化下的个人。这些系统中使用的模板或描述符对图像的局部邻域中的像素的空间关系进行编码。使用这些手工制作的描述符编码的特征应该对诸如照明、背景、姿势和表情等变化具有鲁棒性。本文提出了一种新的手工构建的级联非对称局部模式(CALP)用于人脸图像的检索和识别。所提出的描述符唯一地编码在水平和垂直方向上的相邻像素之间的关系。所提出的编码方案具有最佳的特征长度,并在人脸图像的环境和生理变化下显示出显着的精度提高。最先进的手工制作的描述符,即; LBP,LDGP,CSLBP,SLBP和CSLTP与最具挑战性的数据集上的拟议描述符进行比较,即; Caltech-face,LFW和CASIA-face-v5。结果分析表明,该描述子在表情、背景、姿态和光照变化不受控制的情况下,性能优于现有描述子。
2022-01-03 cs.CV cs.MM
An Application of Manifold Learning in Global Shape Descriptors
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Marshfield Clinic Research Institute(马什菲尔德诊所研究所)
随着应用3D计算视觉的快速扩展,形状描述符对于从分子到行星的各种应用和对象变得越来越重要。合适的形状描述符对于准确(和有效)的形状检索和3D模型分类至关重要。通过求解3D表面模型上的各种物理方程,引入了几种基于光谱的形状描述符。在本文中,第一次,我们将一组特定的技术统计和机器学习,称为流形学习,开发一个全球形状描述符在计算机图形学领域。建议的描述符利用拉普拉斯特征映射技术,其中拉普拉斯特征值问题离散化使用指数加权方案。因此,我们的描述符消除了与现有谱描述符相关的限制,即依赖于三角形网格表示和3D模型的高类内质量。我们还提出了一个简单的归一化方法来获得一个尺度不变的描述符。在这项研究中进行的广泛的实验表明,目前的贡献提供了一个高度歧视性和强大的形状描述符下存在的高水平的噪声,随机尺度变化,低采样率,除了已知的等距不变性质的拉普拉斯-贝尔特拉米算子。所提出的方法显着优于国家的最先进的算法在几个非刚性形状检索基准。
2019-01-08 cs.CG cs.CV cs.GR
Learning Local Shape Descriptors from Part Correspondences With Multi-view Convolutional Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IIT Bombay(印度理工学院孟买分校);Adobe Research(Adobe 研究院)
我们提出了一个新的局部描述符的三维形状,直接适用于广泛的形状分析问题,如点对应,语义分割,启示预测,形状扫描匹配。描述符由卷积网络产生,该卷积网络被训练成在描述符空间中嵌入彼此接近的几何和语义相似的点。该网络处理形状上的点周围的表面邻域,这些点是通过从仔细选择的相机位置拍摄的一系列逐渐缩小的视图以多个尺度捕获的。我们利用两个非常大的数据源来训练我们的网络。首先,由于我们的网络以2D图像的形式处理渲染视图,因此我们重新调整了在大量图像数据集上预先训练的架构。其次,我们自动生成一个合成的密集点对应数据集的非刚性对齐相应的形状部分在一个大的集合分割的3D模型。由于这些设计选择,我们的网络有效地编码多尺度局部上下文和细粒度表面细节。我们的网络可以通过从多个形状类别中学习来训练生成特定于类别的描述符或更通用的描述符。一旦经过训练,在测试时,网络提取形状的局部描述符,而不需要任何部分分割作为输入。即使对于类别未知或与训练时使用的形状不同的形状,我们的方法也可以生成有效的局部描述符。我们通过几个实验证明,我们学习的本地描述符相比,最先进的替代品更具歧视性,并在各种形状分析应用中是有效的。
2017-09-05 cs.CV cs.GR
DG-TTA: Out-of-domain Medical Image Segmentation through Augmentation and Descriptor-driven Domain Generalization and Test-Time Adaptation
Dampsoft GmbH(Dampsoft有限公司)
本文提出DG-TTA方法,通过结合泛化SSC描述符与GIN强度增强,实现领域泛化预训练和测试时自适应,显著提升了跨域医学图像(如CT到MRI)的分割性能。
2025-04-01 cs.CV cs.LG