GPU optimization of the 3D Scale-invariant Feature Transform Algorithm and a Novel BRIEF-inspired 3D Fast Descriptor
École de technologie supérieure ÉTS（高等技术学院）；Université de Nantes（南特大学）；Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布莱根妇女医院）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；National Research Council（国家研究委员会）
这项工作详细介绍了一个高效的实现三维尺度不变的特征变换（SIFT）算法，机器学习的目的，从大型集的体积医学图像数据。3D SIFT代码的主要操作在图形处理单元（GPU）上实现，包括卷积、子采样和来自尺度空间金字塔的4D峰值检测。在关键点检测和图像到图像匹配实验中，使用不同人的3D MRI人脑体积来量化性能改进。提出了基于二进制鲁棒独立基本特征（BRIEF）代码的计算高效的3D关键点描述符，包括我们称为排名鲁棒独立基本特征（RRIEF）的新描述符，并与原始3D SIFT-排名方法\citep{toews2013efficient}进行了比较。GPU实现提供了超过优化CPU实现的约7倍的加速，其中对于具有约3000个关键点的大小（145，174，145）体素的3D体积，计算时间从1.4秒减少到0.2秒。值得注意的加速包括卷积运算（20倍）、4D峰值检测（3倍）、子采样（3倍）和高斯金字塔差分构造（2倍）。与标准SIFT-秩描述符相比，高效描述符提供了2倍的加速和6倍的内存节省，代价是减少了关键点对应的数量，揭示了计算效率和算法性能之间的权衡。通过我们的实现获得的加速将允许更有效地分析更大的数据集。我们优化的3D SIFT-Rank提取器的GPU实现可在https://github.com/CarluerJB/3D_SIFT_CUDA上获得。
2021-12-19 cs.CV
A fully pipelined FPGA accelerator for scale invariant feature transform keypoint descriptor matching,
Boise State University（博伊西州立大学）
尺度不变特征变换（SIFT）算法是计算机视觉领域中一种经典的特征提取算法。由于消耗的数据量，SIFT关键点描述符匹配是计算密集型过程。在这项工作中，我们设计了一种新的全流水线硬件加速器架构的SIFT关键点描述符匹配。在现场可编程门阵列（FPGA）上实现并测试了加速器核心。所提出的硬件架构是能够正确地处理所需的内存带宽的完全流水线的实现和命中的屋顶线的性能模型，实现潜在的最大吞吐量。基于余弦角距离法设计了全流水线匹配结构。我们的架构针对16位定点运算进行了优化，并使用基于Xilinx Zynq的FPGA开发板在硬件上实现。与文献中的同行相比，我们提出的架构显着减少了区域资源，同时通过减轻内存带宽限制来保持高吞吐量。结果显示，LUT和BRAM中消耗的设备资源分别减少了91%和79%。我们的硬件实现速度是可比软件方法的15.7倍。
2020-12-17 cs.CV cs.PF
Robust Palm-Vein Recognition Using the MMD Filter: Improving SIFT-Based Feature Matching
University of Northumbria at Newcastle（诺森比亚大学）
本文提出MMD滤波器改进SIFT特征匹配，有效提升掌纹识别的鲁棒性和准确性，降低等错误率。
2025-03-03 cs.CV
Hough-SIFT: Robust Image Registration for Linear Structures via Hough Space
研究图像配准问题，针对SIFT在强线性结构场景中失效的情况，提出Hough-SIFT方法，通过在霍夫空间进行SIFT描述符匹配，恢复描述符可辨别性，该方法在特殊场景中稳健且在正常场景中保持准确性。
2026-08-14 cs.CV
Image Identification Using SIFT Algorithm: Performance Analysis against Different Image Deformations
Memorial University（纪念大学）
图像识别是计算机视觉各个领域中最具挑战性的任务之一。尺度不变特征变换是一种检测和描述图像中局部特征的算法，并将其作为图像匹配的准则。在本文中，SIFT匹配算法对各种图像失真，如旋转，缩放，鱼眼和运动失真的性能进行了评估和假阳性率和真阳性率为大量的图像对计算和提出。我们还评估每个图像变形的匹配关键点方向差异的分布。
2018-03-13 cs.CV
ALPRS - A New Approach for License Plate Recognition using the Sift Algorithm
University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）；São Carlos Engineering School (USP)（圣卡洛斯工程学院（圣保罗大学））
本文提出了一种新的车牌自动识别方法，该方法采用SIFT算法分步进行车牌定位。在这种新方法中，除了与SIFT算法获得的特征的比较之外，还观察到与关键点相关联的空间方向和定位之间的对应关系。然后，采用一种快速的字符识别算法对车牌进行字符识别，使其实时的应用成为可能。与所提出的方法获得的结果提出了非常好的成功率，这么多的输入图像中的字符定位，为他们的识别。
2013-03-07 cs.CV
MREAK : Morphological Retina Keypoint Descriptor
D. J. Sanghvi College of Engineering（D·J·桑格维工程学院）
各种计算机视觉应用依赖于所使用的图像匹配算法的效率。设计了各种描述符来检测和匹配图像中的特征。在移动应用程序中部署此算法需要较低的计算时间。二进制描述符需要比基于浮点的描述符更少的计算时间，因为在创建二进制字符串之后，在样本点对之间进行强度比较并且进行比较。为了降低时间复杂度，匹配的关键点的质量通常被折衷。我们提出了一个关键点描述符命名为形态学视网膜关键点描述符（MREAK）的启发，人类瞳孔的功能，扩大和收缩响应的光量。通过使用打开和关闭的形态算子并相应地修改视网膜采样图案，观察到精确匹配的关键点的数量增加。我们的研究结果表明，匹配的关键点比FREAK描述符更有效，并且比SIFT，BRISK和SURF等各种描述符需要更低的计算时间。
2019-01-24 cs.CV
Evaluation of Feature Detector-Descriptor for Real Object Matching under Various Conditions of Ilumination and Affine Transformation
Yudistira Pictures；Universitas Brawijaya（布拉维贾亚大学）
本研究试图提供一些最流行的和当前的组合的描述和描述符框架，即SIFT，SURF，MSER，和BRISK的关键点提取器和SIFT，SURF，BRISK，和FREAK的描述符的解释，描述和评价。根据关键点的匹配数量和各种图像变化中的可重复性进行评估。它被用作主要参数，以评估算法的组合在匹配具有不同变化的对象时的效果如何。有许多论文描述了在各种条件下比较检测和描述特征来检测图像中的对象，但是与它们相关联的算法的组合还没有太多讨论。问题域被限制到不同的照明水平和仿射变换从不同的角度。为了评估算法的所有组合的鲁棒性，我们使用立体图像匹配的情况下。
2018-05-02 cs.CV
Compact Binary Fingerprint for Image Copy Re-Ranking
Department of CS and IT, University of Balochistan（信德大学计算机与信息技术系（注：原机构为University of Balochistan，直译为“俾路支斯坦大学”，其计算机与信息技术系为Department of CS and IT，此处按要求提取到大学级别，故完整机构为“俾路支斯坦大学计算机与信息技术系”））
图像拷贝检测是计算机视觉和信号处理领域中一个富有挑战性和吸引力的课题。多媒体技术的最新发展使得图像在全球范围内的传播变得容易和快速：这导致了许多其他问题，如伪造和图像复制检索。局部关键点描述符（如SIFT）用于表示图像，并基于这些描述符匹配，匹配和检索图像。特征被量化，使得搜索/匹配可以以准确性损失为代价对于大型数据库变得可行。在本文中，我们提出了二进制特征，通过量化的SIFT到二进制，并重新检查秩列表，以消除误报。在具有挑战性的数据集上的实验表明，该方法在准确性和时间上都有了提高。
2021-09-16 cs.AI cs.CV
LodoNet: A Deep Neural Network with 2D Keypoint Matchingfor 3D LiDAR Odometry Estimation
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Worcester Polytechnic Institute（伍斯特理工学院）
基于深度学习的LiDAR测距（LO）估计在自动驾驶和机器人领域引起了越来越多的研究兴趣。现有的作品连续LiDAR帧作为点云和匹配对在学习的特征空间中的神经网络。相比之下，基于图像的特征提取器的成功的动机，我们建议将LiDAR帧转移到图像空间，并将问题重新表述为图像特征提取。在尺度不变特征变换（SIFT）的帮助下进行特征提取，我们能够生成匹配的关键点对（MKP），可以精确地返回到3D空间。设计了一个卷积神经网络流水线，用于提取MKP估计LiDAR里程。所提出的方案，即LodoNet，然后在KITTI里程估计基准进行评估，达到与最先进的，甚至更好的结果。
2020-09-01 cs.CV
Large Scale Indexing of Generic Medical Image Data using Unbiased Shallow Keypoints and Deep CNN Features
École de Technologie Supérieure（高等技术学院）；Université de Nantes（南特大学）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个统一的外观模型，占传统的浅（即3D SIFT关键点）和深（即CNN输出层）的图像特征表示，分别编码特定的，本地化的神经解剖模式和丰富的全球信息到一个单一的索引和分类框架。一种新的贝叶斯模型结合了浅和深的功能的基础上的假设条件独立性和实验索引特定的家庭成员和一般组类别的3D MRI神经影像数据的1010名受试者从人类连接组项目，包括双胞胎和非双胞胎兄弟姐妹。提出了一种新的领域自适应策略，将深度CNN向量元素转换为二进制类信息描述符。提供了所有处理的基于GPU的实现。在大规模神经图像索引方面，无论是在计算复杂性方面，还是在识别家庭成员和性别分类方面，都达到了最先进的性能。
2020-10-20 cs.CV
SiLK -- Simple Learned Keypoints
Meta AI
本文通过解构现有学习型关键点检测器的关键组件，从第一性原理重新设计并提出轻量、可微且灵活的SiLK，在HPatches、ScanNet及2022 Image Matching Challenge等多个基准上取得领先或具有竞争力的结果。
2023-04-12 cs.CV
SIFT-Graph: Benchmarking Multimodal Defense Against Image Adversarial Attacks With Robust Feature Graph
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对深度视觉模型因依赖像素级表示易受对抗攻击的问题，提出SIFT-Graph多模态防御框架，融合SIFT关键点与图注意力网络的鲁棒特征及传统视觉模型，有效提升对白盒攻击的鲁棒性且清洁准确率下降轻微。
2025-11-11 cs.CV
Learning to Make Keypoints Sub-Pixel Accurate
ETH Zürich（苏黎世联邦理工学院）；Microsoft Mixed Reality and AI Zurich lab（微软混合现实与AI苏黎世实验室）
针对现代关键点检测器缺乏亚像素精度的问题，提出通过学习偏移向量为任意检测器增强亚像素精度，直接优化测试指标，在多种数据集上精度优于现有方法，仅增加约7毫秒开销。
2024-07-16 cs.CV
Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics
Istanbul Technical University（伊斯坦布尔理工大学）
本文通过移动机器人室内实验，比较不同特征检测器与描述符组合在图像匹配中的性能，分析不同组合在精度、时间、角度差等五项指标下的表现。
2017-10-17 cs.CV cs.SY eess.SY
2D Image Features Detector And Descriptor Selection Expert System
Tecnalia Research and Innovation（泰克纳利亚研究与创新中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
从图像中检测和描述关键点是计算机视觉中的一个研究热点。一些方法，如SIFT，SURF或ORB，在计算上非常有效。本文针对一个具体的工业零件目标识别问题，提出了一种基于层次分类的解决方案。减少实例的数量会带来更好的性能，事实上，这就是使用分层分类所寻求的。我们证明，这种方法比只使用一种方法，如ORB，SIFT或FREAK，尽管相当慢。
2020-06-04 cs.CV
Utilizing Radiomic Feature Analysis For Automated MRI Keypoint Detection: Enhancing Graph Applications
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对脑MRI图像中SIFT和LoFTR难以检测一致初始关键点的问题，提出基于影像组学特征的关键点检测方法，并将其作为LK-SuperRetina的真值，进而展示GNN在图像匹配中的优越性能，为扩展GNN应用奠定基础。
2023-11-30 cs.CV eess.IV
SConE: Siamese Constellation Embedding Descriptor for Image Matching
Warsaw University of Technology（华沙理工大学）；Tooploox；Google（谷歌）
许多计算机视觉应用依赖于局部特征描述符（例如SIFT、SURF或FREAK）来进行图像匹配。虽然它们的局部特性使得图像匹配过程对遮挡更鲁棒，但它通常导致需要过滤掉的几何不一致的关键点匹配，例如使用RANSAC。在本文中，我们提出了一种新的，更具歧视性，描述符，不仅包括局部特征表示，但也相邻的关键点的几何布局的信息。为此，我们使用了一种Siamese架构，该架构通过最大化非对应的匹配图像块对之间的距离来学习关键点星座的低维特征嵌入，同时最小化它以进行正确的匹配。我们训练的48维旋转点描述符是建立在最先进的FREAK描述符之上的，在具有挑战性的TUM数据集上，与竞争对手相比，它实现了显着的性能改进。
2018-09-28 cs.CV
DeepDetect: Learning All-in-One Dense Keypoints
University of Houston（休斯顿大学）；National University of Sciences and Technology（国家 sciences and Technology大学）
DeepDetect结合传统检测器与深度学习，通过融合多检测器输出生成真实标签，训练高效模型生成高密度关键点，提升在复杂场景下的性能。
2026-04-20 cs.CV
A Geometrically Constrained Point Matching based on View-invariant Cross-ratios, and Homography
National Yang Ming Chiao Tung Univ.（国立阳明交通大学）
在计算机视觉中，寻找图像间的点对应关系在图像拼接、图像检索、视觉定位等应用中起着重要的作用。大多数研究工作都集中在局部特征的匹配上，然后采用采样方法（如RANSAC），通过对图像间的某种全局变换进行反复拟合来验证初始匹配结果。然而，不正确的匹配仍然可能存在，而对这些问题的仔细检查往往被跳过。因此，在这项工作中，提出了一种几何约束算法，以验证初始匹配的SIFT关键点的正确性的基础上的视图不变的交比（CR）。通过从这些关键点随机形成五边形并将它们的形状和位置在具有CR的图像之间进行匹配，可以有效地实现用于上述验证的鲁棒平面区域估计，同时可以容易地相对于那些形状和位置匹配的五边形来检查关键点的正确和不正确的匹配。实验结果表明，该算法对各种场景的单平面区域和多平面区域都能获得满意的效果。
2022-11-06 cs.CV
Self-Improving Visual Odometry
Magic Leap, Inc.（Magic Leap公司）
我们提出了一个自监督学习框架，该框架使用未标记的单目视频序列来生成大规模的监督，用于训练视觉里程计（VO）前端，这是一种计算图像之间逐点数据关联的网络。我们的自我改进方法使VO前端能够随着时间的推移而学习，不像其他VO和SLAM系统需要耗时的手动调整或昂贵的数据汇集来适应新的环境。我们提出的前端在单目图像上操作，由一个多任务卷积神经网络组成，该网络输出2D关键点位置、关键点描述符和一个新的点稳定性得分。我们使用VO的输出来创建点对应的自监督数据集，以重新训练前端。当在ScanNet的250万张单目图像上使用VO进行大规模训练时，稳定性分类器会自动发现不太可能对VO有帮助的关键点的排名，例如深度不连续性的t型连接，阴影和高光特征以及动态对象，如人。由此产生的前端在ScanNet上的3D到2D姿态估计任务中优于传统方法（SIFT、ORB、AKAZE）和深度学习方法（SuperPoint和LF-Net）。
2018-12-08 cs.CV
Tensor-SIFT based Earth Mover's Distance for Contour Tracking
在恶劣环境中的轮廓跟踪是一个具有挑战性的问题，由于杂乱的背景，光照变化，遮挡和噪声，等等。本文提出了一个强大的轮廓跟踪方法，通过贡献的一些关键问题，包括（a）区域功能制定和优化;（b）设计一个强大的和有效的功能;和（c）开发一个综合的跟踪算法。首先，我们制定了一个区域功能的基础上强大的地球移动器的距离（EMD）与核密度分布建模，并提出了一个两阶段的优化方法。在第一阶段，假设候选轮廓是固定的，我们表示EMD运输问题，并解决它的单纯形算法。其次，利用形状导数理论，对运输问题最优解附近的轮廓进行扰动分析。这导致了一个偏微分方程（PDE），支配的轮廓演变。其次，我们设计了一个新颖而有效的跟踪应用程序的功能。提出了一种基于张量分解的降维方法，实现了一种用于表征图像局部区域特性的SIFT特征的低维描述，称为Tensor-SIFT。Tensor-SIFT适用于彩色和灰度图像，非常独特，对照度变化和噪音不敏感。最后，我们开发了一个综合算法，结合了各种技术的单纯形算法，窄带水平集和快速行进算法。特别地，我们介绍了帧间初始化方法和终止PDE迭代的停止准则。在具有挑战性的图像序列上的实验表明，所提出的工作具有良好的性能。
2010-11-14 cs.CV math.OC
Content-Based Image Retrieval Based on Late Fusion of Binary and Local Descriptors
National Textile University（国立纺织大学）；University of Engineering & Technology, Taxila（塔克西拉工程技术大学）
基于内容的图像检索（CBIR）面临的挑战之一是减少低层特征和高层语义概念之间的语义鸿沟。在CBIR中，图像被表示在特征空间中，并且CBIR的性能取决于所选择的特征表示的类型。后期融合也被称为视觉词集成被用来提高图像检索的性能。图像检索的最新进展将研究的重点转向使用二进制描述符，因为据报道它们具有计算效率。本文研究了快速视网膜关键点（FREAK）和尺度不变特征变换（SIFT）的后期融合。选择二进制和局部描述符的后期融合，因为在二进制描述符中，FREAK在基于分类的问题中表现出良好的结果，而SIFT对平移，缩放，旋转和小失真具有鲁棒性。FREAK和SIFT的后期融合集成了两个特征描述符的性能，以实现有效的图像检索。实验结果表明，该方法提高了图像检索的性能。
2017-03-24 cs.CV
A Bag of Words Approach for Semantic Segmentation of Monitored Scenes
iWatchLife Inc.（iWatchLife公司）
提出了一种针对监控摄像机拍摄的室外场景的语义分割方法。我们的算法将每个感知同质区域分类为从手动标记的图像集合中学习的预定义类之一。所提出的方法结合了两种不同类型的信息。首先，执行颜色分割以将场景划分为感知上相似的区域。然后，第二步是基于SIFT关键点，并使用词袋表示的区域进行分类。使用朴素贝叶斯网络作为生成分类器进行预测。与现有技术相比，我们的方法提供了更紧凑的场景内容的表示和分割结果是更符合人类的感知，由于结合的颜色信息与图像的关键点。在公开数据集上进行的实验证明了该方法的有效性。
2013-05-14 cs.CV
FFD: Fast Feature Detector
Aberystwyth University（阿伯里斯特威斯大学）；Edge Hill University（边山大学）
尺度不变性、良好的局部性和对噪声和失真的鲁棒性是局部特征检测器应该具备的主要特性。大多数现有的局部特征检测器发现过多的不稳定的特征点，增加了要匹配的关键点的数量和匹配步骤的计算时间。在本文中，我们表明，鲁棒性和准确的关键点存在于特定的尺度空间域。为此，我们首先制定的叠加问题到一个数学模型，然后推导出多尺度分析的封闭形式的解决方案。该模型通过连续尺度空间域中的高斯差分（DoG）内核来制定，并且证明了将尺度空间金字塔的模糊比和平滑度分别设置为2和0.627，有助于检测可靠的关键点。为了使该模型适用于离散图像，我们采用非抽样小波变换和三次样条函数对其进行离散化。从理论上讲，该方法的复杂度小于常用的基线尺度不变特征变换（SIFT）的5%.大量的实验结果表明，所提出的特征检测器在准确性和计算时间方面优于现有的代表性手工制作和基于学习的技术。代码和补充材料可在~{ \url{https://github.com/mogvision/FFD} }上找到。
2020-12-01 cs.CV
SIFT Meets CNN: A Decade Survey of Instance Retrieval
University of Technology at Sydney（悉尼科技大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
早期的基于内容的图像检索（CBIR）研究是基于全局特征的。自2003年以来，基于局部描述符的图像检索（事实上的SIFT）已经被广泛研究了十多年，由于SIFT在处理图像变换方面的优势。最近，基于卷积神经网络（CNN）的图像表示在社区中引起了越来越多的兴趣，并表现出令人印象深刻的性能。鉴于这个快速发展的时代，本文提供了一个全面的调查实例检索在过去的十年。两大类，基于SIFT和基于CNN的方法，提出。对于前者，根据码本大小，我们将文献组织成使用大/中/小码本。对于后者，我们讨论了三种方法，即，使用预先训练或微调的CNN模型和混合方法。前两个类别执行图像到网络的单通道，而最后一个类别采用基于块的特征提取方案。本调查介绍了现代实例检索中的里程碑，回顾了不同类别的大量先前作品，并提供了SIFT和基于CNN的方法之间联系的见解。在分析和比较了几个数据集上不同类别的检索性能后，我们讨论了通用和专用实例检索的前景。
2017-05-23 cs.CV
Ear Identification by Fusion of Segmented Slice Regions using Invariant Features: An Experimental Manifold with Dual Fusion Approach
Dr. B. C. Roy Engineering College（B.C.罗伊工程学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Jadavpur University（jadavpur大学）
本文提出了一种鲁棒的人耳识别系统，它是通过融合SIFT特征的颜色分割切片区域的人耳。该方法利用高斯混合模型（GMM），采用矢量量化算法建立高斯混合人耳模型，并将K-L散度应用于GMM框架，通过比较一对参考人耳和探测人耳之间的颜色相似度，记录指定范围内的颜色相似度。然后，作为不变特征提取的一部分，从每个颜色切片区域检测和提取SIFT特征。然后，提取的关键点分别融合的两种融合方法，即级联和Dempster-Shafer理论。最后，融合方法产生两个独立的增广特征向量，分别用于识别个人。建议的识别技术进行了测试IIT坎普尔耳数据库的400个人，并发现达到98.25%的识别准确率，而前5名匹配的标准，为每个主题。
2010-07-21 cs.CV
Nose, eyes and ears: Head pose estimation by locating facial keypoints
Centre for Visual Information Technology, KCIS, IIIT Hyderabad（国际信息技术研究所（海得拉巴）KCIS 视觉信息技术中心）
单目头部姿态估计需要学习从人脸的输入图像计算姿态（偏航、俯仰、滚动）的固有欧拉角的模型。注释野外图像的地面真实头部姿势角度是困难的，并且需要专门的拟合过程（其仅提供粗略和近似的注释）。这突出了对可以在受控环境中捕获的数据上进行训练并在野外（具有不同的面部外观和照明）的图像上进行概括的方法的需要。目前大多数直接在输入图像上学习回归函数的深度学习方法都无法做到这一点。为此，我们建议在使用深度学习架构时使用更高级别的表示来回归头部姿势。更具体地说，我们使用五个面部关键点（即左耳、右耳、左眼、右眼和鼻子）上的2D软定位热图图像形式的不确定性图，并将它们通过卷积神经网络来回归头部姿势。我们在两个具有挑战性的基准BIWI和AFLW上显示了头部姿态估计结果，并且我们的方法在这两个数据集上都超越了最先进的水平。
2018-12-03 cs.CV
Learning to Guide Local Feature Matches
Thales LAS France（泰雷兹LAS法国公司）；LIGM (UMR 8049), Ecole des Ponts, Univ. Gustave Eiffel, CNRS, Marne-la-Vallée, France（LIGM（UMR 8049），巴黎高科路桥学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心，马恩拉瓦莱，法国）
我们解决了找到图像之间准确和鲁棒的关键点对应关系的问题。我们提出了一种基于学习的方法，通过学习的近似图像匹配来指导局部特征匹配。我们的方法可以将SIFT的结果提升到类似于最先进的深度描述符的水平，例如Superpoint，ContextDesc或D2-Net，并且可以提高这些描述符的性能。我们介绍和研究不同层次的监督，学习粗糙的对应关系。特别是，我们表明，从对极几何弱监督导致性能高于更强，但更有偏见的点级监督，是一个明显的改善弱图像级监督。我们通过评估我们的引导关键点对应关系来展示我们的方法在各种条件下的好处，这些关键点对应关系用于YFCC 100 M数据集上的互联网图像和SUN 3D数据集上的室内图像的本地化，用于亚琛昼夜基准的鲁棒本地化以及使用LTLL历史图像数据在具有挑战性的条件下进行3D重建。
2020-10-21 cs.CV
Feature Level Fusion of Face and Palmprint Biometrics by Isomorphic Graph-based Improved K-Medoids Partitioning
Dr. B. C. Roy Engineering College（B.C.罗伊工程学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Jadavpur University（贾达沃普尔大学）
提出了一种基于改进的K中心聚类算法和同构图的人脸和掌纹特征级融合方法。采用绕中心点分割（PAM）算法将人脸和掌纹图像的n个不变特征点划分为k个类。利用尺度不变特征SIFT点对人脸和掌纹图像进行分割，在两幅图像上形成多个聚类。然后在每个簇上，绘制同构图。在下一步骤中，使用迭代松弛算法从所有可能的同构图中搜索最可能的图对，用于一对对应的面部和掌纹图像。最后，通过增加不变的SIFT点和通过级联规则组合关键点描述符对，将同构图配对成增广群来融合图。实验结果表明，本文提出的特征级融合算法与改进的K-medoids分割算法相结合，提高了系统的性能，并具有最高的精度。
2010-04-12 cs.CV
FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network
Shanghai Jiao Tong University（上海交通大学）；G60 Yun Zhi AI Innovation and Application Research Center（G60云智人工智能创新应用研究中心）；Midea Corporate Research Center（美的集团中央研究院）
我们引入了一个轻量级的网络来改进同一图像中关键点的描述符。该网络将原始描述符和关键点的几何属性作为输入，并使用基于MLP的自提升阶段和基于Transformer的交叉提升阶段来增强描述符。提升描述符可以是实值的或二进制的。我们使用所提出的网络来提升手工制作的（ORB，SIFT）和最先进的基于学习的描述符（SuperPoint，ALIKE），并在图像匹配，视觉定位和运动结构任务中对其进行评估。结果表明，我们的方法显着提高了每个任务的性能，特别是在具有挑战性的情况下，如大的照明变化或重复模式。该方法在桌面GPU上处理2000个特征仅需3.2ms，在嵌入式GPU上仅需27ms，足以应用于实际系统。代码和训练的权重可在github.com/SJTU-ViSYS/FeatureBooster上公开获得。
2023-03-28 cs.CV
Mathematical Analysis of Image Matching Techniques
Institute of Mathematics, National Academy of Sciences of Ukraine（乌克兰国家科学院数学研究所）
本文分析了经典局部特征图像匹配算法在卫星图像中的表现，评估SIFT和ORB在关键点检测、描述子匹配及几何验证中的性能，探讨关键点数量对匹配质量的影响。
2026-04-08 cs.CV cs.NA math.NA
Salient Local 3D Features for 3D Shape Retrieval
National Institute of Standards and Technology（美国国家标准与技术研究院）；QUEST University（奎斯特大学）
在本文中，我们描述了一个新的配方的三维显着的局部特征的基础上的体素网格的启发尺度不变特征变换（SIFT）。我们使用它来识别3D体素化模型上的显著关键点（不变点），并计算这些关键点处的不变3D局部特征描述符。然后，我们使用的词袋的方法上的3D局部特征表示的3D模型的形状检索。该方法的优点是，它可以应用于刚性以及铰接和可变形的3D模型。最后，将该方法应用于McGill关节形状基准上的三维形状检索，并将检索结果与其他方法进行了比较。
2011-05-13 cs.CV cs.MM
Classifying Suspicious Content in Tor Darknet
Universidad de León（莱昂大学）；INCIBE
执法机构的任务之一是在暗网中找到犯罪活动的证据。然而，手动访问数千个域以定位包含非法行为的视觉信息需要大量的时间和资源。此外，当执行分类时，图像的背景可能构成挑战。为了解决这个问题，在本文中，我们使用语义注意力关键点过滤来探索Tor Darknet图像的自动分类，语义注意力关键点过滤是一种通过将显着性图与视觉词袋（BoVW）相结合来过滤不属于感兴趣对象的像素级非显著特征的策略。我们在自定义Tor图像数据集上针对CNN特征评估了SAKF：MobileNet v1和Resnet50，以及使用密集SIFT描述符的BoVW，实现了87.98%的准确率，优于所有其他方法。
2020-05-21 cs.CV
Self-supervised Interest Point Detection and Description for Fisheye and Perspective Images
West Virginia University（西弗吉尼亚大学）
针对鱼眼与透视图像混合匹配，本文提出自监督兴趣点检测与描述网络训练方法，并构建两个新数据集，证明其优于面向传统投影条件设计的现有方法。
2023-06-02 cs.CV cs.RO
Feature Level Fusion of Biometrics Cues: Human Identification with Doddingtons Caricature
Dr. B. C. Roy Engineering College（Dr. B. C. Roy工程学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Jadavpur University（贾达沃普尔大学）
本文提出了一种多模式的指纹和耳朵生物识别系统。基于尺度不变特征变换（SIFT）描述子对人耳和指纹提取的特征集进行融合.融合集采用K-中心点分割方法进行编码，减少了特征点的个数。K-medoids将整个数据集划分为聚类，以最小化属于聚类的数据点与其中心之间的误差。缩减特征集用于两个生物特征集之间的匹配。匹配分数使用Doddington引入的基于用户的特征加权方案生成。该技术进行了测试，以展示其强大的性能。
2010-02-02 cs.AI cs.CV
Universal Correspondence Network
Stanford University（斯坦福大学）；NEC Laboratories America, Inc.（美国NEC实验室）
我们提出了一个深度学习框架，用于准确的视觉对应，并证明了其有效性的几何和语义匹配，跨越刚性运动到类内形状或外观变化。与之前基于CNN的方法优化代理补丁相似性目标相比，我们使用深度度量学习来直接学习保留几何或语义相似性的特征空间。我们的全卷积架构以及新颖的对应对比损失允许通过有效重用计算来实现更快的训练，通过使用每个图像对的数千个示例来实现精确的梯度计算，以及使用$O(n)$前馈传递对$n$关键点进行更快的测试，而不是使用$O(n^2)$进行典型的补丁相似性方法。我们提出了一个卷积空间Transformer来模仿SIFT等传统特征中的补丁归一化，这被证明可以显着提高跨类内形状变化的语义对应的准确性。在KITTI、PASCAL和CUB-2011数据集上进行的大量实验表明，我们的特征比使用手工构造或学习特征的先前作品具有显着优势。
2016-10-31 cs.CV
Copy-Move Image Forgery Detection Based on Evolving Circular Domains Coverage
Shandong University, Weihai（山东大学（威海））
针对图像取证中的复制-移动伪造检测问题，提出了一种新的改进方案，主要贡献是改进的圆域覆盖算法（ECDC）。该方案集成了基于块和基于关键点的伪造检测方法。首先，从整幅图像中提取对数极坐标空间的加速鲁棒特征（SURF）和尺度不变特征变换（SIFT）。其次，利用广义2近邻（g2 NN）算法得到大量的匹配对;然后，随机抽样一致性（RANSAC）算法被用来过滤掉不匹配的对，从而允许粗略定位的假冒地区。为了更准确地表示这些伪造区域，我们提出了高效和准确的ECDC算法来表示它们。该算法通过在以匹配对为中心的联合演化圆形区域中提取块特征，找到满意的阈值区域。最后，应用形态学运算对检测出的伪造区域进行细化。实验结果表明，提出的CMFD方案可以实现更好的检测性能下的各种攻击相比，其他国家的最先进的CMFD方案。
2022-10-23 cs.CV
Revealing Scenes by Inverting Structure from Motion Reconstructions
University of Florida（佛罗里达大学）；Microsoft Research（微软研究院）
许多3D视觉系统使用3D点云来定位场景内的相机。通常使用运动恢复结构运动恢复结构（SfM）来获得这样的点云，之后丢弃图像以保护隐私。在本文中，我们表明，第一次，这样的点云保留足够的信息，以揭示场景的外观和妥协的隐私。我们提出了一个隐私攻击，重建彩色图像的场景从点云。我们的方法是基于一个级联的U-Net，作为输入，从一个特定的视点渲染的点的2D多通道图像，包含点深度和可选的颜色和SIFT描述符，并输出从该视点的场景的彩色图像。与以前的特征反演方法不同，我们处理高度稀疏和不规则的2D点分布和输入，其中许多点属性丢失，即关键点方向和尺度，描述符图像源和3D点可见性。我们评估我们的攻击算法在公共数据集上，并分析点云属性的重要性。最后，我们表明，也可以产生新颖的意见，从而使引人注目的虚拟旅游的底层场景。
2019-04-05 cs.CV
Keypoints Localization for Joint Vertebra Detection and Fracture Severity Quantification
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Kharkevich Institute for Information Transmission Problems（哈尔克维奇信息传输问题研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Research and Practical Clinical Center of Diagnostics and Telemedicine Technologies（诊断与远程医疗技术研究与实用临床中心）
椎体压缩性骨折是骨质疏松症可靠的早期征象。虽然这些骨折在计算机断层扫描（CT）图像上可见，但在临床环境中，放射科医生经常会错过这些骨折。脊椎骨折自动分类方法的先前研究证明了其可靠的质量;然而，现有的方法提供难以解释的输出，有时无法处理具有严重异常的病例，例如高度病理性脊椎或脊柱侧凸。我们提出了一种新的两步算法，在3D CT图像中定位脊柱，然后同时检测单个椎骨并在2D中量化骨折。我们使用一个简单的基于6个关键点的注释方案为这两个步骤训练神经网络，该方案与当前的医疗建议精确对应。我们的算法没有排除标准，在单个GPU上在2秒内处理3D CT，并提供直观和可验证的输出。该方法接近专家级性能，并在椎骨3D定位（平均误差为1 mm）、椎骨2D检测（精度为0.99，召回率为1）和骨折识别（患者水平的ROC AUC为0.93）方面展示了最先进的结果。
2020-07-20 cs.CV eess.IV
ISS-Geo142: A Benchmark for Geolocating Astronaut Photography from the International Space Station
Boston University（波士顿大学）
ISS-Geo142为国际空间站宇航员摄影的地理定位提供了基准测试集，包含142张图像及三种不同方法的评估结果，其中TerraByte实现了90%的准确率。
2025-11-20 cs.AI cs.CV
Selfie Detection by Synergy-Constraint Based Convolutional Neural Network
NITK-Surathkal（NITK-苏拉特卡尔（印度国家理工学院苏拉特卡尔分校））
对多媒体平台上的海量数据进行分类是一项至关重要的任务。在这项工作中，我们提出了一种新的方法来解决微妙的问题，自拍检测图像数据库隔离在网络上，自拍照点击的数量迅速上升。卷积神经网络（CNN）被建模以在头部和肩部方向的公共子空间中学习协同特征，该协同特征分别来自局部二进制模式（LBP）和方向一致性直方图（HOG）特征。这种协同作用是通过使用典型相关分析（CCA）预测上述特征来捕获的。我们表明，由此产生的网络在SIFT捕获的空间关键点附近的卷积激活对于自拍检测是有区别的。一般来说，所提出的方法有助于捕获图像数据中存在的复杂性，并且除了自拍检测之外，还具有用于其他微妙图像分析场景的潜力。我们调查和分析流行的CNN架构（GoogleNet，AlexNet）的性能，用于其他图像分类任务，当受到检测多媒体平台上的自拍的任务。将所提出的方法的结果与这些流行的架构在由大致相等数量的自拍和非自拍组成的九万张图像的数据集上进行比较。在该数据集上的实验结果表明了该方法的有效性。
2016-11-14 cs.CV
Minimizing the Number of Matching Queries for Object Retrieval
LMU Munich（慕尼黑大学）
为了提高基于兴趣点的对象检索的计算效率，研究人员已经投入了大量的研究工作来提高基于kNN的特征匹配的效率，追求在几分之一秒内将数千个特征与数据库进行匹配。然而，由于图像特征的高维性质降低了索引结构的有效性（维数灾难），由于存储在图像数据库中的大量特征（图像通常由多达数千个特征表示），这个最终目标要求以查询运行时间换取查询精度。在本文中，我们解决了一个方法的补充索引，以提高检索的运行时间，只查询最有前途的关键点描述符，因为这会影响匹配的运行时间线性，因此可以提高效率。由于kNN查询的这种减少减少了试探性对应的数量，因此通过具有独立于底层索引结构的计算性能的附加图像级对应生成阶段来最小化查询精度的损失。我们使用SIFT和最先进的二进制描述符在各种数据集上评估标准识别管道的这种适应。我们的研究结果表明，减少查询描述符的数量并不一定意味着降低结果质量，只要考虑增加查询召回（通过彻底选择k）和MAP（使用图像级对应生成）的替代方法。
2015-08-18 cs.CV
Skin feature point tracking using deep feature encodings
National Cheng Kung University（成功大学）；Umeå University（于默奥大学）
面部特征跟踪是成像心冲击描记术（BCG）的关键组成部分，其中需要面部关键点的位移的准确量化以用于良好的心率估计。皮肤特征跟踪使基于视频的帕金森病运动退化的量化成为可能。传统的计算机视觉算法包括尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）和卢卡斯-卡纳德方法（LK）。这些方法在效率和准确性方面一直代表着最先进的水平，但当存在常见的变形（如仿射局部变换或照明变化）时就会失败。在过去的五年中，深度卷积神经网络在大多数计算机视觉任务中的表现优于传统方法。我们提出了一个用于特征跟踪的管道，该管道应用卷积堆栈自动编码器来识别图像中与包含感兴趣特征的参考作物最相似的作物。自动编码器学习将图像裁剪表示为特定于其训练对象类别的深度特征编码。我们在面部图像上训练自动编码器，并使用手动标记的面部和手部视频验证其跟踪皮肤特征的能力。独特皮肤特征（痣）的跟踪误差非常小，因此我们不能排除它们源于基于$χ^2$测试的手动标记。平均误差为0.6-4.2像素，我们的方法在所有情况下，但一个优于其他方法。更重要的是，我们的方法是唯一没有分歧的方法。我们的结论是，我们的方法创建更好的特征描述符的特征跟踪，特征匹配和图像配准比传统的算法。
2022-12-04 cs.AI cs.CV cs.LG
An Evaluation of Popular Copy-Move Forgery Detection Approaches
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
复制-移动伪造是通过复制和粘贴同一幅图像中的内容并对其进行后期处理而产生的，近年来，对复制-移动伪造的检测已经成为盲图像取证中最活跃的研究课题之一。已经提出了相当数量的不同算法，专注于不同类型的后处理副本。在本文中，我们的目标是回答哪些复制移动伪造检测算法和处理步骤（例如，匹配、滤波、离群值检测、仿射变换估计）在各种后处理场景中执行得最好。我们分析的重点是评估以前提出的功能集的性能。我们通过在一个共同的管道铸造现有的算法来实现这一点。在本文中，我们研究了15个最突出的特征集。我们分析了每图像的基础上，每像素的基础上的检测性能。我们创建了一个具有挑战性的真实世界的复制移动数据集，以及一个用于系统图像操作的软件框架。实验表明，基于关键点的特征SIFT和SURF，以及基于块的DCT，DWT，KPCA，PCA和Zernike特征表现得很好。这些特征集对各种噪声源和下采样表现出最佳的鲁棒性，同时可靠地识别复制区域。
2012-11-26 cs.CV
Car Type Recognition with Deep Neural Networks
Tampere University of Technology（坦佩雷理工大学）；Visy Oy（维西公司）
本文研究了客车、货车、厢式货车和小轿车四种车型的自动识别。对于这个问题，我们考虑两个数据驱动的框架：深度神经网络和支持向量机使用SIFT功能。在6500多幅图像的数据库中验证了该方法的准确性，预测准确率超过97%。这显然超过了使用手动设计的特征提取管道的早期研究的准确性。
2016-04-22 cs.CV
Gate-Shift-Pose: Enhancing Action Recognition in Sports with Skeleton Information
Free University of Bozen-Bolzano（博洛尼亚-博兹纳自由大学）
针对花样滑冰运动员摔倒分类问题，提出融合骨骼姿态与RGB信息的Gate-Shift-Pose网络，验证了两种融合策略的效果，显著提升了识别准确率，凸显多模态与姿态信息的价值。
2025-10-03 cs.CV
DR-KFS: A Differentiable Visual Similarity Metric for 3D Shape Reconstruction
Simon Fraser University（西蒙弗雷泽大学）；Beihang University（北京航空航天大学）
为了提高三维重建的质量，我们引入了一种差分视觉相似性度量来训练深度神经网络。该度量通过测量从形状可区分地渲染的多视图图像之间的距离来比较两个3D形状。重要的是，图像空间距离也是可微的，并测量视觉相似性，而不是像素级失真。具体而言，相似性由从比较图像的概率关键点图计算的HardNet特征的均方误差定义。我们的差分视觉形状相似性度量可以很容易地插入到各种3D重建网络中，取代它们基于失真的损失，例如倒角或地球移动器距离，从而优化网络权重，以产生具有更好结构保真度和视觉质量的重建。我们证明了这两个客观的，使用著名的形状指标的检索和分类任务，是独立于我们的新指标，并通过主观的感知研究。
2020-03-31 cs.CV cs.GR
Who Handles Orientation? Investigating Invariance in Feature Matching
Chalmers University of Technology（挑战者技术大学）；Linköping University（林奈大学）；University of Amsterdam（阿姆斯特丹大学）
研究在现代稀疏匹配流程中，特征描述符和匹配器中引入旋转不变性对性能的影响，发现早期在描述符中学习旋转不变性可提升匹配效率并提高泛化能力。
2026-04-13 cs.CV
Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy
Zhejiang University（浙江大学）
目前基于RGB的6D物体姿态估计方法在数据集和现实世界应用中取得了显着的性能。然而，从单个2D图像特征预测6D姿态容易受到来自环境变化和无纹理或光滑物体表面的干扰。因此，基于RGB的方法通常比基于RGBD的方法实现更少的竞争结果，基于RGBD的方法部署图像特征和3D结构特征两者。为了缩小这一性能差距，本文提出了一个6D对象姿态估计的框架，从2个RGB图像中学习隐式3D信息。结合学习的3D信息和2D图像特征，我们建立了场景和对象模型之间更稳定的对应关系。为了寻求最好地利用RGB输入的3D信息的方法，我们对三种不同的方法进行了研究，包括早期融合，中期融合和后期融合。我们确定中融合方法是恢复最精确的3D关键点的最佳方法，可用于对象姿态估计。实验表明，我们的方法优于国家的最先进的基于RGB的方法，并取得了相当的结果与基于RGBD的方法。
2022-07-01 cs.CV cs.RO
Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose Recognition with Synthetic Data
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）
阿尔伯塔省婴儿运动量表（AIMS）是一个众所周知的评估方案，通过记录实现的特定姿势的数量来评估婴儿的大运动发育。借助基于图像的姿势识别模型，AIMS评估程序可以缩短和自动化，提供潜在发育障碍的早期诊断或指标。由于有限的公共婴儿相关的数据集，许多作品使用基于SMIL的方法来生成合成的婴儿图像进行训练。然而，真实训练样本和合成训练样本之间的这种域不匹配通常会导致推理过程中的性能下降。在本文中，我们提出了一个基于CNN的模型，该模型以任何婴儿图像作为输入，并预测粗和细级别的姿势标签。该模型由图像分支和姿态分支组成，分别通过无监督领域自适应和使用具有SMPLify优化的HRNet生成3D关键点来生成粗级logits。然后，这些分支的输出将被发送到分层姿态识别模块，以估计精细级别的姿态标签。我们还收集并标记了一个新的AIMS数据集，其中包含750个真实和4000个合成婴儿图像与AIMS姿势标签。我们的实验结果表明，该方法可以显着对齐合成和真实世界的数据集的分布，从而实现细粒度的婴儿姿势识别的准确性能。
2022-05-04 cs.CV
