Semantic Aware Feature Extraction for Enhanced 3D Reconstruction
Department of Driving Assistance Systems（驾驶辅助系统系）；Valeo（瓦莱奥）
本文提出一种结合关键点检测、描述和语义分割的多任务学习框架，用于提升3D重建的语义一致性与结构细节。
2026-03-13 cs.AI cs.CV
Towards Keypoint Guided Self-Supervised Depth Estimation
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Yamagata University, Faculty of Science（山形大学理学部）
本文提出使用关键点作为自我监督线索，从输入图像的集合中学习深度图估计。由于难以从真实图像获得地面真实深度，因此已经提出了许多无监督和自监督的深度估计方法。这些无监督方法中的大多数使用深度图和自我运动估计来将来自当前图像的像素重新投影到来自图像集合的相邻图像中。深度和自我运动估计的基础上评估相应的原始和重新投影像素之间的像素强度差。我们建议首先在两幅图像中选择图像关键点，然后重新投影并比较两幅图像的对应关键点，而不是重新投影单个像素。关键点应该很好地描述了独特的图像特征。通过学习具有和不具有关键点提取技术的深度模型，我们表明使用关键点改进了深度估计学习。我们还提出了一些未来的方向，为关键点引导的学习结构从运动的问题。
2020-11-05 cs.CV
GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring
Graz University of Technology（格拉茨工业大学）；Pro2Future GmbH（Pro2Future有限公司）；Sony Semiconductor Solutions Europe（索尼半导体解决方案欧洲公司）
本文提出GMM-IKRS框架，利用改进的鲁棒高斯混合模型对任意方法提取的关键点进行精化，并给出由提取概率和定位精度构成的可解释评分，从而支持跨方法比较，实验表明其能持续提升关键点可重复性及位姿恢复性能。
2024-08-30 cs.CV
KDD-LOAM: Jointly Learned Keypoint Detector and Descriptors Assisted LiDAR Odometry and Mapping
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
提出紧耦合关键点检测器与描述子TCKDD及辅助框架KDD-LOAM，通过多任务全卷积网络与自监督损失提升点云配准性能，在KITTI上显著超越LOAM。
2023-09-27 cs.CV cs.RO
Realtime CNN-based Keypoint Detector with Sobel Filter and CNN-based Descriptor Trained with Keypoint Candidates
University of Science and Technology of China（中国科学技术大学）
局部特征检测器和描述器在许多计算机视觉任务中是必不可少的，例如SLAM和3D重建。在本文中，我们引入了两个独立的CNN，轻量级的SobelNet和DesNet，来检测关键点和计算密集的局部描述符。检测器和描述器并行工作。Sobel滤波器提供输入图像的边缘结构作为CNN的输入。在对CNN的输出图施加非最大值抑制（NMS）过程之后，将获得关键点的位置。我们为SobelNet的训练过程设计了高斯损失，以检测角点作为关键点。同时，DesNet的输入为原始灰度图像，利用循环损失对DesNet进行训练。此外，在训练DesNet时，需要SobelNet的输出图。我们已经在几个基准测试中评估了我们的方法，包括HPatches基准测试，ETH基准测试和FM-Bench。近年来，SobelNet以更少的计算量获得了比SOTA方法更好或相当的性能。在RTX 2070 SUPER上，SobelNet和DesNet对640 x480图像的推理时间分别为7.59ms和1.09ms。
2020-11-04 cs.CV
DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching
Linköping University（林雪平大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出DeDoDe，将关键点检测与描述子学习解耦，直接基于大规模SfM轨迹和半监督双视图目标学习三维一致关键点，并在多个几何基准上显著提升性能。
2023-12-11 cs.CV
Keypoint Autoencoders: Learning Interest Points of Semantics
Shanghai Jiao Tong University（上海交通大学）
了解点云非常重要。许多先前的方法集中于检测显著关键点以识别点云的结构。然而，现有的方法忽略了语义的选择点，导致下游任务的性能不佳。在本文中，我们提出了关键点自动编码器，一个无监督学习的方法来检测关键点。我们鼓励选择稀疏的语义关键点，强制执行从关键点到原始点云的重建。为了使稀疏关键点选择可区分，通过计算输入点之间的加权平均值来采用软关键点建议。一个下游的任务进行分类的形状与稀疏的关键点，以证明我们所选择的关键点的独特性。提出了语义准确性和语义丰富性，我们的方法在这两个指标上具有竞争力，甚至比最先进的性能更好。
2020-08-11 cs.CV
Centroid Distance Keypoint Detector for Colored Point Clouds
University of California, Riverside（加州大学河滨分校）
针对现有彩色点云关键点检测器仅利用几何信息的不足，提出基于质心距离的多模态CED检测器，无需法向估计与特征分解，在重复性、效率及配准任务上均优于现有方法且已开源。
2023-06-15 cs.CV cs.RO
RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor
Tongji University（同济大学）；Technische Universität München（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
关键点检测器和描述器是点云配准的两个主要组成部分。以往的基于学习的关键点检测器依赖于对每个点或最远点样本（FPS）的显著性估计来选择候选点，这是低效的，并且不适用于大规模场景。提出了一种基于随机采样的关键点检测与描述网络（RSKDD-Net）用于大规模点云配准。其关键思想是使用随机采样来有效地选择候选点，并使用基于学习的方法来联合生成关键点和描述符。为了解决随机采样的信息丢失问题，本文提出了一种新的随机扩张聚类策略来扩大每个采样点的感受野，并采用了一种注意力机制来聚合相邻点的位置和特征。此外，我们提出了一个匹配损失训练描述符在弱监督的方式。在两个大规模户外LiDAR数据集上的大量实验表明，所提出的RSKDD-Net实现了最先进的性能，比现有方法快15倍以上。我们的代码可在https://github.com/ispc-lab/RSKDD-Net上获得。
2020-10-23 cs.CV
LinK3D: Linear Keypoints Representation for 3D LiDAR Point Cloud
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；National University of Defense Technology（国防科技大学）
针对3D LiDAR点云特征描述性差且效率低的问题，提出一种新颖的线性关键点表示方法LinK3D，利用稳健的邻居关键点提供强约束，在三个数据集上实现了出色的匹配性能与优异的实时性，并可扩展至LiDAR里程计任务。
2024-01-10 cs.CV
SNAKE: Shape-aware Neural 3D Keypoint Field
Xi’an Research Institute of High-Tech（西安高技术研究所）；Tsinghua University（清华大学）；Peking University（北京大学）；Intel Labs（英特尔实验室）；MIT（麻省理工学院）；Renmin University of China（中国人民大学）
从点云数据中检测出3D关键点对于形状重建是非常重要的，而本文研究了两个问题：形状重建是否有利于3D关键点检测？现有的方法要么根据不同阶数的统计量来寻找显著特征，要么学习预测对变换不变的关键点。然而，将形状重建纳入3D关键点检测的想法还没有得到充分的研究。我们认为，这是限制前的问题配方。为此，提出了一种新的无监督范式SNAKE，这是形状感知神经3D关键点场的缩写。与最近基于坐标的辐射或距离场类似，我们的网络将3D坐标作为输入，同时预测隐式形状指标和关键点显著性，从而自然地将3D关键点检测和形状重建纠缠在一起。我们在各种公共基准测试中实现了卓越的性能，包括独立对象数据集ModelNet40、KeypointNet、SMPL网格和场景级数据集3DMatch和Redwood。固有的形状感知带来如下几个优点。(1)SNAKE生成与人类语义注释一致的3D关键点，即使没有这样的监督。(2)SNAKE在可重复性方面优于同行，特别是当输入点云进行下采样时。(3)所生成的关键点允许精确的几何配准，特别是在zero-shot设置中。代码可在https://github.com/zhongcl-thu/SNAKE上获得
2022-10-17 cs.AI cs.CV
SKD: Keypoint Detection for Point Clouds using Saliency Estimation
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了SKD，一种新的关键点检测器，使用显着性，以确定最佳的候选人从点云的任务，如注册和重建。该方法可以应用于任何可微分的深度学习描述符，通过使用该描述符相对于输入点的3D位置的梯度作为其显著性的度量。显著性与原始描述符和上下文信息在神经网络中组合，该神经网络被训练以学习鲁棒的关键点候选。这种方法背后的关键直觉是，关键点不仅仅是由于点周围的几何形状而提取的，而且还考虑了描述符的响应。该方法在两个大型LIDAR数据集-Oxford RobotCar数据集和KITTI数据集上进行了评估，在匹配性和可重复性方面，我们获得了最高50%的改进。当用我们的方法计算的关键点进行稀疏匹配时，我们实现了更高的内点比率和更快的收敛速度。
2021-02-27 cs.CV
SiLK -- Simple Learned Keypoints
Meta AI
本文通过解构现有学习型关键点检测器的关键组件，从第一性原理重新设计并提出轻量、可微且灵活的SiLK，在HPatches、ScanNet及2022 Image Matching Challenge等多个基准上取得领先或具有竞争力的结果。
2023-04-12 cs.CV
USIP: Unsupervised Stable Interest Point Detection from 3D Point Clouds
National University of Singapore（新加坡国立大学）；nuTonomy: an APTIV company（nuTonomy：安波福旗下公司）
在本文中，我们提出了USIP检测器：一种无监督的稳定兴趣点检测器，可以在任意变换下从3D点云中检测出高度可重复和准确定位的关键点，而无需任何地面实况训练数据。我们的USIP检测器由一个特征建议网络组成，该网络从输入的3D点云中学习稳定的关键点，并从随机生成的变换中学习它们各自的变换对。我们提供了USIP检测器的退化分析，并提出了防止退化的解决方案。我们鼓励关键点的高重复性和准确定位，并通过概率倒角损失来最大限度地减少检测到的关键点与训练点云对之间的距离。对来自Lidar、RGB-D和CAD模型的多个模拟和真实3D点云数据集进行重复性测试的广泛实验结果表明，我们的USIP检测器的性能明显优于现有的手工制作和基于深度学习的3D关键点检测器。我们的代码可以在项目网站上找到。https://github.com/lijx10/USIP
2019-03-30 cs.CV
DeepDetect: Learning All-in-One Dense Keypoints
University of Houston（休斯顿大学）；National University of Sciences and Technology（国家 sciences and Technology大学）
DeepDetect结合传统检测器与深度学习，通过融合多检测器输出生成真实标签，训练高效模型生成高密度关键点，提升在复杂场景下的性能。
2026-04-20 cs.CV
OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；The University of Sydney（悉尼大学）；Image Derivative Inc.（图像衍生公司）
我们提出了一种新的方法来估计物体的姿态没有CAD模型。先前基于特征匹配的方法OnePose在一次性设置下显示出有希望的结果，从而消除了对CAD模型或特定于对象的训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理物体上容易失败。我们提出了一个无关键点的姿态估计管道，以消除对可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建物体的半密集点云模型。给定用于对象姿态估计的查询图像，2D-3D匹配网络直接建立查询图像与重建的点云模型之间的2D-3D对应关系，而无需首先检测图像中的关键点。实验表明，该管道优于现有的一次性CAD模型的方法，由一个大的利润率，是可比的CAD模型为基础的方法LINEMOD即使是低纹理的对象。我们还收集了一个新的数据集组成的80个序列的40个低纹理的对象，以促进未来的研究，一杆物体姿态估计。补充材料、代码和数据集可在项目页面上获得：https://zju3dv.github.io/onepose_plus_plus/。
2023-01-18 cs.CV
LAKe-Net: Topology-Aware Point Cloud Completion by Localizing Aligned Keypoints
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
点云补全的目的是从部分观测中完成几何和拓扑形状。然而，由于原始形状的某些拓扑结构缺失，现有方法直接预测完整点的位置，而没有预测完整形状的结构和拓扑信息，导致性能较差。为了更好地解决丢失的拓扑部分，我们提出了LAKe-Net，一种新的拓扑感知的点云完成模型，通过定位对齐的关键点，采用一种新的Keypoints-Skeleton-Shape预测方式。具体来说，我们的方法使用三个步骤来完成缺失的拓扑结构：1）对齐的关键点定位。提出了一种非对称关键点定位器，包括一个无监督的多尺度关键点检测器和一个完整的关键点生成器，用于从完整和部分点云中定位对齐的关键点。我们从理论上证明了检测器可以捕获子类别内对象的对齐关键点。2)表面骨架生成。基于几何先验知识，从关键点生成一种新的骨架，称为表面骨架，以充分表示从关键点捕获的拓扑信息，并更好地恢复局部细节。3)形状优化。我们设计了一个细化子网，其中多尺度的表面骨架被送入每个递归的递归辅助细化模块，以协助完成过程。实验结果表明，该方法在点云数据的自动生成上达到了最佳的效果。
2022-03-31 cs.CV
Performance Evaluation of 3D Keypoint Detectors and Descriptors on Coloured Point Clouds in Subsea Environments
McGill University（麦吉尔大学）
本文利用商用水下激光扫描仪采集的现场数据集评估三维关键点检测器与描述子的最佳组合，并提出图像与水下激光扫描融合生成彩色点云的新方法，以研究6D点云描述子在海底环境中的有效性。
2024-02-26 cs.CV cs.RO
Deep Keypoint-Based Camera Pose Estimation with Geometric Constraints
University of California, San Diego（加利福尼亚大学圣迭戈分校）
从连续帧中估计相对相机姿态是视觉里程计（VO）和同时定位与地图构建（SLAM）中的基本问题，其中由手工制作的特征和基于采样的离群值拒绝组成的经典方法已经成为十多年的主导选择。虽然多个作品提出用基于学习的对应物取代这些模块，但大多数还没有像传统方法那样准确，强大和可推广。在本文中，我们设计了一个端到端的可训练框架，由可学习的模块检测，特征提取，匹配和离群值拒绝，同时直接优化的几何姿态目标。我们表明，定量和定性的姿态估计性能可以达到与经典的管道。此外，我们能够通过端到端的训练来证明，管道的关键组件可以得到显着改进，与现有的基于学习的方法相比，这可以更好地推广到不可见的数据集。
2020-07-29 cs.CV cs.RO
Character Keypoint-based Homography Estimation in Scanned Documents for Efficient Information Extraction
TCS Research（塔塔咨询服务公司研究院）
多幅图像之间精确的单应性估计是许多计算机视觉应用的先决条件。在当今的数字时代中特别相关的一个应用是对准扫描的或相机捕获的文档图像，诸如用于信息抽取的保险索赔表格。传统的基于学习的方法由于缺乏适当的梯度而表现不佳。基于特征的关键点提取技术用于在真实场景图像中的单应性估计，或者由于尖锐的文本边缘而检测到极大量的不一致的关键点，或者由于文档图像之间的照明和视点差异的变化而产生不准确的关键点对应。在本文中，我们提出了一种新的算法对齐扫描或相机捕获的文档图像使用基于字符的关键点和参考模板。该算法既快速又准确，并且利用标准的光学字符识别（OCR）引擎（例如Tesseract）来找到基于字符的明确的关键点，该关键点用于识别两个图像之间的精确关键点对应关系。最后，使用关键点计算测试文档与模板之间的单应性映射。我们评估了所提出的方法，信息抽取对两个现实世界的匿名数据集组成的健康保险索赔表和结果支持所提出的技术的可行性。
2019-11-14 cs.CV
FAKER: Full-body Anonymization with Human Keypoint Extraction for Real-time Video Deidentification
Nana Co., LTD.（娜娜有限公司）
本研究提出了一种基于人体关键点提取和姿态估计的小型模型方法，实现视频中个人的实时全身匿名化，有效去除肤色和体型等识别信息，同时保留位置与姿态信息，可无缝集成至CCTV或IP摄像机系统。
2024-08-06 cs.CV cs.LG eess.IV
RIPE: Reinforcement Learning on Unlabeled Image Pairs for Robust Keypoint Extraction
Fraunhofer Heinrich-Hertz-Institut, HHI（弗劳恩霍夫海因里希-赫兹研究所）
RIPE提出一种基于强化学习的弱监督关键点提取框架，仅需配对图像的二进制标签即可训练，利用编码器中间层和辅助损失提升描述能力，在简化数据准备的同时取得与SOTA技术相媲美的性能。
2025-07-14 cs.CV
S-TREK: Sequential Translation and Rotation Equivariant Keypoints for local feature extraction
Graz University of Technology（格拉茨技术大学）；Stuttgart Laboratory 1（斯图加特第一实验室）；Sony Europe B.V（索尼欧洲公司）
本研究提出新型局部特征提取器S-TREK，结合具平移与旋转等变性的深度关键点检测器和轻量级描述子，通过强化学习启发的序列训练提升关键点可重复性，在多基准上尤其平面内旋转场景下表现优于现有方法。
2023-08-28 cs.CV
AnyOKP: One-Shot and Instance-Aware Object Keypoint Extraction with Pretrained ViT
Department of Electrical and Computer Engineering, University of California San Diego（加利福尼亚大学圣地亚哥分校电气与计算机工程系）
提出基于预训练 ViT 的一次性实例感知物体关键点提取方法 AnyOKP，通过搜索最佳原型对生成候选关键点并划分子图以区分实例，在多种机器人采集的真实图像上验证了跨类别灵活性、实例感知能力及对领域偏移和视角变化的鲁棒性。
2023-09-15 cs.CV
Looking Beyond Corners: Contrastive Learning of Visual Representations for Keypoint Detection and Description Extraction
Technical University of Munich（慕尼黑工业大学）
可学习的关键点检测器和描述符开始优于传统的手工特征提取方法。最近关于视觉表示的自监督学习的研究推动了基于深度网络的可学习模型的性能不断提高。通过利用传统的数据增强和单应性变换，这些网络学会在极端光照变化等不利条件下检测角点。然而，它们的泛化能力仅限于通过经典方法或合成生成的数据先验检测到的角状特征。在本文中，我们提出了对应网络（CorrNet），它可以学习检测可重复的关键点，并通过空间约束下的无监督对比学习来提取有区别的描述。我们的实验表明，CorrNet不仅能够检测低级别的特征，如角点，而且还能够通过我们提出的联合引导反向传播其潜在空间来检测代表一对输入图像中相似对象的高级特征。我们的方法在视点变化下获得了有竞争力的结果，并在光照变化下获得了最先进的性能。
2022-07-11 cs.CV
PaRK-Detect: Towards Efficient Multi-Task Satellite Imagery Road Extraction via Patch-Wise Keypoints Detection
从卫星图像中自动提取道路是遥感领域中一项基本而又具有挑战性的计算机视觉任务。基于像素的语义分割方法和基于图的方法是两种流行的方案。然而，现有的工作表明，基于语义分割的方法产生低连通性的道路图，而基于图的方法与迭代探索范式和较小的感受野更侧重于本地信息，也是耗时的不完善之处。在本文中，我们提出了一种新的多任务卫星图像道路提取方案，Patch-wise道路关键点检测（PaRK-Detect）。该框架基于D-LinkNet架构，采用关键点检测的结构，通过预测道路关键点的位置以及它们之间的相邻关系来构建道路图。同时，多任务框架还执行逐像素语义分割并生成道路分割掩模。我们对DeepGlobe、Massachusetts Roads和RoadTracer数据集上现有的最先进方法进行了评估，并取得了有竞争力或更好的结果。我们还证明了相当的推理速度方面的表现。
2023-02-26 cs.CV
Keypoint Encoding for Improved Feature Extraction from Compressed Video at Low Bitrates
Technische Universität München（慕尼黑工业大学）
在许多移动视觉分析应用中，压缩视频通过通信网络传输并由服务器分析。在服务器处执行的典型处理步骤包括关键点检测、描述符计算和特征匹配。视频压缩已被证明对特征匹配性能具有不利影响。通过使用从未压缩视频提取的关键点来计算来自压缩视频的描述符，可以减少压缩的负面影响。基于这种观察，我们建议将这些关键点作为边信息提供给服务器，并仅从压缩视频中提取描述符。首先，我们介绍了四种不同的帧类型的关键点编码，以解决不同类型的视频内容的变化。这些帧类型表示新场景、相同场景、缓慢变化场景或快速移动场景，并且通过比较连续视频帧之间的特征来确定。然后，我们提出了帧内，跳过和帧间模式的编码的关键点为不同的帧类型。例如，使用帧内模式对新场景的关键点进行编码，并且跳过未更改场景的关键点。结果，与关键点编码相关的边信息的比特率显著降低。最后，我们提出了成对匹配和图像检索实验进行评估所提出的方法使用斯坦福移动增强现实数据集和720 p格式的视频的性能。实验结果表明，该方法在给定的比特率下，显著提高了特征匹配和图像检索的性能。
2016-03-04 cs.CV cs.IR cs.MM
Human Keypoint Detection by Progressive Context Refinement
The University of Sydney（悉尼大学）
由于人物实例的遮挡、模糊、光照和尺度变化，从单个图像中检测人物关键点是非常具有挑战性的。在本文中，我们发现，上下文信息在解决这些问题中起着重要的作用，并提出了一种新的方法命名为渐进式上下文细化（PCR）的人体关键点检测。首先，我们设计了一个简单但有效的上下文感知模块（CAM），可以有效地集成空间和信道上下文信息，以帮助定位硬关键点的特征学习。然后，我们通过使用快捷方式顺序堆叠多个CAM来构建PCR模型，并采用多任务学习来逐步完善上下文信息和预测。此外，为了最大限度地发挥PCR在上述硬案例推理中的潜力，我们提出了一种硬阴性人员检测挖掘策略，并通过利用未标记的coco数据集和外部数据集来联合训练策略。在COCO关键点检测基准上进行的大量实验证明了PCR优于代表性的最先进（SOTA）方法。我们的单一型号实现了与2018年COCO Keypoint检测挑战赛冠军相当的性能。最终的集成模型在这个基准上设置了一个新的SOTA。
2019-10-27 cs.CV cs.LG eess.IV
A Streamlined Attention-Based Network for Descriptor Extraction
Graz University of Technology（格拉茨技术大学）；Sony（索尼公司）
SANDesc通过改进的注意力网络提升关键点描述效果，实现高效的局部表示与稳定的训练性能。
2026-01-19 cs.CV
Instance Segmentation Based Graph Extraction for Handwritten Circuit Diagram Images
Deutsches Forschungszentrum für künstliche Intelligenz（德国人工智能研究中心）
来自教育场景或历史来源的手写电路图通常存在于模拟媒体上。为了自动推导其工作原理或缺陷，需要对其进行数字化处理，提取其电气图形。最近，促进这一过程的自动化管道的基础技术从计算机视觉转向了机器学习。本文描述了一种通过实例分割和关键点提取的方法来提取电气元件（包括其端子和描述文本）和它们的互连（包括结和线跳）。因此，所得到的图形提取过程由模型推理和平凡几何关键点匹配的简单两步过程组成。数据集本身，其准备，模型训练和后处理被描述并公开提供。
2023-01-18 cs.CV
UR2KiD: Unifying Retrieval, Keypoint Detection, and Keypoint Description without Local Correspondence Supervision
Scape Technologies（斯凯普科技公司）；National Taiwan University（台湾大学）；Tohoku University（东北大学）
在本文中，我们将探讨如何三个相关的任务，即关键点检测，描述和图像检索可以联合使用一个统一的框架，这是训练，而不需要的训练数据与点到点的对应关系。通过利用来自标准ResNet架构的顺序层的各种信息，我们能够提取关键点和描述符，这些关键点和描述符使用通用技术对本地信息进行编码，例如本地激活规范，通道分组和丢弃以及自蒸馏。随后，基于上述局部响应的池化，在端到端流水线中对用于图像检索的全局信息进行编码。与以前的局部匹配方法相比，我们的方法不依赖于逐点/逐像素对应，并且根本不需要这样的监督，即没有来自SfM模型的深度图，也没有手动创建的合成仿射变换。我们说明，这种简单而直接的范例，是能够实现非常有竞争力的结果对国家的最先进的方法，在各种具有挑战性的基准条件，如视点的变化，规模的变化，昼夜转换本地化。
2020-01-20 cs.CV cs.LG
Adaboost with "Keypoint Presence Features" for Real-Time Vehicle Visual Detection
Mines ParisTech（巴黎高科矿业学院）；Robotics Laboratory (CAOR)（机器人实验室（CAOR））
我们提出了有前途的结果，实时的【形】车辆视觉检测，获得与adaBoost使用新的原始？关键点存在特征？这些弱分类产生一个布尔响应的存在或不存在的基础上测试图像的？关键点？（~ SURF兴趣点），其具有与表征特征的参考描述符足够相似（即在给定距离内）的描述符。第一个实验是在包含侧视汽车的公共图像数据集上进行的，在测试集上产生了95%的召回率和95%的精确度。此外，对adaBoost选择的关键点位置的分析表明，它们对应于对象类别的特定部分（例如？轮子？还是？侧裙？）从而有一个？语义？意义
2009-10-07 cs.CV cs.LG
GoodPoint: unsupervised learning of keypoint detection and description
SingularityNet（奇点网络）
本文介绍了一种新的关键点检测器和描述符的无监督学习算法，该算法在不同的数据集上具有快速收敛和良好的性能。训练过程使用图像的单应变换。该模型在变换后的图像对上学习检测点并生成描述符，易于区分和重复检测。训练后的模型遵循SuperPoint架构以便于比较，并在HPatches数据集的自然图像上表现出类似的性能，在眼底图像配准数据集的视网膜图像上表现出更好的性能，其中包含少量的角状特征。对于HPatches和其他数据集，还计算了覆盖率，以提供更好的模型质量估计。
2020-06-01 cs.CV cs.LG
UKPGAN: A General Self-Supervised Keypoint Detector
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
关键点检测是物体配准和对齐的重要组成部分。在这项工作中，我们认为关键点检测是信息压缩，并迫使模型提取出一个对象的无关点。在此基础上，我们提出了UKPGAN，一个通用的自监督3D关键点检测器，检测关键点，使它们能够重建原始对象的形状。提出了两个模块：基于GAN的关键点稀疏控制和显著信息提取模块来定位这些重要的关键点。大量的实验表明，我们的关键点对齐以及人类注释的关键点标签，并可以应用于SMPL人体各种非刚性变形。此外，我们在干净的对象集合上训练的关键点检测器可以很好地推广到现实世界的场景，从而在与现成的点描述符相结合时进一步提高几何配准。重复性实验表明，我们的模型是稳定的刚性和非刚性变换下，与本地参考系估计。我们的代码可以在https://github.com/qq456cvb/UKPGAN上找到。
2022-03-09 cs.CV
EI-Nexus: Towards Unmediated and Flexible Inter-Modality Local Feature Extraction and Matching for Event-Image Data
Zhejiang University（浙江大学）；Jiaxing Research Institute, Zhejiang University（浙江大学嘉兴研究院）；School of Robotics, Hunan University（湖南大学机器人学院）
针对事件-图像跨模态局部特征匹配研究不足的问题，提出整合双模态提取器与匹配器的EI-Nexus框架，通过局部特征蒸馏和上下文聚合提升性能，构建两个基准并取得最优结果。
2024-10-29 cs.CV cs.RO eess.IV
Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction
Yonsei University（延世大学）
我们提出了一种基于单个图像和动作类的深度视频预测模型。为了生成未来的帧，我们首先检测移动对象的关键点，并将未来的运动预测为关键点序列。然后，输入图像按照预测的关键点序列进行平移，以组成未来的帧。检测关键点是我们算法的核心，我们的方法经过训练，可以以无监督的方式检测任意对象的关键点。此外，检测到的原始视频的关键点被用作伪标签来学习对象的运动。实验结果表明，我们的方法成功地应用于各种数据集，而没有标记视频中的关键点的成本。检测到的关键点与人工标注的标签相似，预测结果比以前的方法更真实。
2019-10-04 cs.CV
XRefine: Attention-Guided Keypoint Match Refinement
Bosch Research（博世研究）
XRefine是一种基于注意力机制的通用关节点精修方法，通过图像块进行亚像素关节点精修，提升3D视觉任务的几何估计精度。
2026-01-18 cs.CV
Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
当前基于图像的动物（包括人）身体和面部的关键点检测方法通常分为全监督和Few-Shot类不可知方法。前者通常依赖于费力且耗时的手动注释，在将关键点检测扩展到更广泛的关键点类别和动物物种方面带来了相当大的挑战。后者虽然不太依赖大量的手动输入，但仍然需要必要的支持图像和注释，以供测试期间参考。为了实现zero-shot关键点检测而无需任何预先注释，我们引入了开放词汇关键点检测（OVKD）任务，该任务被创新地设计为使用文本提示来识别任何物种的任意关键点。为了实现这一目标，我们开发了一个新的框架，名为开放词汇关键点检测与语义特征匹配（KDSM）。该框架将视觉和语言模型协同结合，在语言特征和局部关键点视觉特征之间创建相互作用。KDSM通过集成领域分布矩阵匹配（DDMM）和其他特殊模块（如视觉-关键点关系感知（VKRA）模块）来增强其能力，从而提高了框架的通用性和整体性能。我们的综合实验表明，KDSM在性能方面明显优于基线，并在OVKD任务中取得了显著的成功。令人印象深刻的是，我们的方法以zero-shot方式运行，仍然可以产生与最先进的Few-Shot物种类无关的关键点检测方法相当的结果。我们将公开源代码。
2024-10-02 cs.CV
UKDM: Underwater keypoint detection and matching using underwater image enhancement techniques
University Institute for Computer Research（计算机研究大学学院）；University of Alicante（阿利坎特大学）
本文探索水下图像增强技术对关键点检测与匹配的改进，应用生成对抗网络和卷积神经网络等深度学习模型，在多种水下数据集上验证其较传统方法有显著性能提升。
2025-04-15 cs.CV
Recognition of Freely Selected Keypoints on Human Limbs
University of Augsburg（奥格斯堡大学）
几乎所有的人体姿态估计（HPE）数据集都由一组固定的关键点组成。在此类数据集上训练的标准HPE模型只能检测这些关键点。如果需要更多的点，则必须手动注释它们，并且需要重新训练模型。我们的方法利用视觉Transformer架构来扩展模型的能力，以检测人的四肢上的任意关键点。我们提出了两种不同的方法来编码所需的关键点。(1)每个关键点由其沿固定集中两个封闭关键点之间的直线的位置以及该直线与肢体边缘之间的相对距离定义。(2)关键点被定义为标准姿势上的坐标。这两种方法都基于TokenPose架构，而与固定关键点对应的关键点令牌被我们的新模块所取代。实验表明，我们的方法在固定的关键点上达到了类似于TokenPose的结果，并且能够检测肢体上的任意关键点。
2022-04-13 cs.CV
SpaDen : Sparse and Dense Keypoint Estimation for Real-World Chart Understanding
University at Buffalo, SUNY（纽约州立大学布法罗分校）
提出一种自底向上的图表数据提取方法SpaDen，通过融合连续与离散关键点预测、稀疏密集逐像素目标及深度度量学习实现对象分割与重建，并结合图例匹配获取数据系列名称，有效提升了真实世界图表数据提取的准确性。
2023-08-03 cs.AI cs.CV
Semi-Supervised Keypoint Detector and Descriptor for Retinal Image Matching
Renmin University of China（中国人民大学）；Visionary Intelligence Ltd（远见智能有限公司）；Tongren Hospital（同仁医院）
对于视网膜图像匹配（RIM），我们提出了SuperRetina，这是第一个具有联合可训练关键点检测器和描述符的端到端方法。SuperRetina以一种新颖的半监督方式进行训练。一小组（近100个）图像被不完全标记，并用于监督网络检测血管树上的关键点。为了解决手动标记的不完整性，我们提出了渐进式关键点扩展来丰富每个训练时期的关键点标签。通过利用基于关键点的改进的三元组损失作为其描述损失，SuperRetina在全输入图像尺寸下产生高度区分的描述符。在多个真实世界数据集上进行的大量实验证明了SuperRetina的可行性。即使手动标注被自动标注取代，从而使训练过程完全不需要手动标注，SuperRetina在两个RIM任务（即图像配准和身份验证）中与许多强大的基线相比也毫不逊色。SuperRetina是开源的。
2022-07-16 cs.CV
A Fast Keypoint Based Hybrid Method for Copy Move Forgery Detection
Mody University of Science and Technology（莫迪科技大学）；Moradabad Institute of Technology（莫拉达巴德理工学院）
数字图像中的拷贝/移动伪造检测已经成为图像取证领域的一个非常热门的研究课题。由于先进的图像编辑工具和不断增加的硬件能力的可用性，它已经成为一个简单的任务来处理数字图像。被动伪造检测技术更相关，因为它们可以在没有关于所讨论的图像的先验信息的情况下应用。基于块的技术被用于检测复制移动伪造，但具有大的时间复杂度和对仿射操作（如旋转和缩放）敏感的限制。基于关键点的方法被用来检测伪造的大图像中的显着的后处理操作，如旋转和缩放的可能性是更多的。提出了一种混合方法，使用不同的方法进行关键点检测和描述。加速鲁棒特征（SURF）用于检测图像中的关键点，二进制鲁棒不变可缩放关键点（BRISK）特征用于描述这些关键点处的特征。所提出的方法比现有的伪造检测方法，使用SURF显着的检测速度方面表现更好，是不变的后处理操作，如旋转和缩放。所提出的方法也是不变的其他常用的后处理操作，如添加高斯噪声和JPEG压缩
2016-12-11 cs.CV
Visual object categorization with new keypoint-based adaBoost features
Mines ParisTech（巴黎高等矿业学校）
我们提出了有前途的结果，视觉对象分类，获得adaBoost使用新的原始？基于关键点的功能？这些弱分类产生一个布尔响应的存在或不存在的基础上测试图像的？关键点？（一种SURF兴趣点），其描述符与表征特征的参考描述符足够相似（即在给定距离内）。第一个实验是在包含侧视汽车的公共图像数据集上进行的，在测试集上产生了95%的召回率和95%的精确度。在行人数据库的一个小子集上进行的初步测试也给出了97%的召回率和92%的准确率，这表明了我们新功能家族的通用性。此外，对adaBoost选择的关键点位置的分析表明，它们对应于对象类别的特定部分（例如？轮子？还是？侧裙？在横向车的情况下），因此具有？语义？意义我们还对视频进行了第一次测试，用于从adaBoost中检测车辆，从所有检测到的关键点中实时筛选出关键点。
2009-10-07 cs.CV cs.LG
A Detector-oblivious Multi-arm Network for Keypoint Matching
School of Informatics, Xiamen University（厦门大学信息学院）；School of Performance, Visualization, and Fine Arts, Texas A&M University（德克萨斯农工大学表演、可视化与美术学院）
本文提出一种检测器无关的多臂网络（MAN），通过学习区域重叠和深度提升关键点匹配鲁棒性，无需在更换检测器时重新训练，且在室内外数据集上优于现有方法。
2024-06-01 cs.CV
SuperEvent: Cross-Modal Learning of Event-based Keypoint Detection for SLAM
Technical University of Munich（慕尼黑技术大学）；ETH Zürich（苏黎世联邦理工学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出 SuperEvent，通过灰度帧自监督伪标签和新型事件表示学习事件关键点检测与描述，并在事件 SLAM 中显著超越现有方法。
2025-09-29 cs.CV
DK-SLAM: Monocular Visual SLAM with Deep Keypoint Learning, Tracking and Loop-Closing
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
DK-SLAM提出一种结合MAML优化关键点网络、由粗到细跟踪及在线二进制特征回环检测的单目视觉SLAM，在公开数据集上超越ORB-SLAM3等系统，提升复杂环境下的定位精度与鲁棒性。
2024-06-25 cs.CV cs.RO
Learning to Detect Good Keypoints to Match Non-Rigid Objects in RGB Images
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）
我们提出了一种新的学习关键点检测方法，旨在最大限度地提高非刚性图像对应任务的正确匹配数量。我们的训练框架使用真实的对应关系，通过将注释的图像对与预定义的描述符提取器进行匹配来获得，作为训练卷积神经网络（CNN）的地面实况。我们通过将已知的几何变换应用于图像作为监督信号来优化模型架构。实验表明，我们的方法优于国家的最先进的关键点检测器的真实图像的非刚性物体的20 p.p.平均匹配精度，也提高了匹配性能的几个描述符时，再加上我们的检测方法。我们还采用了一个具有挑战性的现实世界中的应用所提出的方法：对象检索，我们的检测器表现出与最好的关键点检测器的性能。源代码和训练模型可在https://github.com/verlab/LearningToDetect SIBGRAPI 2022上公开获取
2022-12-13 cs.CV
DaD: Distilled Reinforcement Learning for Diverse Keypoint Detection
Linköping University（林雪平大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出DaD方法，通过强化学习实现完全自监督且无描述子的关键点检测，利用平衡top-K采样防止训练退化，并通过蒸馏亮暗两种检测器提升多样性，在一系列基准上显著超越现有最优方法。
2025-03-11 cs.CV
From Pairs to Sequences: Track-Aware Policy Gradients for Keypoint Detection
School of Computer Science, Wuhan University（1 武汉大学计算机学院）；Xiaomi EV（2 小米电动车）
本文提出TraqPoint方法，将关键点检测视为序列决策问题，通过跟踪感知奖励机制提升关键点的长期可跟踪性，在稀疏匹配基准上优于现有方法。
2026-05-15 cs.CV
Keypoint Communities
EPFL（洛桑联邦理工学院）
我们提出了一种快速的自下而上的方法，联合检测超过100个关键点的人或物体，也被称为人/物体姿态估计。我们将属于人类或物体的所有关键点（姿势）建模为图形，并利用来自社区发现的见解来量化关键点的独立性。我们使用图中心性度量来为姿势的不同部分分配训练权重。我们提出的度量量化了关键点与其邻域的连接程度。我们的实验表明，我们的方法优于所有以前的方法，人类姿态估计与细粒度的关键点注释的脸，手和脚，共133个关键点。我们还表明，我们的方法推广到汽车构成。
2021-10-03 cs.CV
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术，从人类视频中提取操作轨迹，以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO
3D Keypoint Detection Based on Deep Neural Network with Sparse Autoencoder
University of Electronic Science and Technology of China（电子科技大学）
在过去的几十年里，研究人员提出了各种从三维网格模型表面提取三维关键点的方法，但大多数都是基于几何方法，缺乏足够的灵活性来满足各种应用的要求。在本文中，我们提出了一种基于深度学习的新方法，通过将3D关键点检测公式化为回归问题，使用具有稀疏自动编码器（SAE）的深度神经网络（DNN）作为我们的回归模型。该方法充分利用三维网格模型在多尺度空间中的局部信息和全局信息，检测顶点是否为关键点。SAE能有效地提取这两类信息的内部结构，并为它们制定高层特征，这对回归模型是有利的。三个SAE用于制定DNN的隐藏层，然后训练逻辑回归层以处理第三个SAE中产生的高级特征。数值实验表明，所提出的基于DNN的3D关键点检测算法优于当前五种最先进的方法，用于各种3D网格模型。
2016-04-30 cs.CV
Towards the extraction of robust sign embeddings for low resource sign language recognition
Ghent University（根特大学）；imec（比利时微电子研究中心）；Trinity College Dublin（都柏林圣三一学院）
本文比较 OpenPose、MMPose 和 MediaPipe，提出通过关键点归一化、缺失插补与姿态嵌入学习提升低资源手语识别的鲁棒性和跨语言迁移能力。
2023-08-16 cs.CL cs.CV
