PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation
Hong Kong University of Science and Technology（香港科技大学）；Megvii Inc.（旷视科技）；Kuaishou Technology（快手科技）
在这项工作中，我们提出了一种新的数据驱动的方法，从一个单一的RGBD图像的鲁棒6DoF对象姿态估计。与以前直接回归姿态参数的方法不同，我们使用基于关键点的方法来解决这个具有挑战性的任务。具体来说，我们提出了一种深度Hough投票网络来检测物体的3D关键点，然后在最小二乘拟合的方式内估计6D姿态参数。我们的方法是2D关键点方法的自然扩展，该方法成功地用于基于RGB的6DoF估计。它允许我们充分利用刚性物体的几何约束和额外的深度信息，并且易于网络学习和优化。进行了大量的实验，以证明在6D姿态估计任务中的3D关键点检测的有效性。实验结果还表明，我们的方法优于国家的最先进的方法，在几个基准的大利润率。代码和视频可在https://github.com/ethnhe/PVN3D.git上获得。
2020-03-24 cs.CV cs.RO
3D Point-to-Keypoint Voting Network for 6D Pose Estimation
Zhejiang University（浙江大学）
由于其广泛的应用需求以及现实世界的复杂性和多变性所带来的挑战，物体6D位姿估计是计算机视觉领域的一个重要研究课题。我们认为充分挖掘点之间的空间关系特性有助于提高姿态估计的性能，特别是在背景杂乱和部分遮挡的场景中。但在以往的工作中，使用RGB图像或RGB-D数据通常忽略了这一信息。在本文中，我们提出了一个框架，从RGB-D数据的三维关键点的空间结构特征的基础上，6D姿态估计。我们采用逐点密集特征嵌入的方法来投票选择三维关键点，充分利用了刚体的结构信息。在利用CNN预测出指向关键点的方向矢量后，利用RANSAC投票计算出3D关键点的坐标，然后利用最小二乘法实现姿态变换。此外，还采用了空间维采样策略，使得该方法在小训练集上具有良好的性能。该方法在两个基准数据集LINEMOD和OCCLUSION LINEMOD上进行了验证。实验结果表明，该方法在LINEMOD数据集上的ADD（-S）准确率达到98.7%，在OCCLUSION LINEMOD数据集上的ADD（-S）准确率达到52.6%.
2020-12-22 cs.CV
MD-Net: Multi-Detector for Local Feature Extraction
Graz University of Technology（格拉茨技术大学）；Sony Europe B.V.（索尼欧洲公司）
在图像之间建立稀疏的关键点对应集是许多计算机视觉流水线中的基本任务。通常，这转化为计算上昂贵的最近邻搜索，其中一个图像上的每个关键点描述符必须与其他图像上的所有描述符进行比较。为了降低匹配阶段的计算成本，我们提出了一种深度特征提取网络，能够在每个图像上检测预定义数量的互补关键点集。由于仅需要跨不同图像比较同一集合内的描述符，所以匹配阶段的计算复杂性随着集合的数量而降低。我们训练我们的网络来预测关键点并联合计算相应的描述符。特别是，为了学习关键点的互补集合，我们引入了一种新的无监督损失，它惩罚不同集合之间的交集。此外，我们提出了一种新的基于矢量的加权方案，旨在惩罚与非歧视性描述符的关键点的检测。通过大量的实验，我们表明，我们的特征提取网络仅在合成变形图像上以完全无监督的方式进行训练，在降低匹配复杂度的情况下，在3D重建和重新定位任务上取得了有竞争力的结果。
2022-08-10 cs.CV
6D Pose Estimation via Keypoint Heatmap Regression with RGB-D Residual Neural Networks
Politecnico di Torino（托里诺理工学院）
本文提出基于关键点热图回归的模块化框架，结合YOLOv10m进行目标检测与ResNet18预测RGB图像的2D热图，利用PnP RANSAC算法估计6D位姿，并通过RGB-D交叉融合架构提升性能，最终在LINEMOD数据集上达到92.41%的准确率。
2026-05-08 cs.CV cs.RO
ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（信息通信研究院）
现有的方法都是以不可微的方式检测关键点，因此不能直接通过反向传播来优化关键点的位置。为了解决这个问题，我们提出了一个部分可微的关键点检测模块，它输出准确的亚像素关键点。然后提出重投影损失来直接优化这些亚像素关键点，并提出分散性峰值损失来精确的关键点正则化。我们还以亚像素的方式提取描述符，并使用稳定的神经重投影误差损失对它们进行训练。此外，我们还设计了一个轻量级网络来进行关键点检测和描述符提取，在商用GPU上可以以每秒95帧的速度处理640x480的图像。在单应性估计、摄像机姿态估计和视觉（重）定位任务上，所提出的方法与最先进的方法实现了等效的性能，同时大大减少了推理时间。
2022-02-05 cs.CV
Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning
Vidyasirimedhi Institute of Science and Technology（维迪亚西里梅迪科学技术学院）；Google AI（谷歌人工智能）
本文介绍了KeypointNet，这是一个端到端的几何推理框架，用于学习特定于类别的3D关键点及其检测器的最佳集合。给定单个图像，KeypointNet提取针对下游任务优化的3D关键点。我们证明了这个框架上的3D姿态估计提出了一个可区分的目标，寻求最佳的关键点集恢复对象的两个视图之间的相对姿态。我们的模型发现几何和语义上一致的关键点跨视角和对象类别的实例。重要的是，我们发现，我们的端到端框架使用没有地面实况关键点注释优于完全监督基线使用相同的神经网络架构的任务姿势估计。在ShapeNet的汽车、椅子和飞机类别上发现的3D关键点在http://keypointnet.github.io/上可视化。
2018-11-23 cs.CV cs.LG stat.ML
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
National University of Singapore（新加坡国立大学）
从3D传感器生成的大规模点云比基于图像的点云更准确。然而，它很少用于视觉姿态估计，由于难以获得2D-3D图像点云对应。在本文中，我们提出了2D 3D-MatchNet-一种端到端的深度网络架构，用于分别从图像和点云中联合学习2D和3D关键点的描述符。因此，我们能够直接从查询图像和3D点云参考图中匹配并建立2D-3D对应关系，以进行视觉姿态估计。我们从Oxford Robotcar数据集创建了我们的Oxford 2D-3D Patches数据集，其中包含地面实况相机姿势和2D-3D图像到点云对应关系，用于训练和测试深度网络。实验结果验证了该方法的可行性。
2019-04-22 cs.CV
Weakly Supervised Keypoint Discovery
California Institute of Technology（加州理工学院）
在本文中，我们提出了一种方法，从一个2D图像的关键点发现使用图像级监督。最近的无监督关键点发现工作可靠地发现对齐实例的关键点。然而，当目标实例具有高视点或外观变化时，所发现的关键点不匹配不同图像上的语义对应。我们的工作旨在发现关键点，即使目标实例具有高的观点和外观变化，通过使用图像级监督。受弱监督学习方法的启发，我们的方法利用图像级监督来识别有区别的部分并推断目标实例的视点。为了发现不同的部分，我们采用了一种有条件的图像生成方法，使用一对结构变形的图像。最后，我们强制执行基于视点的等方差约束，使用图像级监督的关键点，以解决空间相关性问题，始终出现在从各种角度拍摄的图像。我们的方法实现了国家的最先进的性能的关键点估计的任务，在有限的监督情况下。此外，所发现的关键点直接适用于下游任务，而不需要任何关键点标签。
2021-09-28 cs.CV
YOLOPose: Transformer-based Multi-Object 6D Pose Estimation using Keypoint Regression
University of Bonn（波恩大学）
6D物体位姿估计是自主机器人操作应用的重要前提。用于姿态估计的现有技术模型是基于卷积神经网络（CNN）的。最近，最初为自然语言处理提出的架构Transformers也在许多计算机视觉任务中取得了最先进的成果。配备有多头自注意力机制，Transformers实现简单的单级端到端架构，用于联合学习目标检测和6D对象姿态估计。在这项工作中，我们提出了YOLOPose（You Only Look Once Pose Estimation的缩写），这是一种基于关键点回归的基于变换器的多对象6D姿态估计方法。与用于预测图像中关键点的标准热图相比，我们直接回归关键点。此外，我们采用了一个可学习的方向估计模块来预测的关键点的方向。与单独的翻译估计模块一起，我们的模型是端到端可微的。我们的方法适用于实时应用，并取得了与最先进的方法相当的结果。
2022-05-05 cs.CV
HRegNet: A Hierarchical Network for Large-scale Outdoor LiDAR Point Cloud Registration
Tongji University（同济大学）；Technische Universität München（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Westwell lab（西井实验室）
点云配准是三维计算机视觉中的一个基本问题。室外LiDAR点云通常规模大且分布复杂，这使得配准具有挑战性。在本文中，我们提出了一个高效的分层网络命名为HRegNet的大规模户外激光雷达点云配准。HRegNet不是使用点云中的所有点，而是对分层提取的关键点和描述符进行配准。整个框架结合了深层的可靠特征和浅层的精确位置信息，实现了鲁棒的精确配准。我们提出了一个对应网络来生成正确和准确的关键点对应。此外，双边共识和邻域共识的关键点匹配和新的相似性特征的设计，将其纳入对应网络，这显着提高了注册性能。此外，整个网络也是高效的，因为只有少量的关键点用于注册。在两个大型室外LiDAR点云数据集上进行了大量实验，以证明所提出的HRegNet的高精度和效率。该项目的网站是https://ispc-group.github.io/hregnet。
2021-07-26 cs.CV
Semi-supervised Dense Keypoints Using Unlabeled Multiview Images
University of Minnesota（明尼苏达大学）；TuSimple（图森未来）；Unity（Unity公司）
本文提出一种半监督稠密关键点检测框架，通过概率极线约束和孪生网络利用无标注多视角图像学习几何一致的稠密关键点，在关键点精度、多视角一致性和3D重建精度上优于现有方法。
2024-02-20 cs.CV
KGpose: Keypoint-Graph Driven End-to-End Multi-Object 6D Pose Estimation via Point-Wise Pose Voting
Sogang University（西江大学）
本研究提出KGpose端到端多目标6D姿态估计框架，结合关键点法与图卷积嵌入实现逐点姿态回归投票，无需额外定位步骤，在基准数据集上取得有竞争力的结果，适用于机器人复杂场景几何理解。
2024-07-12 cs.CV cs.RO
KDD-LOAM: Jointly Learned Keypoint Detector and Descriptors Assisted LiDAR Odometry and Mapping
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
提出紧耦合关键点检测器与描述子TCKDD及辅助框架KDD-LOAM，通过多任务全卷积网络与自监督损失提升点云配准性能，在KITTI上显著超越LOAM。
2023-09-27 cs.CV cs.RO
SNAKE: Shape-aware Neural 3D Keypoint Field
Xi’an Research Institute of High-Tech（西安高技术研究所）；Tsinghua University（清华大学）；Peking University（北京大学）；Intel Labs（英特尔实验室）；MIT（麻省理工学院）；Renmin University of China（中国人民大学）
从点云数据中检测出3D关键点对于形状重建是非常重要的，而本文研究了两个问题：形状重建是否有利于3D关键点检测？现有的方法要么根据不同阶数的统计量来寻找显著特征，要么学习预测对变换不变的关键点。然而，将形状重建纳入3D关键点检测的想法还没有得到充分的研究。我们认为，这是限制前的问题配方。为此，提出了一种新的无监督范式SNAKE，这是形状感知神经3D关键点场的缩写。与最近基于坐标的辐射或距离场类似，我们的网络将3D坐标作为输入，同时预测隐式形状指标和关键点显著性，从而自然地将3D关键点检测和形状重建纠缠在一起。我们在各种公共基准测试中实现了卓越的性能，包括独立对象数据集ModelNet40、KeypointNet、SMPL网格和场景级数据集3DMatch和Redwood。固有的形状感知带来如下几个优点。(1)SNAKE生成与人类语义注释一致的3D关键点，即使没有这样的监督。(2)SNAKE在可重复性方面优于同行，特别是当输入点云进行下采样时。(3)所生成的关键点允许精确的几何配准，特别是在zero-shot设置中。代码可在https://github.com/zhongcl-thu/SNAKE上获得
2022-10-17 cs.AI cs.CV
An Efficient Approach for Muscle Segmentation and 3D Reconstruction Using Keypoint Tracking in MRI Scan
Northeastern University, San Jose, USA（东北大学，旧金山，美国）
针对MRI肌肉自动分割计算成本高、依赖大量训练数据且小肌肉分割精度低的问题，提出一种结合关键点选择与Lucas-Kanade光流的无训练分割方法，在保持与CNN模型相当性能的同时大幅降低计算需求并提升可解释性。
2025-07-11 cs.CV
SKD: Keypoint Detection for Point Clouds using Saliency Estimation
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了SKD，一种新的关键点检测器，使用显着性，以确定最佳的候选人从点云的任务，如注册和重建。该方法可以应用于任何可微分的深度学习描述符，通过使用该描述符相对于输入点的3D位置的梯度作为其显著性的度量。显著性与原始描述符和上下文信息在神经网络中组合，该神经网络被训练以学习鲁棒的关键点候选。这种方法背后的关键直觉是，关键点不仅仅是由于点周围的几何形状而提取的，而且还考虑了描述符的响应。该方法在两个大型LIDAR数据集-Oxford RobotCar数据集和KITTI数据集上进行了评估，在匹配性和可重复性方面，我们获得了最高50%的改进。当用我们的方法计算的关键点进行稀疏匹配时，我们实现了更高的内点比率和更快的收敛速度。
2021-02-27 cs.CV
OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；The University of Sydney（悉尼大学）；Image Derivative Inc.（图像衍生公司）
我们提出了一种新的方法来估计物体的姿态没有CAD模型。先前基于特征匹配的方法OnePose在一次性设置下显示出有希望的结果，从而消除了对CAD模型或特定于对象的训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理物体上容易失败。我们提出了一个无关键点的姿态估计管道，以消除对可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建物体的半密集点云模型。给定用于对象姿态估计的查询图像，2D-3D匹配网络直接建立查询图像与重建的点云模型之间的2D-3D对应关系，而无需首先检测图像中的关键点。实验表明，该管道优于现有的一次性CAD模型的方法，由一个大的利润率，是可比的CAD模型为基础的方法LINEMOD即使是低纹理的对象。我们还收集了一个新的数据集组成的80个序列的40个低纹理的对象，以促进未来的研究，一杆物体姿态估计。补充材料、代码和数据集可在项目页面上获得：https://zju3dv.github.io/onepose_plus_plus/。
2023-01-18 cs.CV
Spatial regularisation for improved accuracy and interpretability in keypoint-based registration
Inria（法国国家信息与自动化研究所）；Massachusetts Institute of Technology（麻省理工学院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对无监督关键点配准中特征空间分布扩散导致可解释性差的问题，提出一种三重损失（KL散度建模、空间锐化和排斥损失）进行空间正则化，在提升特征可解释性的同时显著提高了配准精度。
2025-03-07 cs.CV
Unsupervised 3D Keypoint Discovery with Multi-View Geometry
Samsung AI Center Toronto（三星人工智能中心多伦多分中心）；Computer Vision Lab, EPFL（洛桑联邦理工学院计算机视觉实验室）
提出一种利用多视图几何约束的无监督算法，从多视图图像中自动发现人体3D关键点，无需人工标注，在Human3.6M和MPI-INF-3DHP上优于现有无监督方法。
2024-02-08 cs.CV cs.LG
Learning to Produce Semi-dense Correspondences for Visual Localization
School of Computing, KAIST（韩国科学技术院计算机学院）；College of AI Convergence, Dongguk University（东国大学人工智能融合学院）
针对夜间、恶劣天气等苛刻条件下的视觉定位问题，提出一种基于密集关键点匹配提取半密集2D-3D匹配点的新颖定位方法，利用点推理网络推断未观测关键点的3D坐标，显著提升了相机位姿估计精度并在大规模基准上取得竞争力表现。
2024-03-20 cs.CV
Learning Articulated Shape with Keypoint Pseudo-labels from Web Images
Rutgers University（罗格斯大学）；UC Berkeley（加州大学伯克利分校）
提出用50–150张2D关键点标注图像训练类别关键点估计器，并结合网络图像伪标签与数据选择，提升关节化对象单目3D重建性能。
2023-04-27 cs.CV
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology（航空航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）
本文提出DKPMV流程，仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计，在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching
Linköping University（林雪平大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出DeDoDe，将关键点检测与描述子学习解耦，直接基于大规模SfM轨迹和半监督双视图目标学习三维一致关键点，并在多个几何基准上显著提升性能。
2023-12-11 cs.CV
BKinD-3D: Self-Supervised 3D Keypoint Discovery from Multi-View Videos
Caltech（加州理工学院）；U Washington（华盛顿大学）；Northwestern（西北大学）；SAIT（三星先进技术研究院）
针对多视角行为视频，本文提出BKinD-3D自监督3D关键点发现方法，利用3D体积热图、跨视角时空差异重建和骨架关节长度约束，在无关键点及边界框监督下识别人类与大鼠关键点。
2023-06-02 cs.AI cs.CV
Vision-based system identification and 3D keypoint discovery using dynamics constraints
University of Edinburgh（爱丁堡大学）；Monash University（莫纳什大学）
本文介绍了V-SysId，一种新的方法，使同时关键点发现，3D系统辨识，和外部摄像机校准从一个静态摄像机拍摄的未标记的视频，只使用家庭的运动方程的对象的兴趣作为弱监督。V-SysId采用关键点轨迹建议，并在最大似然参数估计和外部相机校准之间交替，然后应用合适的选择标准来识别感兴趣的轨迹。然后，这被用于使用监督学习来训练关键点跟踪模型。一系列设置（机器人，物理，生理）的结果突出了这种方法的实用性。
2021-09-13 cs.AI cs.CV stat.ML
Graphite: GRAPH-Induced feaTure Extraction for Point Cloud Registration
Technische Universität München（慕尼黑工业大学）；Google（谷歌）
3D点云是一种丰富的信息来源，在视觉社区中越来越受欢迎。然而，由于其表示的稀疏性，基于大型点云的学习模型仍然是一个挑战。在这项工作中，我们介绍了石墨，一个图形诱导的特征提取管道，一个简单而强大的特征变换和关键点检测器。Graphite支持对点云进行密集的下采样，关键点检测伴随着描述符。我们构建了一个通用的基于图的学习方案来描述点云区域和提取显著点。为此，我们利用6D姿态信息和度量学习来学习不同扫描的鲁棒描述和关键点。我们使用图神经网络重新制定了3D关键点管道，它允许有效处理点集，同时提高其描述能力，最终导致更准确的3D配准。我们在常见的3D描述符匹配和点云配准基准测试中展示了我们的轻量级描述符，并取得了与最先进技术相当的结果。使用我们提出的网络，描述100个点云补丁并检测其关键点仅需约0.018秒。
2020-10-18 cs.AI cs.CV
KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们介绍了KeypointDeformer，这是一种通过自动发现3D关键点进行形状控制的新型无监督方法。我们将其转换为将源3D对象与来自相同对象类别的目标3D对象对齐的问题。我们的方法通过比较两个对象的潜在表示来分析它们的形状之间的差异。这种潜在的表示形式是以无监督的方式学习的3D关键点。然后，源对象和目标对象的3D关键点之间的差异通知将源对象变形为目标对象的形状变形算法。整个模型是端到端学习的，同时发现3D关键点，同时学习使用它们来变形对象形状。我们的方法产生直观和语义一致的控制形状变形。此外，我们发现的3D关键点在对象类别实例中是一致的，尽管形状变化很大。由于我们的方法是无监督的，它可以很容易地部署到新的对象类别，而不需要3D关键点和变形的注释。
2021-04-22 cs.CV cs.GR
LMPNet for Weakly-supervised Keypoint Discovery
Brigham Young University（Brigham Young 大学）
本文提出LMPNet，通过leaky max pooling层将判别式滤波器转化为关键点检测器，结合注意力掩蔽和可学习聚类，实现仅用类别标签的弱监督语义关键点发现，性能可比肩有监督姿态估计模型。
2025-07-03 cs.CV
Self-Supervised Keypoint Discovery in Behavioral Videos
Caltech（加州理工学院）；Samsung Advanced Institute of Technology（三星先进技术研究院）；Northwestern University（西北大学）；Argo AI
我们提出了一种方法来学习的姿势和结构的代理从未标记的行为视频。从观察行为代理通常是行为视频中运动的主要来源开始，我们的方法，行为关键点发现（B-KinD），使用具有几何瓶颈的编码器-解码器架构来重建视频帧之间的时空差异。通过只关注运动区域，我们的方法直接在输入视频上工作，而不需要手动注释。在各种代理类型（小鼠，苍蝇，人类，水母和树木）上的实验证明了我们方法的通用性，并揭示了我们发现的关键点代表了语义上有意义的身体部位，在自监督方法中实现了关键点回归的最新性能。此外，B-KinD在下游任务（如行为分类）上实现了与监督关键点相当的性能，这表明我们的方法可以大大降低模型训练成本。
2022-04-27 cs.CV
From Keypoints to Object Landmarks via Self-Training Correspondence: A novel approach to Unsupervised Landmark Discovery
University of Nottingham（诺丁汉大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Hartpury University（哈特伯瑞大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新的范例的无监督学习的目标地标检测器。与现有的建立在辅助任务（如图像生成或等方差）上的方法相反，我们提出了一种自训练方法，在该方法中，从通用关键点出发，训练地标检测器和描述符以改进自身，将关键点调整为独特的地标。为此，我们提出了一种迭代算法，通过特征聚类产生新的伪标签，并通过对比学习学习每个伪类的独特功能。通过地标检测器和描述符的共享主干，关键点位置逐渐收敛到稳定的地标，过滤掉那些不太稳定的地标。与以前的作品相比，我们的方法可以学习在捕捉大的视点变化方面更灵活的点。我们在各种困难的数据集上验证了我们的方法，包括LS3D，BBCPose，Human3.6M和PennAction，实现了最先进的结果。
2023-02-25 cs.CV
Unsupervised Monocular 3D Keypoint Discovery from Multi-View Diffusion Priors
Yonsei University（延世大学）
本文提出KeyDiff3D框架，通过单张图像准确预测3D关键点，利用预训练的多视图扩散模型中的几何先验，将隐式3D先验转化为显式3D特征体，实现关键点估计和3D对象操控。
2026-06-04 cs.CV
Learning Keypoints for Multi-Agent Behavior Analysis using Self-Supervision
California Institute of Technology（加州理工学院）；Cornell University（康奈尔大学）
针对多智能体视频自监督关键点发现方法在同色同物种个体场景下效果差的问题，提出B-KinD-multi方法，借助预训练视频分割模型指导关键点发现，在多物种实验中表现优异且泛化性强，可用于多智能体行为分析的自动化标注。
2024-09-14 cs.CV
A region-based descriptor network for uniformly sampled keypoints
Tsinghua University（清华大学）
不同图像的关键点对匹配是计算机视觉的一项基本任务。大多数方法需要定制的极值点方案来获得高置信度的特征点坐标，这往往需要复杂的算法设计或具有较高训练难度的网络，并且还忽略了平坦区域可以用作匹配点候选区域的可能性。在本文中，我们通过结合深度网络的上下文特征来设计基于区域的描述符。新的描述符可以给出一个强大的表示点，即使在平坦的区域。新的描述子不需要极值操作，可以得到更多的高置信度匹配点。实验结果表明，我们提出的方法达到了性能媲美国家的最先进的。
2021-01-26 cs.CV cs.LG eess.IV
Probabilistic Spatial Distribution Prior Based Attentional Keypoints Matching Network
Beihang University（北京航空航天大学）；Zhejiang University of Technology（浙江工业大学）；Institute for Infocomm Research（信息通信研究院）
关键点匹配是图像拼接、视觉同时定位与地图构建（SLAM）等图像相关应用的关键组成部分，目前基于人工智能和新近出现的基于深度学习的关键点匹配方法仅依赖于关键点和局部特征，而忽略了惯性测量单元（IMU）等其他可用传感器。在本文中，我们证明了从IMU集成的运动估计可以用来利用图像之间的关键点的空间分布先验。为此，提出了一种概率视角的注意力公式，将空间分布先验自然地集成到注意力图神经网络中。在空间分布先验的帮助下，可以减少网络对隐藏特征建模的工作量。此外，我们提出了一个投影损失的建议的关键点匹配网络，它提供了一个光滑的边缘之间的匹配和不匹配的关键点。视觉SLAM数据集上的图像匹配实验表明了该方法的有效性和效率。
2021-11-23 cs.CV
SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation In Bin-picking Scenarios
International Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Tencent Robotics X（腾讯Robotics X实验室）
针对料箱抓取中对称物体和域差距导致的6D姿态估计精度问题，提出SD-Net，通过对称感知关键点预测和自训练域自适应，在公开数据集上达到96%平均精度并超越现有方法8%。
2024-03-14 cs.AI cs.CV
Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters
Imperial College London（帝国理工学院）；Computer Vision Center（计算机视觉中心）；Arraiy, Inc.（Arraiy公司）
我们介绍了一种新的方法，关键点检测任务，结合了手工制作和学习CNN过滤器在一个浅的多尺度架构。手工制作的过滤器为学习的过滤器提供锚结构，这些过滤器对可重复的特征进行定位、评分和排名。在网络中使用尺度空间表示来提取不同级别的关键点。我们设计了一个损失函数来检测存在于一系列尺度上的鲁棒特征，并最大化可重复性得分。我们的Key.Net模型基于ImageNet综合创建的数据进行训练，并在HPatches基准上进行评估。结果表明，我们的方法优于国家的最先进的检测器的可重复性，匹配性能和复杂性。
2019-10-12 cs.CV
Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network
本文提出 MaKeGNN，通过采样可匹配关键点并以其为消息瓶颈构建稀疏注意力图神经网络，在提升特征匹配精度的同时显著降低计算和内存开销。
2023-07-04 cs.CV
Keypoint-Aligned Embeddings for Image Retrieval and Re-identification
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
学习嵌入对象的姿态不变是至关重要的视觉图像检索和重新识别。现有的方法的人，车辆，或动物的重新识别任务遭受高类内的变化，由于可变形的形状和不同的相机的观点。为了克服这一限制，我们建议将图像嵌入与预定义的关键点顺序对齐。提出的关键点对齐嵌入模型（KAE-Net）通过关键点位置指导的多任务学习来学习部分级特征。更具体地说，KAE-Net通过学习该关键点的热图重建辅助任务，从由特定关键点激活的特征图中提取通道。KAE-Net结构紧凑，通用，概念简单。它在CUB-200-2011，Cars 196和VeRi-776的基准数据集上实现了最先进的性能，用于检索和重新识别任务。
2020-08-26 cs.CV
Neural Outlier Rejection for Self-Supervised Keypoint Learning
Toyota Research Institute (TRI)（丰田研究院（TRI））；KTH Royal Institute of Technology（KTH皇家理工学院）
识别图像中的显著点是视觉里程计、运动恢复结构或SLAM算法的关键组成部分。最近，几个学习的关键点方法在具有挑战性的基准测试中表现出令人信服的性能。然而，生成一致和准确的训练数据的兴趣点检测在自然图像中仍然是具有挑战性的，特别是对人类注释。我们介绍IO-Net（即InlierOutlierNet），一种新的代理任务，用于关键点检测，描述和匹配的自我监督。通过在关键点学习框架内使点对对应的内点-离群点集的采样完全可微，我们证明了能够同时自我监督关键点描述和改进关键点匹配。其次，我们介绍了KeypointNet，一个关键点网络架构，特别适合强大的关键点检测和描述。我们设计的网络允许局部关键点聚合，以避免由于通常用于此任务的空间离散化而产生的伪影，并且我们通过利用有效的子像素卷积来提高细粒度关键点描述符的性能，以将描述符特征映射上采样到更高的操作分辨率。通过大量的实验和烧蚀分析，我们表明，所提出的自监督关键点学习方法大大提高了具有挑战性的基准测试的特征匹配和单应性估计的质量。
2019-12-23 cs.CV cs.RO
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge（剑桥大学）；Indian Institute of Science（印度科学理工学院）
伪装人脸识别（DFI）是一个极具挑战性的问题，因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架，首先检测14个面部关键点，然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集，因此引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较，验证了该方法的有效性。
2017-08-30 cs.CV
3D Keypoint Detection Based on Deep Neural Network with Sparse Autoencoder
University of Electronic Science and Technology of China（电子科技大学）
在过去的几十年里，研究人员提出了各种从三维网格模型表面提取三维关键点的方法，但大多数都是基于几何方法，缺乏足够的灵活性来满足各种应用的要求。在本文中，我们提出了一种基于深度学习的新方法，通过将3D关键点检测公式化为回归问题，使用具有稀疏自动编码器（SAE）的深度神经网络（DNN）作为我们的回归模型。该方法充分利用三维网格模型在多尺度空间中的局部信息和全局信息，检测顶点是否为关键点。SAE能有效地提取这两类信息的内部结构，并为它们制定高层特征，这对回归模型是有利的。三个SAE用于制定DNN的隐藏层，然后训练逻辑回归层以处理第三个SAE中产生的高级特征。数值实验表明，所提出的基于DNN的3D关键点检测算法优于当前五种最先进的方法，用于各种3D网格模型。
2016-04-30 cs.CV
Attend and Guide (AG-Net): A Keypoints-driven Attention-based Deep Network for Image Recognition
Edge Hill University（边山大学）
本文提出了一种新的基于关键点的注意力机制用于静止图像的视觉识别。深度卷积神经网络（CNN）用于识别具有独特类别的图像已经取得了巨大的成功，但它们在区分细粒度变化方面的性能并不处于同一水平。我们通过提出一个端到端的CNN模型来解决这个问题，该模型使用我们新颖的注意力机制来学习链接细粒度变化的有意义的特征。它通过识别图像中的语义区域及其空间分布来捕捉图像中的空间结构，被证明是模拟图像中细微变化的关键。我们通过对给定图像中检测到的关键点进行分组来自动识别这些SR。这些SR对图像识别的“有用性”是使用我们的创新注意力机制来测量的，该机制专注于与给定任务最相关的图像部分。该框架适用于传统的细粒度图像识别任务，并且不需要手动注释区域（例如，身体部位，对象等的边界框）。用于学习和预测。此外，所提出的关键点驱动的注意力机制可以很容易地集成到现有的CNN模型。该框架在六个不同的基准数据集上进行了评估。该模型使用分心驾驶员V1（Acc：3.39%），分心驾驶员V2（Acc：6.58%），斯坦福-40动作（mAP：2.15%），演奏乐器的人（mAP：16.05%），食物-101（Acc：6.30%）和加州理工学院-256（Acc：2.59%）数据集，以相当大的幅度优于最先进的方法。
2021-10-23 cs.AI cs.CV cs.LG
GoalieNet: A Multi-Stage Network for Joint Goalie, Equipment, and Net Pose Estimation in Ice Hockey
University of Waterloo（滑铁卢大学）
本文提出多阶段深度神经网络GoalieNet，用于联合估计冰球中守门员、装备及球网的姿态，在NHL基准数据上29个关键点平均准确率达84%，证明了该联合估计方法的有效性。
2023-06-28 cs.CV cs.LG
GKNet: grasp keypoint network for grasp candidates detection
Georgia Institute of Technology（佐治亚理工学院）
当代抓取检测方法采用深度学习来实现对传感器和对象模型不确定性的鲁棒性。这两种主要的方法设计要么抓取质量评分或锚为基础的把握识别网络。本文提出了一种不同的方法来抓住检测，通过处理它在图像空间中的关键点检测。深度网络将每个抓取候选检测为一对关键点，可转换为抓取表示g = {x，y，w，θ} T，而不是角点的三元组或四元组。通过将关键点分组成对来降低检测难度，从而提高性能。为了促进捕获关键点之间的依赖关系，将非本地模块并入网络设计中。基于离散和连续方向预测的最终过滤策略去除了错误的对应关系，并进一步提高了抓取检测性能。GKNet，这里提出的方法，在Cornell和简化的Jobserver数据集上实现了准确性和速度之间的良好平衡（在41.67和23.26 fps下分别为96.9%和98.39%）。后续实验的机械手评估GKNet使用4种类型的抓取实验，反映不同的滋扰源：静态抓取，动态抓取，抓取在不同的相机角度，和箱子采摘。GKNet在静态和动态抓取实验中优于参考基线，同时对不同的相机视角和适度的混乱表现出鲁棒性。结果证实了这一假设，即把握关键点是一个有效的输出表示深把握网络，提供鲁棒性预期的滋扰因素。
2021-12-15 cs.CV cs.RO
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）；Google Inc.（谷歌公司）；Cornell University（康奈尔大学）
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型，以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估，我们考虑来自COCO的所有那些图像，其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来，我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明，在不同的交集超过联合（IOU）阈值，在一个约束环境中与甲骨文关键点，实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中，在没有oracle关键点的情况下，所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Multi-Scale Structure-Aware Network for Human Pose Estimation
University of Chinese Academy of Sciences（中国科学院大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
我们开发了一个强大的多尺度结构感知神经网络的人体姿态估计。这种方法改进了最近的深度conv-decov沙漏模型，有四个关键改进：（1）多尺度监督，以通过组合跨尺度的特征热图来加强匹配身体关键点时的上下文特征学习，（2）末端的多尺度回归网络，以全局优化多尺度特征的结构匹配，（3）在中间监督和回归中使用的结构感知损失，以改善关键点和相应邻居的匹配，从而推断更高阶的匹配配置，以及（4）关键点掩蔽训练方案，其可以有效地微调我们的网络以通过相邻匹配鲁棒地定位被遮挡的关键点。我们的方法可以有效地改善国家的最先进的姿态估计方法，遭受困难的规模变化，闭塞，和复杂的多人的情况。这种多尺度监督与回归网络紧密集成，以有效地（i）使用多尺度特征的集合来定位关键点，以及（ii）通过最大化跨多个关键点和尺度的结构性映射来推断全局姿态配置。关键点掩蔽训练增强了这些优势，以将学习集中在硬遮挡样本上。我们的方法在MPII挑战排行榜中处于领先地位。
2018-09-16 cs.CV
Utilizing Radiomic Feature Analysis For Automated MRI Keypoint Detection: Enhancing Graph Applications
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对脑MRI图像中SIFT和LoFTR难以检测一致初始关键点的问题，提出基于影像组学特征的关键点检测方法，并将其作为LK-SuperRetina的真值，进而展示GNN在图像匹配中的优越性能，为扩展GNN应用奠定基础。
2023-11-30 cs.CV eess.IV
Click Here: Human-Localized Keypoints as Guidance for Viewpoint Estimation
University of Michigan（密歇根大学）
我们激励和解决单目视点估计任务的人在回路中的变体，其中一个语义对象关键点的位置和类在测试时可用。为了利用关键点信息，我们设计了一种称为Click-Here CNN（CH-CNN）的卷积神经网络，它将关键点信息与处理图像的层的激活相集成。它将关键点信息转换为2D地图，可用于更重地加权图像某些部分的特征。这些空间特征的加权和与全局图像特征相结合，以向预测层提供相关信息。为了训练我们的网络，我们在数千个CAD模型上收集了一个新的3D关键点注释数据集，并综合渲染了数百万张具有2D关键点信息的图像。在PASCAL 3D+的测试实例中，我们的模型实现了90.7%的平均类准确率，而最先进的基线仅获得了85.7%的平均类准确率，证明了我们对人在回路推理的论点。
2017-08-04 cs.CV
Keypoint Density-based Region Proposal for Fine-Grained Object Detection and Classification using Regions with Convolutional Neural Network Features
Knexus Research Corporation（Knexus研究公司）；University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；Naval Research Laboratory（海军研究实验室）
虽然区域卷积神经网络（CNN）的最新进展使它们在标准目标检测和分类任务上优于传统技术，但它们的响应时间对于实时性能来说仍然很慢。为了解决这个问题，我们提出了一种方法，区域建议作为选择性搜索，这是用于当前国家的最先进的目标检测算法的替代。我们评估我们的关键点密度为基础的区域建议（KDRP）的方法，并表明它加快了100%的细粒度任务的检测和分类与现有的选择性搜索区域建议技术，而不影响分类精度。KDRP使CNN在实时检测和分类中的应用变得可行。
2016-03-01 cs.CV
Human Pose Estimation using Deep Consensus Voting
Weizmann Institute of Science（魏茨曼科学研究所）
在本文中，我们考虑的问题，人体姿态估计从一个单一的静止图像。我们提出了一种新的方法，其中图像中的每个位置使用卷积神经网络为每个关键点的位置投票。投票方案允许我们利用来自整个图像的信息，而不是依赖于稀疏的关键点位置集。使用密集的多目标投票，不仅可以产生良好的关键点预测，还可以通过查看共识投票来计算图像相关的联合关键点概率。这与大多数以前的方法不同，其中联合概率是从相对关键点位置学习的，并且与图像无关。最后，我们结合关键点投票和联合概率，以确定最佳的姿势配置。我们在MPII人体姿势和利兹运动姿势数据集上展示了我们的竞争性能。
2016-03-27 cs.CV cs.LG
Parallel Multi-Scale Networks with Deep Supervision for Hand Keypoint Detection
关键点检测在广泛的应用中起着重要的作用。然而，预测诸如人手之类的小物体的关键点是一个具有挑战性的问题。最近的工作融合了深度卷积神经网络（CNN）的特征图，无论是通过多级特征集成还是多分辨率聚合。尽管取得了一些成功，但特征融合方法增加了CNN的复杂性和不透明性。为了解决这个问题，我们提出了一种名为多尺度深度监督网络（P-MSDSNet）的新型CNN模型，该模型通过深度监督来学习不同尺度的特征图，以产生注意力图，用于从层到层的自适应特征传播。P-MSDSNet具有多阶段架构，使其具有可扩展性，而其具有空间注意力的深度监督提高了每个阶段特征学习的透明度。我们表明，P-MSDSNet在基准数据集上的性能优于最先进的方法，同时需要较少的参数。我们还展示了P-MSDSNet在神经科学研究中量化手指敲击手部运动的应用。
2021-12-19 cs.AI cs.CV
A Dynamic Keypoints Selection Network for 6DoF Pose Estimation
School of Mechanical Engineering, Tianjin University（天津大学机械工程学院）
6自由度位姿估计问题的目的是估计物体世界坐标系和摄像机世界坐标系之间的旋转和平移参数。尽管在深度学习的帮助下取得了一些进展，但如何充分利用场景信息仍然是一个问题。现有的工作通过逐像素特征融合来解决这个问题，但需要从图像中随机选择大量的点，这不能同时满足快速推理和精确位姿估计的要求。在这项工作中，我们提出了一种新的深度神经网络的基础上动态关键点的选择，旨在从一个单一的RGBD图像的6自由度姿态估计。我们的网络包括三个部分，实例语义分割，边缘点检测和6自由度姿态估计。给定一个RGBD图像，我们的网络被训练来预测像素类别以及到边缘点和中心点的平移。然后，采用最小二乘拟合的方法估计出6自由度的位姿参数。具体来说，我们提出了一个动态的关键点选择算法，从前景特征图中选择关键点。它允许我们利用几何和外观信息。在6自由度姿态估计过程中，利用实例语义分割结果滤除背景点，仅利用前景点完成边缘点检测和6自由度姿态估计。在两个常用的6DoF估计基准数据集YCB-Video和LineMoD上的实验表明，我们的方法优于最先进的方法，并且在时间效率上比其他同类方法有了显着的提高。
2021-10-24 cs.CV
LodoNet: A Deep Neural Network with 2D Keypoint Matchingfor 3D LiDAR Odometry Estimation
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Worcester Polytechnic Institute（伍斯特理工学院）
基于深度学习的LiDAR测距（LO）估计在自动驾驶和机器人领域引起了越来越多的研究兴趣。现有的作品连续LiDAR帧作为点云和匹配对在学习的特征空间中的神经网络。相比之下，基于图像的特征提取器的成功的动机，我们建议将LiDAR帧转移到图像空间，并将问题重新表述为图像特征提取。在尺度不变特征变换（SIFT）的帮助下进行特征提取，我们能够生成匹配的关键点对（MKP），可以精确地返回到3D空间。设计了一个卷积神经网络流水线，用于提取MKP估计LiDAR里程。所提出的方案，即LodoNet，然后在KITTI里程估计基准进行评估，达到与最先进的，甚至更好的结果。
2020-09-01 cs.CV
2D Human Pose Estimation with Explicit Anatomical Keypoints Structure Constraints
Shanxi University（山西大学）
目前，人体姿态估计主要集中在如何设计更有效、更好的深层网络结构作为人体特征提取器，而大多数设计的特征提取网络只引入每个解剖关键点的位置来指导其训练过程。然而，我们发现一些人体解剖关键点保持其拓扑不变性，这可以帮助在特征图上检测关键点时更准确地定位它们。针对这一问题，本文提出了一种基于关键点结构约束的二维人体姿态估计方法，该方法引入了拓扑约束项，该约束项由关键点到关键点的距离和方向与丢失对象中的地面真值之差组成。更重要的是，我们提出的模型可以插入到大多数现有的自底向上或自顶向下的人体姿态估计方法，并提高其性能。在基准数据集COCO keypoint数据集上进行的大量实验表明，我们的方法与大多数现有的自底向上和自顶向下的人体姿态估计方法相比表现良好，特别是对于Lite-HRNet，当我们的模型插入其中时，其AP分数在COCO val 2017和test-dev 2017数据集上分别提高了2.9%和3.3%。
2022-12-05 cs.CV
