BKinD-3D: Self-Supervised 3D Keypoint Discovery from Multi-View Videos
Caltech（加州理工学院）；U Washington（华盛顿大学）；Northwestern（西北大学）；SAIT（三星先进技术研究院）
针对多视角行为视频，本文提出BKinD-3D自监督3D关键点发现方法，利用3D体积热图、跨视角时空差异重建和骨架关节长度约束，在无关键点及边界框监督下识别人类与大鼠关键点。
2023-06-02 cs.AI cs.CV
Semi-supervised Keypoint Localization
Queensland University of Technology（昆士兰科技大学）；The University of Queensland（昆士兰大学）
关于图像中的对象的关键点的位置的知识可以帮助细粒度的分类和识别任务，特别是对于在姿态中表现出极大地影响其视觉外观的大变化的对象（诸如野生动物）的情况。然而，关键点检测网络的监督训练需要为每个动物物种注释大型图像数据集，这是一项劳动密集型任务。为了减少对标记数据的需求，我们建议使用一小部分标记图像和一大部分未标记图像，以半监督的方式同时学习关键点热图和姿势不变的关键点表示。关键点表示是通过语义关键点一致性约束来学习的，该约束迫使关键点检测网络学习数据集中相同关键点的相似特征。姿态不变性是通过使图像及其增强副本的关键点表示在特征空间中更靠近来实现的。我们的半监督方法显着优于以前的方法在几个基准的人体和动物的身体地标定位。
2021-01-20 cs.CV
KGNv2: Separating Scale and Pose Prediction for Keypoint-based 6-DoF Grasp Synthesis on RGB-D input
Georgia Institute of Technology（佐治亚理工学院）
针对基于关键点的6自由度抓取合成依赖精准关键点预测的问题，提出KGNv2网络分离位姿与尺度预测并重构关键点输出空间，在RGB-D输入下大幅优于基线，且具备仿真到现实的迁移能力。
2023-05-01 cs.AI cs.CV cs.LG
Self-Supervised Equivariant Learning for Oriented Keypoint Detection
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
从图像中检测鲁棒的关键点是计算机视觉中的一个重要问题，而关键点的特征方向和尺度对关键点的描述和匹配起着重要的作用。现有的基于学习的关键点检测方法依赖于标准的修正等变CNN，但通常无法检测到针对几何变化的可靠关键点。为了学习检测鲁棒的定向关键点，我们引入了一个使用旋转等变CNN的自监督学习框架。我们提出了一个密集的方向对齐损失的图像对生成的合成变换训练基于直方图的方向图。我们的方法优于以前的方法在图像匹配基准和相机姿态估计基准。
2022-04-19 cs.CV
Depth-Guided Self-Supervised Human Keypoint Detection via Cross-Modal Distillation
Queen’s University Ontario Canada（皇后大学）
提出跨模态知识蒸馏框架Distill-DKP，利用深度图指导RGB图像进行自监督人体关键点检测，有效减少背景误检并在多个数据集上显著降低误差。
2025-08-12 cs.AI cs.CV
A Self-supervised Pressure Map human keypoint Detection Approch: Optimizing Generalization and Computational Efficiency Across Datasets
Anhui University（安徽大学）；Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）
针对RGB图像不足场景下的压力图人体关键点提取需求，提出带EFD模型与CRWT方法的自监督SPMKD方案，无需标注即可提升泛化性，且计算效率大幅优于基线。
2024-02-22 cs.AI cs.CV
Keypoints as Dynamic Centroids for Unified Human Pose and Segmentation
Toronto Metropolitan University（多伦多 Metropolitan 大学）；Gachon University（加诚大学）；University of Michigan（密歇根大学）；Hanyang University（汉阳大学）
针对人体动态运动下姿态估计与实例分割的难点，提出基于动态质心的KDC方法，通过自底向上生成热图、引入KeyCentroids及动态质心聚类像素，在多个基准上实现了准确率与性能的提升。
2025-05-17 cs.AI cs.CV
Human Pose Estimation using Deep Consensus Voting
Weizmann Institute of Science（魏茨曼科学研究所）
在本文中，我们考虑的问题，人体姿态估计从一个单一的静止图像。我们提出了一种新的方法，其中图像中的每个位置使用卷积神经网络为每个关键点的位置投票。投票方案允许我们利用来自整个图像的信息，而不是依赖于稀疏的关键点位置集。使用密集的多目标投票，不仅可以产生良好的关键点预测，还可以通过查看共识投票来计算图像相关的联合关键点概率。这与大多数以前的方法不同，其中联合概率是从相对关键点位置学习的，并且与图像无关。最后，我们结合关键点投票和联合概率，以确定最佳的姿势配置。我们在MPII人体姿势和利兹运动姿势数据集上展示了我们的竞争性能。
2016-03-27 cs.CV cs.LG
Self-Constrained Inference Optimization on Structural Groups for Human Pose Estimation
Southern University of Science and Technology（南方科技大学）
我们观察到，由于人体不同部位的生物学约束，人体姿势在关键点之间表现出很强的组间结构相关性和空间耦合性。可以探索这种逐组结构相关性以提高人体姿态估计的准确性和鲁棒性。在这项工作中，我们开发了一个自约束的预测-验证网络来表征和学习训练过程中关键点之间的结构相关性。在推理阶段，来自验证网络的反馈信息允许我们执行姿势预测的进一步优化，这显著提高了人体姿势估计的性能。具体来说，我们根据人体的生物结构将关键点划分为组。在每个组内，关键点被进一步划分为两个子集，高置信度基础关键点和低置信度终端关键点。我们开发了一个自约束的预测验证网络来执行这些关键点子集之间的前向和后向预测。姿态估计以及一般预测任务中的一个基本挑战是，由于地面实况不可用，因此我们没有机制来验证所获得的姿态估计或预测结果是否准确。一旦成功学习，验证网络就充当前向姿态预测的准确度验证模块。在推理阶段，以高置信度关键点的自约束损失为目标函数，指导低置信度关键点姿态估计结果的局部优化。我们在基准MS COCO和CrowdPose数据集上的大量实验结果表明，该方法可以显着改善姿态估计结果。
2022-07-06 cs.AI cs.CV
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research（微软研究院）
典型的自自底向上的【形】人体姿态估计框架包括两个阶段，关键点检测和分组。大多数现有的工作集中于开发分组算法，例如，关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案，很少或不彻底的研究之前，提高关键点检测和分组（关键点回归）的性能。首先，我们利用关键点热图进行逐像素关键点回归，而不是将它们分离以改进关键点回归。其次，我们采用逐像素空间Transformer网络来学习自适应表示，以处理尺度和方向方差，从而进一步提高关键点回归质量。最后，我们提出了一个联合形状和热值评分计划，以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失，我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
Weakly Supervised Keypoint Discovery
California Institute of Technology（加州理工学院）
在本文中，我们提出了一种方法，从一个2D图像的关键点发现使用图像级监督。最近的无监督关键点发现工作可靠地发现对齐实例的关键点。然而，当目标实例具有高视点或外观变化时，所发现的关键点不匹配不同图像上的语义对应。我们的工作旨在发现关键点，即使目标实例具有高的观点和外观变化，通过使用图像级监督。受弱监督学习方法的启发，我们的方法利用图像级监督来识别有区别的部分并推断目标实例的视点。为了发现不同的部分，我们采用了一种有条件的图像生成方法，使用一对结构变形的图像。最后，我们强制执行基于视点的等方差约束，使用图像级监督的关键点，以解决空间相关性问题，始终出现在从各种角度拍摄的图像。我们的方法实现了国家的最先进的性能的关键点估计的任务，在有限的监督情况下。此外，所发现的关键点直接适用于下游任务，而不需要任何关键点标签。
2021-09-28 cs.CV
Detecting Pose Estimation Failures via Keypoint Self-Consistency
本研究提出一组捕捉关键点自一致性的几何特征，训练逻辑回归分类器检测位姿估计失败，性能优于仅依赖关键点不确定性的基于置信度的方法。
2026-08-05 cs.CV
UKPGAN: A General Self-Supervised Keypoint Detector
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
关键点检测是物体配准和对齐的重要组成部分。在这项工作中，我们认为关键点检测是信息压缩，并迫使模型提取出一个对象的无关点。在此基础上，我们提出了UKPGAN，一个通用的自监督3D关键点检测器，检测关键点，使它们能够重建原始对象的形状。提出了两个模块：基于GAN的关键点稀疏控制和显著信息提取模块来定位这些重要的关键点。大量的实验表明，我们的关键点对齐以及人类注释的关键点标签，并可以应用于SMPL人体各种非刚性变形。此外，我们在干净的对象集合上训练的关键点检测器可以很好地推广到现实世界的场景，从而在与现成的点描述符相结合时进一步提高几何配准。重复性实验表明，我们的模型是稳定的刚性和非刚性变换下，与本地参考系估计。我们的代码可以在https://github.com/qq456cvb/UKPGAN上找到。
2022-03-09 cs.CV
AutoLink: Self-supervised Learning of Human Skeletons and Object Outlines by Linking Keypoints
University of British Columbia（不列颠哥伦比亚大学）
关键点等结构化表示广泛应用于姿态转换、条件图像生成、动画和3D重建。然而，它们的监督学习需要对每个目标域进行昂贵的注释。我们提出了一种自监督方法，该方法通过由直边连接的2D关键点图来学习从外观中解开对象结构。关键点位置和它们的成对边缘权重都是学习的，只给出描绘相同对象类的图像集合。生成的图形是可解释的，例如，AutoLink在应用于显示人物的图像时恢复人体骨架拓扑。我们的关键成分是i）预测输入图像中关键点位置的编码器，ii）作为潜在变量的共享图，其链接每个图像中相同的关键点对，iii）中间边缘图，其以软的、可区分的方式组合潜在图边缘权重和关键点位置，以及iv）随机掩蔽图像上的修复目标。虽然更简单，但AutoLink在已建立的关键点和姿态估计基准上优于现有的自监督方法，并为更多样化数据集上的结构条件生成模型铺平了道路。项目网址：https://xingzhehe.github.io/autolink/。
2023-03-23 cs.CV
Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation
National University of Singapore（新加坡国立大学）
用于6D对象姿态估计的现有技术方法需要大量标记数据来训练深度网络。然而，6D对象姿态标注的获取是大量繁琐且劳动密集的。为了缓解这个问题，我们提出了一个弱监督的6D对象姿态估计方法的基础上2D关键点检测。我们的方法只在视点之间具有已知相对变换的图像对上训练。具体来说，我们分配一组任意选择的3D关键点来表示每个未知的目标3D对象，并学习一个网络来检测它们符合相对相机视点的2D投影。在推理过程中，我们的网络首先从查询图像和给定的标记参考图像中推断出2D关键点。然后，我们使用这些2D关键点和从训练中保留的任意选择的3D关键点来推断6D对象姿势。大量的实验表明，我们的方法实现了与最先进的完全监督的方法相当的性能。
2022-03-07 cs.CV
MONET: Multiview Semi-supervised Keypoint Detection via Epipolar Divergence
University of Minnesota（明尼苏达大学）
本文介绍了MONET -一个端到端的半监督学习框架的关键点检测器使用多视图图像流。特别是，我们考虑一般的主题，如非人类物种，获得大规模的注释数据集是具有挑战性的。虽然多视图几何可以用于自监督未标记的数据，但由于表示不匹配，将几何集成到学习关键点检测器中是具有挑战性的。我们通过制定一个新的微分表示的极线约束称为极线发散-广义距离从极线到相应的关键点分布，解决这种不匹配。核线发散表征了两个视图关键点分布产生零重投影误差的情况。我们设计了一个孪生网络，通过立体声整流，可以显着减轻计算复杂性和采样混叠训练中的极线发散最小化。我们证明了我们的框架可以本地化不同物种的定制关键点，例如，人类、狗和猴子。
2019-08-17 cs.CV
Keypoint Based Weakly Supervised Human Parsing
Nanyang Technological University（南洋理工大学）
近年来，全卷积网络（FCN）在人类解析中取得了巨大的成功。在传统的人工解析任务中，需要像素级标记来指导训练，这通常涉及巨大的人工标记工作。为了减轻标记工作，我们提出了一种新的弱监督人类解析方法，它只需要简单的对象关键点注释进行学习。我们开发了一种迭代学习方法来从关键点标签生成伪零件分割掩模。有了这些伪掩码，我们训练一个FCN网络来输出像素级的人类解析预测。此外，我们开发了一个相关性网络来执行联合预测的部分和对象分割掩模，提高分割性能。实验结果表明，我们的弱监督方法能够实现非常有竞争力的人类句法分析结果。尽管我们的方法只使用简单的关键点注释进行学习，但我们能够实现与使用昂贵的像素级注释的完全监督方法相当的性能。
2018-09-14 cs.CV
SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation In Bin-picking Scenarios
International Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Tencent Robotics X（腾讯Robotics X实验室）
针对料箱抓取中对称物体和域差距导致的6D姿态估计精度问题，提出SD-Net，通过对称感知关键点预测和自训练域自适应，在公开数据集上达到96%平均精度并超越现有方法8%。
2024-03-14 cs.AI cs.CV
Ki-Pode: Keypoint-based Implicit Pose Distribution Estimation of Rigid Objects
刚体的6维位姿估计是计算机视觉中的一个基本问题。传统上，姿态估计涉及单个最佳估计的确定。然而，一个单一的估计是无法表达的视觉模糊，这在许多情况下是不可避免的，由于对象的对称性或遮挡的识别功能。不能考虑姿态中的模糊性可能导致后续方法的失败，这在失败成本高时是不可接受的。完整的姿态分布的估计，相反，单一的估计，非常适合表达的姿态不确定性。受此启发，我们提出了一种新的姿态分布估计方法。一个隐式公式的概率分布的对象姿态是来自一个中间表示的对象作为一组关键点。这确保姿态分布估计具有高水平的可解释性。此外，我们的方法是基于保守的近似，这导致可靠的估计。该方法已被评估的YCB-V和T-LESS数据集上的旋转分布估计的任务，并在所有对象上可靠地执行。
2022-09-20 cs.AI cs.CV cs.LG
Keypoint Communities
EPFL（洛桑联邦理工学院）
我们提出了一种快速的自下而上的方法，联合检测超过100个关键点的人或物体，也被称为人/物体姿态估计。我们将属于人类或物体的所有关键点（姿势）建模为图形，并利用来自社区发现的见解来量化关键点的独立性。我们使用图中心性度量来为姿势的不同部分分配训练权重。我们提出的度量量化了关键点与其邻域的连接程度。我们的实验表明，我们的方法优于所有以前的方法，人类姿态估计与细粒度的关键点注释的脸，手和脚，共133个关键点。我们还表明，我们的方法推广到汽车构成。
2021-10-03 cs.CV
KDFNet: Learning Keypoint Distance Field for 6D Object Pose Estimation
Carnegie Mellon University（卡内基梅隆大学）；Robotics Institute（机器人研究所）
我们提出了KDFNet，一种从RGB图像中估计6D对象姿态的新方法。为了处理遮挡，最近的许多工作已经提出通过逐像素投票来定位2D关键点，并解决用于姿态估计的透视n点（Pestive-n-Point，Pestive-n-Point）问题，这实现了领先的性能。然而，这样的投票过程是基于方向的，不能处理长而薄的对象的方向交点不能鲁棒地找到。为了解决这个问题，我们提出了一种新的连续表示称为关键点距离场（KDF）的投影2D关键点位置。KDF的每个元素被公式化为2D数组，存储相应图像像素与指定投影的2D关键点之间的2D欧几里得距离。我们使用完全卷积神经网络来回归每个关键点的KDF。使用这种投影对象关键点位置的KDF编码，我们建议使用基于距离的投票方案，通过以RANSAC方式计算圆交点来定位关键点。我们通过广泛的消融实验验证了我们框架的设计选择。我们提出的方法在闭塞LINEMOD数据集上实现了最先进的性能，平均ADD（-S）准确率为50.3%，在TOD数据集马克杯子集上实现了平均ADD准确率为75.72%。大量的实验和可视化结果表明，该方法能够鲁棒地估计6D姿态在具有挑战性的场景，包括遮挡。
2021-09-21 cs.CV cs.LG cs.RO
15 Keypoints Is All You Need
Brown University（布朗大学）；NEC Labs America（美国电气股份有限公司实验室）
姿态跟踪是一个重要的问题，它需要识别独特的人类姿态实例，并在视频的不同帧之间进行时间匹配。然而，现有的姿态跟踪方法无法准确地建模时间关系，并需要大量的计算，通常离线计算的轨迹。本文提出了一种有效的多人姿态跟踪方法KeyTrack，该方法仅依赖于关键点信息，而不使用任何RGB或光流信息来实时跟踪人体关键点。使用我们的姿势蕴涵方法跟踪关键点，其中，首先，从视频中的不同帧中采样一对姿势估计并标记。然后，基于变换器的网络对一个姿势是否在时间上跟随另一个姿势进行二进制分类。此外，我们改进了自上而下的姿态估计方法，采用了一种新的无参数关键点细化技术，该技术改进了在姿态蕴涵步骤中使用的关键点估计。我们在PoseTrack '17和PoseTrack' 18基准测试中获得了最先进的结果，同时仅使用大多数其他方法计算跟踪信息所需的一小部分计算。
2020-03-13 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
Semi-Supervised Keypoint Detector and Descriptor for Retinal Image Matching
Renmin University of China（中国人民大学）；Visionary Intelligence Ltd（远见智能有限公司）；Tongren Hospital（同仁医院）
对于视网膜图像匹配（RIM），我们提出了SuperRetina，这是第一个具有联合可训练关键点检测器和描述符的端到端方法。SuperRetina以一种新颖的半监督方式进行训练。一小组（近100个）图像被不完全标记，并用于监督网络检测血管树上的关键点。为了解决手动标记的不完整性，我们提出了渐进式关键点扩展来丰富每个训练时期的关键点标签。通过利用基于关键点的改进的三元组损失作为其描述损失，SuperRetina在全输入图像尺寸下产生高度区分的描述符。在多个真实世界数据集上进行的大量实验证明了SuperRetina的可行性。即使手动标注被自动标注取代，从而使训练过程完全不需要手动标注，SuperRetina在两个RIM任务（即图像配准和身份验证）中与许多强大的基线相比也毫不逊色。SuperRetina是开源的。
2022-07-16 cs.CV
Self-Supervised Keypoint Discovery in Behavioral Videos
Caltech（加州理工学院）；Samsung Advanced Institute of Technology（三星先进技术研究院）；Northwestern University（西北大学）；Argo AI
我们提出了一种方法来学习的姿势和结构的代理从未标记的行为视频。从观察行为代理通常是行为视频中运动的主要来源开始，我们的方法，行为关键点发现（B-KinD），使用具有几何瓶颈的编码器-解码器架构来重建视频帧之间的时空差异。通过只关注运动区域，我们的方法直接在输入视频上工作，而不需要手动注释。在各种代理类型（小鼠，苍蝇，人类，水母和树木）上的实验证明了我们方法的通用性，并揭示了我们发现的关键点代表了语义上有意义的身体部位，在自监督方法中实现了关键点回归的最新性能。此外，B-KinD在下游任务（如行为分类）上实现了与监督关键点相当的性能，这表明我们的方法可以大大降低模型训练成本。
2022-04-27 cs.CV
KGpose: Keypoint-Graph Driven End-to-End Multi-Object 6D Pose Estimation via Point-Wise Pose Voting
Sogang University（西江大学）
本研究提出KGpose端到端多目标6D姿态估计框架，结合关键点法与图卷积嵌入实现逐点姿态回归投票，无需额外定位步骤，在基准数据集上取得有竞争力的结果，适用于机器人复杂场景几何理解。
2024-07-12 cs.CV cs.RO
Towards Keypoint Guided Self-Supervised Depth Estimation
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Yamagata University, Faculty of Science（山形大学理学部）
本文提出使用关键点作为自我监督线索，从输入图像的集合中学习深度图估计。由于难以从真实图像获得地面真实深度，因此已经提出了许多无监督和自监督的深度估计方法。这些无监督方法中的大多数使用深度图和自我运动估计来将来自当前图像的像素重新投影到来自图像集合的相邻图像中。深度和自我运动估计的基础上评估相应的原始和重新投影像素之间的像素强度差。我们建议首先在两幅图像中选择图像关键点，然后重新投影并比较两幅图像的对应关键点，而不是重新投影单个像素。关键点应该很好地描述了独特的图像特征。通过学习具有和不具有关键点提取技术的深度模型，我们表明使用关键点改进了深度估计学习。我们还提出了一些未来的方向，为关键点引导的学习结构从运动的问题。
2020-11-05 cs.CV
LMPNet for Weakly-supervised Keypoint Discovery
Brigham Young University（Brigham Young 大学）
本文提出LMPNet，通过leaky max pooling层将判别式滤波器转化为关键点检测器，结合注意力掩蔽和可学习聚类，实现仅用类别标签的弱监督语义关键点发现，性能可比肩有监督姿态估计模型。
2025-07-03 cs.CV
Neural Outlier Rejection for Self-Supervised Keypoint Learning
Toyota Research Institute (TRI)（丰田研究院（TRI））；KTH Royal Institute of Technology（KTH皇家理工学院）
识别图像中的显著点是视觉里程计、运动恢复结构或SLAM算法的关键组成部分。最近，几个学习的关键点方法在具有挑战性的基准测试中表现出令人信服的性能。然而，生成一致和准确的训练数据的兴趣点检测在自然图像中仍然是具有挑战性的，特别是对人类注释。我们介绍IO-Net（即InlierOutlierNet），一种新的代理任务，用于关键点检测，描述和匹配的自我监督。通过在关键点学习框架内使点对对应的内点-离群点集的采样完全可微，我们证明了能够同时自我监督关键点描述和改进关键点匹配。其次，我们介绍了KeypointNet，一个关键点网络架构，特别适合强大的关键点检测和描述。我们设计的网络允许局部关键点聚合，以避免由于通常用于此任务的空间离散化而产生的伪影，并且我们通过利用有效的子像素卷积来提高细粒度关键点描述符的性能，以将描述符特征映射上采样到更高的操作分辨率。通过大量的实验和烧蚀分析，我们表明，所提出的自监督关键点学习方法大大提高了具有挑战性的基准测试的特征匹配和单应性估计的质量。
2019-12-23 cs.CV cs.RO
Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression
University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft（微软）
在本文中，我们感兴趣的是自自底向上的【形】的范式估计人体姿势的图像。我们研究了密集的关键点回归框架，这是以前不如关键点检测和分组框架。我们的动机是准确地回归关键点位置需要学习关注关键点区域的表示。我们提出了一个简单而有效的方法，命名为解开关键点回归（DEKR）。我们采用自适应卷积通过逐像素空间Transformer激活关键点区域中的像素，并相应地从它们学习表示。我们使用多分支结构进行单独的回归：每个分支学习一个具有专用自适应卷积的表示，并回归一个关键点。所得到的解纠缠表示能够分别关注关键点区域，并且因此关键点回归在空间上更准确。我们的经验表明，所提出的直接回归方法优于关键点检测和分组方法，并在两个基准数据集COCO和CrowdPose上实现了优越的自自底向上的【形】的姿势估计结果。代码和模型可在https://github.com/HRNet/DEKR上获得。
2021-04-06 cs.CV
A Self-Supervised Method for Body Part Segmentation and Keypoint Detection of Rat Images
Eötvös Loránd University（厄特沃什·罗兰大学）
针对大鼠行为分析中人工标注成本高的问题，提出先用计算机视觉生成初始标注、再经大量增强训练深度网络的自监督方法，实现严重遮挡下的实例分割、关键点检测和身体部位分割。
2024-05-07 cs.AI cs.CV
Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning
Vidyasirimedhi Institute of Science and Technology（维迪亚西里梅迪科学技术学院）；Google AI（谷歌人工智能）
本文介绍了KeypointNet，这是一个端到端的几何推理框架，用于学习特定于类别的3D关键点及其检测器的最佳集合。给定单个图像，KeypointNet提取针对下游任务优化的3D关键点。我们证明了这个框架上的3D姿态估计提出了一个可区分的目标，寻求最佳的关键点集恢复对象的两个视图之间的相对姿态。我们的模型发现几何和语义上一致的关键点跨视角和对象类别的实例。重要的是，我们发现，我们的端到端框架使用没有地面实况关键点注释优于完全监督基线使用相同的神经网络架构的任务姿势估计。在ShapeNet的汽车、椅子和飞机类别上发现的3D关键点在http://keypointnet.github.io/上可视化。
2018-11-23 cs.CV cs.LG stat.ML
GKNet: Graph-based Keypoints Network for Monocular Pose Estimation of Non-cooperative Spacecraft
Department of Control Science and Engineering, Harbin Institute of Technology（控制科学与工程系，哈尔滨工业大学）；China Academy of Space Technology（中国空间技术研究院）
提出基于图的关键点网络GKNet，利用关键点图的几何约束解决非合作航天器单目位姿估计中结构对称和部分遮挡问题，并构建了含3个目标9万张图像的SKD数据集，实验证明其高精度和有效性。
2025-07-15 cs.CV
PONet: Robust 3D Human Pose Estimation via Learning Orientations Only
传统的3D人体姿态估计依赖于首先检测2D身体关键点，然后解决2D到3D的对应问题。尽管结果很有希望，但这种学习范式高度依赖于2D关键点检测器的质量，这不可避免地容易受到遮挡和图像外缺失的影响。在本文中，我们提出了一种新的姿态方向网络（PONet），它能够鲁棒地估计3D姿态，通过学习方向，从而绕过容易出错的关键点检测器，在缺乏图像证据。对于部分不可见肢体的图像，PONet通过利用局部图像证据来估计这些肢体的3D方位，以恢复3D姿态。此外，PONet能够通过利用可见肢体之间的方位相关性来补充估计的姿态，从而即使从完全不可见肢体的图像中也能够推断出完整的3D姿态，我们在多个数据集上对我们的方法进行了评估，包括Human3.6M，MPII，MPI-INF-3DHP和3DPW。我们的方法在理想环境中实现了与最先进技术相当的结果，但显着消除了对关键点检测器的依赖性和相应的计算负担。在高度挑战性的情况下，如截断和擦除，我们的方法表现非常稳健，并产生更优越的结果相比，最先进的，展示了其在现实世界中的应用潜力。
2021-12-21 cs.AI cs.CV cs.LG
2D Human Pose Estimation with Explicit Anatomical Keypoints Structure Constraints
Shanxi University（山西大学）
目前，人体姿态估计主要集中在如何设计更有效、更好的深层网络结构作为人体特征提取器，而大多数设计的特征提取网络只引入每个解剖关键点的位置来指导其训练过程。然而，我们发现一些人体解剖关键点保持其拓扑不变性，这可以帮助在特征图上检测关键点时更准确地定位它们。针对这一问题，本文提出了一种基于关键点结构约束的二维人体姿态估计方法，该方法引入了拓扑约束项，该约束项由关键点到关键点的距离和方向与丢失对象中的地面真值之差组成。更重要的是，我们提出的模型可以插入到大多数现有的自底向上或自顶向下的人体姿态估计方法，并提高其性能。在基准数据集COCO keypoint数据集上进行的大量实验表明，我们的方法与大多数现有的自底向上和自顶向下的人体姿态估计方法相比表现良好，特别是对于Lite-HRNet，当我们的模型插入其中时，其AP分数在COCO val 2017和test-dev 2017数据集上分别提高了2.9%和3.3%。
2022-12-05 cs.CV
YOLOPose: Transformer-based Multi-Object 6D Pose Estimation using Keypoint Regression
University of Bonn（波恩大学）
6D物体位姿估计是自主机器人操作应用的重要前提。用于姿态估计的现有技术模型是基于卷积神经网络（CNN）的。最近，最初为自然语言处理提出的架构Transformers也在许多计算机视觉任务中取得了最先进的成果。配备有多头自注意力机制，Transformers实现简单的单级端到端架构，用于联合学习目标检测和6D对象姿态估计。在这项工作中，我们提出了YOLOPose（You Only Look Once Pose Estimation的缩写），这是一种基于关键点回归的基于变换器的多对象6D姿态估计方法。与用于预测图像中关键点的标准热图相比，我们直接回归关键点。此外，我们采用了一个可学习的方向估计模块来预测的关键点的方向。与单独的翻译估计模块一起，我们的模型是端到端可微的。我们的方法适用于实时应用，并取得了与最先进的方法相当的结果。
2022-05-05 cs.CV
X-Pose: Detecting Any Keypoints
IDEA；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
X-Pose提出端到端多模态提示框架，结合UniKPT数据集，实现任意物体多关键点检测，显著优于现有方法。
2024-07-17 cs.CV
Object Pose Estimation with Statistical Guarantees: Conformal Keypoint Detection and Geometric Uncertainty Propagation
NVIDIA Research（英伟达研究院）
两阶段对象姿态估计范例首先检测图像上的语义关键点，然后通过最小化重投影误差来估计6D姿态。尽管在标准基准上表现良好，但现有技术对估计的质量和不确定性没有提供可证明的保证。在本文中，我们将两个根本性变化（即共形关键点检测和几何不确定性传播）注入到两阶段范式中，并提出了第一个姿态估计器，该估计器赋予估计可证明和可计算的最坏情况误差界。一方面，共形关键点检测应用归纳共形预测的统计机制来将启发式关键点检测转换成圆形或椭圆形预测集，其以用户指定的边际概率（例如，90%）。另一方面，几何不确定性传播将关键点上的几何约束传播到6D对象姿态，从而产生保证以相同概率覆盖地面实况姿态的姿态不确定性SET（PURSE）。然而，PURSE是一个非凸集，不会直接导致估计的姿势和不确定性。因此，我们开发了随机样本平均（RANSAG）来计算平均姿态，并将半定松弛应用于平均姿态和地面实况之间的最坏情况误差的上限。在LineMOD Occlusion数据集上，我们证明了：（i）PURSE覆盖了具有有效概率的地面实况;（ii）最坏情况下的误差范围提供了正确的不确定性量化;以及（iii）平均姿态实现了更好或类似的精度，作为基于稀疏关键点的代表性方法。
2023-03-22 cs.CV cs.RO
Estimating 6D Pose From Localizing Designated Surface Keypoints
在本文中，我们提出了一个准确而有效的解决方案，从RGB图像的6D姿态估计。我们的方法的核心是，我们首先指定一组表面点的目标对象模型作为关键点，然后训练一个关键点检测器（KPD）定位他们。最后利用关键点的2D-3D关系，采用Pestrian算法恢复出6D姿态。与最近最先进的基于CNN的方法不同，这些方法依赖于耗时的后处理过程，我们的方法可以在姿态预测后无需任何改进即可实现具有竞争力的准确性。与此同时，我们得到了30%的相对改善的ADD精度之间的方法，而不使用细化。此外，我们通过选择最有信心的关键点来恢复6D姿态，成功地处理了严重的遮挡。为了可重复性，我们将很快公开我们的代码和模型。
2018-12-04 cs.CV cs.GR
Semi-supervised 2D Human Pose Estimation via Adaptive Keypoint Masking
Beijing University of Chemical Technology（北京化工大学）
本文提出一种自适应关键点掩蔽方法及双分支数据增强方案，通过挖掘样本信息并在样本与特征层面执行Mixup，有效提升了半监督2D人体姿态估计的准确性与泛化能力。
2024-04-23 cs.CV
Keypoint Cascade Voting for Point Cloud Based 6DoF Pose Estimation
Queen’s University（女王大学）
提出了一种新的关键点投票6自由度物体姿态估计方法，该方法以无RGB信息的纯无序点云几何作为输入。所提出的级联关键点投票方法，称为RCVPose 3D，是基于一种新的架构，分离的语义分割的关键点回归的任务，从而增加了两者的有效性，提高了最终的性能。该方法还引入了一个成对的约束，在不同的关键点之间的损失函数回归的关键点估计的数量时，这是有效的，以及一个新的选民信心分数，提高了学习和推理阶段。我们提出的RCVPose 3D在Occlusion LINEMOD（74.5%）和YCB-Video（96.9%）数据集上实现了最先进的性能，优于现有的纯RGB和基于RGB-D的方法，并且与RGB加点云方法竞争。
2022-10-14 cs.CV
SelfGeo: Self-supervised and Geodesic-consistent Estimation of Keypoints on Deformable Shapes
Italian Institute of Technology（意大利技术研究院）；Ca’ Foscari University of Venice（威尼斯大学）
本文提出自监督方法SelfGeo，通过约束关键点随非刚性形状变形并保持相互间测地线距离恒定，从任意点云生成语义一致的3D关键点。
2024-08-05 cs.CV
From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models
本研究针对YOLO-Pose模型未量化空间不确定性的问题，提出轻量级事后概率扩展方法，结合校准诊断与AKP的评估协议，经COCO实验验证其在关键点可靠性排序等任务中有效，并在飞机着陆场景得到应用。
2026-07-30 cs.CV
KPE: Keypoint Pose Encoding for Transformer-based Image Generation
University of Surrey（萨里大学）
Transformers最近被证明可以从文本输入生成高质量的图像。然而，现有的使用骨架图像标记的姿态调节方法在计算上是低效的并且生成低质量的图像。因此，我们提出了一种新的方法;关键点姿势编码（KPE）; KPE的内存效率提高了10倍，并且在从以姿势为条件的文本输入生成高质量图像时速度提高了73%以上。姿态约束提高了图像质量，并减少了身体四肢（如手臂和腿）上的误差。额外的好处包括对目标图像域和图像分辨率的变化的不变性，使其易于扩展到更高分辨率的图像。我们通过从DeepFashion数据集生成逼真的多人图像来展示KPE的多功能性。我们还介绍了一种评价方法人数错误（PCE），这是有效的检测错误生成的人体图像。
2022-10-06 cs.AI cs.CL cs.CV
Instance-Adaptive Keypoint Learning with Local-to-Global Geometric Aggregation for Category-Level Object Pose Estimation
Wuhan Institute of Technology（武汉理工大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
INKL-Pose通过实例自适应关键点学习与局部到全局几何聚合，实现类别级物体姿态估计的高精度与高效性。
2025-12-14 cs.CV
Greedy Offset-Guided Keypoint Grouping for Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院合肥智能机械研究所）
我们提出了一个简单而可靠的自下而上的方法，在准确性和效率之间取得了很好的平衡，多人姿态估计的问题。给定一幅图像，我们采用沙漏网络来不加区别地推断来自不同人的所有关键点以及连接属于相同人的相邻关键点的引导偏移。然后，我们利用预测的引导偏移将候选关键点粗略地分组为多个人类姿势（如果有的话）。我们将此过程称为贪婪偏移引导关键点分组（GOG）。此外，我们重新审视的编码-解码方法的多人的关键点坐标，并揭示了一些重要的因素影响精度。实验表明，引入的组件带来了明显的性能改善。在公平的条件下，我们的方法可以与具有挑战性的COCO数据集上的最新技术相媲美。源代码和我们的预训练模型可在网上公开获取。
2021-09-06 cs.CV
Object Pose Estimation from Monocular Image using Multi-View Keypoint Correspondence
Indian Institute of Science（印度科学学院）
了解2D图像中对象的几何形状和姿态对于广泛的现实世界应用来说是一个基本的必要条件。在深度神经网络的驱动下，最近的方法为物体姿态估计带来了显著的改进。然而，由于缺乏关键点/姿态标注的真实图像，因此它们无法有效地利用对象的3D结构信息。在这项工作中，我们提出了一种数据高效的方法，利用类内对象的几何规则性的姿态估计。首先，我们从简单的2D RGB图像中学习物体部分的姿态不变局部描述符。这些描述符，以及从固定的3D模板模型的渲染获得的关键点，然后用于生成给定的单眼真实图像的关键点对应图。最后，姿态估计网络使用这些对应映射来预测对象的3D姿态。该流水线被进一步扩展到多视图方法，该方法从3D模板模型的多个视图生成的对应集合中吸收关键点信息。多视角信息的融合显著提高了系统的几何理解能力，从而提高了姿态估计性能。此外，使用对应框架负责姿势不变的关键点描述符的学习也允许我们有效地缓解数据稀缺问题。这使我们的方法能够在多个真实图像视点估计数据集上实现最先进的性能，例如Pascal 3D+和ObjectNet 3D。为了鼓励可重复的研究，我们已经发布了我们提出的方法的代码。
2018-09-03 cs.CV
Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization
SenseTime Research and Tetras.AI（商汤科技研究与Tetras.AI）；The University of Hong Kong（香港大学）；The University of Sydney（悉尼大学）
物体关键点的定位是一个基本的视觉问题。然而，关键点定位网络的监督学习通常需要大量的数据，这是昂贵且耗时的。为了解决这个问题，人们对半监督学习（SSL）的兴趣越来越大，它利用了一小部分标记数据和一大部分未标记数据。在这些SSL方法中，伪标记（PL）是最流行的方法之一。PL方法将伪标签应用于未标记的数据，然后使用标记和伪标记数据的组合迭代地训练模型。PL成功的关键是选择高质量的伪标记样本。以往的工作大多通过手动设置单个置信度阈值来选择训练样本。我们建议自动选择可靠的伪标记样本与一系列的动态阈值，这构成了一个学习课程。在六个关键点定位基准数据集上的大量实验表明，所提出的方法显着优于以前的最先进的SSL方法。
2022-01-24 cs.CV
TimePoint: Accelerated Time Series Alignment via Self-Supervised Keypoint and Descriptor Learning
School of Brain sciences and Cognition, BGU（本-古里安大学脑科学与认知学院）
提出自监督方法 TimePoint，通过 1D 微分同胚生成合成数据并利用全卷积和小波卷积架构学习关键点与描述符，将 DTW 应用于稀疏表示以实现更快更准确的时间序列对齐。
2025-05-29 cs.CV cs.LG
6D Object Pose Estimation using Keypoints and Part Affinity Fields
University of Bonn（波恩大学）
根据RGB图像估计6D物体位姿的任务是自主服务机器人能够与现实世界交互的重要要求。在这项工作中，我们提出了一个两步的管道，用于估计已知对象的6自由度的平移和方向。采用OpenPose CNN架构从人体姿态估计中预测输入图像的关键点和部分亲和场（PAF）。然后通过PnP-RANSAC算法从检测到的关键点和模型关键点之间的2D-3D对应关系计算对象姿态。所提出的方法在YCB视频数据集上进行了评估，并达到了与文献中最近的方法相当的精度。使用PAF将检测到的关键点组装到对象实例中证明优于仅使用热图。训练用于预测单个对象类的关键点的模型的性能明显优于训练用于多个类的模型。
2021-07-22 cs.CV cs.RO
The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation
Technical University of Munich（慕尼黑工业大学）
我们引入CenterGroup，一个基于注意力的框架，从一组身份不可知的关键点和图像中的人中心预测来估计人的姿势。我们的方法使用一个Transformer来获得所有检测到的关键点和中心的上下文感知嵌入，然后应用多头注意力直接将关节分组到相应的人中心。虽然大多数自下而上的方法在推理时依赖于不可学习的聚类，但CenterGroup使用完全可区分的注意力机制，我们与关键点检测器一起进行端到端的训练。因此，我们的方法获得了最先进的性能，推理时间比竞争的自底向上方法快2.5倍。我们的代码可在https://github.com/dvl-tum/center-group上获得。
2021-10-11 cs.CV
OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；The University of Sydney（悉尼大学）；Image Derivative Inc.（图像衍生公司）
我们提出了一种新的方法来估计物体的姿态没有CAD模型。先前基于特征匹配的方法OnePose在一次性设置下显示出有希望的结果，从而消除了对CAD模型或特定于对象的训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理物体上容易失败。我们提出了一个无关键点的姿态估计管道，以消除对可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建物体的半密集点云模型。给定用于对象姿态估计的查询图像，2D-3D匹配网络直接建立查询图像与重建的点云模型之间的2D-3D对应关系，而无需首先检测图像中的关键点。实验表明，该管道优于现有的一次性CAD模型的方法，由一个大的利润率，是可比的CAD模型为基础的方法LINEMOD即使是低纹理的对象。我们还收集了一个新的数据集组成的80个序列的40个低纹理的对象，以促进未来的研究，一杆物体姿态估计。补充材料、代码和数据集可在项目页面上获得：https://zju3dv.github.io/onepose_plus_plus/。
2023-01-18 cs.CV
Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera
ShanghaiTech University（上海科技大学）；ShanghaiTech Automation and Robotics (STAR) Center（上海科技大学自动化与机器人中心）；School of Information Science and Technology（信息科学与技术学院）；WLSA Shanghai Academy（WLSA上海研究院）
本文提出基于关键点的动态物体姿态估计方法，利用事件相机高动态范围和低延迟特性，结合关键点检测与跟踪，通过EPnP算法实现6自由度姿态估计，实验表明方法在准确性和鲁棒性上优于现有技术。
2026-04-25 cs.CV cs.RO
Learning Better Keypoints for Multi-Object 6DoF Pose Estimation
本文提出KeyGNet，通过图网络学习分散且投票分布相似的关键点，提升多目标6DoF姿态估计的准确性和效率，实验显示在多个数据集上显著改善。
2023-11-10 cs.CV
