Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network
本文提出 MaKeGNN,通过采样可匹配关键点并以其为消息瓶颈构建稀疏注意力图神经网络,在提升特征匹配精度的同时显著降低计算和内存开销。
2023-07-04 cs.CV
Recurrent Feature Mining and Keypoint Mixup Padding for Category-Agnostic Pose Estimation
Jiangxi University of Finance and Economics(江西财经大学)
提出循环挖掘细粒度结构感知特征及关键点混合填充的框架,在类别无关姿态估计中显著提升性能。
2025-03-27 cs.CV
End-to-End Learning of Multi-category 3D Pose and Shape Estimation
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
在本文中,我们研究了表示的形状和姿态的对象使用其关键点。因此,我们提出了一种端到端的方法,可以同时从图像中检测2D关键点并将其提升到3D。所提出的方法只从2D关键点注释中学习2D检测和3D提升。除了从图像到3D关键点的端到端之外,我们的方法还使用单个神经网络处理来自多个类别的对象。我们使用基于transformer的架构来检测关键点,并总结图像的视觉上下文。然后在将关键点提升到3D时使用此视觉上下文信息,以允许基于上下文的推理以获得更好的性能。我们的方法可以处理遮挡以及各种各样的对象类。我们在三个基准测试上的实验表明,我们的方法比最先进的方法性能更好。我们的源代码将公开。
2022-03-09 cs.CV
Multi-scale Aggregation R-CNN for 2D Multi-person Pose Estimation
Seoul National University(首尔大学);Kwangwoon University(光云大学)
从2D图像中估计多人姿态是具有挑战性的,因为它不仅需要关键点定位,而且还需要人体检测。在现有的自顶向下方法中,多尺度信息是精确姿态估计的关键因素,因为它包含关键点周围的局部信息和整个人的全局信息。虽然多尺度信息允许这些方法实现最先进的性能,但自顶向下的方法仍然需要大量的计算,因为它们需要使用额外的人体检测器来将裁剪的人体图像馈送到其姿态估计模型。为了以较小的计算量有效地利用多尺度信息,我们提出了一种多尺度聚合R-CNN(MSA R-CNN)。它由多尺度RoIAlign块(MS-RoIAlign)和多尺度关键点头网络(MS-KpsNet)组成,旨在有效利用多尺度信息。此外,与以前的自顶向下方法相比,MSA R-CNN在单个模型中执行人体检测和关键点定位,从而减少了计算量。该模型在基于单个模型的方法中取得了最佳性能,其结果与基于分离模型的方法相当,在公开可用的2D多人关键点定位数据集上具有更小的计算量。
2019-05-10 cs.CV
Pose for Everything: Towards Category-Agnostic Pose Estimation
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Sydney(悉尼大学)
现有的2D姿态估计工作主要集中在某一类别,例如人、动物和车辆。然而,有许多应用场景需要检测看不见的对象类别的姿势/关键点。在本文中,我们介绍的任务类别无关的姿态估计(CAPE),其目的是创建一个姿态估计模型,能够检测到的任何类别的对象的姿态,只有几个样本的关键点定义。为了实现这一目标,我们制定的姿态估计问题作为一个关键点匹配问题,并设计了一个新的CAPE框架,称为POSE匹配网络(POMNet)。提出了一种基于变换的关键点交互模块(KIM),用于捕获不同关键点之间的交互以及支持图像和查询图像之间的关系。我们还介绍了多类别姿态(MP-100)数据集,这是一个包含100个对象类别的2D姿态数据集,包含超过20 K个实例,并为开发CAPE算法而设计。实验表明,我们的方法优于其他基线方法的一个很大的利润。代码和数据可在https://github.com/luminxu/Pose-for-Everything上获得。
2022-07-21 cs.CV
6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
我们提出了6-PACK,这是一种深度学习方法,用于在RGB-D数据上进行类别级6D对象姿态跟踪。我们的方法实时跟踪已知的对象类别,如碗,笔记本电脑和杯子的新对象实例。6-PACK学习用少量的3D关键点来压缩表示对象,基于这些关键点,可以通过关键点匹配来估计对象实例的帧间运动。这些关键点是端到端学习的,无需人工监督,以便最有效地进行跟踪。我们的实验表明,我们的方法在NOCS类别级6D姿态估计基准上的性能大大优于现有方法,并支持物理机器人执行简单的基于视觉的闭环操作任务。我们的代码和视频可以在https://sites.google.com/view/6packtracking上找到。
2019-10-23 cs.CV cs.RO
Learning Articulated Shape with Keypoint Pseudo-labels from Web Images
Rutgers University(罗格斯大学);UC Berkeley(加州大学伯克利分校)
提出用50–150张2D关键点标注图像训练类别关键点估计器,并结合网络图像伪标签与数据选择,提升关节化对象单目3D重建性能。
2023-04-27 cs.CV
A Graph-Based Approach for Category-Agnostic Pose Estimation
Tel-Aviv University(特拉维夫大学)
针对类别无关姿态估计中关键点被孤立处理的问题,本文提出基于图的网络以建模关键点几何关系,在MP-100上1-shot性能提升0.98%并达到新SOTA。
2024-07-11 cs.CV
SCAPE: A Simple and Strong Category-Agnostic Pose Estimator
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
SCAPE通过精简为自注意力与MLP回归的简单架构,并引入全局关键点感知与注意力细化模块,在1-shot和5-shot下分别以2.2和1.3的PCK优势超越先前方法,兼顾精度与效率。
2024-07-18 cs.CV
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai AI Lab(上海人工智能实验室)
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下,仅仅是一个单一的对象实例上的抓取姿势示范?在本文中,我们试图通过使用USEEK来解决这个有趣的挑战,USEEK是一种无监督的SE(3)-等变关键点方法,可以在类别中的实例之间进行对齐,以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE(3)-等变关键点检测。有了USEEK,机器人可以以有效和可解释的方式推断类别级任务相关的对象框架,从而能够从任何姿势操纵任何类别内对象。通过大量的实验,我们证明了USEEK产生的关键点具有丰富的语义,从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比,USEEK是更自适应的,在面对大的类别内的形状变化,更强大的有限的演示,更有效的推理时间。
2023-02-17 cs.CV cs.RO
TriCons-Pose: Triangle-Invariant Geometric Consistency Learning for Category-Level Object Pose Estimation
School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院);School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院);Université Sorbonne Paris Nord, L2TI, UR 3043(巴黎北索邦大学,L2TI实验室,UR 3043研究单位);Université Paris-Saclay, CentraleSupélec, CVN(巴黎萨克雷大学,中央理工-高等电力学院,CVN实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院)
研究类别级目标姿态估计问题,提出TriCons-Pose方法,设计SCKD识别鲁棒关键点,PIGA增强关键点表示,通过标准目标函数及几何一致性损失优化框架,实验证明该方法有效。
2026-07-21 cs.CV
Single-Stage Keypoint-Based Category-Level Object Pose Estimation from an RGB Image
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
关于6-DoF对象姿态估计的先前工作主要集中在实例级处理上,其中纹理CAD模型可用于被检测的每个对象。类别级6自由度姿态估计是开发在非结构化真实世界场景中操作的机器人视觉系统的重要一步。在这项工作中,我们提出了一个单阶段,基于关键点的方法,用于类别级对象姿态估计,使用单个RGB图像作为输入,在已知类别内的未知对象实例上进行操作。所提出的网络执行2D目标检测,检测2D关键点,估计6自由度姿态,并回归相对边界长方体尺寸。这些数量是以顺序的方式估计的,利用最近的convGRU思想将信息从更容易的任务传播到更困难的任务。我们在设计选择中倾向于简单:通用长方体顶点坐标,单级网络和单目RGB输入。我们在具有挑战性的Objectron基准上进行了广泛的实验,在3D IoU指标上优于最先进的方法(比MobilePose单阶段方法高27.6%,比相关的两阶段方法高7.1%)。
2022-05-12 cs.CV cs.RO
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个单阶段,类别级6自由度姿态估计算法,同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入,以预测边界长方体和6-DoF姿势(按比例)。在内部,深度网络预测图像坐标中对象关键点(边界长方体的顶点)的分布,然后在使用Pestra计算最终姿态之前,一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性,从而使预测比单帧方法更准确和稳定。大量的实验表明,我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
GenCape: Structure-Inductive Generative Modeling for Category-Agnostic Pose Estimation
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
GenCape提出一种生成框架,通过图像支持输入推断关键点关系,无需额外文本描述或预定义骨架,提升跨类别姿态估计的鲁棒性和准确性。
2026-05-13 cs.CV
MK-Pose: Category-Level Object Pose Estimation via Multimodal-Based Keypoint Learning
Institute of Robotics and Automatic Information System(机器人与自动信息系统研究所);Tianjin Key Laboratory of Intelligent Robotics(天津智能机器人重点实验室);TBI center(TBI中心);Nankai University(南开大学)
本文提出MK-Pose,一种融合RGB、点云和文本描述的多模态关键点学习框架,通过自监督关键点检测和图增强特征融合,在无形状先验下显著提升类别级物体姿态估计的IoU和平均精度。
2025-07-09 cs.CV cs.RO
Optimal and Robust Category-level Perception: Object Pose and Shape Estimation from 2D and 3D Semantic Keypoints
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
本文提出PACE3D*/PACE2D*可认证最优求解器及其异常值鲁棒版本PACE3D#/PACE2D#,结合ROBIN图论框架从2D/3D关键点实现类别级物体位姿与形状估计,并在ApolloScape等数据集上验证了优越性能。
2023-09-17 cs.CV cs.RO
AnyOKP: One-Shot and Instance-Aware Object Keypoint Extraction with Pretrained ViT
Department of Electrical and Computer Engineering, University of California San Diego(加利福尼亚大学圣地亚哥分校电气与计算机工程系)
提出基于预训练 ViT 的一次性实例感知物体关键点提取方法 AnyOKP,通过搜索最佳原型对生成候选关键点并划分子图以区分实例,在多种机器人采集的真实图像上验证了跨类别灵活性、实例感知能力及对领域偏移和视角变化的鲁棒性。
2023-09-15 cs.CV
Multi-Person Pose Estimation with Enhanced Feature Aggregation and Selection
Beijing Jiaotong University(北京交通大学)
我们提出了一种新的增强特征聚合和选择网络(EFASNet)的多人2D人体姿态估计。由于增强的特征表示,我们的方法可以很好地处理拥挤,混乱和闭塞的场景。更具体地说,一个特征聚合和选择模块(FASM),它构造层次多尺度特征聚合,并使聚合的特征区分,提出了更准确的细粒度表示,导致更精确的关节位置。然后,我们执行一个简单的特征融合(FF)策略,有效地融合了高分辨率的空间特征和低分辨率的语义特征,以获得更可靠的上下文信息,以及估计关节。最后,我们建立了一个密集上采样卷积(DUC)模块来生成更精确的预测,它可以恢复丢失的联合细节,通常在普通的上采样过程中是不可用的。因此,预测的关键点热图更准确。综合实验表明,该方法优于最先进的方法,并实现了三个基准数据集:最近的大数据集CrowdPose,COCO关键点检测数据集和MPII人体姿势数据集的优越性能。我们的代码将在接受后发布。
2020-03-20 cs.CV
KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Google Research(谷歌研究院)
我们介绍了KeypointDeformer,这是一种通过自动发现3D关键点进行形状控制的新型无监督方法。我们将其转换为将源3D对象与来自相同对象类别的目标3D对象对齐的问题。我们的方法通过比较两个对象的潜在表示来分析它们的形状之间的差异。这种潜在的表示形式是以无监督的方式学习的3D关键点。然后,源对象和目标对象的3D关键点之间的差异通知将源对象变形为目标对象的形状变形算法。整个模型是端到端学习的,同时发现3D关键点,同时学习使用它们来变形对象形状。我们的方法产生直观和语义一致的控制形状变形。此外,我们发现的3D关键点在对象类别实例中是一致的,尽管形状变化很大。由于我们的方法是无监督的,它可以很容易地部署到新的对象类别,而不需要3D关键点和变形的注释。
2021-04-22 cs.CV cs.GR
Edge Weight Prediction For Category-Agnostic Pose Estimation
Tel Aviv University(特拉维夫大学)
EdgeCape通过预测姿态图的边权重,改进了类别无关姿态估计中的关键点定位精度,实现了在1次学习和5次学习设置中的最佳性能。
2026-02-01 cs.CV
kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion
Massachusetts Institute of Technology(麻省理工学院)
操作规划是计算机器人轨迹的任务,该轨迹将一组对象移动到其目标配置,同时满足物理可行性。与现有的作品,假设已知的对象模板相比,我们感兴趣的是操纵规划一类对象与潜在的未知实例和大的类别内形状变化。为了实现这一目标,我们需要一个对象表示与操纵规划可以原因的物理可行性和所需的对象配置,同时被推广到新的实例。广泛使用的姿势表示是不合适的,因为从一个固定的模板表示一个对象的参数化变换不能捕捉大的类别内形状变化。因此,我们提出了一种新的混合对象表示的语义关键点和密集的几何(点云或网格)作为感知模块和运动规划器之间的接口。利用基于学习的关键点检测和形状完成方面的进步,可以从原始传感器输入中感知密集的几何形状和关键点。使用建议的混合对象表示,我们制定的操作任务作为一个运动规划问题,编码的对象目标配置和物理可行性的一类对象。以这种方式,许多现有的操纵规划器可以被推广到对象的类别,并且所得到的感知到动作操纵流水线对大的类别内形状变化是鲁棒的。大量的硬件实验表明,我们的流水线可以产生机器人轨迹,完成与以前从未见过的对象的任务。
2019-09-16 cs.CV cs.RO
Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning
Vidyasirimedhi Institute of Science and Technology(维迪亚西里梅迪科学技术学院);Google AI(谷歌人工智能)
本文介绍了KeypointNet,这是一个端到端的几何推理框架,用于学习特定于类别的3D关键点及其检测器的最佳集合。给定单个图像,KeypointNet提取针对下游任务优化的3D关键点。我们证明了这个框架上的3D姿态估计提出了一个可区分的目标,寻求最佳的关键点集恢复对象的两个视图之间的相对姿态。我们的模型发现几何和语义上一致的关键点跨视角和对象类别的实例。重要的是,我们发现,我们的端到端框架使用没有地面实况关键点注释优于完全监督基线使用相同的神经网络架构的任务姿势估计。在ShapeNet的汽车、椅子和飞机类别上发现的3D关键点在http://keypointnet.github.io/上可视化。
2018-11-23 cs.CV cs.LG stat.ML
A Dynamic Keypoints Selection Network for 6DoF Pose Estimation
School of Mechanical Engineering, Tianjin University(天津大学机械工程学院)
6自由度位姿估计问题的目的是估计物体世界坐标系和摄像机世界坐标系之间的旋转和平移参数。尽管在深度学习的帮助下取得了一些进展,但如何充分利用场景信息仍然是一个问题。现有的工作通过逐像素特征融合来解决这个问题,但需要从图像中随机选择大量的点,这不能同时满足快速推理和精确位姿估计的要求。在这项工作中,我们提出了一种新的深度神经网络的基础上动态关键点的选择,旨在从一个单一的RGBD图像的6自由度姿态估计。我们的网络包括三个部分,实例语义分割,边缘点检测和6自由度姿态估计。给定一个RGBD图像,我们的网络被训练来预测像素类别以及到边缘点和中心点的平移。然后,采用最小二乘拟合的方法估计出6自由度的位姿参数。具体来说,我们提出了一个动态的关键点选择算法,从前景特征图中选择关键点。它允许我们利用几何和外观信息。在6自由度姿态估计过程中,利用实例语义分割结果滤除背景点,仅利用前景点完成边缘点检测和6自由度姿态估计。在两个常用的6DoF估计基准数据集YCB-Video和LineMoD上的实验表明,我们的方法优于最先进的方法,并且在时间效率上比其他同类方法有了显着的提高。
2021-10-24 cs.CV
DenserNet: Weakly Supervised Visual Localization Using Multi-scale Feature Aggregation
Purdue University(普渡大学);University of Florida(佛罗里达大学);Fudan University(复旦大学)
在这项工作中,我们介绍了一个密集的特征网络(DenserNet)的视觉定位。我们的工作提供了三个主要贡献。首先,我们开发了一个卷积神经网络(CNN)架构,该架构在不同的语义级别上聚合图像表示的特征图。使用更密集的特征图,我们的方法可以产生更多的关键点特征,提高图像检索的准确性。其次,我们的模型是端到端训练的,除了正和负GPS标记的图像对之外,没有像素级注释。我们使用一个弱监督的三元组排名损失来学习判别特征,并鼓励图像表示的关键点特征重复性。最后,我们的方法是计算效率,因为我们的架构在计算过程中共享的功能和参数。我们的方法可以在具有挑战性的条件下进行精确的大规模定位,同时保持计算约束。大量的实验结果表明,我们的方法设置一个新的国家的最先进的四个具有挑战性的大规模定位基准和三个图像检索基准。
2021-03-11 cs.CV
Learning Local Features with Context Aggregation for Visual Localization
Sun Yat-sen University(中山大学);The University of Western Australia(西澳大学);Alibaba Group(阿里巴巴集团)
关键点的检测和描述在许多视觉应用中是基础的,但也是重要的。现有的方法大多采用先检测后描述或先检测后描述的策略来学习局部特征,而不考虑它们的上下文信息。因此,这是具有挑战性的,这些方法来学习鲁棒的本地功能。在本文中,我们专注于融合低层次的文本信息和高层的语义上下文信息,以提高局部特征的区分性。具体来说,我们首先估计一个得分图,以表示潜在的关键点的分布,根据所有像素的描述符的质量。然后,在分数图的指导下,提取和聚合多尺度的高层语义特征。最后,低层的局部特征和高层的语义特征的融合和细化使用的残差模块。在具有挑战性的局部特征基准数据集上的实验表明,我们的方法在视觉定位基准的局部特征挑战中达到了最先进的性能。
2020-05-30 cs.CV
CapeX: Category-Agnostic Pose Estimation from Textual Point Explanation
Tel Aviv University(特拉维夫大学)
本文提出CapeX,一种基于文本点解释的类别无关姿态估计方法,利用姿态图和文本描述替代支持图像,在MP-100基准上实现1.07%的性能提升,确立新的最先进水平。
2024-06-01 cs.CV
Self-supervised learning of object pose estimation using keypoint prediction
University of Linköping(林雪平大学);University of Waterloo(滑铁卢大学)
本文介绍了最近的发展,在特定的目标姿态和形状预测从单一的图像。的主要贡献是一个新的方法来预测摄像机姿态的自监督学习的关键点对应的位置上的类别特定的变形形状。我们设计了一个网络来从分布在特定类别的平均形状上的一组关键点生成代理地面实况热图,其中每个关键点都由标记纹理上的唯一颜色表示。代理地面实况热图用于训练深度关键点预测网络,其可用于在线推理。与最先进的方法相比,所提出的相机姿态预测方法显示出显着的改进。我们的相机姿态预测方法用于从视频序列的2D图像帧在线推断3D对象。为了训练重建模型,它在每个训练步骤中仅接收来自视频序列的单个帧的轮廓掩模和类别特定的平均对象形状。我们使用代表鸟类类别的三个不同数据集进行了实验:CUB [51]图像数据集,YouTubeVos和Davis视频数据集。该网络在CUB数据集上进行训练,并在所有三个数据集上进行测试。使用在CUB训练集上训练的网络在YouTubeVos和Davis [56]视频序列上演示了在线实验。
2023-02-19 cs.AI cs.CV cs.LG
TSM-Pose: Topology-Aware Learning with Semantic Mamba for Category-Level Object Pose Estimation
Hangzhou Dianzi University(杭州电子科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出TSM-Pose框架,通过拓扑提取器和语义Mamba聚合器提升类别级物体姿态估计的鲁棒性和泛化能力。
2026-08-06 cs.CV
ComPose: A Unified Completion-Pose Framework for Robust Category-Level Object Pose Estimation
University of Science and Technology of China(中国科学技术大学);National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory(国家空间科学探测重点实验室,深空探测实验室);Beijing Institute of Control Engineering(北京控制工程研究所)
提出ComPose框架,通过关键点渐进补全模块和几何关系一致性损失,将形状补全与姿态估计紧密集成,在不依赖类别级形状先验的情况下提升点云不完整场景下的姿态估计精度和效率。
2026-05-25 cs.CV cs.RO
LMPNet for Weakly-supervised Keypoint Discovery
Brigham Young University(Brigham Young 大学)
本文提出LMPNet,通过leaky max pooling层将判别式滤波器转化为关键点检测器,结合注意力掩蔽和可学习聚类,实现仅用类别标签的弱监督语义关键点发现,性能可比肩有监督姿态估计模型。
2025-07-03 cs.CV
Jamais Vu: Exposing the Generalization Gap in Supervised Semantic Correspondence
University of Edinburgh(爱丁堡大学);University of Oxford(牛津大学)
针对监督语义对应方法泛化能力受限问题,提出通过单目深度估计将2D关键点提升至规范3D空间学习密集对应的方法,构建无需显式3D监督的连续规范流形,并引入SPair-U数据集,实验证明其在未见过关键点上的优越性及无监督基线的跨数据集泛化优势。
2025-11-11 cs.CV
Adaboost with "Keypoint Presence Features" for Real-Time Vehicle Visual Detection
Mines ParisTech(巴黎高科矿业学院);Robotics Laboratory (CAOR)(机器人实验室(CAOR))
我们提出了有前途的结果,实时的【形】车辆视觉检测,获得与adaBoost使用新的原始?关键点存在特征?这些弱分类产生一个布尔响应的存在或不存在的基础上测试图像的?关键点?(~ SURF兴趣点),其具有与表征特征的参考描述符足够相似(即在给定距离内)的描述符。第一个实验是在包含侧视汽车的公共图像数据集上进行的,在测试集上产生了95%的召回率和95%的精确度。此外,对adaBoost选择的关键点位置的分析表明,它们对应于对象类别的特定部分(例如?轮子?还是?侧裙?)从而有一个?语义?意义
2009-10-07 cs.CV cs.LG
KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Tsinghua University(清华大学)
提出KP-RED框架,利用类别一致的语义关键点联合完成3D CAD模型检索与神经笼变形,可稳健处理完整及含噪部分扫描,并在PartNet和Scan2CAD上显著优于现有方法。
2024-12-03 cs.CV
Towards Accurate Multi-person Pose Estimation in the Wild
Google, Inc.(谷歌公司)
我们提出了一种用于多人检测和2-D姿态估计的方法,该方法在具有挑战性的COCO关键点任务上取得了最先进的结果。这是一个简单而强大的自上而下的方法,包括两个阶段。在第一阶段,我们预测可能包含人的盒子的位置和规模;为此,我们使用Faster RCNN检测器。在第二阶段中,我们估计潜在地包含在每个提议的限界框中的人的关键点。对于每个关键点类型,我们使用完全卷积的ResNet预测密集的热图和偏移。为了结合这些输出,我们引入了一种新的聚合过程,以获得高度本地化的关键点预测。我们还使用了一种新形式的基于关键点的非最大值抑制(NMS),而不是粗糙的框级NMS,和一种新形式的基于关键点的置信度得分估计,而不是框级评分。仅在COCO数据上训练,我们的最终系统在COCO测试开发集和0.643测试标准集上实现了0.649的平均精度,优于2016年COCO关键点挑战赛和其他最新技术的获胜者。通过使用附加的内部标记数据,我们在测试-开发集上获得了0.685的甚至更高的平均精度,在测试-标准集上获得了0.673的平均精度,与以前在相同数据集上表现最好的方法相比,绝对改进超过5%。
2017-04-14 cs.CV
Calibration-Free Vehicle Speed Estimation: A Monocular Keypoint-Template Approach
The University of California, Berkeley(加利福尼亚大学伯克利分校);The University of Texas, Austin(德克萨斯大学奥斯汀分校)
该研究提出一种无校准的单目车辆速度估计框架,采用36关键点车辆模板与YOLO关键点检测,在VS13等数据集上实现低MAE,可用于便携式设备的低成本速度执法。
2026-08-18 cs.CV
KeyRe-ID: Keypoint-Guided Person Re-Identification using Part-Aware Representation in Videos
KeyRe-ID 提出关键点引导的视频行人重识别框架,通过 Transformer 全局聚合和关键点驱动的局部分支生成部件感知特征,在 MARS 和 iLIDS-VID 上取得领先性能。
2025-07-17 cs.AI cs.CV
Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们研究的问题,估计3D形状和姿势的对象的关键点,从一个单一的2D图像。形状和姿势直接从按类别收集的图像及其部分2D关键点注释中学习。在这项工作中,我们首先提出了一个端到端的训练框架,用于中间的2D关键点提取和最终的3D形状和姿态估计。然后,仅使用中间2D关键点的弱监督来训练所提出的框架。此外,我们设计了一个半监督训练框架,从标记和未标记数据中受益。为了利用未标记的数据,我们引入并利用规范对象形状的\emph{piece-wise planar hull}先验。在关键点的帮助下,每个对象类别手动定义一次这些平面外壳。一方面,所提出的方法学习从标记的数据中分割这些平面外壳。另一方面,它同时加强预测的关键点和未标记数据上的分割外壳之间的一致性。强制一致性使我们能够有效地使用未标记的数据来完成手头的任务。所提出的方法通过仅使用一半的注释实现了与完全监督的最先进的方法相当的结果。我们的源代码将公开提供。
2022-11-14 cs.CV
Explicit Box Detection Unifies End-to-End Multi-Person Pose Estimation
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
本文提出了一种新的端到端框架,用于多人姿势估计,称为ED-Pose,其中它统一了人类级别(全局)和关键点级别(局部)信息之间的上下文学习。与以前的单阶段方法不同,ED-Pose将此任务重新视为两个具有统一表示和回归监督的显式框检测过程。首先,我们引入了一个人类检测解码器从编码令牌提取全局特征。它可以为后面的关键点检测提供良好的初始化,使训练过程快速收敛。其次,为了在关键点附近引入上下文信息,我们将姿态估计视为关键点框检测问题,以学习每个关键点的框位置和内容。人到关键点检测解码器采用人和关键点特征之间的交互式学习策略,以进一步增强全局和局部特征聚合。一般来说,ED-Pose在概念上很简单,没有后处理和密集的热图监督。通过与两阶段法和一阶段法的比较,证明了该方法的有效性和效率。值得注意的是,显式框检测在COCO上将姿态估计性能提高了4.5 AP,在CrowdPose上提高了9.9 AP。作为具有L1回归损失的完全端到端框架,ED-Pose首次在COCO上以1.2 AP的优势超过了相同主干下基于热图的自顶向下方法,并在CrowdPose上以76.6 AP的优势实现了最先进的技术。代码可在https://github.com/IDEA-Research/ED-Pose上获得。
2023-02-03 cs.CV
Category Feature Transformer for Semantic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出类别特征Transformer(CFT),通过多头注意力在多阶段特征间传播类别嵌入,以轻量参数在ADE20K上取得55.1% mIoU。
2023-08-10 cs.CV
Visual object categorization with new keypoint-based adaBoost features
Mines ParisTech(巴黎高等矿业学校)
我们提出了有前途的结果,视觉对象分类,获得adaBoost使用新的原始?基于关键点的功能?这些弱分类产生一个布尔响应的存在或不存在的基础上测试图像的?关键点?(一种SURF兴趣点),其描述符与表征特征的参考描述符足够相似(即在给定距离内)。第一个实验是在包含侧视汽车的公共图像数据集上进行的,在测试集上产生了95%的召回率和95%的精确度。在行人数据库的一个小子集上进行的初步测试也给出了97%的召回率和92%的准确率,这表明了我们新功能家族的通用性。此外,对adaBoost选择的关键点位置的分析表明,它们对应于对象类别的特定部分(例如?轮子?还是?侧裙?在横向车的情况下),因此具有?语义?意义我们还对视频进行了第一次测试,用于从adaBoost中检测车辆,从所有检测到的关键点中实时筛选出关键点。
2009-10-07 cs.CV cs.LG
Parallel Multi-Scale Networks with Deep Supervision for Hand Keypoint Detection
关键点检测在广泛的应用中起着重要的作用。然而,预测诸如人手之类的小物体的关键点是一个具有挑战性的问题。最近的工作融合了深度卷积神经网络(CNN)的特征图,无论是通过多级特征集成还是多分辨率聚合。尽管取得了一些成功,但特征融合方法增加了CNN的复杂性和不透明性。为了解决这个问题,我们提出了一种名为多尺度深度监督网络(P-MSDSNet)的新型CNN模型,该模型通过深度监督来学习不同尺度的特征图,以产生注意力图,用于从层到层的自适应特征传播。P-MSDSNet具有多阶段架构,使其具有可扩展性,而其具有空间注意力的深度监督提高了每个阶段特征学习的透明度。我们表明,P-MSDSNet在基准数据集上的性能优于最先进的方法,同时需要较少的参数。我们还展示了P-MSDSNet在神经科学研究中量化手指敲击手部运动的应用。
2021-12-19 cs.AI cs.CV
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology(航空航天科学与工程学院,国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(图像测量与视觉导航省级重点实验室)
本文提出DKPMV流程,仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计,在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
Independently Keypoint Learning for Small Object Semantic Correspondence
Jilin University(吉林大学)
针对小目标关键点邻近导致特征融合的问题,本文提出KBC裁剪方法及KBCNet框架,通过增大关键点空间间隔并融合多尺度特征,在SPair-71K上提升7.5%。
2024-04-03 cs.CV
Cross-Skeleton Interaction Graph Aggregation Network for Representation Learning of Mouse Social Behaviour
School of Eye & Vision Sciences, University of Liverpool(利物浦大学眼与视觉科学学院)
针对小鼠社会行为中复杂跨骨架交互建模难题,提出 CS-IGANet,通过 CS-NLI、交互感知 Transformer 及自监督辅助任务学习行为表征,并在两个骨架数据集上优于现有方法。
2025-01-07 cs.CV
Location-free Human Pose Estimation
Beijing Jiaotong University(北京交通大学);Tencent Youtu Lab(腾讯优图实验室)
人体姿态估计(HPE)通常需要大规模的训练数据来达到高性能。然而,这是相当耗时的收集高质量和细粒度的人体标注。为了缓解这一问题,我们重新审视了HPE,并提出了一个无需监督关键点位置的无位置框架。我们从分类的角度重新制定了基于回归的HPE。受基于CAM的弱监督对象定位的启发,我们观察到可以通过部件感知CAM获得粗略的关键点位置,但由于细粒度HPE和对象级定位之间的差距,因此不能令人满意。为此,我们提出了一个自定义的Transformer框架来挖掘人类上下文的细粒度表示,并配备了结构关系来捕获关键点之间的细微差异。具体地说,我们设计了一个多尺度空间引导上下文编码器,以充分捕捉全球人类的背景,同时专注于部分感知区域和一个编码的姿态原型生成模块编码的结构关系。所有这些共同作用,以加强薄弱的监督,从图像级类别标签的位置。当仅在类别级别进行监督时,我们的模型在三个数据集上实现了具有竞争力的性能,重要的是,它可以在MS-COCO和MPII上仅使用25\%位置标签的完全监督方法实现可比较的结果。
2022-05-25 cs.CV
CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models
EverEx;Yonsei University(延世大学)
提出首个用于类无关姿态估计的多模态大语言模型CapeLLM,仅利用查询图像和文本描述作为输入,通过有效训练策略与推理机制建模空间分布,在MP-100基准上达到最先进水平。
2025-08-14 cs.CV cs.LG
Self-supervised Single-view 3D Reconstruction via Semantic Consistency
University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
我们学习了一个自我监督的单视图3D重建模型,该模型通过收集2D图像和轮廓来预测目标对象的3D网格形状,纹理和相机姿态。所提出的方法不需要3D监督,手动注释的关键点,对象的多视图图像或先前的3D模板。我们工作的关键见解是,对象可以表示为可变形部分的集合,并且每个部分在同一类别的不同实例之间是语义一致的(例如,鸟的翅膀和汽车的轮子)。因此,通过利用大量类别特定图像的自我监督学习部分分割,我们可以有效地加强重建网格和原始图像之间的语义一致性。这显著地减少了在对象的形状和相机姿态以及纹理的联合预测期间的模糊性。据我们所知,我们是第一个尝试解决单视图重建问题,而无需特定于类别的模板网格或语义关键点。因此,我们的模型可以很容易地推广到各种对象类别,而不需要这样的标签,例如,通过对几类可变形和刚性物体的各种实验,我们证明了我们的无监督方法的性能比现有的监督学习的特定类别重建方法更好。
2020-03-13 cs.CV
D3Former: Jointly Learning Repeatable Dense Detectors and Feature-enhanced Descriptors via Saliency-guided Transformer
Shandong University(山东大学);The University of Hong Kong(香港大学)
本文提出D3Former,一种显著性引导Transformer,联合学习可重复稠密检测器与特征增强描述符,在室内外基准上优于现有方法,如3DLoMatch上配准召回率达76.5%。
2023-12-20 cs.CV
Selective Spatio-Temporal Aggregation Based Pose Refinement System: Towards Understanding Human Activities in Real-World Videos
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学);Toyota Motor Europe(丰田汽车欧洲公司)
利用人体姿态数据来理解人类活动已经引起了人们的广泛关注。然而,由于真实世界的未注释视频中的遮挡、截断和低分辨率,最先进的姿态估计器难以获得高质量的2D或3D姿态数据。因此,在这项工作中,我们提出了1)一种选择性时空聚合机制,名为SST-A,它可以细化和平滑由多个专家姿态估计器提取的关键点位置,2)一个有效的弱监督自训练框架,它利用聚合的姿态作为伪地面实况,而不是手工制作的注释来进行真实世界的姿态估计。进行了广泛的实验,不仅评估上游的姿势细化,但也下游的动作识别性能的四个数据集,丰田Smarthome,NTU-RGB+D,字谜,和Kinetics-50。我们证明,我们的姿态优化系统(SSTA-PRS)细化的骨架数据可以有效地提升各种现有的动作识别模型,从而实现具有竞争力或最先进的性能。
2020-11-10 cs.CV
SOCS: Semantically-aware Object Coordinate Space for Category-Level 6D Object Pose Estimation under Large Shape Variations
National University of Defense Technology(国防科技大学)
大多数基于学习的类别级6D姿态估计方法都是围绕归一化对象坐标空间(NOCS)设计的。虽然是成功的,基于NOCS的方法变得不准确和不太鲁棒时,处理对象的类别包含显着的类别内的形状变化。这是因为由对象的全局和刚性对齐引起的对象坐标在语义上是不一致的,使得坐标回归难以学习和推广。我们提出了语义感知的对象坐标空间(SOCS)建立的翘曲和对齐的关键点与语义有意义的对应关系的稀疏集的指导下的对象。SOCS在语义上是一致的:物体表面上的任何点都可以映射到SOCS中的语义上有意义的位置,从而允许在大的形状变化下进行准确的姿态和大小估计。为了学习有效的坐标回归到SOCS,我们提出了一种新的多尺度基于坐标的注意力网络。评估表明,我们的方法是很容易训练,以及推广大类内形状变化和强大的对象间遮挡。
2023-03-18 cs.CV
MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching
National Engineering Research Center for Multimedia Software(多媒体软件国家工程研究中心);Institute of Artificial Intelligence(人工智能研究院);School of Computer Science(计算机科学学院);Hubei Key Laboratory of Multimedia and Network Communication Engineering(湖北省多媒体与网络通信工程重点实验室);Lee Kong Chian School of Medicine(李光耀医学院);Nanyang Technological University(南洋理工大学);Ningbo Institute of Materials Technology and Engineering(宁波材料技术与工程研究所);Chinese Academy of Sciences(中国科学院);Institute for Infocomm Research (I 2 R)(信息与通信研究所以(I 2 R));Agency for Science, Technology and Research (A*STAR)(科技研究局(A*STAR))
提出MIFNet,利用Stable Diffusion预训练特征和两种聚合模块,仅用单模态数据学习模态不变描述符,实现多模态图像匹配的零样本泛化。
2025-06-24 cs.CV
REDE: End-to-end Object 6D Pose Robust Estimation Using Differentiable Outliers Elimination
Zhejiang University(浙江大学);Beijing Institute of Control Engineering(北京控制工程研究所)
物体6D姿态估计是许多应用中的基本任务。传统方法通过检测和匹配关键点,然后估计姿态来解决任务。最近将深度学习引入问题的努力主要克服了传统方法由于手工制作的特征设计而对环境变化的脆弱性。然而,这些方法不能同时实现端到端学习和良好的可解释性。在本文中,我们提出了REDE,一种新的端到端的对象姿态估计器,使用RGB-D数据,它利用网络的关键点回归,和可微的几何姿态估计器的姿态误差反向传播。此外,为了实现更好的鲁棒性时,离群关键点预测发生,我们进一步提出了一种可微离群点消除方法,同时回归候选结果和置信度。通过对多个候选数据进行置信加权聚合,可以减少离群值对最终估计的影响。最后,按照传统的方法,我们应用一个可学习的细化过程,以进一步提高估计。在三个基准数据集上的实验结果表明,REDE的性能略优于最先进的方法,对对象遮挡具有更强的鲁棒性。
2021-02-24 cs.CV
CapeNext: Rethinking and Refining Dynamic Support Information for Category-Agnostic Pose Estimation
CapeNext通过整合层次交叉模态交互与双流特征细化,提升了类别无关姿态估计中动态支持信息的鲁棒性和鉴别能力。
2025-12-15 cs.CV
CHAMP: Conformalized 3D Human Multi-Hypothesis Pose Estimators
Massachusetts Institute of Technology(麻省理工学院)
CHAMP利用扩散模型生成多假设3D姿态,并集成共形预测进行假设筛选与聚合,实现端到端训练,在多个数据集上达到最先进性能。
2025-02-23 cs.CV