KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们介绍了KeypointDeformer，这是一种通过自动发现3D关键点进行形状控制的新型无监督方法。我们将其转换为将源3D对象与来自相同对象类别的目标3D对象对齐的问题。我们的方法通过比较两个对象的潜在表示来分析它们的形状之间的差异。这种潜在的表示形式是以无监督的方式学习的3D关键点。然后，源对象和目标对象的3D关键点之间的差异通知将源对象变形为目标对象的形状变形算法。整个模型是端到端学习的，同时发现3D关键点，同时学习使用它们来变形对象形状。我们的方法产生直观和语义一致的控制形状变形。此外，我们发现的3D关键点在对象类别实例中是一致的，尽管形状变化很大。由于我们的方法是无监督的，它可以很容易地部署到新的对象类别，而不需要3D关键点和变形的注释。
2021-04-22 cs.CV cs.GR
Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network
University of Cambridge（剑桥大学）；Indian Institute of Science（印度科学理工学院）
伪装人脸识别（DFI）是一个极具挑战性的问题，因为可以使用不同的伪装引入许多变化。本文介绍了一个深度学习框架，首先检测14个面部关键点，然后利用这些关键点进行伪装人脸识别。由于深度学习架构的训练依赖于大型带注释的数据集，因此引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也证明了关键点检测框架的优越性。通过与现有人脸伪装分类方法的比较，验证了该方法的有效性。
2017-08-30 cs.CV
LMPNet for Weakly-supervised Keypoint Discovery
Brigham Young University（Brigham Young 大学）
本文提出LMPNet，通过leaky max pooling层将判别式滤波器转化为关键点检测器，结合注意力掩蔽和可学习聚类，实现仅用类别标签的弱监督语义关键点发现，性能可比肩有监督姿态估计模型。
2025-07-03 cs.CV
Categorical Keypoint Positional Embedding for Robust Animal Re-Identification
Australian Institution for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
针对动物 ReID 中姿态、环境和跨物种迁移难题，提出基于扩散模型的单样本关键点传播机制，并以 KPE 与 CKPE 增强 ViT，在四个野生动物数据集上超越现有方法。
2024-12-01 cs.CV
Self-Supervised Keypoint Discovery in Behavioral Videos
Caltech（加州理工学院）；Samsung Advanced Institute of Technology（三星先进技术研究院）；Northwestern University（西北大学）；Argo AI
我们提出了一种方法来学习的姿势和结构的代理从未标记的行为视频。从观察行为代理通常是行为视频中运动的主要来源开始，我们的方法，行为关键点发现（B-KinD），使用具有几何瓶颈的编码器-解码器架构来重建视频帧之间的时空差异。通过只关注运动区域，我们的方法直接在输入视频上工作，而不需要手动注释。在各种代理类型（小鼠，苍蝇，人类，水母和树木）上的实验证明了我们方法的通用性，并揭示了我们发现的关键点代表了语义上有意义的身体部位，在自监督方法中实现了关键点回归的最新性能。此外，B-KinD在下游任务（如行为分类）上实现了与监督关键点相当的性能，这表明我们的方法可以大大降低模型训练成本。
2022-04-27 cs.CV
Design and Identification of Keypoint Patches in Unstructured Environments
Ulsan National Institute of Science and Technology（蔚山科学技术院）
针对非结构化杂乱环境中模糊和阴影导致关键点检测困难的问题，本文设计了四种考虑尺度、旋转和相机投影的关键点贴片，并定制 Superpoint 网络以增强图像退化下的检测鲁棒性，通过真实视频测试验证了其在视觉自主系统中的有效性。
2024-10-01 cs.CV cs.RO
From Keypoints to Object Landmarks via Self-Training Correspondence: A novel approach to Unsupervised Landmark Discovery
University of Nottingham（诺丁汉大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Hartpury University（哈特伯瑞大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新的范例的无监督学习的目标地标检测器。与现有的建立在辅助任务（如图像生成或等方差）上的方法相反，我们提出了一种自训练方法，在该方法中，从通用关键点出发，训练地标检测器和描述符以改进自身，将关键点调整为独特的地标。为此，我们提出了一种迭代算法，通过特征聚类产生新的伪标签，并通过对比学习学习每个伪类的独特功能。通过地标检测器和描述符的共享主干，关键点位置逐渐收敛到稳定的地标，过滤掉那些不太稳定的地标。与以前的作品相比，我们的方法可以学习在捕捉大的视点变化方面更灵活的点。我们在各种困难的数据集上验证了我们的方法，包括LS3D，BBCPose，Human3.6M和PennAction，实现了最先进的结果。
2023-02-25 cs.CV
Keypoint Promptable Re-Identification
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université Catholique de Louvain (UCLouvain)（鲁汶大学）；Sportradar（Sportradar公司）
针对多人遮挡场景下的重识别目标歧义问题，提出关键点提示式重识别范式KPR，构建带关键点标注的强遮挡数据集并补充现有基准标注，实验证明该方法在多类遮挡场景下性能超越现有最优水平。
2024-07-25 cs.CV
Unsupervised 3D Keypoint Discovery with Multi-View Geometry
Samsung AI Center Toronto（三星人工智能中心多伦多分中心）；Computer Vision Lab, EPFL（洛桑联邦理工学院计算机视觉实验室）
提出一种利用多视图几何约束的无监督算法，从多视图图像中自动发现人体3D关键点，无需人工标注，在Human3.6M和MPI-INF-3DHP上优于现有无监督方法。
2024-02-08 cs.CV cs.LG
Keypoint Message Passing for Video-based Person Re-Identification
Nanjing University of Science and Technology（南京理工大学）；University of Bonn（波恩大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
基于视频的人物再识别是视觉监控系统中的一项重要技术，其目的是匹配不同摄像机拍摄的人物视频片段。现有的方法大多基于卷积神经网络（CNN），其构建块要么一次处理局部相邻像素，要么当3D卷积用于对时间信息建模时，遭受由人移动引起的未对准问题。在本文中，我们提出用面向人的图方法来克服正态卷积的局限性。具体而言，位于人关节关键点的特征被提取并连接为时空图。然后，这些关键点特征通过使用图卷积网络（GCN）从其连接的节点传递消息来更新。在训练过程中，GCN可以附加到任何基于CNN的人员重新识别模型上，以帮助在特征图上进行表示学习，同时可以在训练后丢弃它，以获得更好的推理速度。我们的方法在MARS数据集上基于CNN的基线模型上带来了显着的改进，其中包含生成的人物关键点和新注释的数据集：PoseTrackReID。与之前的作品相比，它还定义了一种新的最先进的方法，即前1精度和平均精度。
2021-12-13 cs.CV
Two-Stream Spatial-Temporal Transformer Framework for Person Identification via Natural Conversational Keypoints
提出双流时空Transformer框架，利用对话关键点进行身份识别，通过空间与时间分支融合，在114人数据集上达到94.86%准确率，比传统外观方法更抗欺骗。
2025-06-24 cs.CV
Keypoint Transformer: Solving Joint Identification in Challenging Hands and Object Interactions for Accurate 3D Pose Estimation
Graz University of Technology（格拉茨工业大学）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
我们提出了一个强大的和准确的方法来估计3D姿态的双手在密切的互动，从一个单一的彩色图像。这是一个非常具有挑战性的问题，因为可能会发生大的闭塞和关节之间的许多混淆。最先进的方法通过为每个关节回归热图来解决这个问题，这需要同时解决两个问题：定位关节和识别它们。在这项工作中，我们建议通过依赖于CNN首先将关节定位为2D关键点，并在这些关键点处的CNN特征之间进行自我关注，以将它们与相应的手部关节相关联，来分离这些任务。由此产生的架构，我们称之为“Keypoint Transformer”，非常高效，因为它实现了最先进的性能，而InterHand2.6M数据集上的模型参数数量约为一半。我们还表明，它可以很容易地扩展到估计由一个或两个高性能的手操纵的对象的三维姿态。此外，我们还创建了一个新的数据集，其中包含超过75，000张双手操纵物体的图像，并以3D方式进行了全面注释，并将其公开。
2022-04-19 cs.CV
3D Implicit Transporter for Temporally Consistent Keypoint Discovery
Xi’an Research Institute of High-Tech（西安高技术研究所）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai AI Laboratory（上海人工智能实验室）；Institute of North Electronic Equipment（北方电子设备研究所）；Peng Cheng Laboratory（鹏城实验室）
针对3D关键点检测忽略时间一致性的问题，提出首个3D版本的Transporter，利用混合3D表示、交叉注意力和隐式重建学习时空一致的关键点，并成功应用于3D物体操作的闭环控制。
2023-09-10 cs.CV
Unsupervised Monocular 3D Keypoint Discovery from Multi-View Diffusion Priors
Yonsei University（延世大学）
本文提出KeyDiff3D框架，通过单张图像准确预测3D关键点，利用预训练的多视图扩散模型中的几何先验，将隐式3D先验转化为显式3D特征体，实现关键点估计和3D对象操控。
2026-06-04 cs.CV
RoboEye: Enhancing 2D Robotic Object Identification with Selective 3D Geometric Keypoint Matching
Hunan University（湖南大学）
RoboEye提出两阶段框架，通过选择性3D几何关键点匹配增强2D特征，在仅用RGB图像的情况下将Recall@1较RoboLLM提升7.1%。
2025-09-18 cs.AI cs.CV cs.RO
Learning Keypoints for Multi-Agent Behavior Analysis using Self-Supervision
California Institute of Technology（加州理工学院）；Cornell University（康奈尔大学）
针对多智能体视频自监督关键点发现方法在同色同物种个体场景下效果差的问题，提出B-KinD-multi方法，借助预训练视频分割模型指导关键点发现，在多物种实验中表现优异且泛化性强，可用于多智能体行为分析的自动化标注。
2024-09-14 cs.CV
SK-Net: Deep Learning on Point Cloud via End-to-end Discovery of Spatial Keypoints
Xiamen University（厦门大学）；The Ohio State University（俄亥俄州立大学）；Guizhou Normal University（贵州师范大学）
自PointNet提出以来，点云上的深度学习一直是3D研究的热点。然而，现有的基于点的方法通常不足以提取的局部特征和空间模式的点云进一步的形状理解。本文提出了一个端到端的框架，SK-Net，共同优化空间关键点的推理与学习的点云的特征表示为一个特定的点云任务。SK-Net的一个关键过程是空间关键点（Skeypoints）的生成。它由两个建议的调节损失和一个任务目标函数联合进行，而不需要了解关键点位置注释和建议。具体来说，我们的关键点对位置一致性不敏感，但对形状有敏锐的认识。SK-Net的另一个关键过程是关键点的局部结构（细节特征）和归一化关键点的局部空间模式（模式特征）的提取。该过程生成一个全面的表示，模式细节（PD）的功能，它包含了点云的局部细节信息，并揭示了其空间模式，通过部分区域重建规范的关键点。因此，我们的网络被提示有效地理解点云的不同区域之间的相关性，并整合点云的上下文信息。在点云任务中，如分类和分割，我们提出的方法比最先进的方法表现更好或相当。我们还提出了一个消融研究，以证明SK-Net的优势。
2020-03-31 cs.CV cs.LG eess.IV
GaitTAKE: Gait Recognition by Temporal Attention and Keypoint-guided Embedding
University of Washington（华盛顿大学）；University of Science and Technology, University of Danang（岘港大学科技大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
步态识别是指根据从远处捕获的视频数据，基于其身体形状和行走方式对人进行识别或识别，广泛应用于犯罪预防，法医鉴定和社会安全。然而，据我们所知，大多数现有的方法使用的外观，姿势和时间特征，而不考虑学习的时间注意力机制的全局和局部信息融合。在本文中，我们提出了一种新的步态识别框架，称为时间注意力和关键点引导嵌入（GaitTAKE），有效地融合了时间注意力的全局和局部外观特征和时间聚合的人体姿势特征。实验结果表明，我们提出的方法实现了一个新的SOTA在步态识别的秩-1准确率为98.0%（正常），97.5%（袋）和92.2%（大衣）的CASIA-B步态数据集上; 90.4%的准确率在OU-MVLP步态数据集。
2022-07-12 cs.CV
Pentagon-Match (PMatch): Identification of View-Invariant Planar Feature for Local Feature Matching-Based Homography Estimation
National Yang Ming Chiao Tung Univ.（国立阳明交通大学）
本文提出Pentagon-Match (PMatch)采样方案，利用随机采样的五边形及其交比视角不变性验证关键点匹配，从而在LoFTR匹配基础上高效准确地估计平面场景单应性并识别外点。
2023-05-27 cs.CV
Wide-Baseline Multi-Camera Calibration using Person Re-Identification
Carnegie Mellon University（卡内基梅隆大学）
我们解决了估计大环境宽基线场景的摄像机网络的3D姿态的问题，例如，用于建筑工地、体育场馆和公共场所的摄像机。这项任务是具有挑战性的，因为检测和匹配从两个非常不同的相机视图观察到的相同的3D关键点是困难的，使得标准的运动恢复结构（SfM）流水线不适用。在这种情况下，将场景中的人视为“关键点”并将它们跨不同的相机视图相关联可以是用于获得对应性的替代方法。基于这种直觉，我们提出了一种方法，使用的想法，从人重新识别（重新ID）的宽基线相机校准。我们的方法首先采用了一个re-ID的方法来关联人的边界框跨相机，然后将限界框对应转换为点对应，最后解决相机姿态使用多视图几何和光束法平差。由于我们的方法不需要专门的校准目标，除了可见的人，它适用于需要频繁校准更新的情况。我们对从不同大小的场景，相机设置（室内和室外）和人类活动（步行，打篮球，建筑）捕获的数据集进行了广泛的实验。实验结果表明，我们的方法实现了类似的性能标准的SfM方法依赖于手动标记的点对应。
2021-04-17 cs.CV
DIOR: Dataset for Indoor-Outdoor Reidentification -- Long Range 3D/2D Skeleton Gait Collection Pipeline, Semi-Automated Gait Keypoint Labeling and Baseline Evaluation Methods
University at Buffalo, SUNY（纽约州立大学布法罗分校）
本文提出DIOR框架，构建含14名受试者、164.9万帧RGB图像的室内外步态再识别数据集，并通过低成本混合3D视觉与学习流程实现远距离骨架半自动标注。
2023-09-21 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Diverse Part Discovery: Occluded Person Re-identification with Part-Aware Transformer
University of Science and Technology of China（中国科学技术大学）；Dongguan University of Technology（东莞理工学院）
被遮挡人员重新识别（Re-ID）是一项具有挑战性的任务，因为人员经常被各种障碍物或其他人遮挡，特别是在人群场景中。为了解决这些问题，我们提出了一种新的端到端的部分感知Transformer（PAT）闭塞的人重新识别通过不同的部分发现通过一个Transformer encoderdecoder架构，包括一个基于像素上下文的Transformer编码器和一个基于部分原型的Transformer解码器。所提出的PAT模型具有几个优点。首先，据我们所知，这是第一个在统一的深度模型中利用Transformer编码器-解码器架构来实现被遮挡人员Re-ID的工作。其次，为了更好地学习零件原型，我们设计了两个有效的机制，包括零件多样性和零件可辨别性。因此，我们可以实现不同的部分发现被遮挡的人Re-ID在弱监督的方式。针对三个任务（遮挡，部分和整体Re-ID）的六个具有挑战性的基准测试的广泛实验结果表明，我们提出的PAT对最先进的方法表现良好。
2021-06-08 cs.CV
DeepTaxon: An Interpretable Retrieval-Augmented Multimodal Framework for Unified Species Identification and Discovery
National University of Singapore（新加坡国立大学）；Hunan University（湖南大学）；Xiangtan University（湘潭大学）；Hunan Normal University（湖南师范大学）；Zhejiang University（浙江大学）；Cornell University（康奈尔大学）；Meituan（美团）
DeepTaxon通过可解释的检索增强多模态框架，统一物种识别与发现，通过检索证据进行链式推理，提升识别和发现的准确性与可解释性。
2026-04-27 cs.CL cs.CV cs.IR
Beyond Appearance: Transformer-based Person Identification from Conversational Dynamics
Department of Computational Linguistics, University of Zurich, Zurich, Switzerland（计算语言学系，苏黎世大学，苏黎世，瑞士）
该研究针对自然面对面对话场景的人物识别问题，提出基于COCO WholeBody关键点的双流Transformer框架，经实验验证领域特定训练及特征融合可实现98.03%的高准确率，为相关研究提供参考。
2025-10-06 cs.CV
Self-supervised Geometric Features Discovery via Interpretable Attention for Vehicle Re-Identification and Beyond
Worcester Polytechnic Institute（伍斯特理工学院）
为了学习可区分的模式，最近的大多数车辆重新识别（ReID）工作都在努力重新开发官方基准以提供各种监督，这需要大量的人力。在本文中，我们寻求实现类似的目标，但不涉及更多的人力。为此，我们引入了一个新的框架，它成功地编码几何局部特征和全局表示来区分车辆实例，仅通过官方ID标签的监督进行优化。具体来说，鉴于我们的洞察力，ReID中的对象共享相似的几何特征，我们建议借用自监督表示学习，以促进几何特征发现。为了浓缩这些特征，我们引入了一个可解释的注意力模块，其核心是局部最大值聚合而不是全自动学习，其机制是完全可以理解的，其响应图是物理上合理的。据我们所知，我们是第一个执行自监督学习来发现几何特征的人。我们对三个最流行的车辆ReID数据集进行了全面的实验，即，VeRi-776、CityFlow-ReID和VehicleID。我们报告我们的国家的最先进的（SOTA）的性能和有前途的可视化结果。我们还展示了我们的方法在其他ReID相关任务上的出色可扩展性，即，个人ReID和多目标多摄像头（MTMC）车辆跟踪。
2023-01-06 cs.CV
Self-supervised Geometric Features Discovery via Interpretable Attentio for Vehicle Re-Identification and Beyond (Complete Version)
Worcester Polytechnic Institute（伍斯特理工学院）
为了学习可区分的模式，最近的大多数车辆重新识别（ReID）工作都在努力重新开发官方基准以提供各种监督，这需要大量的人力。在本文中，我们寻求实现类似的目标，但不涉及更多的人力。为此，我们引入了一个新的框架，它成功地编码几何局部特征和全局表示来区分车辆实例，仅通过官方ID标签的监督进行优化。具体来说，鉴于我们的洞察力，ReID中的对象共享相似的几何特征，我们建议借用自监督表示学习，以促进几何特征发现。为了浓缩这些特征，我们引入了一个可解释的注意力模块，其核心是局部最大值聚合而不是全自动学习，其机制是完全可以理解的，其响应图是物理上合理的。据我们所知，我们是第一个执行自监督学习来发现几何特征的人。我们对三个最流行的车辆ReID数据集进行了全面的实验，即，VeRi-776、CityFlow-ReID和VehicleID。我们报告我们的国家的最先进的（SOTA）的性能和有前途的可视化结果。我们还展示了我们的方法在其他ReID相关任务上的出色可扩展性，即，个人ReID和多目标多摄像头（MTMC）车辆跟踪。该代码可在https://github.com/ ming 1993 li/Self-supervised-Geometric上获得。
2023-02-05 cs.CV
Co-Occurring of Object Detection and Identification towards unlabeled object discovery
University of Central Florida（中佛罗里达大学）
提出一种基于深度学习的两阶段方法，通过检测边界框和共现矩阵分析识别多标签图像中与基础目标共现的目标，并在Pascal VOC和MS-COCO数据集上验证，进一步扩展至未标记和遮挡目标场景。
2024-03-25 cs.AI cs.CV cs.LG
PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对基于部位的可见光-红外行人重识别（VI-ReID）模型，提出新型数据增强技术PartMix，通过跨模态混合部位描述符合成正负样本并结合对比学习与基于熵的挖掘策略进行正则化，有效防止过拟合并提升了模型性能。
2023-04-04 cs.CV
CLIP-Driven Semantic Discovery Network for Visible-Infrared Person Re-Identification
Beijing Institute of Technology（北京理工大学）；Nanjing University of Science and Technology（南京理工大学）；Beihang University（北京航空航天大学）；Yunnan University（云南大学）
本文提出CLIP驱动语义发现网络CSDN，通过双模态提示学习与高层语义嵌入弥合可见光-红外模态差异，提升行人重识别性能。
2024-01-12 cs.CV
