DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses
Peking University（北京大学）；NUS（新加坡国立大学）；HKUST（香港科技大学）；UCF（中佛罗里达大学）；Everlyn AI（Everlyn AI公司）；PengCheng Laboratory（鹏城实验室）
本文提出DreamDance，通过互对齐几何扩散模型从2D姿态生成深度与法线等3D线索，并由跨域控制器结合视频扩散实现高质量人物动画，构建TikTok-Dance5K并达到SOTA。
2024-11-30 cs.CV
Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点，我们介绍了新的人在相册（PIPA）数据集，包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸，识别任务是非常具有挑战性的，由于姿势，服装，相机的观点，图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition（PIPER）方法，该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索，以折扣姿态变化，结合面部识别器和全局识别器。在三种不同设置上的实验证实，在我们的无约束设置中，PIPER显着提高了DeepFace的性能，DeepFace是在LFW数据集上测量的最佳人脸识别器之一。
2015-01-30 cs.CV
Self-supervised Video Object Segmentation by Motion Grouping
University of Oxford（牛津大学）
动物已经进化出高度功能性的视觉系统来理解运动，即使在复杂的环境下也能帮助感知。在本文中，我们致力于开发一个计算机视觉系统，能够分割对象，利用运动线索，即运动分割。我们做了以下贡献：首先，我们介绍了一个简单的变种的Transformer分割光流帧的主要对象和背景。其次，我们以自我监督的方式训练架构，即不使用任何手动注释。第三，我们分析了我们的方法的几个关键组成部分，并进行彻底的消融研究，以验证其必要性。第四，我们在公共基准测试（DAVIS2016，SegTrackv2和FBMS59）上评估了所提出的架构。尽管只使用光流作为输入，我们的方法实现了优于或可比的结果，以前的国家的最先进的自我监督的方法，同时是一个数量级更快。我们还评估了一个具有挑战性的伪装数据集（MoCA），显著优于其他自监督方法，并与顶级监督方法进行了比较，突出了运动线索的重要性，以及对现有视频分割模型中视觉外观的潜在偏见。
2021-08-11 cs.CV cs.LG
UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues
Queen’s University（女王大学）；Ubisoft LaForge（育碧拉福奇工作室）
本研究提出UPose3D多视角3D人体姿态估计方法，通过姿态编译器融合时序与跨视角信息、结合预测不确定性，无需3D标注即可在分布外达最优，分布内性能媲美3D监督方法且为2D监督方法中最优。
2024-07-10 cs.CV
Simultaneous Learning from Human Pose and Object Cues for Real-Time Activity Recognition
Colorado School of Mines（科罗拉多矿业学院）；U.S. Army Research Laboratory（美国陆军研究实验室）
实时的【形】人体活动识别在以人为中心的机器人应用中起着至关重要的作用，例如辅助生活和人机协作。虽然先前的基于骨架数据来编码人类姿势的方法在实时的【形】活动识别上显示出有希望的结果，但是它们缺乏考虑场景内的对象提供的上下文和人类使用的上下文的能力，这可以提供人类活动类别之间的进一步判别。在本文中，我们提出了一种新的方法来实时的【形】人类活动识别，通过同时学习从观察的人的姿势和对象参与的人类活动。我们将人体活动识别作为一个统一的数学框架下的联合优化问题，它使用一个回归类损失函数，以整合人体姿势和对象线索，并定义结构化的稀疏诱导规范，以确定歧视性的身体关节和对象属性。为了评估我们的方法，我们在两个基准数据集和一个物理机器人上进行了大量的实验。实验结果表明，该方法的识别性能优于以往的方法，并获得了实时的【形】人体活动识别性能，处理速度为10^4 Hz。
2020-03-26 cs.CV cs.RO
VPHO: Joint Visual-Physical Cue Learning and Aggregation for Hand-Object Pose Estimation
针对现有手-物体姿态估计方法易违反物理约束、难以端到端训练的问题，本文提出VPHO框架，通过联合学习视觉与物理线索、聚合扩散生成的候选姿态，实现了精度与物理合理性更优的3D手物姿态估计。
2025-11-15 cs.CV
Crafting Monocular Cues and Velocity Guidance for Self-Supervised Multi-Frame Depth Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院）；PhiGent Robotics（鉴智机器人）；Southeast University（东南大学）
自监督单目方法可以有效地学习弱纹理表面或反射物体的深度信息。然而，由于单目几何建模中固有的模糊性，深度精度受到限制。相比之下，多帧深度估计方法由于直接利用几何约束的多视图立体视觉（MVS）的成功而提高了深度精度。不幸的是，MVS经常遭受无纹理区域、非朗伯表面和移动对象的影响，特别是在没有已知相机运动和深度监督的真实世界视频序列中。因此，我们提出了MOVEDepth，它利用MONOCULAR线索和VElocity指导来改善多帧深度学习。与现有的MVS深度和单目深度之间的一致性方法不同，MOVEDepth通过直接解决MVS的固有问题来增强多帧深度学习。我们的方法的关键是利用单目深度作为几何优先级来构造MVS成本体积，并在预测的摄像机速度的指导下调整成本体积的深度候选。我们进一步融合单目深度和MVS深度通过学习成本量的不确定性，这导致在一个强大的深度估计对多视图几何模糊。大量的实验表明，MOVEDepth实现了最先进的性能：与Monodepth 2和PackNet相比，我们的方法在KITTI基准测试中的深度精度分别提高了20%和19.8%。MOVEDepth还推广到更具挑战性的DDAD基准，相对优于ManyDepth 7.2%。该代码可在https://github.com/JeffWang987/MOVEDepth上获得。
2022-08-19 cs.CV
Cross Pixel Optical Flow Similarity for Self-Supervised Learning
University of Oxford（牛津大学）
我们提出了一种新的方法来学习卷积神经图像表示，而无需人工监督。我们使用光流形式的运动线索来监督静态图像的表示。训练网络以从单个图像预测流量的明显方法可能是不必要的困难，因为这种预测任务中存在固有的模糊性。相反，我们提出了一个简单得多的学习目标：嵌入像素，使它们的嵌入之间的相似性匹配的光流向量之间。在测试时，可以在不访问视频或流信息的情况下使用学习的深度网络，并将其转移到图像分类、检测和分割等任务中。我们的方法大大简化了以前使用运动进行自我监督的尝试，在使用运动线索的自我监督中实现了最先进的结果，一般来说，自我监督的竞争结果，并且在语义图像分割的自我监督预训练中是最先进的，如标准基准测试所示。
2018-07-15 cs.CV cs.LG cs.NE
SemiMultiPose: A Semi-supervised Multi-animal Pose Estimation Framework
Columbia University（哥伦比亚大学）；Georgia Tech（佐治亚理工学院）
多动物姿态估计是神经行为学和神经科学研究动物社会行为的基础。已经提出了先进的方法来支持多动物估计并实现最先进的性能。然而，这些模型在训练过程中很少利用未标记的数据，即使现实世界的应用程序中未标记的帧比标记的帧要多。为大量图像或视频手动添加密集注释成本高昂且劳动密集，尤其是对于多个实例。鉴于这些不足，我们提出了一种新的半监督架构，用于多动物姿态估计，利用行为视频中未标记帧中普遍存在的丰富结构来增强训练，这对于稀疏标记问题至关重要。由此产生的算法将提供优越的多动物姿态估计结果的三个动物实验相比，国家的最先进的基线，并表现出更高的预测能力，稀疏标记的数据制度。
2022-04-14 cs.CV cs.LG
Single Image Depth Estimation Trained via Depth from Defocus Cues
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
从单个RGB图像估计深度是计算机视觉中的一项基本任务，这是使用监督深度学习最直接解决的。在从单个RGB图像进行深度的无监督学习的领域中，没有明确地给出深度。该领域的现有工作接收立体对、单目视频或多个视图，并且使用基于运动恢复结构的损失来训练深度估计网络。在这项工作中，我们依靠的是焦点线索的深度，而不是不同的视角。学习是基于一个新的点扩散函数卷积层，它应用了从每个图像位置的混淆圈中产生的位置特定的内核。我们评估我们的方法的数据来自五个常见的数据集的深度估计和光场图像，目前的结果是与监督方法KITTI和Make3D数据集和优于无监督学习方法。由于散焦的深度现象不是特定于数据集的，因此我们假设基于它的学习将过拟合到每个数据集中的特定内容。我们的实验表明，情况确实如此，并且使用我们的方法在一个数据集上学习的估计器在其他数据集上提供了比直接监督方法更好的结果。
2020-01-14 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute（丰田工业大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对静止图像中的人体姿态估计，本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计，但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案，这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中，只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高，所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态，但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
Self-supervised HDR Imaging from Motion and Exposure Cues
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近的高动态范围（HDR）技术扩展了当前相机的能力，其中具有宽范围照明的场景不能用单个低动态范围（LDR）图像准确地捕获。这通常通过捕获具有变化的曝光值的若干LDR图像来实现，然后将其信息并入合并的HDR图像中。虽然这种方法对于静态场景工作良好，但动态场景提出了若干挑战，主要涉及难以找到可靠的像素对应。数据驱动的方法通过利用成对的LDR-HDR训练数据学习端到端映射来解决该问题，但是在实践中，生成用于动态场景的这样的HDR地面实况标签是耗时的，并且需要复杂的过程，该过程假定对场景的某些动态元素（例如，演员姿势）和可重复的照明条件（定格捕捉）的控制。在这项工作中，我们提出了一种新的自监督方法，用于可学习的HDR估计，该方法消除了对HDR地面真实标签的需求。我们建议利用LDR图像的内部统计数据来创建HDR伪标签。我们分别利用输入图像的静态和曝光良好的部分，结合合成照明裁剪和运动增强，提供高质量的训练样本。实验结果表明，使用我们提出的自我监督方法训练的HDR模型与在完全监督下训练的模型相比，性能具有竞争力，并且在很大程度上优于以前同样不需要任何监督的方法。
2022-03-23 cs.CV
Gated Stereo: Joint Depth Estimation from Gated and Wide-Baseline Active Stereo Cues
Mercedes-Benz（梅赛德斯-奔驰）；Princeton University（普林斯顿大学）；Algolux（Algolux公司）
提出Gated Stereo深度估计技术，结合单目与立体预测分支并利用门控自监督损失，在160米距离内MAE较现有方法最高提升74%。
2023-05-22 cs.CV
GeoGraph: Learning graph-based multi-view object detection with geometric cues end-to-end
IRISA, Université Bretagne Sud（布列塔尼南部大学IRISA研究所）；ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种端到端的可学习方法，从多个视图中检测静态城市对象，重新识别实例，并最终为每个对象分配地理位置。我们的方法依赖于一个图神经网络（GNN），检测所有的对象，并输出其地理位置给定的图像和近似的相机姿态作为输入。我们的GNN同时对相对姿态和图像证据进行建模，并且还能够处理任意数量的输入视图。我们的方法是强大的闭塞，与相邻对象的外观相似，并通过联合推理视觉图像外观和相对姿态的观点发生严重变化。在两个具有挑战性的大规模数据集上进行的实验评估以及与最先进方法的比较表明，在准确性和效率方面都有显着和系统性的改进，检测和re-ID平均精度提高了2-6%，训练时间减少了8倍。
2020-03-24 cs.CV
Weakly Supervised Semantic Segmentation using Out-of-Distribution Data
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Tübingen（图宾根大学）；Sogang University（西江大学）
弱监督语义分割（WSSS）方法通常建立在从分类器获得的像素级定位图上。然而，仅在类别标签上训练，分类器遭受前景和背景线索（例如训练和铁路）之间的虚假相关，从根本上限制了WSSS的性能。以前曾努力通过额外的监督来解决这个问题。我们提出了一种新的信息源来区分前景和背景：分布外（OoD）数据，或没有前景对象类的图像。特别是，我们利用分类器可能做出假阳性预测的硬OoD。这些样本通常在背景（例如铁轨）上携带关键的视觉特征，分类器经常将其混淆为前景（例如训练），因此这些线索让分类器正确地抑制虚假的背景线索。获取这样的硬OoD不需要大量的注释工作;它只会在最初收集类标签的工作之上产生一些额外的图像级标签成本。我们提出了一种方法，W-OoD，利用硬OoDs。W-OoD在Pascal VOC 2012上实现了最先进的性能。
2022-03-08 cs.CV
Exploiting Shape Cues for Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）；LG Uplus
弱监督语义分割（WSSS）的目的是产生像素级的类预测，只有图像级的标签进行训练。为此，以前的方法采用通用管道：它们从类激活映射（CAM）生成伪掩码，并使用这些掩码来监督分割网络。然而，由于CAM的局部属性，即，它们倾向于仅仅关注小的可辨别的对象部分。在本文中，我们将CAM的局部性与卷积神经网络（CNN）的纹理偏置属性联系起来。因此，我们建议利用形状信息来补充纹理偏向的CNN特征，从而鼓励掩模预测不仅全面，而且与对象边界保持良好的一致。我们进一步细化预测在一个在线的时尚与一个新的细化方法，考虑到类和颜色的亲和力，以生成可靠的伪掩模来监督模型。重要的是，我们的模型是在单阶段框架内进行端到端培训的，因此在培训成本方面是有效的。通过在PASCAL VOC 2012上的大量实验，我们验证了我们的方法在产生精确和形状对齐的分割结果方面的有效性。具体来说，我们的模型超过了现有的国家的最先进的单阶段的方法，大幅度。更重要的是，它还实现了一个新的国家的最先进的性能超过多阶段的方法，当采用在一个简单的两阶段管道没有花里胡哨。
2022-08-08 cs.AI cs.CV
Lifting by Image -- Leveraging Image Cues for Accurate 3D Human Pose Estimation
Beijing University of Posts and Telecommunications（北京邮电大学）
针对2D姿态提升中的深度模糊问题，提出两阶段渐进框架，利用姿态引导Transformer层和自适应特征选择模块有效利用图像线索，在Human3.6M和MPI-INF-3DHP数据集上达到最先进性能。
2023-12-25 cs.CV
Polarization Human Shape and Pose Dataset
University of Alberta（阿尔伯塔大学）；Simon Fraser University（西蒙弗雷泽大学）；School of Automation, China University of Geosciences（中国地质大学自动化学院）；University of Guelph（圭尔夫大学）
偏振图像能够捕获偏振反射光，保留物体的丰富几何线索，这促使其最近在重建感兴趣的物体的详细表面法线中的应用。同时，受最近从单色图像中估计人体形状的突破的启发，我们试图研究偏振相机的几何线索是否可以用于估计详细的人体形状的新问题。这导致了Polarization Human Shape and Pose Dataset（PHSPD）的策展，这是我们自主开发的各种人体形状和姿势的偏振图像数据集。
2020-07-29 cs.CV
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
Deakin University（迪肯大学）；Champion Data（冠军数据公司）；Paralympics Australia（澳大利亚残奥委员会）
研究体育视频中精确事件定位问题，提出时间特征蒸馏半监督目标及Transformer Gate Shift模块，通过对齐主干特征保留关键线索，实验显示在多数据集上相比基线有显著提升，减少标注数据仍能取得良好效果。
2026-07-14 cs.CV
Chained Multi-stream Networks Exploiting Pose, Motion, and Appearance for Action Classification and Detection
University of Freiburg（弗莱堡大学）
一般的人类动作识别需要理解各种视觉线索。在本文中，我们提出了一个网络架构，计算和集成最重要的视觉线索的动作识别：姿势，运动和原始图像。对于整合，我们引入了一个马尔可夫链模型，依次添加线索。所得到的方法是有效的，适用于动作分类以及空间和时间的动作定位。这两项贡献明显改善了各自基线的业绩。整体方法在HMDB 51、J-HMDB和NTU RGB+D数据集上实现了最先进的动作分类性能。此外，它产生了最先进的时空动作定位结果UCF 101和J-HMDB。
2017-05-26 cs.AI cs.CV cs.HC
GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Adobe Research（奥多比研究院）；University of Amsterdam（阿姆斯特丹大学）
针对现有三维人-物交互建模忽略手部姿态的问题，提出基于学习的GRIP方法，通过提取时空交互线索、两阶段推理生成逼真双手交互运动，性能优于基线且泛化性好。
2024-07-15 cs.CV
Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Universität Ulm（乌尔姆大学）
我们提出了一个自监督学习算法的三维人体姿态估计的一个人的基础上的多视图摄像机系统和二维人体姿态估计为每个视图。为了训练我们的模型，由深度神经网络表示，我们提出了一种四损失函数学习算法，其不需要任何2D或3D身体姿势地面实况。所提出的损失函数利用多视图几何来重建3D身体姿态估计并在相机视图上施加身体姿态约束。我们的方法在训练期间利用所有可用的相机视图，而推理是单视图。在我们的评估中，我们在Human3.6M和HumanEva基准测试中表现出了良好的性能，同时我们还对MPI-INF-3DHP数据集进行了泛化研究，以及几个消融结果。总的来说，我们优于所有的自监督学习方法，并达到监督和弱监督学习方法的可比结果。我们的代码和模型是公开的
2021-08-17 cs.CV
Improving 6D Object Pose Estimation of metallic Household and Industry Objects
Technical University Darmstadt（达姆施塔特工业大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Threedy GmbH（Threedy有限公司）
针对金属物体6D位姿估计因反光导致准确度下降的问题，提出兼容BOP的新数据集以提供额外几何视觉线索，并在GDRNPP算法中引入关键点预测和材质估计头，有效提升了金属物体的位姿估计精度。
2025-03-05 cs.AI cs.CV
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
相机捕获的人体姿势是几个变化源的结果。有监督的3D姿态估计方法的性能是以免除变化（诸如形状和外观）为代价的，这些变化可能对解决其他相关任务有用。因此，学习的模型不仅灌输了任务偏差，而且还灌输了任务偏差，因为它强烈依赖于注释的样本，这对于弱监督模型也是如此。认识到这一点，我们提出了一个自监督学习框架来解开这种变化从未标记的视频帧。我们利用先验知识的人的骨骼和构成的形式，一个单一的部分为基础的2D木偶模型，人体姿势关节约束，和一组不成对的3D姿势。我们的微分形式化，弥合了3D姿态和空间部分地图之间的代表性差距，不仅有利于发现可解释的姿态解纠缠，而且还允许我们操作不同的相机运动的视频。在野外看不见的数据集上的定性结果建立了我们在3D姿态估计和部分分割的主要任务之外的多个任务上的卓越概括。此外，我们在Human3.6M和MPI-INF-3DHP数据集上展示了最先进的弱监督3D姿态估计性能。
2020-04-09 cs.CV
Semi-Supervised 3D Hand Shape and Pose Estimation with Label Propagation
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）
为了获得3D注释，我们被限制在受控环境或合成数据集，导致我们获得对真实世界场景具有较低概括性的3D数据集。为了在半监督3D手部形状和姿势估计的背景下解决这个问题，我们提出了Pose对齐网络，以将3D注释从标记的帧传播到稀疏注释视频中的附近未标记的帧。我们表明，将对齐监督对标记的未标记的帧，使我们能够提高姿态估计的准确性。此外，我们表明，建议的姿势对齐网络可以有效地传播注释看不见的稀疏标记的视频，而无需微调。
2021-11-30 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
我们建议个性化的人的姿态估计给出了一组测试图像的人，而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展，但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例，我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间，我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验，并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
DeepHMap++: Combined Projection Grouping and Correspondence Learning for Full DoF Pose Estimation
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，利用卷积神经网络（CNN）估计对象实例的6D姿态受到了相当大的关注。根据是否使用中间线索，相关文献可以大致分为两大类：直接方法和两阶段管道。对于后者，中间线索，如3D对象坐标，语义关键点，或虚拟控制点，而不是姿态参数回归CNN在第一阶段。然后，可以通过用这些中间线索构造的对应约束来求解对象姿态。在本文中，我们专注于两阶段流水线的后处理，并提出结合两个学习概念来估计具有挑战性的场景下的物体姿态：一边是投影分组，另一边是对应学习。我们首先采用一种基于局部补丁的方法来预测投影热图，它表示3D包围盒角点投影的置信度分布。然后提出了一个投影分组模块，以从每层热图中去除冗余的局部最大值。代替直接将2D-3D对应关系馈送到透视n点（Perspective-n-point，PPENS）算法，多个对应关系假设从局部最大值及其对应的邻域中采样，并通过对应关系评估网络进行排名。最后，选择具有较高置信度的对应关系来确定对象姿态。在三个公共数据集上的大量实验表明，所提出的框架优于几种最先进的方法。
2019-04-29 cs.CV
It's all Relative: Monocular 3D Human Pose Estimation from Weakly Supervised Data
California Institute of Technology（加州理工学院）
我们解决的问题，三维人体姿态估计从二维输入图像只使用弱监督训练数据。尽管在2D姿态估计方面取得了相当大的成功，但将监督机器学习应用于现实世界图像中的3D姿态估计目前受到缺乏具有对应3D姿态的各种训练图像的阻碍。大多数现有的3D姿态估计算法训练在已经在仔细控制的工作室设置中收集的数据上或者已经合成地生成的数据上。相反，我们采取了不同的方法，并提出了一种3D人体姿势估计算法，只需要在训练时对深度进行相对估计。这样的训练信号虽然有噪声，但是可以容易地从人群注释器收集，并且具有足够的质量以使得能够成功训练和评估3D姿态算法。我们的研究结果与基于Human3.6M数据集的完全监督回归方法相比具有竞争力，尽管使用了明显较弱的训练数据。我们提出的算法打开了大门，使用现有的广泛的2D数据集的3D姿态估计，允许微调与噪声的相对约束，从而导致更准确的3D姿态。
2018-07-28 cs.CV
Pose-MUM : Reinforcing Key Points Relationship for Semi-Supervised Human Pose Estimation
SNUAILAB（首尔大学人工智能实验室）；Seoul National University（首尔国立大学）
在半监督学习的师生框架中，设计良好的强弱增强策略和稳定的教师生成可靠的伪标签是必不可少的。考虑到这些，为了适应半监督人体姿态估计（SSHPE）任务，我们提出了一种新的方法，称为Pose-MUM，它修改了Mix/UnMix（MUM）增强。与密集预测任务中的MUM一样，所提出的Pose-MUM对姿态估计进行了强弱增强，并通过以随机方式在中间层中添加混合过程，使网络能够比传统方法更好地学习每个人体关键点之间的关系。此外，我们采用指数移动平均归一化（EMAN）老师，这是稳定的，非常适合SSL框架，并进一步提高性能。MS-COCO数据集上的大量实验表明，我们提出的方法的优越性，不断提高性能比以前的方法以下SSHPE基准。
2022-03-15 cs.CV
Semi-supervised 3D Hand-Object Pose Estimation via Pose Dictionary Learning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）
三维手目标位姿估计是理解人与环境交互的一个重要问题。目前的手部物体姿态估计方法需要详细的3D标签，这是昂贵的和劳动密集型的。为了解决数据汇集的问题，我们提出了一种半监督的三维手部物体位姿估计方法，其中包括两个关键技术：位姿字典学习和面向对象的坐标系。所提出的位姿字典学习模块可以通过重构误差来区分不可行位姿，使未标记的数据能够提供监督信号。所提出的面向对象的坐标系可以使3D估计等变的相机的角度。在FPHA和HO-3D数据集上进行了实验。我们的方法减少了19.5% / 24.9%的手/物体的估计误差相比，直接使用标记数据FPHA和优于几个基线方法。大量的实验也验证了所提出的方法的鲁棒性。
2021-07-16 cs.CV
Emotional Conversation: Empowering Talking Faces with Cohesive Expression, Gaze and Pose Generation
Beihang University（北京航空航天大学）；School of CSE（计算机学院）；State Key Laboratory of VR Technology and Systems（虚拟现实技术与系统国家重点实验室）
针对音频驱动说话人脸中情绪与表情、注视及头部姿态不对齐的问题，提出以3D标志点为中介的两阶段自监督框架，并在MEAD上显著提升视觉质量与情绪对齐表现。
2024-06-12 cs.CV
Heuristic Weakly Supervised 3D Human Pose Estimation
Northeastern University（东北大学）
本文提出HW-HuP，一种启发式弱监督方法，利用部分姿态先验和深度数据，在无三维标注时估计三维人体姿态，并在床上和野外婴儿场景中优于现有模型，在公开基准上性能相当。
2023-05-12 cs.CV
ChiTransformer:Towards Reliable Stereo from Cues
Georgia State University（佐治亚州立大学）
本文提出受视交叉启发的自监督双目深度估计网络 ChiTransformer，通过 ViT、GPCA 与混合层融合单目线索和跨视图模式，性能提升11%，并适用于鱼眼等非直线图像。
2023-11-01 cs.CV
Diffusion-Driven Self-Supervised Learning for Shape Reconstruction and Pose Estimation
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大学）
提出扩散驱动的自监督网络，利用形状先验实现多目标形状重建与类别级姿态估计，通过先验感知金字塔3D点变换器和预训练到精化范式，在多个数据集上超越现有方法。
2024-03-19 cs.CV
OP-Align: Object-level and Part-level Alignment for Self-supervised Category-level Articulated Object Pose Estimation
Tokyo Institute of Technology, Tokyo, Japan（东京技术大学）；Accenture Japan Ltd, Tokyo, Japan（Accenture日本有限公司）
OP-Align通过单帧点云实现自监督类别级 articulated 对象姿态估计，通过对象级和部分级对齐提升姿态估计性能。
2025-12-04 cs.CV
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
Middle East Technical University（中东技术大学）
训练精确的三维人体姿态估计器需要大量的三维真实数据，而这些数据的采集成本很高，由于缺乏三维数据，各种弱监督或自监督的姿态估计方法被提出。然而，除了2D地面实况姿态之外，这些方法还需要各种形式的额外监督（例如，未配对的3D地面实况数据，标签的小子集）或多视图设置中的相机参数。为了解决这些问题，我们提出了EpipolarPose，一种用于3D人体姿态估计的自监督学习方法，它不需要任何3D地面真实数据或摄像机extrinsics。在训练期间，EpipolarPose从多视图图像估计2D姿态，然后利用对极几何来获得3D姿态和相机几何，其随后用于训练3D姿态估计器。我们证明了我们的方法在标准基准数据集上的有效性，即Human3.6M和MPI-INF-3DHP，其中我们在弱/自监督方法中设置了新的最先进的方法。此外，我们提出了一个新的性能指标姿态结构得分（PSS），这是一个规模不变的，结构感知的措施，以评估相对于其地面真理的姿态的结构可扩展性。代码和预训练模型可在https://github.com/mkocabas/EpipolarPose上获得
2019-04-09 cs.CV
Self-supervised 3D Human Pose Estimation from a Single Image
University of Leeds（利兹大学）
提出一种从单张图像预测3D人体姿态的自监督方法，利用未标注图像和未配对2D姿态训练，无需肢体约束或3D姿态先验，在Human3.6M和MPI-INF-3DHP基准上性能优异，并可扩展至其他铰接结构。
2023-04-05 cs.CV
Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning
Facebook AI Research（Facebook人工智能研究院）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息、图像与信息系统实验室）；Awabot SAS（Awabot公司）；University of Guelph（圭尔夫大学）
我们提出了一种基于两种不同输入训练的深度回归器的手部姿势估计方法。原始深度数据与以将手分割成部分的形式的中间表示融合。这种中间表示包含重要的拓扑信息，并为关节位置的推理提供有用的线索。从原始深度到分割图的映射是以半/弱监督的方式从两个不同的数据集学习的：（i）通过渲染管道创建的合成数据集，包括密集标记的地面实况（逐像素分割）;和（ii）具有真实图像的数据集地面实况联合位置可用，但不是密集分割。在真实图像上训练的损失是从逐块恢复过程中产生的，该过程将试验性分割图与合成姿势的大字典对齐。基本前提是，合成数据和真实数据之间的域移位在中间表示中比在原始输入域中更小，其中标签具有几何和拓扑意义。在纽约大学数据集上的实验表明，与直接从深度数据回归关节相比，所提出的训练方法将关节上的误差减少了15.7%。
2017-09-15 cs.AI cs.CV cs.LG
MSDA: Monocular Self-supervised Domain Adaptation for 6D Object Pose Estimation
Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
从真实图像中获取标记的6D姿态是一项昂贵且耗时的任务。虽然很容易获得大量的合成RGB图像，但由于合成域与真实域之间的差距，在其上训练的模型会遭受明显的性能下降。为了减轻这种退化，我们提出了一种实用的自我监督领域自适应方法，利用真正的RGB（-D）数据，而不需要真正的姿势标签。我们首先使用合成RGB图像对模型进行预训练，然后使用真实RGB（-D）图像对预训练模型进行微调。微调过程是自我监督的基于RGB的姿态感知一致性和深度引导的对象距离伪标签，这不需要耗时的在线可微分渲染。我们建立了我们的领域自适应方法的基础上，最近的姿态估计器SC 6D和评估它的YCB视频数据集。我们的实验表明，我们的方法实现了与其完全监督的对应物相当的性能，同时优于现有的最先进的方法。
2023-02-14 cs.CV
Self-Supervised Geometric Correspondence for Category-Level 6D Object Pose Estimation in the Wild
Tsinghua University（清华大学）；UC San Diego（加州大学圣迭戈分校）；Qualcomm AI Research（高通人工智能研究院）
提出一种基于几何循环一致性的自监督框架，直接利用真实视频学习密集对应以进行类别级6D位姿估计，无需人工标注即可媲美甚至超越监督方法。
2023-04-03 cs.CV cs.LG cs.RO
UDAPose: Unsupervised Domain Adaptation for Low-Light Human Pose Estimation
University of Mississippi（密西西比大学）；National University of Singapore（新加坡国立大学）；Duksung Women’s University（德成女子大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））
UDAPose提出了一种新的框架，通过合成低光图像并动态融合视觉线索与姿态先验，提升低光环境下的人体姿态估计性能。
2026-04-12 cs.AI cs.CV
Self6D: Self-Supervised Monocular 6D Object Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Tsinghua University（清华大学）；Google（谷歌）
目标的6维姿态估计是计算机视觉中的一个基本问题。卷积神经网络（CNN）最近已被证明能够甚至从单目图像预测可靠的6D姿态估计。尽管如此，CNN被认为是非常数据驱动的，并且获取足够的注释通常非常耗时和劳动密集型。为了克服这个缺点，我们提出了单目6D姿态估计的想法，通过自监督学习，消除了真正的注释的需要。在用合成RGB数据训练我们提出的完全监督的网络之后，我们利用神经渲染的最新进展，进一步在未注释的真实RGB-D数据上自我监督模型，寻求视觉和几何上的最佳对齐。广泛的评估表明，我们提出的自我监督是能够显着提高模型的原始性能，优于所有其他方法依赖于合成数据或采用精心设计的技术，从领域自适应领域。
2020-08-03 cs.CV
Slim DensePose: Thrifty Learning from Sparse Annotations and Motion Cues
Facebook AI Research（Facebook人工智能研究院）；University of Oxford（牛津大学）；Ariel AI
DensePose通过将图像像素密集映射到体表坐标来取代传统的地标检测器。然而，这种能力大大增加了注释时间，因为监督模型需要手动标记每个姿势实例的数百个点。因此，在这项工作中，我们寻求方法来显着瘦身的DensePose注释，提出更有效的数据汇集策略。特别是，我们证明，如果注释收集在视频帧中，它们的功效可以通过使用运动线索免费倍增。为了探索这个想法，我们引入了DensePose-Track，这是一个视频数据集，其中选定的帧以传统的DensePose方式进行注释。然后，基于DensePose映射的几何属性，我们使用视频动态来及时传播地面实况注释，并从Siamese等方差约束中学习。在对各种数据注释和学习策略进行了详尽的经验评估后，我们证明这样做可以在强基线上显着改善姿态估计结果。然而，尽管最近的一些作品所建议的，我们表明，仅仅通过应用几何变换到孤立的帧合成运动模式是显着不太有效的，运动线索时，他们从视频中提取的帮助要大得多。
2019-06-13 cs.CV
Efficient, Self-Supervised Human Pose Estimation with Inductive Prior Tuning
Princeton University（普林斯顿大学）
本研究针对自监督2D人体姿态估计精度不足的问题，通过分析重建与姿态精度的关系、构建轻量化模型流水线及提出新评估指标，结合重建损失与归纳先验提升了自监督HPE的性能。
2023-11-06 cs.CV
SelfPose3d: Self-Supervised Multi-Person Multi-View 3d Pose Estimation
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
SelfPose3d 提出一种仅依赖多视角图像和二维伪姿态的自监督多人三维姿态估计方法，通过自监督三维定位、可微分渲染和自适应监督注意力机制，在多个基准上达到与全监督方法相当的性能。
2024-06-08 cs.CV
TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video
University of British Columbia（英属哥伦比亚大学）
从视频中估计三维人体姿态是一个具有挑战性的问题。缺乏3D人体姿势注释是监督训练和泛化到不可见数据集的主要障碍。在这项工作中，我们通过提出一种不需要3D注释或校准相机的弱监督训练方案来解决这个问题。所提出的方法依赖于时间信息和三角剖分。使用来自多个视图的2D姿态作为输入，我们首先估计相对相机方向，然后通过三角测量生成3D姿态。三角测量仅应用于具有高2D人体关节置信度的视图。然后，使用所生成的3D姿态来训练递归提升网络（RLN），该递归提升网络从2D姿态估计3D姿态。我们进一步将多视图重投影损失应用于估计的3D姿态，并强制从多视图估计的3D姿态是一致的。因此，我们的方法在实践中放松了约束，只需要多视图视频进行训练，因此便于在野外设置。在推理时，RLN仅需要单视图视频。该方法在两个具有挑战性的数据集Human3.6M和MPI-INF-3DHP上的性能优于以前的工作。代码和预训练模型将公开提供。
2021-05-14 cs.CV
Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation
National University of Singapore（新加坡国立大学）
用于6D对象姿态估计的现有技术方法需要大量标记数据来训练深度网络。然而，6D对象姿态标注的获取是大量繁琐且劳动密集的。为了缓解这个问题，我们提出了一个弱监督的6D对象姿态估计方法的基础上2D关键点检测。我们的方法只在视点之间具有已知相对变换的图像对上训练。具体来说，我们分配一组任意选择的3D关键点来表示每个未知的目标3D对象，并学习一个网络来检测它们符合相对相机视点的2D投影。在推理过程中，我们的网络首先从查询图像和给定的标记参考图像中推断出2D关键点。然后，我们使用这些2D关键点和从训练中保留的任意选择的3D关键点来推断6D对象姿势。大量的实验表明，我们的方法实现了与最先进的完全监督的方法相当的性能。
2022-03-07 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey（萨里大学）
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计，消除了漂移问题，影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要，并且与之前的半监督方法不同，避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法，而且很明显它如何塑造重建和防止漂移。因此，我们相信这将是一个有价值的工具，任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估，这是最大的多相机和无标记数据集，我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object Pose Estimation
Virginia Tech（弗吉尼亚理工大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
类别级对象姿态估计旨在从已知类别中找到先前未见过的对象实例的6D对象姿态，而无需访问对象CAD模型。为了减少类别级学习所需的大量姿态标注，我们首次提出了一种自监督学习框架，用于从单个3D点云估计类别级6D对象姿态。在训练过程中，我们的方法假设没有地面实况姿态标注，没有CAD模型，也没有多视图监督。我们的方法的关键是通过一个由SE（3）等变点云网络授权的不变形状重建模块和等变姿态估计模块来解开形状和姿态。不变形状重建模块学习执行对齐重建，在不使用任何注释的情况下产生类别级参考框架。此外，等变姿态估计模块实现了与一些完全监督方法相当的类别级姿态估计精度。大量的实验证明了我们的方法对ModelNet 40基准测试的完整和部分深度点云以及NOCS-REAL 275数据集的真实深度点云的有效性。包含代码和可视化的项目页面可以在https://dragonlong.github.io/equi-pose上找到。
2021-10-30 cs.CV
Distill Knowledge from NRSfM for Weakly Supervised 3D Pose Learning
Carnegie Mellon University（卡内基梅隆大学）
我们建议通过从运动中提取非刚性运动恢复结构（NRSfM）的知识来学习3D姿态估计器。我们的方法仅使用2D地标注释。不需要3D数据、多视图/时间镜头或特定于对象的先验。这就增加了数据瓶颈，这是监督方法的主要问题之一。使用NRSfM作为教师的挑战是，当2D投影具有很强的模糊性时，它们通常会进行很差的深度重建。直接使用这些错误的深度作为硬目标会对学生产生负面影响。相反，我们提出了一种新的损失，将深度预测与NRSfM中使用的成本函数联系起来。这给予学生姿态估计器通过与图像特征相关联来减少深度误差的自由。在H3.6M数据集上验证，我们学习的3D姿态估计网络与NRSfM方法相比实现了更准确的重建。它也优于其他弱监督方法，尽管使用的监督明显较少。
2019-08-18 cs.CV
A Correct-and-Certify Approach to Self-Supervise Object Pose Estimators via Ensemble Self-Training
Massachusetts Institute of Technology（麻省理工学院）
提出一种集成自训练方法，结合鲁棒校正器与正确性证书，实现物体姿态估计器的自监督训练，在YCBV和TLESS数据集上超越全监督基线。
2023-05-11 cs.CV cs.LG cs.RO
Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos
University of California, Irvine（加州大学尔湾分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
直接从RGB图像估计3D手部姿势具有挑战性，但最近通过使用注释的3D姿势训练深度模型取得了稳定进展。然而，注释3D姿势是困难的，因此只有少数3D手姿势数据集可用，所有样本都有限。在这项研究中，我们提出了一个新的框架，从RGB图像训练三维姿态估计模型，而不使用显式的三维注释，即，仅使用2D信息进行训练。我们的框架是由两个观察的动机：1）视频提供更丰富的信息，估计3D posesas而不是静态图像; 2）估计的3D poses应该是一致的，无论是在向前或反向顺序观看的视频。我们利用这两个方面来开发一个自监督学习模型，称为时间感知自监督网络（TASSN）。通过强制执行时间一致性约束，TASSN从仅具有2D关键点位置注释的视频中学习3D手部姿势和网格。实验表明，我们的模型取得了令人惊讶的好结果，3D估计精度与用3D注释训练的最先进的模型相当，突出了约束3D预测模型的时间一致性的好处。
2020-12-06 cs.CV
Multiview-Consistent Semi-Supervised Learning for 3D Human Pose Estimation
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan人工智能公司）；IISc Bangalore（印度科学学院班加罗尔分校）；University of California, San Diego（加州大学圣地亚哥分校）
用于从单目图像进行3D人体姿态估计的最佳执行方法需要大量的野外2D和受控3D姿态注释数据集，这些数据集是昂贵的并且需要复杂的系统来获取。为了减少这种注释依赖性，我们提出了多视图一致的半监督学习（MCSS）框架，该框架利用来自未注释，未校准但同步的人体运动多视图视频的姿势信息的相似性作为额外的弱监督信号来指导3D人体姿势回归。我们的框架应用硬否定挖掘的时间关系的基础上，在多视图视频到达一个多视图一致的姿势嵌入。当使用有限的3D姿势注释进行联合训练时，我们的方法将基线提高了25%，最先进的提高了8.7%，同时使用了更小的网络。最后，但重要的是，我们展示了学习嵌入的优势，并在两个流行的、公开可用的多视图人体姿势数据集Human 3.6M和MPI-INF-3DHP上建立了视图不变的姿势检索基准，以促进未来的研究。
2020-02-25 cs.CV
Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views
Seoul National University（首尔国立大学）；Central South University（中南大学）
本文提出双目第一人称三维姿态重建系统 Ego3DPose，通过双路径网络和透视感知表示利用立体对应与透视线索，在 UnrealEgo 数据集上将 MPJPE 误差降低 23.1%。
2023-09-21 cs.CV
