Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation
National Engineering Research Center of Visual Technology, Peking University（北京大学视觉技术国家工程研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Chinese Academy of Sciences（中国科学院大学）
该研究提出带JPMA模块的D3DP扩散式3D人体姿态估计方法，生成多姿态假设并逐关节重投影聚合，在两个基准数据集上精度优于现有确定性与概率性方法。
2023-08-23 cs.CV
It's all Relative: Monocular 3D Human Pose Estimation from Weakly Supervised Data
California Institute of Technology（加州理工学院）
我们解决的问题，三维人体姿态估计从二维输入图像只使用弱监督训练数据。尽管在2D姿态估计方面取得了相当大的成功，但将监督机器学习应用于现实世界图像中的3D姿态估计目前受到缺乏具有对应3D姿态的各种训练图像的阻碍。大多数现有的3D姿态估计算法训练在已经在仔细控制的工作室设置中收集的数据上或者已经合成地生成的数据上。相反，我们采取了不同的方法，并提出了一种3D人体姿势估计算法，只需要在训练时对深度进行相对估计。这样的训练信号虽然有噪声，但是可以容易地从人群注释器收集，并且具有足够的质量以使得能够成功训练和评估3D姿态算法。我们的研究结果与基于Human3.6M数据集的完全监督回归方法相比具有竞争力，尽管使用了明显较弱的训练数据。我们提出的算法打开了大门，使用现有的广泛的2D数据集的3D姿态估计，允许微调与噪声的相对约束，从而导致更准确的3D姿态。
2018-07-28 cs.CV
TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video
University of British Columbia（英属哥伦比亚大学）
从视频中估计三维人体姿态是一个具有挑战性的问题。缺乏3D人体姿势注释是监督训练和泛化到不可见数据集的主要障碍。在这项工作中，我们通过提出一种不需要3D注释或校准相机的弱监督训练方案来解决这个问题。所提出的方法依赖于时间信息和三角剖分。使用来自多个视图的2D姿态作为输入，我们首先估计相对相机方向，然后通过三角测量生成3D姿态。三角测量仅应用于具有高2D人体关节置信度的视图。然后，使用所生成的3D姿态来训练递归提升网络（RLN），该递归提升网络从2D姿态估计3D姿态。我们进一步将多视图重投影损失应用于估计的3D姿态，并强制从多视图估计的3D姿态是一致的。因此，我们的方法在实践中放松了约束，只需要多视图视频进行训练，因此便于在野外设置。在推理时，RLN仅需要单视图视频。该方法在两个具有挑战性的数据集Human3.6M和MPI-INF-3DHP上的性能优于以前的工作。代码和预训练模型将公开提供。
2021-05-14 cs.CV
CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations
Amazon Lab126（亚马逊Lab126）；University of Washington（华盛顿大学）
为了提高3D人体姿态估计器的泛化能力，许多现有的基于深度学习的模型专注于向训练姿态添加不同的增强。然而，数据增强技术仅限于“可见”的姿态组合，并且难以推断具有罕见的“不可见”关节位置的姿态。为了解决这个问题，我们提出了CameraPose，这是一个弱监督的框架，用于从单个图像中估计3D人体姿势，它不仅可以应用于2D-3D姿势对，还可以应用于2D单独的注释。通过添加相机参数分支，任何野外2D注释都可以被馈送到我们的管道中，以提高训练多样性，并且可以通过重新投影回2D来隐式地学习3D姿势。此外，CameraPose还引入了一个具有置信度引导损失的细化网络模块，以进一步提高2D姿态估计器提取的噪声2D关键点的质量。实验结果表明，CameraPose在跨场景数据集上带来了明显的改进。值得注意的是，它在最具挑战性的数据集3DPW上比基线方法好3 mm。此外，通过将我们提出的细化网络模块与现有的3D姿态估计器相结合，可以提高它们在跨场景评估中的性能。
2023-01-08 cs.CV
Weakly-supervised 3D Human Pose Estimation with Cross-view U-shaped Graph Convolutional Network
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；National University of Defense Technology（国防科技大学）
虽然单目三维人体姿态估计方法已经取得了显著的进展，但由于固有的深度模糊性，它远未得到解决。相反，利用多视图信息是实现绝对3D人体姿态估计的实用方法。在本文中，我们提出了一个简单而有效的管道弱监督交叉视图三维人体姿态估计。通过仅使用两个相机视图，我们的方法可以以弱监督的方式实现最先进的性能，不需要3D地面实况，而只需要2D注释。具体来说，我们的方法包括两个步骤：三角剖分和细化。首先，给定可以通过任何经典的2D检测方法获得的2D关键点，跨两个视图执行三角测量以将2D关键点提升到粗略的3D姿态。然后，一种新的交叉视图U形图卷积网络（CV-UGCN），它可以探索的空间配置和交叉视图的相关性，被设计用于细化粗略的3D姿态。特别是，细化的进展是通过弱监督学习，其中几何和结构感知的一致性检查进行。我们在标准基准数据集Human3.6M上评估了我们的方法。基准数据集上的平均每关节位置误差为27.4 mm，显著优于现有的最先进方法（27.4 mm vs 30.2 mm）。
2022-05-17 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey（萨里大学）
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计，消除了漂移问题，影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要，并且与之前的半监督方法不同，避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法，而且很明显它如何塑造重建和防止漂移。因此，我们相信这将是一个有价值的工具，任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估，这是最大的多相机和无标记数据集，我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
Diffusion-based Pose Refinement and Muti-hypothesis Generation for 3D Human Pose Estimaiton
Chongqing University of Technology（重庆理工大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对3D人体姿态估计中概率模型生成的假设偏差大及单假设预测弱的问题，提出基于扩散的细化框架DRPose，通过逆向扩散与多步多噪声细化，结合SGCT和PRM模块，在单假设与多假设3DHPE上均达到最先进性能。
2024-01-10 cs.CV
Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach
Fudan University（复旦大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
在本文中，我们研究的任务，三维人体姿态估计在野外。由于缺乏训练数据，该任务具有挑战性，因为现有数据集要么在具有2D姿态的野生图像中，要么在具有3D姿态的实验室图像中。我们提出了一种弱监督的迁移学习方法，该方法在统一的深度神经网络中使用混合的2D和3D标签，该网络呈现两级级联结构。我们的网络用3D深度回归子网络增强了最先进的2D姿态估计子网络。与之前的两阶段方法不同，训练这两个子网络是顺序和单独的，我们的训练是端到端的，并充分利用了2D姿态和深度估计子任务之间的相关性。通过共享表示可以更好地学习深层特征。在这样做时，受控实验室环境中的3D姿势标签被转移到野生图像中。此外，我们引入了3D几何约束来正则化3D姿态预测，这在没有地面真实深度标签的情况下是有效的。我们的方法在2D和3D基准上都取得了有竞争力的结果。
2017-07-30 cs.CV
Learning in an Uncertain World: Representing Ambiguity Through Multiple Hypotheses
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多预测任务包含不确定性。在某些情况下，不确定性是任务本身固有的。例如，在未来的预测中，许多不同的结果同样有效。在其他情况下，不确定性来自数据的标记方式。例如，在目标检测中，许多感兴趣的对象通常未被标记，而在人体姿态估计中，被遮挡的关节通常被标记有模糊值。在这项工作中，我们专注于处理这种情况的原则性方法。特别是，我们提出了一个框架，重新制定现有的单预测模型的多假设预测（MHP）模型和相关的Meta损失和优化程序，训练他们。为了证明我们的方法，我们考虑四个不同的应用程序：人体姿态估计，未来预测，图像分类和分割。我们发现，MHP模型优于他们的单假设同行在所有情况下，MHP模型同时暴露出有价值的见解预测的变化。
2017-08-22 cs.CV
RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Hannover, Germany（德国汉诺威（注：此处原文本中该部分为地址信息，根据提取规则，不应作为机构提取，正确机构仅为Leibniz Universität Hannover））
本文研究了从单幅图像中估计三维人体姿态的问题。虽然很长一段时间的人的骨骼参数化，并通过满足重投影误差的观察，现在的研究人员直接使用神经网络来推断的3D姿态从观察。然而，这些方法中的大多数忽略了必须满足重投影约束的事实，并且对过拟合敏感。我们通过忽略2D到3D的对应来解决过拟合问题。这有效地避免了训练数据的简单记忆，并允许弱监督训练。所提出的重投影网络（RepNet）的一部分使用对抗训练方法学习从2D姿势分布到3D姿势分布的映射。网络的另一部分估计摄像头。这允许定义网络层，该网络层执行将估计的3D姿态重新投影回2D，这导致重新投影损失函数。我们的实验表明，RepNet可以很好地推广到未知数据，并且在应用于未知数据时优于最先进的方法。此外，我们的实现实时运行在一个标准的桌面PC上。
2019-03-12 cs.CV
A 3D Object Detection and Pose Estimation Pipeline Using RGB-D Images
Guangdong University of Technology（广东工业大学）
三维目标检测和位姿估计在机器人领域有着广泛的应用前景，因此近几十年来得到了广泛的研究。然而，仍然存在挑战，当我们的目标是检测多个对象，同时保持低误报率在杂乱的环境中。提出了一种基于RGB-D图像的鲁棒的3D目标检测和姿态估计流水线，该流水线可以同时检测多个目标，同时减少误报。检测从模板匹配开始，并产生一组模板匹配。聚类算法，然后组相似的空间位置的模板，并产生多个对象的假设。一个评分函数评估的假设使用其相关的模板和非最大值抑制被用来删除重复的结果的基础上的分数。最后，点云处理算法的组合被用来计算对象的三维姿态。通过计算模型点和场景点之间的重叠来验证现有的对象假设。实验表明，我们的方法提供了竞争力的结果相比，国家的最先进的，可以应用于机器人随机装箱。
2017-03-11 cs.CV cs.RO
Weakly Supervised Body Part Segmentation with Pose based Part Priors
University of Rochester（罗切斯特大学）；Google Inc.（谷歌公司）；ByteDance AI Lab（字节跳动人工智能实验室）；Vaitl Inc.（维特尔公司）
人体部位分割是指预测每个身体部位的语义分割掩码的任务。完全监督的身体部位分割方法实现了良好的性能，但需要大量的工作来注释用于训练的部分掩码。与有限数量的部分遮罩注释所需的高注释成本相比，大量的弱标签（如姿势和全身遮罩）已经存在并包含相关信息。出于使用现有弱标签的可能性，我们提出了第一个弱监督身体部位分割框架。其核心思想是首先将稀疏弱标签（如关键点）转换为身体部位掩模的初始估计，然后迭代地细化部位掩模预测。我们将从姿势估计的初始部分掩模命名为“部分先验”。“有了足够的额外弱标签，我们的弱监督框架在Pascal-Person-Part数据集上实现了与完全监督方法（63.6% mIoU）相当的性能（62.0% mIoU）。此外，在扩展的半监督设置，所提出的框架优于国家的最先进的方法。此外，我们将我们提出的框架扩展到其他关键点监督的部分分割任务，如人脸解析。
2020-10-30 cs.CV
MHFormer: Multi-Hypothesis Transformer for 3D Human Pose Estimation
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Alibaba Group（阿里巴巴集团）
从单目视频中估计三维人体姿态是一项具有挑战性的任务，由于深度模糊和自遮挡。大多数现有的作品试图通过利用空间和时间关系来解决这两个问题。然而，这些工作忽略了这样一个事实，即它是一个逆问题，其中多个可行解（即，假设）存在。为了缓解这一限制，我们提出了一个多假设Transformer（MHFormer），学习多个合理的姿势假设的时空表示。为了有效地建模多假设依赖关系并在假设特征之间建立强关系，任务被分解为三个阶段：（i）生成多个初始假设表示;（ii）建模自假设通信，将多个假设合并为单个收敛表示，然后将其划分为多个发散假设;（iii）学习跨假设通信并聚合多假设特征以合成最终3D姿态。通过上述过程，最终表示得到增强，合成的姿态更加准确。大量的实验表明，MHFormer在两个具有挑战性的数据集上实现了最先进的结果：Human3.6M和MPI-INF-3DHP。在没有花里胡哨的情况下，它的性能在Human3.6M上超过了之前最好的结果3%。代码和型号可在\url{https://github.com/Vegetebird/MHFormer}上找到。
2022-06-28 cs.AI cs.CV cs.LG
Multi-Task Deep Networks for Depth-Based 6D Object Pose and Joint Registration in Crowd Scenarios
Imperial College（帝国理工学院）
在箱子拾取场景中，感兴趣对象的多个实例随机堆叠在一堆中，因此，这些实例固有地受到挑战：严重的遮挡，混乱和相似的干扰物。然而，大多数现有的方法是单个孤立的对象实例，而最近的一些方法处理人群的情况下，后细化帐户多个对象的关系。在本文中，我们解决了在深度模态中通过深度神经网络中的多任务学习来恢复箱子拾取场景中的多个实例的6D姿态。我们的架构联合学习多个子任务：单个对象的2D检测、深度和3D姿态估计;以及多个对象的联合配准。对于训练数据生成，物理上合理的对象姿态配置的深度图像由物理模拟中的3D对象模型生成，这产生了要学习的各种遮挡模式。我们采用了最先进的对象检测器，并通过网络进一步估计2D偏移，以改善未对准的2D检测。深度和3D姿态估计器被设计为每次检测生成多个假设。这允许关节配准网络学习遮挡模式并去除物理上不可信的姿势假设。我们将我们的架构应用于合成（我们自己的和Sileane数据集）和真实（公共Bin-Picking数据集）数据，表明它在平均精度上显著优于最先进的方法15-31%。
2018-06-11 cs.CV
Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild
NVIDIA（英伟达）
在野外进行单目3D人体姿态估计的一个主要挑战是获取训练数据，该训练数据包含用准确的3D姿态注释的无约束图像。在本文中，我们通过提出一种弱监督方法来解决这一挑战，该方法不需要3D注释，并学会从未标记的多视图数据中估计3D姿态，这些数据可以在野外环境中轻松获取。我们提出了一种新的端到端学习框架，可以使用多视图一致性进行弱监督训练。由于多视图一致性容易退化的解决方案，我们采用了2.5D姿态表示，并提出了一种新的目标函数，只有当训练模型的预测在所有相机视图中一致且合理时，该目标函数才能最小化。我们在两个大规模数据集（Human3.6M和MPII-INF-3DHP）上评估了我们提出的方法，在半/弱监督方法中，它达到了最先进的性能。
2020-03-17 cs.CV cs.LG
Weakly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estimation
Sun Yat-Sen University（中山大学）；Peking University（北京大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
最近的研究表明，在大规模室内3D数据集和复杂的网络架构的帮助下，从单目图像中进行3D人体姿态估计取得了显着进展。然而，对不同环境的普遍性仍然是一个难以捉摸的目标。在这项工作中，我们提出了一个几何感知的3D表示的人的姿态，以解决这一限制，使用多个视图在一个简单的自动编码器模型在训练阶段，只有2D关键点信息作为监督。提出了一种视图合成框架，通过将人体姿态从一个视点合成到另一个视点，来学习视点之间的共享3D表示。而不是在原始图像级执行直接传输，我们提出了一个基于卷积的编码器-解码器机制，在潜在的空间中，仅保留姿势相关的表示。进一步引入了基于学习的表示一致性约束，以提高潜在三维表示的鲁棒性。由于学习的表示编码3D几何信息，因此将其映射到3D姿态将比使用图像或2D坐标作为3D姿态估计器的输入的传统框架容易得多。我们展示了我们的方法上的三维人体姿态估计的任务。在三个流行的基准上进行的综合实验表明，我们的模型可以显着提高最先进方法的性能，只需将表示作为一个强大的3D先验注入。
2019-03-27 cs.CV
UniPose: Unified Cross-modality Pose Prior Propagation towards RGB-D data for Weakly Supervised 3D Human Pose Estimation
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（多谱段信息智能处理技术国家重点实验室，人工智能与自动化学院，华中科技大学）
提出 UniPose 框架，通过自监督跨模态传播将RGB图像中的2D姿态先验迁移至RGB-D点云，并以伪真值驱动3D提升，在无需3D标注的情况下达到接近全监督的性能。
2025-09-27 cs.CV
Weakly and Semi Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Tencent YouTu（腾讯优图）；SJTU-SenseTime lab（上海交大商汤实验室）；AI research institute of SJTU（上海交大人工智能研究院）
人体部分解析或人体语义部分分割是许多计算机视觉任务的基础。在传统的语义分割方法中，提供了真实分割，并且以端到端方案训练全卷积网络（FCN）。尽管这些方法已经展示了令人印象深刻的结果，但是它们的性能高度依赖于训练数据的数量和质量。在本文中，我们提出了一种新的方法来生成合成的人体部分分割数据，使用容易获得的人体关键点注释。我们的核心思想是利用人体之间的解剖相似性，将一个人的解析结果传递给具有相似姿势的另一个人。使用这些估计的结果作为额外的训练数据，我们的半监督模型优于其强监督对应的PASCAL-Person-Part数据集上的6 mIOU，我们实现了最先进的人类解析结果。我们的方法是通用的，可以很容易地扩展到其他对象/动物的解析任务，假设他们的解剖相似性可以通过关键点注释。建议的模型和附带的源代码可以在https://github.com/MVIG-SJTU/WSHP上获得
2018-05-11 cs.CV
Can 3D Pose be Learned from 2D Projections Alone?
Amazon Lab126 Inc.（亚马逊Lab126公司）
在计算机视觉中，从一幅图像中估计三维姿态是一项具有挑战性的任务。我们提出了一个弱监督的方法来估计3D姿态点，只给2D姿态地标。我们的方法不需要2D和3D点之间的对应关系来建立显式的3D先验。我们利用对抗框架对3D结构施加先验，仅从随机的2D投影中学习。给定一组2D姿势地标，生成器网络假设它们的深度以获得3D骨架。我们提出了一个新的随机投影层，它随机投影生成的3D骨架，并将生成的2D姿势发送到机器人。通过从2D姿态的真实分布中区分所生成的姿态和姿态样本，改进了该方法。训练不需要发生器或ADC的2D输入之间的对应关系。我们将我们的方法应用于3D人体姿态估计的任务。在Human3.6M数据集上的结果表明，我们的方法优于许多以前的监督和弱监督方法。
2018-08-22 cs.CV
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of British Columbia（不列颠哥伦比亚大学）
由于深度模糊和遮挡的存在，单目图像中的三维人体姿态估计是一个高度不适定的问题。然而，大多数现有的作品忽略了这些模糊性，只估计一个单一的解决方案。相比之下，我们生成了一组不同的假设，代表了可行的3D姿势的完整后验分布。为此，我们提出了一个规范化的流为基础的方法，利用确定性的3D到2D的映射来解决模糊的逆2D到3D的问题。此外，通过将2D检测器的不确定性信息作为条件，有效地对不确定检测和遮挡进行建模。成功的进一步关键是学习的3D姿态先验和M中最佳损失的泛化。我们在两个基准数据集Human3.6M和MPI-INF-3DHP上评估了我们的方法，在大多数指标上优于所有可比方法。该实现在GitHub上可用。
2021-08-02 cs.CV
PREGAN: Pose Randomization and Estimation for Weakly Paired Image Style Translation
Zhejiang University（浙江大学）
在不同条件下使用训练模型而无需数据注释对于机器人应用是有吸引力的。为了实现这一目标，一类方法是将图像风格从另一个环境转换为模型训练的环境。在本文中，我们提出了一个弱配对设置的风格翻译，在两个图像中的内容与错误的姿势对齐。这些图像可以由共享重叠区域的不同条件下的不同传感器获取，例如使用激光雷达或立体相机，从晴天或雾夜获取。我们认为这种设置更实用：（i）比配对数据更容易标记;（ii）比未配对数据更好的可解释性和细节检索。为了在这样的图像之间进行翻译，我们提出PREGAN通过有意地用随机姿势变换两个图像来训练风格翻译器，并且通过可微的不可训练的姿势估计器来估计给定的随机姿势，因为风格越对齐，估计结果越好。这种对抗性训练迫使网络学习风格翻译，避免与其他变体纠缠在一起。最后，PREGAN的仿真和真实世界收集的数据进行验证，以显示的有效性。在后续任务、分类、道路分割、目标检测和特征匹配等方面的实验结果显示了该算法的实际应用潜力。https://github.com/wrld/PRoGAN
2021-01-17 cs.CV cs.RO
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
相机捕获的人体姿势是几个变化源的结果。有监督的3D姿态估计方法的性能是以免除变化（诸如形状和外观）为代价的，这些变化可能对解决其他相关任务有用。因此，学习的模型不仅灌输了任务偏差，而且还灌输了任务偏差，因为它强烈依赖于注释的样本，这对于弱监督模型也是如此。认识到这一点，我们提出了一个自监督学习框架来解开这种变化从未标记的视频帧。我们利用先验知识的人的骨骼和构成的形式，一个单一的部分为基础的2D木偶模型，人体姿势关节约束，和一组不成对的3D姿势。我们的微分形式化，弥合了3D姿态和空间部分地图之间的代表性差距，不仅有利于发现可解释的姿态解纠缠，而且还允许我们操作不同的相机运动的视频。在野外看不见的数据集上的定性结果建立了我们在3D姿态估计和部分分割的主要任务之外的多个任务上的卓越概括。此外，我们在Human3.6M和MPI-INF-3DHP数据集上展示了最先进的弱监督3D姿态估计性能。
2020-04-09 cs.CV
Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
Middle East Technical University（中东技术大学）
训练精确的三维人体姿态估计器需要大量的三维真实数据，而这些数据的采集成本很高，由于缺乏三维数据，各种弱监督或自监督的姿态估计方法被提出。然而，除了2D地面实况姿态之外，这些方法还需要各种形式的额外监督（例如，未配对的3D地面实况数据，标签的小子集）或多视图设置中的相机参数。为了解决这些问题，我们提出了EpipolarPose，一种用于3D人体姿态估计的自监督学习方法，它不需要任何3D地面真实数据或摄像机extrinsics。在训练期间，EpipolarPose从多视图图像估计2D姿态，然后利用对极几何来获得3D姿态和相机几何，其随后用于训练3D姿态估计器。我们证明了我们的方法在标准基准数据集上的有效性，即Human3.6M和MPI-INF-3DHP，其中我们在弱/自监督方法中设置了新的最先进的方法。此外，我们提出了一个新的性能指标姿态结构得分（PSS），这是一个规模不变的，结构感知的措施，以评估相对于其地面真理的姿态的结构可扩展性。代码和预训练模型可在https://github.com/mkocabas/EpipolarPose上获得
2019-04-09 cs.CV
Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections
University of Bonn（波恩大学）
多相机系统的校准，即确定相机之间的相对姿态，是计算机视觉和机器人技术中许多任务的先决条件。相机校准通常使用使用棋盘校准目标的离线方法来实现。然而，考虑到每次任何相机姿态改变时都需要新的校准，这些方法通常是繁琐和冗长的。在这项工作中，我们提出了一种新颖的，无标记的在线方法，用于多个智能边缘传感器的外部校准，仅依赖于从RGB相机图像在传感器板上本地计算的2D人体关键点检测。我们的方法假设的内在摄像机参数是已知的，并需要一个粗略的初始估计的摄像机姿势启动。来自多个视图的人关键点检测在中央后端处被接收，在中央后端处，这些人关键点检测被同步、过滤并被分配给人假设。我们使用这些人的假设，以因子图的形式反复解决优化问题。给定穿过场景的一个或多个人的适当观察，估计的相机姿态在几分钟内收敛到相干的外部校准。我们评估我们的方法在现实世界中的设置，并表明，与使用传统的校准目标的离线方法生成的参考校准相比，与我们的方法的校准实现了较低的重投影误差。
2022-09-15 cs.CV cs.RO
DVMNet++: Rethinking Relative Pose Estimation for Unseen Objects
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Clearspace
本文提出DVMNet++，通过语言辅助开放集检测、体素表示对齐与加权最近体素算法，单次前向估计未见物体相对位姿，在多个数据集上以更低成本取得更优精度。
2025-03-15 cs.CV cs.RO
Global Hypothesis Generation for 6D Object Pose Estimation
TU Dresden（德累斯顿工业大学）
本文讨论了从单个RGB-D图像估计已知3D对象的6D姿态的任务。大多数现代方法通过三个步骤来解决这个任务：i）计算局部特征; ii）生成一个姿势假设池; iii）从池中选择并优化姿势。这项工作的重点是第二步。虽然所有现有的方法都是通过局部推理（例如RANSAC或Hough投票）生成假设池，但我们是第一个表明全局推理在此阶段是有益的。特别是，我们制定了一个新的全连接条件随机场（CRF），输出非常少量的假设。尽管CRF的潜在功能是非高斯的，我们给出了一个新的和有效的两步优化过程，与一些最优性的保证。我们利用我们的全局假设生成程序来产生超出具有挑战性的“遮挡对象数据集”的最新水平的结果。
2017-01-02 cs.CV
CHAMP: Conformalized 3D Human Multi-Hypothesis Pose Estimators
Massachusetts Institute of Technology（麻省理工学院）
CHAMP利用扩散模型生成多假设3D姿态，并集成共形预测进行假设筛选与聚合，实现端到端训练，在多个数据集上达到最先进性能。
2025-02-23 cs.CV
Mono3D++: Monocular 3D Vehicle Detection with Two-Scale 3D Hypotheses and Task Priors
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Megvii (Face++)（旷视科技（Face++））
我们提出了一种方法来推断3D姿态和形状的车辆从一个单一的图像。为了解决这个不适定的问题，我们优化生成的3D假设和它们的2D伪测量之间的两尺度投影一致性。具体来说，我们使用变形线框模型来生成车辆形状和姿态的精细缩放表示。为了降低其对2D地标的敏感性，我们联合建模的3D限界框作为一个粗略的表示，提高了鲁棒性。我们还集成了三个任务先验，包括无监督的单目深度，地平面约束以及车辆形状先验，前向投影误差到一个整体的能量函数。
2019-01-11 cs.CV
FMPose3D: monocular 3D pose estimation via flow matching
École Polytechnique Fédérale de Lausanne（联邦理工学院洛桑校区）
FMPose3D通过流匹配方法高效生成3D姿态样本，超越现有方法并在多个3D姿态数据集上取得最佳性能。
2026-02-05 cs.CV
Generating Multiple Diverse Hypotheses for Human 3D Pose Consistent with 2D Joint Detections
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种方法来生成多个不同的和有效的人体姿态假设在3D中的所有一致的2D检测的关节在单目RGB图像。我们使用一种新的生成模型均匀（无偏）的空间解剖学合理的3D构成。我们的模型是组合的（通过组合部分产生姿势），并且由于它仅受解剖约束的限制，因此它可以推广到每个合理的人类3D姿势。去除模型偏差本质上有助于生成更多样化的3D姿势假设。我们认为，产生多个姿势假设是更合理的，而不是只产生一个单一的三维姿势的基础上的2D联合检测给定的深度模糊性和不确定性，由于闭塞和不完善的2D联合检测。我们希望，产生多个一致的姿势假设的想法可以引起一个新的线的未来的工作，在文献中还没有得到太多的关注。我们使用Human3.6M数据集进行实证评估。
2017-08-20 cs.AI cs.CV cs.MM
CosyPose: Consistent multi-view multi-object 6D pose estimation
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIGM（加斯帕尔·蒙日信息实验室）；École des Ponts（巴黎高科路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
我们介绍了一种方法，用于恢复多个已知对象的6D姿态在一个场景中捕获的一组输入图像与未知的相机视点。首先，我们提出了一个单视图单对象的6D姿态估计方法，我们使用它来生成6D对象的姿态假设。其次，我们开发了一种强大的方法，用于在不同的输入图像中匹配各个6D对象的姿态假设，以便联合估计相机的视点和6D构成的所有对象在一个单一的一致的场景。我们的方法明确地处理对象的对称性，不需要深度测量，是强大的丢失或不正确的对象假设，并自动恢复场景中的对象的数量。第三，我们开发了一种全局场景细化的方法，给出了多个对象的假设和它们在视图之间的对应关系。这是通过解决对象级光束法平差问题来实现的，该问题细化相机和对象的姿态以最小化所有视图中的重投影误差。我们证明了所提出的方法，被称为CosyPose，优于当前最先进的单视图和多视图6D对象姿态估计的结果，在两个具有挑战性的基准：YCB视频和T-LESS数据集。代码和预训练模型可在项目网页https://www.di.ens.fr/willow/research/cosypose/上获得。
2020-08-19 cs.CV
Pose-Aware Weakly-Supervised Action Segmentation
Honda Research Institute（本田研究所）；UC Berkeley（加州大学伯克利分校）
本文提出一种训练时融入姿态知识、推理时省略姿态的弱监督动作分割框架，并设计姿态启发对比损失以更有效区分动作边界，在长教学视频的在线与离线分割中均超越现有最优方法。
2025-04-08 cs.CV
Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation
National University of Singapore（新加坡国立大学）
用于6D对象姿态估计的现有技术方法需要大量标记数据来训练深度网络。然而，6D对象姿态标注的获取是大量繁琐且劳动密集的。为了缓解这个问题，我们提出了一个弱监督的6D对象姿态估计方法的基础上2D关键点检测。我们的方法只在视点之间具有已知相对变换的图像对上训练。具体来说，我们分配一组任意选择的3D关键点来表示每个未知的目标3D对象，并学习一个网络来检测它们符合相对相机视点的2D投影。在推理过程中，我们的网络首先从查询图像和给定的标记参考图像中推断出2D关键点。然后，我们使用这些2D关键点和从训练中保留的任意选择的3D关键点来推断6D对象姿势。大量的实验表明，我们的方法实现了与最先进的完全监督的方法相当的性能。
2022-03-07 cs.CV
Distill Knowledge from NRSfM for Weakly Supervised 3D Pose Learning
Carnegie Mellon University（卡内基梅隆大学）
我们建议通过从运动中提取非刚性运动恢复结构（NRSfM）的知识来学习3D姿态估计器。我们的方法仅使用2D地标注释。不需要3D数据、多视图/时间镜头或特定于对象的先验。这就增加了数据瓶颈，这是监督方法的主要问题之一。使用NRSfM作为教师的挑战是，当2D投影具有很强的模糊性时，它们通常会进行很差的深度重建。直接使用这些错误的深度作为硬目标会对学生产生负面影响。相反，我们提出了一种新的损失，将深度预测与NRSfM中使用的成本函数联系起来。这给予学生姿态估计器通过与图像特征相关联来减少深度误差的自由。在H3.6M数据集上验证，我们学习的3D姿态估计网络与NRSfM方法相比实现了更准确的重建。它也优于其他弱监督方法，尽管使用的监督明显较少。
2019-08-18 cs.CV
NeRF-Pose: A First-Reconstruct-Then-Regress Approach for Weakly-supervised 6D Object Pose Estimation
National University of Defense Technology（国防科技大学）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）
提出弱监督重建流程 NeRF-Pose，仅需 2D 分割和相对相机姿态，通过先重建后回归的思想结合 NeRF 与 PnP+RANSAC 实现 6D 物体姿态估计，在多个数据集上达到先进精度。
2023-09-09 cs.CV
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich（慕尼黑工业大学）
DiffCAD提出首个弱监督概率性CAD检索与对齐方法，利用扩散模型从单张RGB图像生成多假设CAD重建，仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
基于单目摄像机的三维多人姿态估计中，深度估计通常是病态的和模糊的。由于LiDAR可以在远距离场景中捕获精确的深度信息，因此它可以通过提供丰富的几何特征来帮助个体的全局定位和3D姿态估计。受此启发，我们提出了一个单目相机和单激光雷达为基础的方法，在大规模场景中的三维多人姿态估计，这是易于部署和不敏感的光。具体而言，我们设计了一种有效的融合策略，充分利用图像和点云等多模态输入数据，并充分利用时间信息指导网络学习自然连贯的人体运动。在不依赖于任何3D姿态注释的情况下，我们的方法利用点云的固有几何约束进行自我监督，并利用图像上的2D关键点进行弱监督。在公共数据集和新收集的数据集上的实验证明了该方法的优越性和泛化能力。
2022-11-30 cs.CV
Weakly Supervised 3D Hand Pose Estimation via Biomechanical Constraints
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
由于固有的尺度和深度模糊性，从2D图像估计3D手部姿势是困难的逆问题。当前最先进的方法使用3D地面实况数据训练完全监督的深度神经网络。然而，获取3D注释是昂贵的，通常需要校准的多视图设置或劳动密集型手动注释。虽然2D关键点的注释更容易获得，但如何有效地利用这种弱监督数据来改进3D手部姿势预测的任务仍然是一个重要的未决问题。关键困难源于这样一个事实：直接应用额外的2D监督主要有利于2D代理目标，但对缓解深度和规模的模糊性几乎没有帮助。面对这一挑战，我们提出了一系列新的损失。我们通过大量的实验表明，我们提出的约束显着降低了深度模糊性，并允许网络更有效地利用额外的2D注释图像。例如，在具有挑战性的freiHAND数据集上，在没有我们提出的生物力学约束的情况下使用额外的2D注释仅将深度误差减少了$15\%$，而当使用我们提出的生物力学约束时，误差显著减少了$50\%$。
2020-08-04 cs.CV
Weakly-supervised 3D Pose Transfer with Keypoints
National University of Singapore（新加坡国立大学）
针对3D姿态迁移中配对数据缺乏、姿态形状难解耦及拓扑受限问题，提出基于关键点和逆运动学的弱监督框架，结合循环重建实现自监督迁移，并在多数据集上展现优异性能与泛化能力。
2023-08-17 cs.CV
Learning Object Localization and 6D Pose Estimation from Simulation and Weakly Labeled Real Images
Laval University（拉瓦尔大学）；Rutgers University（罗格斯大学）
这项工作提出了一种有效训练逐点对象检测器的方法，该方法能够在混乱和遮挡的场景中定位对象并计算它们的6D姿态。准确的姿态估计通常是对放置在杂乱、紧密环境中的物体（诸如具有多个物体的货架）的鲁棒机器人抓取和操纵的要求。为了最大限度地减少注释所需的人力，所提出的对象检测器首先通过使用自动注释的合成图像在模拟中进行训练。然后，我们表明，检测器的性能可以大大提高，通过使用一个小的弱注释的真实图像，其中一个人只提供了一个列表中存在的每个图像中的对象，而不指示对象的位置。为了缩小真实图像和合成图像之间的差距，我们通过对抗训练采用了领域自适应方法。从这个训练过程中产生的检测器可以通过使用其每个对象的激活图来定位对象。在这项工作中，我们使用的激活地图来指导搜索的6D构成的对象。我们提出的方法进行评估，对几个公开的数据集的姿态估计。我们还评估了我们的模型在无监督和半监督环境中的分类和定位。结果清楚地表明，这种方法可以提供一种有效的方法，完全自动化的训练过程中使用的计算机视觉模型在机器人。
2019-02-21 cs.CV
Active 6D Multi-Object Pose Estimation in Cluttered Scenarios with Deep Reinforcement Learning
Imperial College London（帝国理工学院）
在这项工作中，我们将探讨如何战略选择的相机运动可以促进任务的6D多对象的姿态估计在混乱的情况下，同时尊重现实世界中的限制，重要的机器人和增强现实应用程序，如时间和距离。在所提出的框架中，一组多个对象的假设给一个代理，这是推断的对象姿态估计器，并随后时空选择的融合功能，利用验证分数，规避地面实况注释的需要。智能体对这些假设进行推理，将注意力集中在最不确定的对象上，将相机移向这样的对象。与以前提出短视政策的作品不同，我们的代理在模拟场景中使用强化学习进行训练，试图学习相机移动，从而为给定的时间和空间预算产生最准确的对象姿势假设，而无需在推理过程中渲染视点。我们的实验表明，所提出的方法成功地估计了具有挑战性的杂乱合成和真实场景中的一堆对象的6D对象姿态，与强基线相比表现出优越的性能。
2019-10-19 cs.CV cs.RO
Weakly Supervised 3D Human Pose and Shape Reconstruction with Normalizing Flows
Google Research（谷歌研究院）
由于人体的多自由度和复杂视觉场景中大规模监督学习训练数据的获取困难，单目三维人体姿态和形状估计具有挑战性。在本文中，我们提出了实用的半监督和自监督模型，支持在现实世界的图像和视频中进行训练和良好的泛化。我们的配方是基于运动学潜在规范化流表示和动态，以及可区分的，语义身体部位对齐损失函数，支持自监督学习。在使用CMU，Human3.6M，3DPW或AMASS等3D运动捕捉数据集以及COCO等图像存储库的广泛实验中，我们证明了所提出的方法优于最先进的技术，支持基于大规模训练的准确模型系列的实际构建。
2020-08-22 cs.CV
Indoor GeoNet: Weakly Supervised Hybrid Learning for Depth and Pose Estimation
Northeastern University（东北大学）
人类通过积累从场景的多个相互连接的投影获得的信息并通过解释它们的对应关系，自然地感知到他们面前的3D场景。这种现象激发了人工智能模型通过对该场景的不同视图之间的对应关系进行建模来提取所观察场景的深度和视角。我们的论文建立在使用深度学习（DL）模型从时间连续视频帧进行无监督深度和相对相机姿态估计领域的先前工作的基础上。我们的方法使用了一个混合学习框架，在最近的一项名为GeoNet的工作中引入，它利用3D场景中的几何约束，从基于中间DL的预测深度和相对姿态合成一个新的视图。然而，最先进的无监督深度和姿态估计DL模型仅在一些可用的室外场景数据集上进行训练/测试，并且我们已经证明它们很难转移到新场景，特别是从室内环境中，其中估计需要更高的精度并处理可能的遮挡。本文介绍了“室内GeoNet”，一个弱监督的深度和相机姿态估计模型，针对室内场景。在室内GeoNet中，我们利用了人类或机器人导航员收集的室内RGBD数据集的可用性，并在模型的深度训练中添加了部分（即弱）监督。实验结果表明，我们的模型有效地推广到新的场景，从不同的建筑物。与原始GeoNet相比，室内GeoNet显示出显着的深度和姿态估计误差减少，同时在室内环境中合成新视图时显示出3倍的重建精度。
2018-11-19 cs.CV
SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
我们提出了SCANimate，一个端到端的可训练框架，它可以对穿着衣服的人进行原始3D扫描，并将其转换为可动画化的化身。这些化身由姿势参数驱动，并具有自然移动和变形的逼真服装。SCANimate不依赖于自定义网格模板或曲面网格配准。我们观察到，拟合参数化的3D身体模型，如SMPL，穿着人体扫描是易处理的，而表面登记的身体拓扑结构的扫描往往不是，因为衣服可以偏离身体形状显着。我们还观察到，关节变换是可逆的，从而在几何周期的一致性，构成和unposed形状。这些观察结果使我们找到了一种弱监督学习方法，该方法通过在没有基于模板的表面配准的情况下解开关节变形来将扫描对齐到规范姿势。此外，为了在对姿势相关变形进行建模的同时完成对齐扫描中的缺失区域，我们引入了一个局部姿势感知隐式函数，该函数学习使用学习的姿势校正来完成和建模几何形状。与常用的全局姿态嵌入相比，我们的局部姿态调节显著减少了长距离虚假相关性，并提高了对不可见姿态的泛化能力，特别是在训练数据有限的情况下。我们的方法可以应用于姿态感知的外观建模，以生成一个完全纹理化的化身。我们展示了我们的方法在不同的服装类型与不同数量的训练数据，优于现有的解决方案和其他变种方面的保真度和通用性在每一个设置。该代码可在https://scanimate.is.tue.mpg.de上获得。
2021-04-08 cs.CV
Utilizing Uncertainty in 2D Pose Detectors for Probabilistic 3D Human Mesh Recovery
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
本文提出利用2D姿态检测器热图中的分布监督和人体分割掩码训练约束，改进基于归一化流的概率性3D人体网格恢复，在3DPW和EMDB上超越现有方法。
2024-11-25 cs.CV
Weakly-supervised 3D Shape Completion in the Wild
Uber Advanced Technologies Group（优步先进技术集团）；University of California, San Diego（加州大学圣迭戈分校）；University of Toronto（多伦多大学）
真实数据的3D形状完成是重要但具有挑战性的，因为由真实世界传感器获取的部分点云通常是稀疏的，有噪声的和不对齐的。与以往的方法不同，我们解决的问题，学习三维完整的形状从未对齐和真实世界的部分点云。为此，我们提出了一种弱监督的方法来估计3D规范形状和6-DoF姿态进行对齐，给定与同一实例相关联的多个部分观测。该网络在训练过程中联合优化了多视图几何约束的规范形状和姿势，并且可以在给定单个部分点云的情况下推断出完整的形状。此外，学习的姿态估计可以促进部分点云配准。在合成数据和真实数据上的实验表明，在没有形状和姿态监督的情况下，通过大规模数据学习3D形状完成是可行的，并且有希望。
2020-08-20 cs.CV
Lifting 2d Human Pose to 3d : A Weakly Supervised Approach
TCS Research and Innovation（塔塔咨询服务公司研究与创新）
由于人体姿态的多样性和复杂性，以及从单视点恢复深度时固有的模糊性，从单视点图像中估计三维人体姿态是一个具有挑战性的问题。最近基于深度学习的方法通过在3d姿态注释数据集上使用监督学习显示出有希望的结果。然而，缺乏在野外环境下捕获的大规模3d注释的训练数据使得野外姿态的3d姿态估计困难。很少有方法以弱监督的方式利用来自3d和2d姿态数据集的训练图像来学习无约束设置中的3d姿态。在本文中，我们提出了一种方法，它可以有效地预测三维人体姿态从二维姿态使用深度神经网络训练在弱监督的方式对地面真实的三维姿态和地面真实的二维姿态的组合。我们的方法使用重投影误差最小化作为约束来预测身体关节的3d位置，这对于在3d地面真实不存在的数据上进行训练至关重要。由于仅最小化重新投影误差可能无法保证准确的3d姿态，因此我们还使用骨架姿态上的附加几何约束来正则化3d中的姿态。我们展示了优越的泛化能力，我们的方法通过交叉数据集验证一个具有挑战性的3D基准数据集MPI-INF-3DHP包含在野生3D姿态。
2019-05-03 cs.AI cs.CV
WSCLoc: Weakly-Supervised Sparse-View Camera Relocalization
University of Oxford（牛津大学）
本文提出WSCLoc系统，通过两阶段弱监督方法（WFT-NeRF与WFT-Pose协同优化）解决稀疏视图下的相机重定位问题，在公开数据集上实现了与SOTA方法相当的位姿估计精度。
2024-03-22 cs.CV
Adaptive Wasserstein Hourglass for Weakly Supervised Hand Pose Estimation from Monocular RGB
Tsinghua University（清华大学）；Kwai（快手）
标记训练集不足是单目RGB图像三维手势估计的瓶颈之一。合成数据集包含大量具有精确注释的图像，但与真实世界数据集的明显差异影响了泛化。几乎没有做过什么工作来弥合这两个领域之间的巨大差异。在本文中，我们提出了一个领域自适应方法称为自适应Wasserstein沙漏（AW沙漏）的弱监督的3D手姿态估计，其目的是区分差异，并探索合成和真实世界的数据集的共同特征（如手的结构）。学习共同特征有助于网络关注姿势相关信息。特征的相似性使得更容易实施域不变约束。在训练期间，基于这些共同特征与从完全注释的合成数据集学习的3D姿态之间的关系，网络在2D注释和深度图像的帮助下恢复弱标记的真实世界数据集的3D姿态是有益的。在测试过程中，网络使用RGB输入预测3D姿态。
2019-09-11 cs.AI cs.CV
VeREFINE: Integrating Object Pose Verification with Physics-guided Iterative Refinement
TU Wien（维也纳工业大学）；Automation and Control Institute（自动化与控制研究所）
用于机器人应用的准确和鲁棒的对象姿态估计需要验证和细化步骤。在这项工作中，我们建议整合假设验证与物理模拟指导下的物体姿态细化。这允许在统一的优化中考虑单个对象姿态估计的物理可扩展性和估计场景的稳定性。该方法能够适应多个目标的场景，并有效地集中在多假设场景中最有希望的目标位姿。我们称这种综合方法为VeREFINE，并在具有不同场景复杂度的三个数据集上对其进行评估。该方法的一般性是通过使用三个国家的最先进的姿态估计器和三个基线细化。结果显示，所有基线和所有数据集都有所改善。此外，我们的方法被应用在现实世界中的抓取实验，并优于竞争的方法在把握成功率。代码可在github.com/dornik/verefine上公开获取。
2020-05-18 cs.CV cs.RO
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University（中山大学）；The Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Alibaba Group（阿里巴巴集团）
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而，由于弱监督不能区分由检测和描述步骤引起的损失，因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中，我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中，检测步骤与描述步骤解耦，并推迟到学习了有区别的和鲁棒的描述符。此外，我们引入了一个线到窗口的搜索策略，明确地使用相机的姿态信息，更好的描述符学习。大量的实验表明，我们的方法，即PoSFeat（摄像机姿态监督特征），优于以前的完全和弱监督方法，并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Platypose: Calibrated Zero-Shot Multi-Hypothesis 3D Human Motion Estimation
Institute for Bioinformatics and Medical Informatics, Tübingen University（蒂宾根大学生物信息学与医学信息学研究所）；Department of Computer Science, Göttingen University（哥廷根大学计算机科学系）；Shirley Ryan AbilityLab（雪莉·瑞安能力实验室）；Northwestern University（西北大学）；Department of Neuroscience, Baylor College of Medicine（贝勒医学院神经科学系）；Center for Neuroscience and Artificial Intelligence, Baylor College of Medicine（贝勒医学院神经科学与人工智能中心）
针对单相机3D姿态估计的模糊性，提出基于预训练扩散模型的零样本多假设运动估计框架Platypose，能生成时间一致的3D姿态序列，在多数据集上实现先进校准与竞争力。
2024-09-27 cs.CV
Weakly supervised discriminative feature learning with state information for person identification
Sun Yat-sen University（中山大学）
身份鉴别视觉特征的无监督学习在人工标记成本高的现实任务中很有吸引力。然而，当在不同状态（例如，不同相机视图和姿势）下拍摄图像时，身份的图像可能在视觉上不一致。这种视觉差异导致无监督判别学习的巨大困难。幸运的是，在现实世界的任务中，我们通常可以知道没有人类注释的状态，例如，我们可以很容易地在人的重新识别和面部识别中的面部姿势标签的相机视图标签。在这项工作中，我们提出利用状态信息作为弱监督，以解决由不同的状态所造成的视觉差异。我们制定了一个简单的伪标签模型，并利用状态信息，试图通过弱监督决策边界纠正和弱监督特征漂移正则化来细化分配的伪标签。我们评估我们的模型在无监督的人重新识别和姿态不变的人脸识别。尽管我们的方法很简单，但它可以在具有标准ResNet-50主干的Duke-reID，MultiPIE和CFP数据集上获得最先进的结果。我们还发现，我们的模型可以执行与标准的监督微调结果在三个数据集上的重复性。代码可在https://github.com/KovenYu/state-information上获得
2020-02-27 cs.CV
