A contrastive learning approach for individual re-identification in a wild fish population
University of Agder（阿格德大学）；Institute of Marine Research（海洋研究所）
在陆地和海洋生态学中，物理标记是研究种群动态和行为的常用方法。然而，这种标记技术越来越多地被使用图像分析的个人重新识别所取代。介绍了一种基于对比学习的个体识别模型。该模型使用Inception v3网络的第一部分，由投影头支持，我们使用对比学习从一组统一的照片中找到相似或不相似的图像对。我们应用这种技术的corkwing濑鱼，Symphodus melops，生态和商业上重要的鱼类。照片是在从野生种群中重复捕获相同个体时拍摄的，其中个体目击之间的间隔可能从几天到几年不等。在我们的数据集上，我们的模型实现了0.35的单次精度，0.56的5次精度和0.88的100次精度。
2023-01-02 cs.AI cs.CV cs.LG
Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach
Fudan University（复旦大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
在本文中，我们研究的任务，三维人体姿态估计在野外。由于缺乏训练数据，该任务具有挑战性，因为现有数据集要么在具有2D姿态的野生图像中，要么在具有3D姿态的实验室图像中。我们提出了一种弱监督的迁移学习方法，该方法在统一的深度神经网络中使用混合的2D和3D标签，该网络呈现两级级联结构。我们的网络用3D深度回归子网络增强了最先进的2D姿态估计子网络。与之前的两阶段方法不同，训练这两个子网络是顺序和单独的，我们的训练是端到端的，并充分利用了2D姿态和深度估计子任务之间的相关性。通过共享表示可以更好地学习深层特征。在这样做时，受控实验室环境中的3D姿势标签被转移到野生图像中。此外，我们引入了3D几何约束来正则化3D姿态预测，这在没有地面真实深度标签的情况下是有效的。我们的方法在2D和3D基准上都取得了有竞争力的结果。
2017-07-30 cs.CV
WildPose: A Unified Framework for Robust Pose Estimation in the Wild
Stanford University（斯坦福大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出WildPose，一种统一的单目姿态估计框架，能鲁棒地处理动态环境并在静态和低自我运动数据集上保持最先进的性能。通过结合前馈模型的丰富感知前端和可微捆调整优化，该框架在动态、静态和低自我运动基准测试中均优于现有方法。
2026-05-12 cs.CV
3D Human Pose Estimation in the Wild by Adversarial Learning
CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室（CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong））；School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院（School of Electrical and Information Engineering, The University of Sydney））；The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所（The Robotics Institute, Carnegie Mellon University））；SenseTime Research（商汤科技研究院）
近年来，由于强大的深度卷积神经网络（DCNN），在单目图像的三维人体姿态估计方面取得了显着的进展。尽管它们在受限的实验室环境中收集的大规模数据集上取得了成功，但很难获得野外图像的3D姿态注释。因此，野外3D人体姿态估计仍然是一个挑战。在本文中，我们提出了一个对抗性学习框架，它将从完全注释的数据集中学习到的3D人体姿势结构提取到只有2D姿势注释的野外图像中。我们没有定义硬编码规则来约束姿态估计结果，而是设计了一种新的多源模型来区分预测的3D姿态和地面实况，这有助于强制姿态估计器生成人体测量有效的姿态，即使是在野外的图像。我们还观察到，一个精心设计的信息源的搜索引擎是必不可少的，以提高性能。因此，我们设计了一个几何描述符，它计算身体关节之间的两两相对位置和距离，作为一个新的信息源的机器人。我们的对抗性学习框架与新的几何描述符的有效性已经通过广泛使用的公共基准测试的广泛实验得到了证明。与以前的最先进的方法相比，我们的方法显着提高了性能。
2018-04-16 cs.CV
Benchmarking Monocular 3D Dog Pose Estimation Using In-The-Wild Motion Capture Data
University of Surrey（萨里大学）；Centre for Vision Speech Signal Processing (CVSSP)（视觉、语音与信号处理中心）
该研究针对单目野外图像3D犬类姿态估计，构建了修复标记、背景多样的3DDogs-Wild数据集，验证其能提升模型野外性能，并分析了不同模型的优劣，为3D动物姿态估计研究提供支持。
2024-06-20 cs.CV
SMPLy Benchmarking 3D Human Pose Estimation in the Wild
NAVER LABS Europe（NAVER LABS 欧洲）
从图像中预测3D人体姿势最近有了很大的改进。甚至可以从单个输入图像预测姿势和形状的新方法已经被引入，通常依赖于人体的参数模型，如SMPL。虽然这些方法的定性结果通常显示为在野外捕获的图像，但在这种条件下仍然缺少适当的基准，因为在运动捕获室之外的其他地方获得地面实况3D姿势是麻烦的。本文提出了一个管道，可以轻松地生成和验证这样一个具有准确地面实况的数据集，我们可以用它来对最近的3D人体姿态估计方法进行基准测试。我们利用最近引入的Mannequin Challenge数据集，其中包含像雕像一样冻结的人的野外视频，并利用人是静态的和相机移动的事实来准确地拟合序列上的SMPL模型。然后从567个场景中选择总共24，428帧注册的身体模型，几乎没有成本，只使用在线RGB视频。我们在这个数据集上对最先进的基于SPL的人体姿态估计方法进行基准测试。我们的研究结果强调，挑战仍然存在，特别是对于困难的姿势或场景中的人被部分截断或闭塞。
2020-12-04 cs.CV
Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision
MPI for Informatics（马克斯·普朗克信息学研究所）；EPFL（洛桑联邦理工学院）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
我们提出了一种基于CNN的方法，用于从单个RGB图像进行3D人体姿态估计，该方法解决了仅在有限的公开可用3D姿态数据上训练的模型的有限泛化性问题。仅使用现有的3D姿态数据和2D姿态数据，我们通过转移学习的特征，在建立的基准上展示了最先进的性能，同时也推广到野外场景。我们进一步引入了一个新的训练集，用于从真实人类的单目图像中进行人体姿态估计，该图像具有用多相机无标记运动捕捉系统捕获的地面实况。它补充了现有的语料库，在姿势，人类外观，服装，遮挡和观点方面具有更大的多样性，并能够增加增强的范围。我们还提供了一个新的基准，涵盖室外和室内场景，并证明我们的3D姿态数据集显示出比现有注释数据更好的野外性能，这是进一步改进结合迁移学习从2D姿态数据。总而言之，我们认为，使用迁移学习的表示与算法和数据的贡献是至关重要的一般3D身体姿势估计。
2017-10-04 cs.CV
MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分校）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）
本文讨论了在野外的三维人体姿态估计问题。一个重大挑战是缺乏训练数据，即，用3D姿势注释的人类2D图像。这样的数据对于训练最先进的CNN架构是必要的。在这里，我们提出了一个解决方案，以生成一个大的一组逼真的合成图像的人与3D姿态注释。我们介绍了一个基于图像的合成引擎，人工增加了一个数据集的真实图像与2D人体姿势注释使用3D运动捕捉（MoCap）数据。给定候选3D姿态，我们的算法为每个关节选择其2D姿态局部匹配投影3D姿态的图像。然后通过以运动学约束的方式拼接局部图像块来组合所选择的图像以生成新的合成图像。所得图像用于训练端到端CNN以进行全身3D姿态估计。我们将训练数据聚类成大量的姿势类，并将姿势估计作为K路分类问题来处理。这种方法只有在像我们这样的大型训练集上才是可行的。我们的方法在受控环境（Human3.6M）中的3D姿态估计方面优于现有技术，并在野外图像（LSP）中显示出有希望的结果。这表明在人工图像上训练的CNN可以很好地推广到真实图像。
2016-10-28 cs.CV
Leveraging the Learnable Vertex-Vertex Relationship to Generalize Human Pose and Mesh Reconstruction for In-the-Wild Scenes
Asilla Inc.（阿西拉公司）；Hanoi University of Science and Technology（河内理工大学）
我们提出了MeshLeTemp，一个强大的方法，三维人体姿势和网格重建从一个单一的图像。在人体先验编码方面，我们建议使用可学习的模板人体网格，而不是以前最先进的方法所使用的恒定模板。所提出的可学习模板不仅反映了顶点之间的交互，而且还反映了人类的姿势和体型，能够适应不同的图像。我们进行了广泛的实验，以显示我们的方法在看不见的情况下的推广。
2022-11-08 cs.CV
Face Detection, Bounding Box Aggregation and Pose Estimation for Robust Facial Landmark Localisation in the Wild
University of Surrey（萨里大学）；Jiangnan University（江南大学）
我们提出了一个框架，强大的人脸检测和地标定位的脸在野外，这已被评估为“第二届面部地标定位比赛”的一部分。该框架有四个阶段：人脸检测，限界框聚合，姿态估计和地标定位。为了实现高检测率，我们使用了两个公开的基于CNN的人脸检测器和两个专有检测器。我们聚合每个输入图像的检测到的人脸边界框，以减少误报，提高人脸检测的准确性。级联形状回归，训练使用各种姿态变化的脸，然后用于姿态估计和图像预处理。最后，我们训练最终的级联形状回归细粒度的地标定位，使用大量的训练样本有限的姿态变化。在300W和Menpo基准测试上获得的实验结果表明，我们的框架优于最先进的方法。
2017-06-01 cs.CV
Exploiting temporal context for 3D human pose estimation in the wild
University of Oxford（牛津大学）；DeepMind（深度思维）
我们提出了一种基于调整的算法，用于从单目视频中恢复精确的3D人体姿态和网格。与以前的算法操作单帧，我们表明，重建一个人在整个序列提供了额外的约束，可以解决歧义。这是因为视频通常会给出一个人的多个视图，但整体体型不会改变，3D位置变化缓慢。我们的方法不仅改进了标准的基于mocap的数据集，如人类3.6M -我们在其中显示了定量改进-而且还改进了具有挑战性的野外数据集，如动力学。基于我们的算法，我们提出了一个新的数据集，其中包含来自Kinetics的超过300万帧YouTube视频，并自动生成3D姿势和网格。我们表明，通过对3DPW和HumanEVA数据集进行评估，在此数据上重新训练单帧3D姿态估计器可以提高真实世界和mocap数据的准确性。
2019-05-10 cs.CV
Towards Large-Pose Face Frontalization in the Wild
NEC Laboratories America（NEC美国实验室）；Michigan State University（密歇根州立大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
尽管最近在使用深度学习的人脸识别方面取得了进展，但在不受约束的环境中，对于大的姿势变化，观察到严重的准确性下降。学习姿态不变特征是一种解决方案，但需要昂贵的标记大规模数据和精心设计的特征学习算法。在这项工作中，我们专注于在各种头部姿势下，包括极端的侧面视图下，在野外正面化面部。提出了一种新的基于深度3D变形模型（3DMM）的人脸正面化生成对抗网络（GAN），简称为FF-GAN，用于生成中性头部姿态人脸图像。我们的框架不同于传统的GANs和基于3DMM的建模。将3DMM扩展到GAN结构中提供了形状和外观先验，用于以更少的训练数据快速收敛，同时还支持端到端训练。3DMM条件下的GAN不仅采用了对称性和发生器损失，而且还采用了一种新的掩蔽对称性损失，以保持视觉质量的遮挡下，除了身份损失，以恢复高频信息。人脸识别，地标定位和三维重建的实验一致表明，我们的正面化方法的优势，在野生数据集的人脸。
2017-08-17 cs.CV
CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations
Amazon Lab126（亚马逊Lab126）；University of Washington（华盛顿大学）
为了提高3D人体姿态估计器的泛化能力，许多现有的基于深度学习的模型专注于向训练姿态添加不同的增强。然而，数据增强技术仅限于“可见”的姿态组合，并且难以推断具有罕见的“不可见”关节位置的姿态。为了解决这个问题，我们提出了CameraPose，这是一个弱监督的框架，用于从单个图像中估计3D人体姿势，它不仅可以应用于2D-3D姿势对，还可以应用于2D单独的注释。通过添加相机参数分支，任何野外2D注释都可以被馈送到我们的管道中，以提高训练多样性，并且可以通过重新投影回2D来隐式地学习3D姿势。此外，CameraPose还引入了一个具有置信度引导损失的细化网络模块，以进一步提高2D姿态估计器提取的噪声2D关键点的质量。实验结果表明，CameraPose在跨场景数据集上带来了明显的改进。值得注意的是，它在最具挑战性的数据集3DPW上比基线方法好3 mm。此外，通过将我们提出的细化网络模块与现有的3D姿态估计器相结合，可以提高它们在跨场景评估中的性能。
2023-01-08 cs.CV
AP-10K: A Benchmark for Animal Pose Estimation in the Wild
The University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；JD Explore Academy（京东探索研究院）
准确的动物姿态估计是理解动物行为的重要一步，并且可以潜在地有益于许多下游应用，例如野生动物保护。以往的研究只关注特定的动物，而忽略了动物物种的多样性，限制了动物的泛化能力。在本文中，我们提出了AP-10 K，第一个大规模的基准哺乳动物姿态估计，以促进动物姿态估计的研究。AP-10 K包含从23个动物科和54个物种中收集和过滤的10，015张图像，这些图像遵循分类等级和高质量的关键点注释，并手动标记和检查。基于AP-10 K，我们在以下三个方面对代表性的姿势估计模型进行了基准测试：（1）用于动物姿势估计的监督学习，（2）从人类姿势估计到动物姿势估计的跨域迁移学习，以及（3）未见过动物的家族内和家族间领域泛化。实验结果提供了良好的经验证据的优势，从不同的动物物种学习的准确性和泛化能力。它开辟了新的方向，以促进未来的研究在动物姿态估计。AP-10 k可在https://github.com/AlexTheBad/AP10K上公开获得。
2021-11-01 cs.CV
Generalizing Monocular 3D Human Pose Estimation in the Wild
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）
Human3.6M数据集中大规模标记的3D姿态的可用性在推进从静止图像进行3D人体姿态估计的算法中起着重要作用。我们观察到，最近在这一领域的创新主要集中在新技术，明确解决泛化问题时，使用这个数据集，因为这个数据库是在一个高度控制的环境中构建的，有限的人类主题和背景变化。尽管有这些努力，我们可以证明，目前的方法的结果仍然是容易出错的，特别是当测试在野外拍摄的图像。在本文中，我们旨在从不同的角度解决这个问题。我们提出了一种原则性的方法来生成高质量的3D姿态地面真相，给出了任何在野外的图像与一个人在里面。我们首先设计了一个新的立体声启发神经网络，直接映射到高质量的3D对应的任何2D姿态。然后，我们执行一个精心设计的几何搜索方案，以进一步完善的关节。基于这个方案，我们建立了一个大规模的数据集，包含40万张野外图像及其相应的3D姿态地面实况。这使得能够训练高质量的神经网络模型，而不需要专门的训练方案和辅助的损失函数，这与现有技术的3D姿态估计方法相比表现良好。我们还定量和定性地评估了我们的模型的泛化能力。结果表明，我们的方法令人信服地优于以前的方法。我们公开我们的数据集和代码。
2019-04-11 cs.CV
EgoCast: Forecasting Egocentric Human Pose in the Wild
Universidad de Los Andes（安第斯大学）；Google DeepMind（谷歌DeepMind）
本文提出双模态方法 EgoCast，融合第一人称视频与本体感受数据预测 3D 人体姿态，并通过当前帧估计模块生成伪真值，在 Ego-Exo4D 等基准上显著超越现有方法。
2024-12-03 cs.CV
EMDB: The Electromagnetic Database of Global 3D Human Pose and Shape in the Wild
ETH Zürich（苏黎世联邦理工学院）；Meta Reality Labs（Meta现实实验室）
EMDB是一个包含58分钟野外视频中高质量3D人体姿态、形状及全局轨迹的电磁数据集，通过多阶段优化和神经隐式模型构建，精度优于现有数据集，并用于评估单目姿态估计方法。
2023-08-31 cs.CV
VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
我们提出了一种方法来估计多个人从多个摄像机视图的3D姿态。与以前的工作，需要建立跨视图对应的基础上嘈杂和不完整的2D姿态估计，我们提出了一个端到端的解决方案，直接在$3$ D空间，因此避免了在2D空间中做出错误的决定。为了实现这一目标，所有摄像机视图中的特征都被扭曲并聚集在一个共同的3D空间中，并被馈送到立方体建议网络（CPN）中，以粗略地定位所有人。然后，我们提出了姿态回归网络（PRN）来估计每个建议的详细3D姿态。该方法对实际中经常发生的遮挡具有鲁棒性。没有花里胡哨，它在公共数据集上的表现优于最先进的技术。代码将在https://github.com/microsoft/multiperson-pose-estimation-pytorch上发布。
2020-08-24 cs.CV
CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild
Leibniz University Hannover（汉诺威莱布尼茨大学）；UBC Vancouver（不列颠哥伦比亚大学温哥华校区）
从单幅图像中估计人体姿态是计算机视觉中的一个具有挑战性的问题，它需要大量的带标签的训练数据来精确求解。不幸的是，对于许多人类活动（\eg户外运动），这样的训练数据并不存在，并且很难或者甚至不可能用传统的运动捕捉系统来获取。我们提出了一种自监督的方法，学习一个单一的图像3D姿态估计从未标记的多视图数据。为此，我们利用多视图的一致性约束，解开观察到的2D姿态到底层的3D姿态和相机旋转。与大多数现有方法相比，我们不需要校准相机，因此可以从移动相机中学习。然而，在静态相机设置的情况下，我们提出了一个可选的扩展，将多个视图上的恒定相对相机旋转纳入我们的框架。成功的关键是新的，无偏见的重建目标，混合跨视图和训练样本的信息。该方法在两个基准数据集（Human3.6M和MPII-INF-3DHP）和野外SkiPose数据集上进行了评估。
2020-11-30 cs.CV
Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation
Facebook AI Research（Facebook人工智能研究院）
与COCO等2D图像数据集不同，在野外很难获得具有3D地面实况注释的大规模人类数据集。在本文中，我们解决了这个问题，通过增加现有的2D数据集与高质量的3D姿态拟合。值得注意的是，所得到的注释足以从头开始训练3D姿态回归器网络，其在诸如3DPW之类的野外基准测试中的表现优于当前最先进的技术。此外，在我们的增强数据上进行训练是简单的，因为它不需要混合多个不兼容的2D和3D数据集，也不需要使用复杂的网络架构和训练过程。这种简化的管道提供了额外的改进，包括注入极端的裁剪增强以更好地重建高度截断的人，并结合辅助输入以提高3D姿态估计精度。它还减少了对具有限制性许可证的3D数据集（如H36M）的依赖。我们还使用我们的方法来引入新的基准，用于研究现实世界的挑战，如遮挡，截断和罕见的身体姿势。为了获得这种高质量的3D伪注释，受内部学习进展的启发，我们引入了示例微调（EFT）。EFT将SMPLify等拟合方法的重新投影精度与由预训练的3D姿态回归器网络隐式捕获的3D姿态先验相结合。我们表明，EFT可以生成3D注释，从而带来更好的下游性能，并且在广泛的基于人类的评估中在质量上更可取。
2021-10-22 cs.CV
Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation
University of Bristol（布里斯托大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对野外自我中心RGB图像中手-物体姿态估计的遮挡和接触模糊问题，提出EPIC-Contact数据集和HOPformer端到端Transformer模型，联合预测双手和物体姿态，在ARCTIC和EPIC-Contact上显著提升成功率并降低接触偏差。
2026-06-29 cs.CV
Human Motion Transfer from Poses in the Wild
Snap Inc.（Snap公司）；ByteDance Inc.（字节跳动公司）
在本文中，我们解决的问题，人体运动转移，我们合成新的运动视频的目标人模仿运动从参考视频。这是一个视频到视频的翻译任务，其中估计的姿势被用来桥接两个域。尽管在这方面取得了重大进展，但以前的方法仍存在一些问题。首先，在训练和测试姿势序列之间存在一个领域差距-模型在训练期间没有看到的姿势上进行测试，例如困难的舞蹈动作。此外，姿态检测错误是不可避免的，这使得生成器的工作更加困难。最后，从稀疏姿态生成逼真的像素是具有挑战性的单步的。为了解决这些挑战，我们引入了一种新的姿势到视频转换框架，用于生成高质量的视频，即使对于训练期间看不到的野外姿势序列，这些视频也是时间上连贯的。我们提出了一种姿态增强方法，以尽量减少训练测试差距，一个统一的成对和不成对的学习策略，以提高检测错误的鲁棒性，和两个阶段的网络架构，以实现卓越的纹理质量。为了进一步推动这一主题的研究，我们建立了两个人体运动数据集。最后，我们通过对不同数据集的广泛实验和评估，展示了我们的方法相对于最先进研究的优越性。
2020-04-07 cs.CV
In-the-wild Facial Expression Recognition in Extreme Poses
International Doctoral Innovation Centre, University of Nottingham Ningbo China（宁波诺丁汉大学国际博士创新中心）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；Institute of Microscopy Science and Technology, Ningbo Yongxin Optics Co. LTD.（宁波永新光学股份有限公司显微科学与技术研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在计算机研究领域，人脸表情识别是一个热门的研究课题。近年来，研究已经从实验室环境转移到野外环境。这是具有挑战性的，特别是在极端的姿势下。但目前的表情检测系统都在努力避免姿态效应，以获得通用性。在这项工作中，我们以相反的方式解决问题。我们认为，头部姿势和特殊的头部姿势内检测的表情。我们的工作包括两部分：检测头部姿势并将其分组到一个预定义的头部姿势类中;在每个姿势类中进行面部表情识别。实验结果表明，与不考虑姿态的直接识别相比，采用姿态类分组的方法识别效果更好。我们将手工特征、SIFT、LBP和几何特征与深度学习特征相结合，作为表达式的表示。手工制作的功能与高级深度学习功能一起添加到深度学习框架中。作为比较，我们实现了SVM和随机森林作为预测模型。为了训练和测试我们的方法，我们用6种基本表情标记了人脸数据集。
2018-11-06 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH（FORTH 计算机科学研究所）；Computer Science Department, UOC（克里特大学计算机科学系）
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展，使用RGBD输入。然而，自从RGBD传感器的引入以来，对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展，将其与生成手部姿势估计技术的功能相结合，以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说，给定RGB图像和相关的相机校准信息，我们采用最先进的检测器来定位手。给定图像中的一只手，我们运行OpenPose的预训练网络来估计手关节的2D位置。最后，非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置，恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架，用于真实世界视频中的相机姿态估计，在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
Single View Geocentric Pose in the Wild
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；The Johns Hopkins University（约翰斯·霍普金斯大学）
目前用于地球观测任务的方法，如语义制图、地图对齐和变化检测，都依赖于近天底图像;然而，响应动态世界事件（如自然灾害）的第一批可用图像往往是倾斜的。由于观察到的物体视差，这些任务对于倾斜图像要困难得多。最近在学习回归地心姿态方面取得了成功，地心姿态的定义是地面以上的高度和相对于重力的方向，方法是用机载激光雷达配准卫星图像进行训练。我们提出了一个新的任务，利用仿射不变性的性质，以超越国家的最先进的性能，由一个很大的利润率模型。我们还解决了实际问题，需要部署这种方法在野外的现实世界中的应用。我们的数据和代码是公开的。
2021-05-18 cs.CV
Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
从单个图像感知3D人体的能力具有从娱乐和机器人到神经科学和医疗保健的多种应用。人体网格恢复的一个基本挑战是收集训练所需的地面真实3D网格目标，这需要繁重的运动捕获系统，并且通常限于室内实验室。因此，虽然在这些限制性环境中收集的基准数据集取得了进展，但由于分布偏移，模型无法推广到现实世界的“野外”情景。我们提出了域自适应三维姿态增强（DAPA），一个数据增强方法，提高了模型的泛化能力，在野外的情况。DAPA结合了基于合成数据集的方法的优势，通过从合成网格中获得直接监督，以及通过使用来自目标数据集的地面真实2D关键点的领域自适应方法。我们定量地表明，微调与DAPA有效地提高了基准3DPW和AGORA的结果。我们进一步展示了DAPA在一个具有挑战性的数据集上的实用性，该数据集是从现实世界的亲子互动视频中策划的。
2022-09-14 cs.CV
Towards Robust and Smooth 3D Multi-Person Pose Estimation from Monocular Videos in the Wild
Seoul National University（首尔国立大学）
本文提出POTR-3D，首个面向3D多人姿态估计的序列到序列2D到3D提升模型，结合几何感知数据增强，解决未见视角泛化、遮挡鲁棒性和输出抖动问题，在公开基准上达到最先进性能。
2023-09-15 cs.CV
ATRW: A Benchmark for Amur Tiger Re-identification in the Wild
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Intel Corporation（英特尔公司）
监测濒危物种的数量和移动是野生动物保护的一项重要任务。传统的标记方法不能扩展到大的种群，而将计算机视觉方法应用于相机传感器数据需要重新识别（re-ID）算法来获得准确的计数和野生动物的移动轨迹。然而，现有的re-ID方法主要针对人和汽车，其具有有限的姿势变化和受约束的捕获环境。本文试图通过引入一个新的大规模数据集，东北虎重新识别在野生（ATRW）数据集，以填补这一空白。ATRW包含来自92只东北虎的8,000多个视频剪辑，带有限界框、姿势关键点和老虎身份注释。与典型的re-ID数据集相比，老虎是在各种不受约束的姿势和光照条件下捕获的。我们用一组基线算法证明了ATRW是一个具有挑战性的数据集。最后，我们提出了一种新的老虎重新识别方法，该方法在深度神经网络中引入精确的姿势部分建模来处理老虎的大姿势变化，并在现有的重新识别方法的基础上实现了显着的性能改进。该数据集在https://cvwc2019.github.io/上公开。
2020-10-31 cs.CV
DensePose: Dense Human Pose Estimation In The Wild
INRIA-CentraleSupélec（法国国家信息与自动化研究所-中央理工-高等电力学院）；Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们建立了密集的RGB图像和基于表面的表示的人体之间的对应关系，我们称之为密集的人体姿态估计的任务。我们首先通过引入高效的注释管道来收集COCO数据集中出现的5万人的密集对应。然后，我们使用我们的数据集来训练基于CNN的系统，这些系统可以“在野外”提供密集的对应关系，即在存在背景、遮挡和尺度变化的情况下。我们通过训练一个“修复”网络来提高训练集的有效性，该网络可以填补缺失的地面实况值，并报告与过去可实现的最佳结果相比的明显改进。我们使用全卷积网络和基于区域的模型进行实验，并观察到后者的优越性;我们通过级联进一步提高精度，获得一个实时的提供高精度结果的系统。项目页面http://densepose.org提供了补充材料和视频
2018-02-01 cs.CV
ZoomNAS: Searching for Whole-body Human Pose Estimation in the Wild
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文研究了二维全身人体姿态估计的任务，其目的是定位整个人体（包括身体，脚，脸和手）上的密集地标。我们提出了一个单一的网络方法，称为ZoomNet，考虑到整个人体的层次结构，并解决不同的身体部位的规模变化。我们进一步提出了一个神经架构搜索框架，称为ZoomNAS，以提高全身姿势估计的准确性和效率。ZoomNAS联合搜索模型架构和不同子模块之间的连接，并自动为搜索到的子模块分配计算复杂性。为了训练和评估ZoomNAS，我们引入了第一个大规模2D人体全身数据集，即COCO-WholeBody V1.0，它为野外图像注释了133个关键点。大量的实验证明了ZoomNAS的有效性和COCO-WholeBody V1.0的重要性。
2022-08-23 cs.CV
Towards Real-Time Head Pose Estimation: Exploring Parameter-Reduced Residual Networks on In-the-wild Datasets
Fraunhofer-Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
头部姿态是人体通信的关键组成部分，因此是人机交互的决定性元素。实时的【形】头部姿态估计在人机交互或驾驶员辅助系统中至关重要。最有前途的头部姿态估计方法是基于卷积神经网络（CNN）。然而，CNN模型通常过于复杂，无法实现实时的【形】性能。为了应对这一挑战，我们探索了CNN的一个流行子组，即残差网络（ResNets），并对其进行了修改，以减少其参数数量。ResNet针对不同的图像大小进行修改，包括低分辨率图像，并与不同数量的图层组合。他们在野外数据集上进行训练，以确保现实世界的适用性。因此，我们证明了ResNets的性能可以保持，同时减少参数的数量。修改后的ResNets达到了最先进的精度，并提供了实时的【形】适用性的快速推理。
2019-08-01 cs.CV
DOPE: Distillation Of Part Experts for whole-body 3D pose estimation in the wild
NAVER LABS Europe（NAVER LABS 欧洲研究院）
我们介绍了DOPE，第一种在野外检测和估计全身3D人体姿势的方法，包括身体，手和脸。对于许多需要理解人与人之间或人与环境之间的交互的应用程序来说，实现这种级别的细节是关键。主要的挑战是缺乏带有标记的全身3D姿势的野外数据。在以前的工作中，训练数据已被注释或生成的简单的任务，分别集中在身体，手或脸。在这项工作中，我们建议利用这些数据集来训练每个部分的独立专家，即身体，手和面部专家，并将他们的知识提取到一个单独的深度网络中，用于全身2D-3D姿态检测。在实践中，给定具有部分注释或没有注释的训练图像，每个部位专家检测其2D和3D中的关键点子集，并且将所得估计组合以获得全身伪地面实况姿态。蒸馏损失鼓励全身预测模仿专家的输出。我们的研究结果表明，这种方法显著优于未经蒸馏训练的相同全身模型，同时接近专家的表现。重要的是，DOPE的计算要求低于专家集合，并且可以实现实时性能。测试代码和模型可在https://europe.naverlabs.com/research/computer-vision/dope上获得。
2020-08-21 cs.CV
Direct Reward Fine-Tuning on Poses for Single Image to 3D Human in the Wild
Seoul National University（首尔国立大学）
DrPose通过直接奖励微调提升单图像到3D人体重建的姿态一致性，利用姿态与图像配对数据训练，改进多视图扩散模型，提升动态和复杂姿态的重建质量。
2026-03-03 cs.CV
Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild
Graz University of Technology（格拉茨工业大学）；Facebook Inc.（Facebook公司）
我们提出了一种新的3D姿态细化方法的基础上微分渲染的任意类别的对象在野外。与以前的方法相比，我们做出了两个主要贡献：首先，我们不是在RGB或遮罩空间中比较真实世界的图像和合成渲染，而是在针对3D姿态优化的特征空间中比较它们。其次，我们引入了一种新的可微分渲染器，它可以学习从数据中近似光栅化向后传递，而不是依赖于手工制作的算法。为此，我们预测RGB图像和3D模型渲染之间的深度跨域对应关系，我们称之为几何对应字段。这些对应字段用作像素级梯度，其通过渲染流水线向后分析传播，以直接对3D姿态执行基于梯度的优化。通过这种方式，我们可以将3D模型与RGB图像中的对象精确对齐，从而显著改善3D姿态估计。我们在具有挑战性的Pix3D数据集上评估了我们的方法，并在多个指标上与最先进的细化方法相比实现了高达55%的相对改进。
2020-07-17 cs.CV
DressWild: Feed-Forward Pose-Agnostic Garment Sewing Pattern Generation from In-the-Wild Images
UCLA and Fudan University（UCLA和复旦大学）；University of Utah（犹他大学）
DressWild通过前馈方法从单张真实图像生成物理一致的2D缝纫图案和3D服装，无需多视角输入或迭代优化，实现高效可扩展的服装模拟。
2026-02-18 cs.CV
GP2C: Geometric Projection Parameter Consensus for Joint 3D Pose and Focal Length Estimation in the Wild
Institute of Computer Graphics and Vision, Graz University of Technology, Austria（奥地利格拉茨工业大学计算机图形与视觉研究所）；Laboratoire Bordelais de Recherche en Informatique, University of Bordeaux, France（法国波尔多大学波尔多信息学实验室）
我们提出了一个联合的3D姿态和焦距估计方法的对象类别在野外。与以前的方法，预测3D姿态独立的焦距或假设一个恒定的焦距，我们明确估计和集成的焦距到3D姿态估计。为此，我们将深度学习技术和几何算法结合在两个阶段的方法中：首先，我们估计初始焦距，并使用深度网络从单个RGB图像建立2D-3D对应关系。其次，我们恢复3D姿态和细化的焦距，通过最大限度地减少预测对应的重投影误差。通过这种方式，我们利用由焦距给出的几何先验进行3D姿态估计。这导致两个优点：首先，与现有方法相比，我们实现了显着改进的3D平移和3D姿态精度。其次，我们的方法找到了各个投影参数之间的几何共识，这是精确的2D-3D对齐所需的。我们在具有不同对象类别的三个具有挑战性的真实世界数据集（Pix3D，Comp和Stanford）上评估了我们提出的方法，并在多个不同指标中以高达20%的绝对值显著优于最先进的方法。
2019-08-07 cs.CV
Multi-task head pose estimation in-the-wild
Universidad Politécnica de Madrid（马德里理工大学）；ETSII, Universidad Rey Juan Carlos（胡安·卡洛斯国王大学工程学院）
我们提出了一种基于深度学习的多任务方法来估计图像中的头部姿态。我们贡献了一个网络架构和训练策略，利用人脸姿态、对齐和可见性之间的强依赖关系，为所有三个任务生成一个性能最好的模型。我们的架构是一个编码器-解码器CNN与残留块和横向跳过连接。我们表明，头部姿态估计和基于地标的人脸对齐的组合显着提高了前一个任务的性能。此外，姿势任务在瓶颈层、编码器末端的位置，以及取决于空间信息（诸如可见性和对准）的任务在最终解码器层中的位置，也有助于提高最终性能。在实验中进行的模型优于国家的最先进的人脸姿态和可见性任务。通过包括最终的地标回归步骤，它还产生与最先进水平相当的面部对齐结果。
2022-02-04 cs.CV
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
Synthetic Training for Accurate 3D Human Pose and Shape Estimation in the Wild
University of Cambridge（剑桥大学）
本文讨论了从RGB图像中估计单目三维人体形状和姿态的问题。尽管在姿势预测准确性方面在该领域中取得了很大进展，但是最先进的方法通常预测不准确的身体形状。我们认为，这主要是由于缺乏在野外训练数据与多样化和准确的身体形状标签。因此，我们提出了STRAPS（合成训练真正准确的姿势和形状），一个系统，利用代理表示，如剪影和2D关节，作为输入到一个形状和姿势回归神经网络，这是训练与合成训练数据（在训练过程中使用SMPL统计身体模型），以克服数据稀缺。我们通过在训练过程中使用数据增强和腐败，弥合了合成训练输入和噪声真实输入之间的差距，这些输入在测试时由关键点检测和分割CNN预测。为了评估我们的方法，我们策划并提供了一个具有挑战性的评估数据集，用于单目人体形状估计，运动形状和姿势3D（SSP-3D）。它由具有各种体型的紧身衣运动员的RGB图像和相应的伪地面实况SMPL形状和姿势参数组成，这些参数是通过多帧优化获得的。我们表明，STRAPS在形状预测准确性方面优于SSP-3D上的其他最先进方法，同时在以姿势为中心的数据集和指标方面与最先进方法保持竞争力。
2020-09-22 cs.CV
PeCLR: Self-Supervised 3D Hand Pose Estimation from monocular RGB via Equivariant Contrastive Learning
ETH Zurich（苏黎世联邦理工学院）
受对比学习在图像分类任务上的成功的鼓舞，我们提出了一种新的自监督方法用于3D手部姿态估计的结构化回归任务。对比学习利用未标记的数据通过损失公式进行表示学习，该损失公式鼓励学习的特征表示在任何图像变换下都是不变的。对于3D手部姿态估计，也期望具有对诸如颜色抖动的外观变换的不变性。然而，该任务需要仿射变换下的等方差，例如旋转和平移。为了解决这个问题，我们提出了一个等变对比目标，并证明其有效性的背景下，3D手姿态估计。我们的实验研究不变和等变对比目标的影响，并表明学习等变功能，导致更好的表示为3D手姿态估计的任务。此外，我们还证明了具有足够深度的标准ResNets，在额外的未标记数据上进行训练，在FreiHAND上的PA-EPE中获得了高达14.5%的改进，从而在没有任何特定任务的情况下实现了最先进的性能。代码和模型可在https://ait.ethz.ch/projects/2021/PeCLR/上获得
2022-08-03 cs.CV
Pose-disentangled Contrastive Learning for Self-supervised Facial Representation
China University of Geosciences（中国地质大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
针对现有对比学习难以学习面部姿态细节的问题，提出姿态解耦对比学习（PCL），通过姿态解耦解码器和正交化正则化分离姿态特征，并在多个下游任务上显著优于现有自监督方法。
2023-05-08 cs.CV
Unselfie: Translating Selfies to Neutral-pose Portraits in the Wild
KU Leuven（鲁汶大学）；Adobe Research（Adobe研究院）；UC Berkeley（加州大学伯克利分校）
由于智能手机的普及，人们很流行给自己拍照，或者说“自拍”。“这样的照片很方便拍摄，因为它们不需要专门的设备或第三方摄影师。然而，在自拍中，诸如人类手臂长度之类的约束往往使身体姿势看起来不自然。为了解决这个问题，我们引入了$\textit{unselfie}$，这是一种新颖的摄影转换，可以自动将自拍转换为中性姿势的肖像。为了实现这一点，我们首先收集一个不成对的数据集，并介绍了一种方法来合成成对的训练数据的自监督学习。然后，对于$\textit{unselfie}$一张照片，我们提出了一个新的三阶段流水线，首先找到一个目标中性姿势，修补身体纹理，最后在背景上细化和合成人物。为了获得一个合适的目标中性姿势，我们提出了一种新的最近的姿势搜索模块，使休息任务更容易，并使多个中性姿势的结果，用户可以选择其中最好的一个，他们喜欢的生成。定性和定量评估表明，我们的管道优于替代品。
2020-07-29 cs.CV
Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations
Google（谷歌）
由于在机器人、增强现实、自主和图像检索中的许多应用，3D目标检测最近变得流行。我们引入Objectron数据集，以推进3D目标检测的最新技术水平，并促进新的研究和应用，如3D对象跟踪，视图合成，并改进3D形状表示。该数据集包含以对象为中心的短视频，具有9个类别的姿势注释，并包括14，819个注释视频中的400万个注释图像。我们还提出了一个新的评价指标，3D交集超过联盟，三维目标检测。我们证明了我们的数据集在3D目标检测任务中的有用性，通过提供在此数据集上训练的基线模型。我们的数据集和评估源代码可在http://www.objectron.dev上在线获得
2020-12-18 cs.CV
Category-Level Pose Retrieval with Contrastive Features Learnt with Occlusion Augmentation
KU Leuven（鲁汶大学）；Ford Greenfield Labs（福特格林菲尔德实验室）
姿态估计通常被处理为箱分类或回归问题。在这两种情况下，想法都是直接预测对象的姿态。由于相似姿势之间的外观变化和不同姿势之间的相似性，这是一项重要的任务。相反，我们遵循的关键思想是，比较两个姿势比直接预测一个姿势更容易。渲染和比较的方法已经被用于该目的，然而，它们往往是不稳定的，计算上昂贵的，并且对于实时应用来说是缓慢的。我们建议通过学习嵌入空间中的对齐度量，使用具有动态余量和连续姿势标签空间的对比损失来进行类别级姿势估计。为了有效的推理，我们使用一个简单的实时图像检索方案与预渲染和预嵌入的参考集的渲染。为了实现鲁棒性，真实世界的条件下，我们采用合成闭塞，限界框扰动，和外观增强。我们的方法在PASCAL 3D和OccludedPASCAL 3D上实现了最先进的性能，并在跨数据集评估设置中超越了KITTI 3D上的竞争方法。该代码目前可在https://github.com/gkouros/contrastive-pose-retrieval上获得。
2022-10-12 cs.CV
Probabilistic 3D Human Shape and Pose Estimation from Multiple Unconstrained Images in the Wild
University of Cambridge（剑桥大学）
本文研究了从RGB图像中估计三维人体形状和姿态的问题。该领域的最新进展集中在单图像、视频或多视图图像作为输入。相比之下，我们提出了一个新的任务：从一组多个图像的人类主体的形状和姿态估计，不受约束的主题姿势，相机的观点或背景条件之间的图像组。我们的解决方案，这个任务预测分布在SMPL的身体形状和姿势参数的输入图像组中的条件。我们从每个图像中概率地组合预测的体型分布，以获得最终的多图像形状预测。我们发现，多图像输入组中存在的额外的体形信息与SSP-3D数据集和磁带测量的人类的私人数据集上的单图像输入相比，提高了3D人体形状估计指标。此外，预测3D物体上的分布使我们能够量化姿态预测的不确定性，这在面对具有显著遮挡的具有挑战性的输入图像时非常有用。我们的方法在3DPW数据集上展示了有意义的姿势不确定性，并且在姿势估计度量方面与最先进的方法具有竞争力。
2021-03-30 cs.CV
Towards Generalization of 3D Human Pose Estimation In The Wild
University of Luxembourg（卢森堡大学）
在本文中，我们提出了3DBodyTex.Pose，这是一个解决野外3D人体姿势估计任务的数据集。由于缺乏足够的数据集，对野外图像的推广仍然有限。在室内受控环境中，使用运动捕捉系统来获得人体的3D地面实况注释。3DBodyTex.Pose提供高质量和丰富的数据，包含405个不同服装和姿势的不同真实主体，以及81k图像样本，具有地面真实的2D和3D姿势注释。这些图像是从200个视点生成的，其中70个具有挑战性的极端视点。这些数据是从高分辨率纹理3D身体扫描开始创建的，并结合了各种逼真的背景。使用3DBodyTex.Pose增强的数据重新训练最先进的3D姿态估计方法显示出整体性能的良好改善，并且在具有挑战性的视点上进行测试时，每个关节的位置误差显着降低。预计3DBodyTex.Pose将为研究界提供从单目野外图像中推广3D姿态估计的新可能性。
2020-04-21 cs.CV eess.IV
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego（加州大学圣地亚哥分校）
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例（即类别级6D姿态估计）方面做出了很多努力，但是在给定有限数量的注释数据的约束环境中，它仍然受到限制。在本文中，我们收集了Wild6D，一个新的未标记的RGBD对象视频数据集，具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型，该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下，我们的方法在以前的数据集和我们的Wild6D测试集（带有手动注释进行评估）上的性能大大优于最先进的方法。Wild6D数据的项目页面：https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
MEBOW: Monocular Estimation of Body Orientation In the Wild
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Lab126（亚马逊Lab126）
身体方向估计在许多应用中提供了关键的视觉线索，包括机器人和自动驾驶。当3-D姿态估计由于图像分辨率差、遮挡或不可区分的身体部位而难以推断时，这是特别期望的。我们提出了COCO-MEBOW（Monocular Estimation of Body Orientation in the Wild），这是一个新的大规模数据集，用于从单个野外图像中进行方向估计。COCO数据集的55 K图像中约130 K人体的身体方向标签已使用高效且高精度的注释管道收集。我们还验证了数据集的好处。首先，我们表明，我们的数据集可以大大提高性能和鲁棒性的人体方向估计模型，其发展是以前的规模和多样性的可用训练数据的限制。此外，我们提出了一种新的三维人体姿态估计的三源解决方案，其中3-D姿态标签，2-D姿态标签和我们的身体方向标签都用于联合训练。我们的模型在单目3-D人体姿势估计方面明显优于最先进的双源解决方案，其中训练仅使用3-D姿势标签和2-D姿势标签。这证实了MEBOW用于3-D人体姿态估计的重要优势，这是特别有吸引力的，因为身体方向的每个实例标记成本远远低于3-D姿态。这项工作展示了MEBOW在解决涉及理解人类行为的现实挑战方面的巨大潜力。关于这项工作的进一步信息可在https://chenyanwu.github.io/MEBOW/上查阅。
2020-11-27 cs.CV
WildProp: Visual Estimation of Wildlife Body Proportions at Scale
提出WildProp，一种无需训练的框架，通过检索驱动的对应关系从大规模非约束图像中估计野生动物身体比例分布，无需逐物种训练，在鸟类和两栖动物数据集上中位相对误差10-20%。
2026-07-01 cs.CV
VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild
Microsoft Research Asia（微软亚洲研究院）；Huazhong University of Science and Technology（华中科技大学）
我们提出了VoxelTrack多人3D姿态估计和跟踪从几个摄像机被分开的宽基线。它采用多分支网络来联合估计环境中所有人的3D姿态和重新识别（Re-ID）特征。与之前需要基于噪声2D姿态估计建立跨视图对应关系的努力相比，它直接从从多视图图像构建的基于3D体素的表示来估计和跟踪3D姿态。我们首先通过常规体素将3D空间离散化，并通过平均从所有视图逆投影的身体关节热图来计算每个体素的特征向量。我们通过预测每个体素是否包含特定的身体关节来从体素表示估计3D姿态。类似地，为每个体素计算Re-ID特征，其用于随时间跟踪估计的3D姿态。该方法的主要优点是它避免了基于单个图像做出任何艰难的决定。该方法可以鲁棒地估计和跟踪3D姿态，即使在一些相机中的人被严重遮挡。它在包括Shelf，Campus和CMU Panoptic在内的三个公共数据集上的表现远远优于最先进的方法。
2021-08-05 cs.CV
Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning
本文提出KnowCoL框架，结合图像与文本描述，在基于Wikidata的结构化信息空间中实现开放领域视觉实体识别，通过对比学习提升稀有和未见过实体的识别准确率。
2025-11-18 cs.CV cs.LG
AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）；The Johns Hopkins University（约翰斯·霍普金斯大学）
遮挡可能是野外人体姿态估计的最大挑战。典型的解决方案通常依赖于诸如IMU的侵入式传感器来检测闭塞的关节。为了使任务真正不受约束，我们提出了AdaObserver，一种自适应多视图融合方法，它可以通过利用可见视图中的特征来增强被遮挡视图中的特征。AdaMap的核心是确定两个视图之间的点-点对应关系，我们通过探索热图表示的稀疏性来有效地解决这个问题。我们还学习了一个自适应融合权重为每个摄像机视图，以反映其功能的质量，以减少的机会，良好的功能是不希望损坏的“坏”的意见。融合模型是通过姿态估计网络进行端到端训练的，可以直接应用于新的相机配置，无需额外调整。我们在三个公共数据集上广泛评估了该方法，包括Human3.6M，Total Capture和CMU Panoptic。它在所有这些方面都胜过了最先进的技术。我们还创建了一个大规模的合成数据集Occlusion-Person，它允许我们对被遮挡的关节进行数值评估，因为它为图像中的每个关节提供了遮挡标签。数据集和代码在https://github.com/zhezh/adafuse-3d-human-pose上发布。
2020-10-26 cs.CV
ZooBuilder: 2D and 3D Pose Estimation for Quadrupeds Using Synthetic Data
Ubisoft China AI & Data Lab（育碧中国AI与数据实验室）；Sichuan University（四川大学）；Ubisoft, Singapore（育碧新加坡）；INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡大东区中心）
这项工作介绍了一种新的策略，用于生成合成的训练数据的2D和3D姿态估计的动物使用关键帧动画。为了实现野生动物动画创建过程的自动化，我们使用合成数据训练了几个2D和3D姿态估计模型，并建立了一个名为ZooBuilder的端到端管道。管道将野生动物的视频作为输入，并为动物骨架的每个关节生成相应的2D和3D坐标。通过这种方法，我们产生的运动捕捉数据，可用于创建野生动物的动画。
2020-09-01 cs.CV
